Nytt minnessystem gör AI-agenter dubbelt så bra på att navigera skärmar
Forskare har utvecklat Task Advancement Memory (TAM), ett minnessystem för AI-agenter som styr grafiska gränssnitt – tänk automatiserade assistenter som klickar runt i appar åt dig. Systemet låter agenten komma ihåg vad som faktiskt fungerade i tidigare steg, vilket lyfte framgångsgraden på testsviten MobileWorld från 12,0% till 28,2% med enbart den nya tillståndsrepresentationen. Full TAM gav 17,6% bättre uppgiftslösning jämfört med bästa tidigare metod och minskade samtidigt beräkningskostnaden med 38,7% per löst uppgift.
Djupdykning
Forskare har byggt ett minnessystem för AI-agenter som navigerar grafiska gränssnitt – tänk en bot som faktiskt klickar runt i appar åt dig. Problemet de löser är att dessa agenter tidigare hade korttidsminne som ett guldfisk: varje gång något gick snett startade de om från noll utan att lära sig av vad som faktiskt fungerade. TAM, deras system, lagrar istället "verifierade framsteg" – alltså steg som bevisligen ledde någonstans – och återanvänder dem i framtida uppgifter, ungefär som hur du lär dig att alltid gå till inställningar via samma menyväg istället för att leta varje gång. Det de flesta missar i den här typen av forskning är att siffrorna döljer något viktigare än prestandaökningen: systemet lär sig från misslyckanden. Lyckade deloperationer från i övrigt havererade uppgifter räddas och återbrukas, vilket bryter mot den intuitiva logiken att ett misslyckat försök bara är bortkastad tid. Det är mer som hur en erfaren kirurg lär sig av operationer som gick fel men där ett specifikt moment faktiskt fungerade – den kunskapen försvinner inte bara för att patienten fick komplikationer av något annat. Och 38,7% färre tokens per löst uppgift är inte bara en kostnadsbesparingsnotis, det antyder att agenten blir mer direkt och mindre nervöst kretsande runt problemet. När GUI-agenter börjar ackumulera procedurell kunskap över tid förändras spelplanen för automation av kontorsarbete – inte för att de blir smartare, utan för att de slutar vara lika glömska.