AI-agenter misslyckas ofta med att ställa rätt frågor innan de fattar beslut
En ny studie visar att AI-agenter (LLM-baserade system som planerar och fattar beslut) har stora svårigheter att hämta in den information de faktiskt saknar – deras initiala planer är omöjliga att genomföra i 58–98% av fallen när information är ofullständig. Det kluriga är att agenterna inte är bättre på att fråga efter fakta som verkligen förändrar det optimala beslutet än fakta som inte spelar någon roll alls. Studien introducerar ett nytt testramverk kallat Ask2Decide med 43 planeringsuppgifter, och avslöjar också att riktiga människor är mycket sämre på att spontant ge korrigerande information än simulerade användare (43% jämfört med 7% utelämnar avgörande fakta).
Djupdykning
De flesta diskussioner om AI-agenter handlar om hur bra de är på att lösa problem – men den här studien petar på något mer grundläggande: vad händer när agenten inte ens har tillräcklig information för att börja? Forskarna testade hur väl stora språkmodeller (tänk GPT-4-klassen) klarar av att ställa rätt frågor till människor innan de fattar beslut, exempelvis att schemalägga sjuksköterskor eller boka körningar. Resultaten är ganska slående: utan fullständig information är agenternas första planer ogenomförbara i 58–98% av fallen, och när de väl försöker ta reda på vad som saknas är de ungefär lika bra på att hitta relevant information som irrelevant – alltså i princip slumpmässigt. Det som de flesta missar i AI-hypen är att problemet inte är att modellerna är dåliga på att resonera, utan att de är dåliga på att veta vad de inte vet, och dessutom dåliga på att extrahera rätt svar från människor som sällan spontant nämner den avgörande detaljen. Att bara 7% av simulerade användarsvaren utelämnande den korrigerande faktan, jämfört med 43% hos riktiga människor, avslöjar att benchmarks byggda på AI-simulerade användare underskattar svårigheten rejält – vilket betyder att hela fältet kan ha lurats att tro att agenterna är bättre förberedda för verkliga samtal än de faktiskt är.