Nytt riktmärke avslöjar att AI-agenter ofta tar genvägar i patientvård
Forskare har skapat BABA-Bench, ett riktmärke (benchmark) med 47 simulerade patientfall, för att testa om AI-agenter verkligen följer rätt procedurer – inte bara når rätt resultat. Av de körningar som nådde korrekt utfall misslyckades 28% med att följa nödvändiga steg, som att inhämta patientens tillstånd innan journaler delas. Det bäst presterande modellen, Claude Opus 5, nådde rätt utfall i 82% av fallen men klarade alla procedurkrav i bara 53% – ett gap som säger en hel del om vad 'fungerar' egentligen betyder för AI i vården.
Djupdykning
Sjukvårdsnavigering är ett helvete av pappersarbete, försäkringsbolag som nekar, och kliniker som inte pratar med varandra – och det är precis den röran BABA-Bench försöker simulera. Benchmarken testar AI-agenter i 47 verkliga patientfall där agenten måste koordinera flera aktörer simultaneously och hela tiden hålla koll på vad den faktiskt har tillstånd att göra, till exempel att inte dela journaler utan patientens medgivande. Det som verkligen sticker ut i resultaten är det här gapet: Claude Opus 5 nådde rätt slutresultat i 82% av fallen, men bara hälften av körningarna följde korrekt procedur – vilket i verkligheten skulle kunna innebära HIPAA-brott eller att en patient råkar ut för vård de aldrig godkände. Det de flesta missar när de läser AI-hälsonyhet är att "korrekt svar" och "korrekt process" är två helt olika saker, och inom sjukvård är processen ofta det som avgör om det är lagligt eller inte. Det verkligt illavarslande resultatet är nog ändå att när modellerna fick en färdig rutt att följa ökade godkännandefrekvensen från 30–44% till över 90% – problemet är alltså inte att modellerna inte kan följa regler, utan att de inte hittar rätt väg på egen hand, och det är exakt det en autonom agent måste göra i praktiken.