AI vet men gör ändå fel: 30 poängs gap i medicinsk riktlinjetillämpning
"Det finns en skillnad mellan att veta och att göra."
Det finns en skillnad mellan att veta och att göra. Det är en distinktion vi vanligtvis förbehåller människor, men ett nytt benchmark kallat ChronoEvo visar att stora språkmodeller har exakt samma problem, fast i medicinsk kontext där konsekvenserna är påtagliga.
Studien testade 14 modeller på 1 709 konkreta förändringar i medicinska riktlinjer, och delade upp resultatet i två separata frågor: känner modellen till att riktlinjen har ändrats? Och tillämpar den förändringen korrekt i sina rekommendationer? Svaret på den första frågan var imponerande: 90,8% igenkänning. Svaret på den andra frågan var problemet: 58,5% korrekt tillämpning. Det är ett gap på 32,3 procentenheter.
Formulerat på ett annat sätt: en modell kan citera att behandlingsrekommendationen uppdaterades 2023, och ändå föreslå den gamla behandlingen när du faktiskt ställer frågan kliniskt.
De svagaste punkterna var förändringar i rekommendationsstyrka, alltså när något gick från "bör" till "kan" eller tvärtom, och förändringar i vilka patientgrupper som är aktuella för en behandling. Det är precis de nyanser som är svårast att fånga utan kontextuell förståelse, och lättast att missa om modellen interpolerar från träningsdata snarare än faktiskt tillämpar ny information.
För den som bygger något inom medicin, juridik eller compliance är det här ett strukturellt problem, inte ett buggrelaterat. Du kan inte lösa det med bättre prompts. Retrieval-augmented generation hjälper om du vet vilka riktlinjer som är relevanta och när de uppdaterades, men det kräver att du underhåller det lagret aktivt. En statisk modell med ett statiskt kunskapsdatum är i praktiken en snapshot, och snapshots blir gamla.
Parallellt med ChronoEvo kom tre andra forskningsresultat som pekar på hur lite vi egentligen förstår om vad som händer inuti modellerna. Inbyggda säkerhetsfilter baserade på modellens interna aktiveringar visade sig prestera sämre än ett enkelt TF-IDF-filter vid distribution shift. Latent Guard, den specialbyggda metoden, slogs alltså av ordfrekvensanalys från 1970-talet. Det antyder att det som ser ut som djupare förståelse i modellens representationer ofta är en spegling av ytbeteende, inte en oberoende signal.
Muffin-ramverket, där flera AI-agenter delar ett gemensamt minnesutrymme istället för att turordningsbaserat debattera, visar en annan riktning: 77,4% färre tokens och 19,2 procentenheter bättre träffsäkerhet i 17 av 20 tester. Det intressanta är inte att det är snabbare, utan att det antyder att multi-agent-problemet ofta handlar om informationsarkitektur, inte om antalet agenter.
Veckan sammanfattas av en obekväm insikt: vi vet ganska lite om varför modeller gör rätt, och ännu mindre om varför de gör fel.
