Stora språkmodeller saknar konsekvent moralisk rangordning
Forskare testade om stora språkmodeller (LLMs) faktiskt väger moraliska värden mot varandra – och svaret är i stort sett nej. När modellerna ställdes inför parvisa moraliska dilemman var deras val inkonsekvent och uppfyllde sällan grundläggande logikkrav (transitivitet – att om A > B och B > C, bör A > C). Det som ser ut som moralisk förmåga i benchmarktester kan alltså vara statistisk brus snarare än verklig värdering.
Djupdykning
Det finns en viktig skillnad som forskarvärlden länge ignorerat: att en AI svarar rätt på ett moraltest är inte samma sak som att den faktiskt väger moraliska värden mot varandra. Den här studien testade något väldigt grundläggande – om stora språkmodeller ens har en konsekvent rangordning av moraliska värden, alltså om de beter sig som om A är värre än B, B är värre än C, och därmed A är värre än C (det kallas transitivitet, och det är minimivillkoret för att man ska kunna säga att någon faktiskt "väger" saker mot varandra). Resultatet var nedslående: i de flesta testfall var ordningarna svaga eller instabila, och det läskigaste fyndet var att när man aggregerar svar från en modell – vilket är standardmetoden i nästan all AI-moralforskning – uppstår det en skenbar transitivitet som inte finns i de enskilda svaren. Med andra ord: vi har byggt ett helt utvärderingssystem som råkar producera snygga resultat ur statistiskt brus, och sedan tolkat det som att modellerna förstår moral. Det de flesta missar är att det här inte primärt är ett problem med AI-alignment – det är ett mätproblem. Innan vi ens kan diskutera om en modells moraliska kompass pekar åt rätt håll, behöver vi etablera att det finns en kompass överhuvudtaget, och den bevisningen har i stort sett saknats.