30% av ett AI-benchmark visade sig vara felaktigt – rättningarna förändrade resultatlistan
När forskare granskade Terminal-Bench, ett populärt test för att mäta hur bra AI-agenter klarar programmeringsuppgifter, hittade de fel i ungefär 30% av uppgifterna. Efter rättningarna ökade modellernas genomsnittliga poäng med över 10 procentenheter och placeringarna på resultatlistan förflyttades med upp till tre positioner. Det som är extra intressant är att även tidsgränsen spelar stor roll: att ge GPT 4.5 mini mer tid att arbeta krympte ett prestationsgap från 30 till 5 procentenheter – vilket visar att benchmark-resultat är känsliga inte bara för uppgifternas kvalitet, utan också för hur mycket tid modellerna får på sig.
Djupdykning
De flesta AI-diskussioner handlar om vilka modeller som toppar olika listor – men den här forskningen pekar på något mer grundläggande: listorna själva kan vara trasiga. Terminal-Bench är ett benchmark för att mäta hur bra AI-agenter är på terminalbaserade kodningsuppgifter, och när forskarna gick igenom det noggrant visade sig ungefär 30% av uppgifterna ha fel av något slag – antingen avvisade verifieringssystemet korrekta svar, eller så hade infrastrukturen förändrats så att testerna mätte fel saker. Det som kallas "benchmark maintenance debt" är i princip teknisk skuld fast för utvärderingsverktyg: ju längre du väntar med att fixa det, desto mer skevt blir hela bilden. Det verkligt obekväma i resultaten är inte att poängen ändrades med 10 procentenheter efter reparationerna – utan att rankingarna också rörde sig, upp till tre platser, vilket är tillräckligt för att påverka köpbeslut, forskningsinriktning och medierapportering om vilken modell som är "bäst". Och sedan finns tidsbudgeten: hur lång tid en AI-agent får på sig att lösa en uppgift visar sig vara lika avgörande som uppgiften i sig. GPT-modellerna stängde massiva prestandagap bara genom att få mer tid, vilket antyder att många benchmarks i praktiken mäter hastighet lika mycket som förmåga – utan att säga det. Vi jämför modeller som om vi testade maratonlöpare, men någon bestämmer godtyckligt att loppet slutar vid kilometer 30.