Är AI-benchmarking verkligen pålitligt?
Artikeln granskar Artificial Analysis v5 och den bredare benchmarking-industrin – alltså hur vi mäter och jämför AI-modellers prestanda. Kärnfrågan är vad som faktiskt saknas i dagens sätt att utvärdera modeller, vilket är relevant eftersom benchmarks ofta används för att motivera miljardköp och strategiska beslut.
Djupdykning
Artificial Analysis är ett av de få ställena på nätet där du faktiskt kan jämföra AI-modeller på ett meningsfullt sätt – de mäter saker som svarstid, kostnad per token och kvalitet sida vid sida, vilket gör dem populära bland utvecklare som ska fatta verkliga köpbeslut. Men deras v5-uppdatering sätter fingret på ett grundläggande problem med hela benchmarking-branschen: ju mer sofistikerade mätverktygen blir, desto mer tenderar AI-företagen att optimera sina modeller specifikt för just de testen, ungefär som att plugga inför ett prov snarare än att faktiskt lära sig ämnet. Det kallas Goodharts lag inom ekonomin – när ett mått blir ett mål slutar det att vara ett bra mått. Det de flesta missar är att problemet inte är att benchmarks är dåliga, utan att de alltid kommer att bli dåliga så fort de blir tillräckligt inflytelserika, vilket skapar ett evigt katt-och-råtta-spel där benchmarkarna ständigt måste hitta på nya tester som modellerna ännu inte hunnit träna bort. Nästa stora fråga för branschen är om det ens går att bygga ett benchmark som är genuint korruptionssäkert, eller om vi i slutändan måste acceptera att den ärligaste måttstocken är huruvida modellen faktiskt löser ditt specifika problem.