Nytt riktmärke testar om AI kan förbättra sina egna träningsalgoritmer

arXiv cs.AI

Forskare har lanserat AI4AI-Bench, ett riktmärke (benchmark) som testar om AI-agenter kan skriva bättre träningsalgoritmer än de som redan finns – alltså om AI kan göra AI-träning effektivare. Resultaten är nyktra: snittet för 29 konfigurationer av 6 system landade på 0,166 av maximalt 1,0, och det bästa systemet nådde bara 0,250. Det intressanta är att mer beräkningskraft för resonemang (reasoning) inte gör agenterna smartare på uppgiften – det gör dem mer villiga att ens försöka ändra hur modellen lär sig, vilket höjde andelen seriösa försök från 8 till 64 procent.