Parallella AI-agentteam slår både soloagenter och stora grupper
Forskare har hittat ett smartare sätt att använda beräkningskraft vid inferens (när modellen faktiskt körs): istället för att köra många enskilda agenter eller ett stort team, kör man flera små parallella team och plockar det bästa resultatet. Med en 27B-modell och 100 agenter totalt slog team om tio agenter de övriga uppläggen på 10 av 12 testuppgifter – och matchade till och med större frontlinjemodeller på hälften av uppgifterna till samma kostnad. Logiken är elegant: enskilda agenter har för låg träffsäkerhet i snitt, medan ett stort team visserligen är bra men aldrig får flera försök på sig.
Djupdykning
Forskarvärlden har länge brottats med hur man ska få ut mer av AI-modeller utan att behöva träna om dem från scratch – och "test-time compute" är svaret på det: istället för att lägga resurser på träning, låter man modellen tänka längre och hårdare när den faktiskt används. Det klassiska problemet har varit att antingen köra massor av oberoende försök (som snabbt planar ut) eller sätta en stor grupp agenter att samarbeta (som inte skalas bra). Det den här studien egentligen visar är ett statistiskt elegantare trick: många små team fångar fördelarna med både hög genomsnittlig kvalitet OCH slumpmässig variation, precis som att köpa tio lotter i tio olika lotterier slår att köpa tio lotter i samma. Det de flesta missar är att detta handlar mindre om AI-magi och mer om grundläggande sannolikhetslära – du vill ha många chanser att råka ut för ett riktigt bra utfall, men varje chans måste vara tillräckligt kompetent för att kunna leverera. En enskild agent misslyckas för att genomsnittet är för lågt; ett enda stort team misslyckas för att det bara är ett enda försök. Att ett 27-miljarders modell med rätt strategi kan matcha frontier-modeller (tänk GPT-4-klass) på hälften av uppgifterna till lägre kostnad antyder att konkurrensfördelarna inom AI håller på att förskjutas från vem som har råd att träna störst modell, till vem som är smartast med hur de kör den.