Amazons Mitra-v2 leder tabelldata-benchmark med syntetisk träning
Amazon har lanserat Mitra-v2, en grundmodell (foundation model) tränad på syntetisk data för att hantera strukturerad tabelldata – utan att behöva tränas om för varje ny tabell. Modellen toppar TabArena-benchmarken bland modeller som körs ensamma, vilket är anmärkningsvärt eftersom den klarar sig utan ensembletekniker (att kombinera flera modeller för bättre resultat).
Djupdykning
Tabelldata – alltså strukturerad data i rader och kolumner, tänk Excel eller databaser – har länge varit ett sorgebarn inom AI-världen. Medan språkmodeller och bildmodeller svämmar över av träningsdata från internet finns det ingen naturlig "textkorpus" för tabeller, eftersom varje dataset har sin egen logik, sina egna kolumnnamn och sitt eget sammanhang. Mitra-v2 angriper det här problemet genom att träna på syntetiskt genererad tabelldata – alltså artificiellt skapad träningsdata – och sedan helt enkelt anpassa sig till nya tabeller utan att man behöver träna om modellen från grunden, vilket är precis det som gör det dyrt och krångligt i praktiken. Resultaten på TabArena, ett färskt benchmark designat för att testa just den här typen av modeller rättvist, pekar på att Mitra-v2 leder fältet bland single-model-lösningar, det vill säga modeller som inte lutar sig mot ensembler av flera modeller kombinerade. Det de flesta missar här är att det verkliga genombrottet inte är prestandan i sig – det är generaliseringsförmågan. De flesta AI-modeller för tabelldata kräver att du har tillräckligt med märkt data från just din domän, men om det här håller i verkliga tillämpningar betyder det att företag med tunna dataset äntligen kan konkurrera med aktörer som suttit på årsdata i ett decennium. Det är en ganska stor maktförskjutning om den faktiskt håller utanför benchmarkmiljön.