TopoBench: Nya test visar att AI-modeller kämpar med rumslig geometri

arXiv cs.AI

Forskare har skapat TopoBench, ett testpaket som visar att även de starkaste AI-modellerna löser färre än 25% av svåra topologiska pussel som kräver rumsligt tänkande. Studien av 750 resonemangsspår identifierar fyra huvudsakliga feltyper, där det största problemet är att extrahera rumsliga begränsningar från visuella representationer snarare än att resonera över dem.