Kan vi lita på att AI-modeller bedömer om forskningsidéer är nya?
Hugging Face har undersökt hur bra stora språkmodeller (LLMs) är på att avgöra om en forskningsidé verkligen är originell – och svaret är: inte särskilt bra. Modellerna tenderar att vara överkonfidenta och missar ofta om en idé redan finns i vetenskaplig litteratur, vilket är ett problem om AI ska användas för att screena eller prioritera forskning.
Djupdykning
Forskarvärlden börjar använda stora språkmodeller (LLM:er – alltså AI-system som GPT-4) för att utvärdera om nya forskningsidéer verkligen är originella, men frågan är om de faktiskt kan göra det jobbet. Problemet är grundläggande: LLM:er tränas på data med ett "kunskapsavstängningsdatum", vilket betyder att de är blinda för forskning publicerad efter träningens slut – och i snabbörliga fält som AI-forskning kan det handla om tiotusentals relevanta artiklar. Det de flesta missar i den här diskussionen är att novellitet inte bara är ett faktaproblem utan ett relationellt bedömningsproblem – det kräver att man förstår hur en idé förhåller sig till ett helt ekosystem av pågående arbete, konferenssubmissioner som aldrig publicerats, och informella diskussioner i forskarcommunityn som aldrig nått träningsdatan. En LLM kan bekräfta att den inte *sett* idén förut, men det är inte samma sak som att idén är ny – och den distinktionen är avgörande om AI-verktyg börjar användas i peer review-processer. Om akademin normaliserar LLM-baserad novellitetsbedömning riskerar vi ett system där forskning valideras mot en statisk, ofullständig minnesbild av vetenskapen snarare än mot den levande, röriga verkligheten av vad som faktiskt pågår.