Ny metod förbättrar säkerhetstestning av AI-modeller med 50 procent

arXiv cs.AI

Forskare har utvecklat 'Value Probes', en teknik som använder en AI-modells egna interna aktiveringar för att förutsäga vilka konversationsvägar som sannolikt leder till problematiskt beteende – ungefär som att låta modellen avslöja sina egna svagheter. Metoden kombineras med beam search (en sökteknik som utforskar flera möjliga vägar parallellt) och höjer träffprocenten i säkerhetsgranskningar med cirka 50 procent jämfört med standardmetoder, testat över 18 olika beteenden och tre modellstorlekar. Det intressanta är att värdefunktionen kan tränas på data från mindre modeller och ändå fungera på större – vilket gör metoden både kostnadseffektiv och skalbar.