Minoritetsspråk kostar upp till 17 gånger mer att använda i AI-tjänster
En ny studie visar att AI-modeller använder upp till 17 gånger fler tokens (de textsegment modellen bearbetar och fakturerar per) för vissa språk jämfört med engelska – vilket innebär att användare av mindre vanliga språk betalar betydligt mer för samma tjänst. Språk med ovanliga skriftsystem som burmesiska, tibetanska och khmer är extra drabbade, medan latinska alfabet har en inbyggd fördel. Forskarna kallar det en dold token-skatt och varnar för att det riskerar att förstärka den digitala klyftan globalt.
Djupdykning
Tokens är byggstenarna som AI-modeller delar upp text i innan de bearbetar den – ungefär som om du styckar upp meningar i bitar, och engelska ord passar ofta snyggt in i ett token var. Problemet är att hela tokeniseringssystemet är byggt kring västerländska skriftsystem, vilket gör att ett enda tecken på burmesiska eller khmer kan kräva flera tokens för att representeras. Det innebär alltså att en burmesisk användare betalar upp till 17 gånger mer för exakt samma konversation som en engelsktalande – inte för att AI:n är sämre på språket, utan för att infrastrukturen är designad med ett implicit antagande om vad "normalt" skriftspråk ser ut. Det som de flesta missar är att det här inte handlar om att AI-bolagen aktivt diskriminerar, utan om hur neutralt teknikval i praktiken aldrig är neutralt – när du optimerar för det vanligaste fallet bär alla andra kostnaden. Och eftersom kontextfönstret, alltså hur mycket information modellen kan hålla i minnet samtidigt, också krymper proportionellt, får minoritetsspråksanvändare sämre svar till ett högre pris, vilket skapar ett dubbelt handikapp som ingen prislapp synliggör.