Token (AI/sprogmodeller)

Hvad er en token?

En token er den mindste tekstenhed, som en sprogmodel arbejder med, når den læser og genererer tekst. Det kan være et helt ord, en del af et ord, et enkelt tegn eller et mellemrum og tegnsætning. Sprogmodeller som dem bag ChatGPT “læser” derfor ikke tekst ord for ord, sådan som mennesker gør, men opdeler den i tokens, før den kan behandles.

Et konkret eksempel: Ordet “kat” udgør typisk én token, mens et længere eller mindre almindeligt ord som “uforudsigelighed” kan blive splittet op i flere tokens, fx “u”, “forudsige” og “lighed”. Selv mellemrum og kommaer tæller normalt med som separate tokens. Det betyder, at antallet af tokens i en tekst sjældent er det samme som antallet af ord.

Sådan opdeles tekst i tokens

Processen, hvor en sprogmodel omdanner rå tekst til tokens, kaldes tokenisering. En tokenizer analyserer teksten og deler den op efter et fast sæt regler eller et indlært mønster, som modellen er trænet med. Hver token får desuden tildelt en numerisk værdi, som er det, modellen reelt regner videre med bag kulissen. Denne inddeling gælder både den tekst, man selv sender til modellen (input), og det svar, modellen genererer (output).

Fordi opdelingen afhænger af modellens konkrete tokenizer, kan samme tekst give et forskelligt antal tokens alt efter hvilken model eller udbyder man bruger. En LLM (Large Language Model) har typisk sin egen tokenizer, som er tilpasset det sprog og den type data, modellen primært er trænet på.

Hvorfor tokens har betydning for pris og ydeevne

Tokens er den enhed, som mange AI-udbydere bruger til at måle forbrug og fastsætte pris, når man tilgår en model via API. Jo flere tokens en forespørgsel og det tilhørende svar indeholder, desto mere skal modellen beregne, og desto dyrere bliver kaldet typisk. Output-tokens koster i mange tilfælde mere end input-tokens, fordi det kræver mere beregningskraft at generere nyt indhold end blot at læse eksisterende tekst.

Tokens har også betydning for, hvor meget en model kan holde styr på ad gangen. Enhver model har en grænse for, hvor mange tokens den kan behandle samlet i én samtale — den såkaldte kontekstvinduet. Overskrides denne grænse, kan ældre dele af en samtale blive “glemt”, eller modellen kan afvise at behandle hele teksten på én gang. Det er derfor en praktisk faktor at have for øje, når man arbejder med lange dokumenter, omfattende systembeskeder eller lange samtaleforløb, fx i forbindelse med prompt engineering, hvor man netop forsøger at formulere instruktioner effektivt uden at spilde unødige tokens.

For almindelige brugere af færdige AI-tjenester er tokenforbruget som regel skjult bag et abonnement. For udviklere og virksomheder, der bygger egne løsninger oven på en model via API, bliver tokens derimod en direkte og synlig omkostning, som kan variere betydeligt afhængigt af, hvilken model man vælger, og hvor meget tekst der sendes frem og tilbage.