GPT (Generative Pre-trained Transformer)

GPT står for Generative Pre-trained Transformer og betegner en type sprogmodel: en neural netværksarkitektur, der er trænet til at forudsige og generere tekst, som minder om menneskeskabt sprog. Modellen er udviklet af det amerikanske firma OpenAI og danner det tekniske fundament for en række AI-produkter, hvoraf chatbotten ChatGPT er den mest kendte.

Det er vigtigt at skelne mellem GPT som model og ChatGPT som produkt. Når man for eksempel beder ChatGPT om at skrive en jobansøgning eller forklare et matematikproblem, er det GPT-modellen i baggrunden, der rent faktisk analyserer teksten og genererer svaret – ChatGPT er blot den samtaleflade, brugeren skriver til. Samme underliggende model kan i princippet bygges ind i mange andre produkter end netop ChatGPT.

Hvad betyder bogstaverne i GPT?

Forkortelsen dækker over tre dele af modellens virkemåde:

• Generative – modellen genererer ny tekst frem for blot at slå information op eller kopiere kilder direkte.
• Pre-trained – modellen er forhåndstrænet på store mængder tekst, før den tages i brug til en konkret opgave.
• Transformer – selve netværksarkitekturen, som gør det muligt at analysere en hel tekstsekvens på én gang og vurdere, hvordan ord hænger sammen.

GPT er modellen – ChatGPT er produktet, der bruger den

GPT er navnet på selve sprogmodel-familien, mens ChatGPT er et konkret produkt fra OpenAI, som er bygget oven på en GPT-model og justeret til at føre samtaler. Der er udkommet flere generationer af modellen – blandt andet GPT-3, GPT-4 og GPT-5 – og hver generation er blevet gjort tilgængelig gennem en API, som andre virksomheder kan bygge videre på. Det betyder, at GPT ikke kun findes i ChatGPT: samme type model indgår også i andre produkter, fx Microsoft Copilot, der integrerer GPT i Office-programmer til blandt andet automatisk generering af mødereferater.

Man kan sammenligne forholdet mellem GPT og ChatGPT med forholdet mellem en motor og en bil: GPT er “motoren”, der genererer sprog, mens ChatGPT er hele “bilen” – brugerfladen, samtalehistorikken og de indstillinger, der gør modellen anvendelig som chatbot for almindelige brugere.

Hvordan fungerer en GPT-model helt overordnet?

Selve træningen af en GPT-model bygger på maskinlæring, hvor modellen finder mønstre i enorme mængder tekst frem for at blive udtrykkeligt programmeret til hver enkelt opgave. Teksten opdeles i mindre enheder kaldet tokens, og modellen lærer statistisk, hvilket ord eller tegn der sandsynligvis kommer næst, givet det, der allerede er skrevet. Transformer-arkitekturen gør det muligt for modellen at vægte, hvor relevant hvert ord er for konteksten – også selvom ordene står langt fra hinanden i teksten.

Efter denne forhåndstræning bliver modellen typisk finjusteret yderligere, hvor mennesker vurderer og retter på svarene, så modellen bliver bedre til at følge instrukser og undgå upassende svar. Det er denne justering, der adskiller en rå GPT-model fra en færdig chatbot som ChatGPT.

Custom GPT og andre anvendelser

Ud over den generelle ChatGPT-udgave kan brugere også bygge deres egen specialiserede version af modellen, en såkaldt Custom GPT, der er skræddersyet til en bestemt opgave eller et bestemt vidensområde uden at kræve programmeringskundskaber. Det illustrerer igen forskellen mellem model og produkt: den underliggende GPT-teknologi er den samme, men den kan konfigureres og præsenteres på mange forskellige måder afhængigt af formålet.

Begrænsninger ved GPT

Fordi en GPT-model genererer svar ud fra statistiske sammenhænge i træningsdata frem for at slå fakta op i en facitliste, kan den i nogle tilfælde finde på navne, tal eller kilder, der lyder troværdige, men reelt er forkerte eller opdigtede – et fænomen der kaldes AI-hallucination. Det er derfor en god idé at behandle svar fra GPT-baserede værktøjer som et udkast, der bør efterprøves, frem for et endeligt og ufejlbarligt facit.