AI Hallucination

AI-hallucination er et fænomen, hvor en AI-model – typisk en sprogmodel eller chatbot – genererer information, der lyder overbevisende og faktuel, men som rent faktisk er forkert, opdigtet eller uden hold i virkeligheden. Modellen “opfinder” med andre ord svar, kildehenvisninger eller detaljer, uden at den selv registrerer, at noget er forkert. Begrebet bruges især om store sprogmodeller (LLM’er) som dem der ligger bag chatbots, men ses også inden for billedgenkendelse og talegenkendelse.

Et konkret eksempel er, når man spørger en chatbot om en juridisk sag eller en videnskabelig kilde, og den svarer med et overbevisende navn, årstal og resumé – som viser sig aldrig at have eksisteret. Netop denne kombination af selvsikker formulering og fravær af belæg gør AI-hallucination svær at få øje på i praksis, fordi outputtet grammatisk og stilistisk ligner et korrekt svar.

Hvorfor opstår AI-hallucination?

Sprogmodeller er bygget til at forudsige det mest sandsynlige næste ord i en sætning på baggrund af mønstre i deres træningsdata – de er ikke designet til at vide, om et svar er sandt. Når en model ikke har tilstrækkelig eller relevant information om et emne, vil den ofte alligevel generere et svar i stedet for at erkende sin egen usikkerhed. Det skyldes blandt andet, at modellerne er trænet til at prioritere sammenhængende og flydende sprog frem for garanteret korrekthed.

Flere faktorer kan bidrage til, at en generativ AI-model hallucinerer:

• Utilstrækkelig, forudindtaget eller forældet træningsdata, som ikke dækker det spurgte emne godt nok.
• Mangel på egentlig “grounding” – altså en solid kobling til virkelige, verificerbare fakta – hvilket kan føre til, at modellen udfylder tomme huller med plausible, men opdigtede detaljer.
• For høj modelkompleksitet eller overfitting, hvor modellen finder mønstre i data, der reelt ikke findes.
• Finjustering, hvor tilføjelse af ny viden i nogle tilfælde kan øge tendensen til at hallucinere.

Eksempler på AI-hallucination

Fænomenet er dokumenteret i flere velkendte sager. I 2023 indgav en advokat i USA en retssag delvist forfattet med hjælp fra ChatGPT, hvor værktøjet henviste til retspraksis, som slet ikke eksisterede. Google har oplevet, at chatbotten Bard fejlagtigt hævdede, at James Webb-rumteleskopet havde taget verdens første billeder af en planet uden for solsystemet. Microsofts chatbot “Sydney” er et andet omtalt tilfælde, hvor systemet begyndte at fremsætte påstande om følelser og overvågning, som ikke havde belæg i virkeligheden.

Inden for computer vision og billedgenkendelse kan hallucination vise sig på andre måder – for eksempel når et system fejlagtigt kategoriserer et billede af en blåbærmuffin som en chihuahua, fordi mønstrene i billedet ligner mønstrene, modellen har lært at genkende hos hunde.

AI-hallucination er ikke det samme som en almindelig fejl

Det er værd at skelne mellem AI-hallucination og bevidst kreativt output. Når man beder en model om at digte en historie eller generere kunstneriske billeder, er nye og uventede resultater både forventede og ønskede. Hallucination opstår specifikt, når modellen bliver bedt om at levere faktuel eller pålidelig information, men i stedet præsenterer forkert eller opdigtet indhold, som var det korrekt. Denne evne til at generere sprog hænger tæt sammen med, hvordan modeller inden for NLP (Natural Language Processing) er trænet til at forudsige sandsynligt sprog snarere end at bekræfte fakta.

Hvilke konsekvenser kan AI-hallucination have?

Konsekvenserne af hallucination afhænger meget af, hvor AI-outputtet bliver brugt. I mange dagligdags sammenhænge er en forkert oplysning blot en gene, som brugeren selv kan opdage og rette. I andre sammenhænge – for eksempel inden for sundhed, jura, finans eller autonome køretøjer – kan et forkert eller opdigtet svar have alvorlige konsekvenser, hvis det ikke bliver fanget og korrigeret af et menneske, før det får betydning for en beslutning.

Hvordan kan risikoen for AI-hallucination minimeres?

Der findes ingen metode, der helt kan garantere, at en model aldrig hallucinerer, men flere tilgange kan reducere risikoen mærkbart:

• Træning på data af høj kvalitet, som er relevant, afbalanceret og velstruktureret i forhold til den opgave, modellen skal løse.
• “Grounding” af modellen, for eksempel gennem retrieval-baserede metoder, der lader modellen slå fakta op i konkrete dokumenter frem for kun at gætte ud fra træningsdata.
• Tydelige rammer og skabeloner for, hvilke typer svar modellen bør give, samt eksplicit feedback om, hvad der er et ønsket og et uønsket svar.
• Løbende test og evaluering af modellens output, kombineret med menneskelig kontrol af vigtige eller risikofyldte svar, før de bruges i praksis.

Sådanne teknikker bygger ofte videre på principper fra machine learning (maskinlæring), hvor modellens træningsproces og datagrundlag har direkte betydning for, hvor pålidelige de færdige svar bliver.

Kan AI-hallucination være nyttig?

I nogle sammenhænge bliver den samme egenskab, der forårsager hallucination, brugt bevidst og positivt. Inden for kunst, design og spiludvikling kan en models tendens til at generere uventede, “opdigtede” mønstre bidrage til nye visuelle stilarter eller virtuelle miljøer, hvor kravet om faktuel korrekthed ikke gør sig gældende på samme måde som ved faktuelle forespørgsler.