Hvad er hallucinationskontrol i LLM og RAG?
Hallucinationskontrol er de metoder, I bruger for at sikre, at en sprogmodels svar holder sig til verificerbare kilder og ikke opfinder fakta, navne, beløb eller procedurer. I RAG-systemer betyder det, at svaret skal kunne spores tilbage til de dokumentstykker, der blev hentet, og at systemet vedrører usikkerhed eller stopper, når kilderne ikke rækker.
Hallucination er et produktionsproblem, ikke en akademisk debat
Vi ser ofte ledelsen spørge "hallucinerer modellen?" som om svaret var ja eller nej. Alle store sprogmodeller kan formulere overbevisende forkert, især når de ikke får gode kilder eller når spørgsmålet ligger uden for materialet. Spørgsmålet i drift er: hvilke konsekvenser har en fejl, og hvilke rammer sætter I omkring dem?
Princippet er konsekvens-styret kontrol:
- Lav konsekvens: model må formulere med kildehenvisning, menneske stikprøver.
- Høj konsekvens: model må kun citere, menneske godkender før handling i systemer.
Praktiske kontroller, der virker
- Kræv kilder: svaret må kun bruge hentede passager, ikke fri fantasi.
- Grounding-check: hvis ingen relevante kilder findes, sig det tydeligt i stedet for at gætte.
- Menneske i loop dér, hvor fejl koster: godkendelse før skrivning i ERP, CRM eller udgående kundesvar.
- Logning: gem spørgsmål, kilder og svar, så fejl kan analyseres og prompts justeres.
- Test med adversarial spørgsmål: det, brugerne vil finde på for at "fange" botten.
Hos Radiometer kører et automatiseret oversættelsesflow med translation memory og glossarer, men sprogspecialister validerer i et dedikeret workspace, før noget går videre. Det er hallucinationskontrol i praksis: maskinen producerer udkast, mennesket har det sidste ord, hvor fejl har konsekvens. Se casen her.
Byg kontrollen ind fra dag ét
Definér hvilke svarstyper der må genereres frit, hvilke der kræver kilde, og hvilke der altid eskaleres. Mål fejl i stikprøver hver uge i piloten, ikke første gang en kunde opdager det. Læs mere om RAG og modelinstruktioner som de to sider af samme coin.