Hvad er et context window hos LLM?
Et context window er den mængde tekst (målt i tokens), en sprogmodel kan tage med som input i ét kald: prompt, systeminstruktioner, historik og dokumenter. Et større vindue betyder, at modellen kan "se" mere materiale ad gangen, men det betyder ikke, at alt automatisk forstås eller bruges korrekt.
Stort vindue erstatter ikke RAG og struktur
Vi ser ofte antagelsen, at man kan dumpe hele dokumentarkivet i modellen. I praksis falder kvalitet og stiger omkostning, og hallucinationsrisiko stiger. RAG og embeddings finder det relevante; context window rummer det nødvendige.
Tokens er ikke det samme som ord: dansk og teknisk tekst kan bruge flere tokens per ord.
Vælg strategi efter dokumentlængde
Korte sager: direkte i prompt. Lange manualer: RAG eller chunking. Meget lange kontrakter: kombination med udtræk først. Test på jeres længste realistiske input og mål omkostning per sag. Se kontekststyring.
Sådan kommer I i gang
- Mål jeres typiske dokumentlængde i tokens eller sider.
- Vælg strategi: direkte prompt, chunking eller RAG.
- Undgå at fylde vinduet med irrelevant historik.
- Overvåg omkostning per sag, når vinduet vokser.
Større context window løser ikke dårlig informationsarkitektur. Det gør det dyrere. Find det relevante først, og brug vinduet til det, der skal forstås i sammenhæng.
Det vigtige at tage med
Omkostningen per sag stiger lineært med, hvor meget I propper i vinduet. RAG er ofte billigere end at sende hele arkivet hver gang. Se procesautomatisering for hvordan vi bygger første flow i praksis, eller workshops hvis teamet skal op på samme niveau før implementering.