Hvad er et context window i LLMs?
Et context window, eller kontekstvindue på dansk, definerer den maksimale mængde tekst, som en sprogmodel (LLM) kan behandle og "huske" på et givet tidspunkt. I teknisk forstand er det omfanget af inputdata, som modellen har adgang til via sin attention-mekanisme, når den skal generere et svar. Man kan sammenligne det med en persons arbejdshukommelse; alt hvad der falder inden for vinduet, kan modellen relatere til, mens information uden for vinduet bliver "glemt" eller overset.
Dette vindue måles i tokens. Tokens er de grundlæggende byggesten i en LLM og svarer typisk til orddele eller kortere ord. Som en tommelfingerregel svarer 1.000 tokens til ca. 750 ord. For virksomheder er forståelsen af LLM context window afgørende, da det dikterer, hvor komplekse instruktioner og hvor store mængder data, man kan fodre modellen med i en enkelt forespørgsel.
Optimering af token limit og prompt engineering
Når man arbejder med AI-løsninger, støder man hurtigt på en token limit. Hvis en prompt eller en samtalshistorik overstiger modellens kapacitet, vil de tidligste informationer blive skåret væk. Dette har stor betydning for præstationen, da tab af kontekst direkte fører til mindre nøjagtige eller usammenhængende svar. For at styre dette anvendes forskellige teknikker inden for prompt engineering:
- Sammenfatning: Ved at opsummere tidligere dele af en samtale kan man bevare essensen uden at bruge for mange tokens.
- Prompt-komprimering: Fjernelse af overflødig tekst eller brug af mere præcise instruktioner.
- Sliding windows: En metode hvor modellen kun kigger på de mest relevante, seneste bidder af informationen.
Forskellen på modeller er markant; hvor ældre modeller måske kun håndterede 4.000 til 16.000 tokens, har moderne modeller som GPT-4 og Claude 3 kapacitet til henholdsvis 128.000 og over 200.000 tokens. Valget af model afhænger derfor ofte af, om opgaven kræver analyse af enkelte dokumenter eller hele arkiver.
Sammenhængen mellem RAG chunking og kontekstvinduer
For virksomheder der integrerer egne data, er RAG chunking en central disciplin. Retrieval-Augmented Generation (RAG) gør det muligt at hente ekstern viden ind i modellens kontekstvindue dynamisk. Da man sjældent kan (eller bør) indsætte hele datasæt på én gang, benytter man chunking til at opdele informationen i mindre bidder.
Når man arbejder med RAG chunk size vs context window best practices, handler det om at finde den rette balance. Hvis bidderne (chunks) er for små, mister modellen den omkringliggende sammenhæng. Er de for store, optager de for meget plads i kontekstvinduet, hvilket begrænser muligheden for at præsentere modellen for flere forskellige informationskilder samtidigt.
Effektiv håndtering af et context window i AI agenter kræver derfor en gennemtænkt strategi for, hvordan data hentes og præsenteres. Ved at mestre balancen mellem token-forbrug og relevant kontekst, sikrer man, at AI-løsningen forbliver både præcis og omkostningseffektiv i driften.