Hvad er kontekststyring i AI-løsninger?
Kontekststyring er disciplinen om, hvilken information en sprogmodel får med i hvert kald: hvilke dokumenter, hvilken sagshistorik, hvilke systemdata, og i hvilken rækkefølge. God kontekststyring gør output præcist; dårlig kontekst giver gæt og hallucinationer.
Mere kontekst er ikke altid bedre
Vi ser ofte alt smidt ind i prompten "for en sikkerheds skyld". Modellen kan miste fokus på det vigtige. Kontekststyring vælger det relevante via semantisk søgning, metadata og regler om, hvad der må med for den pågældende bruger.
Prioritér: seneste sagshistorik, gældende policy, relevante dokumenter. Udelad det irrelevante.
Styr kontekst pr. rolle og sag
Support ser kun den pågældende kundes data. Afdelinger ser kun deres domæne. Log hvilken kontekst der blev brugt. Det understøtter GDPR og sporbarhed. Se RAG som teknik og context window som begrænsning.
Sådan kommer I i gang
- Definér hvilke datakilder der må bruges per rolle og sagstype.
- Byg RAG eller filtrering før prompten fyldes.
- Log hvilken kontekst der blev sendt til modellen.
- Test med 20 spørgsmål, hvor svaret kræver præcis kilde.
God kontekststyring føles usynlig for brugeren: svarene bliver bare mere præcise. Dårlig kontekststyring mærkes som gæt, selv med den dyreste model.
Det vigtige at tage med
Brugeren mærker kontekststyring som præcision: rigtig kunde, rigtig sag, rigtig policy. Det er forskellen på et svar, der kan sendes, og et svar, der skal fact-checkes. Se procesautomatisering for hvordan vi bygger første flow i praksis, eller workshops hvis teamet skal op på samme niveau før implementering.