Sådan måler I effekten af AI: baseline før begejstring

Hvad er en baseline?

En baseline er en opgørelse af, hvad en proces koster i dag, før der ændres noget. Ikke en konsulentrapport, men tre-fire tal på et ark: hvor mange timer bruger vi om ugen, hvor ofte skal noget laves om, og hvor lang tid går der fra start til slut.

Baselinen er hele forskellen på at kunne sige, at det føles hurtigere, og at kunne sige, at vi har sparet ni timer om ugen. Det første er en stemning. Det andet er et beslutningsgrundlag.

Hvilke tre tal skal jeres baseline indeholde?

Tre målinger dækker langt de fleste processer. De kan typisk opgøres på en uge, uden nye værktøjer.

• •Timer pr. uge: hvor meget arbejdstid lægger teamet samlet i processen? Spørg dem, der udfører arbejdet, ikke kalenderen.
• •Fejl og omarbejde: hvor ofte skal et resultat rettes, godkendes om eller laves forfra?
• •Gennemløbstid: hvor lang tid går der, fra opgaven opstår, til den er afsluttet? Ventetid tæller med.

Hvordan sætter I en baseline på en uge?

En baseline skal være billig, ellers bliver den ikke lavet. I praksis kan de fleste processer måles på en uge med to greb: spørg dem, der udfører arbejdet, og tæl det, der allerede tælles. Bed de tre-fem medarbejdere, der sidder med processen, om at notere tidsforbruget i en simpel log i fem arbejdsdage. Suppler med de tal, systemerne allerede har: antal sager, antal mails, antal bilag.

To faldgruber er værd at kende. Den første er at måle for bredt: en baseline for al administration er ubrugelig, en baseline for fakturakontrol er præcis. Den anden er at bruge kalenderen som kilde: den viser møder, ikke arbejde. Spørg folk, og rund hellere ned end op. En konservativ baseline gør hver eneste efterfølgende måling mere troværdig.

Hvordan ser målt effekt ud i praksis?

De stærkeste effekt-tal er dem, kunden selv gør op. Zignifikant gik på én dag fra et komplekst Excel-regneark til et internt værktøj og opgjorde selv besparelsen til cirka 50 timers manuelt arbejde hvert kvartal. Efter en måned i drift dækkede værktøjet kunder svarende til cirka 2 procent af alle danske virksomheder tilmeldt One Stop Shop Moms. Tallene er kundens egne opgørelser, ikke vores estimater.

SYBO Games byggede på én workshopdag selv et værktøj, de tidligere havde brugt 300.000 kroner på at få bygget eksternt uden at nå i mål. Og hos Radiometer blev tre dokumentformater samlet i ét automatiseret oversættelsesflow med færre manuelle trin og bedre sporbarhed. Fælles for alle tre: effekten kan efterprøves, fordi der findes et før og et efter.

Hvordan måler I kvalitet og ikke kun hastighed?

Tid er det letteste at måle og sjældent det vigtigste. En AI-løsning, der producerer hurtige udkast, som alle skal skrives om, har en effekt tæt på nul. Mål derfor også kvaliteten: hvor stor en andel af AI'ens output kan bruges uden omarbejde? Hvor ofte fanger stikprøverne fejl? Og hvordan udvikler de to tal sig over tid?

For processer med kundekontakt er løsningsraten det centrale tal: andelen af henvendelser eller opgaver, der løses korrekt uden menneskelig indgriben. Den fortæller, hvor meget kontrolarbejde driften reelt kræver, og dermed hvad løsningen faktisk koster at eje.

Hvordan omregner I timer til kroner uden at pynte?

Timer bliver kun til kroner, hvis de frigjorte timer faktisk bruges på noget andet. Brug den reelle timeomkostning, ikke en gennemsnitlig salgspris, og træk løsningens driftsomkostninger fra: licenser, drift og den tid, der stadig bruges på kontrol og godkendelse.

Vær konservativ. En business case, der holder med forsigtige antagelser, overlever det første ledermøde. En, der kræver optimistiske antagelser, gør ikke.

Hvornår og hvor ofte skal I måle efter?

Mål første gang efter en måneds reel drift, når nyhedens interesse har lagt sig, og igen efter et kvartal. De to målinger fortæller forskellige ting: den første, om løsningen virker, den anden, om den bliver ved med at blive brugt. Effekt, der falder mellem måned én og måned tre, er næsten altid et adoptionsproblem, ikke et teknologiproblem, og det kræver en anden indsats end mere teknik.

Genbrug baselinens metode én til én: samme spørgsmål, samme mennesker, samme optælling. Skifter I målemetode undervejs, sammenligner I æbler med pærer, og så er I tilbage ved mavefornemmelserne.

Hvem skal eje målingen?

Den, der ejer processen i driften, ikke projektet og ikke leverandøren. Projekter slutter, og leverandører har en interesse i pæne tal. Procesejeren skal leve med løsningen bagefter og er derfor den eneste, der har en naturlig interesse i, at tallene er ærlige.

Gør målingen til en rutine i stedet for en begivenhed: et kvarter i forbindelse med den rapportering, der alligevel laves, med de samme tre-fire tal hver gang. Når effekten står ved siden af de øvrige driftstal, bliver den en del af, hvordan virksomheden styrer, i stedet for et bilag fra et afsluttet projekt.

Hvad gør I, når tallene skuffer?

Først og fremmest: lad være med at gemme dem. En måling, der viser svag effekt, er ikke et nederlag, den er præcis det beslutningsgrundlag, I bad om. Se derefter på, hvor det knirker. Er andelen af output, der kan bruges uden omarbejde, lav, er det typisk arbejdsgangen eller datagrundlaget, der skal justeres, ikke teknologien, der skal skiftes. Er tidsbesparelsen der, men effekten ikke, bruges de frigjorte timer måske ikke på noget, der er besluttet.

Og hvis processen viser sig at være det forkerte sted at bruge AI, så luk løsningen og skriv hvorfor. Et dokumenteret nej gør den næste prioritering klogere. Det er også en effekt af at måle.

Hvor præcise skal tallene være?

Præcise nok til at beslutte på, ikke revisionssikre. En baseline bygget på fem dages selvrapportering har usikkerhed, og det er helt fint, så længe usikkerheden trækker samme vej hele vejen igennem: rund ned i baselinen, rund op i driftsomkostningerne, og lad effekten bære bevisbyrden. Viser regnestykket stadig gevinst med de forsigtige tal, holder beslutningen også i virkeligheden.

Brug hellere tre grove tal, der bliver målt hver måned, end tyve præcise, der blev målt én gang. Måling af AI-effekt er ikke et regnskab, det er et styringsværktøj, og et styringsværktøj skal først og fremmest være i brug.

Hvad nu, hvis der ikke findes et før?

Nogle AI-gevinster har ikke en manuel proces at måle imod: et værktøj, der gør noget muligt, som ingen gjorde før, fordi det var for dyrt eller for besværligt. Her er baselinen ikke timer, men fravær. Hvad blev ikke gjort? Tag værktøjet fra workshopdagen hos SYBO Games: det erstattede ikke en eksisterende arbejdsgang, det leverede noget, et eksternt projekt til 300.000 kroner aldrig havde fået i mål. Effekten kan stadig gøres op: før fandtes værktøjet ikke, nu gør det, og prisen var én dag.

Princippet er det samme som ved timer og fejl: find det sammenligningspunkt, der findes, og skriv det ned, før I går i gang. Selv et fravær er en baseline, hvis det er dokumenteret.

Hvad skal I ikke tælle med?

Tre ting hører ikke hjemme i regnestykket: estimater uden baseline, for de kan hverken bekræftes eller afkræftes; engangseffekter som en oprydning, der alligevel skulle laves; og leverandørens egne tal om, hvad kunder plejer at spare. Det gælder også os. Bed altid om at få effekten opgjort på jeres egne processer, med jeres egen baseline.