En pilot slutter påfallende ofte med setningen «det gikk fint». Ingen vet helt hva som gikk fint, og ingen kan si hva som skulle til for at det ikke gjorde det.
Det er sjelden fordi teknologien er uklar. Det er fordi piloten ble satt opp som en demonstrasjon i stedet for en prøve. En demonstrasjon har som formål å vise at noe kan fungere, og den greier det nesten alltid. En prøve har som formål å finne ut om det gjør det – og den må derfor kunne gå galt.
To uker er nok. Den vanligste feilen er å bruke tre måneder på noe som var avgjort etter ni virkedager. Under er rekkefølgen som gjør de to ukene til en beslutning i stedet for en anbefaling.
1. Skriv ned beslutningen før du skriver samtalen
Første setning i pilotdokumentet skal ikke handle om agenten. Den skal handle om hva dere skal gjøre den femtende i neste måned.
«Vi skal avgjøre om agenten skal ta alle innkommende timebestillinger utenfor åpningstid fra 1. oktober» er en beslutning. «Vi skal teste Voice AI» er det ikke.
Skriv deretter ned den vanskeligere halvparten: hvilket resultat betyr nei. Ett tall, bestemt før dere har sett noen data. Klarer ingen å formulere hva som ville fått dere til å avlyse, kommer dere ikke til å avlyse – uansett hva de to ukene viser.
2. Velg én samtaletype, ikke én avdeling
«Kundeservice» er ikke en samtaletype. Det er tjue.
Velg én med høyt volum, kort levetid og et tydelig sluttpunkt: bekrefte en time, oppgi status på en sak, ta imot en avbestilling, registrere en feilmelding. Noe dere kan telle før og etter.
Innvendingen kommer med en gang: de enkle samtalene er vel ikke verdt å automatisere. Den er feil på to måter. De enkle er de fleste, og de er de eneste som gir et rent svar på to uker. En pilot lagt på de vanskelige samtalene måler ikke agenten. Den måler eskaleringen.
3. Mål nullpunktet i fem dager før agenten slås på
Nesten ingen gjør dette, og det er grunnen til at nesten ingen piloter beviser noe.
Fem vanlige virkedager, agenten avslått. Tell hvor mange som ringte om den valgte samtaletypen, hvor mange som fikk svar, hvor lenge de ventet, hvor mange som la på før noen tok den – og hvor mange som ringte om igjen om det samme innen et døgn.
Det siste tallet er det viktigste, og det eneste som er litt vrient å hente ut. Ta den jobben nå. Om to uker er det den eneste linjen dere kommer til å diskutere.
4. Avtal veien ut før dere avtaler veien inn
Det som avgjør om piloten oppleves som vellykket, er ikke åpningsreplikken. Det er hva som skjer når agenten ikke kommer videre.
Bestem tre ting før første samtale: hva som utløser overføring, hva mennesket får vite når samtalen kommer, og hva som skjer når ingen tar den. Eskaleringen er den delen det er dyrest å gjøre halvveis, og i en pilot er den også den delen alle legger merke til.
Sett terskelen lavt de første dagene. En agent som setter over for tidlig, gir dere en liste over hva den ikke mestret. En agent som holder på for lenge, gir dere irriterte kunder og ingen liste.
5. Uke 1: begrens volumet, ikke ambisjonen
Ikke la agenten ta ti prosent av jobben på alle samtalene. La den ta hele jobben på ti prosent av samtalene.
En agent som løser én sakstype fullt ut på et lite volum, er målbar. En agent som gjør litt av alt på hele volumet, er det ikke – da sitter dere igjen med et inntrykk, ikke et resultat.
Agenten skal opplyse at den er KI i første replikk. Det er en plikt, ikke et virkemiddel, og den gjelder også i en pilot, også når volumet er lite. Det er dessuten en dårlig idé å måle uten: en pilot som skjuler hva agenten er, måler noe dere ikke får lov til å drive i etterkant.
6. Uke 2: ta bort hjelpen
I den første uken kommer noen til å følge tett med. Noen justerer en formulering på tirsdag, retter en feil onsdag, sitter klar ved siden av på torsdag.
Det er riktig i uke 1 og ødeleggende i uke 2. Et system som endres hver dag, kan ikke måles – da måler dere oppmerksomheten deres, ikke agenten.
Frys konfigurasjonen mandag morgen i uke 2. Skriv ned alt dere har lyst til å endre, og la det stå til fredag. Lista blir kortere enn dere tror.
7. Lytt til tjue samtaler dere ikke har valgt ut
Trekk tjue tilfeldig. Ikke de tjue korteste, ikke de tjue leverandøren foreslår, ikke de tjue som ble eskalert.
Tallene forteller hvor ofte noe skjedde. De tjue samtalene forteller hva som skjedde – og de er den eneste kilden til feilene som ikke har noen teller bak seg: agenten som bekreftet feil dato i helt riktig format, kunden som ga opp uten å legge på, ordet ingen hadde tenkt på at folk faktisk bruker om produktet deres.
Sett av to timer. La den som skal drifte dette til daglig, sitte med.
8. Avgjør på tallet fra punkt 1
Fredag i uke 2 legger dere nullpunktet fra punkt 3 ved siden av de to ukene, og leser den ene linjen dere ble enige om på forhånd.
Motstå fristelsen til å bytte tall. Den kommer, og den kommer i hyggelig innpakning: gjennomsnittlig samtaletid gikk ned, svarprosenten er høyere, agenten håndterte 340 samtaler uten å klage. Det er tall som smigrer, og de er som regel sanne. De er bare ikke det dere spurte om.
Det to uker ikke kan avgjøre
Ti virkedager sier ingenting om drift over tid. Ingenting om hva som skjer i romjula, om hvordan agenten oppfører seg når en integrasjon ligger nede, eller om hva som skjer med oppsettet når personen som bygde det, slutter.
Piloten kan avgjøre én ting, og den ene er verdt to uker: om denne samtaletypen blir bedre eller verre for kunden når agenten tar den.
Threll.ai bygger stemmeagenter på norsk, svensk og dansk. En pilot som ikke kunne endt i nei, har ikke svart på noe. Den har brukt to uker på å bekrefte at noen allerede hadde bestemt seg.
