Agenten hører telefonnummeret rigtigt. Navnet er en anden sag.

Det, der virker, er kontekst – men kun filtreret kontekst

Hovedfundet i den samme artikel er værd at tage med, for det er kontraintuitivt. Forfatterne lod en sprogmodel rette egennavnene bagefter og prøvede tre måder at give den noget at rette imod:

1. Hele kontekstdokumentet. Fejlraten på navne steg, fra 32,3 til 43,4 procent.
2. Et resumé af dokumentet. Også dårligere: 38,6 procent.
3. Kun de navne i konteksten, der lyder fonetisk som det, modellen skrev, af samme type, sammen med de sætninger, de står i. Ned til 22,7 procent – en relativ forbedring på 30 procent.

Mere kontekst gjorde det dårligere. Den rigtige kontekst gjorde det bedre. Og på navne, der slet ikke fandtes i dokumentet, landede metoden på 23,6 procent – altså gjorde den ikke skade, hvor den ikke kunne hjælpe.

AssemblyAI rapporterer det samme mønster fra en anden vinkel: at sende agentens eget spørgsmål med til talemodellen skar 10,2 procent af ordfejlraten på 20.000 samtalefiler, og opdigtede ord faldt 18,3 procent. En model, der ved, at spørgsmålet var «hvad er dit efternavn?», gætter ikke på et almindeligt ord.

Tre greb i opsætningen

1. Send navnene ind, før indringeren siger dem. Kommer opkaldet fra et nummer, I kender, ved I, hvad kunden hedder, før hun har sagt et ord – og hvilke kolleger hun kan komme til at spørge efter. Send den liste ind som forventede termer. Men send en kort liste, ikke hele kartoteket: målingerne ovenfor siger, at ufiltreret kontekst gør det dårligere.
2. Send spørgsmålet sammen med svaret. Agenten ved, hvad den lige har spurgt om. Får talemodellen det også at vide, læser den svaret som et navn frem for som et ord.
3. Lad aldrig agenten skrive et navn ind, den er usikker på. Modeller giver en konfidensværdi per ord. Brug den som en port: under tærsklen læser agenten navnet tilbage bogstav for bogstav, eller samtalen sættes over til et menneske. Et navn, der havner forkert i en journal eller en ordre, koster mere end tredive ekstra sekunder i samtalen.

Tre spørgsmål vi får

«Kan vi ikke bare bede folk stave?» Det flytter problemet, det fjerner det ikke. Bogstavnavnene på dansk kolliderer præcis der, hvor linjen er svagest: be og de, pe og te, ce og se. Der findes et officielt dansk stavealfabet, men det er ikke i almindelig brug, så indringere improviserer – «D som i David», «D som i Dorte», «D som i Danmark» – og nu skal agenten tolke et helt nyt ord oven i bogstavet. Stavning hjælper mest, når agenten læser tilbage, mindst når indringeren læser op.

«Hjælper en bedre model?» Ja, og mere end mange tror. Spredningen i tabellen ovenfor er reel: der er langt mere at hente ved at vælge den rigtige model til navne end til telefonnumre. Pointen er, at overskriftstallet ikke viser, hvor spredningen ligger. Vælg på entitetstallet, og mål skiftet på jeres egne samtaler.

«Kan vi springe navnet over?» Ofte ja, og det er måske det mest nyttige svar her. Ordrenumre og telefonnumre er de kategorier, der måles lavest, og de peger lige så præcist på rækken i kartoteket. Spørg om navnet, fordi det er høfligt. Slå kunden op på nummeret, fordi det er det, der holder.

Threll.ai bygger stemmeagenter på dansk, norsk og svensk. Der findes ingen model, der hører «Kjærgaard» rigtigt hver gang over en telefonlinje. Der findes derimod opsætninger, hvor agenten ved, at den ikke hørte det – og det er den forskel, der afgør, om fejlen dukker op i samtalen eller i journalen.