Agenten hör telefonnumret rätt. Namnet är en annan sak.

Det som fungerar är kontext – men bara filtrerad kontext

Huvudfyndet i samma artikel är värt att ta med sig, för det är kontraintuitivt. Författarna lät en språkmodell rätta egennamnen i efterhand och prövade tre sätt att ge den något att rätta mot:

1. Hela kontextdokumentet. Felfrekvensen på namn steg, från 32,3 till 43,4 procent.
2. En sammanfattning av dokumentet. Också sämre: 38,6 procent.
3. Bara de namn i kontexten som låter fonetiskt likt det modellen skrev, av samma typ, tillsammans med de meningar de står i. Ner till 22,7 procent – en relativ förbättring på 30 procent.

Mer kontext gjorde det sämre. Rätt kontext gjorde det bättre. Och på namn som inte fanns i dokumentet alls landade metoden på 23,6 procent – alltså gjorde den ingen skada där den inte kunde hjälpa.

AssemblyAI rapporterar samma mönster från ett annat håll: att skicka med agentens egen fråga till talmodellen skar 10,2 procent av ordfelfrekvensen på 20 000 samtalsfiler, och uppdiktade ord minskade 18,3 procent. En modell som vet att frågan var «vad är ditt efternamn?» gissar inte på ett vanligt ord.

Tre grepp i uppsättningen

1. Skicka in namnen innan uppringaren säger dem. Kommer samtalet från ett nummer ni känner, vet ni vad kunden heter innan hon har sagt ett ord – och vilka kollegor hon kan komma att fråga efter. Skicka in den listan som förväntade termer. Men skicka en kort lista, inte hela registret: mätningarna ovan säger att ofiltrerad kontext gör det sämre.
2. Skicka frågan tillsammans med svaret. Agenten vet vad den just frågade om. Får talmodellen veta det också, läser den svaret som ett namn i stället för som ett ord.
3. Låt aldrig agenten skriva in ett namn den är osäker på. Modeller ger ett konfidensvärde per ord. Använd det som en spärr: under tröskeln läser agenten namnet tillbaka bokstav för bokstav, eller så kopplas samtalet till en människa. Ett namn som hamnar fel i en journal eller en order kostar mer än trettio extra sekunder i samtalet.

Tre frågor vi får

«Kan vi inte bara be folk bokstavera?» Bokstavsnamnen på svenska kolliderar precis där linjen är svagast: be och de, pe och te, ce och se. Det svenska bokstaveringsalfabetet – Adam, Bertil, Cesar – är bättre känt här än motsvarande listor i Norge och Danmark, och det hjälper. Men det löser inte ä och ö, och det fungerar bara när båda parter använder samma lista. Halva samtalen blir ändå «D som i Daniel», «D som i Dalarna» – och då ska agenten tolka ett helt nytt ord utöver bokstaven. Bokstavering hjälper mest när agenten läser tillbaka, minst när uppringaren läser upp.

«Hjälper en bättre modell?» Ja, och mer än många tror. Spridningen i tabellen ovan är verklig: det finns långt mer att hämta i att välja rätt modell för namn än för telefonnummer. Poängen är att rubriktalet inte visar var spridningen ligger. Välj på entitetssiffran, och mät bytet på era egna samtal.

«Kan vi hoppa över namnet?» Ofta ja, och det är kanske det mest användbara svaret här. Ordernummer och telefonnummer är de kategorier som mäts lägst, och de pekar precis lika exakt på raden i registret. Fråga om namnet därför att det är artigt. Slå upp kunden på numret, därför att det är det som håller.

Threll.ai bygger röstagenter på svenska, norska och danska. Det finns ingen modell som hör «Sjögren» rätt varje gång över en telefonlinje. Det finns däremot uppsättningar där agenten vet att den inte hörde det – och det är den skillnaden som avgör om felet dyker upp i samtalet eller i journalen.