Bör vi byta till Muse eller MAI-Transcribe-2?

Det kan inte besvaras utifrån, och det är hela poängen. Använd listorna för att plocka ut kandidater, och låt era egna samtal avgöra. Kontrollera samtidigt vilka språk leverantören faktiskt har verifierat, i vilken region ljudet behandlas, och vad priset blir när ett eventuellt lanseringserbjudande löper ut.

Är ordfelfrekvens då oanvändbar?

Nej, men den är ett grovsorteringsverktyg. Den behandlar alla fel som lika stora, och på ett kundnummer är de inte det: en felaktig siffra i ett kontonummer och ett överflödigt utfyllnadsord räknas lika. Mät ordfelfrekvens om ni vill, men avgör inget på den enbart.

Betyder forskningen att de nya modellerna fuskar?

Nej. Studien testade elva öppna modeller, och varken Muse eller MAI-Transcribe-2 fanns bland dem. Den säger att en hög siffra på en välkänd utvärderingsmängd delvis kan komma av igenkänning av själva mängden – alltså att instrumentet är oprecist, inte att någon har gjort något fel.

Hur många samtal behöver vi för att mäta något?

Trettio räcker för att se skillnader som betyder något, förutsatt att de är hämtade från det nummer och den samtalsväg ni faktiskt använder. Trettio verkliga samtal säger mer än tre hundra studioinspelningar. Och facit måste skrivas av er i efterhand, så att ingen modell kan ha sett det tidigare.

Nya talmodeller: listplaceringen är inte mätt på er telefonlinje

Den 1 september lanserade Meta talmodellen Muse Voice Transcribe. Två dagar senare kom Microsoft med MAI-Transcribe-2. Båda kom med siffror att visa upp: Meta uppger 3,1 procent ordfelfrekvens och en förstaplats på Artificial Analysis lista över strömmande taligenkänning, medan Microsoft uppger 5,2 procent genomsnittlig ordfelfrekvens på FLEURS över 60 språk och en andraplats på samma aktörs lista över ordfelfrekvens.

Siffrorna är inte påhittade, och modellerna är inte ointressanta. Frågan är vad siffrorna är mätta på – och om den mätningen säger något om ert kundnummer.

Vad ett genomsnitt över 60 språk är mätt på

FLEURS är en utvärderingsmängd byggd på översättningsmängden FLoRes-101: meningar hämtade från Wikipedia, upplästa av människor, omkring tolv timmars ljud per språk, samplade i 16 kilohertz.

Läs den beskrivningen en gång till, för varje led i den är ett avstånd till er telefon.

Det är uppläst text, inte spontant tal. Ingen ändrar sig mitt i en mening, ingen avbryter, ingen säger ”öh, nej, vänta – det var i fjol”. Det är Wikipedia-prosa, inte ”hej, jag ringer om fakturan som kom i går”. Och det är 16 kilohertz, medan ett vanligt telefonsamtal bär omkring 300 till 3 400 hertz och slänger bort både toppen och botten av rösten på vägen in.

Här är det värt att vara precis, för bandbredden är inte given. Threll.ai levererar telefoni över SIP-trunk hos Telenor, och samtalet går i HD Voice på 16 kilohertz där telefonen och nätet i andra änden stöder det. Då är utvärderingsmängdens samplingsfrekvens inget avstånd i sig. Förutsättningen är bara att stödet finns hela vägen – faller ett enda led tillbaka till smalband är det smalband resten av samtalet. Poängen står därför oavsett: ni kan inte anta vilken av de två ett givet samtal gick i, och det är just därför mätningen måste göras på era egna samtal.

Ett genomsnitt över 60 språk döljer dessutom varje enskilt av dem. Meta uppger att Muse är tränad på över 70 språk, och att 25 av dem är noggrant verifierade inför lanseringen. Vilka 25 är en rimlig fråga att ställa till en leverantör. För en svensk köpare betyder svaret betydligt mer än förstaplatsen.

Forskningen som kom tre veckor före lanseringarna

Den 20 augusti publicerade Lebryk och medförfattare en preliminär forskningsartikel med titeln ”Towards Quantifying Benchmark Optimization in ASR Models”, följd dagen efter av en artikel från Hume AI-författare på Hugging Face. Frågan de ställer är obehagligt enkel: transkriberar en talmodell alltid det ljud den faktiskt får in, eller kan den ibland återge en referenstext som den känner sedan tidigare?

De testade elva mycket använda öppna talmodeller med tre typer av prov:

Ljudet och facit är oense. Ljudet är ändrat så att det inte längre stämmer med den referenstext utvärderingsmängden använder.
Delar av ljudet är borttagna. Siffror och namn är maskerade bort, så att underlaget för att skriva dem inte finns i signalen alls.
Flera stavningar är möjliga. Provet ser vad modellen gör där ortografin kunde ha gått två vägar.

Fyndet från det andra provet är det som betyder något här. I försöket på LibriSpeech, där siffror var maskerade bort från ljudet, återskapade flera av de modeller som presterar bäst på listorna det bortmaskerade talet i omkring 30 till 40 procent av fallen. Effekten var genomgående svagare på ljud som var insamlat nyligen.

Två preciseringar, eftersom de spelar roll: studien testade varken Muse eller MAI-Transcribe-2, och den motsäger ingen av lanseringspåståendena. Den säger något om instrumentet, inte om de två nya modellerna.

En modell som fyller i ett tal är sämre än en som säger att den inte hörde

Här slutar det att vara akademiskt.

På ett kundnummer är siffrorna ofta hela nyttolasten. Ordernumret, kontonumret, datumet, beloppet, husnumret. Siffror är dessutom den svagaste punkten i svensk taligenkänning sedan tidigare – smalbandsljud, par som sjutton och sjuttio eller femton och femtio, och uttal som skiftar mellan landsdelarna drar alla i samma riktning.

En modell som skriver ”oklart”, eller som markerar att den är osäker, ger er lösning en chans: agenten kan fråga igen, läsa tillbaka talet eller koppla vidare. En modell som skriver ett rimligt tal ger ingen sådan chans. Den levererar ett svar som ser precis lika rätt ut som alla de andra svaren, och felet dyker upp i bokföringen eller på leveransdagen.

Ordfelfrekvens skiljer inte mellan de två. En felaktig siffra och ett överflödigt ”alltså” räknas lika. Därför är siffran ett dåligt inköpskriterium även när den är rätt mätt.

Testet ni kan köra utan ett laboratorium

Det kräver ingen ny leverantör och ingen ny funktion.

Ta trettio av era egna samtal. Från det nummer som faktiskt används, genom den samtalsväg som faktiskt används. Inte inspelningar gjorda i en bra mikrofon i ett mötesrum.

Skriv facit själva, i efterhand. Någon som känner kunderna lyssnar igenom och skriver ner vad som sades. Hela poängen är att ingen modell kan ha sett detta facit tidigare.

Räkna bara det som bär ärendet. Siffror, namn, adresser, tidpunkter – och negationer. Ett ”inte” som försvinner vänder betydelsen i en hel mening. Allt annat är brus i den här mätningen.

Skilj fel från ifyllnad. Anteckna särskilt var modellen skrev något konkret där ljudet var oklart. Det är den feltypen som inte ger sig till känna förrän den är dyr.

Trettio samtal räcker för att se en skillnad som betyder något. Det är också så lite arbete att ingen behöver söka budget för att göra det.

Threll.ai bygger röstagenter på svenska, norska och danska. Nya modeller är i stort sett bättre än de gamla, och det är värt att byta till dem. Vi brukar bara föreslå att bytet mäts på era egna samtal – för ett byte som sker av sig själv, utan att någon mätte något, är inte en uppgradering.