Bør vi bytte til Muse eller MAI-Transcribe-2?

Det kan ikke besvares fra utsiden, og det er hele poenget. Bruk rangeringene til å plukke ut kandidater, og la egne samtaler avgjøre. Sjekk samtidig hvilke språk leverandøren faktisk har verifisert, hvilken region lyden behandles i, og hva prisen blir etter et eventuelt lanseringstilbud.

Er ordfeilrate ubrukelig da?

Nei, men den er et grovsorteringsverktøy. Den behandler alle feil som like store, og på et kundenummer er de ikke det: et feil siffer i et kontonummer og et overflødig fyllord teller likt. Mål ordfeilrate om dere vil, men ikke avgjør noe på den alene.

Betyr forskningen at de nye modellene jukser?

Nei. Studien testet elleve åpne modeller, og verken Muse eller MAI-Transcribe-2 var blant dem. Den sier at et høyt tall på et velkjent evalueringssett delvis kan komme av gjenkjennelse av selve settet – altså at instrumentet er upresist, ikke at noen har gjort noe galt.

Hvor mange samtaler trenger vi for å måle noe?

Tretti er nok til å se forskjeller som betyr noe, forutsatt at de er hentet fra det nummeret og den anropsveien dere faktisk bruker. Tretti reelle samtaler sier mer enn tre hundre studioopptak. Og fasiten må skrives av dere i etterkant, slik at ingen modell kan ha sett den før.

Nye talemodeller: rangeringstallet er ikke målt på telefonen din

Den 1. september lanserte Meta talemodellen Muse Voice Transcribe. To dager senere kom Microsoft med MAI-Transcribe-2. Begge kom med tall å vise til: Meta oppgir 3,1 prosent ordfeilrate og en førsteplass på Artificial Analysis' rangering for strømmende talegjenkjenning, Microsoft oppgir 5,2 prosent gjennomsnittlig ordfeilrate på FLEURS over 60 språk og en andreplass på den samme aktørens feilrate-rangering.

Tallene er ikke oppspinn, og modellene er ikke uinteressante. Spørsmålet er hva tallene er målt på – og om den målingen har noe å si for et norsk kundenummer.

Hva et gjennomsnitt over 60 språk er målt på

FLEURS er et evalueringssett bygget på oversettelsessettet FLoRes-101: setninger hentet fra Wikipedia, lest opp av mennesker, om lag tolv timer lyd per språk, samplet på 16 kilohertz.

Les den beskrivelsen én gang til, for hvert ledd i den er en avstand til telefonen deres.

Det er opplest tekst, ikke spontan tale. Ingen ombestemmer seg midt i en setning, ingen avbryter, ingen sier «eh, nei, vent – det var i fjor». Det er Wikipedia-prosa, ikke «hei, jeg ringer om den fakturaen som kom i går». Og det er 16 kilohertz, mens et vanlig telefonanrop bærer omtrent 300 til 3 400 hertz og kaster bort både toppen og bunnen av stemmen på veien inn.

Her er det verdt å være presis, for båndbredden er ikke gitt. Threll.ai leverer telefoni over SIP-trunk hos Telenor, og samtalen går i HD Voice på 16 kilohertz der håndsettet og nettet i den andre enden støtter det. Da er samplingsfrekvensen i evalueringssettet ingen avstand i seg selv. Forutsetningen er bare at støtten er der hele veien – faller ett ledd tilbake til smalbånd, er det smalbånd resten av samtalen. Poenget står derfor uansett: dere kan ikke anta hvilken av de to en gitt samtale gikk i, og det er nettopp derfor målingen må gjøres på deres egne samtaler.

Et gjennomsnitt over 60 språk skjuler i tillegg hvert enkelt av dem. Meta oppgir at Muse er trent på over 70 språk, og at 25 av dem er grundig verifisert for lanseringen. Hvilke 25 er et rimelig spørsmål å stille en leverandør. Svaret er mer interessant for en norsk kjøper enn en førsteplass.

Forskningen som kom tre uker før lanseringene

Den 20. august publiserte Lebryk og medforfattere en foreløpig fagartikkel med tittelen «Towards Quantifying Benchmark Optimization in ASR Models», fulgt dagen etter av en artikkel fra Hume AI-forfattere på Hugging Face. Spørsmålet de stiller, er ubehagelig enkelt: transkriberer en talemodell alltid lyden den faktisk får inn, eller kan den noen ganger gjengi en referansetekst den kjenner fra før?

De testet elleve mye brukte åpne talemodeller med tre typer prøver:

Lyden og fasiten er uenige. Lyden er endret slik at den ikke stemmer med referanseteksten evalueringssettet bruker.
Deler av lyden er fjernet. Tall og navn er maskert bort, slik at grunnlaget for å skrive dem ikke finnes i signalet i det hele tatt.
Flere skrivemåter er mulige. Prøven ser hva modellen gjør der ortografien kunne gått to veier.

Funnet fra den andre prøven er det som betyr noe her. I forsøket på LibriSpeech, der tall var maskert bort fra lyden, gjenskapte flere av modellene som skårer best på rangeringene, det bortmaskerte tallet i omtrent 30 til 40 prosent av tilfellene. Effekten var gjennomgående svakere på lyd som var samlet inn nylig.

To presiseringer, fordi de er viktige: studien testet ikke Muse eller MAI-Transcribe-2, og den motsier ingen av lanseringspåstandene. Den sier noe om instrumentet, ikke om de to nye modellene.

En modell som fyller inn et tall, er verre enn en som sier den ikke hørte

Her slutter dette å være akademisk.

På et kundenummer er tallene ofte hele nyttelasten. Ordrenummeret, kontonummeret, datoen, beløpet, husnummeret. Sifre er dessuten det svakeste punktet i norsk talegjenkjenning fra før – smalbåndslyd, to konkurrerende tellemåter og uttale som varierer fra dal til dal drar alle i samme retning.

En modell som skriver «uklart», eller som markerer at den er usikker, gir oppsettet deres en sjanse: agenten kan spørre om igjen, lese tallet tilbake, eller sette over. En modell som skriver et plausibelt tall, gir ingen slik sjanse. Den leverer et svar som ser like riktig ut som alle de andre svarene, og feilen dukker opp i oppgjøret eller på leveringsdagen.

Ordfeilrate skiller ikke mellom de to. Et feil siffer og et overflødig «altså» teller like mye. Det er derfor tallet er et dårlig kjøpskriterium selv når det er riktig målt.

Testen dere kan kjøre uten et laboratorium

Dette krever ingen ny leverandør og ingen ny funksjon.

Hent tretti av deres egne samtaler. Fra nummeret som faktisk er i bruk, gjennom anropsveien som faktisk er i bruk. Ikke opptak gjort på en god mikrofon i et møterom.

Skriv fasiten selv, i etterkant. Noen som kjenner kundene, hører gjennom og skriver ned hva som ble sagt. Hele poenget er at ingen modell kan ha sett denne fasiten før.

Tell bare det som bærer saken. Tall, navn, adresser, tidspunkt – og nektelser. En «ikke» som forsvinner, snur betydningen av en hel setning. Alt annet er støy i denne målingen.

Skill feil fra innfylling. Noter særskilt hvor modellen skrev noe konkret der lyden var uklar. Det er den feiltypen som ikke gir seg til kjenne før den er dyr.

Tretti samtaler er nok til å se en forskjell som betyr noe. Det er også lite nok at ingen trenger å søke om budsjett for å gjøre det.

Threll.ai bygger stemmeagenter på norsk, svensk og dansk. Nye modeller er stort sett bedre enn de gamle, og det er verdt å bytte til dem. Vi pleier bare å foreslå at byttet måles på deres egne samtaler – for et bytte som skjer av seg selv, uten at noen målte noe, er ikke en oppgradering.