Bør vi skifte til Muse eller MAI-Transcribe-2?

Det kan ikke besvares udefra, og det er hele pointen. Brug listerne til at plukke kandidater ud, og lad jeres egne samtaler afgøre. Tjek samtidig, hvilke sprog leverandøren faktisk har verificeret, hvilken region lyden behandles i, og hvad prisen bliver, når et eventuelt lanceringstilbud udløber.

Er ordfejlrate så ubrugelig?

Nej, men den er et grovsorteringsværktøj. Den behandler alle fejl som lige store, og på et kundenummer er de ikke det: et forkert ciffer i et kontonummer og et overflødigt fyldord tæller det samme. Mål ordfejlrate, hvis I vil, men afgør ikke noget på den alene.

Betyder forskningen, at de nye modeller snyder?

Nej. Studiet testede elleve åbne modeller, og hverken Muse eller MAI-Transcribe-2 var blandt dem. Det siger, at et højt tal på et velkendt evalueringssæt delvis kan komme af genkendelse af selve sættet – altså at instrumentet er upræcist, ikke at nogen har gjort noget forkert.

Hvor mange samtaler skal vi have for at måle noget?

Tredive er nok til at se forskelle, der betyder noget, forudsat at de er hentet fra det nummer og den opkaldsvej, I faktisk bruger. Tredive rigtige samtaler siger mere end tre hundrede studieoptagelser. Og facitlisten skal skrives af jer bagefter, så ingen model kan have set den før.

Nye talemodeller: listeplaceringen er ikke målt på jeres telefonlinje

Den 1. september lancerede Meta talemodellen Muse Voice Transcribe. To dage senere kom Microsoft med MAI-Transcribe-2. Begge kom med tal at fremvise: Meta oplyser 3,1 procent ordfejlrate og en førsteplads på Artificial Analysis' liste over streaming-talegenkendelse, mens Microsoft oplyser 5,2 procent gennemsnitlig ordfejlrate på FLEURS over 60 sprog og en andenplads på samme aktørs liste over ordfejlrate.

Tallene er ikke opdigtede, og modellerne er ikke uinteressante. Spørgsmålet er, hvad tallene er målt på – og om den måling siger noget om jeres kundenummer.

Hvad et gennemsnit over 60 sprog er målt på

FLEURS er et evalueringssæt bygget på oversættelsessættet FLoRes-101: sætninger hentet fra Wikipedia, læst op af mennesker, omkring tolv timers lyd per sprog, samplet ved 16 kilohertz.

Læs den beskrivelse én gang mere, for hvert led i den er en afstand til jeres telefon.

Det er oplæst tekst, ikke spontan tale. Ingen skifter mening midt i en sætning, ingen afbryder, ingen siger «øh, nej, vent – det var sidste år». Det er Wikipedia-prosa, ikke «hej, jeg ringer om den faktura, der kom i går». Og det er 16 kilohertz, mens et almindeligt telefonopkald bærer omkring 300 til 3.400 hertz og smider både toppen og bunden af stemmen væk på vejen ind.

Her er det værd at være præcis, for båndbredden er ikke givet. Threll.ai leverer telefoni over SIP-trunk hos Telenor, og samtalen kører i HD Voice på 16 kilohertz, hvor håndsættet og nettet i den anden ende understøtter det. Så er samplingsfrekvensen i evalueringssættet ingen afstand i sig selv. Forudsætningen er blot, at understøttelsen er der hele vejen – falder et enkelt led tilbage til smalbånd, er det smalbånd resten af opkaldet. Pointen står derfor uanset: I kan ikke antage, hvilken af de to et givet opkald kørte i, og det er netop derfor målingen skal foretages på jeres egne samtaler.

Et gennemsnit over 60 sprog skjuler desuden hvert enkelt af dem. Meta oplyser, at Muse er trænet på over 70 sprog, og at 25 af dem er grundigt verificeret til lanceringen. Hvilke 25 er et rimeligt spørgsmål at stille en leverandør. For en dansk køber betyder svaret betydeligt mere end førstepladsen.

Forskningen, der kom tre uger før lanceringerne

Den 20. august offentliggjorde Lebryk og medforfattere en foreløbig fagartikel med titlen «Towards Quantifying Benchmark Optimization in ASR Models», fulgt dagen efter af en artikel fra Hume AI-forfattere på Hugging Face. Spørgsmålet, de stiller, er ubehageligt enkelt: transskriberer en talemodel altid den lyd, den faktisk får ind, eller kan den nogle gange gengive en referencetekst, den kender i forvejen?

De testede elleve meget anvendte åbne talemodeller med tre typer prøver:

Lyden og facitlisten er uenige. Lyden er ændret, så den ikke længere stemmer med den referencetekst, evalueringssættet bruger.
Dele af lyden er fjernet. Tal og navne er maskeret væk, så grundlaget for at skrive dem slet ikke findes i signalet.
Flere stavemåder er mulige. Prøven ser på, hvad modellen gør, hvor ortografien kunne være gået to veje.

Fundet fra den anden prøve er det, der betyder noget her. I forsøget på LibriSpeech, hvor tal var maskeret væk fra lyden, genskabte flere af de modeller, der scorer bedst på listerne, det bortmaskerede tal i omkring 30 til 40 procent af tilfældene. Effekten var gennemgående svagere på lyd, der var indsamlet nyligt.

To præciseringer, fordi de betyder noget: studiet testede hverken Muse eller MAI-Transcribe-2, og det modsiger ingen af lanceringspåstandene. Det siger noget om instrumentet, ikke om de to nye modeller.

En model, der udfylder et tal, er værre end en, der siger, at den ikke hørte

Her holder det op med at være akademisk.

På et kundenummer er tallene ofte hele nyttelasten. Ordrenummeret, kontonummeret, datoen, beløbet, husnummeret. Cifre er i forvejen det svageste punkt i dansk talegenkendelse – smalbåndslyd, talord bygget på tyvetalssystemet og udtale, der skifter fra landsdel til landsdel, trækker alle i samme retning.

En model, der skriver «uklart», eller som markerer, at den er usikker, giver jeres opsætning en chance: agenten kan spørge igen, læse tallet tilbage eller stille om. En model, der skriver et plausibelt tal, giver ingen sådan chance. Den leverer et svar, der ser præcis lige så rigtigt ud som alle de andre svar, og fejlen dukker op i regnskabet eller på leveringsdagen.

Ordfejlrate skelner ikke mellem de to. Et forkert ciffer og et overflødigt «altså» tæller det samme. Derfor er tallet et dårligt indkøbskriterium, selv når det er målt rigtigt.

Testen I kan køre uden et laboratorium

Det kræver ingen ny leverandør og ingen ny funktion.

Hent tredive af jeres egne samtaler. Fra det nummer, der faktisk er i brug, gennem den opkaldsvej, der faktisk er i brug. Ikke optagelser lavet på en god mikrofon i et mødelokale.

Skriv facitlisten selv, bagefter. Nogen, der kender kunderne, lytter igennem og skriver ned, hvad der blev sagt. Hele pointen er, at ingen model kan have set denne facitliste før.

Tæl kun det, der bærer sagen. Tal, navne, adresser, tidspunkter – og nægtelser. Et «ikke», der forsvinder, vender betydningen af en hel sætning. Alt andet er støj i denne måling.

Skeln fejl fra udfyldning. Notér særskilt, hvor modellen skrev noget konkret, selvom lyden var uklar. Det er den fejltype, der ikke giver sig til kende, før den er dyr.

Tredive samtaler er nok til at se en forskel, der betyder noget. Det er også så lille et arbejde, at ingen behøver at søge om budget for at gøre det.

Threll.ai bygger stemmeagenter på dansk, norsk og svensk. Nye modeller er stort set bedre end de gamle, og det er værd at skifte til dem. Vi plejer blot at foreslå, at skiftet måles på jeres egne samtaler – for et skifte, der sker af sig selv, uden at nogen målte noget, er ikke en opgradering.