Automatisk modelopgradering i stemmeagenter er en risiko

Sætningen dukker op i næsten hvert leverandørmøde, og den fremsættes i god tro: modellerne bliver kun bedre, og I får forbedringerne automatisk.

Den er stort set sand. Det er netop derfor, den er værd at tage fra hinanden – for i drift betyder »automatisk« ikke det samme som »gratis«, og »bedre« ikke det samme som »ens«.

Påstanden, præcist formuleret

Modellen under jeres stemmeagent bliver udskiftet med en nyere og bedre version. I behøver ikke at gøre noget. Resultatet er en agent, der svarer bedre i morgen end i dag.

Tre led. De to første holder. Det tredje er der, hvor påstanden ophører med at være efterprøvelig.

Hvorfor den lyder rigtig

Fordi tallene faktisk stiger, og de stiger hurtigt.

Da xAI præsenterede Grok Voice Think Fast 2.0 i slutningen af juli, oplyste selskabet, at det samlede indeks for tale-til-tale hos Artificial Analysis steg fra 75,7 procent for forgængeren til 82,9 procent, at tid til første lyd faldt fra 1,25 til 0,70 sekunder, og at transskriptionsnøjagtigheden blev 1,4 gange bedre end i 1.0. Selskabet oplyser, at gevinsten kommer uden ændringer i eksisterende prompter.

Det er reelle forbedringer på tal, der betyder noget i et telefonopkald. En køber, der hører dette, har ingen grund til at bede om at slippe for dem.

Hvad der stod længere nede på den samme side

Den 5. august flyttede aliasset grok-voice-latest fra grok-voice-think-fast-1.0 til grok-voice-think-fast-2.0. »No action needed to upgrade«, skriver xAI. Ville man blive på 1.0, skulle den eksplicitte versionsstreng pinnes inden den dato. Prisen på 2.0 er oplyst til 0,08 dollar pr. minut lyd.

Tre uger tidligere, den 20. juli, varslede OpenAI de udviklere, der brugte de gamle modelfamilier til lyd, realtid og transskription, om at modellerne fjernes fra API'et den 20. januar 2027. gpt-realtime erstattes af gpt-realtime-2.1, gpt-audio af gpt-audio-1.5, og sådan ned gennem listen.

Intet af dette er kritisabelt. Det er normal produktdrift, varslet på forhånd, af leverandører, der gør præcis det, de har sagt, de gør. Pointen er, at to sådanne hændelser indtraf inden for tre uger, og at ingen af dem krævede en beslutning fra kunden.

Tre ting påstanden undlader at sige

Enhedsprisen er en del af opgraderingen. En ny model kan koste mere pr. minut end den, den erstatter. Så er udskiftningen ikke kun en forbedring, den er også en genforhandling – gennemført uden møde. Prisen på en stemmeagent er ikke et tal, men en enhed, og en model, der skiftes ud under enheden, flytter regningen uden at røre aftalen.

»Bedre« er et gennemsnit. En model, der løfter et samlet indeks, kan samtidig blive dårligere til det ene, I bruger den til. Kortere svar er en forbedring i de fleste opkald og en forværring i det ene, hvor kunden skal have læst tre oplysninger tilbage, før noget bekræftes. Det sværeste, en stemmeagent hører, er et tal – og hvor godt den hører det, står ikke i noget indeks.

Uret er ikke jeres. Datoen sættes af leverandøren, og det gælder ikke kun modellen, men også den stemme, jeres kunder genkender. OpenAI oplyser mindst seks måneders varsel for almindeligt tilgængelige modeller, mindst tre måneder for specialiserede varianter, og for modeller markeret preview så lidt som to uger. Selskabet skriver selv, at preview-modeller ikke anbefales til forretningskritiske produktionsopgaver, medmindre man kan migrere på kort varsel. Det er en advarsel fra leverandøren om leverandørens eget produkt, og den er værd at læse som netop det.

Hvad der faktisk er sandt

Den korrigerede version er mindre fængende og mere brugbar: modellerne bliver bedre, og hver forbedring er samtidig en ændring i et system, I har testet, godkendt og sat i drift.

Det er ikke et argument for at blive stående på gammel teknologi. En agent, der kører på en model, som fjernes fra API'et om fem måneder, har et større problem end en, der skal testes igen. Det er et argument for, at opgraderinger skal have en ejer, en dato og en test – og testen findes allerede, den hedder nulpunktsmåling.

Tre spørgsmål dækker det meste. Hvilken modelversion kører vores agent i dag, angivet som en streng og ikke som »den nyeste«? Hvornår er den varslet fjernet? Og hvem hos os får besked den dag, den flyttes?

Det sidste spørgsmål er det samme, som står i tjeklisten til den dag, stemmeagenten ikke svarer, og det har det samme brugbare svar: et navn og et minuttal.

Kan leverandøren ikke svare på det første, er de to andre heller ikke besvaret.

Threll.ai bygger stemmeagenter på norsk, svensk og dansk. At modellen under agenten bliver bedre, er den nemmeste del af arbejdet. At vide, hvilken model der svarede, da kunden ringede i går, er den del, der gør, at nogen kan stå på mål for det.