Känsloigenkänning i kundsamtal är högrisk enligt AI-förordningen

Mäter ditt system kundens känslor? Då har du ett högrisksystem.

Sentimentanalys, tonlägesdetektering och frustrationslarm följer med de flesta moderna telefoniplattformar. Den typen funktionalitet klassas som högrisk enligt AI-förordningen, men skyldigheterna sköts upp till den 2 december 2027 – och riktad mot egna medarbetare har den varit förbjuden sedan februari 2025.

Ingen har suttit på ett möte och beslutat att införa ett system för känsloigenkänning. Funktionen kom med plattformen. Den hette sentimentanalys, eller tonlägesdetektering, eller frustrationslarm, och den slogs på för att den låg där och verkade användbar.

Den funktionen har nu en juridisk klassificering.

Två regelverk, inte ett

AI-förordningen behandlar känsloigenkänning på två ställen, och skillnaden mellan dem är stor.

Artikel 5.1 f förbjuder AI-system som drar slutsatser om känslor hos personer på arbetsplatsen eller i utbildningsinstitutioner, med undantag för medicinska syften och säkerhetssyften. Förbudet har gällt sedan den 2 februari 2025. Det träffar något många kundcenter har igång: dashboards som poängsätter medarbetarens tonläge, stressnivå eller «energi» genom skiftet. Överträdelser av förbudsbestämmelserna kan sanktioneras med böter på upp till 35 miljoner euro eller sju procent av den globala årsomsättningen.

Bilaga III punkt 1 c listar AI-system avsedda för känsloigenkänning som högrisk. Enligt den ursprungliga tidsplanen skulle reglerna för bilaga III-system gälla från den 2 augusti 2026, samma dag som informationsplikten för röstagenter. Genom ändringspaketet Digital Omnibus, som Europaparlamentet godkände den 16 juni 2026, sköts de upp: den 2 december 2027 för fristående högrisksystem, och den 2 augusti 2028 för högrisksystem som ingår i produkter. Informationsplikten sköts inte upp.

Högrisk betyder inte förbjudet. Det betyder riskhanteringssystem, datastyrning, teknisk dokumentation, loggning, mänsklig tillsyn, överensstämmelsebedömning och registrering i EU-databasen. Bötestaket här är 15 miljoner euro eller tre procent.

Uppskovet är värt att läsa för vad det är. Det flyttar fristen för dokumentation och överensstämmelsebedömning. Det ändrar inte klassificeringen, det rör inte förbudet från 2025, och det gör ingenting med dataskyddsreglerna som gäller under tiden.

En detalj som är lätt att läsa fel: att ett system klassas som högrisk gör det inte lagligt. Förordningen slår fast att användningen ändå måste ha stöd i annan lagstiftning – i praktiken GDPR och dataskyddslagstiftningen.

Text är inte biometri

Detta är den skillnad som avgör mest i praktiken, och nästan ingen ställer frågan till sin leverantör.

Förordningen definierar ett system för känsloigenkänning som ett system som identifierar eller drar slutsatser om känslor eller avsikter utifrån biometriska uppgifter. Biometriska uppgifter är personuppgifter som härrör från teknisk behandling av fysiska, fysiologiska eller beteendemässiga kännetecken.

Rösten är ett sådant kännetecken. Mäter systemet tonläge, tempo, tryck eller andningsmönster och drar slutsatsen att kunden är arg, är det känsloigenkänning.

Läser systemet transkriptionen och registrerar att kunden sa «det här är tredje gången jag ringer, och jag funderar på att byta leverantör», är det inte biometri. Det är innehållsanalys, och den faller utanför reglerna om känsloigenkänning. Den faller inte utanför GDPR, och inte utanför reglerna om profilering om slutsatsen används för att behandla kunder olika.

Skillnaden är inte kosmetisk. Två system kan ge samma larm till samma handläggare, och bara det ena utlöser ett högriskregelverk.

Lagstiftaren tror inte på mätningen

Skälen i förordningen handlar inte bara om integritet. De är sakliga: det finns betydande vetenskaplig osäkerhet kring känsloigenkänning, uttryck varierar mellan kulturer och mellan enskilda personer, och resultaten kan bli opålitliga och diskriminerande.

För ett nordiskt kundcenter är det ingen akademisk poäng. En modell tränad på engelskspråkigt telefonmaterial har en uppfattning om hur vrede låter. Den uppfattningen möter en kund med bred skånska, en norsk kund med en dialekt modellen aldrig hört, och en äldre kund som talar lågt eftersom hörseln är dålig. Systemet levererar en siffra ändå. Siffran ser ut som en mätning, men den är en bedömning – och den används för att prioritera köer, eskalera ärenden och utvärdera medarbetare.

Undantaget för befintliga system är smalare än det ser ut

Artikel 111 ger en övergång för system som redan är i bruk när reglerna börjar gälla: förordningen når dem bara om de från den tidpunkten genomgår betydande ändringar i sin utformning. Offentliga verksamheter har längre frist.

Det läses ofta som ett undantag. Det är närmare en frysning. Byter leverantören underliggande modell, tränar om funktionen eller utökar användningen till ett nytt syfte, är ändringen betydande – och systemet faller in under regelverket i sin helhet. I en kategori där leverantörerna rullar ut nya modeller flera gånger om året är det ett undantag med kort hållbarhet.

Städjobbet är kortare än rädslan:

Ta reda på vad som faktiskt är påslaget. Inte i produktbladet – i konfigurationen.

Ställ en enda fråga till leverantören: dras slutsatsen om känslan från ljud eller från text? Får du inget tydligt svar är det svaret.

Stäng av känslopoängsättning riktad mot egna medarbetare. Det är inget projekt, det är en inställning – och den har varit olaglig i ett och ett halvt år.

Informera dem det gäller. Behåller du känsloigenkänning riktad mot kunder är du skyldig att upplysa dem om att systemet används.

Du behöver inte mäta känslor för att lösa samtalet

Det är värt att fråga vad funktionen egentligen gav.

Nästan allt ett kundcenter vill använda ett vredeslarm till – prioritera en kö, eskalera till en människa, fånga upp en kund som är på väg ut genom dörren – kan avgöras av vad kunden säger och gör. Hur många gånger de har tagit kontakt om samma ärende. Ord som «sluta», «klagomål», «advokat». Att ärendet inte löstes förra gången. Att kunden bad om en människa och inte fick det.

Det är starkare signaler än tonläge. De går att förklara i efterhand. Och de är inte biometriska.

Poängen är inte att mäta mindre. Den är att bestämma vad agenten ska lyssna efter, och kunna redogöra för det efteråt.

Threll.ai bygger röstagenter på nordisk infrastruktur, där det är möjligt att svara på vad systemet bedömer och varför. Uppskovet flyttar fristen för att dokumentera det svaret. Det flyttar inte frågan.