Følelsesgenkendelse i kundesamtaler er højrisiko efter AI-forordningen

Måler dit system kundens følelser? Så har du et højrisikosystem.

Sentimentanalyse, tonefaldsdetektion og frustrationsalarmer følger med de fleste moderne telefoniplatforme. Den type funktionalitet er klassificeret som højrisiko efter AI-forordningen, men pligterne blev udskudt til den 2. december 2027 – og rettet mod egne medarbejdere har den været forbudt siden februar 2025.

Ingen har siddet i et møde og besluttet at indføre et system til følelsesgenkendelse. Funktionen kom med platformen. Den hed sentimentanalyse, eller tonefaldsdetektion, eller frustrationsalarm, og den blev slået til, fordi den lå der og virkede nyttig.

Den funktion har nu en juridisk klassificering.

To regelsæt, ikke ét

AI-forordningen behandler følelsesgenkendelse to steder, og forskellen mellem dem er stor.

Artikel 5, stk. 1, litra f forbyder AI-systemer, der udleder følelser hos personer på arbejdspladsen eller i uddannelsesinstitutioner, med undtagelse af medicinske formål og sikkerhedsformål. Forbuddet har været gældende siden den 2. februar 2025. Det rammer noget, mange kundecentre har kørende: dashboards, der scorer medarbejderens tonefald, stressniveau eller «energi» gennem vagten. Overtrædelse af forbudsbestemmelserne kan sanktioneres med bøder på op til 35 mio. euro eller syv procent af den globale årsomsætning.

Bilag III, punkt 1, litra c lister AI-systemer, der er beregnet til følelsesgenkendelse, som højrisiko. Efter den oprindelige tidsplan skulle reglerne for bilag III-systemer gælde fra den 2. august 2026, samme dag som oplysningspligten for stemmeagenter. Med ændringspakken Digital Omnibus, som Europa-Parlamentet godkendte den 16. juni 2026, blev de udskudt: den 2. december 2027 for fritstående højrisikosystemer, og den 2. august 2028 for højrisikosystemer, der indgår i produkter. Oplysningspligten blev ikke udskudt.

Højrisiko betyder ikke forbudt. Det betyder risikostyringssystem, datastyring, teknisk dokumentation, logning, menneskeligt tilsyn, overensstemmelsesvurdering og registrering i EU-databasen. Bødeloftet her er 15 mio. euro eller tre procent.

Udskydelsen er værd at læse for det, den er. Den flytter fristen for dokumentation og overensstemmelsesvurdering. Den ændrer ikke klassificeringen, den rører ikke ved forbuddet fra 2025, og den gør ingenting ved databeskyttelsesreglerne, der gælder i mellemtiden.

En detalje, der er let at læse forkert: at et system er klassificeret som højrisiko, gør det ikke lovligt. Forordningen præciserer, at brugen under alle omstændigheder skal have grundlag i anden lovgivning – i praksis GDPR og databeskyttelseslovgivningen.

Tekst er ikke biometri

Dette er den skelnen, der afgør mest i praksis, og næsten ingen stiller spørgsmålet til deres leverandør.

Forordningen definerer et system til følelsesgenkendelse som et system, der identificerer eller udleder følelser eller hensigter på grundlag af biometriske data. Biometriske data er personoplysninger, der stammer fra teknisk behandling af fysiske, fysiologiske eller adfærdsmæssige kendetegn.

Stemmen er et sådant kendetegn. Måler systemet tonefald, tempo, tryk eller åndedrætsmønster og konkluderer «vred», er det følelsesgenkendelse.

Læser systemet transskriptionen og registrerer, at kunden sagde «det er tredje gang, jeg ringer, og jeg overvejer at skifte leverandør», er det ikke biometri. Det er indholdsanalyse, og den falder uden for reglerne om følelsesgenkendelse. Den falder ikke uden for GDPR, og ikke uden for reglerne om profilering, hvis konklusionen bruges til at behandle kunder forskelligt.

Forskellen er ikke kosmetisk. To systemer kan give samme alarm til samme sagsbehandler, og kun det ene udløser et højrisikoregime.

Lovgiver tror ikke på målingen

Begrundelsen i forordningen er ikke databeskyttelse alene. Den er faglig: der er betydelig videnskabelig usikkerhed om følelsesgenkendelse, udtryk varierer på tværs af kulturer og mellem enkeltpersoner, og resultaterne kan blive upålidelige og diskriminerende.

For et nordisk kundecenter er det ikke et akademisk punkt. En model trænet på engelsksproget telefonmateriale har en holdning til, hvordan vrede lyder. Den holdning møder en kunde med bred sønderjysk accent, en norsk kunde med en dialekt modellen aldrig har hørt, og en ældre kunde, der taler lavt, fordi hørelsen er dårlig. Systemet leverer et tal alligevel. Tallet ser ud som en måling, men det er et skøn – og det bruges til at prioritere kø, eskalere sager og vurdere medarbejdere.

Undtagelsen for eksisterende systemer er smallere, end den ser ud

Artikel 111 giver en overgang for systemer, der allerede er i drift, når reglerne begynder at gælde: forordningen rammer dem kun, hvis de fra det tidspunkt bliver udsat for væsentlige ændringer i deres udformning. Offentlige myndigheder har længere frist.

Det læses ofte som en fritagelse. Det er nærmere en frysning. Skifter leverandøren den underliggende model, træner funktionen på ny eller udvider brugen til et nyt formål, er ændringen væsentlig – og systemet falder ind under regelsættet i sin helhed. I en kategori, hvor leverandørerne ruller nye modeller ud flere gange om året, er det en fritagelse med kort holdbarhed.

Oprydningen er kortere end frygten:

Find ud af, hvad der faktisk er slået til. Ikke i produktbladet – i konfigurationen.

Stil leverandøren ét spørgsmål: udledes følelsen fra lyd eller fra tekst? Får du ikke et klart svar, er det svaret.

Slå følelsesscoring rettet mod egne medarbejdere fra. Det er ikke et projekt, det er en indstilling – og den har været ulovlig i halvandet år.

Informer dem, det gælder. Beholder du følelsesgenkendelse rettet mod kunder, har du pligt til at oplyse dem om, at systemet er i brug.

Du behøver ikke at måle følelser for at løse samtalen

Det er værd at spørge, hvad funktionen egentlig gav.

Næsten alt, et kundecenter vil bruge en vredesalarm til – prioritere en kø, eskalere til et menneske, fange en kunde, der er på vej ud ad døren – kan afgøres af, hvad kunden siger og gør. Hvor mange gange de har taget kontakt om samme sag. Ord som «opsige», «klage», «advokat». At sagen ikke blev løst sidste gang. At kunden bad om et menneske og ikke fik det.

Det er stærkere signaler end tonefald. De kan forklares bagefter. Og de er ikke biometriske.

Pointen er ikke at måle mindre. Det er at beslutte, hvad agenten skal lytte efter, og kunne gøre rede for det bagefter.

Threll.ai bygger stemmeagenter på nordisk infrastruktur, hvor det er muligt at svare på, hvad systemet vurderer, og hvorfor. Udskydelsen flytter fristen for at dokumentere det svar. Den flytter ikke spørgsmålet.