Følelsesgjenkjenning i kundesamtaler er høyrisiko etter KI-forordningen

Måler systemet ditt kundens følelser? Da har du et høyrisikosystem.

Sentimentanalyse, tonefallsdeteksjon og frustrasjonsvarsel ligger i de fleste moderne telefoniplattformer. Den typen funksjonalitet er klassifisert som høyrisiko etter KI-forordningen, men pliktene ble utsatt til 2. desember 2027 – og rettet mot egne ansatte har den vært forbudt siden februar 2025.

Ingen norsk virksomhet har sittet i et møte og vedtatt å innføre et system for følelsesgjenkjenning. Funksjonen kom med plattformen. Den het sentimentanalyse, eller tonefallsdeteksjon, eller frustrasjonsvarsel, og den ble slått på fordi den lå der og virket nyttig.

Den funksjonen har nå en juridisk klassifisering.

To regler, ikke én

KI-forordningen behandler følelsesgjenkjenning på to steder, og forskjellen mellom dem er stor.

Artikkel 5(1)(f) forbyr KI-systemer som utleder følelser hos personer på arbeidsplassen eller i utdanningsinstitusjoner, med unntak for medisinske formål og sikkerhetsformål. Forbudet har vært gjeldende siden 2. februar 2025. Det treffer noe mange kundesentre har stående: dashbord som scorer agentens tonefall, stressnivå eller «energi» gjennom vakten. Brudd på forbudsbestemmelsene kan sanksjoneres med gebyr på inntil 35 millioner euro eller sju prosent av global årsomsetning.

Vedlegg III punkt 1 bokstav c lister KI-systemer beregnet på følelsesgjenkjenning som høyrisiko. Etter den opprinnelige tidslinjen skulle reglene for vedlegg III-systemer gjelde fra 2. august 2026, samme dag som opplysningsplikten for stemmeagenter. Gjennom endringspakken Digital Omnibus, som Europaparlamentet vedtok 16. juni 2026, ble de utsatt: 2. desember 2027 for frittstående høyrisikosystemer, og 2. august 2028 for høyrisikosystemer som inngår i produkter. Opplysningsplikten ble ikke utsatt.

Høyrisiko betyr ikke forbudt. Det betyr risikostyringssystem, datastyring, teknisk dokumentasjon, logging, menneskelig tilsyn, samsvarsvurdering og registrering i EU-databasen. Gebyrtaket her er 15 millioner euro eller tre prosent.

Utsettelsen er verdt å lese for hva den er. Den flytter fristen for dokumentasjon og samsvarsvurdering. Den endrer ikke klassifiseringen, den rører ikke forbudet fra 2025, og den gjør ingenting med personvernreglene som gjelder i mellomtiden.

En detalj som er lett å lese feil: at et system er klassifisert som høyrisiko, gjør det ikke lovlig. Forordningen presiserer at bruken uansett må ha grunnlag i annet regelverk – i praksis GDPR og personvernlovgivningen.

Tekst er ikke biometri

Dette er skillet som avgjør mest i praksis, og det er nesten ingen som stiller spørsmålet til leverandøren sin.

Forordningen definerer et system for følelsesgjenkjenning som et system som identifiserer eller utleder følelser eller intensjoner ut fra biometriske data. Biometriske data er personopplysninger som stammer fra teknisk behandling av fysiske, fysiologiske eller atferdsmessige kjennetegn.

Stemmen er et slikt kjennetegn – noe som allerede har konsekvenser for sikkerheten. Måler systemet tonefall, tempo, trykk eller pustemønster og konkluderer med «sint», er det følelsesgjenkjenning.

Leser systemet transkripsjonen og registrerer at kunden sa «dette er tredje gang jeg ringer, og jeg vurderer å bytte leverandør», er det ikke biometri. Det er innholdsanalyse, og den faller utenfor reglene om følelsesgjenkjenning. Den faller ikke utenfor GDPR, og ikke utenfor reglene om profilering hvis konklusjonen brukes til å behandle kunder ulikt.

Forskjellen er ikke kosmetisk. To systemer kan gi samme varsel til samme saksbehandler, og bare det ene utløser et høyrisikoregime.

Lovgiveren tror ikke på målingen

Begrunnelsen i forordningen er ikke personvern alene. Den er faglig: det er betydelig vitenskapelig usikkerhet rundt følelsesgjenkjenning, uttrykk varierer på tvers av kulturer og mellom enkeltpersoner, og resultatene kan bli upålitelige og diskriminerende.

For et nordisk kundesenter er ikke det et akademisk poeng. En modell trent på engelsk telefonmateriale har en oppfatning om hva sinne høres ut som. Den oppfatningen møter en kunde fra Voss, en dansk kunde som snakker fort, og en eldre kunde som snakker lavt fordi hørselen er dårlig. Systemet leverer et tall uansett. Tallet ser ut som en måling, men det er en vurdering – og den brukes til å prioritere kø, eskalere saker og evaluere ansatte.

Fritaket for eksisterende systemer er smalere enn det ser ut

Artikkel 111 gir en overgang for systemer som allerede er i drift når reglene begynner å gjelde: forordningen treffer dem bare dersom de fra det tidspunktet blir utsatt for vesentlige endringer i utformingen. Offentlige virksomheter har lengre frist.

Det leses gjerne som et fritak. Det er nærmere en frysing. Bytter leverandøren underliggende modell, trener funksjonen på nytt eller utvider bruken til et nytt formål, er endringen vesentlig – og systemet faller inn under regelverket i sin helhet. I en kategori der leverandørene ruller ut nye modeller flere ganger i året, er dette et fritak med kort holdbarhet.

Ryddejobben er kortere enn frykten:

Finn ut hva som faktisk er slått på. Ikke i produktarket – i konfigurasjonen.

Still leverandøren ett spørsmål: utledes følelsen fra lyd eller fra tekst? Får du ikke et klart svar, er det svaret. Leverandørvalget er et etterlevelsesspørsmål, ikke bare et innkjøpsspørsmål.

Slå av følelsesscoring rettet mot egne ansatte. Det er ikke et prosjekt, det er en innstilling – og den har vært ulovlig i halvannet år.

Informer dem det gjelder. Beholder du følelsesgjenkjenning mot kunder, plikter du å opplyse dem om at systemet er i bruk.

Du trenger ikke å måle følelser for å løse samtalen

Det er verdt å spørre hva funksjonen egentlig ga.

Nesten alt et kundesenter vil bruke et sinnevarsel til – prioritere en kø, eskalere til et menneske, fange opp en kunde som er på vei ut døren – kan avgjøres av hva kunden sier og gjør. Hvor mange ganger de har tatt kontakt om samme sak. Ord som «avslutte», «klage», «advokat». At saken ikke ble løst forrige gang. At kunden ba om et menneske og ikke fikk det.

Det er sterkere signaler enn tonefall. De er mulige å forklare i ettertid. Og de er ikke biometriske.

Threll.ai bygger stemmeagenter på nordisk infrastruktur, der det er mulig å svare på hva systemet vurderer og hvorfor. Utsettelsen flytter fristen for å dokumentere det svaret. Den flytter ikke spørsmålet.