Förbjudna AI-metoder: vad ditt företag inte längre får göra

De röda linjerna för artificiell intelligens

Innan vi ens tar upp högrisk-system, transparenskrav eller AI-kompetens, drar den europeiska förordningen om artificiell intelligens (förordning 2024/1689) absoluta röda linjer. Artikel 5 listar de AI-metoder som är helt enkelt förbjudna i Europeiska unionen.

Dessa förbud gäller sedan 1 februari 2025. Det är inte framtida tidsfrister: de gäller nu.

Artikel 5, punkt 1 — Règlement (UE) 2024/1689

Följande metoder för artificiell intelligens är förbjudna: […] utsläppande på marknaden, ibruktagande eller användning av ett AI-system som använder subliminala tekniker […] eller avsiktligt manipulativa eller vilseledande tekniker med syfte eller effekt att väsentligt snedvrida en persons beteende […] på ett sätt som orsakar eller sannolikt kan orsaka betydande skada för den personen eller en annan person.

De sex kategorierna av förbjudna metoder

1. Social poängsättning

AI Act förbjuder system som utvärderar eller klassificerar fysiska personer baserat på deras sociala beteende eller personliga egenskaper, när denna poäng leder till ogynnsam behandling i sammanhang som saknar samband med datainsamlingen, eller som är oproportionerlig i förhållande till beteendet i fråga.

Observera: i motsats till vad man ofta tror riktar sig detta förbud inte enbart mot myndigheter. Det gäller även privata aktörer. Ett företag som skulle sammanställa en “tillförlitlighetspoäng” för sina kunder genom att aggregera betalningsdata, onlinebeteende och interaktioner med kundtjänst — och använda denna poäng för att neka tjänster — skulle bryta mot lagen.

Konkreta exempel på nu olagliga tillämpningar:

• Ett försäkringsbolag som aggregerar data från sociala medier för att bedöma en kunds “beteendemässiga riskprofil”
• En hyresvärd som använder en poäng som kombinerar betalningshistorik, onlineaktivitet och positionsdata för att filtrera hyresgäster
• En arbetsgivare som bygger en automatiserad “engagemangspoäng” som styr tillgång till förmåner
• En svensk bank som Handelsbanken, SEB eller Swedbank som skulle kombinera transaktionsdata med beteendeanalys för att skapa en övergripande “kundpoäng” utanför kreditprocessen

2. Subliminal manipulation och vilseledande tekniker

Varje AI-system utformat för att förändra en persons beteende utan dennes vetskap är förbjudet. Detta omfattar subliminala tekniker (stimuli som inte uppfattas medvetet) och avsiktligt manipulativa eller vilseledande tekniker.

Exempel:

• Ett system som anpassar gränssnittet på en e-handelswebbplats för att utnyttja AI-identifierade kognitiva biaser (AI-drivna dark patterns)
• Ett automatiserat förhandlingsverktyg som analyserar mikrouttryck i realtid för att manipulera motparten
• Ett dynamiskt prissättningssystem som utnyttjar användarens detekterade emotionella tillstånd

3. Utnyttjande av sårbarheter

AI-system som utnyttjar sårbarheter kopplade till ålder, funktionsnedsättning eller social eller ekonomisk situation för att väsentligt snedvrida en persons beteende är förbjudna.

Exempel:

• En kommersiell chatbot som specifikt riktar sig mot äldre personer med övertalningstekniker anpassade till deras kognitiva sårbarheter
• Ett riktat annonssystem som riktar sig mot överskuldsatta personer för att erbjuda konsumtionskrediter
• Ett onlinespel som använder AI för att identifiera och utnyttja beroendeframkallande beteenden hos minderåriga

4. Biometrisk realtidsidentifiering på offentliga platser

Användning av fjärridentifieringssystem i realtid i offentligt tillgängliga utrymmen för brottsbekämpningsändamål är förbjuden, med tre strikt avgränsade undantag:

• Riktad sökning efter offer för kidnappning, människohandel eller sexuellt utnyttjande
• Förebyggande av ett specifikt och överhängande terroristhot
• Lokalisering eller identifiering av en person misstänkt för att ha begått vissa allvarliga brott

Även i dessa fall krävs förhandstillstånd från domstol och strikta skyddsåtgärder gäller.

5. Emotionsigenkänning på arbetsplatsen och inom utbildning

Artikel 5, punkt 1, led f — Règlement (UE) 2024/1689

[Förbjudet är] utsläppande på marknaden, ibruktagande eller användning av AI-system för att härleda emotionerna hos en fysisk person på arbetsplatsen och i utbildningsinstitutioner, utom när användningen av AI-systemet är avsedd att implementeras eller släppas ut på marknaden av medicinska skäl eller säkerhetsskäl.

Detta förbud är särskilt relevant för företag. Det omfattar:

• Emotionsanalysverktyg vid videokonferenser: system som analyserar deltagarnas ansiktsuttryck under möten
• Emotionella övervakningssystem: kameror eller mjukvara som detekterar stress, frustration eller bristande engagemang hos medarbetare
• Emotionsanalys vid utbildning: verktyg som mäter kursdeltagares emotionella tillstånd för att anpassa innehållet

De enda undantagen: medicinska ändamål (detektering av smärta hos icke-kommunikativa patienter, till exempel) eller säkerhetsändamål (detektering av trötthet hos en yrkesförare).

6. Uppbyggnad av ansiktsdatabaser genom scraping

AI Act förbjuder uppbyggnad eller utvidgning av ansiktsigenkänningsdatabaser genom icke-riktat insamlande av bilder från internet eller videoövervakning. Det är ett direkt svar på metoder från företag som Clearview AI, som byggde upp en databas med flera miljarder ansikten genom att skrapa offentliga foton.

📄AI-risker i företaget: identifiera och hantera effektivt→

Hur du kontrollerar om ditt företag bryter mot reglerna

De flesta företag antar spontant att dessa förbud inte berör dem. Men vissa tillämpningar, särskilt inom HR och marknadsföring, kan komma farligt nära.

Verifieringschecklista

Ställ dig dessa frågor:

• Poängsättning och klassificering: Tilldelar du automatiserade poäng till individer (kunder, medarbetare, kandidater) som kombinerar data från olika sammanhang?
• Övertalning och personalisering: Utnyttjar dina rekommendations- eller marknadsföringssystem identifierade sårbarheter (ålder, ekonomisk situation, emotionellt tillstånd)?
• Emotionell övervakning: Använder du verktyg som analyserar ansiktsuttryck, röst eller beteende hos dina medarbetare i andra syften än medicinska eller säkerhetsmässiga?
• Biometri: Använder du ansiktsigenkänning i dina lokaler? I så fall, under vilka villkor?
• Ansiktsdata: Har dina AI-leverantörer byggt sina träningsdataset genom scraping av onlinebilder?

Om svaret på någon av dessa frågor är “ja” eller “kanske” krävs en fördjupad analys.

Utbildningens roll

Medarbetarnas kunskap om dessa förbud är avgörande. Kravet på AI-kompetens (Artikel 4) innefattar nödvändigtvis förståelse av vad som är förbjudet. En medarbetare som inte vet att det är olagligt att använda emotionsigenkänning i yrkessammanhang kan inte rapportera en icke-regelenlig användning.

Utbildning av teamen om dessa förbud är inte valfritt — det är en förutsättning för varje ansvarsfull AI-styrning.

📄AI Act Artikel 4: utbildningskravet förklarat→

Sanktionerna

Förbjudna metoder beläggs med den högsta sanktionsnivån i AI Act: upp till 35 miljoner euro eller 7 % av den globala årsomsättningen, det högsta beloppet gäller. Det är de tyngsta böterna som någonsin föreskrivits av en europeisk digital förordning — högre än GDPR:s.