Zakazane praktyki AI: czego Twoja firma już nie może robić

Czerwone linie sztucznej inteligencji

Zanim jeszcze przejdziemy do systemów wysokiego ryzyka, obowiązków przejrzystości czy kompetencji w zakresie AI, Europejskie Rozporządzenie w sprawie sztucznej inteligencji (Rozporządzenie 2024/1689) wyznacza absolutne czerwone linie. Artykuł 5 wymienia praktyki AI, które są po prostu zakazane w Unii Europejskiej.

Te zakazy obowiązują od 1 lutego 2025 roku. To nie przyszłe terminy: obowiązują teraz.

Artykuł 5, ustęp 1 — Règlement (UE) 2024/1689

Zakazuje się następujących praktyk w dziedzinie sztucznej inteligencji: […] wprowadzania do obrotu, oddawania do użytku lub stosowania systemu AI, który wykorzystuje techniki podprogowe […] lub celowo manipulacyjne lub wprowadzające w błąd techniki mające na celu lub prowadzące do istotnego zniekształcenia zachowania osoby […] w sposób, który powoduje lub może powodować znaczącą szkodę dla tej osoby lub innej osoby.

Sześć kategorii zakazanych praktyk

1. Scoring społeczny

AI Act zakazuje systemów, które oceniają lub klasyfikują osoby fizyczne na podstawie ich zachowań społecznych lub cech osobowych, gdy taki wynik prowadzi do niekorzystnego traktowania w kontekstach niezwiązanych ze zbieraniem danych lub nieproporcjonalnego w stosunku do danego zachowania.

Uwaga: wbrew powszechnemu przekonaniu, ten zakaz nie dotyczy wyłącznie władz publicznych. Dotyczy również podmiotów prywatnych. Firma, która tworzyłaby “wskaźnik wiarygodności” swoich klientów, agregując dane płatnicze, zachowania online i interakcje z obsługą klienta — i wykorzystywała ten wynik do odmowy usług — dopuszczałaby się naruszenia.

Konkretne przykłady obecnie nielegalnych zastosowań:

• Ubezpieczyciel agregujący dane z mediów społecznościowych do oceny “profilu ryzyka behawioralnego” klienta
• Wynajmujący wykorzystujący scoring łączący historię płatności, aktywność online i dane geolokalizacyjne do filtrowania najemców
• Pracodawca budujący automatyczny “wskaźnik zaangażowania” warunkujący dostęp do świadczeń

2. Manipulacja podprogowa i techniki wprowadzające w błąd

Każdy system AI zaprojektowany w celu zmiany zachowania osoby bez jej wiedzy jest zakazany. Obejmuje to techniki podprogowe (bodźce niepostrzegane świadomie) oraz celowo manipulacyjne lub wprowadzające w błąd techniki.

Przykłady:

• System adaptujący interfejs sklepu e-commerce w celu wykorzystania zidentyfikowanych przez AI zniekształceń poznawczych (dark patterns zasilane AI)
• Automatyczne narzędzie negocjacyjne analizujące mikroekspresje w czasie rzeczywistym w celu manipulowania rozmówcą
• System dynamicznego ustalania cen wykorzystujący wykryty stan emocjonalny użytkownika

3. Wykorzystywanie podatności na zagrożenia

Systemy AI wykorzystujące podatności związane z wiekiem, niepełnosprawnością lub sytuacją społeczną czy ekonomiczną osoby w celu istotnego zniekształcenia jej zachowania są zakazane.

Przykłady:

• Komercyjny chatbot celujący konkretnie w osoby starsze z technikami perswazji dostosowanymi do ich podatności poznawczych
• System reklamy ukierunkowanej skierowany do osób w sytuacji nadmiernego zadłużenia, proponujący kredyty konsumpcyjne
• Gra online wykorzystująca AI do identyfikacji i wykorzystywania zachowań uzależnieniowych nieletnich

4. Biometryczna identyfikacja w czasie rzeczywistym w przestrzeniach publicznych

Stosowanie systemów zdalnej identyfikacji biometrycznej “w czasie rzeczywistym” w publicznie dostępnych przestrzeniach do celów egzekwowania prawa jest zakazane, z trzema ściśle określonymi wyjątkami:

• Ukierunkowane poszukiwanie ofiar porwań, handlu ludźmi lub wykorzystywania seksualnego
• Zapobieganie konkretnemu i bezpośredniemu zagrożeniu terrorystycznemu
• Lokalizacja lub identyfikacja osoby podejrzanej o popełnienie określonych poważnych przestępstw

Nawet w tych przypadkach wymagana jest uprzednia zgoda sądu i obowiązują surowe zabezpieczenia.

5. Rozpoznawanie emocji w miejscu pracy i w edukacji

Artykuł 5, ustęp 1, litera f — Règlement (UE) 2024/1689

[Zakazuje się] wprowadzania do obrotu, oddawania do użytku lub stosowania systemów AI w celu wnioskowania o emocjach osoby fizycznej w miejscu pracy i w instytucjach edukacyjnych, z wyjątkiem przypadków, gdy stosowanie systemu AI jest przeznaczone do wdrożenia lub wprowadzenia do obrotu z powodów medycznych lub dotyczących bezpieczeństwa.

Ten zakaz jest szczególnie istotny dla firm. Obejmuje:

• Narzędzia analizy emocji w wideokonferencjach: systemy analizujące wyrazy twarzy uczestników podczas spotkań
• Systemy monitorowania emocjonalnego: kamery lub oprogramowanie wykrywające stres, frustrację lub brak zaangażowania pracowników
• Analiza emocji w szkoleniach: narzędzia mierzące stan emocjonalny uczestników w celu dostosowania treści

Jedyne wyjątki: zastosowania medyczne (wykrywanie bólu u pacjentów niemogących się komunikować) lub dotyczące bezpieczeństwa (wykrywanie zmęczenia u kierowcy zawodowego).

6. Tworzenie baz danych twarzy przez scraping

AI Act zakazuje tworzenia lub rozszerzania baz danych rozpoznawania twarzy poprzez nieukierunkowane zbieranie zdjęć z internetu lub monitoringu wizyjnego. To bezpośrednia odpowiedź na praktyki firm takich jak Clearview AI, która zbudowała bazę kilku miliardów twarzy, zbierając publiczne zdjęcia.

📄Ryzyko AI w firmie: skuteczna identyfikacja i zarządzanie→

Jak sprawdzić, czy Twoja firma narusza przepisy

Większość firm spontanicznie uważa, że te zakazy ich nie dotyczą. Ale niektóre zastosowania, zwłaszcza w HR i marketingu, mogą niebezpiecznie się do nich zbliżać.

Lista kontrolna weryfikacji

Zadaj sobie te pytania:

• Scoring i klasyfikacja: Czy przypisujesz automatyczne oceny punktowe osobom (klientom, pracownikom, kandydatom), które łączą dane z różnych kontekstów?
• Perswazja i personalizacja: Czy Twoje systemy rekomendacji lub marketingu wykorzystują zidentyfikowane podatności (wiek, sytuacja finansowa, stan emocjonalny)?
• Monitorowanie emocjonalne: Czy korzystasz z narzędzi analizujących wyrazy twarzy, głos lub zachowanie pracowników w celach innych niż medyczne lub bezpieczeństwa?
• Biometria: Czy stosujesz rozpoznawanie twarzy w swoich budynkach? Jeśli tak, na jakich warunkach?
• Dane twarzy: Czy Twoi dostawcy AI zbudowali swoje bazy treningowe przez scraping zdjęć z internetu?

Jeśli odpowiedź na którekolwiek z tych pytań brzmi “tak” lub “być może”, konieczna jest dogłębna analiza.

Rola szkolenia

Znajomość tych zakazów przez pracowników jest kluczowa. Obowiązek kompetencji w zakresie AI (Artykuł 4) obejmuje koniecznie zrozumienie tego, co jest zakazane. Pracownik, który nie wie, że stosowanie rozpoznawania emocji w kontekście zawodowym jest nielegalne, nie może zgłosić niezgodnego użycia.

Szkolenie zespołów w zakresie tych zakazów nie jest opcjonalne — to warunek wstępny odpowiedzialnego zarządzania AI.

📄AI Act Artykuł 4: obowiązek szkolenia w zakresie AI→

Sankcje

Zakazane praktyki podlegają najwyższemu poziomowi sankcji w AI Act: do 35 milionów euro lub 7% rocznego światowego obrotu, zastosowanie ma wyższa kwota. Są to najwyższe kary kiedykolwiek przewidziane przez europejskie regulacje cyfrowe — wyższe niż kary z RODO. W Polsce UODO (Urząd Ochrony Danych Osobowych) będzie odgrywał kluczową rolę w egzekwowaniu tych zakazów, we współpracy z organami sektorowymi.