Klasyfikacja systemów AI: czy podlegasz przepisom dotyczącym wysokiego ryzyka?

Sedno mechanizmu: podejście oparte na ryzyku

Europejskie Rozporządzenie w sprawie sztucznej inteligencji (Rozporządzenie 2024/1689) opiera się na fundamentalnej zasadzie: obowiązki są proporcjonalne do poziomu ryzyka. Im bardziej system AI może wpływać na życie, zdrowie, prawa podstawowe lub bezpieczeństwo osób, tym surowsze są wymagania.

To stopniowe podejście wyróżnia AI Act na tle bardziej binarnych regulacji. Pozwala nie hamować innowacji w zastosowaniach o niskim ryzyku, jednocześnie ściśle regulując najbardziej wrażliwe zastosowania.

Motyw 26 — Règlement (UE) 2024/1689

Systemy AI stwarzające wysoki poziom ryzyka dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych powinny podlegać surowym wymogom, zanim będą mogły zostać wprowadzone na rynek Unii.

Cztery poziomy ryzyka

1. Ryzyko niedopuszczalne — Systemy zakazane

Niektóre zastosowania AI są po prostu zakazane (Artykuł 5). Scoring społeczny, manipulacja podprogowa, wykorzystywanie podatności osób na zagrożenia oraz biometryczna identyfikacja w czasie rzeczywistym w przestrzeniach publicznych (z wyjątkami) są zakazane od 1 lutego 2025 roku.

2. Wysokie ryzyko — Systemy podlegające wzmocnionym obowiązkom

To kategoria dotycząca największej liczby firm. Systemy AI wysokiego ryzyka są zdefiniowane w Artykułach 6 i 7 oraz szczegółowo wymienione w Załączniku III rozporządzenia. Związane z nimi obowiązki są znaczące: ocena zgodności, dokumentacja techniczna, nadzór człowieka, zarządzanie ryzykiem, zarządzanie danymi.

3. Ograniczone ryzyko — Obowiązki przejrzystości

Systemy takie jak chatboty, generatory treści (deepfake, teksty) czy systemy rozpoznawania emocji nieobjęte zakazem podlegają obowiązkom przejrzystości. Użytkownik musi wiedzieć, że wchodzi w interakcję z AI lub że treść została wygenerowana przez AI.

4. Minimalne ryzyko — Brak szczególnych obowiązków

Zdecydowana większość systemów AI: filtry antyspamowe, rekomendacje produktów, korektory ortograficzne. AI Act nie nakłada konkretnych ograniczeń, choć wymóg z Artykułu 4 dotyczący kompetencji w zakresie AI nadal dotyczy wszystkich podmiotów wdrażających.

Załącznik III: systemy wysokiego ryzyka, sektor po sektorze

Załącznik III rozporządzenia wymienia obszary, w których system AI jest uznawany za system wysokiego ryzyka. Oto konkretne przypadki dotyczące większości firm.

Zasoby ludzkie i rekrutacja

To obszar, który najbardziej zaskakuje firmy. Załącznik III, punkt 4 dotyczy systemów AI wykorzystywanych w:

Załącznik III, punkt 4 — Règlement (UE) 2024/1689

Zatrudnienie, zarządzanie pracownikami i dostęp do samozatrudnienia, w szczególności do rekrutacji i selekcji osób, podejmowania decyzji dotyczących warunków stosunku pracy, awansowania i rozwiązywania stosunku pracy, a także do przydzielania zadań, monitorowania lub oceny wyników i zachowania osób.

Konkretnie, za systemy wysokiego ryzyka uznaje się:

• Scoring kandydatów: każdy algorytm, który automatycznie klasyfikuje, ocenia punktowo lub filtruje aplikacje
• Automatyczna analiza CV: narzędzia wstępnie selekcjonujące profile na podstawie automatycznych kryteriów
• Chatboty kwalifikacyjne: asystenci konwersacyjni oceniający kandydatów w procesie rekrutacji
• Systemy oceny wydajności: narzędzia AI analizujące produktywność lub zachowanie pracowników
• Narzędzia dopasowania: algorytmy kojarzące profile z ofertami pracy

Jeśli Twój dział HR korzysta z narzędzia do automatycznej selekcji CV lub chatbota rekrutacyjnego, prawdopodobnie masz do czynienia z systemem wysokiego ryzyka w rozumieniu AI Act.

📄AI dla HR: kompletny przewodnik transformacji zasobów ludzkich→

Finanse i ubezpieczenia

Załącznik III, punkt 5(b) obejmuje systemy AI wykorzystywane do:

• Scoringu kredytowego: modele oceniające zdolność kredytową osób fizycznych (z wyjątkiem wykrywania oszustw)
• Oceny ryzyka w ubezpieczeniach na życie i zdrowotnych
• Automatycznej taryfikacji na podstawie profili indywidualnych

Każdy bank lub ubezpieczyciel wykorzystujący model AI do podejmowania decyzji o przyznaniu lub odmowie kredytu, lub do ustalania składki ubezpieczeniowej, podlega tym przepisom. W Polsce instytucje takie jak PKO BP czy mBank, które stosują zautomatyzowane modele scoringowe, muszą ocenić, czy ich systemy wchodzą w zakres tej kategorii — pod nadzorem KNF (Komisji Nadzoru Finansowego). Wykrywanie oszustw jest wyraźnie wyłączone z kategorii wysokiego ryzyka — ale uwaga, systemy scoringowe wykraczające poza proste wykrywanie mogą wchodzić w zakres tej kategorii.

Zdrowie

Załącznik III, punkt 1 obejmuje systemy AI będące wyrobami medycznymi lub wyposażeniem wyrobów medycznych w rozumieniu regulacji europejskich. Obejmuje to:

• Wspomaganie diagnostyki: algorytmy analizujące obrazy medyczne lub proponujące diagnozy
• Automatyczny triage: systemy kierujące pacjentów do odpowiednich ścieżek opieki
• Systemy monitorowania: urządzenia połączone z komponentem AI monitorujące parametry życiowe
• Wspomaganie przepisywania leków: narzędzia sugerujące leczenie

Edukacja i szkolenia zawodowe

Załącznik III, punkt 3 dotyczy systemów AI wykorzystywanych do:

• Przyjmowania do instytucji edukacyjnych
• Automatycznego oceniania egzaminów i ewaluacji
• Oceny poziomu odpowiedniego kształcenia dla danej osoby
• Kontroli zabronionych zachowań podczas egzaminów (automatyczny nadzór)

Wymiar sprawiedliwości i organy ścigania

Załącznik III, punkty 6, 7 i 8 obejmują:

• Ocenę ryzyka recydywy: systemy wykorzystywane do oceny prawdopodobieństwa popełnienia przestępstwa przez osobę
• Poligrafy i narzędzia wykrywania emocji podczas przesłuchań
• Ocenę wiarygodności dowodów
• Profilowanie w ramach zapobiegania i wykrywania przestępstw

Infrastruktura krytyczna

Załącznik III, punkt 2 obejmuje komponenty bezpieczeństwa zarządzania i eksploatacji krytycznej infrastruktury cyfrowej, ruchu drogowego oraz dostaw wody, gazu, ogrzewania i energii elektrycznej.

Migracja i kontrola granic

Załącznik III, punkt 7 obejmuje systemy wykorzystywane do oceny ryzyka nielegalnej migracji, rozpatrywania wniosków wizowych i pobytowych oraz identyfikacji osób w kontekście migracji.

Konkretne obowiązki dotyczące systemów wysokiego ryzyka

Jeśli jeden lub więcej Twoich systemów AI jest sklasyfikowanych jako systemy wysokiego ryzyka, oto czego wymaga rozporządzenie:

Ocena zgodności (Artykuły 9-15)

Przed wprowadzeniem na rynek lub do użytku system musi przejść ocenę zgodności obejmującą:

1. System zarządzania ryzykiem (Artykuł 9): identyfikacja, analiza, szacowanie i łagodzenie ryzyka w całym cyklu życia systemu
2. Zarządzanie danymi (Artykuł 10): zestawy danych treningowych muszą być odpowiednie, reprezentatywne i w możliwie największym stopniu wolne od błędów — w powiązaniu z wymogami RODO w zakresie danych osobowych
3. Dokumentacja techniczna (Artykuł 11): szczegółowy opis systemu, jego celów, wydajności i ograniczeń
4. Prowadzenie rejestrów (Artykuł 12): automatyczne rejestrowanie zdarzeń (logi) przez cały okres działania
5. Przejrzystość i informacja (Artykuł 13): jasne instrukcje użytkowania dla podmiotów wdrażających
6. Nadzór człowieka (Artykuł 14): system musi być zaprojektowany tak, aby umożliwiał skuteczną kontrolę przez osoby fizyczne
7. Dokładność, odporność i cyberbezpieczeństwo (Artykuł 15)

Szczególne obowiązki podmiotów wdrażających (Artykuł 26)

Firmy korzystające z systemów AI wysokiego ryzyka (podmioty wdrażające) mają własne obowiązki:

• Korzystanie z systemu zgodnie z instrukcjami dostawcy
• Zapewnienie nadzoru człowieka przez kompetentne i przeszkolone osoby
• Monitorowanie funkcjonowania systemu i zgłaszanie wszelkich usterek
• Przeprowadzenie oceny wpływu na prawa podstawowe (dla niektórych podmiotów wdrażających)
• Przechowywanie automatycznie generowanych logów przez co najmniej sześć miesięcy

📄Ryzyko AI w firmie: skuteczna identyfikacja i zarządzanie→

Jak audytować swoje narzędzia AI

Pierwszy krok do zgodności to dokładne poznanie, jakie systemy AI wykorzystujesz i do jakiej kategorii należą.

1. Sporządzić pełną inwentaryzację

Wymień wszystkie narzędzia integrujące AI w swojej organizacji. Nie zapomnij o:

• Narzędziach wbudowanych w istniejące oprogramowanie (CRM, ERP, HRIS)
• Subskrypcjach SaaS z funkcjonalnościami AI
• Nieformalnych zastosowaniach przez pracowników (asystenci AI, narzędzia generatywne)
• Wewnętrznych rozwiązaniach

2. Sklasyfikować każdy system

Dla każdego zidentyfikowanego narzędzia określ:

• Czy jest to system AI w rozumieniu Artykułu 3(1) rozporządzenia?
• Czy należy do jednej z kategorii z Załącznika III?
• Jaki jest jego poziom ryzyka?

3. Ocenić lukę w zgodności

Dla każdego systemu wysokiego ryzyka porównaj swoją obecną sytuację z wymaganiami Artykułów 9-15 i Artykułu 26. Zidentyfikuj luki i ustal priorytety działań naprawczych.

4. Dokumentować i śledzić

Przygotuj dokumentację zgodności dla każdego systemu, obejmującą klasyfikację, dokumentację techniczną, przeprowadzone oceny i wdrożone środki kontroli. Ta ustrukturyzowana dokumentacja będzie Twoim punktem odniesienia w przypadku audytu.

5. Przeszkolić użytkowników

Dla każdego systemu wysokiego ryzyka osoby odpowiedzialne za nadzór człowieka muszą posiadać niezbędne kompetencje (Artykuł 14). Uzupełnia to obowiązek z Artykułu 4 dotyczący kompetencji w zakresie AI, ale z wyższym poziomem wymagań: osoby te muszą rozumieć specyficzne możliwości i ograniczenia systemu, który nadzorują.

Przypadek modeli AI ogólnego przeznaczenia

Modele AI ogólnego przeznaczenia (takie jak GPT-4, Claude, Gemini) podlegają szczególnym przepisom (Artykuły 51-56). Gdy model ogólnego przeznaczenia jest zintegrowany z systemem AI sklasyfikowanym jako system wysokiego ryzyka, obowiązki związane z wysokim ryzykiem mają zastosowanie do całego systemu — nawet jeśli sam model bazowy jest narzędziem ogólnego przeznaczenia.

Oznacza to, że wykorzystanie ChatGPT do odpowiadania kandydatom w procesie rekrutacji może przekształcić narzędzie “ogólnego przeznaczenia” w komponent systemu wysokiego ryzyka.