Konec nejrizikovějších systémů: AI Akt poprvé v akci

O hlavních bodech AI Aktu (nařízení Evropského parlamentu a Rady 2024/1689) jsme informovali již dříve zde. 

Zákaz dopadá na systémy AI, které jsou zvlášť problematické, protože se mohou stát nástrojem pro neetické praktiky zneužívající moc a kontrolu a mohou vést k diskriminačnímu a neodůvodněnému zacházení. Tyto postupy jsou v rozporu s klíčovými hodnotami, veřejnými zájmy a základními právy uznávanými a chráněnými evropským právem, jako jsou lidská důstojnost, svoboda, rovnost, právo na ochranu soukromí a další. Z tohoto důvodu považoval evropský zákonodárce za nezbytné zcela zakázat přesně vyjmenované nepřijatelné postupy v oblasti AI a zamezit tak jejich výskytu na území Evropské unie.

Společnosti vyvíjející nebo využívající AI měly posledních šest měsíců na to, aby zmapovaly jimi využívané AI systémy a zhodnotily, zda nepatří do kategorie zakázaných praktik. Pokud ano, měly zamezit jejich používání. 

Zákaz systémů AI s nepřijatelným rizikem představuje první a zásadní krok směrem k odpovědnému a etickému používání AI. Stanovuje jasné hranice pro využívání technologií a přispívá tak k vytváření bezpečnějšího a transparentnějšího prostředí nejen pro její uživatele.

AI systémy, jejichž uvádění na trh, do provozu i použití se zakazuje:

• Systémy AI, které prostřednictvím podprahových, manipulativních či klamavých technik působí na uživatele bez jeho vědomí. Dále systémy AI využívající zranitelnosti osob (např. dětí či starších osob, které snáze podlehnou podvodu nebo manipulaci), jejichž cílem nebo důsledkem je působit na chování jedince a narušit svobodu jeho rozhodování. Důležitým předpokladem je vznik újmy nebo alespoň přiměřená pravděpodobnost, že taková újma vznikne.
   
• Systémy AI pro tzv. sociální scoring, používané pro hodnocení nebo klasifikaci jednotlivců či skupin na základě jejich sociálního chování, osobních či osobnostních vlastností, kde výsledný sociální kredit vede ke znevýhodňujícímu nebo nepříznivému zacházení v nesouvisejících sociálních kontextech, případně je takové zacházení s dotčenými osobami nepřiměřené jejich sociálnímu chování nebo jeho závažnosti. Hlavní obavou u těchto systémů je, že by výsledky mohly být diskriminační a vést až k vyloučení určitých skupin.
   
• Systémy AI pro předvídání rizika, že určitá osoba spáchá trestný čin výhradně na základě profilování osob, posouzení jejich osobnostních znaků a vlastností (např. státní příslušnost, místo bydliště, finanční situace apod.). Takový postup je v rozporu s presumpcí neviny, jelikož by kriminální predikce měla být založena na skutečném chování jedince.
   
• Systémy AI, které vytvářejí nebo rozšiřují databáze rozpoznávání obličeje prostřednictvím necíleného sběru zobrazení obličeje z internetu nebo kamerových záznamů. Tento způsob shromažďování dat posiluje dojem plošného sledování a představuje zejména zásah do základního práva jedince na soukromí.
   
• Systémy AI s cílem odvodit emoce osob na pracovišti a ve vzdělávacích institucích na základě jejich biometrických údajů. Tyto systémy jsou problematické z hlediska jejich spolehlivosti a přesnosti, jelikož se vyjádření emocí u jednotlivců může v různých situacích značně lišit, a mohou vést ke znevýhodňujícímu zacházení s dotčenými osobami. Výjimku tvoří pouze systémy AI používané k lékařským nebo bezpečnostním důvodům.
   
• Systémy AI pro biometrickou kategorizaci, které jednotlivce kategorizují na základě biometrických údajů s cílem odvodit jejich rasu, politické názory, náboženská přesvědčení apod. Výjimky z tohoto zákazu tvoří pouze filtrování zákonně získaných souborů biometrických údajů nebo kategorizace v rámci vymáhání práva, která sleduje ochranu veřejného pořádku a bezpečnosti.
   
• Donucovací orgány nesmí na veřejně přístupných místech s určitými výjimkami používat rovněž systémy AI pro biometrickou identifikaci na dálku v reálném čase za účelem prevence nebo stíhání trestných činů a výkonu trestu. Jejich použití je umožněno pouze za stanovených podmínek a ve výjimečných situacích, jako je vyhledávání obětí únosů a pohřešovaných osob, lokalizace osoby podezřelé z vážného trestného činu či v případě nutnosti odvrácení závažného bezprostředního ohrožení.
   

Pokud používáte systémy AI a došli jste k závěru, že na vás AI Akt dopadne, je nejvyšší čas začít s přípravami. Udělejte si přehled minimálně o tom, jaké máte systémy AI u vás ve společnosti, zda jste pouhými uživateli nebo je vyvíjíte a uvádíte na trh, jaká je funkce identifikovaných systémů a jakou kategorii rizika dle AI Aktu představují. Zjistíte-li, že některý ze systémů AI spadá mezi „zakázané systémy“, upravte co nejrychleji jeho fungování nebo jej zcela přestaňte používat či uvádět na evropský trh. V opačném případě se totiž vystavujete budoucí hrozbě vysokých pokut, které mohou dosáhnout až 35 milionů eur nebo 7 % celosvětového ročního obratu.