AI Act v praxi: Jak Anywhere pomáhá posoudit soulad vašeho softwaru s novými pravidly EU

Struktura rámce nařízení EU o umělé inteligenci (AI Act) a kategorizace rizik

Nařízení EU o umělé inteligenci zavádí rámec založený na rizicích, který klasifikuje systémy AI do čtyř úrovní podle jejich potenciálního dopadu na zdraví, bezpečnost a základní práva. Tato kategorizace vychází z rozsáhlého posouzení rizik a uznávaných postupů v oblasti bezpečnosti výrobků a ochrany práv v rámci Evropské unie.

Nejzávažnější kategorie zahrnuje systémy s nepřijatelným rizikem, které jsou přímo zakázány. Tyto praktiky umělé inteligence představují jasnou hrozbu pro bezpečnost, obživu a práva lidí.

Příklady zahrnují sociální bodování, manipulační techniky zneužívající zranitelnosti, vyhodnocování sociálního chování nebo osobních charakteristik pro jiné účely než pro jejich původní sběr a bezdůvodné extrahování snímků obličejů z internetu pro biometrické databáze. Další zakázaná použití zahrnují rozpoznávání emocí na pracovištích nebo ve školách a dálkovou biometrickou identifikaci v reálném čase na veřejných místech bez právních výjimek.

Od 18. prosince 2024 je uvádění, zprovoznění nebo používání těchto systémů v EU zakázáno. Porušení může vést k vysokým pokutám, a to až do výše 35 milionů eur nebo 7 % celosvětového ročního obratu, podle toho, která částka je vyšší.

Druhá a nejrozsáhlejší kategorie zahrnuje vysoce rizikové systémy AI. I když nejsou přímo zakázány, jejich vývoj a nasazení podléhají přísným požadavkům s cílem minimalizovat rizika pro základní práva, bezpečnost nebo finanční situaci.

Mezi vysoce rizikové systémy patří umělá inteligence používaná v kritické infrastruktuře, vzdělávání a odborné přípravě, náboru a manažerských rozhodnutích, posuzování úvěrů nebo pojištění, právních a soudních rozhodnutích, trestním soudnictví a hraničních kontrolách. Tato kategorie rovněž zahrnuje systémy AI, které jsou bezpečnostními komponenty regulovaných produktů, jako jsou zdravotnické prostředky nebo automobily.

Například nástroj pro skenování životopisů, který automaticky třídí kandidáty na základě kvalifikace, je nyní regulován jako vysoce rizikový. Uvedení těchto systémů na trh nebo do provozu bez dodržení souladu představuje právní porušení, které může mít za následek pokuty až do výše 15 milionů eur nebo 3 % celosvětového obratu.

Třetí kategorie zahrnuje systémy AI s omezeným rizikem, které nejsou vysoce rizikové, ale spadají do specifických oblastí, jako jsou chatboti nebo generátory deepfake. Tyto systémy podléhají nižší míře regulace, primárně požadavkům na transparentnost. Poskytovatelé a uživatelé musí zajistit, aby uživatelé věděli, že interagují s AI a že obsah generovaný AI je jasně identifikovatelný.

Nakonec, čtvrtá kategorie se skládá z minimálně rizikových nebo neregulovaných systémů AI. To zahrnuje aplikace, jako jsou videohry poháněné AI, spamové filtry nebo běžné nástroje pro produktivitu. V těchto případech se na základě zákona o AI nevztahují prakticky žádné povinnosti.

Klíčovým poznatkem z praxe je, že hranice mezi kategoriemi nejsou vždy jasné. Volba mezi klasifikací vysoce rizikového a nízkorizikového systému často závisí na kontextu, metodě nasazení a na tom, jak systém AI konkrétně ovlivňuje rozhodování, zdraví nebo osobní bezpečnost.

Nařízení uznává tuto nejistotu tím, že umožňuje poskytovatelům, kteří se domnívají, že jejich systém, spadající pod přílohu III (seznam vysoce rizikových případů použití), ve skutečnosti není vysoce rizikový, tuto skutečnost doložit před jeho uvedením na trh. Tento přístup není statický; vyžaduje průběžné posuzování a monitorování.

Metodologie pro určení, zda je systém AI vysoce rizikový, proto vyžaduje systematické posouzení. Nejprve je nutné přesně objasnit, co systém dělá, jeho vstupy a výstupy, oblast jeho použití a jeho dopad na rozhodování nebo bezpečnost jednotlivců.

Poté je třeba posoudit, zda spadá pod přílohu II nebo III. Pokud ano, je nutné ověřit, zda splňuje některé z výjimečných podmínek. Tento proces není jednorázový; pokud se systém změní nebo se změní jeho nasazení, musí se posouzení opakovat.

V praxi organizace tento systematický přístup často postrádají. Zpočátku si nemusí být jisté, zda jsou jejich systémy vůbec umělou inteligencí, a pokud ano, jaký je jejich rizikový profil. V takových případech má smysl uchovávat briefy, dokumenty a budoucí kroky na jednom centralizovaném místě. To umožňuje postupné hromadění všech relevantních informací a zajišťuje, že posouzení je úplné a správné.

Definice a identifikace vysoce rizikových systémů AI

Vysoce rizikové systémy umělé inteligence jsou definovány v AI Actu ve dvou hlavních kategoriích. První zahrnuje systémy AI sloužící jako bezpečnostní komponenty produktů, na které se vztahuje harmonizační právo EU, jako jsou zdravotnické prostředky, automobily nebo letadla, kde je příslušnou legislativou vyžadováno posouzení třetí stranou.

Druhá kategorie zahrnuje specifická použití uvedená v příloze III AI Actu. Mezi ně patří systémy AI v biometrické identifikaci, kritické infrastruktuře, vzdělávání, zaměstnanosti, poskytování veřejných a soukromých služeb, trestním soudnictví a správě, migraci a hraničních kontrolách a dalších oblastech vyžadujících vysokou míru důvěry a přesnosti v rozhodování.

Důležitou součástí definice je, co je považováno za vysoce rizikové v oblasti zaměstnanosti. Systémy AI určené k náboru jednotlivců, zejména pro cílené pracovní inzeráty, analýzu a filtrování žádostí nebo hodnocení kandidátů, jsou klasifikovány jako vysoce rizikové.

Podobně jsou jako vysoce rizikové regulovány systémy AI určené k rozhodování o pracovních podmínkách, povýšení nebo propuštění. To platí i pro systémy pro přidělování úkolů na základě individuálního chování nebo osobních charakteristik, nebo pro monitorování a hodnocení výkonu a chování zaměstnanců.

Praktické důsledky jsou značné. Pokud HR tým společnosti používá automatizované nástroje k seskupování životopisů kandidátů nebo k automatickému posuzování jejich vhodnosti pro danou roli, musí zajistit soulad s požadavky AI Actu.

Nařízení obsahuje důležitou „výjimku s podmínkami“, která stanoví, že systém AI spadající pod přílohu III nemusí být klasifikován jako vysoce rizikový, pokud splňuje určitá kritéria. Konkrétně, pokud je systém AI určen pro úzký procesní úkol, jeho cílem je zlepšit výsledek již dokončené lidské činnosti, detekuje vzorce rozhodování bez nahrazení lidského úsudku, nebo slouží jako přípravný úkol pro posouzení, nemusí být vysoce rizikový.

Pokud tedy systém slouží pouze jako pomocný nástroj pro sběr dat a předběžnou analýzu bez automatického rozhodování, mohl by se na něj tato výjimka vztahovat. Tato výjimka se však nevztahuje, pokud systém provádí profilování fyzických osob.

Profilování zahrnuje automatické zpracování osobních údajů za účelem posouzení různých aspektů života osoby, jako je pracovní výkon, ekonomický status, zdraví, preference, zájmy, spolehlivost, chování, poloha nebo pohyb. V takových případech systém zůstává vysoce rizikový bez ohledu na jiné faktory.

Metodologie pro určení, zda je systém AI vysoce rizikový, proto vyžaduje systematické posouzení. Nejprve je nutné přesně objasnit, co systém dělá, jeho vstupy a výstupy, oblast jeho použití a jeho dopad na rozhodování nebo bezpečnost jednotlivců.

Poté je třeba posoudit, zda spadá pod přílohu II nebo III. Pokud ano, je nutné ověřit, zda splňuje některé z výjimečných podmínek. Tento proces není jednorázový; pokud se systém změní nebo se změní jeho nasazení, musí se posouzení opakovat.

V praxi organizace tento systematický přístup často postrádají. Zpočátku si nemusí být jisté, zda jsou jejich systémy vůbec umělou inteligencí, a pokud ano, jaký je jejich rizikový profil. V takových případech má smysl uchovávat briefy, dokumenty a budoucí kroky na jednom centralizovaném místě. To umožňuje postupné hromadění všech relevantních informací a zajišťuje, že posouzení je úplné a správné.

Klíčové povinnosti poskytovatelů vysoce rizikových systémů AI

Poskytovatelé vysoce rizikových systémů AI čelí nejpřísnější sadě povinností podle AI Actu. Tyto povinnosti pokrývají všechny fáze životního cyklu systému, od návrhu až po monitorování po uvedení na trh.

První a ústřední povinností je zřízení a udržování komplexního systému řízení rizik, který je implementován jako iterativní proces po celou dobu životního cyklu systému AI. Tento systém musí systematicky identifikovat známá a rozumně předvídatelná rizika, která může systém AI představovat pro zdraví, bezpečnost nebo základní práva, pokud je používán k určenému účelu a za podmínek rozumně předvídatelného zneužití.

Poskytovatelé musí poté přijmout vhodná a cílená opatření k řešení těchto rizik, včetně jejich zmírnění nebo eliminace, pokud je to technicky proveditelné.

Druhou významnou povinností je implementace systému řízení kvality, který zajistí soulad s nařízením po celou dobu životního cyklu systému. Systém řízení kvality musí být systematicky a jasně zdokumentován.

Musí obsahovat minimálně tyto prvky: strategii dodržování předpisů, techniky a postupy pro návrh a ověřování systému, postupy pro vývoj a kontrolu kvality, postupy pro testování a ověřování a platné technické specifikace a normy.

Dále musí zahrnovat systémy a postupy pro správu dat (včetně sběru, analýzy, označování a ukládání dat), systém řízení rizik, zřízení a udržování systému monitorování po uvedení na trh, postupy pro hlášení závažných incidentů, postupy komunikace s úřady a oznámenými subjekty a rámec odpovědnosti definující odpovědnost vedení a personálu.

Třetí klíčovou povinností je příprava podrobné technické dokumentace před uvedením systému na trh. Technická dokumentace musí jasně prokázat, že systém splňuje všechny požadavky AI Actu a musí poskytnout národním úřadům a oznámeným subjektům všechny nezbytné informace pro posouzení shody.

Dokumentace musí obsahovat minimálně prvky uvedené v příloze IV AI Actu, jako je popis systému, jeho účel, datové sady, architektura, výsledky testování, analýza rizik a opatření pro zmírnění. Pro malé a střední podniky (MSP) připravuje Komise zjednodušenou formu dokumentace speciálně pro jejich potřeby.

Čtvrtou povinností je zajištění řádné správy dat. Vysoce rizikové systémy AI trénované na datech musí být vyvíjeny s použitím trénovacích, validačních a testovacích datových sad, které splňují kritéria kvality definovaná v AI Actu. To znamená, že data musí být relevantní, dostatečně reprezentativní, co nejvíce bezchybná a kompletní s ohledem na zamýšlený účel systému.

Data musí být analyzována na potenciální předsudky, které by mohly ovlivnit zdraví a bezpečnost jednotlivců, negativně ovlivnit základní práva nebo vést k diskriminaci. Poskytovatelé musí přijmout vhodná opatření k detekci, prevenci a zmírnění těchto předsudků. To je obzvláště důležité v oblasti náboru a zaměstnanosti, kde nespravedlivá data mohou vést k diskriminačním výsledkům.

Pátou povinností je navržení systému tak, aby umožňoval efektivní lidský dohled. Vysoce rizikové systémy AI musí být navrženy s vhodnými rozhraními, která umožňují fyzickým osobám efektivně je monitorovat během používání. Lidský dohled musí být navržen tak, aby předcházel nebo minimalizoval rizika pro zdraví, bezpečnost a základní práva.

Kontrolní opatření musí být přiměřená rizikům, míře autonomie a kontextu používání systému. U systémů biometrické identifikace musí alespoň dvě osoby s nezbytnou kompetencí a oprávněním nezávisle ověřit a potvrdit identifikaci dotčené osoby, pokud neexistuje specifická výjimka pro orgány činné v trestním řízení.

Šestou povinností je hlášení závažných incidentů. Poskytovatelé musí bez zbytečného odkladu a v každém případě nejpozději do 15 dnů od okamžiku, kdy se o incidentu dozvědí, hlásit všechny závažné incidenty vnitrostátním orgánům.

Po nahlášení incidentu musí poskytovatelé neprodleně provést nezbytné šetření, včetně posouzení rizik a přijetí nápravných opatření, a musí spolupracovat s příslušnými orgány.

Sedmou povinností je poskytnout uživatelům podrobné pokyny k použití. Pokyny musí jasně vysvětlovat, co systém dělá, jeho možnosti a omezení, známá rizika, technické charakteristiky a jak jej bezpečně a efektivně používat. Pokyny musí být přístupné a srozumitelné pro ty, kdo budou systém používat.

Osmou povinností je zajistit odpovídající úroveň robustnosti, kybernetické bezpečnosti a přesnosti systému. Vysoce rizikové systémy AI musí být odolné vůči útokům a manipulacím, mít vhodné bezpečnostní opatření a dosahovat přiměřené úrovně přesnosti.

Devátou a poslední povinností je zřízení a udržování systému monitorování po uvedení na trh. Poskytovatelé musí aktivně a systematicky shromažďovat, dokumentovat a analyzovat relevantní údaje o výkonu systému po celou dobu jeho životnosti, aby vyhodnotili jeho průběžný soulad s požadavky AI Actu.

V praktických situacích vyžaduje plnění všech těchto povinností koordinaci napříč mnoha týmy a odděleními, od AI/ML inženýrů po právní a řízení rizik. Informace musí být shromažďovány a organizovány na jednom místě.

Dokumenty z procesu vývoje, výsledky testování, analýzy rizik a plány monitorování musí být centralizovány a pravidelně aktualizovány. V takových případech má smysl využít platformu, jako je Anywhere.legal.

Umožňuje centralizaci briefu systému, nahrávání relevantních dokumentů, použití AI pro předběžné zpracování a tvorbu dokumentace a následné zapojení příslušného právního nebo technického experta v EU k ověření procesu a pomoci při zajištění souladu.

Povinnosti uživatelů a dalších účastníků hodnotového řetězce

Zatímco poskytovatelé nesou největší odpovědnost, uživatelé a další účastníci hodnotového řetězce (dovozci, distributoři, modifikátoři) mají rovněž podstatné povinnosti. Uživatelé, tj. osoby používající systémy AI v rámci svých činností (typicky zaměstnavatelé pro HR systémy, banky pro úvěrové systémy atd.), musí zajistit, aby systémy používali v souladu s pokyny poskytnutými poskytovatelem.

Musí také monitorovat provoz systému a, pokud mají důvod se domnívat, že systém může být zdrojem rizika, musí bez zbytečného odkladu informovat poskytovatele a příslušné národní úřady.

Uživatelé musí rovněž zajistit lidský dohled kvalifikovanými osobami, které mají nezbytnou kompetenci, školení a oprávnění, stejně jako potřebnou podporu k řádnému výkonu kontroly.

To znamená, že pokud oddělení HR používá systém AI k filtrování kandidátů, musí mít odpovídající osobu nebo tým, který výsledky přezkoumá a nebude je jednoduše přijímat bez kritického zvážení.

Uživatelé musí rovněž zajistit, pokud mají kontrolu nad vstupními daty, aby tato data byla relevantní a dostatečně reprezentativní s ohledem na zamýšlený účel systému.

Například, pokud náborový tým posílá data kandidátů prostřednictvím systému, musí zajistit, aby tato data nebyla zkreslená nebo neúplná.

Uživatelé musí rovněž uchovávat automaticky generované protokoly související s provozem systému po dobu alespoň šesti měsíců.

Tyto protokoly jsou klíčové pro vyšetřování incidentů a prokazování souladu.

Zaměstnavatelé nasazující vysoce rizikové systémy AI na pracovišti musí rovněž informovat zástupce zaměstnanců a samotné zaměstnance, že budou podléhat vysoce rizikovému systému AI.

Tyto informace musí být poskytnuty v souladu s právními postupy a zvyklostmi týkajícími se oznamování zaměstnancům a zástupcům.

Uživatelé z veřejných orgánů nebo orgánů Unie musí rovněž registrovat vysoce rizikové systémy AI v databázi EU.

Tato registrační povinnost je klíčová pro transparentnost a státní kontrolu.

Dovozci a distributoři mají rovněž specifické povinnosti. Dovozci, tj. osoby uvádějící systémy AI na trh pod svým jménem nebo ochrannou známkou, musí ověřit, že posouzení shody přijaté poskytovatelem bylo řádně provedeno, že je přítomna technická dokumentace a že systém nese označení CE a prohlášení EU o shodě.

Distributoři, tj. osoby, které dále distribuují systémy AI, musí ověřit, že systém splňuje AI Act a nesmí jej uvádět na trh, pokud mají důvod se domnívat, že není v souladu.

Klíčovým aspektem je „rekvalifikace“ v rámci hodnotového řetězce. Pokud distributor, dovozce, uživatel nebo jiná třetí strana podstatně upraví vysoce rizikový systém AI, stává se poskytovatelem tohoto upraveného systému a musí splnit všechny povinnosti poskytovatele.

To znamená, že pokud organizace vezme existující systém AI a upraví jej způsobem, který změní jeho rizikový profil nebo zamýšlený účel, musí nyní splnit všechny povinnosti poskytovatele, včetně posouzení shody a technické dokumentace.

Procesní aspekty: Posouzení shody a oznámené subjekty

Posouzení shody je klíčový proces pro ověření souladu vysoce rizikového systému AI s požadavky AI Actu. Existují dva hlavní postupy posouzení shody: vnitřní kontrola (sebehodnocení) a posouzení třetí stranou prostřednictvím oznámeného subjektu.

U vysoce rizikových systémů AI podle přílohy III (nábor, bodování úvěrů, vzdělávání, právo atd.) poskytovatelé obvykle provádějí vnitřní kontrolu podle přílohy VI AI Actu, která nevyžaduje zapojení oznámeného subjektu. Poskytovatelé sami posuzují, zda jejich systém splňuje všechny požadavky, a poté mohou připojit označení CE a vydat prohlášení EU o shodě.

V některých případech je však zapojení oznámeného subjektu povinné. Jedním z takových případů jsou systémy biometrické identifikace, včetně dálkových systémů biometrické identifikace, bez ohledu na to, zda jsou v reálném čase nebo po události.

Druhým případem je, když je vysoce rizikový systém AI součástí produktu, na který se vztahuje harmonizační právo Unie (příloha II) a pro který je standardně vyžadováno posouzení třetí stranou (např. zdravotnické prostředky, motorová vozidla).

Oznámené subjekty jsou nezávislé třetí strany formálně určené jednotlivými členskými státy Unie k provádění posouzení shody vysoce rizikových systémů AI. Musí být nezávislé a bez střetu zájmů, disponovat relevantní kompetencí a technickými prostředky pro posouzení a provádět posouzení objektivně a transparentně.

Posouzení třetí stranou zahrnuje podrobný přezkum technické dokumentace, systému řízení kvality, procesu vývoje a samotného systému AI. Oznámený subjekt rovněž vydá certifikát, pokud systém splňuje požadavky, a povolí označení CE.

Proces posouzení shody se skládá z několika fází. Nejprve poskytovatel identifikuje a zapojí vhodný oznámený subjekt. Poté je podána žádost s technickou dokumentací, dokumentací systému řízení kvality a popisem systému.

Oznámený subjekt dokumentaci přezkoumá, což obvykle trvá několik měsíců. Poté prověří vnitřní prostředí poskytovatele a ověří procesy vývoje a testování.

Dále provede technické posouzení samotného systému, včetně jeho výkonu, přesnosti a odolnosti vůči chybám. Nakonec vydá rozhodnutí – buď systém projde, jsou vyžadována nápravná opatření, nebo je zamítnut.

Důležité je, že posouzení shody není jednorázová činnost. Pokud je vysoce rizikový systém AI následně podstatně upraven, musí projít novým posouzením shody.

Podstatná úprava je definována jako změna, kterou poskytovatel nepředvídal v době počátečního posouzení shody a která ovlivňuje soulad s požadavky AI Actu nebo zamýšlený účel systému.

V praxi je proces posouzení shody složitý a vyžaduje úzkou koordinaci mezi poskytovatelem a oznámeným subjektem. Obě strany si musí vyměňovat informace, odpovídat na dotazy a řešit zjištěné problémy.

Pokud se soustředí pouze na sebe bez vnější perspektivy, mohou snadno přehlédnout důležité aspekty. V takových případech má smysl mít centralizační bod, kde jsou uloženy všechny relevantní materiály, kde týmy mohou interně komunikovat a kde mohou být zapojeni externí experti podle potřeby k poradenství v procesu.

Harmonogramy implementace a termíny dodržování předpisů

AI Act byl přijat v březnu 2024 a vstoupil v platnost 18. června 2024, ale jeho pravidla jsou zaváděna postupně v několika fázích. Pochopení těchto termínů je klíčové pro plánování činností souvisejících s dodržováním předpisů.

První fáze, která se stala použitelnou od 18. prosince 2024 (šest měsíců po vstupu nařízení v platnost), se týkala zákazu nepřijatelných praktik AI a povinnosti zajistit digitální gramotnost zaměstnanců v oblasti AI. Od tohoto data jsou tyto praktiky přímo zakázány, ačkoliv spory ohledně jejich výkladu a aplikace stále vznikají.

Druhá fáze, použitelná od 18. března 2025 (devět měsíců po vstupu nařízení v platnost), se týkala regulace obecných modelů AI (GPAI). To zahrnuje velké jazykové modely a další základní modely schopné vykonávat širokou škálu úkolů.

Poskytovatelé modelů GPAI, zejména pokud představují systémové riziko (tj. pokud jsou trénovány s více než 10^25 operacemi s plovoucí desetinnou čárkou), musí nyní plnit povinnosti související s transparentností, kybernetickou bezpečností a hlášením incidentů.

Třetí fáze, použitelná od 18. června 2026 (dvacet čtyři měsíců po vstupu nařízení v platnost), přinese povinnosti pro většinu vysoce rizikových systémů AI, včetně těch uvedených v příloze III AI Actu. To pokrývá náborové a HR systémy, bodování úvěrů, vzdělávací posouzení, biometrickou identifikaci a další.

Od tohoto data musí všechny vysoce rizikové systémy AI v těchto kategoriích splňovat všechny povinnosti popsané v předchozích částech, včetně technické dokumentace, systémů řízení rizik, posouzení shody a monitorování po uvedení na trh.

Čtvrtá a poslední fáze, použitelná od 18. června 2027 (třicet šest měsíců po vstupu nařízení v platnost), zavede povinnosti pro vysoce rizikové systémy AI, které jsou bezpečnostními komponenty produktů spadajících pod harmonizační legislativu Unie (příloha II), a pro systémy AI v oblasti vymáhání práva a migrace (článek 6(3)). Tento delší časový rámec má za cíl poskytnout výrobcům více času na přizpůsobení se novým požadavkům.

To znamená, že organizace vyvíjející nebo nasazující vysoce rizikové systémy nemají mnoho času na přípravu. Je kriticky důležité, aby zahájily své činnosti související s dodržováním předpisů bez zbytečného odkladu.

Kromě těchto obecných termínů existují i různé specifické termíny pro konkrétní činnosti. Například Úřad pro AI, zřízený v rámci Evropské komise, vydá podrobné pokyny a doporučení pro praktickou aplikaci AI Actu. To má pomoci organizacím lépe porozumět tomu, jak pravidla uplatňovat v praxi, a přispět k harmonizaci a snazší aplikaci pravidel.

Praktické výzvy a běžné příklady z praxe

Navzdory jasným pravidlům AI Actu se jeho praktická implementace v reálném světě ukazuje jako složitá. Jednou z hlavních výzev je identifikace všech systémů AI v rámci organizace. Mnoho společností si neuvědomuje, že některé jejich nástroje nebo procesy obsahují prvky AI.

Předpokládejme, že velká farmaceutická společnost používá tabulku Excel s algoritmy k predikci cen nebo tržních trendů. Je to systém AI? Pokud ano, do jaké rizikové kategorie spadá? Bez jasného mapování všech aplikací AI v rámci organizace není možné posoudit potřeby souladu.

Druhou výzvou je určení, zda je konkrétní systém AI vysoce rizikový. Hranice mezi vysokým a nižším rizikem nejsou vždy ostré. Předpokládejme systém AI pro screening kandidátů, který má následující vlastnosti: přiděluje kandidáty do kategorií na základě skóre, ale výsledky podléhají lidskému přezkumu, který může výstup systému přepsat nebo zvrátit.

Je takový systém vysoce rizikový? Odpověď není jednoduchá a závisí na detailech – konkrétně, jak často člověk přepisuje výsledek (pokud téměř nikdy, je stále vysoce rizikový), a zda je přepsání transparentní a odůvodnitelné.

Třetí výzvou je shromažďování správných dat pro technickou dokumentaci. Organizace musí být schopny prokázat, že splňují všechny požadavky AI Actu. To znamená mít všechna data související s vývojem systému: jak byla datová sada vytvořena, jak byl systém testován, výsledky testů, identifikovaná rizika a opatření pro zmírnění.

Pokud tato data nebyla systematicky shromažďována během vývoje, nelze je zpětně rekonstruovat a konsolidovat. Výsledkem je buď neúplná dokumentace, nebo dokonce neschopnost dosáhnout souladu.

Čtvrtou výzvou je zajištění řádného lidského dohledu. Jak by měl být implementován? V některých případech to znamená, že člověk musí přezkoumat každé rozhodnutí učiněné systémem AI. V jiných může lidský dohled zahrnovat pravidelné přezkoumávání řady rozhodnutí a reagování na anomálie.

Konkrétní požadavky AI Actu však nejsou vždy jasné, co přesně představuje „řádný“ lidský dohled. Musí být posouzeno mnoho faktorů: autonomie systému, jeho účel, rizika, která představuje, a kontext jeho nasazení.

Pátou výzvou je komunikace s více zúčastněnými stranami a koordinace jejich činností. Kdo je odpovědný za soulad? Vývojový tým? Oddělení HR? Právní oddělení? Řízení rizik? V praxi vyžaduje soulad koordinaci mezi všemi těmito týmy.

Vývojáři musí poskytovat technické detaily, HR musí rozumět nasazení a monitorování, právní oddělení musí zajistit správnost a úplnost dokumentace a řízení rizik musí ověřit, že rizika jsou správně identifikována a zmírněna.

Praktické příklady ilustrují tyto výzvy. Předpokládejme, že technologická společnost vyvíjí nový HR systém pro velké korporace. Systém využívá strojové učení k predikci, který kandidát bude nejlepší pro danou pozici. Společnost jej zpočátku nepovažovala za vysoce rizikový systém, považovala jej za jeden z mnoha nástrojů v HR procesu.

Podrobná analýza však odhalila, že systém primárně ovlivňuje rozhodnutí o náboru kandidátů. Při aplikaci na různé pozice také ovlivňuje rozhodnutí o povýšení a ukončení zaměstnání. V tomto případě zahrnuje několik vysoce rizikových případů použití současně.

Společnost musela retrospektivně konsolidovat technickou dokumentaci, provést analýzu rizik, implementovat lidský dohled a zavést monitorování po uvedení na trh. Kvůli neúplnému plánování jí chyběla všechna potřebná tréninková data a zprávy o vývoji, což vedlo k prodlouženým procesům souladu a vyšším nákladům.

Druhý příklad: banka používala systém AI k detekci podvodů a rizik v transakcích. Systém byl součástí komplexního ekosystému s několika komponentami: modul pro předzpracování, modul pro klasifikaci a modul pro eskalaci.

Která část je odpovědná za soulad? Jak je celý systém správně testován? Jak se zaznamenávají protokoly v případě incidentu? Banka měla jednotlivé týmy odpovědné za každou komponentu, ale jejich komunikace byla roztříštěná. To vedlo k nedostatku jasnosti ohledně toho, jak byl systém skutečně postaven, a v důsledku toho, zda byl soulad skutečně zajištěn.

Třetí příklad: startup vyvinul asistenta AI pro vzdělávání – nástroj, který odpovídá na studentské otázky a poskytuje vysvětlení. Startup zpočátku nepředpokládal, že by to spadalo pod AI Act, protože to byl „jen vzdělávací nástroj“.

Bylo však zjištěno, že systém také vyhodnocuje, jaký obsah student potřebuje vidět dál, což představuje formu posouzení. Systém tak spadá do vysoce rizikových kategorií vzdělávání. Startup byl malý a postrádal zdroje pro rozsáhlou dokumentaci a posouzení shody. Musel vyhledat podporu, aby zajistil soulad bez ohrožení svých operací.

Všechny tyto příklady ilustrují, že soulad není jen právní povinností, ale vyžaduje koordinované úsilí napříč celou organizací. V takových případech má smysl mít centralizovaný přístup k celému procesu na jednom místě.

To zahrnuje strukturování briefu systému, nahrávání dokumentů, komunikaci mezi týmy, přípravu počátečních návrhů dokumentace a v případě potřeby zapojení expertů z jedné nebo více zemí EU k pomoci s konkrétními problémy.

Globální kontext a fragmentace regulace

Zatímco se zaměřujeme na AI Act EU, je důležité si uvědomit, že to není jediná regulace AI globálně. Jiné jurisdikce, zejména Spojené státy, přijímají své vlastní právní předpisy o AI, což vytváří složitou krajinu pro společnosti působící mezinárodně.

Evropa přijala první komplexní nařízení v podobě AI Actu, ale Spojené státy se dosud více zaměřovaly na sektorové regulace v jednotlivých státech a odvětvích, bez jednotného federálního zákona o AI. V roce 2025 bylo v USA zavedeno více než 260 opatření souvisejících s AI, z nichž 22 prošlo legislativním procesem.

To vytváří situaci, kdy stejný systém AI může podléhat zcela odlišným požadavkům v různých jurisdikcích.

Tato fragmentace vytváří nové výzvy. Pokud společnost vyvíjí systém AI, který má být prodáván nebo nasazen v Evropě, USA, Kanadě a Asii, musí dodržovat nejpřísnější požadavky všech těchto jurisdikcí a zajistit současný soulad ve všech z nich.

Společnosti se mohou pokusit vytvořit „modulární“ architekturu, kde lze regionálně specifické konfigurace zapínat nebo vypínat v závislosti na lokalitě, ale to zvyšuje složitost vývoje a testování.

Je také pozoruhodné, že AI Act EU má výhodu v tom, že je nejvíce sjednocenou a nejpřísnější regulací. Společnosti, které dosáhnou souladu v EU, budou mít snazší cestu k souladu jinde, i když existují další požadavky. Z tohoto pohledu AI Act EU stanoví vysoký standard a fakticky se stává globálním měřítkem pro soulad s AI.

Systematický přístup k dodržování předpisů

Vzhledem ke složitosti a rozsahu AI Actu je klíčové přijmout systematický a procesně orientovaný přístup k dodržování předpisů. Namísto pokusů o ad hoc nebo na poslední chvíli dodržování předpisů by organizace měly zavést strukturovanou cestu.

Prvním krokem je komplexní mapování všech systémů AI, které organizace vyvíjí, nasazuje nebo používá. To zahrnuje inventuru – seznam všech aplikací s informacemi o tom, co dělají, na jakých datech se opírají a jaká rozhodnutí podporují.

Toto mapování není jednorázové; mělo by být pravidelně aktualizováno, protože nové systémy jsou neustále vyvíjeny nebo zaváděny v rámci organizace.

Druhým krokem je klasifikace rizika každého systému. Pomocí rámce AI Actu (zakázáno, vysoce rizikové, omezené riziko, minimální riziko) je pro každý systém provedeno posouzení. To kombinuje právní posouzení (spadá pod některou z definic AI Actu?) a technické posouzení (jaký je jeho skutečný dopad na jednotlivce?).

Konkrétně pro vysoce rizikové systémy se provádí hloubkový audit: co přesně dělá, na jakých datech se opírá, jak je trénováno, jak je testováno, kdo a jak jej používá a jaká jsou známá rizika.

Třetím krokem je vypracování plánu dodržování předpisů. Na základě klasifikace je vypracován plán popisující konkrétní kroky potřebné k dosažení souladu.

Pro každý vysoce rizikový systém to bude zahrnovat: přípravu technické dokumentace, implementaci/zlepšení systému řízení rizik, zajištění řádného procesu monitorování po uvedení na trh a přípravu zpráv o incidentech. Pro systémy s omezeným rizikem to bude zahrnovat přípravu informačních materiálů a označení obsahu. Pro ostatní systémy mohou postačovat minimální opatření.

Čtvrtým krokem je definování odpovědností. Kdo je primárně odpovědný za soulad pro každý systém? Měla by to být osoba s pravomocemi a zdroji k řízení práce.

Tato osoba nebo tým bude koordinovat s ostatními – vývojáři, specialisty na datovou vědu, právníky, řízením rizik – aby zajistili splnění všech požadavků.

Pátým krokem je implementace. To zahrnuje skutečné provedení práce podle plánu: sběr dat a dokumentace, testování, zajištění ověření a komunikaci s partnery a experty.

Toto není práce, kterou lze dělat izolovaně; vyžaduje centrální koordinační bod, kde jsou k dispozici všechny materiály a lze sledovat pokrok.

Šestým krokem je průběžné monitorování a aktualizace. Soulad není konečný stav; je to neustálý proces. Při nasazení systému je nutné sledovat jeho chování, reagovat na incidenty, shromažďovat zpětnou vazbu a podle potřeby aktualizovat procesy.

Dále, jak se AI Act vyvíjí a Komise vydává nové pokyny, požadavky se mohou měnit a organizace musí být připraveny se přizpůsobit.

Role nástrojů s podporou AI v procesu dodržování předpisů

Vzhledem k rozsáhlé a technické povaze AI Actu je použití nástrojů s podporou AI v procesu dodržování předpisů vysoce přínosné. Takové nástroje mohou urychlit a zlepšit různé aspekty práce s dodržováním předpisů.

Zaprvé, mohou pomoci s analýzou a strukturováním velkých objemů technické dokumentace. Když organizace shromažďuje desítky nebo stovky stránek dokumentace – datové listy modelů, zprávy o testování, analýzy rizik – nástroj AI dokáže rychle analyzovat, extrahovat klíčové informace a připravit shrnutí.

To může výrazně zkrátit čas, který právníci a inženýři stráví čtením a porozuměním jednotlivým dokumentům.

Zadruhé, nástroje AI mohou pomoci s přípravou počátečních návrhů technické dokumentace. Na základě struktury požadavků AI Actu a příkladů z přílohy IV může nástroj AI vytvořit šablony a počáteční návrhy dokumentace. Inženýři a právníci pak mohou tyto návrhy upřesnit a přizpůsobit konkrétnímu systému, což opět šetří značný čas.

Zatřetí, nástroje AI mohou pomoci s analýzou rizik. Na základě popisu systému, jeho dat, architektury a nasazení může nástroj AI pomoci identifikovat potenciální rizika a navrhnout opatření pro zmírnění.

I když konečná rozhodnutí musí činit lidé, AI může poskytnout cennou analytickou podporu.

Začtvrté, nástroje AI mohou pomoci s komunikací a koordinací. Pokud je plán dodržování předpisů centralizován na jednom místě, což umožňuje nahrávání dokumentů, dotazy a sledování pokroku, komunikace mezi týmy se výrazně zlepší.

AI se pak může podílet na automatickém shromažďování informací, připomínkách termínů a generování zpráv o stavu dodržování předpisů. Je však klíčové zdůraznit, že AI slouží pouze jako podpůrný nástroj a nenahrazuje odbornost a kritický úsudek právních a technických specialistů.

Konkrétně platforma jako Anywhere.legal, která kombinuje centralizovanou správu dokumentů, zpracování s podporou AI a možnost zapojení expertů z různých zemí, poskytuje komplexní řešení pro řízení procesu dodržování předpisů.

Namísto vývoje vlastních procesů a nástrojů mohou organizace využít stávající infrastrukturu navrženou pro komplexní, mezioborové, mezinárodní právní a regulační projekty, zajišťující bezpečné a kontrolované používání AI v citlivých kontextech.

Závěr

Nařízení EU o umělé inteligenci představuje zásadní změnu ve způsobu regulace systémů AI. Zavádí rozsáhlé a specifické povinnosti pro poskytovatele a uživatele, zejména pro vysoce rizikové aplikace. Pochopení těchto povinností a přijetí systematického přístupu k dodržování předpisů není volitelné; je to nezbytné pro legální provoz a pověst organizací vyvíjejících nebo používajících AI v EU, zejména v mezinárodním a přeshraničním kontextu.

Dodržování předpisů však nemusí být zátěží. Je-li správně naplánováno a implementováno, může zlepšit kvalitu systémů AI, zvýšit důvěru uživatelů a snížit provozní rizika.

Klíčové poznatky z přezkumu AI Actu jsou následující: Zaprvé, organizace musí jasně identifikovat své systémy AI a posoudit jejich rizikový profil. Zadruhé, vysoce rizikové systémy podléhají přísným požadavkům, včetně technické dokumentace, řízení rizik, lidského dohledu a monitorování. Zatřetí, dodržování předpisů je průběžný proces, nikoli jednorázová činnost.

Začtvrté, komunikace a koordinace mezi mnoha týmy a mezinárodními experty jsou klíčové pro řešení složitých situací napříč mnoha jurisdikcemi. Zapáté, nástroje s podporou AI mohou výrazně urychlit a zlepšit práci s dodržováním předpisů, ale vždy pod dohledem expertů. A konečně, vzhledem ke globální fragmentaci regulace AI je soulad s EU v zájmu každé organizace, která se snaží působit na globálních trzích a řešit přeshraniční právní a daňové výzvy.

Často kladené otázky

1. Které systémy AI jsou v EU zakázány?
EU zakázala osm specifických praktik AI, které jsou považovány za nepřijatelné riziko. Patří mezi ně sociální bodování, manipulativní techniky zneužívající lidskou zranitelnost, predikce individuálního kriminálního rizika pouze na základě profilování a bezdůvodné extrahování snímků obličejů z internetu za účelem vytvoření biometrických identifikačních databází. Mezi další zakázané praktiky patří rozpoznávání emocí na pracovištích a ve školách a biometrická kategorizace pro klasifikaci citlivých charakteristik. To se týká i systémů dálkové biometrické identifikace v reálném čase na veřejně přístupných místech, s velmi omezenými výjimkami pro orgány činné v trestním řízení. Tyto zákazy vstoupily v platnost 18. prosince 2024.

2. Jak se určuje, že systém AI je „vysoce rizikový“?
Systém AI je vysoce rizikový, pokud je součástí produktu, na který se vztahuje harmonizační právo EU (např. zdravotnické prostředky, příloha II), nebo pokud spadá do jedné z osmi kategorií v příloze III (např. nábor, vzdělávání, kritická infrastruktura, vymáhání práva, migrace). Výjimka platí pro specifické situace popsané v článku 6, kdy prokazatelně nepředstavuje významné riziko. Pokud se organizace domnívá, že její systém do těchto kategorií nespadá, musí toto posouzení zdokumentovat.

3. Co se stane, když ignorujeme AI Act?
Porušení AI Actu může mít vážné důsledky. Za porušení zakázaných praktik mohou pokuty dosáhnout až 35 milionů eur nebo 7 % celosvětového ročního obratu, podle toho, která částka je vyšší. Za porušení povinností týkajících se vysoce rizikových systémů mohou pokuty dosáhnout až 15 milionů eur nebo 3 % obratu. Poskytování nesprávných, neúplných nebo zavádějících informací může vést k pokutám až do výše 7,5 milionu eur nebo 1,5 % obratu. Pokuty za zakázané praktiky mohou být uloženy od 18. prosince 2024 a za většinu vysoce rizikových systémů od 18. června 2026.

4. Jak se mohou organizace připravit na AI Act?
Nejdůležitějším prvním krokem je inventarizovat všechny systémy AI ve vaší organizaci a posoudit jejich rizikový profil. Poté upřednostněte ty, které jsou klasifikovány jako vysoce rizikové, a začněte pracovat na jejich souladu. Konsolidujte své technické archivy a dokumentaci a ujistěte se, že máte všechna nezbytná data o vývoji, testování a nasazení. Zapojte právního experta nebo specialistu, který vám s procesem pomůže, zejména v mezinárodním kontextu. Zaznamenejte klíčové termíny a implementujte plán souladu pro každý systém.

5. Jakou roli hrají „oznámené subjekty“ a kdy je jejich zapojení povinné?
Oznámené subjekty jsou nezávislé třetí strany určené členskými státy k provádění posouzení shody pro určité vysoce rizikové systémy AI. Jejich zapojení je povinné pro systémy biometrické identifikace a pro vysoce rizikové systémy, které jsou bezpečnostními komponenty produktů již regulovaných harmonizačním právem EU (příloha II, např. zdravotnické prostředky). Pro ostatní vysoce rizikové systémy (nábor, úvěry atd., příloha III) mohou poskytovatelé provést vlastní interní posouzení shody bez zapojení oznámeného subjektu.

6. Jak mohou nástroje s podporou AI pomoci s dodržováním předpisů?
Nástroje s podporou AI, jako je platforma Anywhere.legal, mohou pomoci centralizací dokumentace, analýzou velkých objemů textu, přípravou počátečních návrhů dokumentace, podporou analýzy rizik, automatizací sběru informací a generováním zpráv o stavu. Kombinují centrální správu dokumentů, zpracování s podporou AI a možnost zapojení expertů. To poskytuje komplexní řešení pro řízení procesu dodržování předpisů, vždy s důrazem na roli lidského dohledu a úsudku.