Soulad AI s předpisy: řízení systémů AI a využití AI při zajišťování souladu s předpisy

AI compliance znamená dvě věci: průběžnou práci na tom, aby systémy AI, které vaše organizace vyvíjí nebo používá, splňovaly platné zákony, normy a interní zásady, a využívání AI pro rutinní a objemnou compliance agendu.

Tento článek se věnuje oběma významům: rizikům, která AI compliance řeší, hlavním rámcům, budování compliance programu, kontrolním opatřením pro agenty AI a oblastem, kde AI pomáhá compliance týmům. Na závěr uvádí otázky, které si položit před nákupem compliance nástroje.

Co je AI compliance?

AI compliance označuje dvě věci: zajištění, aby systémy AI splňovaly pravidla stanovená regulací AI, a využívání AI ke compliance práci.

V prvním smyslu AI compliance zajišťuje, že systém AI dodržuje zákony, předpisy, etické standardy a interní zásady v celém životním cyklu AI, od trénovacích dat po výkon a používání.

Například místní zákon č. 144 města New York vyžaduje, aby zaměstnavatelé, kteří používají automatizovaný nástroj pro rozhodování o zaměstnání, nechali v rámci jednoho roku od jeho použití provést audit jeho zaujatosti, zveřejnili informace o auditu a informovali zaměstnance nebo uchazeče o zaměstnání.

Dodržování regulatorních požadavků na AI je nepřetržitý proces, protože aplikace AI se aktualizují, data, se kterými pracují, se mění a předpisy se vyvíjejí.

Ve druhém smyslu compliance týmy využívají AI pro rutinní a objemnou práci, jako je monitorování transakcí, kontrola dokumentů a sledování regulatorních změn.

Některé finanční instituce například využívají AI ke kontrole transakcí a ke snížení počtu falešně pozitivních výstrah při monitorování transakcí dříve, než analytici rozhodnou, u kterých je třeba podat oznámení o podezřelém obchodu.

AI compliance vs. správa AI vs. řízení rizik AI

Tyto tři pojmy se překrývají, ale pokrývají různé oblasti: správa stanovuje pravidla, řízení rizik odhaluje, co by se mohlo pokazit, a compliance zajišťuje dodržování pravidel.

Proč je AI compliance důležitá

Dosažení AI compliance omezuje vaše riziko pokut, chrání soukromí lidí, jejichž údaje vaše AI zpracovává, a umožňuje vaší organizaci v případě auditu doložit, jak systémy AI používá.

• Regulatorní sankce: Podle aktu EU o umělé inteligenci může použití zakázané praktiky AI, například odvozování emocí zaměstnanců na pracovišti, stát až 35 milionů EUR nebo 7 % celosvětového ročního obratu. Poskytovatelům a zavádějícím subjektům hrozí za porušení aktu pokuty až 15 milionů EUR nebo 3 %.
• Ochrana údajů: Systém AI, který zpracovává osobní údaje, podléhá zákonům o ochraně osobních údajů, jako je GDPR v EU. To zahrnuje trénovací data, prompty a výstupy obsahující osobní údaje.
• Připravenost na audit: Záznamy o tom, které systémy AI používáte, kdo je schválil a jak je monitorujete, vám umožní odpovídat regulátorům, auditorům a zákazníkům.

Hlavní rizika, která AI compliance řeší

AI compliance řeší pět hlavních rizik: algoritmickou zaujatost, nedostatečnou vysvětlitelnost, halucinace v regulovaných procesech, ochranu a únik dat a stínovou AI.

Zvětšit

Zde jsou projevy hlavních rizik a příklady kontrolních opatření, která je pomáhají udržet pod kontrolou:

• Algoritmická zaujatost: Model reprodukuje vzorce ze svých trénovacích dat, které znevýhodňují určité skupiny. Náborový nástroj může například hodnotit uchazeče hůře na základě zástupného ukazatele věku nebo etnického původu, jako je rok ukončení studia nebo PSČ. Audity zaujatosti, které porovnávají výsledky napříč demografickými skupinami, pomáhají tyto vzorce odhalit.
• Nedostatečná vysvětlitelnost: Organizace nedokáže doložit, jak model dospěl k rozhodnutí. Pokud věřitel nedokáže vysvětlit, proč model zamítl úvěr, nemůže výsledek obhájit. Organizace tomu předcházejí dokumentováním vstupů modelu a rozhodovací logiky a volbou modelů s dohledatelnými výstupy.
• Halucinace v regulovaných procesech: Nástroj generativní AI s jistotou tvrdí něco nepravdivého. Advokát může například požádat nástroj AI o judikaturu podporující určitý argument a dostat odkazy na soudní rozhodnutí, která neexistují. Takové chyby odhalí požadavek na uvádění zdrojů u každého výstupu a jejich ověření kvalifikovanou osobou.
• Ochrana a únik dat: Důvěrné informace nebo informace o zákaznících se dostanou do nástroje mimo kontrolu organizace. Zaměstnanec může například vložit záznamy o zákaznících do veřejného nástroje AI, který si vstupy uchovává pro trénování budoucích modelů. Riziko snižuje používání pouze schválených nástrojů se smluvními omezeními trénování a uchovávání dat.
• Stínová AI: Zaměstnanci používají nástroje AI, které organizace neschválila nebo o kterých nemá přehled. V průzkumu Compliance Week z roku 2026 uvedlo 42 % účastníků neřízené používání AI zaměstnanci. Mezi možná řešení patří seznam schválených nástrojů v kombinaci s rychlým procesem schvalování nástrojů AI a webové brány.

Klíčové rámce pro AI compliance

AI compliance vychází ze závazných rámců pro správu AI, jako je akt EU o umělé inteligenci, a z dobrovolných rámců, jako je NIST AI Risk Management Framework a ISO/IEC 42001, které organizacím pomáhají závazné požadavky splnit.

Akt EU o umělé inteligenci (EU AI Act)

Akt EU o umělé inteligenci (nařízení (EU) 2024/1689) uplatňuje k regulaci AI přístup založený na riziku: některé praktiky jsou zcela zakázány, na vysoce rizikové systémy se vztahují přísná omezení, zatímco na ostatní pouze mírná pravidla transparentnosti. Vztahuje se na poskytovatele a zavádějící subjekty kdekoli, „pokud se výstup vytvořený systémem AI používá v Unii“.

Povinnosti podle aktu EU o umělé inteligenci závisí na roli organizace:

• Ti, kdo vyvíjejí vysoce rizikový systém AI nebo jej uvádějí na trh pod svým vlastním jménem (poskytovatelé), musí provést posouzení shody, opatřit systém označením CE, zaregistrovat jej, vést technickou dokumentaci a monitorovat jej po uvedení na trh.
• Ti, kdo používají systém vytvořený někým jiným (zavádějící subjekty), musí dodržovat pokyny poskytovatele, svěřit dohled osobám, které mají „nezbytnou způsobilost, odbornou přípravu a pravomoc“, uchovávat protokoly alespoň šest měsíců a informovat pracovníky a další osoby dotčené jeho rozhodnutími.

Zvětšit

Akt se zavádí postupně. Pravidla pro zakázané praktiky, gramotnost v oblasti AI a AI pro obecné účely platí od roku 2025, zatímco povinnosti pro vysoce rizikové systémy začnou platit 2. prosince 2027 a pro AI zabudovanou do výrobků, na které se vztahují právní předpisy EU o bezpečnosti výrobků, 2. srpna 2028.

EN 18286:2026 o systémech řízení kvality je první evropská norma, která podporuje akt. U poskytovatelů, kteří ji dodržují, se předpokládá, že splňují požadavek aktu na systém řízení kvality.

NIST AI Risk Management Framework

NIST AI RMF (Risk Management Framework), zveřejněný v lednu 2023, je dobrovolný americký rámec postavený na čtyřech funkcích: Govern (správa), Map (mapování), Measure (měření) a Manage (řízení).

Jeho profil pro generativní AI (Generative AI Profile), vydaný v červenci 2024, uplatňuje tento rámec na rizika generativní AI.

ISO/IEC 42001

ISO/IEC 42001 je mezinárodní norma pro systémy managementu AI, která pokrývá zásady, role a procesy pro odpovědný vývoj a používání AI. Certifikace je dobrovolná a udělují ji nezávislé certifikační orgány, nikoli samotná ISO.

Certifikát se vztahuje na systém managementu organizace, nikoli na konkrétní produkt AI.

Pravidla v USA a odvětvové předpisy, které se vztahují na AI

USA nemají jednotný federální zákon o AI. Pravidla pocházejí od měst, států a ze stávajících zákonů a předpisů, které se na AI vztahují.

Například coloradský zákon SB26-189, který nabývá účinnosti 1. ledna 2027, upravuje technologie automatizovaného rozhodování a zákony na ochranu soukromí, jako je kalifornský zákon o ochraně soukromí spotřebitelů (CCPA) nebo HIPAA, se uplatňují vždy, když AI zpracovává chráněná data.

Jak vybudovat program AI compliance

Vybudování programu AI compliance zahrnuje šest kroků: inventarizovat systémy AI, klasifikovat je podle rizika, přiřadit kontrolní opatření k platným pravidlům, určit vlastníky, zdokumentovat každý systém a monitorovat jej se záznamy, které může auditor ověřit.

Zvětšit

Každý z následujících kroků končí záznamem, který vytváří:

1. Inventarizujte všechny systémy AI. Sepište systémy, které vaše organizace vyvíjí, kupuje nebo používá, včetně funkcí AI ve stávajícím softwaru a nástrojů, které zaměstnanci začali používat bez schválení. Zaznamenejte, co každý z nich dělá, kdo jej používá a s jakými daty pracuje.
   Výstup: Inventář AI.
2. Klasifikujte každý případ použití podle rizika. Ohodnoťte každý systém podle škody, kterou by mohl způsobit, pomocí schématu, jako jsou úrovně rizika podle aktu EU o umělé inteligenci. Například nástroj, který stanovuje pojistné u životního pojištění, je podle aktu vysoce rizikový, zatímco nástroj, který shrnuje interní schůzky, nikoli.
   Výstup: Registr rizik.
3. Přiřaďte kontrolní opatření k platným pravidlům. Sepište zákony, normy a interní zásady, které se na každý systém vztahují, a kontrolní opatření, které splňuje jednotlivé compliance požadavky. Například zdokumentovaná lidská kontrola pomáhá splnit požadavky aktu EU o umělé inteligenci na lidský dohled u vysoce rizikových systémů i požadavek NIST AI RMF na zdokumentované procesy lidského dohledu.
   Výstup: Mapa kontrolních opatření.
4. Určete vlastníky a body lidského dohledu. Jmenujte vlastníka každého systému a rozhodněte, kde jeho výstup kontroluje člověk. Například právní a compliance oddělení odpovídají za povinnosti, bezpečnostní tým za technická kontrolní opatření, vlastníci z byznysu za své případy použití a celkovou odpovědnost nese jeden člen vedení. Zajistěte, aby o tom věděli lidé napříč organizací, a nastavte jasné komunikační linie.
   Výstup: Jmenovaní vlastníci pro každý systém.
5. Zdokumentujte každý systém. Zaznamenejte účel každého systému, trénovací data, testování a známá omezení ve formátech, jako jsou karty modelů a posouzení dopadů. Poskytovatelé vysoce rizikových systémů musí navíc připravit technickou dokumentaci podle přílohy IV aktu EU o umělé inteligenci.
   Výstup: Sada systémové dokumentace.
6. Monitorujte, protokolujte a uchovávejte důkazy. Navrhněte protokoly od začátku jako důkazy pro audit, které ukazují, co systém udělal a kdo to zkontroloval. Akt EU o umělé inteligenci vyžaduje, aby vysoce rizikové systémy automaticky zaznamenávaly události po celou dobu svého životního cyklu. Auditní stopa by měla zachycovat:
   • Používaný model a jeho verzi
   • Vstupy a výstupy, případně jejich definovaný vzorek
   • Trénovací data nebo data pro doladění
   • Body lidské kontroly a jejich výsledky
   • Akce, které agent provedl, a oprávnění, která použil
   • Jak dlouho se jednotlivé záznamy uchovávají

Výstup: Záznamy z monitorování a auditní stopa.

Specializované nástroje pro AI compliance, jako jsou IBM watsonx.governance a OneTrust AI Governance, mohou převzít části tohoto programu, včetně inventáře AI, posouzení rizik podle aktu EU o umělé inteligenci a dokumentace.

Jak schvalovat nástroje AI, které mohou zaměstnanci používat

Před schválením nástroje AI ověřte čtyři věci:

• Přístup k datům: Které soubory, systémy a připojené znalostní báze může nástroj číst a zda obsahují osobní údaje, které by mohl vyzradit.
• Trénování na vstupech: Zda dodavatel používá prompty, soubory nebo výstupy k trénování svých modelů a zda to vaše smlouva s dodavatelem zakazuje.
• Uchovávání: Jak dlouho dodavatel uchovává prompty, soubory a historii konverzací a zda můžete tuto dobu zkrátit.
• Hosting a předávání dat: Kde dodavatel ukládá a zpracovává data, včetně předávání mimo váš region.

Kontrolní opatření v oblasti compliance pro agenty AI

Agenti AI potřebují více kontrolních opatření než chatovací nástroje, protože sami rozhodují o svých krocích a jednají prostřednictvím přidělených nástrojů a oprávnění. Udržet je pod kontrolou pomáhají tři opatření:

• Přístup s nejnižšími oprávněními: Poskytněte agentovi pouze nástroje a oprávnění, které jeho úkol vyžaduje. Nadměrná autonomie (Excessive Agency), kdy agent může dělat víc, než jeho úkol vyžaduje, patří podle OWASP Top 10 for LLM Applications 2026 mezi hlavní bezpečnostní rizika.
• Protokol všech akcí: Zaznamenávejte každé volání nástroje, data, ke kterým agent přistoupil, a použitá oprávnění, abyste mohli dohledat, co agent udělal a pro koho.
• Lidské schválení u akcí s velkým dopadem: Vyžadujte, aby člověk potvrdil kroky, které odesílají data mimo organizaci, převádějí peníze nebo je nelze vrátit zpět.

Jak se AI využívá v compliance práci

Týmy pro compliance a řízení rizik využívají AI k monitorování kontrolních opatření, posuzování rizik, sledování regulatorních změn, kontrole dokumentů a třídění výstrah týkajících se finanční kriminality.

V průzkumu Compliance Week z roku 2026 mezi 193 vedoucími pracovníky v oblasti compliance, etiky, řízení rizik a auditu uvedlo více než 83 %, že AI používají, a téměř 40 %, že ji jejich společnosti nasadily pro posuzování a monitorování rizik.

Mezi běžné případy použití AI v oblasti compliance patří:

• Průběžné monitorování compliance a shromažďování důkazů: AI provádí kontroly a shromažďuje doklady o tom, že fungují (např. zpožděné bezpečnostní inspekce zařízení v závodě).
• Posuzování a prioritizace rizik: AI řadí obchodní jednotky nebo třetí strany podle rizika (např. dodavatele s novými sankcemi nebo riziky soudních sporů).
• Monitorování regulatorních změn: AI sleduje publikace regulátorů a shrnuje změny (např. revidované pokyny proti úplatkářství, které snižují limit pro dary ve směrnici o výdajích).
• Kontrola dokumentů a zásad: AI porovnává smlouvy a zásady s požadavky (např. dodavatelské smlouvy bez doložky o právu na audit).
• Prověřování finanční kriminality: AI třídí výstrahy z monitorování transakcí a prověrek zákazníků (např. shody jmen se sankčními seznamy, které se nakonec týkají jiné osoby).

AI používaná pro compliance vyžaduje stejnou správu jako ostatní systémy AI. Jak v říjnu 2026 uvedl britský úřad Financial Conduct Authority, „firmy odpovídají za systémy AI, které vyvíjejí, pořizují a nasazují – včetně jejich výstupů a výsledků“, a varoval, aby se lidská kontrola nestala „pouhým ‚odškrtáváním políček‘“.

V praxi mohou nástroje AI zvládat rutinní úkoly, jako je shromažďování důkazů nebo upozorňování na regulatorní změny, ale ne rozhodnutí, která nesou právní odpovědnost, například zda nahlásit podezřelou činnost nebo jak navrhnout zásady.

Kontrola nad daty v Perplexity Enterprise

Perplexity Enterprise dává správcům kontrolu nad trénováním na vstupech, přístupem k datům a jejich uchováváním:

• Žádné trénování na vašich datech: Perplexity nikdy nepoužívá firemní obsah k trénování svých modelů AI a jeho smlouvy s poskytovateli modelů třetích stran jim trénování na tomto obsahu zakazují.
• Řízení přístupu: SSO, SCIM a oprávnění založená na rolích určují, kdo může nahrávat soubory a sdílet odpovědi.
• Uchovávání dat a auditní protokoly: Soubory připojené k relacím se po sedmi dnech mažou. Organizace s 50 a více místy nebo alespoň jedním místem Enterprise Max mohou také nastavit dobu uchovávání relací a získávat auditní protokoly aktivit uživatelů.
• Certifikace: Perplexity má certifikaci SOC 2 Type II, splňuje požadavky GDPR a práci s chráněnými zdravotními informacemi umožňuje pouze na základě podepsané smlouvy Business Associate Agreement.

Chcete-li si tyto možnosti kontroly projít, kontaktujte náš obchodní tým a domluvte si personalizovanou ukázku.

Často kladené otázky

Co znamená soulad AI s předpisy EU?

Soulad AI s předpisy EU znamená plnit povinnosti podle aktu EU o AI, které odpovídají vaší roli (poskytovatel, nebo zavádějící subjekt) a rizikové kategorii každého systému. Povinnosti začínají platit postupně, přičemž povinnosti pro vysoce rizikové systémy platí od 2. prosince 2027.

Co je AI v souladu s HIPAA?

AI v souladu s HIPAA je nástroj používaný v rámci ochranných opatření HIPAA pro chráněné zdravotní informace. Pokud tyto informace dodavatel ukládá nebo zpracovává, Ministerstvo zdravotnictví a sociálních služeb USA nejprve vyžaduje podepsanou smlouvu Business Associate Agreement.

Vztahuje se akt EU o AI na americké společnosti?

Ano. Akt o AI se vztahuje na americké společnosti, které uvádějí systémy AI na trh EU, i na ty, jejichž výstupy AI se používají v EU.

Může AI nahradit pracovníky pro dodržování předpisů?

AI nemůže nahradit pracovníky pro dodržování předpisů. Organizace nesou odpovědnost za svou práci a technologie AI mohou dělat chyby, takže pracovníci pro dodržování předpisů musí výstupy AI i nadále pečlivě kontrolovat a schvalovat.