Řízení rizik umělé inteligence
Byť jsou k dispozici nejrůznější návody pro řízení rizik informačních systémů, tak AI systémy jsou v lecčems jedinečné, především ve své nepředvídatelnosti, neboť jsou trénovány nad daty, která se mohou měnit a dále se pak samy mění na základě interakce s lidmi.
NIST zveřejnil řadu dokumentů týkajících se řízení rizik umělé inteligence. Klíčový je pak rámec pro řízení rizik umělé inteligence AI RMF 1.0 z ledna 2023.
Ale netřeba v tom hledat něco složitého. Celý koncept řízení rizik AI je v zásadě stejný jako u jakýchkoliv jiných informačních systémů, ale jsou zde jistá specifika. I zde je třeba identifikovat rizika od samého počátku životního cyklu AI a analyzovat hrozby, zranitelnosti a dopad, přičemž dopad může být na jedince, skupinu, organizaci, společnost anebo klidně i celou planetu.
Důraz je třeba klást na pochopení toho, k čemu by měla daná AI skutečně sloužit, protože jinak se systém může chovat v kontrolovaném laboratorním prostředí a jinak v reálném světě. A stěžejní zde pak jsou kromě modelu i data, která byla použita pro jeho trénování.
Data používaná pro trénování totiž nemusí být dostatečně reprezentativní a mohou vést v reálném světě k vytváření předsudků, posilovat stávající nerovnováhu, nespravedlnost vůči jedinci, skupině, národu apod. Vždy je třeba znát prostředí, kde bude AI nasazena a jaké je její uvažované užití. Tohle je hlavní myšlenka, která se line celým frameworkem.
Některé firmy ve snaze utajit své záměry, si nechají něco naprogramovat, ale v zadání neuvedou, kde a k čemu bude daný program sloužit. V mnoha případech to programátor nepotřebuje vědět, ale zde jednoduše nelze nechat programátora něco vyvinout s tím, že daný kód pak bude možno použít vícero způsoby.
Dále je třeba si uvědomit, že pokud nebude zřejmé, jaké bude praktické užití dané implementace AI, tak ani příslušné testování nemusí být dostatečné, a nemusí vůbec odhalit zásadní nedostatky, které se v AI nachází. A bude tomu právě proto, že testování musí probíhat v reálném prostředí a uživatelé testovaného AI systému se musí chovat stejně jako skuteční uživatelé.
Aby bylo možné AI systém označit za důvěryhodný, tak by měl být spolehlivý, bezpečný, odolný, transparentní, diskrétní a spravedlivý. Pokud např. při opakovaném dotazu AI vrací jiný výsledek a nebude zřejmé, co rozdílný výsledek způsobilo, může to vést k oprávněné nedůvěře v danou implementaci AI. Podobně jako, kdyby vám někdo pokaždé odpověděl jinak a nebyl ve svých názorech konzistentní.
Dalším rizikem AI jsou vyšší náklady na provoz AI, než se předpokládalo, např. proto, že je nutné AI s ohledem na měnící se prostředí aktualizovat a trénovat ji nad novými daty. AI může také vytvářet přehnaná očekávání a v realitě pak daná AI nebude dosahovat výsledků, jakých se očekávalo a bude nutná další investice
Rovněž neschopnost odhadnout následky z použití dané AI, která může změnit prostředí, ve kterém byla nasazena, představuje další riziko. Mohou se objevit pokusy o zneužití, podvody, útoky na AI apod.
Vzhledem k tomu, že AI systémy mohou být použity k vytváření predikcí, doporučení nebo přímo rozhodovat, je nutné zhodnotit, zda AI může pracovat samostatně anebo je nutné nad ní dohlížet. Co se nemusí, a co se naopak musí vždy kontrolovat.
Tam kde dochází k nahrazování aktivity prováděné člověkem AI, je vždy nutné provést detailní analýzu rizik. Ta v pojetí AI RMF obsahuje fáze Govern, Map, Measure a Manage.
V rámci těchto fází je vykonávána řada činností, které jsou rozděleny do kategorií a subkategorií. Přičemž je použito víceúrovňové číslování, aby se na ně dalo snadno odkazovat. Stručně lze obsah jednotlivých fází charakterizovat takto:
- Govern fáze spočívá v analýze legislativních požadavků, sepsání politik, instrukcí a příruček ohledně řízení rizik AI v organizaci. Jsou jmenovány osoby odpovědné za řízení rizik a ti jsou s těmito dokumenty a procesem seznámeni a proškoleni a pak je kontrolováno, že podle nich postupují. Tj. soustavně identifikují a hodnotí rizika a komunikují rizika. V zásadě mi nepřijde, že by se tento obecný postup nějak odlišoval od řízení informačních rizik.
- Map fáze je o stanovení kontextu, tedy určení oblasti, ve které bude řízení rizik probíhat. Typicky se jedná o řešení nějakého specifického problému nebo potřeby nasazením SW na bázi AI a určení, kdo, jak a k čemu bude dané řešení používat. Identifikuje se soulad s legislativou, odhadují se náklady, pravděpodobnost hrozby, velikost dopadu a posuzují se rizika. Přičemž vše musí být řádně dokumentováno.
- Measure fáze je de-facto fází posuzování rizik, kdy se navrhují vhodná opatření ke snížení rizika a metriky k vyhodnocování samotného řešení, které musí být dokumentovány, pravidelně vyhodnocovány a aktualizovány. Stejně tak musí být vyhodnocována opatření k zajištění spolehlivosti, transparentnosti a důvěryhodnosti nasazeného systému využívajícím AI. Sbírá se zpětná vazba od uživatelů samotného řešení.
- Manage fáze je de-facto fází zvládání rizik, které byly identifikovány v předchozí fázi. Dochází k prioritizaci rizik a rozhodnutí o vhodné metodě zvládání (akceptace, redukce, vyhnutí se riziku nebo pojištění).
Když se pak detailně seznámíte s požadavky uvedenými v jednotlivých kategoriích a podkategoriích, tak nejspíš dospějete k závěru, že se nejedná v zásadě o nic nového, co by nebylo v ISO 31000.
Štítky: AI
K článku “Řízení rizik umělé inteligence” se zde nenachází žádný komentář - buďte první.
Diskuse na tomto webu je moderována. Pod článkem budou zobrazovány jen takové komentáře, které nebudou sloužit k propagaci konkrétní firmy, produktu nebo služby. V případě, že chcete, aby z těchto stránek vedl odkaz na váš web, kontaktujte nás, známe efektivnější způsoby propagace.
