Řízení rizik umělé inteligence
Byť jsou k dispozici nejrůznější návody pro řízení rizik informačních systémů, tak AI systémy jsou v lecčems jedinečné, především ve své nepředvídatelnosti, neboť jsou trénovány nad daty, která se mohou měnit a dále se pak samy mění na základě interakce s lidmi.
NIST zveřejnil řadu dokumentů týkajících se řízení rizik umělé inteligence. Klíčový je pak rámec pro řízení rizik umělé inteligence AI RMF 1.0 z ledna 2023.
Ale netřeba v tom hledat něco složitého. Celý koncept řízení rizik AI je v zásadě stejný jako u jakýchkoliv jiných informačních systémů, ale jsou zde jistá specifika. I zde je třeba identifikovat rizika od samého počátku životního cyklu AI a analyzovat hrozby, zranitelnosti a dopad, přičemž dopad může být na jedince, skupinu, organizaci, společnost anebo klidně i celou planetu.
Důraz je třeba klást na pochopení toho, k čemu by měla daná AI skutečně sloužit, protože jinak se systém může chovat v kontrolovaném laboratorním prostředí a jinak v reálném světě. A stěžejní zde pak jsou kromě modelu i data, která byla použita pro jeho trénování.
Data používaná pro trénování totiž nemusí být dostatečně reprezentativní a mohou vést v reálném světě k vytváření předsudků, posilovat stávající nerovnováhu, nespravedlnost vůči jedinci, skupině, národu apod. Vždy je třeba znát prostředí, kde bude AI nasazena a jaké je její uvažované užití. Tohle je hlavní myšlenka, která se line celým frameworkem.
Některé firmy ve snaze utajit své záměry, si nechají něco naprogramovat, ale v zadání neuvedou, kde a k čemu bude daný program sloužit. V mnoha případech to programátor nepotřebuje vědět, ale zde jednoduše nelze nechat programátora něco vyvinout s tím, že daný kód pak bude možno použít vícero způsoby.
Dále je třeba si uvědomit, že pokud nebude zřejmé, jaké bude praktické užití dané implementace AI, tak ani příslušné testování nemusí být dostatečné, a nemusí vůbec odhalit zásadní nedostatky, které se v AI nachází. A bude tomu právě proto, že testování musí probíhat v reálném prostředí a uživatelé testovaného AI systému se musí chovat stejně jako skuteční uživatelé.
Aby bylo možné AI systém označit za důvěryhodný, tak by měl být spolehlivý, bezpečný, odolný, transparentní, diskrétní a spravedlivý. Pokud např. při opakovaném dotazu AI vrací jiný výsledek a nebude zřejmé, co rozdílný výsledek způsobilo, může to vést k oprávněné nedůvěře v danou implementaci AI. Podobně jako, kdyby vám někdo pokaždé odpověděl jinak a nebyl ve svých názorech konzistentní.
Dalším rizikem AI jsou vyšší náklady na provoz AI, než se předpokládalo, např. proto, že je nutné AI s ohledem na měnící se prostředí aktualizovat a trénovat ji nad novými daty. AI může také vytvářet přehnaná očekávání a v realitě pak daná AI nebude dosahovat výsledků, jakých se očekávalo a bude nutná další investice
Rovněž neschopnost odhadnout následky z použití dané AI, která může změnit prostředí, ve kterém byla nasazena, představuje další riziko. Mohou se objevit pokusy o zneužití, podvody, útoky na AI apod.
Vzhledem k tomu, že AI systémy mohou být použity k vytváření predikcí, doporučení nebo přímo rozhodovat, je nutné zhodnotit, zda AI může pracovat samostatně anebo je nutné nad ní dohlížet. Co se nemusí, a co se naopak musí vždy kontrolovat.
Tam kde dochází k nahrazování aktivity prováděné člověkem AI, je vždy nutné provést detailní analýzu rizik.
Štítky: AI
K článku “Řízení rizik umělé inteligence” se zde nenachází žádný komentář - buďte první.
Diskuse na tomto webu je moderována. Pod článkem budou zobrazovány jen takové komentáře, které nebudou sloužit k propagaci konkrétní firmy, produktu nebo služby. V případě, že chcete, aby z těchto stránek vedl odkaz na váš web, kontaktujte nás, známe efektivnější způsoby propagace.
