Řízení rizik umělé inteligence
2. díl

Byť se teď o AI hodně mluví a najednou je na ní každý expert, tak přesto ve většině organizací není AI ani řádně definována a je za ní považováno cokoliv.

Že není sepsána politika, standardy a směrnice pro používání AI, a nejsou ani identifikována a řízena rizika AI, není snad ani potřeba dodávat. Pojďme se proto podívat na konkrétní rizika AI, která můžeme rozdělit do několika skupin.

Compliance rizika – vývoj, trénování, provozování AI systému:

• K dispozici jsou relevantní, úplná a správná data, ale nebyl udělen souhlas k jejich použití anebo byl udělen k jinému účelu.
• Přístup k datům nebyl dostatečně zabezpečen, nebyla zavedena základní bezpečnostní opatření.
• Došlo k úniku citlivých informací, např. napojením interního systému na službu AI, která je umístěna v cloudu.
• Nejasná odpovědnost za vzniklou škodu, poškození zdraví, ztrátu na životě apod. v důsledku použití AI.

Rizika související s daty – v zásadě stejný problém jako u jakéhokoliv výzkumu, kdy:

• Nejsou k dispozici data od celé populace a pracuje se jen s daty výběrového souboru a ten nemusí být dostatečně reprezentativní.
• Výběrový soubor je dostatečně reprezentativní, ale neobsahuje klíčová data, protože respondentům nebyla položena správná otázka, takže na ni nemohli odpovědět.
• Jsou špatně určeny exogenní a endogenní proměnné a ignoruje se, že výsledná korelace je slabá.
• AI sama najde nějakou korelaci v datech, ale může se jednat o nepravou korelaci.
• Korelace mezi daty je silná, ale vznikla jen proto, že respondentům byla položena návodná otázka, a tak odpověděli, jak si mysleli, že by měli odpovědět.
• Prohloubení předsudků, rasismu, xenofobie, diskriminace v důsledku použití dat, které sice odpovídají realitě ve společnosti, ale která není žádoucí.

Útoky na AI systém:

• Došlo k záměrnému zašpinění dat, takže se systém natrénoval nad špatnými daty a bude poskytovat chybné výsledky.
• Dolování dat – pomocí vhodných dotazů mohou být získána citlivá data, v zásadě se může jednat o obdobné útoky jako jsou vedeny na DB.
• Krádež modelu prostřednictvím vhodných dotazů, kdy útočník zjistí, jak model funguje.
• Nedostupnost systému způsobená velkým množstvím dotazů a požadavků záměrně sestavených tak, aby spotřebovaly co nejvíce zdrojů.
• Hacknutí systému a získání přístupu ke všem datům a modulům, které systém obsahuje v důsledku nedostatečného zabezpečení AI systémů.
• Ovládnutí systému a jeho zneužití k dalším útokům.
• Zhoršení důvěryhodnosti/spolehlivosti samoučících se algoritmů v důsledku pokládání účelových dotazů a úmyslně špatných/zavádějících odpovědí útočníkem.
• Zhoršení uživatelské přívětivosti v důsledku použití expresivního jazyka uživatelů, z kterého se systém učí.

Výše uvedený výčet není samozřejmě vyčerpávající a slouží čistě pro inspiraci.

A jak jste na tom vy, máte ve vaší organizaci jasno, co je to AI, máte sepsány příslušné dokumenty a řídíte rizika v této oblasti?

Štítky: AI

Diskuse na tomto webu je moderována. Pod článkem budou zobrazovány jen takové komentáře, které nebudou sloužit k propagaci konkrétní firmy, produktu nebo služby. V případě, že chcete, aby z těchto stránek vedl odkaz na váš web, kontaktujte nás, známe efektivnější způsoby propagace.