AI asistenti jako nová útočná plocha

Útoky z tohoto roku ukázaly, že AI asistenti představují úplně nový typ rizika.

Techniky, které byly dříve využívané ve phishingu, fungují celkem spolehlivě i zde: skrytý text, neviditelné části dokumentu, obsah posunutý mimo viditelnou oblast nebo data uložená v base64.

Proč AI vidí to, co uživatel nevidí

Člověk vidí jen to, co je na obrazovce, zatímco AI zpracuje celý zdroj a bez rozlišení přijme i části, které jsou pro uživatele neviditelné. Podrobně jsem tyto techniky popsal zde a nejedná se tedy v zásadě o nic nového, jen se tomu říká cloaking. V prostředí AI je však problém mnohem větší, protože AI asistenti mají často přístup k e-mailům, souborům, interním systémům a umí automaticky vykonávat akce, které by webový kód nikdy provést nemohl.

Dvě verze reality: jedna pro člověka, druhá pro AI

Člověku zobrazí původní obsah, ale AI odešle upravenou variantu. AI tedy hodnotí úplně jiná data, než jaká vidí člověk. Útočník nepotřebuje složitou infrastrukturu, stačí mu jen vhodně upravit webovou stránku nebo dokument a pak už jen čekat, až uživatel na takovou stránku se svým AI browserem zavítá anebo jeho AI agent dokument přijme ke zpracování.

Neviditelné instrukce, které AI provede místo uživatele

Skryté části dokumentu jsou běžnými prostředky prakticky neodhalitelné a AI je považuje za plnohodnotná data. Skryté instrukce na takové stránce nebo v dokumentu pak mohou instruovat bez vědomí uživatele AI agenta k provedení nejrůznějších akcí, jako zkopírování a odeslání všech dat útočníkovi, zaslání e-mailu, provedení akce v samotném systému, ke kterému má agent přístup, protože vše co může udělat v daném systému uživatel, může zpravidla i agent — je tak nakonfigurován, aby pomáhal.

Manipulace hodnocení a rozhodování pomocí skrytého obsahu

Kromě toho může dokument obsahovat i skryté části, které pouze ovlivňují rozhodování AI modelu. Útočník vloží do PDF nebo jiného souboru skrytý text, komentáře, base64 úseky nebo obsah umístěný mimo viditelnou oblast. Člověk vidí původní dokument, ale AI zahrne i skrytá slova a znaky. V praxi to znamená, že dokument, kterým může být CV, nabídka, dotazník, může obsahovat klíčová slova, která nikdy nejsou vidět, ale AI je vyhodnotí jako zásadní. Předkladatel získá výrazně lepší hodnocení než při lidském posouzení. To pak ovlivní doporučení kandidátů, analýzy recenzí, produktové porovnání nebo reputační modely. Rozhodovací proces se tím zásadně mění, protože AI pracuje s obsahem, který lidem zůstává skryt.

Široké možnosti zneužití napříč procesy a odvětvími

Cloaking lze použít všude tam, kde AI automatizovaně vyhodnocuje dokumenty nebo texty, které pocházejí od někoho mimo organizaci. Příkladem jsou banky a úvěrové procesy, kde AI hodnotí finanční výpisy. Pojišťovny, které používají AI pro likvidaci škod. Veřejné zakázky, kde AI porovnává nabídky. Právní due-diligence, kde AI analyzuje smlouvy a podklady. Marketingové a reputační analýzy, které vycházejí z recenzí a komentářů. Kontroling, účetnictví a interní audity, kde AI pracuje s fakturami a výkazy. IT provoz a helpdesky, které analyzují logy nebo ticketová data. Všude tam, kde AI rozhoduje na základě dokumentu, poskytuje cloaking útočníkovi možnost ovlivnit výsledek.

Riziko závislosti na AI a kolaps manuálních procesů

Firmy postupně nahrazují rutinní práci AI agenty. Automaty třídí dokumenty, kontrolují faktury, předvybírají kandidáty, vytvářejí reporty, vybírají dodavatele nebo připravují právní rešerše. To vede ke krátkodobým úsporám, ale současně vytváří závislost na technologii, jejíž limity nejsou zcela známé. Pokud AI selže, není dostupná nebo je záměrně zmanipulovaná, musí se organizace vrátit k ruční práci. Jenže tým už bývá zredukovaný, lidé jsou propuštění a kompetence chybí. Firma tak není schopna obnovit běžné fungování. Čím více procesů je centralizováno kolem AI, tím větší je riziko, že jedna chyba zastaví celý systém.

Závěr

AI není pouze nástroj, ale také nový prostor pro útoky. Modely často čtou jinou verzi reality, než jakou vidí lidé. Techniky skrytého obsahu se vracejí v mnohem silnější podobě, protože AI zpracuje vše, co je v dokumentu nebo na stránce, a nedokáže odlišit podvrh od skutečnosti. Automatizace bez kontroly zvyšuje provozní rizika a firmy musí začít auditovat, co jejich AI vidí a jaká oprávnění mají agenti k dispozici. Smyslem bezpečnosti už není chránit AI před útočníky, ale chránit organizaci před důsledky chování AI, která byla zmanipulovaná obsahem, který lidé nikdy neviděli.

Pokud se vám líbí naše články, tak zvažte podporu naši práce – Naskenujte QR kód a přispějte libovolnou částkou.

Děkujeme!

Štítky: AI