Kvantitativní analýza kybernetických rizik:
kde nejčastěji chybujeme

To, že přejdeme od kvalitativního hodnocení rizik ke kvantitativnímu, ještě neznamená, že od tohoto okamžiku začneme rizika řídit správně.

Skutečnost, že riziko vyjádříme místo slovního popisu a barvy, číslem, intervalem, rozdělením nebo percentilovou hodnotou, ještě neznamená, že jsme jej správně kvantifikovali.

Pokud nerozumíme prostředí, neumíme dobře popsat scénář a nevíme, jaké rozhodnutí má analýza podpořit, zvolíme špatný model nebo do modelu zaneseme chybné předpoklady, tak výsledkem není lepší řízení rizik, ale pouze exaktně vypadající výsledek.

Řada problémů začíná už u špatně vymezeného scénáře, pokračuje přes chybné dosazené hodnoty a v kvantitativní analýze pak rizika začnou vypadat přesněji, protože jsou převedena do čísel.

Kvantitativní přístup automaticky nezaručí správný výsledek, ale jde zatím o nejlepší dosud poznaný způsob, jak se s nejistotou, která je s hodnocením rizik bytostně spjata, vypořádat. Neodstraňuje ji, ale nutí nás ji pojmenovat, rozložit na části, vyjádřit předpoklady, ukázat rozsah možných následků a určit, kde se naše rozhodnutí může začít lámat.

Ontologická nejistota: nevíme, co všechno se může stát

Asi nikdy nebudeme mít úplný seznam událostí, které mohou nastat. Některé scénáře dokážeme popsat poměrně přesně, jiné jen nejasně tušíme a některé se objeví až ve chvíli, kdy selže naše dosavadní představa o prostředí. A tehdy má smysl mluvit o ontologické nejistotě. Nejde jen o to, že nevíme, která konkrétní událost nastane. Jde o hlubší problém.

Samotný seznam relevantních scénářů nemusí být úplný. Svět není uzavřený katalog událostí, které si můžeme předem mechanicky odškrtat. Některé možnosti v modelu nemáme proto, že jsme je podcenili. Jiné proto, že nás vůbec nenapadly. A některé proto, že v okamžiku tvorby modelu ještě neexistovaly v podobě, ve které se později projeví.

Epistemická nejistota: nevíme dost

I když už určitou rizikovou událost dokážeme pojmenovat, pořád nemusíme vědět, jak často může nastat a jaký dopad bude mít. To je epistemická nejistota. Je způsobena nedostatkem znalostí, dat, zkušeností nebo vhodného modelu.

Tuto nejistotu můžeme snižovat. Sběrem dat, analýzou incidentů, expertními odhady, testováním, simulacemi, cvičeními nebo lepším pochopením prostředí. Nikdy ji však zcela neodstraníme. Data nám mohou pomoci zpřesnit odhad, ale nepromění budoucnost v účetní výkaz.

Aleatorická nejistota: náhoda přetrvává

Vedle ontologické a epistemické nejistoty nás provází ještě aleatorická nejistota. Ta vyjadřuje náhodnou variabilitu samotného procesu. Můžeme například odhadnout, že určitý typ incidentu nastává v průměru jednou za pět let. To ale neznamená, že nastane přesně v pátém roce. Může nastat už letos, za rok, za deset let, nebo také několikrát krátce po sobě.

Stejně tak můžeme mít relativně dobře popsané rozdělení dopadů, ale konkrétní incident je stále jen jednou realizací náhodné veličiny. Může skončit v běžné části rozdělení. Může ale také dopadnout do jeho pravého ocasu. Model nám neříká, co přesně se stane příště. Říká nám, jaké možnosti připouštíme, s jakou váhou a s jakými důsledky pro rozhodování.

Metodická a terminologická nejistota: nevíme přesně, co který pojem znamená

Další problém v CRQ vzniká ve chvíli, kdy sice používáme odborné pojmy, ale každý jim rozumí trochu jinak. Na první pohled to může vypadat jako drobná terminologická nepřesnost. Ve skutečnosti však může jít o chybu, která zcela zásadně změní vstupy do modelu i výsledné rozhodnutí.

Typickým příkladem je záměna pojmů jako je pravděpodobnost a frekvence nebo TEF a LEF. Threat Event Frequency vyjadřuje frekvenci hrozby, zatímco Loss Event Frequency se vztahuje až k událostem, které vedou ke ztrátě. Jinak řečeno, každý pokus útočníka ještě není ztrátovou událostí. Pokud tyto pojmy zaměníme, můžeme do modelu vložit frekvenci pokusů a tvářit se, že jde o frekvenci skutečných ztrát. Výsledek pak bude vypadat přesně, ale bude stát na nesprávně pochopeném vstupu.

Metodická nejistota spočívá i v tom, že si nemusíme být jisti, jakou veličinu vlastně odhadujeme. Frekvence čeho? Dopad čeho? Ztráta v jakém rozsahu? Událost před opatřeními, po opatřeních, nebo po jejich selhání? Pokud si tyto otázky nepoložíme, model může být formálně správný, ale věcně mimo.

Modelová nejistota: co když jsme zvolili špatné rozdělení

Nestačí pouze odhadnout parametry. Musíme si položit i otázku, zda jsme zvolili správný tvar rozdělení. Jiný závěr dostaneme, pokud budeme škody modelovat rozdělením s lehčím ocasem. Jiný, pokud připustíme těžší ocas. Jiný, pokud použijeme lognormální rozdělení. Jiný, pokud zvolíme Paretovo rozdělení nebo jiný model extrémních ztrát.

A právě zde vstupuje do hry modelová nejistota. Jeden model může naznačit, že riziko je přijatelné. Jiný model může ukázat, že i malá pravděpodobnost extrémní škody stačí k tomu, aby bylo nutné riziko řešit jinak. Chybná volba modelu rozdělení může být horší než nepřesný odhad jednoho parametru. Pokud zvolíme rozdělení, které systematicky podceňuje extrémní škody, můžeme vytvořit model, který vypadá formálně správně, ale ve skutečnosti uklidňuje tam, kde by měl varovat. Takový model není přesný. Je pouze přesně vypočítaný.

U běžných škod to nemusí rozhodnutí dramaticky změnit. U škod v ocasu rozdělení však ano. Tam se rozhodnutí může lámat na drobné změně parametru  a rozhodovat o tom, zda firma ztrátu ještě absorbuje, nebo zda se škoda začne přelévat do samotné schopnosti přežít, obnovit provoz a pokračovat dál.

Expertní nejistota: odhad není fakt

U rizika nás nezajímá pouze to, co se může stát, ale také jak často se to může stát a jaký bude následek této události. Frekvence výskytu a dopad jsou rozhodující vstupy. Incident, který může nastat jednou za deset let, vyžaduje jiný přístup než incident, který může nastat několikrát ročně. Rovněž škody způsobené bezpečnostními incidenty obvykle nebývají usazené kolem jedné typické hodnoty, ale často mají výrazné pravostraně šikmé rozdělení. Většina incidentů může skončit relativně malou nebo střední škodou, zatímco několik málo případů vytvoří extrémní ztráty.

Z tohoto důvodu je třeba pracovat s kalibrovanými experty, kteří dokážou poskytovat spolehlivé odhady a umí rozumně vyjádřit i svou vlastní nejistotu. Expert může chybovat tím, že zamění možnost za pravděpodobnost, přecení událost, kterou nedávno zažil, nebo podcení scénář, se kterým se osobně nesetkal. Častým problémem jsou také příliš úzké intervaly. Expert pak nevědomě předstírá větší jistotu, než jakou skutečně má. Do modelu se tím nedostává znalost, ale sebevědomí převlečené za parametr.

Metodicky proto musíme ošetřit i to, jak pracovat s odhady expertů, které se od sebe liší. Rozdílné odhady nejsou chyba systému. Jsou to cenné informace. Ukazují, kde je nejistota vysoká, kde chybí data, kde se liší mentální modely expertů a kde by další analýza mohla mít největší přínos.

Datová nejistota: report není realita konkrétní firmy

Dalším místem, kde můžeme v CRQ narazit, je používání dat z bezpečnostních reportů. Ty mohou být užitečným vodítkem, ale nejsou automaticky vhodným datovým zdrojem pro konkrétní organizaci. Údaj o průměrné škodě, mediánové době detekce nebo četnosti určitého typu incidentu je vždy nutné číst v kontextu vzorku, odvětví, velikosti organizací, způsobu sběru dat a definice měřené veličiny.

Bezpečnostní reporty často pracují s agregovanými údaji. Ty mohou spojovat různé typy organizací, různé velikosti firem, různé úrovně bezpečnostní vyspělosti i různé typy incidentů. Pokud takový údaj mechanicky převezmeme jako vstup do vlastního modelu, nepřenášíme do něj realitu naší organizace, ale cizí průměr převlečený za vlastní zkušenost.

To neznamená, že externí data nemají hodnotu. Mají. Ale musí být použita jako orientační vstup, referenční bod nebo kalibrační pomůcka, nikoli jako hotová pravda. Jinak se z reportu stane velmi elegantní způsob, jak do modelu zanést cizí chybu.

Agregační nejistota: rizika se vždy nesčítají

Další problém nastává ve chvíli, kdy nezačneme modelovat jeden scénář, ale celé portfolio rizik. Jednotlivá rizika se nemusí chovat nezávisle. Mohou sdílet stejnou příčinu, stejné zranitelnosti, stejná aktiva nebo stejná bezpečnostní opatření.

Selhání identity managementu se může projevit v ransomwaru, úniku dat, zneužití privilegovaného účtu i ve fraudu. Pokud takové scénáře posuzujeme izolovaně a následně je mechanicky sečteme, můžeme výsledek zkreslit. Někdy stejný efekt započítáme dvakrát. Jindy naopak přehlédneme, že více scénářů může být spuštěno jednou společnou příčinou.

Závislosti mezi riziky jsou nepříjemné zejména u extrémních událostí. V běžných časech mohou rizika působit odděleně. V krizi se ale často začnou potkávat. Výpadek klíčového dodavatele, kompromitace identity, selhání obnovy a regulatorní tlak se mohou objevit ve stejném období a navzájem zesilovat své dopady.

Agregace proto není jen technické sečtení očekávaných hodnot. Je to otázka závislostí, společných příčin, překryvů a korelovaných ztrát. Pokud je ignorujeme, můžeme získat portfolio rizik, které vypadá přehledně, ale ve skutečnosti zakrývá systémovou slabinu.

Nejistota účinnosti opatření: nevíme, co přesně kontrola snižuje

V CRQ často neodhadujeme pouze současné riziko, ale také změnu rizika po zavedení nebo posílení určitého opatření. A právě zde vzniká další významná nejistota. Opatření může snižovat frekvenci, dopad, dobu detekce, dobu obnovy, rozsah zasažených aktiv, pravděpodobnost úspěchu útoku nebo nejistotu samotného odhadu. Pokud nevíme, co přesně opatření ovlivňuje, neumíme správně modelovat jeho přínos.

Například lepší detekce nemusí snížit počet útoků. Může však snížit dobu, po kterou útočník zůstává v prostředí, a tím i rozsah následné škody. Zálohování nemusí snížit pravděpodobnost ransomwarového útoku, ale může snížit dopad na obnovu provozu. Segmentace sítě nemusí zabránit první kompromitaci, ale může omezit šíření. Každé opatření tedy působí jiným mechanismem.

Problém nastává ve chvíli, kdy účinnost opatření vyjádříme jedním elegantním procentem. Například řekneme, že určité opatření sníží riziko o 40 %. To může být pohodlné, ale často nebezpečně zjednodušující. Snižuje těch 40 % frekvenci, dopad, ocas rozdělení, nebo jen náš pocit nejistoty? Bez odpovědi na tuto otázku se z účinnosti opatření stává další parametr, který vypadá přesněji, než jak přesně byl odvozen.

Nejistota absorpční kapacity: nevíme přesně, kde leží hranice únosnosti

V CRQ nejde pouze o to odhadnout, jak velká ztráta může nastat. Stejně důležité je určit, jak velkou ztrátu je organizace ještě schopna absorbovat. Jinak řečeno, kde leží hranice, za kterou už škoda nepředstavuje jen nepříjemný náklad, ale začíná ohrožovat obnovu provozu, likviditu, důvěru zákazníků, regulatorní postavení nebo samotnou schopnost pokračovat v činnosti.

Tato hranice může být vyjádřena jako RTC, tedy risk tolerance capacity. Ani ta však není pevná přírodní konstanta. Závisí na finanční situaci organizace, dostupné likviditě, pojištění, smluvních závazcích, provozní závislosti na klíčových systémech, možnosti náhradního provozu i na čase, ve kterém se incident odehraje.

Stejná ztráta může být pro jednu firmu zvládnutelná a pro jinou existenční. A i u stejné firmy může být jinak únosná v období stability a jinak ve chvíli, kdy už je pod tlakem. Proto nestačí pracovat jen s rozdělením ztrát. Musíme vědět, kde se toto rozdělení potkává s absorpční kapacitou organizace. Právě v tomto místě se z analytického modelu stává manažerské rozhodnutí.

Statistická a interpretační nejistota: nepochopený správný výsledek

Další problém může vzniknout v matematice, statistice a pravděpodobnosti. Ne každý disponuje odpovídajícími znalostmi a může tápat v tom, jak s odhady pracovat, jak stanovit parametry modelu, jak interpretovat rozdělení, jak zacházet s percentily nebo jak číst data uvedená v bezpečnostních reportech.

Nejde však pouze o samotný výpočet. Samostatným problémem je chybná interpretace výsledku. VaR není nejhorší možná ztráta. Percentil není jistota. Průměrná roční ztráta neznamená, že právě taková ztráta nastane každý rok. Expected Shortfall není totéž co maximální škoda. A LEC křivka není věštecká mapa budoucnosti, ale způsob, jak zobrazit vztah mezi velikostí ztráty a pravděpodobností jejího překročení.

Pokud si tyto pojmy vyložíme špatně, můžeme mít výpočet technicky správně, ale rozhodnutí věcně špatně. Číslo pak neselhává proto, že by bylo špatně spočítané, ale proto že mu někdo přisoudil jiný význam, než který má.

Právě zde se ukazuje, že CRQ není jen otázkou výpočtu. Je to také otázka gramotnosti v pravděpodobnosti, statistice a rozhodování za nejistoty. Kdo nerozumí rozdílu mezi průměrem, mediánem, percentilem, překročením určité ztráty a očekávanou hodnotou v ocasu rozdělení, může z velmi dobrého modelu vyvodit velmi špatný závěr.

Závěr

Nenechme se ukolébat pocitem, že když riziko spočítáme, máme ho tím pod kontrolou. Nevíme, co všechno se může stát, jak pravděpodobné a jak závažné to bude, zda jsme zvolili správný model a kdy, kolikrát a s jakým konkrétním dopadem se událost skutečně realizuje.

Chybný předpoklad, nejasná terminologie, záměna TEF a LEF, nesprávné pochopení dopadu, příliš optimistický odhad účinnosti opatření, špatně zvolený tvar rozdělení, záměna mediánu za průměr, podcenění frekvence výskytu, ignorování závislostí mezi riziky, špatně určená absorpční kapacita nebo nepochopení škod v ocasu může změnit celé rozhodnutí. Může vést k tomu, že riziko považujeme za přijatelné, ačkoli by mělo být aktivně snižováno. Nebo naopak k tomu, že investujeme do opatření, které sice dobře vypadá, ale ve skutečnosti nesnižuje to, co je pro přežití firmy rozhodující.

Výhoda kvantitativního modelu však není v tom, že by byl neomylný. Je v tom, že jeho předpoklady lze pojmenovat, zpochybnit, testovat, přepočítat a obhájit. Výpočet je jen strukturovaný způsob, jak se vypořádat s nejistotou, která je stále přítomna. Můžeme pracovat s kalibrovanými experty, pravděpodobnostními rozděleními, percentily, LEC křivkami, RTC i odhady vyjádřenými jako rozsah hodnot. Ale pořád jen odhadujeme frekvenci výskytu, velikost škody, účinnost stávajících opatření, účinnost opatření nových a hranici, za kterou se ztráta přestává chovat jako náklad a začíná se chovat jako existenční problém.

Pokud se vám líbí naše články, tak zvažte podporu naši práce – Naskenujte QR kód a přispějte libovolnou částkou.

Děkujeme!

Štítky: CRQ