Počítáme ARO: Proč v kybernetickém riziku nestačí jen počítat výskyty

V kvantitativním hodnocení kybernetických rizik často začínáme velmi prostou otázkou: jak často může daná událost nastat?

Jinými slovy potřebujeme stanovit roční frekvenci výskytu události (annualized rate of occurrence, zkr. ARO) nebo také frekvenci ztrátové události (loss event frequency, zkr. LEF), kterou pak násobíme očekávanou ztrátou při jedné události (single loss expectancy, zkr. SLE), abychom získali roční očekávanou ztrátu (annualized loss expectancy, zkr. ALE). A tady začíná problém.

Na první pohled ideální situací je, když máme vlastní data. Tedy přesněji, data o „ztrátových událostech“ naší vlastní společnosti, s pokud možno co nejdelší historií.­ Jenže bližší pohled ukáže přinejmenším dva problémy.

• první problém: dost často narazíme na to, že daná událost se nám zatím nikdy nestala, událost se nám stala jen několikrát, událost se objevovala opakovaně anebo máme jen expertní odhad. Největší potíž vzniká u krajních případů, jak si ukážeme na příkladu o odstavec dále.
• druhý problém: vycházíme pouze z dat naší společnosti. Jenže jak víme, že to, co se přihodilo nám, je dobře reprezentativní vzorek? Základem pro výpočet by měla být zkušenost co největšího vzorku nám podobných společností, tzv. peer group. V dalším si ukážeme, jak takový vstup využít a přehodnotit naší zkušeností.

Pojďme tedy začít s daty čistě z naší firmy. Za celou dobu historie naší firmy, např. za posledních 10 let, jsme danou škodlivou událost nezaznamenali ani jednou. Svádí to k formulování závěru, že ARO je 0, a tedy že ani v dalším roce k dané události nedojde. A může nastat i opačná situace. Skutečnost, že jsme za posledních 10 let zaznamenali 10 incidentů, nás může svádět k závěru, že ARO bude 1, tedy že událost nastane i příští rok.

Ovšem ani tenhle závěr by nebyl správný. Historická data jsou sice důležitá, ale rozhodně nejsou důkazem nemožnosti ani důkazem jistoty. A to si prosím zapamatujme. Jak říká kolega Michal Hanus, ani v autě se nemůžeme spoléhat jen na to, co vidíme ve zpětném zrcátku. Anebo ještě jinak. Výše uvedené nesprávné závěry by vám asi připadaly na první pohled podezřelé, pokud byste je formulovali třeba takto: v posledních 100 tazích jsem ani jednou nevyhrál v loterii, tedy výhra je nemožná. Nebo třeba: v Člověče, nezlob se, mi padly 4 šestky za sebou. Takže teď budou padat pořád. Ale vezměme to popořadě. Nejprve si uveďme, jak by vypadal čistý empirický výpočet ARO. Ten můžeme zapsat jako:

ARO = k / n

Kde:

• k je počet incidentů za sledované období,
• n je délka sledovaného období v letech.

Proč 0 z 10 neznamená 0

Pokud se událost za posledních 10 let nestala ani jednou, znamená to pouze to, že jsme ji v našem pozorovaném období prostě nezaznamenali. Nikoli, že nemůže nastat. Rozdíl je zásadní. Když organizace za deset let nezažila významný únik dat, neznamená to, že únik dat nemůže nastat. Když za deset let nezažila ransomware, neznamená to, že pravděpodobnost ransomwaru je nula. Když za deset let nezažila zneužití privilegovaného účtu, neznamená to, že se to stát nemůže. Vzpomeňte také na výše uvedený „druhý problém“: Naše organizace nezaznamenala… ale jiné kolem nás zaznamenaly!

Pokud je k = 0 a n = 10, pak ARO = 0 / 10 = 0. Jenže deset let bez události může také znamenat, že událost je jen vzácná. Nemusí totiž znamenat, že je zhola nemožná.

Proč 10 z 10 neznamená jistotu

Stejná chyba vzniká i na opačném konci. Pokud jsme za posledních 10 let zaznamenali 10 incidentů, čistý empirický odhad dá ARO = 1. To ale neznamená jistotu, že přesně jedna událost nastane i příští rok. Znamená to pouze, že historický průměr byl jedna událost ročně.

Pokud je k = 10 a n = 10, pak jejich podíl je roven 1. To ale neznamená, že událost musí s jistotou nastat i příští rok. Znamená to pouze, že historická empirická frekvence byla jedna událost ročně. To je silná informace. Ale pořád to není jistota.

Proč frekvenci nepočítat jen jako jednoduchý poměr

Jednoduchý poměr ARO = k / n je lákavý. Je rychlý, srozumitelný a vypadá objektivně. Jenže právě u malého počtu pozorování vede k nebezpečným závěrům. Pokud: k = 0 dostaneme: ARO = 0. Pokud: k = n dostaneme ARO = 1. Tedy nulu nebo jistotu. Jenže ani jedno obvykle neodpovídá povaze kybernetického rizika. Prior nám umožní říct: Máme data, ale máme také nejistotu. A to je v řízení rizik poctivější než předstírat přesnost, kterou ve skutečnosti nemáme.

Co tedy s tím? Jak spočítat realističtější frekvenci? Jde to, slouží k tomu tzv. prior, přesněji řečeno apriorní rozdělení, kde existuje jakási naše výchozí představa o pravděpodobnosti nebo frekvenci události ještě před tím, než do výpočtu zahrneme pozorovaná data. A pokud ona data do výpočtu zahrneme dostaneme tzv. posterior. Tento bayesovský přístup lze zjednodušeně vyjádřit takto: prior + data = posterior.

Koncepce prioru je právě odpovědí na onen „druhý problém“: naše společnost je možná dost výjimka, třeba jsme měli dost smůlu nebo štěstí. Ale pro dobrý výpočet potřebujeme lepší vstup. A tím je právě prior. Třeba (ale nejen) v podobě bohatších statistik z celého našeho oboru.

Bez prioru dostaneme u krajních případů hodnoty 0 % nebo 100 %. Ty ale často nejsou rozumným odhadem rizika. Prior nám pomáhá těmto falešným jistotám zabránit tím, že do výpočtu vkládá nejistotu.

Neinformativní a informativní prior

V praxi rozlišujeme zejména dva typy priorů: neinformativní prior a informativní prior. Neinformativní prior používáme tehdy, když nechceme do modelu vkládat silnou věcnou informaci. Např. nemáme relevantní externí report, nemáme sektorová data nebo nechceme zvýhodnit konkrétní hodnotu pravděpodobnosti. Chceme pouze zabránit tomu, aby model dával nulu nebo stovku. Jinými slovy, chceme říci: naše zkušenost je nějaká, ale považujeme ji pouze za vzorek obecnějšího chování, se kterým ji budeme „prolínat“.

Přesnější označení může být také slabě informativní prior nebo objektivní prior. Úplně neinformativní prior v přísném smyslu prakticky neexistuje, protože každý prior do modelu něco vnáší. Pro praktické účely ale tento pojem dává smysl. Je důležité si zde však uvědomit, že pracujeme s modelovým (či řekněme matematickým) vstupem, který neodráží okamžitou konkrétní skutečnost. Jde prostě o přístup typu: takhle se události běžně chovají, a my naši vlastní zkušenost s priorem zkonfrontujeme. Typickými příklady jsou:

• Laplaceův prior: Beta(1,1),
• Jeffreysův prior: Beta(0,5; 0,5).

Informativní prior používáme tehdy, když nějakou relevantní externí informaci máme. Například bezpečnostní report může uvádět, že se s daným bezpečnostním incidentem v minulém roce potýkalo 7 % firem. Takovou informaci není vhodné ignorovat. Zároveň ji ale není vhodné slepě převzít. Pomocí informativního prioru ji však můžeme spojit s vlastními daty. Pojďme se nyní na obě výchozí situace podívat podrobněji.

Laplaceův prior

Laplaceův prior má tvar: Beta(1,1). Lidsky řečeno, k datům přidáme jeden pomyslný výskyt a jeden pomyslný nevýskyt. Pokud máme n sledovaných období a k období, ve kterých událost nastala, pak posteriorní střední hodnota pravděpodobnosti je:

p = (k + 1) / (n + 2)

Pokud máme 0 výskytů z 10 let:

p = (0 + 1) / (10 + 2) = 1 / 12 ≈ 8,33 %

Pokud máme 10 výskytů z 10 let:

p = (10 + 1) / (10 + 2) = 11 / 12 ≈ 91,67 %

Vidíme, že výsledek není ani 0 %, ani 100 %.

Jeffreysův prior

Jeffreysův prior má tvar: Beta(0,5; 0,5). Lidsky řečeno, k datům přidáme půl pomyslného výskytu a půl pomyslného nevýskytu. Posteriorní střední hodnota je:

p = (k + 0,5) / (n + 1)

Pokud máme 0 výskytů z 10 let:

p = (0 + 0,5) / (10 + 1) = 0,5 / 11 ≈ 4,55 %

Pokud máme 10 výskytů z 10 let:

p = (10 + 0,5) / (10 + 1) = 10,5 / 11 ≈ 95,45 %

Vidíme, že výsledek není ani 0 %, ani 100 %.

Jeffreysův prior zasahuje do dat méně než Laplaceův prior. Je proto vhodný tam, kde nechceme výsledek příliš vyhlazovat, ale zároveň nechceme přijmout nulu nebo stovku.

Pravidlo tří

Pravidlo tří se používá především v situaci, kdy jsme nepozorovali žádný výskyt. Pokud za dobu T nepozorujeme žádnou událost, přibližná horní 95% mez frekvence je:

ARO₉₅ ≈ 3 / T

Pokud tedy za 10 let nenastala událost ani jednou:

ARO₉₅ ≈ 3 / 10 = 0,3

To znamená, že konzervativní horní odhad roční frekvence je 0,3 události za rok. Manažersky lze dopočítat pravděpodobnost alespoň jedné události za rok:

p = 1 − e^−0,3 ≈ 25,9 %

Pravidlo tří tedy říká, že při nulovém výskytu za 10 let je konzervativní horní mez ARO přibližně 0,3.

Informativní prior

Informativní prior použijeme tehdy, když máme relevantní externí informaci. Například bezpečnostní report uvádí, že se s daným bezpečnostním incidentem v minulém roce potýkalo 7 % firem. Tuto hodnotu označíme jako:

p₀ = 0,07

Abychom z této hodnoty vytvořili beta prior, musíme určit také jeho sílu neboli váhu. Tu označíme jako:

m = α + β

Pokud zvolíme například:

m = 20

pak:

α = p₀ × m = 0,07 × 20 = 1,4

β = (1 − p₀) × m = 0,93 × 20 = 18,6

Dostaneme tedy informativní prior:

Beta(1,4; 18,6)

Lidsky řečeno, externímu reportu dáváme váhu 20 pomyslných pozorování. Z nich 1,4 odpovídá výskytu a 18,6 nevýskytu. Nejsou to skutečné incidenty v naší organizaci. Je to způsob, jak do výpočtu vložit externí informaci a současně určit, jak silně jí věříme.

Pokud máme 0 výskytů z 10 let, potom posteriorní střední hodnota bude:

p = (1,4 + 0) / (1,4 + 18,6 + 10)

p = 1,4 / 30 ≈ 4,67 %

Pokud máme 10 výskytů z 10 let, potom:

p = (1,4 + 10) / (1,4 + 18,6 + 10)

p = 11,4 / 30 ≈ 38,00 %

Na první pohled může druhý výsledek překvapit. Máme přece 10 výskytů za 10 let, a přesto informativní prior s externím údajem 7 % stáhne výslednou hodnotu na 38 %. To není chyba výpočtu. Je to důsledek toho, že jsme externímu reportu dali poměrně silnou váhu 20 pomyslných pozorování.

Jinými slovy: informativní prior není neutrální. Pokud mu dáme velkou váhu, může výrazně ovlivnit výsledek. Proto je vždy nutné výslovně říct nejen to, jakou externí hodnotu používáme, ale také jakou váhu jí přisuzujeme.

Pokud bychom externímu reportu dali menší váhu, například m = 5, vlastní data by měla na výsledek větší vliv. Volba váhy prioru je proto odborné rozhodnutí, nikoli technická formalita.

Detailně se k tomu vrátíme ve čtvrtém článku, kde si ukážeme, jak se vlastní data a externí bezpečnostní report spojují a proč výsledek není ani slepé převzetí reportu, ani prosté ignorování vlastní zkušenosti.

Kdy použít který přístup

Pokud si teď kladete otázku, jaký přístup v praxi použít, tak pro základní orientaci lze použít následující pravidlo:

• pokud se událost za sledované období nevyskytla, použijeme pravidlo tří jako konzervativní horní mez a Jeffreysův nebo Laplaceův prior jako bodový odhad,
• pokud se událost vyskytovala ve všech sledovaných obdobích, použijeme Jeffreysův nebo Laplaceův prior, abychom se vyhnuli falešné jistotě 100 %,
• pokud máme relevantní externí data, použijeme informativní prior,
• pokud známe skutečný počet incidentů za časové období, přejdeme od beta-binomial modelu k Poissonovu nebo gamma-Poissonovu modelu.

Co bude v dalších článcích

V této úvodní části šlo hlavně o vysvětlení problému. Ukázali jsme si, proč 0 z 10 neznamená 0 %, proč 10 z 10 neznamená 100 %, a jak nám může pomoci prior. V dalších částech se podíváme na konkrétní situace.

Nejprve rozebereme případ, kdy se událost za posledních 10 let nestala ani jednou. Ukážeme si pravidlo tří, Jeffreysův prior, Laplaceův prior a převod výsledku na ARO. Poté se podíváme na opačný extrém, kdy se událost stala každý rok po dobu posledních 10 let. Ukážeme si, proč to pořád není 100 %, a proč může být ARO větší než 1. Ve čtvrté části přidáme externí bezpečnostní report. Tedy situaci, kdy vlastní data mlčí, ale report říká, že se s danou událostí potýkalo 7 % firem. Ukážeme si, jak z této hodnoty vytvořit informativní prior, jak mu přiřadit váhu a jak jej spojit s vlastními daty. A nakonec přejdeme k případu, kdy už nesledujeme jen roky s výskytem, ale skutečný počet incidentů za čas. Tam použijeme gamma-Poisson model a ukážeme si, jak se sčítají incidenty s incidenty a roky s roky.

Závěr

Kvantitativní hodnocení rizik nezačíná tím, že do tabulky napíšeme 0 %, protože se nám zatím nic nestalo. A nekončí tím, že napíšeme 100 %, protože se něco dělo každý rok. Nula i stovka často vypadají přesně. Ve skutečnosti ale mohou být jen projevem malého vzorku a příliš jednoduchého uvažování. Cílem není předstírat jistotu. Cílem je získat rozumný, obhajitelný a použitelný odhad ARO. Prior k tomu slouží velmi dobře. Ne proto, že by zázračně odstranil nejistotu. Ale proto, že ji přizná a zapracuje do výpočtu. A to je v řízení kybernetických rizik podstatně poctivější než tvářit se, že co se zatím nestalo, nemůže nastat, a co se dělo často, musí nastat vždy.

Pokud se vám líbí naše články, tak zvažte podporu naši práce – Naskenujte QR kód a přispějte libovolnou částkou.

Děkujeme!

Štítky: CRQ