Auditor mezi normou a realitou: posuzujeme úroveň řízení kybernetických rizik v organizaci

Norma ISO/IEC 27001 v článku 6.1.2 požaduje, aby proces hodnocení rizik produkoval konzistentní, validní a srovnatelné výsledky. ISO/IEC 27005 pak v informativní části upozorňuje, že provádění matematických operací nad čísly, která jsou ve skutečnosti pouze kódy kvalitativního hodnocení, může být metodicky neplatné.

Výklad není tak jednoduchý, jak by se na první pohled mohlo zdát. Risk matice sama o sobě nemusí být automaticky neshodou.

Neshodou se stává až tehdy, pokud organizace nedokáže prokázat, že její použití vede ke konzistentním, validním a srovnatelným výsledkům požadovaným ISO/IEC 27001. Jinými slovy: problém není v tom, že organizace používá tabulku. Problém je v tom, že s kvalitativními kategoriemi zachází jako s číselnými veličinami a výsledkům pak přisuzuje rozhodovací váhu, kterou tyto výsledky nemusí unést.

Přesto se v praxi setkáváme s tím, že analýza rizik postavená na takto problematických risk maticích prochází auditem bez jediného nálezu. Audit se často redukuje na kontrolu, zda „je metodika“ a „je dodržována“, zatímco kvalita samotné metody, validita jejích výsledků a přiměřenost kompetencí lidí, kteří ji používají, zůstávají mimo záběr.

Tento článek se zaměřuje právě na roli auditora: co musí, co by měl a jak by měl své nálezy formulovat, zejména pokud ví, a z pozice své funkce by to vědět měl, že použitá metoda má závažná omezení a že organizace nedoložila, proč lze její výsledky považovat za dostatečný základ pro rozhodování.

Role auditora: nejen kontrola shody, ale i odpovědnost za smysl

Auditor ISMS není jen „kontrolor šanonů“. Podle ISO 19011 a profesních organizací typu ISACA nebo IIA má jednat s due professional care, používat odborný úsudek a poskytovat objektivní a poctivý obraz o stavu systému řízení. To znamená dvě věci:

• posuzovat nejen to, zda proces existuje a je formálně dodržen,
• ale také to, zda použitá metoda dává výsledky, které lze považovat za spolehlivý základ pro rozhodování.

Jestliže auditor ví, že organizace používá nevalidní metodu, která je v ISO/IEC 27005 uvedena s upozorněním na možnou neplatnost dalších matematických operací nad kvalitativními výsledky, a současně ví, že na základě této metody se rozhoduje o prioritách bezpečnostních opatření, nemůže se jednoduše schovat za argument „norma to výslovně nezakazuje“.

Je pravda, že závazným auditním kritériem pro certifikaci je především ISO/IEC 27001. ISO/IEC 27005 nemusí být sama o sobě závaznou normou, pokud ji organizace nepřijala jako součást své metodiky nebo pokud není výslovně zahrnuta do rozsahu auditu. To však neznamená, že je bez významu. Může sloužit jako odborný interpretační zdroj, který pomáhá vysvětlit, proč určitý způsob hodnocení rizik může být metodicky problematický.

Auditní argument proto nemá znít: „ISO/IEC 27005 něco uvádí, a proto je organizace v neshodě.“ Přesnější argument zní: „ISO/IEC 27001 požaduje konzistentní, validní a srovnatelné výsledky a organizace nedoložila, že její metoda tyto výsledky skutečně produkuje.“

Běžnost metody není důkazem její validity

Problém risk matic není pouze metodický. Je také institucionální. Auditor, který upozorní na nevaliditu mechanického násobení kvalitativních stupňů, ve skutečnosti nevstupuje jen do sporu s jednou organizací. Vstupuje do sporu s dlouhodobě normalizovanou praxí.

Tato praxe se objevuje v metodických příručkách, školeních, certifikovaných kurzech, konzultačních šablonách i vysokoškolských skriptech. Matice se stala natolik běžnou, že její běžnost začala nahrazovat důkaz správnosti. To, že se určitý postup opakuje na mnoha místech, však ještě neznamená, že je validní. Znamená to pouze, že se rozšířil.

Právě zde vzniká profesní dilema auditora. Pokud vadnou metodu pojmenuje, dostává se do nepříjemné pozice člověka, který zpochybňuje nejen praxi auditované organizace, ale i širší ekosystém, který tuto praxi dlouhá léta legitimizoval. Pokud ji nepojmenuje, zachová klid, ale současně pomůže udržet iluzi, že formálně přijatelná metoda je automaticky metodou správnou.

Nejde nutně o osobní selhání jednotlivého auditora. Systém auditů vytváří silnou pobídku ke konformitě. Je mnohem snazší ověřit, zda organizace má metodiku hodnocení rizik, než posoudit, zda tato metodika produkuje validní výsledky. Je mnohem snazší zkontrolovat registr rizik, než rozebrat, zda pořadí rizik v registru dává odborný smysl. A je mnohem bezpečnější přijmout obecně rozšířenou praxi, než vysvětlovat, proč může být právě tato obecně rozšířená praxe metodicky vadná.

Tím však vzniká paradox. Čím rozšířenější je problematická metoda, tím menší ochotu mají auditoři ji zpochybnit. Rozšířenost metody pak funguje jako ochranný štít. Nikoliv proto, že by metoda byla validní, ale proto, že její zpochybnění by znamenalo zpochybnit celý řetězec lidí a institucí, které ji dlouhodobě používají, učí a akceptují.

Skutečnost, že se určitá metoda nachází ve školících materiálech, certifikovaných kurzech nebo vysokoškolských skriptech, není důkazem její validity. Je to důkaz její institucionální normalizace. Norma však po organizaci nepožaduje normalizované výsledky. Požaduje výsledky konzistentní, validní a srovnatelné.

Konzistence není validita

Při obhajobě risk matic se často objevuje argument, že organizace metodu používá dlouhodobě, jednotně a opakovaně. To ale samo o sobě nestačí. Je nutné rozlišovat konzistenci a validitu.

Risk matice může produkovat konzistentní výsledky, aniž by produkovala výsledky validní. Pokud jedno hodnocení provádí stále stejný člověk, používá stále stejnou tabulku a stejné subjektivní návyky, může být výsledek na první pohled stabilní. Stejné riziko za stejných podmínek může dostat pokaždé stejné skóre. To však ještě neznamená, že skóre odpovídá skutečné významnosti rizika.

Konzistence znamená pouze to, že metoda se nechová nahodile. Neznamená to, že měří správnou věc. Chybný postup může být opakován velmi disciplinovaně. Organizace pak nedělá chybu náhodně, ale systematicky. A právě systematická chyba je v řízení rizik nebezpečnější než chyba náhodná, protože vytváří iluzi pořádku, metodiky a objektivity.

Pokud organizace mechanicky násobí kvalitativní kategorie pravděpodobnosti a dopadu, může dosahovat stabilních výsledků. Otázka však zní, zda tyto výsledky skutečně odpovídají prioritám rizik, zda rozlišují podstatné od nepodstatného a zda jsou dostatečným základem pro rozhodování o opatřeních, rozpočtu a akceptaci rizik. Bez takového ověření nelze z pouhé konzistence dovozovat validitu.

Argument „postupujeme pořád stejně“ proto nestačí. Stejně tak nestačí argument „zatím se nic nestalo“. Dlouhodobé opakování vadného postupu není důkazem jeho správnosti. Je pouze důkazem toho, že vadný postup byl opakován dostatečně ukázněně.

Procesní disciplína není totéž co správnost. Organizace může vadný postup dodržovat naprosto vzorně. Může mít formuláře, podpisy, pravidelné revize, odpovědné osoby i zápisy z jednání. Pokud však samotná metoda vede ke špatnému úsudku, pak perfektně dodržovaný proces pouze zajišťuje, že chyba bude reprodukována znovu a znovu.

Audit, který se zastaví u otázky, zda byl postup dodržen, ale už se neptá, zda tento postup dává smysl, ve skutečnosti neověřuje účinnost ISMS. Ověřuje jen administrativní poslušnost.

Jak by mohl vypadat auditní nález

Pokud organizace používá risk matici postavenou na kvalitativních stupních, které se mechanicky násobí, a výsledné „skóre“ používá jako primární základ pro prioritizaci rizik, nejde o drobný metodický detail. Jde o potenciální systémový problém.

Nález by však neměl být formulován tak, že samotné použití risk matice je automaticky neshodou. Přesnější a auditně obhajitelnější formulace je, že organizace nedoložila validitu, srovnatelnost a rozhodovací použitelnost výsledků, které její metoda produkuje.

Kompetence hodnotitelů rizik: druhá půlka problému

Otázka kompetencí hodnotitelů rizik úzce souvisí s použitou metodou. Nelze po organizaci požadovat stejnou úroveň odbornosti pro jednoduchou kvalitativní matici a pro plnohodnotnou kvantitativní analýzu kybernetických rizik. Jestliže metoda spočívá pouze ve výběru hodnot z předem připravené tabulky a vynásobení dvou čísel, pak je i požadovaná kompetence hodnotitele relativně nízká. K takovému postupu může stačit základní zaškolení, znalost interní metodiky a schopnost konzistentně používat definované kategorie.

To však neznamená, že takový výsledek lze automaticky považovat za odborně silný základ pro rozhodování. Jednoduchá metoda vyžaduje jednoduchou kompetenci, ale také produkuje jednoduchý výsledek. Pokud organizace používá matici pouze jako orientační pomůcku pro diskusi a hrubé třídění rizik, může být taková úroveň kompetence přiměřená. Pokud však stejný výsledek používá jako hlavní podklad pro rozhodování o prioritách, investicích, akceptaci rizik nebo významných bezpečnostních opatřeních, vzniká rozpor mezi jednoduchostí metody a váhou rozhodnutí, která jsou na jejím základě přijímána.

ISO/IEC 27001 v článku 7.2 požaduje, aby organizace definovala a doložila kompetence osob, které ovlivňují výkonnost ISMS. To se týká i těch, kteří navrhují metodiku hodnocení rizik a provádějí samotné hodnocení. Požadovaná kompetence však nemůže být posuzována abstraktně. Musí odpovídat tomu, co organizace tvrdí, že její metoda dokáže.

Pokud organizace tvrdí pouze to, že provádí hrubé kvalitativní třídění rizik, postačí jednodušší kompetenční profil. Pokud však tvrdí, že výsledky matice jsou validním základem pro prioritizaci významných rizik a alokaci bezpečnostního rozpočtu, musí být schopna doložit kompetence odpovídající takovému tvrzení.

Nelze tedy jednoduše tvrdit, že hodnotitelé jsou nekompetentní jen proto, že používají jednoduchou risk matici. Pokud byli proškoleni v používání této konkrétní matice, rozumějí definicím jednotlivých stupňů a dokážou postup opakovat, mohou být pro obsluhu této metody kompetentní. To však ještě neznamená, že jsou kompetentní k hlubšímu posuzování rizik, práci s nejistotou, odhadu ztrát, modelování scénářů nebo interpretaci výsledků jako podkladu pro ekonomické rozhodování.

Požadavek na kompetence nelze oddělit od ambice použité metody. Pro mechanické přiřazení čísel v matici stačí relativně nízká úroveň odbornosti. Pro skutečné řízení rizik však nestačí umět vyplnit buňky tabulky. Jestliže organizace vydává výsledek matice za rozhodovací základ pro řízení významných rizik, musí doložit, že osoby odpovědné za tento proces rozumějí nejen interní tabulce, ale i povaze rizika, nejistotě, dopadům, předpokladům metody a limitům výsledného skóre.

Jinak vzniká zvláštní rozpor: organizace obhajuje nízké kompetenční požadavky tím, že metoda je jednoduchá, ale současně výsledkům této jednoduché metody přisuzuje váhu, jako by šlo o odborně validní analýzu. Právě tento rozpor by měl být předmětem auditu.

Jak by mohl vypadat nález ke kompetencím

Formulace „hodnotitelé jsou nekompetentní“ je snadno napadnutelná, a proto je lepší formulovat nález tak, že organizace nedoložila kompetence odpovídající roli, odpovědnosti a rozhodovací váze výsledků hodnocení rizik.

Malá organizace není výjimka z požadavku na smysl

Častou námitkou je, že malá organizace si nemůže dovolit experty, sofistikované modely ani plnohodnotné kvantitativní hodnocení kybernetických rizik. To je rozumná a legitimní námitka. ISO/IEC 27001 nepožaduje, aby každá organizace používala složité kvantitativní modely. Požaduje však, aby metoda byla vhodná, přiměřená a aby její výsledky byly použitelné.

Malá organizace nemusí mít plnohodnotné CRQ. Nemusí modelovat rozdělení ztrát, počítat Value at Risk, Expected Shortfall ani vytvářet simulační modely. Může používat jednoduchý postup. Ale jednoduchost postupu nesmí být zaměněna za neomezenou rozhodovací platnost výsledku.

Pokud je maximum, které organizace dokáže vyprodukovat, jednoduchá matice, pak je nutné přiznat, že výstupem je jednoduchý orientační odhad. Takový výstup může být pro malou organizaci užitečný. Může pomoci strukturovat diskusi, vytvořit seznam priorit, upozornit na zjevná rizika a vést k základním opatřením. Nesmí se však tvářit jako přesná nebo plně validní analýza rizik, pokud takovou povahu nemá.

Jinými slovy: omezené zdroje mohou odůvodnit jednodušší metodu. Nemohou však odůvodnit falešnou jistotu. Malá organizace má právo na jednoduchý nástroj, ale nemá právo vydávat výsledek jednoduchého nástroje za něco, čím není.

Proč audit „perfektního procesu“ nestačí

Formálně správně nastavený proces řízení rizik ještě neznamená, že organizace skutečně řídí rizika rozumně. Pokud:

• metodika hodnocení rizik stojí na problematickém zacházení s kvalitativními čísly a není validovaná,
• výsledkům této metody je přisuzována rozhodovací váha, která neodpovídá její povaze,
• a kompetence hodnotitelů odpovídají pouze obsluze tabulky, nikoli odborné interpretaci výsledků jako základu pro významná rozhodnutí,

pak žádný počet zápisů v registru rizik z toho neudělá dobré rozhodování. Auditor, který tento stav přejde, sice může formálně splnit minimální požadavky na audit, ale neplní svůj základní profesní účel: pomoci organizaci odhalit systémové slabiny, které ohrožují skutečnou účinnost ISMS.

Jinými slovy: audit, který pouze potvrdí, že se organizace „důsledně drží špatného návodu“, není přidaná hodnota. Je to jen razítko na dobře vedenou iluzi.

Závěr

Používání risk matic jako pseudo-kvantitativního nástroje pro řízení rizik a současné přeceňování výsledků těchto matic je to systémový problém, který se promítá do obrovského množství auditů ISMS.

To však neznamená, že každá risk matice je automaticky neshodou. Takové tvrzení by bylo příliš jednoduché a snadno napadnutelné. Přesnější závěr zní jinak: neshodou může být situace, kdy organizace používá risk matici jako hlavní rozhodovací mechanismus, ale nedoloží, že výsledky této metody jsou validní, srovnatelné a přiměřené rozhodnutím, která jsou na jejich základě přijímána.

Stejně tak nelze automaticky tvrdit, že hodnotitelé rizik jsou nekompetentní jen proto, že používají jednoduchou metodu. Pro jednoduchou metodu může stačit jednoduchá kompetence. Pokud však organizace výsledkům této metody přisuzuje váhu odborné analýzy a rozhoduje podle nich o významných rizicích, rozpočtech nebo akceptaci rizik, musí odpovídat i kompetence lidí, kteří tato hodnocení vytvářejí a interpretují.

Auditor nemusí vést akademickou válku proti všem risk maticím. Musí ale odmítnout alibismus, podle kterého je metoda automaticky v pořádku jen proto, že je rozšířená, školená a formálně přijatelná. Běžnost není validita. Konzistence není správnost. A schopnost vyplnit tabulku není totéž co schopnost řídit riziko.

Auditor, který tyto věci popíše jasně, věcně a bez alibismu, dělá přesně to, co se od něj v rámci due professional care očekává: neaudituje jen proces, ale i smysl.

Pokud se vám líbí naše články, tak zvažte podporu naši práce – Naskenujte QR kód a přispějte libovolnou částkou.

Děkujeme!

Štítky: audit