Fiche Lecture : How to measure anything in cybersecurity risk - 2nd edition, Wiley, 2023

Hubbard, D. W., & Seiersen, R. (2023). How to Measure Anything in Cybersecurity Risk (2nd ed.). Wiley

Cette fiche tente de refléter fidèlement le contenu du livre, à l’exception d’un seul ajout personnel : un exemple illustrant le sophisme du procureur.

Première partie - Pourquoi la cybersécurité a besoin de meilleures mesures du risque (Why Cybersecurity Needs Better Measurements for Risk)

Chapitre 1 - Le correctif le plus nécessaire en cybersécurité (The One Patch Most Needed in Cybersecurity)

Ce chapitre présente le problème que le livre souhaite traiter : la qualité insuffisante des méthodes de mesure appliquées dans l’industrie du cyber-risque.

L’assurance cyber est comme un canari dans la mine pour mesurer l’évolution globale du risque cyber. On apprend que suite au procès gagné par Merck contre son assureur Chubb, Lloyd’s a recommandé que tous les assureurs cyber cessent de couvrir les attaques sponsorisées par des agences gouvernementales. Chubb avait fait valoir que l’attaque NotPetya qui avait frappé Merck était un acte de guerre, donc exclu de l’assurance. Mais le tribunal a considéré que la clause ne concernait que la guerre physique, pas la guerre cyber, et a donné raison à Merck.

L’autre attaque mentionnée est celle de SolarWinds, qui a été très vaste, mais non destructive, car seulement à vocation d’espionnage. Ce que l’on peut redouter c’est une attaque aussi vaste que SolarWinds, et aussi destructrice que NotPetya (“The Big One”). Ce qui rend cela possible est l’augmentation de la surface d’attaque (accroissement du nombre d’utilisateurs, de l’usage, des vulnérabilités, possibilité d’une cascade d’intrusions).

Comme l’exposition au risque augmente en raison des besoins business, la cybersécurité est devenue un thème majeur pour les entreprises. Ainsi, le rapport “McKinsey on Risk” de 2021 mentionne le risque cyber plus que tous les autres. Cela a conduit à la présence d’un CISO dans la quasi-totalité des Fortune 500. Et les dépenses ont suivi, avec 1 million d’emplois dans la cybersécurité aux USA en 2021.

Les entreprises se concentrent principalement sur la gestion des vulnérabilités, la détection des attaques et la remédiation suite aux compromissions. Mais les besoins identifiés dépassent toujours les moyens alloués, et la priorisation des actions joue un rôle fondamental.

Pour réaliser cette priorisation, les entreprises s’appuient sur l’intuition (incontournable dans le management), mais aussi dans 80% des cas sur des méthodes de scoring, le plus souvent au moyen d’une matrice probabilité/impact. Ce type d’approche est d’ailleurs recommandé par le NIST, l’ISO, Mitre et OWASP.

Les auteurs affirment clairement que cette approche est un échec, car il n’y a aucune preuve de son efficacité, et il y a des preuves qu’elle apporte de la confusion, voire qu’elle peut être pire qu’un choix aléatoire (Tony Cox). L’efficacité perçue est comparée à l’effet placebo.

La plupart des experts s’intéressent à l’usage d’approches quantitatives plus performantes, mais des préjugés erronés limitent leur adoption.

Le chapitre se conclut par une proposition pour la gestion du risque cyber qui s’appuie sur une approche quantitative basée sur les principes suivants :

• Il est possible de considérablement améliorer les méthodes habituelles.
• Le risque cyber peut s’appréhender avec les mêmes concepts quantitatifs et mathématiques utilisés dans d’autres domaines de risque.
• Ces méthodes quantitatives sont réellement applicables, comme l’expérience des auteurs le montre.
• Les méthodes quantitatives peuvent être améliorées constamment, et leur performance peut se mesurer.

Cela permet de déterminer un “retour sur mesures de sécurité”, et de comparer financièrement différentes approches sur leur coût total prenant en compte la réduction du risque. Pour cela il faut un mode d’emploi pour les professionnels du risque cyber, que ce livre a l’ambition d’être.

Le plan proposé est le suivant :

• partie 1 : méthode et fondations, comment sait-on que cela fonctionne.
• partie 2 : amélioration et précisions, comment appliquer efficacement la méthode.
• partie 3 : la gestion du risque cyber pour l’entreprise.

Chapitre 2 - Introduction à la mesure en cybersécurité (A measurement Primer for Cybersecurity)

Ce chapitre s’appuie essentiellement sur le célèbre “How to Measure Anything” de Doug Hubbard. Hubbard dénombre trois raisons qui conduisent à penser qu’une chose n’est pas mesurable :

1. Le concept de mesure n’est pas clair.
2. L’objet mesuré n’est pas clairement défini.
3. La méthode de mesure n’est pas maîtrisée.

On peut utiliser le mnémotechnique “COM” pour retenir Concept/Objet/Méthode.

Le concept de mesure

Le concept de mesure est le principal obstacle rencontré par les personnes qui pensent que quelque chose ne peut pas être mesuré. C’est notamment la recherche d’une certitude, d’une valeur exacte qui pose un problème, alors que la science se base sur l’idée d’approximation (Bertrand Russell).

La définition scientifique de la mesure est la suivante : une mesure est une réduction quantitativement exprimée de l’incertitude, basée sur une ou plusieurs observations. Cela rejoint la théorie de l’information de Shannon, l’information permettant de réduire l’incertitude (représentée par l’entropie). En réalité, la conduite des affaires repose sur la gestion de l’incertitude, et toute amélioration dans l’estimation est favorable au succès.

Le psychologue Stanley Smith Stevens a décrit en 1946 quatre échelles de mesure : nominal, ordinal, intervalle et ratio.

• les échelles ratio sont les plus complètes, sur lesquelles on peut appliquer les opérations mathématiques habituelles (6 $ = 2 * 3 $).
• les échelles d’intervalle sont également numériques, mais ne sont pas compatibles avec certaines opérations comme la multiplication ou la division (6°C n’est pas 2x plus chaud que 3°C).
• les échelles ordinales (par exemple la dureté des minéraux selon l’échelle de Mohs) ont une relation d’ordre, mais sans notion de différence.
• les échelles nominales (par exemple les couleurs) n’ont même pas une relation d’ordre.

Les opérations mathématiques usuelles ne sont donc pas applicables aux échelles ordinales et nominales. Elles peuvent néanmoins être utiles et correctement définies, comme l’échelle de Mohs. C’est malheureusement rarement le cas des échelles utilisées en cybersécurité.

L’incertitude n’est pas forcément dans la nature du système étudié, elle peut aussi être dans la connaissance de l’observateur. Ainsi, on peut parler de probabilité comme d’un degré de croyance. Cette vue des probabilités s’appelle l’interprétation subjectiviste ou bayésienne.

C’est cette interprétation subjectiviste qui est la plus importante pour prendre des décisions.

L’autre interprétation des probabilités, qui s’appuie exclusivement sur le résultat de calculs sur des données, est appelée fréquentiste.

Les deux approches font débat chez les spécialistes, mais de nombreux scientifiques prestigieux valident l’approche bayésienne, notamment quand l’approche fréquentiste n’est pas applicable. Et subjectif ne veut pas dire irrationnel, les probabilités subjectives doivent être mathématiquement cohérentes et consistantes.

L’objet de la mesure

Souvent on juge qu’un concept n’est pas mesurable car on ne l’a pas bien défini. Cela peut se résoudre en appliquant la méthode de chaîne de clarification :

1. Si c’est important, c’est que c’est détectable/observable.
2. Si c’est détectable, on peut y associer un montant (ou une plage de montants possibles).
3. Si c’est associé à une plage de montants possibles, c’est mesurable.

L’objectif de la mesure est également un fil conducteur pour comprendre l’objet de la mesure.

La clarification des concepts est fondamentale dans toute discipline scientifique, et cela doit s’appliquer aussi à la cybersécurité. Le livre fournit quelques définitions fondamentales dans cet esprit :

• Incertitude : Absence de certitude complète, c’est-à-dire existence de plusieurs possibilités. La “valeur” ou l’“état” véritable n’est pas connu.
• Mesure de l’incertitude : Ensemble de probabilités attribuées à un ensemble de possibilités. Exemple : « Il y a 20% de chances qu’une fuite de données se produise dans les cinq prochaines années. »
• Risque : État d’incertitude dans lequel certaines des possibilités impliquent une perte, une catastrophe ou un autre résultat indésirable.
• Mesure du risque : Ensemble de possibilités, chacune assortie de probabilités quantifiées et de pertes quantifiées. Exemple : « Nous estimons à 10% la probabilité qu’une fuite de données entraîne une action en justice d’un montant supérieur à 10 millions de dollars. »

Les méthodes de mesure

D’après Kahneman, les gens ont des intuitions fortes sur les méthodes d’échantillonnage qui s’avèrent fondamentalement fausses, et qui sont partagées tant par les gens ordinaires que par les scientifiques entraînés. Les experts en cybersécurité n’échappent pas à cette observation.

La notion de “statistiquement significatif” est notamment très mal comprise. Il n’y a pas une valeur universellement valable pour la taille d’un échantillon. En statistique inférentielle classique, un résultat est significatif (au seuil de 5%) si la probabilité (p-value) d’obtenir un résultat au moins aussi extrême, en supposant qu’il n’y a pas d’effet réel (l’hypothèse nulle), est inférieure à 5%.

Mais cette définition (claire) n’est pas pour autant nécessairement utile, et source de controverse dans la communauté scientifique. Les auteurs recommandent même de ne pas l’utiliser. Ce qui compte réellement, c’est de savoir si les observations réduisent l’incertitude, et si cette réduction d’incertitude conduit à un changement du plan d’action.

Utilisation de petits échantillons

On croit souvent naïvement qu’un petit échantillon n’apporte pas d’information. Pourtant, il y a un théorème mathématique très simple à démontrer, qui contredit cela.

La règle des cinq Il y a 93,75% de chances que la médiane d’une population se situe entre la plus petite et la plus grande valeur d’un échantillon aléatoire de cinq éléments provenant de cette population.

En cybersécurité, on veut souvent évaluer l’incertitude au sujet de l’occurrence d’un événement (par exemple une intrusion) pendant une année donnée. Cela peut s’exprimer par une probabilité qui représente notre conviction. Supposons qu’il n’y a pas eu d’intrusion les 6 dernières années. Que peut-on en déduire ? La règle des cinq n’est pas adaptée dans ce cas.

C’est là qu’intervient un autre théorème, démontré en 1814 par Pierre-Simon Laplace. Laplace se demandait quelle était la probabilité que le soleil ne se lève pas demain, sachant qu’il s’est levé tous les jours d’après l’histoire connue (5000 ans). Il a alors démontré le théorème suivant sur des tirages aléatoires :

Règle de Succession de Laplace (LRS en anglais) Étant donné que quelque chose est arrivé m fois sur un total de n observations, la probabilité qu’il se produise lors de la prochaine observation est : (1 + m) / (2 + n)

Appliqué à notre exemple de 6 ans sans intrusion, on trouve (1 + 0) / (2 + 6) = 12,5% de chance d’avoir une intrusion l’année prochaine. Si on a aucune information sur l’événement, la LRS donne 50%, équivalant à tirer une boule rouge dans une urne contenant un nombre indéterminé de boules rouges et noires. À chaque tirage, la probabilité s’affine, mais n’atteindra jamais 0 ou 100%.

Si la Règle de Succession de Laplace donne un résultat irréaliste, c’est sans doute que vous ignorez d’autres informations pertinentes. Comme le souligne Daniel Kahneman, adopter une “vue externe” — en s’appuyant sur des données issues d’une classe de référence pertinente (par exemple, celles du reste de l’industrie) — permet d’obtenir une estimation plus réaliste que celle fondée uniquement sur la “vue interne” et vos observations propres.

Par exemple, si 1 détaillant sur 78 a eu un incident l’année passée, on peut évaluer à (1 + 1) / (2 + 78) = 2,5% la probabilité d’une attaque pour un détaillant en particulier l’année prochaine.

Le chapitre se conclut par une liste d’heuristiques parfois contraires à l’intuition habituelle :

1. Aussi compliqué ou “unique” que semble votre problème de mesure, partez du principe qu’il a déjà été mesuré auparavant.
2. Si vous êtes ingénieux, vous pouvez probablement trouver plus de sources de données que vous ne le pensez.
3. Vous avez probablement besoin de moins de données que vous le dicte votre intuition, ce qui est d’autant plus vrai que l’incertitude est grande.

Il existe de nombreuses méthodes plus avancées pour améliorer les mesures. Mais le point commun reste qu’elles s’appuient toutes sur le langage des statistiques.

Chapitre 3 - L’audit rapide des risques : partir d’un modèle quantitatif simple (The Rapid Risk Audit: Starting With a Simple Quantitative Risk Model)

L’objectif de ce chapitre est de proposer une méthode d’évaluation quantitative des risques guère plus compliquée que l’approche par matrice de risque.

Mise en place et terminologie

En prenant un poste de CISO dans une entreprise de taille moyenne dépourvue de structure cyber et de budget dédié, un Audit de Risque Rapide permet de bâtir un plan et d’obtenir son financement. En première approche, cela peut se faire en 1 à 2 heures, à partir de quelques interviews ciblées.

Il y a six termes clés pour mener les interviews.

1. Actifs (assets) - ils créent de la valeur que les menaces peuvent compromettre, entraînant un impact financier. Un actif peut être l’entreprise entière, une business unit, une application ou un service.
2. Menaces (threats) - Elles compromettent la valeur des actifs : extorsion par ransomware, fraude par email, interruption à la suite d’une attaque de fournisseur… C’est toute situation pouvant, de manière plausible et matérielle, affecter le business et l’empêcher d’atteindre ses objectifs. Un événement de menace est une instance de matérialisation d’une menace.
3. Vraisemblance (likelihood) - Probabilité qu’une menace se matérialise sur une période donnée (en général : 12 mois).
4. Impact - Montant perdu par suite d’un événement de menace. Il est toujours exprimé en termes monétaires, même pour les dommages à la réputation, à la qualité ou à la sûreté, en convertissant la “douleur” en équivalent financier.
5. Mesures de sécurité (controls) - Actions ou dispositifs réduisant la vraisemblance ou l’impact d’un événement de menace.
6. Intervalle de confiance (Confidence Interval ou Credible Interval, CI) - Représente l’incertitude sur l’estimation d’un impact monétaire par un intervalle [LB, UB] (LB = Lower Bound, UB = Upper Bound). Par défaut : CI à 90% → 5% de probabilité que la vraie valeur soit inférieure à l’intervalle et 5% qu’elle soit supérieure.

Les étapes de l’audit rapide

1. Identifier les sources internes
2. Définir les actifs (conseil : moins de 12)
3. Définir les menaces, en s’appuyant sur une liste de référence ou un registre des risques existant.
4. Évaluer les vraisemblances, à partir de rapports sectoriels ou, à défaut, en appliquant la règle de succession de Laplace (LRS).
5. Évaluer les impacts. Pour chaque menace pour chaque actif, estimer un CI à 90% de la perte potentielle. On utilisera une distribution avec une moyenne proche de la valeur basse.
6. Calculer l’Espérance de Perte Annuelle (Annual Expected Loss : AEL). On multiplie la valeur moyenne de la distribution par la vraisemblance. On peut se contenter de l’équation suivante : AEL = Vraisemblance x (0,65 x LB + 0,35 x UB)
7. Faire la somme des AEL.
8. Utiliser le résultat. On considérera la somme des AEL pour l’entreprise, pour évaluer l’ampleur du problème. Les AEL individuelles permettent une priorisation simple des principaux risques.

Les sources de données initiales

On peut s’appuyer sur des sources externes.

• Les primes d’assurance cyber vs l’AEL totale. L’assureur s’attend à payer moins de 60% des primes.
• Impact des ransomwares : un rapport Palo Alto estime le paiement moyen à $530000.
• Impact des fuites de données : le rapport 2015 DBIR de Verizon estime le coût d’un enregistrement à 58 cents.
• Impact des interruptions de service : généralement accessible avec des données internes.

De nombreuses autres sources externes sont exploitables, mais sont peut-être hors du scope d’un audit rapide.

L’expert comme instrument de mesure

Les méthodes qualitatives s’appuient sur des opinions d’experts. L’audit rapide des risques le fait également, mais en utilisant des probabilités et des impacts financiers.

On peut être plus réticent à estimer une probabilité. Pourtant c’est une approche tout à fait valable, et qui peut s’apprendre, notamment avec la technique de calibration. L’ironie est qu’on peut mesurer la performance à faire des estimations subjectives de probabilité.

Aide à la décision : retour d’investissement sur les mesures de sécurité

Le but de l’analyse de risque est d’aider à la décision. Les méthodes qualitatives sont peu précises pour cela. Ce qu’il faut pour le CISO est un retour d’investissement sur les mesures de sécurité (ROC : Return On Control)

ROC = (réduction de perte espérée / coût de la mesure) - 1.

Cela permet de s’aligner sur les conventions usuelles pour les autres investissements.

Calcul sur l’incertitude

Les intervalles sont plus complexes à manipuler que des valeurs précises (AEL) dans un tableau Excel. Par exemple, comment calculer la probabilité que la perte totale soit supérieure à 20 millions de dollars pour une année ? On ne peut pas utiliser les AEL pour cela.

Fort heureusement, on peut faire ce genre de calcul à l’aide de la méthode de simulation Monte Carlo. Elle consiste simplement à générer des milliers de scénarios aléatoirement.

Pour la vraisemblance, on tire un aléa entre 0 et 1, et on le compare à la vraisemblance estimée pour générer un 0 (pas d’événement) ou 1 (événement).

Pour l’impact, il faut utiliser l’inverse de la fonction de répartition de la loi considérée. Ainsi, en lui injectant un aléa entre 0 et 1, on obtient une valeur d’impact.

Sommer les risques

Dans chaque simulation, on peut faire la somme des impacts pour obtenir une perte totale. On obtient ainsi des milliers de pertes totales potentielles.

Le nombre de simulation peut être 10000, mais sur des distributions à longue traîne et/ou pour des événements rares, cela peut s’avérer insuffisant. Le plus simple alors est d’augmenter le nombre de simulations, par exemple 100000 ou 1 million.

Visualisation des risques avec une courbe de dépassement de perte (LEC : Loss Exceedance Curve)

Dans une matrice de risque, on représente la vraisemblance et l’impact par un simple point. Mais pour représenter la variabilité des impacts, un point unique n’est pas suffisant, il faut une courbe. Comme cela se fait dans d’autres disciplines comme l’actuariat, on va utiliser une courbe de dépassement de perte (LEC), qui indique pour chaque seuil de perte la probabilité correspondante.

On peut également ajouter une courbe de risque “inhérent” (avant l’application des mesures proposées), et une courbe de tolérance au risque. Si la courbe de risque inhérent dépasse par endroit la courbe de tolérance au risque, c’est qu’il est nécessaire d’ajouter des mesures, pour arriver à passer sous la courbe de tolérance au risque partout.

Un avantage considérable des LEC est qu’on peut sommer les risques sans erreur (en supposant l’indépendance ou en modélisant les dépendances), par exemple :

• pour certaines vulnérabilités
• pour une BU et certains systèmes
• pour l’entreprise globalement

Pour faciliter la visualisation, il vaut mieux multiplier les graphiques plutôt que superposer les courbes.

Comment obtenir la courbe de tolérance au risque ?

Cette courbe peut être déterminée par une réunion de 90 minutes avec le management, sous forme de questions-réponses du type :

Accepteriez-vous une probabilité de 10% par an de perdre plus de $5M ? Quelle probabilité accepteriez-vous pour une perte supérieure à $25M ?

Une fois quelques points déterminés, on peut interpoler avec une distribution classique.

L’expérience des auteurs montrent que les dirigeants comprennent très bien la notion de tolérance au risque sous forme de courbe.

Modélisation

L’incertitude des analystes peut se représenter par de nombreux modèles :

• estimation directe de la probabilité de de l’impact
• calcul à partir des types de menaces, de la puissance des menaces, des vulnérabilités, des caractéristiques des systèmes.
• calcul par application
• calcul par mesure de sécurité

Parmi les solutions pour décomposer le risque, on peut citer :

• la méthode Hubbard
• la méthode FAIR

Chapitre 4 - La mesure la plus importante en cybersécurité (The Single Most Important Measurement in Cybersecurity)

Ce chapitre traite de l’efficacité des experts et propose de mesurer leur performance, ainsi que celle des méthodes d’analyse de risque basées sur le jugement humain.

Les risques de l’analyse placebo

Il est connu dans le milieu scientifique que la personne la plus facile à tromper est soi-même (Feynman). Les analystes de risque cyber n’échappent pas à cette règle. La recherche a montré que les experts peuvent accumuler de la confiance sans pour autant améliorer leur performance réelle. Il est donc nécessaire de démontrer l’efficacité des méthodes d’analyse de risque comme on le fait pour les médicaments, en écartant l’opinion, fût-elle d’un expert, et en tenant compte de l’effet placebo. Les auteurs insistent sur la rigueur méthodologique qui les inspire.

Comme il n’existe pas d’étude rigoureuse sur l’efficacité des méthodes d’analyse de risques (quelle entreprise prendrait le risque d’être placée dans un groupe “placebo” ?), une approche possible est de comparer des composants de l’analyse de risque déjà bien étudiés en psychologie, notamment le composant humain.

La prééminence des algorithmes sur les experts

Les psychologues ont établi de façon très convaincante qu’un modèle statistique même simpliste est généralement plus performant qu’un expert pour faire une prédiction. On peut citer Paul Meehl dans les années 1950, et plus récemment Philippe Tetlock.

Les explications à ce phénomène tiennent à l’inefficacité de notre intuition de saisir les phénomènes statistiques. Or Kahneman a montré que même les professeurs de statistique avaient une intuition statistique déficiente ! Pour faire des statistiques correctes, il ne faut pas faire appel à l’intuition, mais au raisonnement.

Kahneman note que les conditions de l’apprentissage sont :

• le feedback doit être consistent et fréquent.
• le feedback doit être relativement immédiat.
• le feedback doit être non-ambigu.

Or, les évaluations de risque cyber remplissent rarement ces critères, ce qui limite les gains d’expérience. Cela n’exclut pas que les experts possèdent par ailleurs des connaissances techniques solides.

Un autre écueil est la validité de l’environnement d’apprentissage. En cybersécurité, on fait face à des événements rares et bruités, ce qui limite encore l’efficacité de l’apprentissage.

Il ne faut pas considérer pour autant que les experts sont inutiles. Ils sont même indispensables, mais doivent être entraînés (“calibrés”) pour faire des évaluations correctes. Sans cet entraînement, les experts surestiment souvent la précision de leurs estimations, même en donnant des intervalles de confiance. Des exercices de calibration, qui sont la spécialité de Hubbard, réduisent significativement ce biais et améliorent la précision des jugements.

Des méthodes éprouvées permettent de calibrer les jugements, et sont détaillées dans le chapitre 7.

Le problème du bruit

Un autre problème rencontré par les experts est la variabilité de leurs réponses lorsqu’on leur soumet la même question à différents moments. Kahneman, dans son dernier livre “Noise” (coécrit avec Olivier Sibony et Cass Sunstein), a montré que ce “bruit” est un phénomène important et souvent sous-estimé dans le jugement humain. Heureusement, des méthodes existent pour réduire ce bruit, et elles sont détaillées plus tard dans le livre.

Le problème de la collaboration

De nombreux travaux portent sur la façon de combiner les jugements subjectifs de plusieurs experts. La méthode la plus traditionnelle est surnommée BOGSAT (Bunch Of Guys Sitting Around Talking) : il s’agit tout simplement de réunir des experts dans une pièce pour discuter de la probabilité ou de l’impact d’un événement jusqu’à atteindre un consensus. Cette approche, bien que répandue, présente des limites importantes. Le simple fait de moyenner les estimations indépendantes améliore déjà les résultats. Le chapitre 7 fournit d’autres méthodes encore plus efficaces.

L’approche par décomposition

Il est possible d’améliorer les estimations d’experts en appliquant une approche par décomposition, avec quatre ou cinq paramètres. Plutôt que d’estimer directement la valeur recherchée, l’expert évalue des variables intermédiaires dont la combinaison permet d’obtenir le résultat final. Cette méthode peut améliorer la précision d’un facteur allant parfois de 10 à 100 ! Ce n’est pas surprenant si on pense à la façon d’estimer le prix d’un chariot de course en additionnant les prix unitaires plutôt qu’en faisant une évaluation globale.

Toutefois, la décomposition n’est utile que si l’incertitude sur les composants est plus faible que celle sur la valeur globale. Une mauvaise décomposition peut au contraire dégrader l’estimation.

Synthèse

• Se méfier des phrases commençant par “D’après mon expérience…”
• Utiliser autant que possible des modèles quantitatifs explicites fondés sur des données historiques, l’expert servant à sélectionner ces données et à configurer les modèles.
• Former les experts à fournir des probabilités subjectives mieux calibrées.
• Réduire la variabilité des estimations en prenant la moyenne d’estimations indépendantes de plusieurs experts.
• Recourir à la décomposition pour améliorer la précision quand c’est pertinent.

Chapitre 5 - Matrice de risques, facteurs de distorsion, idées reçues et autres obstacles à la mesure du risque (Risk Matrices, Lie Factors, Misconceptions, and Other Obstacles to Measuring Risk)

Ce chapitre explique pourquoi les approches par matrice de risque sont déconseillées.

Les auteurs ont fait un sondage sur les méthodes utilisés, qui montre que même si les méthodes quantitatives jouissent d’une bonne réputation, 61% des sondés utilisent des matrices de risque, et 74% des échelles ordinales pour évaluer et communiquer sur les risques.

Le risque des matrices de risque

Les échelles ordinales ne sont pas forcément un problème en théorie de la mesure. Mais leur usage à la place d’échelles de ratio pour des probabilités et des impacts est erroné, et réduit la fiabilité des estimations.

Le fait qu’il y a un large consensus en faveur des échelles ordinales (OWASP, ISO, …) doit être considéré avec suspicion, si on considère le problème de l’effet placebo évoqué précédemment.

Les 3 problèmes principaux sont :

• la psychologie des échelles
• L’application des mathématiques à des échelles ordinales
• la synergie (négative) entre les deux problèmes précédents.

La psychologie des échelles

Les échelles ordinales sont appréciées pour leur simplicité. Mais la recherche montre que des termes comme “peu probable” ou “très probable” sont interprétés de façon très variable selon les experts : par exemple “très probable” peut signifier de 50% à 100%, et “peu probable” de 5% à 35%.

D’autres études indiquent que même lorsque des intervalles précis sont fournis pour chaque valeur ordinale de probabilité, les experts ne les respectent pas dans près de 50% des cas.

Ces phénomènes produisent ce que Budescu nomme une “illusion de communication” : les gens pensent se comprendre, mais leurs interprétations divergent.

Un autre biais vient du choix même des échelles, dont le format influence fortement les réponses par effet d’ancrage (étude de Craig Fox).

Les (fausses) mathématiques des matrices`

Tony Cox a analysé en détail les problèmes posés par les matrices de risque. Il pointe en particulier la compression des échelles : par exemple, la case “10 millions ou plus” peut englober indifféremment 10, 100 ou 1000 millions.

Cette compression est encore aggravée par l’usage combiné de deux échelles ordinales dans une matrice. Cox montre que deux risques ayant une espérance de perte dans un rapport de 1 à 100 peuvent se retrouver dans la même case, et que dans certains cas, l’ordre de priorité peut même être inversé. Il conclut que les matrices de risque peuvent être néfastes, voire produire des résultats pires qu’une priorisation aléatoire.

Il précise que cela dépend de la conception des matrices et a formulé un théorème permettant d’obtenir une “cohérence faible”. Mais même dans ce cas, il considère les matrices comme des amplificateurs d’ambiguïté dont l’usage est déconseillé.

D’autres approches évitent les matrices, mais opèrent tout de même des calculs sur des valeurs ordinales, comme la méthode OWASP ou le système de notation CVSS, ce qui n’a pas de fondement mathématique solide et reste donc discutable.

Autres études à charge

L’ouvrage cite également deux autres études importantes qui mettent en évidence les effets de distorsion provoqués par l’usage des matrices de risque.

Étude de Hubbard et Evans : en collectant des données de cinq organisations, Hubbard a constaté que les réponses étaient regroupées sur peu de cases, si bien qu’une matrice 5x5 se comporte en réalité comme une 2x2. Ces regroupements amplifient les erreurs et réduisent la fiabilité des évaluations.

Étude de Philip Thomas, Reidar Bratvold, et J. Eric Bickel : après avoir passé en revue la littérature scientifique sur les matrices de risque (pétrole, gaz, autres secteurs industriels), ils observent que ces matrices présentent de graves incohérences et peuvent conduire à des erreurs importantes. Leur conclusion est sans appel :

Compte tenu de ces problèmes, il semble évident que les matrices de risque ne devraient pas être utilisées pour des décisions ayant des conséquences.

Autres conceptions erronées

Les méthodes quantitatives sont souvent critiquées pour leur imperfection. Mais, comme l’a bien dit le statisticien George Box : “Tous les modèles sont faux, mais certains sont utiles.” En pratique, beaucoup de professionnels se montrent moins rigoureux dans leur analyse critique des méthodes qualitatives que des méthodes quantitatives.

Impact de la culture statistique sur l’attitude envers les méthodes quantitatives

Les auteurs observent que la maîtrise des concepts de base de la statistique est fortement corrélée à l’acceptation des méthodes quantitatives. Plus globalement, c’est plutôt l’ignorance qui conduit à rejeter les méthodes quantitatives.

Autres critiques

Les auteurs passent en revue les objections fréquentes aux méthodes quantitatives, et montrent qu’elles sont infondées, ou qu’elles s’appliquent tout autant aux méthodes qualitatives.

Le chapitre se conclut par un encart de Jack Jones, concepteur de la méthode FAIR, qui plaide pour l’usage d’analyses de risque quantitatives. Il insiste sur l’importance de la pédagogie et d’un changement culturel pour surmonter les résistances et favoriser leur adoption.

Deuxième partie - L’évolution du modèle de risque en cybersécurité (Evolving the Model of Cybersecurity Risk)

Chapitre 6 – Décomposer : entrer dans les détails (Decompose It: Unpacking the Details)

Ce chapitre montre comment améliorer la précision des analyses d’impact en utilisant la décomposition introduite au chapitre 4.

Décomposition simple de l’impact

Une première approche consiste à décomposer l’impact selon les trois dimensions classiques “CIA” : Confidentialité, Intégrité et Disponibilité (Availability). On peut même regrouper Confidentialité et Intégrité, et de traiter la Disponibilité séparément, car l’impact des indisponibilités est souvent plus facile à estimer à partir des données internes.

Pour chaque événement de sécurité, on précise :

• la probabilité annuelle de survenue de l’événement
• la probabilité que l’événement relève purement de la Confidentialité/Intégrité
• la probabilité que l’événement relève purement de la Disponibilité
• l’impact sur Confidentialité/Intégrité sous forme d’intervalle de confiance à 90% (borne basse et borne haute)
• l’impact sur Disponibilité sous forme :
  • d’un intervalle de confiance à 90% pour la durée d’indisponibilité
  • d’un intervalle de confiance à 90% pour le coût horaire de l’indisponibilité

À partir de ces neuf paramètres, on peut calculer :

• l’espérance de perte pour la Confidentialité/Intégrité
• l’espérance de perte pour la Disponibilité
• la distribution des pertes Confidentialité/Intégrité (via simulation Monte-Carlo)
• la distribution des pertes Disponibilité (Monte-Carlo)
• la distribution des pertes totales (Monte-Carlo)

Il s’agit là seulement d’un exemple possible de décomposition ; le lecteur est invité à retenir le modèle le plus pertinent pour son contexte.

Quelques stratégies de décomposition

La sélection des événements à évaluer peut se faire selon différentes approches :

• par application ;
• par liste de risques
• par vulnérabilités
• par toute autre dimension pertinente.

La décomposition de chaque ligne doit ensuite reposer sur des choses qu’on connait (les observables). On peut citer les catégories suivantes :

• intervalle estimé (estimation directe en s’appuyant sur les connaissances)
• fraude financière
• indisponibilité des systèmes
• coûts d’investigation et de réparation
• atteinte à la propriété intellectuelle
• notification et surveillance de crédit
• impacts légaux et amendes
• autres interférences avec les opérations
• réputation

Lignes directrices pour la décomposition : Clair, Observable, Utile

Quand un analyste fait un calcul de tête pour arriver à une estimation, il est préférable de décomposer le problème et d’expliciter le calcul. La tâche de l’analyste est de trouver la bonne décomposition qui améliore effectivement les estimations de risque.

Ce n’est pas chose facile, car certaines stratégies de décompositions sont meilleures que d’autres, et il faut être capable de faire la différence. De plus, il est parfois préférable de ne pas décomposer.

Ron Howard a été un des pionniers de théorie de la décision. Il a réalisé que bien des difficultés n’étaient pas d’ordre mathématique. Ainsi, il a constaté que parfois les décideurs n’arrivaient même pas à définir le problème pour lequel ils devaient décider.

Howard a défini trois principes fondamentaux pour la prise de décision :

• Clarté : tout le monde doit savoir ce qu’on veut dire
• Observabilité : il faut pouvoir observer l’élément considéré
• Utilité : l’information doit avoir un impact direct sur une décision ou une action à entreprendre

Même si ces principes semblent évidents, ils ne sont pas toujours respectés. Prenons l’exemple du “Niveau de compétence des attaquants” dans le standard OWASP :

• Clarté : le niveau de compétence est-il défini sans ambiguïté ? Les échelles ordinales apportent-elles une réelle précision ?
• Observabilité : comment mesurer objectivement le niveau de compétence d’un attaquant ?
• Utilité : de quelle manière cette information modifierait-elle concrètement vos choix ou actions ?

Il est possible d’atteindre les trois prérequis pour ce cas, mais cela demande un gros effort. Dans le cas contraire (le plus courant), c’est de la spéculation pure et sans valeur ajoutée.

Éviter la sur-décomposition

Une décomposition doit mener à des quantités qui nous sont plus familières que celles recherchées initialement. Le degré d’abstraction de la décomposition devrait être inférieur à celui du tout.

Si une décomposition produit un intervalle plus large que celui déterminé initialement, cela permet de questionner les hypothèses faites pour déterminer l’intervalle initial, ou de questionner la décomposition.

Résumé des règles de décomposition

• Règle de décomposition #1 : les décompositions doivent s’appuyer sur ce qu’on sait mieux estimer ou qu’on peut obtenir
• Règle de décomposition #2 : comparer la décomposition à l’estimation directe au moyen d’une simulation. En cas d’incohérence, réviser soit la décomposition, soit l’estimation initiale.

On en déduit quelques considérations pratiques :

• Pour réduire l’incertitude en multipliant deux variables issues de la décomposition, chacune doit avoir un intervalle d’estimation sensiblement plus étroit que celui de l’intervalle de départ (règle empirique : réduire le ratio borne haute/basse par 3 au minimum).
• Si l’incertitude provient essentiellement d’une seule variable, son ratio borne haute/basse doit être inférieur à celui de l’estimation initiale.
• Lorsque les variables sont corrélées, la décomposition peut devenir contre-productive, sauf si la corrélation est explicitement modélisée.
• Si on dispose de données empiriques suffisantes pour estimer directement une distribution, il est souvent inutile de décomposer davantage.

Une décomposition difficile : l’atteinte à la réputation

L’estimation de l’impact d’une atteinte à la réputation est reconnue comme un problème difficile. La première approche consiste à observer l’effet sur les ventes ou sur la valorisation boursière, les deux étant souvent corrélés.

Après une analyse approfondie des données historiques, les auteurs distinguent deux situations :

• Fort impact visible : l’entreprise fournit des services où la cybersécurité est un élément central de la confiance des clients ; une atteinte à la réputation peut alors entraîner des pertes significatives (ex : SolarWinds, Equifax).
• Faible impact visible : la cybersécurité n’est pas au cœur de la valeur perçue par les clients ; l’effet sur les ventes ou la valorisation reste limité (ex : Marriott, Merck).

L’ampleur de l’impact dépend notamment :

• du type d’entreprise et de produit impactés
• du type de données divulguées
• de la fréquence des attaques
• de la réactivité lors de l’incident

Pour les cas à faible impact visible, une méthode plus fiable consiste à estimer les coûts des “projets de repentance” engagés après l’attaque :

• nouveaux investissements
• remplacement du CISO
• recours à des agences de communication de crise
• campagnes marketing ou publicitaires supplémentaires pour regagner la confiance et limiter les pertes commerciales.

On constate qu’avec un peu d’effort d’analyse, il est possible de donner des estimations raisonnables même pour une notion aussi intangible que l’atteinte à la réputation.

Chapitre 7 - Estimations calibrées : que savez-vous vraiment ? (Calibrated Estimates: How Much Do You Know Now?)

Ce chapitre se penche sur le problème de la calibration des estimations. Comme vu au chapitre 5, la recherche a montré que les gens sont médiocres pour déterminer des probabilités, mais peuvent être entraînés pour devenir très performants.

Probabilités subjectives

La méthode d’audit rapide met en œuvre deux types de probabilités subjectives :

• les probabilités binaires discrètes : la probabilité qu’un événement se produise ou non dans une période donnée (généralement un an)
• les probabilités continues : la plage de valeur que peut prendre une variable, par exemple la durée d’une panne ou le montant de perte financière.

Deux biais apparaissent fréquemment chez les analystes :

• la sur-confiance : les estimations sont moins souvent justes que ce que prédit l’analyste.
• la sous-confiance : les estimations sont plus souvent justes que ce que prédit l’analyste.

Les experts ont déterminé que les bookmakers étaient plus performants dans leurs estimations que des dirigeants. Ils ont compris que la capacité à faire des estimations est un savoir-faire qui s’apprend, avec des progrès mesurables.

Exercices de calibration

Les auteurs proposent un exercice de calibration pour les deux types de probabilités subjectives. Cela permet au lecteur de se faire une idée de ses biais et des principes de calibration.

Les questions pour les probabilités continues sont du type : quelle est la taille typique d’une carte de visite ? Il faut répondre par un intervalle de confiance à 90% (par exemple : entre 5 et 8 cm).

Les questions sur les probabilités binaires sont du type : Napoléon est né en Corse. Il faut répondre vrai ou faux, et donner son degré de confiance dans l’exactitude de sa réponse, entre 50 et 100% par incrément de 10%.

Certaines questions peuvent être familières, d’autres non. Mais dans tous les cas il est possible de répondre, simplement en augmentant le degré d’incertitude.

Une petite expérience de pensée permet d’améliorer les estimations initiales. On imagine faire tourner une roue de la fortune avec une grande zone couvrant 90% de la surface, et une petite zone couvrant 10% de la surface. On a le choix entre deux jeux pour gagner potentiellement 1000 dollars : A. On gagne 1000 dollars si la bonne réponse est bien dans notre intervalle estimé, et rien si l’estimation est en-dehors de l’intervalle. B. On gagne 1000 dollars si en faisant tourner la roue on tombe dans la grande zone, et rien si on tombe dans la petite zone.

80% des gens préfèrent faire tourner la roue (option B). La seule explication rationnelle est que l’intervalle estimé n’est pas l’intervalle de confiance à 90%, mais plutôt à 50%, 65% ou 80%. C’est le cas de la sur-confiance (le plus fréquent).

Le fait de préférer l’option A est également indésirable, car cela signifie qu’on pense en réalité avoir plus de 90% de chance que l’intervalle estimé contienne la bonne valeur, alors qu’on est censé donner un intervalle à 90%. C’est le cas de la sous-confiance (moins fréquent).

La seule bonne réponse est d’être indifférent aux deux options A et B, car on estime qu’elles sont équivalentes.

Hubbard appelle ce test le “test de pari équivalent”. Ce test permet d’améliorer sensiblement les estimations, en décelant un décalage entre la confiance affichée (90%) et la confiance révélée par les choix.

Autres méthodes d’amélioration

Répétition et feedback - On fait des quiz successifs, avec un feedback entre chaque pour tenter d’améliorer sa performance sur le suivant.

Pour et contre - On peut rechercher deux arguments pour et deux arguments contre l’estimation qu’on vient de faire. On peut alors corriger l’estimation si on le souhaite. Cette méthode améliore significativement la calibration.

Anti-ancrage - On considère chaque borne de l’intervalle indépendamment et on se pose une question binaire pour chacune : est-on vraiment certain que 5% des valeurs sont à l’extérieur de cette borne ? Travailler séparément sur les deux bornes et indépendamment d’une valeur médiane s’avère efficace pour lutter contre le biais d’ancrage.

Test par l’absurde - On part d’un intervalle démesurément large, et on le raffine jusqu’à avoir des valeurs qui sont peu plausibles (5%) mais plus absurdes.

Obstacles conceptuels

Certains professionnels réfutent l’idée de donner une probabilité subjective, estimant qu’un événement unique ne peut pas être quantifié. Les exercices de calibration montrent qu’ils peuvent, après entraînement, fournir des estimations fiables.

D’autres sont réticents à donner un intervalle chiffré, en confondant incertitude et absence totale de connaissance. En réalité, on dispose presque toujours de bornes plausibles. L’approche anti-ancrage et le test par l’absurde aident à définir un intervalle de confiance réaliste.

Subjectivistes vs objectivistes

Le chapitre contient un encart sur le débat philosophique non tranché entre subjectivistes et objectivistes. La plupart des décideurs ont une vision subjectiviste, comme celle des auteurs, qui s’appuie sur l’interprétation bayésienne de la probabilité. A contrario, les objectivistes ont une interprétation fréquentiste, qui s’avère plus difficile à comprendre et moins opérationnelle.

Les effets de la calibration

Grâce aux données acquises lors de la formation de plus de 2000 personnes, Hubbard a montré que la plupart atteignent une bonne calibration. Dans un cas réel avec Giga Information Group (une entreprise de conseil rachetée par Forrester), les analystes calibrés produisaient des intervalles de confiance bien plus fiables que ceux des clients, même si le taux de réponses exactes n’était pas systématiquement plus élevé.

Autres méthodes avancées d’amélioration

Pour conserver une bonne calibration, les auteurs recommandent de faire régulièrement des estimations d’entraînement sur des questions avec un retour rapide et non ambigu (par exemple estimer un résultat prochainement publié dans un rapport sectoriel).

Pour réduire le manque de cohérence, plusieurs méthodes simples s’avèrent efficaces :

• Faire la moyenne des estimations de plusieurs experts
• Estimer à nouveau les questions par le même expert après plusieurs jours d’intervalle, en changeant l’ordre des questions, et sans révéler la précédente estimation, puis faire la moyenne.
• Confronter les estimations à la réalité - Si une estimation permet de conclure qu’on doit voir un tel événement plusieurs fois par an, et qu’il s’avère qu’aucun événement n’a été vu les cinq dernières années, alors on voudra sans doute réviser l’estimation.

Agrégation des experts

La recherche de consensus par discussion de groupe est l’une des méthodes les moins performantes. La moyenne d’estimations indépendantes donne de meilleurs résultats. Cependant, il existe des exceptions : Philip Tetlock a montré que si un groupe est composé d’actualisateurs de croyances (belief updaters), la discussion peut améliorer la précision. Par ailleurs, si deux experts jugent qu’un événement est plus probable que la normale, alors il est encore plus probable que la moyenne de leurs estimations. C’est la méthode dite d’extrémisation de la moyenne.

Chapitre 8 - Réduire l’incertitude avec des méthodes bayésiennes (Reducing Uncertainty with Bayesian Methods)

Ce chapitre rappelle les fondements mathématiques de l’approche bayésienne.

1. Notations

• P(A) désigne la probabilité de A, entre 0 et 1 inclus.
• P(~A) désigne la probabilité de non A.

2. P(A) + P(~A) = 1
3. P(A, B) signifie que A et B sont vrais tous les deux. Si A et B sont indépendants, P(A, B) = P(A)P(B). Également, P(A, B) = P(B, A), c’est la commutativité.
4. P(A|B) est la probabilité conditionnelle de A sachant B.
5. Règle de chaînage : P(A, B) = P(A|B)P(B), P(A, B, C) = P(A|B, C)P(B|C)P(C), etc.
6. Loi des probabilités totales : P(A) = P(A|B)P(B) + P(A|~B)P(~B)
7. Comment inverser une probabilité conditionnelle : loi de Bayes

P(A|B) = P(A)P(B|A)/P(B) P(A|B) = P(A)P(B∣A)/(P(B∣A)P(A)+P(B∣~A)P(~A))

Exemple : est-ce que MFA fonctionne ?

E1 - Sur la base de données sectorielles, on estime la probabilité d’intrusion sans MFA entre 4% et 16%, et on le fixe ici à 10% par an. Avant d’investir dans une solution MFA, on souhaite estimer dans quelle mesure elle réduirait cette probabilité.

La promesse de MFA est de réduire le risque d’intrusion de 90% (efficacité relative).

On sait qu’une entreprise similaire ayant mis en place du MFA n’a eu aucune intrusion l’année dernière. Peut-on exploiter cette information ?

On note W l’événement “MFA est efficace” et B l’événement “une intrusion a lieu”.

Sans MFA, la probabilité d’avoir une intrusion était de 10%. Donc la probabilité d’intrusion avec MFA qui fonctionne est 0,1 * 0,1 = 0,01 = P(B|W)

Donc P(~B|W) = 0,99

E2 - On estime la probabilité que la promesse d’efficacité soit vraie à P(W) = 60%

D’après E1 : P(~B|~W) = 0,9

Appliquons la loi des probabilités totales :

P(~B) = P(~B|W)P(W) + P(~B|~W)P(~W) = 0,99 0,6 + 0,9 0,4 = 0,954

On veut calculer la probabilité que MFA soit efficace sachant qu’on a observé l’absence d’intrusion. Appliquons Bayes :

P(W|~B) = P(W)P(~B|W)/P(~B) = 0,6 * 0,99 / 0,954 ≈ 0,6226

On a donc révisé notre estimation de 60% à 62,26%, simplement sur la base d’une observation. Notre nouvelle estimation de la probabilité d’intrusion est :

P(B) = P(B|W)P(W)’ + P(B|~W)P(~W)’ = 0,01 0,6226 + 0,1 0,3774 ≈ 0,04397

Notre estimation de la probabilité d’intrusion passe donc de 4,6% à 4,397%

Maintenant supposons que l’on connaisse 12 entreprises qui n’ont pas eu d’intrusion pendant un an après application de MFA.

Si W est vraie, la probabilité d’absence d’intrusion passe de 0,99 à P(~B^12|W) = 0,99^12 = 0,8864

Si W n’est pas vraie, elle passe de 0,9 à P(~B^12|~W) = 0,9 ^ 12 = 0,2824

Appliquons la loi des probabilités totales :

P(~B^12) = P(~B^12|W)P(W) + P(~B^12|~W)P(~W) = 0,8864 0,6 + 0,2824 0,4 ≈ 0,6448

On veut calculer la probabilité que MFA soit efficace sachant qu’on a observé l’absence d’intrusion sur 12 entreprises. Appliquons Bayes :

P(W|~B^12) = P(W)P(~B^12|W)/P(~B^12) = 0,6 * 0,8864 / 0,6448 ≈ 0,8248

On a donc révisé notre estimation de 60% à 82,48%, sur la base de 12 observations. Notre nouvelle estimation de la probabilité d’intrusion est :

P(B) = P(B|W)P(W)” + P(B|~W)P(~W)” = 0,01 0,8248 + 0,1 0,1752 ≈ 0,02577

Notre estimation de la probabilité d’intrusion passe donc de 4,397% (1 observation) à 2,577% (12 observations).

Note sur les probabilités a priori

Dans un raisonnement bayésien, un a priori représente ce que l’on croit avant d’observer de nouvelles données. Il peut venir :

• de la connaissance d’un expert ou d’observations passées (a priori informatif)
• d’une absence totale d’information, comme 50% pour une valeur binaire (a priori non informatif).

Le sophisme du procureur

Dans de nombreuses questions pratiques, il est plus simple de calculer la probabilité d’une observation sachant qu’une hypothèse est vraie, que de calculer la probabilité que l’hypothèse soit vraie sachant les observations.

Supposons qu’on veuille estimer la probabilité d’intrusion dans notre entreprise l’an prochain sachant que dans notre secteur, 2 entreprises sur 20 ont rapporté une intrusion au cours des 3 dernières années ?

Hypothèse H : le taux vrai d’intrusion est 3%

Observations E : on observe 2 intrusions sur 20 entreprises en 3 ans

P(E|H) est la vraisemblance (probabilité d’observer les données si le taux vrai est de 3%) -> facile à calculer avec une loi binomiale

P(H|E) est l’a posteriori (probabilité que le taux vrai soit 3% sachant les observations) -> nécessite la valeur précédente plus l’application du théorème de Bayes

La confusion entre ces deux valeurs constitue le sophisme du procureur.

Exemple hors du livre pour illustrer ce sophisme

La probabilité d’une mort subite du nourrisson est 1/10000.

Si une mère perd son enfant, le sophisme consiste à dire qu’il n’y a qu’une chance sur 10000 que ce soit une cause naturelle, et donc 99,99% de probabilité que ce soit un meurtre.

Le calcul est bien sûr faux. Pour tester l’hypothèse H = meurtre, il faut utiliser Bayes avec deux valeurs supplémentaires :

• l’a priori, sur le fait qu’une mère tue son enfant (très faible, 1/200000) : P(H) = 0,000005
• P (E|H) -> environ 1 pour un homicide

Le calcul correct est :

P(H|E) = P(E|H)P(H) / P(E) = P(E|H)P(H) / (P(E|H)P(H) + P(E|~H)P(~H)) = 1 * 0,000005 / (10,000005 + 0,0001(1 - 0,000005)) ≈ 4,8%

Donc la probabilité d’homicide passe de 1 sur 200000 a priori à environ 4,8% a posteriori, bien loin des 99,99% avancés par le sophisme.

Chapitre 9 - Quelques méthodes puissantes basées sur Bayes (Some Powerful Methods Based on Bayes)

Ce chapitre montre comment mettre en œuvre les approches bayésiennes sur des cas plus avancés.

Calculer des fréquences avec (très) peu de points : la distribution beta

Dans un monde idéal, on disposerait de tables actuarielles des événements cyber, comme on l’a pour d’autres domaines d’assurance. Ces tables contiendraient des informations sur des milliers d’entreprises, sur plusieurs décennies. On pourrait les utiliser pour calculer la fréquence des violations de données personnelles.

En réalité on n’a pas autant de données, seuls quelques cas médiatisés. Heureusement, la distribution beta permet de faire une inférence à partir de très peu de données.

Paradoxalement, on a beaucoup d’informations sur les fuites de données, car c’est précisément leur médiatisation qui cause la plus grosse partie de l’impact financier au travers de l’impact de réputation. Une fuite de données non divulguée aura un impact financier très limité.

Si on dispose dans un rapport sectoriel d’informations sur cinq fuites de données dans notre secteur, c’est suffisant pour faire une inférence, contrairement à la croyance naïve qu’un petit échantillon ne permet aucun calcul statistique.

Une distribution beta est utile quand on veut essayer d’estimer une proportion dans une population. Elle ne nécessite que deux paramètres : α et β. Sous Excel, elle s’écrit

= betadist(x, α, β)

On peut considérer α et β comme des succès et échecs dans un tirage. On a également besoin d’un a priori sur la proportion, qui peut venir d’une estimation d’un expert calibré, sous la forme d’un intervalle de confiance à 90%. On prend l’exemple de la proportion d’employés qui suivent correctement une procédure sur le traitement des mails suspects. L’expert peut estimer avec un intervalle de confiance à 90% que cette proportion est entre 10 et 40%

On peut aussi prendre un a priori sans information : un intervalle de confiance de 0 à 100%. Dans ce cas, α = β = 1, et on obtient une distribution uniforme entre 0 et 1.

Supposons maintenant qu’on ait un nouvel échantillon avec un succès et cinq échecs. On va alors calculer :

betadist(x, α précédent + succès, β précédent + échecs)

Dans l’exemple, on trouve un intervalle de confiance à 90% de 5,3% à 52%.

Le fait de ne pas connaître la taille de toute la population n’est pas bloquant, on peut se baser sur la taille d’un échantillon :

• on prend une étude sectorielle sur les entreprises comparables à la nôtre -> taille de l’échantillon, par exemple 60 sur 2 ans, soit 120 entreprises-années.
• on regarde le rapport DBIR de Verizon pour voir quelles entreprises parmi cette liste ont subi une fuite de données sur cette période de 2 ans, par exemple 2.

On calcule alors :

betadist(x, 1 + 2, 1 + 118)

La distribution beta est très facilement mise à jour, pour chaque nouvelle période, pas forcément annuelle.

Si on a un a priori informé, on peut faire différents essais de α et β jusqu’à trouver une distribution qui correspond à l’estimation. L’intervalle de confiance à 90% peut être calculé de cette façon :

beta.inv(0.05, α, β) beta.inv(0.95, α, β)

Effet de la distribution beta sur votre modèle

Si on compare la courbe de dépassement de perte entre une distribution binomiale avec une proportion tirée de notre échantillon d’une part, et la distribution beta d’autre part, on constate que la moyenne est la même, mais la distribution beta a une traînée bien plus importante, ce qui peut provoquer un dépassement de la tolérance au risque. Les auteurs pensent que c’est un manque fréquent dans les analyses de risque.

Le chapitre comporte un autre exemple d’utilisation d’une distribution beta utilisée par un client de Hubbard Decision Research pour dimensionner son équipe de réponse à incident.

Laplace et beta

La moyenne d’une distribution beta est α / (α + β). Quand on part de la distribution uniforme, et qu’on ajoute succès et échecs, on obtient :

(1 + succès) / (2 + succès + échecs)

On retrouve la règle de succession de Laplace, qui est juste la moyenne d’une distribution beta en partant d’un a priori sans information.

Décomposition avec de nombreuses conditions

Si notre modèle comporte 10 conditions avec chacune 2, 3 ou 4 valeurs, on se retrouve rapidement avec des milliers de combinaisons. Il est impossible en pratique d’interroger un expert sur un si grand nombre de combinaisons.

Heureusement, deux méthodes permettent de réduire le nombre de questions à poser.

Approche Log Odds Ratio (LOR)

Cette méthode permet à un expert d’estimer chaque condition séparément, et de les combiner par simple addition. On a la définition suivante :

LOR = ln(P(x) / (1 - P(x)))

On obtient une valeur négative pour P(X) < 0,5, positive pour P(X) > 0,5, et nulle pour P(X) = 0,5.

La procédure est la suivante :

1. Identifier les experts et les calibrer.
2. Déterminer une probabilité de base P(E).
3. Estimer la probabilité conditionnelle que l’actif rencontre cet événement sachant une certaine condition P(E|X).
4. Répéter pour toutes les valeurs de la condition.
5. Convertir toutes les probabilités recueillies en LOR.
6. Calculer le delta LOR pour chaque condition, à savoir la différence entre le LOR de la condition et le LOR de la probabilité de base.
7. Calculer le LOR de toutes les combinaisons par simple addition des delta LOR correspondants
8. Convertir la LOR en probabilité pour chaque combinaison.
9. Pour les conditions contenant des événements certains ou impossibles, forcer la probabilité à 1 ou 0 (le calcul échouerait avec LOR).

Les auteurs insistent sur le fait que cette approche et toutes celles qui précèdent sont parfaitement pragmatiques et ont été appliquées à de nombreuses reprises.

Un exemple de dialogue entre un analyste et un expert est fourni pour illustrer comment obtenir les informations pour l’approche LOR.

Il faut noter que LOR fonctionne bien tant que les conditions sont indépendantes entre elles. Si deux conditions sont corrélées, le plus simple est d’en ignorer une des deux.

La méthode Lens

Une autre approche pour remplir un grand tableau de combinaisons est de choisir un échantillon de combinaisons et de faire évaluer l’échantillon par les experts, puis de combiner par régression. Curieusement, le modèle qui en ressort s’avère plus performant que les experts qui ont servi à le concevoir.

Le modèle Lens a été inventé par Egon Brunswick dans les années 1950, et a fait ses preuves dans de très nombreux domaines, y compris en cybersécurité. Ce modèle ne cherche pas à décomposer l’influence de chaque variable, mais simplement d’inférer les règles en observant les experts.

La méthode comporte sept étapes :

1. Identifier les experts et les calibrer.
2. Leur demander d’identifier une dizaine ou moins de facteurs qui influencent la décision.
3. Générer un ensemble de scénarios en utilisant une combinaison de valeurs pour chaque facteur identifié. Générer 50 à 200 scénarios pour chaque expert.
4. Demander aux experts de fournir une estimation pour chaque scénario.
5. Agréger les estimations des experts, par exemple en faisant la moyenne.
6. Faire une régression en prenant la moyenne des estimations d’experts comme la variable dépendante et les données fournies aux experts comme la variable indépendante. Il peut être nécessaire de coder les entrées, ou d’utiliser des méthodes de régression multinomiale.
7. Le résultat de la régression fournit le modèle Lens.

Ce modèle permet d’éliminer les incohérences des experts.

Comparaison entre modèle Lens et LOR

1. LOR est un peu plus rapide à faire.
2. Lens permet de gérer des interactions plus complexes entre variables.
3. LOR est un peu plus simple.
4. LOR tend à produire de bien plus grandes variations des estimations que Lens.
5. Les deux méthodes réduisent les incohérences, mais Lens fournit une façon plus simple de la mesurer.

Pour LOR, il est important de vérifier les conditions extrêmes. Il est possible que certaines variables soient corrélées, auquel cas il est recommandé d’en supprimer une.

Même en mettant en œuvre Lens, il est intéressant de démarrer par LOR pour aider les experts à choisir les conditions, en éliminant celles qui ne font pas varier les estimations.

Les réticences classiques des experts sont exposées avec la façon d’y répondre.

LOR depuis les autres professionnels de la cybersécurité

En compilant les données de nombreuses organisations, les auteurs ont identifié cinq attributs qui sont les plus pertinents :

• MFA
• Chiffrement
• Nombre d’utilisateurs
• Connecté à internet ou pas
• Localisation physique

Ainsi, les auteurs ont trouvé un delta-LOR pour MFA de 2,2, et fournissent les autres valeurs également.

LOR peut aussi être utilisé pour améliorer la façon de combiner les estimations d’experts. Le chapitre détaille cette méthode avancée.

Une autre application avancée est de calculer la valeur d’une information.

Le reste du chapitre présente d’autres cas d’usage encore plus avancés. Il se termine par la distribution gamma, qui a l’avantage sur la distribution beta de pouvoir fournir des valeurs positives supérieures à 1, par exemple pour estimer une fréquence.

Conclusion

Les approches bayésiennes peuvent s’appliquer à des problèmes simples ou plus élaborés. Il n’est pas nécessaire de tout utiliser immédiatement, mais plutôt de manière progressive.

Tous les outils présentés sont disponibles sur https://www.howtomeasureanything.com/cybersecurity

Troisième partie - Le management du risque cyber pour l’entreprise (Cybersecurity Risk Management for the Enterprise)

Chapitre 10 - Vers la maturité des métriques de sécurité (Toward Security Metrics Maturity)

Ce chapitre s’appuie sur l’ouvrage The Metrics Manifesto, de Richard Seiersen (l’un des deux auteurs), publié en 2022 chez Wiley. Il fournit un modèle opérationnel de maturité des métriques cyber.

Une métrique est une mesure continue associée à un objectif.

Analytique à données limitées (Sparse Data Analytics, SDA)

C’est le premier niveau de maturité, adapté au lancement d’un programme cyber. Il nécessite peu d’information, comme vu dans les chapitres précédents. Il permet de répondre à la question “dans quoi dois-je investir ?”, et s’appuie sur des opinions d’experts et des données ad-hoc.

Métriques fonctionnelles de sécurité (Functional Security Metrics, FSM)

Une fois les investissements faits, la bonne question est de savoir si les mesures de sécurité sont efficaces, en termes de couverture opérationnelle, configuration système et réduction des risques pour les principaux domaines.

On distingue deux familles de métriques :

1. Les métriques de couverture et configuration : elles mesurent l’efficacité opérationnelle, en termes de déploiement, de configuration efficace.
2. Les métriques d’atténuation : elles mesurent à quel rythme des risques sont ajoutés et retirés de l’organisation.

Le modèle BOOM

BOOM signifie “Baseline Objectives and Optimization Measurements”. C’est le référentiel de métriques décrit dans l’ouvrage The Metrics Manifesto. Il contient cinq types de métriques :

1. Taux de réduction (Burndown rate) : taux de base auquel le risque est éliminé au fil du temps.
2. Survie (Survival) : durée de vie (TTL) du risque.
3. Taux d’arrivée (Arrival rate) : taux auquel le risque apparaît.
4. Temps d’attente (Wait-time) : temps écoulé entre deux apparitions de risques.
5. Taux d’évasion (Escape rate) : taux auquel le risque se déplace.

Les métriques évasions, temps d’attente, et arrivée sont orientées prévention (shift-left), tandis que survie et taux de réduction mesurent la réaction après incident (shift-right).

Taux de réduction (burndown)

Il s’agit d’un ratio en fonction du temps, les attaques réussies en numérateur (hits), le nombre total d’attaques en dénominateur (hits + misses).

Prenons par exemple les vulnérabilités découvertes et remédiées.

• janvier : 100 découvertes, 50 remédiées -> burndown = 50%
• février : +100 découvertes, +30 remédiées -> burndown = 40% (80/200)

On voit qu’on peut appliquer la distribution beta pour calculer l’intervalle de confiance, et savoir si on a atteint notre objectif (par exemple 60% ou plus).

Cela permet de mesurer à la fois la capacité et la régularité dans le temps.

Durées de survie

Ces métriques mesurent la durée pendant laquelle un problème reste actif avant d’être résolu. Exemples : délai nécessaire pour patcher une vulnérabilité ou bloquer un domaine malveillant.

Cette approche repose sur l’analyse de survie, qui prend en compte les risques encore non résolus (censurés). Dans ce contexte, censuré signifie qu’il manque une information (par exemple la date de résolution). Lorsque l’information devient disponible, on enregistre un événement d’intérêt (hazard), c’est-à-dire l’action ou l’occurrence qui met fin à la vie du risque.

L’analyse statistique peut être réalisée avec des fonctions dédiées à l’analyse de survie, afin de calculer des métriques comme l’intervalle de durée de remédiation avec un niveau de confiance de 90%.

Taux d’arrivée

Une métrique de prévention importante est le taux d’arrivée (arrival rate), qui mesure la fréquence à laquelle de nouveaux risques apparaissent dans l’organisation.

Exemple - phishing :

• Organisation de 10000 employés.
• L’équipe sécurité estime, sur la base de son expérience, environ 5 attaques de phishing par semaine.
• Comme il s’agit d’une estimation a priori issue d’experts, on la modélise avec une distribution Gamma(5, 1).

Ensuite, on collecte des données réelles : 87 attaques de phishing sur 12 semaines. Pour les données observées, on utilise une loi de Poisson(87/12), soit 7,25 événements/semaine.

On peut combiner la connaissance a priori (Gamma) avec les observations (Poisson) pour obtenir une estimation plus pertinente. Le code R correspondant est disponible sur https://themetricsmanifesto.com.

La suite du chapitre explique comment vérifier l’efficacité d’une nouvelle mesure de sécurité en utilisant un test A/B bayésien :

• Groupe A : données avant la mise en place de la mesure.
• Groupe B : données après la mise en place.
• Objectif : obtenir un intervalle de confiance à 90% entièrement en zone négative pour la différence B - A.

Temps d’attente

Cette nouvelle métrique est étroitement liée au taux d’arrivée. Elle mesure le délai entre deux arrivées. Les variations de ce délai jouent le rôle d’un canari dans une mine : elles révèlent plus finement qu’un simple taux d’arrivée des changements notables.

Pour estimer la probabilité d’arrivée d’un événement, Seiersen propose tout d’abord une approche non bayésienne. La fonction non_bayes_waits() modélise les temps inter-arrivée selon une loi exponentielle (processus de Poisson) et produit une courbe de probabilité cumulée en fonction du temps écoulé depuis le dernier événement, partant de zéro et convergeant asymptotiquement vers 1.

Cependant, ce modèle réagit mal à la sur-dispersion (forte variabilité, jours “à zéro”, pics exceptionnels). On peut alors recourir à une approche bayésienne : une période initiale fournit l’a priori, et les données suivantes mettent à jour la croyance pour obtenir l’a posteriori. C’est le rôle de la fonction bayes_waits_basic(), qui combine les deux sources d’information et produit des simulations prédictives. On obtient ainsi une distribution intuitive, permettant par exemple d’estimer la probabilité que l’événement se produise en 1 jour, en 4 jours, etc.

Taux d’évasion

En développement logiciel, le taux d’évasion mesure la proportion de bugs qui parviennent jusqu’en production en échappant aux contrôles prévus, rapportée à l’ensemble des bugs identifiés soit en développement/staging, soit en production. C’est donc un indicateur direct de l’efficacité des contrôles en amont.

Ce principe s’applique aussi à de nombreuses métriques de sécurité : vulnérabilités, problèmes de configuration, ou plus généralement tout événement qui franchit une “barrière” de protection. Par extension, un SLA peut être considéré comme une barrière : un problème résolu dans le délai du SLA est réputé maîtrisé, tandis qu’un problème persistant au-delà est assimilé à une évasion.

Le chapitre décrit aussi une technique pour corriger les biais liés à la taille des échantillons. Les petits échantillons peuvent donner des résultats trompeurs (effet “coup de chance”), tandis que les séries plus longues inspirent davantage confiance. La fonction emp_bayes_avg() applique une approche bayésienne empirique qui ajuste la moyenne observée en la pondérant par des données de référence issues de l’ensemble des groupes.

Les magasins de données de sécurité (Security Data Mart - SDM)

Les magasins de données de sécurité permettent de répondre à des questions sur l’efficacité des programmes de cybersécurité, et d’estimer le risque résiduel. Ils sont particulièrement efficaces pour mesurer la durée pendant laquelle une activité malveillante est restée présente dans le système sans être détectée.

Les analytiques prescriptives

On distingue trois grandes familles d’analytique :

• Analytique descriptive : la plus courante, elle présente des agrégats (sommes, moyennes) sur des sujets d’intérêt, même lorsqu’elle s’appuie sur un SDM.
• Analytique prédictive : elle estime la probabilité qu’un événement se produise, à partir de données historiques et de modèles adaptés.
• Analytique prescriptive : en combinant des modèles issus de la science des données et de la science de la décision, elle formule des recommandations optimisées sur la meilleure action à entreprendre.

L’idée est de prendre en compte dès le départ l’analyse de la décision, et de la faire maturer en injectant progressivement des données observées. Les décisions prises deviennent elles-mêmes des données qui alimentent et affinent en continu le modèle.

Cette approche est particulièrement utile pour prioriser le traitement des signaux avant-coureurs, car il n’est pas possible de tous les traiter en pratique.

Ce domaine, qui touche à l’intelligence artificielle appliquée à la sécurité, devrait connaître d’importants développements dans les années à venir.

Chapitre 11 - Évaluer l’efficacité conjointe des investissements en sécurité (How Well Are My Security Investments Working Together?)

Les approches présentées aux chapitres 8 et 9 permettent d’orienter les choix d’investissements en cybersécurité malgré des données limitées. Une fois ces décisions prises, il faut mesurer si les mesures mises en place atteignent bien les objectifs fixés (KPI). Pour cela, on s’appuie sur le référentiel BOOM. Cette étape ouvre la voie à l’usage de la Business Intelligence (BI) appliquée à la cybersécurité, un domaine très mature dans d’autres secteurs mais encore peu exploité ici.

Snowflake pour la BI en cybersécurité

Le chapitre inclut une contribution d’Omer Singer, présentant la mise en œuvre d’une stack technologique BI moderne basée sur Snowflake. L’exemple traité répond à la question : « Quel pourcentage de fermetures de comptes ont pris trop de temps ? », en exploitant les données issues de Workday et ServiceNow. L’analyse du traitement des vulnérabilités est également détaillée.

Modélisation dimensionnelle

Le texte introduit ensuite la modélisation dimensionnelle, qui vise à définir les dimensions permettant de relier les objets dans des magasins de données.

Dans ce modèle, trois dimensions fondamentales forment un cube d’analyse : temps, valeur et risque.

En modélisation simplifiée, deux types d’objets sont utilisés : les faits et les dimensions. Un regroupement de dimensions associé à une liste de faits constitue un magasin de données.

Si on décline les dimensions fondamentales pour la gestion des vulnérabilités, on obtient une table de faits qui relie les dimensions suivantes :

• le temps, sous forme de dates
• la valeur, sous forme d’actifs
• le risque, sous forme de vulnérabilités

Les dimensions conformes sont celles qui relient différents magasins de données. Elles permettent aussi bien l’exploration descendante (drill down) à l’intérieur d’un magasin de données que l’exploration transversale (drill across) entre plusieurs magasins de données.

Les deux principales dimensions conformes sont :

• la date
• les actifs (portfolio, application, produit, serveur, serveur virtuel, conteneur, microservice, données, etc.)

Pour chaque actif, on s’intéresse aux vulnérabilités, à la configuration, aux mesures d’atténuation.

Qu’est-ce qu’un “fait de sécurité” ? C’est simplement un événement qui a eu lieu, comme un changement de règle de pare-feu, ou le blocage d’une attaque par un système de prévention des intrusions.

Une dimension est la décomposition de quelque chose d’intéressant, la liste des caractéristiques d’un fait qui sont utiles pour poser des questions variées.

Pour trouver le bon niveau de décomposition, appliquez le principe de simplicité KISS (Keep It Simple, Stupid).

Exemple pratique : menaces avancées de vol de données (Advanced Data Stealing Threats - ADST)

On définit une métrique qui suit les malwares capables d’exfiltrer des données et initialement non détectés par les défenses en place. Pour cela, on utilise une analyse de survie (voir chapitre 10) pour représenter la fonction de survie : en abscisse, la durée d’activité avant détection ; en ordonnée, la proportion de menaces encore actives.

L’objectif est, par exemple, de réduire de 20% le nombre de menaces restant actives 70 jours ou plus.

Le magasin de données ADST relie plusieurs dimensions :

• Actifs : systèmes des utilisateurs finaux (postes, portables, etc.).
• HTTP bloqué : historique des tentatives de communication vers des sites malveillants connus.
• Vulnérabilités : données descriptives issues des outils de gestion/scans de vulnérabilités.
• Configuration : inventaire et suivi des changements des contrôles de sécurité.
• Atténuation : règles ou mécanismes ayant bloqué la menace.
• Malwares : catalogue des variantes connues par les systèmes de détection.

La table de faits enregistre pour chaque menace les dates de détection et de fin, ainsi que les identifiants des dimensions associées.

Modélisation des processus impliquant des personnes

La modélisation dimensionnelle ne s’applique pas uniquement aux processus techniques comme l’ADST, mais aussi aux processus humains, comportant des portes et des jalons.

Pour mesurer ces processus, on utilise un instantané cumulatif (accumulating snapshot) : on enregistre le temps passé dans chaque phase du processus. En cybersécurité, c’est utile pour suivre les étapes de développement sécurisé, les activités de remédiation, ou les deux.

Pour le développement sécurisé, on distingue les phases suivantes :

• sécurité par conception
• sécurité par défaut
• sécurité lors du déploiement

Ces phases sont fondamentales dans la gestion d’une chaîne CI/CD. Exemple : suivi de la remédiation d’une vulnérabilité via un système de tickets, avec des dimensions pour le type de risque, l’actif concerné, la remédiation en cours, les personnes impliquées et le temps.

Plusieurs points de contrôle et jalons sont mesurés. Chaque étape possède un compteur cumulatif qui additionne les jours jusqu’à la clôture. Ces accumulateurs facilitent les requêtes rapides et les analyses détaillées du processus de remédiation.

Chapitre 12 - Un appel à l’action : comment déployer la gestion du risque cyber (A Call to Action: How to Roll Out Cybersecurity Risk Management)

Le livre repose sur trois thèmes majeurs :

• Qu’est-ce que la mesure ?
• Comment appliquer la mesure ?
• Comment améliorer la mesure ?

Ce chapitre propose une feuille de route pour établir la gestion du risque cyber (CSRM) comme une fonction stratégique de direction. L’idée est de structurer la cybersécurité autour d’un programme cohérent de gestion quantitative du risque, et non comme un ensemble disparate de techniques quantitatives.

Charte stratégique du CSRM

Le CSRM relèvera directement du PDG et/ou du conseil d’administration. Le poste exécutif associé pourra être CTRO, CRO ou CISO, à condition que le rôle soit redéfini sur une base quantitative.

Le CSRM examinera quantitativement toutes les initiatives majeures liées au risque technologique — acquisitions, investissements dans de nouvelles technologies, capital-risque, etc. — afin d’estimer les pertes, les gains et les optimisations possibles.

Le CSRM surveillera et analysera l’efficacité des investissements existants dans les mesures de sécurité, afin d’optimiser le rapport coût-bénéfice face aux pertes potentielles. Cette fonction répond à la question : « Mes investissements fonctionnent-ils bien ensemble ? », en s’appuyant sur les approches de modélisation dimensionnelle présentées au chapitre 11.

Le CSRM utilisera des méthodes quantitatives éprouvées, en associant probabilités pour la vraisemblance et montants financiers pour l’impact, afin de comprendre et de communiquer les risques. Les courbes de dépassement de pertes (LEC) serviront à discuter et visualiser les risques ainsi que les mesures d’atténuation, en les mettant en perspective avec la tolérance au risque, que ce soit pour une application isolée ou pour un regroupement d’applications.

Le CSRM sera responsable du maintien des tolérances au risque à l’échelle de l’entreprise, en coordination avec la direction financière, la direction générale et le conseil d’administration. Le dépassement de la tolérance au risque constituera l’indicateur clé (KPI) de gestion du risque.

Le CSRM assurera également la gestion et le suivi des exceptions à la tolérance au risque.

Le CSRM pilotera les assurances cyber en coordination avec les fonctions financières et juridiques, et fournira les principaux paramètres pour alimenter les modèles d’assurance.

Rôles et responsabilités du CSRM

Pour une organisation exposée à des risques se chiffrant en centaines de millions, voire en milliards de dollars, la structure recommandée est la suivante :

• Directeur des Risques Technologiques (Chief Technology Risk Officer - CTRO)
• Équipes rattachées au CTRO :
  • Analyse de risque quantitative (QRA)
  • Formation & développement
  • Technologies d’analytique
  • Gestion de programme

Analyse de risque quantitative (QRA)

Les équipes QRA sont constituées d’experts qui utilisent des méthodes statistiques et des outils comme R ou Python pour modéliser les risques, suivre les tolérances définies et optimiser les portefeuilles d’investissements technologiques. Elles interviennent dans les discussions de cadrage des risques, la conception de modèles et l’intégration dans les systèmes de surveillance en temps réel.

Chaque analyste pourra suivre en moyenne 10 modèles actifs.

Formation & développement

L’objectif est d’insuffler la culture du risque quantitatif à tous les niveaux de l’organisation, en fournissant supports pédagogiques, formations et accompagnement. Les experts QRA étant rares et coûteux, la priorité est de diffuser les outils et compétences au plus grand nombre.

Technologies d’analytique

Cette équipe gère les infrastructures big data, l’analytique avancée et les solutions cloud nécessaires au traitement massif de données. Elle assure le déploiement de la télémétrie et l’exploitation des données pour produire des résultats analytiques.

Gestion de programme

Cette activité coordonne l’ensemble des fonctions (analyse, formation, technologie) et veille à la cohérence des projets de gestion du risque. Elle s’assure que les actions sont planifiées, suivies et alignées avec la stratégie globale, en évitant que les audits de conformité ne prennent le pas sur la gestion effective des risques. En effet, on est parfois confronté à un problème de mentalité : certaines entreprises confondent conformité réglementaire (ex. PCI) et gestion réelle du risque, ce qui peut être dangereux.

Audit de l’audit

Il faudrait que les audits mesurent vraiment l’efficacité des méthodes de gestion du risque, y compris les approches quantitatives, et pas seulement vérifier la conformité à des méthodes obsolètes ou subjectives (matrices de risque, échelles ordinales, etc.).

Seuls les modèles avancés et mathématiques sont audités de manière stricte, alors que les méthodes subjectives ne le sont pas, cela crée un biais contre l’adoption de meilleures approches.

Dans les secteurs réglementés, l’audit est indispensable pour valider les nouveaux modèles quantitatifs, éviter les erreurs et garantir la fiabilité avant leur application à grande échelle.

Comment les auditeurs peuvent éviter de tuer les meilleures approches

• Auditer tous les modèles, qu’ils soient explicites ou implicites.
• Vérifier la recherche sur les biais d’intuition et exiger des preuves qu’ils ne s’appliquent pas.
• Ne pas se limiter à contrôler les calculs, mais questionner la pertinence du modèle.
• Demander pourquoi on utilise des méthodes déterministes avec des données incertaines.
• Évaluer les modèles ambigus en testant la réalité statistique de leurs catégories.
• Exiger des preuves scientifiques comparant la méthode à des alternatives reconnues.
• Ne pas accepter l’argument de la simplicité sans preuve qu’un modèle complexe est inutilisable.
• Auditer aussi certaines méthodes simples avec plus de rigueur pour équilibrer le traitement.

Rôle de l’écosystème Cyber

• Les organismes de normalisation doivent cesser de promouvoir les matrices de risque et privilégier les méthodes scientifiques basées sur des preuves.
• Ces organismes doivent adopter des méthodes fondées sur des preuves plutôt que sur des témoignages ou consensus de comité.
• Créer une organisation pour mesurer et suivre la performance réelle des méthodes d’évaluation des risques, et guider les standards.
• Les programmes de certification doivent enseigner les méthodes basées sur des preuves et intégrer les nouvelles preuves disponibles.
• Les auditeurs doivent appliquer les mêmes standards de validation à toutes les méthodes pour éviter de défavoriser les meilleures.
• Les régulateurs doivent reconnaître les lacunes des méthodes actuelles « conformes » et promouvoir de meilleures pratiques.
• Les vendeurs, consultants et assureurs doivent exploiter les opportunités offertes par les méthodes quantitatives identifiées.

Intégration du CSRM dans le reste de l’entreprise (ERM - Enterprise Risk Management)

Le CSRM doit s’intégrer dans les autres activités de gestion de risque, en partageant une approche quantitative.

À haut niveau, toutes les activités de gestion de risque se ressemblent : une liste d’événements avec une probabilité et une plage de pertes potentielles. Mais quand on rentre dans le détail, la décomposition varie. Néanmoins, le résultat peut s’exprimer comme une courbe de dépassement de pertes (LEC), ce qui permet de les agréger.

Les difficultés pour établir l’utilisation de méthodes quantitatives au niveau ERM sont essentiellement les mêmes que celles vues précédemment pour la cybersécurité.

Gestion de décision intégrée (Integrated Decision Management - IDM)

L’ERM (Enterprise Risk Management) n’est qu’une partie de la prise de décision, qui inclut aussi l’incertitude sur les gains possibles, pas seulement les pertes. Pour être efficace, il doit intégrer toutes les méthodes d’analyse de décision, notamment en conditions d’incertitude, et pas seulement la gestion des risques. La cybersécurité doit donc s’intégrer aux méthodes quantitatives déjà utilisées dans d’autres domaines (recherche opérationnelle, actuariat, finance de portefeuille, psychologie de la décision, etc.).

Un objectif ambitieux est de créer un système de décision intégré (IDM), une approche globale qui réduise l’incertitude dans les décisions stratégiques et améliore les choix, même dans l’incertitude. Sa mise en place se ferait progressivement, en obtenant l’adhésion des parties prenantes au fil des étapes.

Peut-on éviter “The Big One” ?

The Big One désigne le Risque majeur d’une cyberattaque coordonnée touchant plusieurs grandes organisations simultanément, avec interruption de services critiques et effets économiques massifs. Ce risque a augmenté entre 2016 et 2023.

Les méthodes populaires actuelles sont inadaptées pour évaluer de telles situations ; il faut des modèles quantitatifs rigoureux et basés sur des preuves pour analyser et décider comment les atténuer. L’adoption de ces méthodes pourrait améliorer les chances d’éviter ou de mieux gérer un tel événement.

Annexe A - Quelques distributions

Distribution triangulaire

Paramètres :

• UB (Upper Bound) = borne supérieure absolue (100% CI)
• LB (Lower Bound) = borne inférieure absolue (100% CI)
• Mode = valeur la plus probable (n’importe où entre UB et LB)

Les valeurs générées ne peuvent pas dépasser ces bornes.

Utilité :

• Utile si l’on connaît des limites absolues mais que la valeur la plus probable n’est pas centrée (contrairement à la distribution normale).
• Peut remplacer une lognormale lorsque l’on veut des bornes absolues tout en conservant une asymétrie similaire.

Exemple d’usage : nombre d’enregistrements perdus si la valeur la plus probable est proche de la borne haute mais ne peut pas dépasser un maximum connu.

Moyenne : (LB+Mode+UB)/3

Distribution binaire

Paramètres :

• P = probabilité de l’événement (entre 0 et 1)

Caractéristiques :

• Deux résultats possibles : succès (probabilité p) ou échec (probabilité q = 1 – p).
• Utilisée pour modéliser des situations où un événement se produit ou non (ex. violation de données sur une période donnée).

Utilité : à utiliser pour les situations « tout ou rien ».

Moyenne : P

Distribution normale

Paramètres :

• UB (Upper Bound) = borne supérieure (pour un intervalle de confiance à 90%, 5% au-dessus)
• LB (Lower Bound) = borne inférieure (pour un intervalle de confiance à 90%, 5% en dessous)

Caractéristiques :

• Courbe en cloche symétrique (distribution gaussienne) centrée sur la moyenne.
• La règle empirique indique que 99,7% des valeurs se trouvent dans ±3 écarts-types autour de la moyenne.
• Dans certaines applications, elle peut sous-estimer la probabilité d’événements extrêmes.

Utilité : à utiliser quand la probabilité d’un résultat supérieur ou inférieur à la moyenne est équivalente.

Moyenne : (UB + LB) / 2

Distribution lognormale

Paramètres :

• UB (Upper Bound) = borne supérieure (90% CI, 5% au-dessus)
• LB (Lower Bound) = borne inférieure (90% CI, 5% en dessous)

Caractéristiques :

• Alternative préférée à la distribution normale lorsque les valeurs ne peuvent être que positives.
• Prend en compte la possibilité d’événements extrêmes rares tout en respectant une borne inférieure à zéro.
• Utile pour des valeurs modérément dispersées mais pouvant connaître des pics rares.

Utilité : modéliser des pertes potentielles lors d’une cyberattaque, ou le coût d’un projet.

Moyenne : exp((ln(UB) + ln(LB)) / 2)

Distribution beta

Paramètres :

• α = 1 + nombre de succès (hits)
• β = 1 + nombre d’échecs (misses)

Caractéristiques :

• Donne des valeurs entre 0 et 1, certaines valeurs étant plus probables que d’autres.
• Forme et symétrie dépendent des paramètres α et β : valeurs proches donnent une distribution centrée, valeurs élevées resserrent la distribution, α > β la décale à gauche, β > α à droite.
• Très utile pour modéliser la fréquence d’un événement à partir d’échantillons ou d’observations historiques.

Utilité : situations caractérisées par une série de succès/échecs (ex. fréquence d’une violation de données par an, proportion d’employés respectant une procédure).

Moyenne : α / (α + β)

Mode (valeur la plus probable) : (α – 1) / (α + β – 2), à condition que α > 1 et β > 1.

Distribution loi de puissance (Power Law)

Paramètres :

• α = paramètre de forme
• θ = paramètre de localisation (valeur minimale à partir de laquelle la loi s’applique)

Caractéristiques :

• Décrit des phénomènes avec de rares événements extrêmes et catastrophiques, encore plus que la lognormale.
• La plupart des occurrences sont petites, mais il existe une « longue traîne » (fat tail) représentant des événements rares mais significatifs.
• Permet de modéliser à la fois les événements courants et de prendre en compte les risques extrêmes.

Utilité :

• Quand on veut s’assurer que des événements catastrophiques, bien que rares, soient modélisés avec une probabilité non négligeable.
• Exemples : séismes, pannes électriques majeures, épidémies, défaillances en cascade.

Moyenne : (α x θ) / (α – 1)

Annexe B - Contributions externes

Cette annexe rassemble des contributions externes qui viennent illustrer les concepts et idées présentées dans le livre.

1. Decision Analysis to Support Ransomware Cybersecurity Risk Management — Robert D. Brown III
2. Bayesian Networks: One Solution for Specific Challenges in Building ML Systems in Cybersecurity — Rob Mealey
3. The Flaw of Averages in Cyber Security — Sam Savage
4. Password Hacking — Anton Mobley
5. How Catastrophe Modeling Can Be Applied to Cyber Risk — Scott Stransky et Tomas Girnius

et CISO Assistant dans tous ça ?

Nous travaillons actuellement sur l’intégration d’un nouveau module CRQ (Cyber Risk Quantification) qui devrait reprendre la plupart de ces concepts en proposant un mode simple pour s’initier à la démarche (Q4/2025) ainsi qu’un mode avancé pour les organisations plus matures sur le sujet (Q1/2026).