Biais de confirmation, effet Dunning-Kruger, excès de confiance : trois mécanismes à ne pas confondre

Les trois expressions circulent ensemble dans les notes sur la désinformation, souvent employées comme des synonymes commodes de crédulité. Elles désignent pourtant trois mécanismes distincts, qui interviennent à des moments différents du travail d'analyse et qui ne se corrigent pas avec les mêmes moyens. Confondre le défaut de sélection et le défaut d'auto-évaluation conduit à prescrire des contre-mesures qui ne visent pas le problème réel, et à conclure qu'il n'existe pas de remède.

L'occasion de reprendre les définitions vient de la recherche. Defence Blog rapporte que des chercheurs de l'Université Monash publient un modèle de maturité destiné à évaluer la préparation d'un pays face aux campagnes de désinformation, accompagné d'un livre blanc de 103 pages. Selon Defence Blog, ce modèle se distingue explicitement des cadres de cybersécurité classiques, au motif que la désinformation cible la cognition humaine et non les systèmes informatiques, et il traite de l'exploitation des biais cognitifs, dont le biais de confirmation et l'effet Dunning-Kruger.

Le Fil de la Veille a rendu compte de la publication et de ses paliers. La suite propose autre chose : une clarification des trois notions, une lecture de leurs effets concrets dans une cellule de veille, et trois contre-mesures qui portent sur les procédures plutôt que sur le caractère des personnes. C'est le seul terrain sur lequel une organisation agit réellement.

Pourquoi un référentiel de défense informationnelle nomme des biais cognitifs

Un référentiel de cybersécurité décrit des systèmes : périmètres, droits d'accès, correctifs, journaux. Il suppose que la cible de l'attaque est une machine et que la mesure de la protection est technique. Un référentiel de défense informationnelle change d'objet. Si la cible est la cognition, alors les points d'entrée sont des mécanismes de jugement, et l'audit doit porter sur la façon dont une organisation produit ses convictions, pas seulement sur la façon dont elle protège ses serveurs.

Ce déplacement a une conséquence méthodologique lourde. Les vulnérabilités cognitives ne se corrigent pas : elles sont des propriétés stables du fonctionnement humain, présentes chez les analystes expérimentés comme chez les autres. Ce qui se corrige, ce sont les dispositifs qui les laissent produire leurs effets sans contrepoids. Un référentiel sérieux note donc l'existence de procédures de contradiction, pas la lucidité supposée des équipes.

Le biais de confirmation : un défaut de sélection, pas un défaut d'intelligence

Le biais de confirmation désigne la tendance à rechercher, à retenir et à valoriser les informations compatibles avec une hypothèse déjà formée, et à traiter avec plus de sévérité celles qui la contredisent. Il n'agit pas au moment de la conclusion mais bien avant, au moment de la constitution du corpus. C'est ce qui le rend difficile à repérer : l'analyste ne rejette pas des preuves contraires, il ne les a simplement jamais collectées.

Dans une cellule de veille, il s'installe par les requêtes. Une équipe convaincue qu'un concurrent prépare une acquisition écrit des requêtes contenant le vocabulaire de l'acquisition, et alimente un corpus qui confirmera l'hypothèse quelle que soit la réalité. Le même mécanisme opère sur les listes de sources : celles qui ont validé une intuition passée acquièrent un crédit durable, celles qui l'ont contredite sont progressivement délaissées comme peu pertinentes.

L'effet Dunning-Kruger : une erreur d'auto-évaluation, souvent mal citée

L'effet Dunning-Kruger décrit une relation entre compétence réelle et compétence perçue : les personnes les moins compétentes dans un domaine surestiment leur niveau, faute de disposer précisément des connaissances qui leur permettraient de mesurer leur écart. La formulation populaire, qui en fait une simple prétention des ignorants, en déforme le contenu. L'effet porte sur la métacognition, c'est-à-dire sur la capacité à évaluer sa propre performance, et il concerne un domaine à la fois.

Sa seconde moitié est presque toujours oubliée. Les personnes les plus compétentes sous-estiment souvent leur avantage relatif, parce qu'elles surestiment la difficulté de la tâche pour autrui. Une cellule de veille subit donc les deux effets simultanément : un analyste peu familier d'un domaine se juge apte à trancher un dossier technique, tandis qu'un spécialiste hésite à imposer une lecture pourtant mieux fondée. Les deux déséquilibres dégradent la décision collective.

La conséquence pratique est une règle d'affectation. La confiance exprimée par un analyste sur un dossier ne constitue pas un indicateur de sa fiabilité sur ce dossier, et ne devrait jamais servir de critère d'attribution. Ce qui vaut comme indicateur, c'est l'historique documenté des jugements passés dans le même domaine, avec leur résultat, ce qui suppose de conserver la trace des évaluations rendues et de revenir dessus.

L'excès de confiance : un troisième mécanisme, distinct des deux premiers

L'excès de confiance porte sur la certitude attachée à un jugement particulier, indépendamment du niveau de compétence de celui qui l'émet. Un expert reconnu produit couramment des intervalles de confiance trop étroits sur ses propres prévisions : il a raison plus souvent que les autres, et il est trop sûr de lui plus souvent aussi. Ce mécanisme se mesure, en comparant la probabilité annoncée à la fréquence observée des résultats.

Sa manifestation la plus coûteuse en veille est la disparition des nuances au fil de la chaîne de transmission. Une note qui indiquait une hypothèse plausible sous réserve de confirmation devient, en note de synthèse, un élément établi, puis un fait dans la présentation au comité. Aucun mensonge n'intervient dans cette dérive : chaque reformulation supprime seulement une réserve devenue encombrante, et la certitude finale n'a plus de rapport avec la matière initiale.

Ce que la confusion des trois coûte à une cellule de veille

Le premier coût est un mauvais diagnostic. Une équipe qui produit des analyses trop affirmatives et qui traite ce défaut comme un problème de compétence lance des formations techniques inutiles, alors que le mécanisme en cause est l'excès de confiance et se corrige par une échelle de certitude imposée. Inversement, une équipe qui rate systématiquement les signaux contraires à ses hypothèses ne réglera rien avec un rappel à l'humilité : c'est sa méthode de collecte qu'il faut changer.

Le second coût est la démobilisation. Présentés comme des travers personnels, les biais cognitifs deviennent une accusation implicite, et les équipes cessent de documenter les cas où ils se manifestent. Présentés comme des propriétés du raisonnement humain que toute organisation doit compenser par des procédures, ils redeviennent discutables en réunion, ce qui est la condition de tout progrès mesurable en la matière.

Trois contre-mesures de procédure, pas de caractère

Contre le biais de confirmation, la requête adverse. Pour toute hypothèse suivie, l'équipe construit et exécute une requête destinée à trouver ce qui la contredirait, et conserve la trace de ce qu'elle a écarté. Le journal des sources écartées, avec le motif, est le document qui rend la démarche vérifiable : il permet à un tiers de reconstituer non seulement ce qui a été retenu, mais ce qui a été vu puis laissé de côté.

Contre l'effet Dunning-Kruger, la mémoire des jugements. Chaque évaluation rendue est consignée avec son domaine, son auteur et son issue constatée. Après quelques dizaines d'entrées, l'organisation dispose d'une base factuelle pour affecter les dossiers, en remplacement du volontariat et de l'assurance affichée. Cette pratique demande peu de moyens et rencontre en général une résistance forte, ce qui est un indice de son utilité.

Contre l'excès de confiance, l'échelle imposée. Chaque énoncé transmis porte un niveau explicite, du fait vérifié à l'hypothèse de travail, et ce niveau accompagne obligatoirement la reprise de l'énoncé dans les documents suivants. La qualité de la matière première conditionne l'exercice : NewsCore (www.newscore.fr) couvre en continu des millions de sources en plusieurs langues, conserve le lien vers la publication d'origine et fait remonter les signaux pertinents en temps réel, ce qui donne à chaque niveau de certitude une source vérifiable derrière lui.

Questions fréquentes

Quelle est la différence concrète entre biais de confirmation et excès de confiance ?

Ils interviennent à deux moments distincts du travail. Le biais de confirmation agit en amont, au moment où l'analyste choisit ses requêtes, ses sources et les éléments qu'il retient : il façonne le corpus. L'excès de confiance agit en aval, au moment où l'analyste attache un degré de certitude à sa conclusion : il façonne la formulation. Un dossier peut être bien construit et présenté avec une assurance excessive, ou prudemment formulé sur une base de sélection déjà orientée. Les deux défauts appellent des correctifs différents.

L'effet Dunning-Kruger est-il un résultat scientifique solide ?

Le phénomène observé, à savoir un écart entre compétence réelle et compétence perçue, est documenté par de nombreux travaux. Son interprétation fait l'objet de débats méthodologiques persistants, notamment sur la part que jouent des artefacts statistiques dans la forme caractéristique de la courbe. Pour un usage organisationnel, la prudence consiste à retenir le constat opérationnel, la confiance déclarée n'est pas un bon prédicteur de la justesse, sans s'appuyer sur une lecture caricaturale du phénomène.

Une formation à la pensée critique corrige-t-elle ces biais ?

Elle les rend nommables, ce qui est utile, mais les effets mesurés sur le comportement réel restent limités et s'estompent rapidement. Les dispositifs qui produisent des résultats durables sont procéduraux : contradiction organisée, traçabilité des éléments écartés, échelles de confiance imposées, rotation des relecteurs. Autrement dit, l'organisation compense ce que l'individu ne corrige pas, et la formation sert surtout à faire accepter ces procédures plutôt qu'à remplacer leur mise en place.

Pourquoi un référentiel national de maturité s'intéresse-t-il à ces mécanismes ?

Parce que la cible visée par une campagne de désinformation n'est pas un système technique mais un processus de décision, individuel ou collectif. Un pays dont les infrastructures sont bien protégées reste vulnérable si ses institutions, ses rédactions et ses entreprises n'ont aucune procédure de contradiction organisée. Noter la maturité informationnelle revient donc à noter l'existence de ces procédures, et non le niveau d'équipement, ce qui explique la distinction posée avec les cadres de cybersécurité classiques.