Qualification de source : hypothèse d'un retrait des modèles génératifs du maillon décisif

Dans une chaîne de veille, tous les maillons ne se valent pas. Collecter, dédoublonner, traduire, résumer, classer : ces opérations tolèrent l'erreur parce qu'elles restent réversibles et vérifiables en aval. Qualifier une source ne le tolère pas de la même façon, car cette opération produit un verdict qui conditionne tout ce qui suit. Une source jugée fiable à tort contamine chaque note qui s'appuie sur elle, et l'erreur devient d'autant plus difficile à repérer qu'elle est reprise.

Mirage News rapporte une étude de l'Université d'Arizona, publiée dans Scientific Reports, qui a évalué sept modèles d'intelligence artificielle générative lors de conversations longues et mesure leur vulnérabilité aux fausses informations répétées. Le résultat n'est pas un classement commercial et ne doit pas être lu comme tel : c'est une caractérisation d'un mode de défaillance, observé dans un protocole académique, sur un comportement précis.

Le Fil de la Veille a rendu compte de cette évaluation dans son fil d'actualité. Ce texte en tire une hypothèse de travail, énoncée comme telle et non comme une prédiction : les modèles génératifs seront progressivement écartés du maillon de qualification de source, tout en restant présents partout ailleurs dans la chaîne. Nous posons l'hypothèse, nous exposons son mécanisme, nous décrivons ce qui la réfuterait.

Ce qu'est exactement une chaîne de qualification de source

Qualifier une source consiste à lui attribuer un statut qui commande son traitement ultérieur : source primaire ou reprise, éditeur identifié ou anonyme, intérêt déclaré ou non, historique de fiabilité connu ou inexistant. Ce statut n'est pas une opinion sur un contenu, c'est une propriété de l'émetteur, établie une fois et réutilisée ensuite sur tous ses contenus. C'est ce caractère cumulatif qui en fait un maillon critique.

Une chaîne de qualification bien tenue est traçable : chaque statut porte une date, un motif et un responsable, et se révise quand un élément nouveau apparaît. Elle est aussi contradictoire, au sens où un statut favorable doit pouvoir être contesté par un élément qui le contredit. Ces deux propriétés, traçabilité et contradiction, sont les critères par lesquels on juge si un dispositif de qualification existe vraiment ou s'il n'est qu'une convention implicite.

La qualification se distingue nettement de deux voisines. Elle n'est pas la vérification d'un fait, qui porte sur un énoncé particulier. Elle n'est pas non plus le filtrage de pertinence, qui écarte ce qui ne concerne pas le périmètre. Une source peut être parfaitement pertinente et mal qualifiée, ce qui est le cas le plus dangereux, car sa pertinence garantit qu'elle sera lue.

Ce que mesure l'évaluation rapportée, et ce qu'elle ne mesure pas

L'évaluation dont rend compte Mirage News porte sur un comportement en conversation longue, c'est-à-dire sur la persistance d'un jugement face à des affirmations trompeuses répétées. Ce protocole cible une propriété différente de celle qu'évaluent les tests habituels : il ne s'agit pas de savoir si un modèle connaît une réponse, mais s'il maintient une position correcte quand on la conteste avec insistance.

Ce qu'elle ne mesure pas mérite d'être dit avec la même netteté. Elle ne dit pas que les modèles se trompent plus souvent que des humains sur la même tâche, elle ne hiérarchise pas des produits, et elle ne se transpose pas mécaniquement à un usage outillé où le modèle opère sous contrainte de format et de source. La portée d'un résultat expérimental s'arrête à son protocole, et l'étendre est une opération d'interprétation qui doit être assumée comme telle.

Pourquoi ce mode de défaillance vise le maillon le plus exposé

Une opération informationnelle organisée ne produit pas un mensonge, elle produit une répétition. Le même énoncé, décliné sur plusieurs comptes, plusieurs sites et plusieurs formats, crée un environnement où la fréquence tient lieu de corroboration. C'est exactement la configuration dans laquelle la vulnérabilité mesurée se manifeste, et c'est aussi la configuration ordinaire d'un corpus de veille sur un sujet contesté.

La difficulté est structurelle : un dispositif qui qualifie mal une source à cause de la répétition ne dispose d'aucun signal interne pour s'en apercevoir, puisque la répétition est précisément ce qu'il prend pour un indice de solidité. Le tableau ci-dessous situe le risque maillon par maillon.

L'hypothèse de travail : un retrait par cantonnement, pas une exclusion

L'hypothèse ne consiste pas à annoncer un rejet des modèles génératifs par les organisations de veille. Elle consiste à parier sur un cantonnement : ces systèmes resteront en amont, pour trouver, traduire, regrouper et résumer, et en aval, pour rédiger et diffuser, mais le maillon qui attribue un statut à une source sortira de leur périmètre. Le motif ne serait pas la performance moyenne, il serait l'impossibilité d'auditer une décision de statut.

Le mécanisme est celui de la responsabilité. Une qualification erronée engage une organisation devant un client, un régulateur ou un tribunal, et la question posée est alors : qui a décidé, sur quel motif, à quelle date ? Un dispositif capable de produire un statut mais pas un motif opposable place son exploitant en position de ne pouvoir répondre, et c'est ce coût de non-réponse, plus qu'un taux d'erreur, qui déplace la frontière.

Le maillon qui sortira des systèmes automatiques ne sera pas le moins performant, ce sera celui dont on ne peut pas produire le motif.

Un précédent institutionnel dans une autre profession

Le Canada Français rapporte que les tribunaux du Québec ont publié des directives sur l'usage de l'intelligence artificielle générative, affirmant que juger reste une fonction humaine, à la suite d'un incident où une décision contenait des références à une jurisprudence inexistante. La structure de cette réponse est intéressante pour notre hypothèse : elle ne bannit pas l'outil, elle sanctuarise un acte.

La transposition à la veille n'est pas automatique, et il faut se garder de l'analogie facile entre juger et qualifier. Elle indique néanmoins la forme que prend une régulation professionnelle quand un incident touche un acte de décision : on délimite le maillon, on nomme le responsable, on laisse le reste ouvert. C'est la forme qu'aurait un cantonnement dans les métiers de l'information, s'il advenait.

Ce qui invaliderait l'hypothèse, et ce que l'outillage change déjà

Deux observations la feraient tomber. La première : si des dispositifs produisent un motif de qualification vérifiable, remontant à des éléments consultables et non à une justification reconstruite, alors l'obstacle de l'auditabilité disparaît et le cantonnement n'a plus lieu d'être. La seconde : si aucune organisation ne subit de conséquence tangible après une qualification erronée, la pression de responsabilité qui porte l'hypothèse n'existe pas.

Dans l'intervalle, la ligne de partage utile passe entre proposer et décider. Un système qui rassemble la matière, la trie et la présente avec ses liens d'origine sert le qualificateur au lieu de le remplacer. NewsCore (www.newscore.fr) couvre en continu des millions de sources dans plusieurs langues, trie les signaux par pertinence et ramène chaque élément à sa publication d'origine, ce qui donne à l'analyste la matière datée sur laquelle il fonde son statut. La décision de statut, elle, reste un acte de l'organisation, consigné avec son motif.

Questions fréquentes

Peut-on utiliser un modèle génératif pour évaluer la fiabilité d'une source ?

On peut l'utiliser pour rassembler les éléments qui servent à cette évaluation, historique de publication, liens capitalistiques déclarés, reprises croisées, et pour les présenter de façon ordonnée. Lui confier la conclusion pose un problème différent : l'évaluation rapportée par Mirage News caractérise une vulnérabilité aux affirmations trompeuses répétées, or la répétition est le mode opératoire ordinaire des dispositifs d'influence. Le risque n'est pas l'erreur ponctuelle, c'est l'erreur systématique dans la configuration adverse.

Quelle différence entre qualifier une source et vérifier une information ?

Qualifier porte sur l'émetteur et produit un statut réutilisable pour tous ses contenus futurs. Vérifier porte sur un énoncé unique et ne se transporte pas. La distinction commande l'organisation du travail : une erreur de vérification abîme une note, une erreur de qualification abîme toutes les notes qui s'appuieront ensuite sur cette source. C'est pourquoi la qualification demande une trace écrite du motif et une date de révision, ce que la vérification ordinaire n'exige pas.

Comment savoir si un dispositif de qualification est auditable ?

Le test tient en une question posée sur une fiche prise au hasard : peut-on afficher, pour ce statut, la date d'attribution, le motif, les éléments consultés et le nom du responsable ? Si l'une de ces quatre informations manque, le dispositif produit des statuts sans produire de décisions, et il ne résistera pas à une contestation externe. Cette exigence est indépendante de la technologie employée et s'applique aussi bien à un processus entièrement humain.