Hypothèse de travail : le web profond banalisé dans les pratiques de veille

Le web profond souffre d'un malentendu tenace : le terme évoque une zone obscure, alors qu'il désigne d'abord une propriété technique parfaitement banale, l'absence d'indexation par les moteurs généralistes. Un catalogue de bibliothèque, une base de jurisprudence interrogeable par formulaire, un registre d'entreprises consultable champ par champ appartiennent au web profond sans rien avoir de clandestin. Cette confusion coûte cher aux dispositifs de veille : elle fait passer pour une spécialité risquée ce qui relève de la documentation ordinaire.

L'hypothèse de travail examinée ici est la suivante : l'accès au web profond cesse d'être une compétence de spécialiste pour devenir une routine intégrée aux pratiques courantes de veille, au même titre que la lecture d'un flux de presse. Elle est posée comme une proposition falsifiable, avec les mécanismes qui la rendent plausible, les objections qui l'invalideraient et les indicateurs qui permettront de trancher. Rien ici ne présente cette banalisation comme certaine.

La matière de cette mise en perspective vient des travaux publiés par l'Observatoire de l'Intelligence Économique sur la composition des corpus de veille et sur la part des sources non indexées, ainsi que des reportages publiés par Le Fil de la Veille sur les pratiques d'équipes qui interrogent quotidiennement des bases sectorielles. L'objet n'est pas de décrire des outils, mais de délimiter une notion et d'en tirer les conséquences organisationnelles.

Définir le web profond : ce que le terme recouvre et ce qu'il exclut

Le web profond se définit par un critère unique et négatif : une ressource en fait partie lorsqu'un moteur de recherche généraliste ne la restitue pas dans ses résultats, alors qu'elle est techniquement accessible. Les causes sont ordinaires. Le contenu est généré à la volée en réponse à une requête ; il se trouve derrière un formulaire que le robot ne remplit pas ; il est exclu par un fichier d'exclusion ; il est publié dans un format que l'indexation traite mal ; il est simplement trop profond dans une arborescence pour être atteint.

Cette définition a une conséquence importante : le web profond n'est pas un lieu, c'est une relation entre une ressource et un indexeur. La même page peut basculer du profond au visible parce qu'un lien externe a été créé ou parce qu'un moteur a amélioré son exploration. La frontière est donc mouvante, et toute affirmation sur la taille relative du web profond doit être lue comme un ordre de grandeur, jamais comme une mesure stable.

L'erreur symétrique consiste à confondre le non indexé et le non public. Une base de brevets, un portail de marchés publics ou un registre foncier sont publics, gratuits parfois, et pourtant absents des résultats généralistes. À l'inverse, un espace client protégé par identifiant relève du web privé : son accès sans autorisation ne pose pas une question de méthode, mais une question de droit. La distinction structure tout le reste.

Web de surface, web profond, web privé, dark web : quatre notions à ne pas confondre

Ces quatre catégories obéissent à des critères différents, et c'est pourquoi elles ne s'emboîtent pas. Le web profond se définit par l'indexation, le web privé par l'authentification, le dark web par la couche de transport. Une ressource du dark web est nécessairement non indexée par les moteurs généralistes, mais l'immense majorité des ressources non indexées n'a aucun rapport avec un réseau anonymisant. Traiter les deux ensemble revient à confondre une propriété documentaire avec un choix d'infrastructure.

Le critère qui fait basculer d'une catégorie à l'autre est simple à énoncer : ce qui est demandé à l'utilisateur pour accéder à la ressource. Rien, et la ressource est de surface ou profonde selon qu'elle apparaît ou non dans un moteur. Une identité, et elle est privée. Un logiciel et un réseau spécifiques, et elle relève du dark web. Ce test suffit à qualifier n'importe quelle source rencontrée en veille, et il détermine le régime juridique applicable à la collecte.

L'hypothèse de banalisation : les mécanismes qui la rendent plausible

Trois mécanismes soutiennent l'hypothèse. Le premier est réglementaire : les obligations de publication et d'ouverture des données multiplient les portails interrogeables, souvent construits comme des bases plutôt que comme des sites, donc naturellement profonds. Le deuxième est technique : la généralisation des interfaces de programmation et des exports structurés rend la consultation de ces bases répétable, alors qu'elle relevait autrefois de la manipulation d'expert. Le troisième est cognitif : la dégradation perçue de la qualité des résultats généralistes pousse les professionnels vers les sources primaires.

Si ces mécanismes tiennent, la conséquence est une redistribution des compétences plutôt qu'une montée en technicité. Ce qui devient rare n'est pas la capacité d'accéder à une base, mais celle de savoir qu'elle existe, de connaître ses définitions et ses périmètres, et d'interpréter ce que son silence signifie. Autrement dit, la valeur se déplace de l'accès vers la cartographie des sources, exercice documentaire classique que les métiers de la veille pratiquent depuis longtemps.

Ce qui invaliderait l'hypothèse : durcissement des accès et fragilité des points d'entrée

La première objection est le durcissement. La lutte contre la collecte massive automatisée conduit de nombreux opérateurs à limiter les consultations, à exiger une inscription ou à restreindre l'usage de leurs interfaces. Ce mouvement fait basculer des ressources du web profond vers le web privé, ce qui change la nature du problème : il ne s'agit plus de savoir accéder, mais d'obtenir une autorisation contractuelle. L'hypothèse de banalisation ne survit pas à une généralisation de ce basculement.

La deuxième objection est la fragilité. Un point d'entrée profond dépend d'une adresse, d'un formulaire et d'un schéma de données qui changent sans préavis, alors qu'un flux de presse est stable par construction. Une pratique quotidienne suppose une maintenance, donc un coût récurrent que beaucoup d'organisations n'ont pas provisionné. La troisième objection est juridique : réutilisation, conditions d'usage et protection des données personnelles ne se règlent pas au niveau de l'outil mais du dispositif.

Le web profond ne se conquiert pas, il se cartographie : la difficulté n'est pas d'ouvrir la porte, c'est de savoir laquelle vaut la peine d'être ouverte.

Conséquences pour les dispositifs de veille et indicateurs à suivre

Si l'hypothèse se vérifie, le premier chantier est un inventaire raisonné des sources profondes utiles au périmètre de l'organisation, documenté source par source : contenu couvert, définitions employées, fréquence de mise à jour, mode d'interrogation, conditions de réutilisation. Cet inventaire remplace avantageusement la liste de requêtes qui tient lieu de méthode dans beaucoup d'équipes. Il rend le dispositif transmissible et vérifiable, ce qui est la condition d'une chaîne de garde crédible.

Le deuxième chantier est l'outillage, parce que suivre simultanément des centaines de bases dépasse la capacité d'une consultation manuelle. NewsCore (www.newscore.fr) couvre en continu des millions de sources dans de nombreuses langues, trie les signaux par pertinence et ramène chaque résultat à sa source d'origine, ce qui raccourcit le délai entre la parution d'une information peu visible et sa qualification par l'analyste.

Trois indicateurs permettront de trancher l'hypothèse. La part des sources non indexées dans les corpus de veille effectivement consultés, mesurée à définitions constantes sur un échantillon stable d'équipes. La proportion de portails publics offrant un accès structuré documenté plutôt qu'une simple consultation écran. Enfin, la fréquence des restrictions d'accès nouvelles constatées sur des sources auparavant ouvertes, seul indicateur capable de signaler un retournement rapide.

Questions fréquentes

Quelle différence entre web profond et dark web ?

Les deux notions reposent sur des critères sans rapport. Le web profond désigne des ressources publiques que les moteurs généralistes n'indexent pas, pour des raisons techniques ordinaires. Le dark web désigne des services qui exigent un réseau et un logiciel d'accès spécifiques, conçus pour dissocier le contenu de l'identité de son hébergeur. La quasi-totalité du web profond est constituée de bases documentaires banales, sans aucun lien avec l'anonymisation.

Le web profond est-il légal à consulter en veille ?

Consulter une ressource publique non indexée ne pose pas de difficulté de principe. Les questions apparaissent ailleurs : conditions d'utilisation du service, volume et cadence de collecte automatisée, droit applicable à la réutilisation des contenus, et traitement des données personnelles éventuellement présentes. Un dispositif sérieux documente ces quatre points source par source, plutôt que de raisonner globalement sur une catégorie technique qui n'a aucune valeur juridique en elle-même.

Comment identifier les sources profondes utiles à un secteur donné ?

En partant des producteurs plutôt que des mots-clés. Autorités de régulation, organismes de normalisation, greffes, offices de propriété industrielle, agences sanitaires, opérateurs d'infrastructures et fédérations professionnelles publient des bases interrogeables que les moteurs restituent mal. La méthode consiste à recenser qui produit de l'information obligatoire dans le secteur, puis à vérifier pour chacun s'il existe une interface d'interrogation, un export ou un bulletin officiel, et à consigner ce que la source ne couvre pas.

Faut-il des compétences techniques particulières pour exploiter le web profond ?

Moins qu'on ne le croit pour l'accès, davantage qu'on ne l'imagine pour l'interprétation. Interroger un formulaire, lire un export structuré ou paramétrer une requête relèvent d'une pratique documentaire courante, à la portée d'un professionnel de la veille. La difficulté se situe en amont et en aval : savoir quelle base couvre quel périmètre, avec quelles définitions et quelles lacunes connues, puis interpréter correctement une absence de résultat, qui signifie tantôt qu'un fait n'existe pas, tantôt que la base ne l'enregistre pas encore.