Le chiffre que tout le monde cite pour bloquer les robots d'IA

Un ratio circule depuis un an dans les décisions éditoriales : le nombre de pages qu'un robot d'IA explore rapporté au nombre de visites qu'il renvoie. Les valeurs citées vont de quelques dizaines à plusieurs milliers d'explorations pour une visite, et servent d'argument pour bloquer ces robots.

Comment le ratio est calculé

Le numérateur vient des logs serveur, et il est fiable. Un robot déclaré, vérifié par résolution inverse, laisse une trace nette.

Le dénominateur vient de l'outil d'analyse, et il ne l'est pas. Il compte les visites dont le référent identifie l'assistant. Or une part inconnue du trafic issu des conversations arrive sans référent exploitable : lien copié-collé, application mobile, navigateur qui n'envoie pas le référent, ouverture depuis un client de messagerie.

Pourquoi l'écart n'est pas quantifiable

Personne ne connaît la proportion de renvois sans référent, parce qu'il faudrait pour cela une source qui les identifie, et cette source n'existe pas. Les estimations avancées par les éditeurs d'outils reposent sur des extrapolations à partir de panels, avec des marges d'erreur rarement publiées.

Le ratio est donc structurellement pessimiste, d'une ampleur inconnue. C'est une propriété gênante pour un chiffre sur lequel on fonde une décision de blocage.

Ce que le ratio permet quand même

Comparer deux robots entre eux sur le même site, avec le même biais de mesure des deux côtés. Si OAI-SearchBot explore trois fois plus que PerplexityBot pour un nombre de renvois identifiés comparable, l'information est exploitable, même si les valeurs absolues sont fausses.

Suivre l'évolution d'un même robot dans le temps, à méthode constante. Une exploration qui double sans mouvement des renvois mérite une vérification.

Ce qu'il faut regarder à la place, pour décider

Trois questions pratiques remplacent avantageusement le ratio.

L'exploration coûte-t-elle réellement quelque chose ? Mesurez la charge serveur imputable à ces robots. Sur la majorité des sites éditoriaux, elle est négligeable, et l'argument du coût tombe.

Les contenus explorés sont-ils ceux que vous accepteriez de voir cités ? Si oui, l'exploration est un investissement de notoriété. Si ce sont vos archives payantes, la question change complètement.

Que perdez-vous en bloquant ? Un blocage d'un robot de recherche supprime la possibilité d'être cité, donc d'apparaître. Un blocage d'un robot d'entraînement ne supprime rien de la visibilité actuelle. Confondre les deux reste l'erreur la plus coûteuse, et nous la documentons dans la liste des robots d'IA et ce que chacun fait.

La position défendable

Bloquer parce que l'on a choisi de ne pas alimenter l'entraînement des modèles est une position cohérente, éditoriale et assumée. Bloquer parce qu'un ratio mal construit indique un mauvais rendement est une décision prise sur une mesure dont personne ne connaît la marge d'erreur.