llms.txt
Le fichier llms.txt est un fichier Markdown placé à la racine d'un site qui décrit son contenu et liste ses pages de référence, à destination des modèles de langage. C'est une proposition ouverte, non officielle, qu'aucun grand moteur n'a confirmé utiliser.
La proposition
Le format a été proposé en septembre 2024 par Jeremy Howard, cofondateur de fast.ai. L'idée : un site expose à la racine un fichier llms.txt en Markdown, qui résume ce qu'il est et pointe vers ses pages les plus utiles, pour épargner à un modèle l'exploration complète du site.
La structure recommandée tient en quatre éléments : un titre en H1 avec le nom du projet, un résumé en bloc de citation, des sections H2 regroupant des liens commentés, et une section optionnelle marquée comme secondaire.
Ce que ce n'est pas
Le llms.txt ne bloque rien et n'autorise rien. Il n'a aucun rapport avec le fichier robots.txt, qui reste le seul mécanisme reconnu pour contrôler l'accès des robots.
Il ne garantit aucune citation, et aucun des grands éditeurs de modèles n'a annoncé s'en servir. Google a même indiqué publiquement ne pas l'utiliser.
Faut-il en publier un
L'argument pour tient en deux points. Le coût est proche de zéro pour un site déjà structuré, quelques dizaines de lignes générées automatiquement. Et le format se répand chez les éditeurs de documentation technique, ce qui crée un précédent d'usage.
L'argument contre est tout aussi net : dépenser un budget de production sur ce fichier plutôt que sur l'indexation, la structure des contenus ou la clarté de l'entité serait un mauvais arbitrage.
La position raisonnable consiste à le générer automatiquement à partir de la base du site, à le maintenir à jour sans effort manuel, et à ne surtout pas le compter comme un levier de visibilité tant qu'aucun moteur n'a confirmé le lire. C'est ce que fait ce site, dont le fichier est régénéré à chaque publication.