Le web repose depuis des décennies sur un échange implicite entre éditeurs et moteurs de recherche : le moteur crawle le contenu, et en retour il envoie des visites. Ces visites se monétisent en publicité, en abonnements ou en leads, et une partie de ce revenu finance la production du contenu suivant. Ce contrat n'a jamais été écrit nulle part, mais c'est lui qui a fait tourner l'économie du web éditorial.
Un moteur génératif fonctionne différemment par construction. Il lit les pages, fabrique une réponse à partir de leur contenu, et garde l'utilisateur sur sa propre interface. La valeur du contenu original est bien utilisée puisqu'elle nourrit la réponse, mais l'absence de visite prive l'éditeur de la rémunération qui allait avec. Sylvain Peyronnet appelle ce phénomène l'extraction, et le mesure par un taux : la part de la valeur d'une page que le moteur conserve sans renvoyer de visite en échange.
Pour comprendre ce qui se passe quand ce taux d'extraction augmente, le papier modélise le web crawlable comme ce que les économistes appellent un commun, une ressource partagée dont personne n'assume seul l'entretien. L'auteur compare cela à un pré communal : tant que peu de bêtes y paissent, l'herbe repousse sans problème, mais au-delà d'une certaine charge, elle ne repousse plus assez vite. Le web crawlable est ce pré, et le contenu neuf, financé jusqu'ici par les visites organiques, en est l'entretien.
Le modèle identifie trois réactions des éditeurs face à la montée du taux d'extraction, et ces trois réactions dégradent le corpus chacune à leur manière.
Ces trois dégradations, précise l'article, ont la même cause et surviennent donc simultanément : le volume, la qualité moyenne et la durée de vie du corpus baissent en même temps.
Le résultat central du papier est la démonstration mathématique d'un seuil unique sur le taux d'extraction, au-delà duquel le renouvellement du corpus ne compense plus son usure. En dessous de ce seuil, le web se dégrade, mais se stabilise à un niveau plus petit et de moindre qualité, et le mouvement reste réversible si l'extraction diminue. Au-delà, le corpus s'éteint, et la chute s'accélère au fil du temps. Le papier ne fixe pas de valeur chiffrée pour ce seuil sur le web réel, faute de paramètres observables aujourd'hui, mais il prouve que ce seuil existe mathématiquement et identifie les variables dont il dépend.
Un point souligné par l'auteur mérite l'attention des éditeurs : tant que l'extraction reste sous un certain niveau, personne ne bouge, parce que quitter le corpus a un coût fixe (mettre en place un paywall, perdre en découvrabilité) identique pour un petit site comme pour un grand, et que ce coût n'est pas encore couvert par le bénéfice du départ. Un point de bascule survient ensuite, et les départs commencent par le haut de gamme, c'est à dire par les sites les plus qualitatifs. Le calme apparent du paysage actuel ne prouve donc rien en soi : dans le modèle, c'est exactement ce à quoi ressemble la phase qui précède les premiers départs. Le papier cite d'ailleurs des mesures qui vont dans ce sens : 25 % des mille plus gros sites mondiaux restreignent déjà les crawlers d'IA, et parmi les médias, ce sont les sources les plus fiables qui bloquent le plus.
Deux arguments rassurants reviennent souvent face à ce constat. Le premier veut que les grands moteurs, qui pensent à long terme, n'aient aucun intérêt à détruire la ressource qui les fait vivre. Le second veut que la préférence des utilisateurs pour des réponses directes règle naturellement le problème via le marché. Le papier teste mathématiquement ces deux arguments.
Aucun des freins naturels envisageables ne fonctionne seul, ce qui conduit l'auteur à proposer sept mécanismes correctifs, classés selon le niveau de coordination nécessaire à leur mise en œuvre.
Deux mécanismes sont actionnables par un moteur seul. Le referral floor consiste pour un moteur à s'imposer un plancher de trafic renvoyé, via des citations visibles, des liens engageants et un engagement public chiffré sur le ratio entre pages crawlées et visites renvoyées : c'est le mécanisme jugé le plus solide, parce qu'il agit directement sur les trois dégradations, et il est déjà partiellement en place puisque les ratios mesurés varient fortement d'un moteur à l'autre. Le teaser answer consiste à répondre à la question de façon volontairement incomplète pour inciter l'utilisateur à consulter les sources citées, ce qui protège en priorité le contenu de fond, celui que les moteurs absorbent en premier.
Trois mécanismes passent par un marché et font transiter de l'argent du moteur vers les éditeurs. Le paid crawling fait payer l'accès au contenu à la requête de crawl, au prix fixé par l'éditeur, ce qui améliore l'option de rester ouvert et retient les meilleurs sites dans le corpus ; Cloudflare défend notamment cette approche. Le flow-indexed licensing consiste pour le moteur à payer la production nouvelle via une licence proportionnelle au rythme de publication de l'éditeur, ce qui finance directement le renouvellement du corpus. L'attribution prévoit qu'une réponse générée déclenche un partage de revenu entre le moteur et les sites ayant contribué à cette réponse, selon une logique proche de la valeur de Shapley issue de la théorie des jeux : chaque source est payée selon ce que la réponse perdrait sans elle.
Deux mécanismes demandent une coordination plus large, donc plus longue à mettre en place. Le collective bargaining reprend le modèle du droit voisin de la presse, en vigueur en Europe depuis 2019, pour transformer la longue traîne des éditeurs trop petits pour peser individuellement en un interlocuteur collectif capable de négocier des conditions correctes avec les moteurs. L'enforceable signal viserait à transformer le robots.txt, aujourd'hui une simple déclaration sans force contraignante, en une déclaration de conditions d'usage lisible par machine et dotée d'une portée légale, du type crawl contre citation, crawl contre paiement, ou pas de crawl du tout ; des travaux existent en ce sens, notamment à l'IETF, avec une complexité qui tient surtout à l'aspect juridique.
Le classement de ces sept mécanismes reflète leur degré de maturité : les deux premiers peuvent être mis en œuvre immédiatement par un moteur, les mécanismes de marché disposent déjà de premières briques concrètes, et la coordination collective reste la voie la plus longue à construire.
Le papier complet, d’unune vingtaine de pages, est disponible en accès libre sur arXiv à l'adresse suivante : https://arxiv.org/abs/2608.15896
L’article "Le web crawlable a un seuil de rupture, et le fondateur d’IBOU vient de le démontrer" a été publié sur le site Abondance.