Il les surnomme les « creepy crawlies », comprenez les « bestioles » ou, plus littéralement, les « insectes rampants ». C’est d’ailleurs le titre que Konstantin Ryabitsev a donné à son billet, publié le 29 août 2026.

Dans ce texte, l’ingénieur qui maintient l’infrastructure technique du projet Linux démontre, chiffres à l’appui, la pression qu’exercent les scrapers IA sur kernel.org. Cette plateforme héberge les serveurs Git et l’ensemble des outils permettant aux développeurs du monde entier de collaborer sur le noyau et abrite notamment linux.git, le dépôt principal contenant l’historique complet du code de Linux.

Son constat : « Le rendu des commits destinés aux scrapers consomme plus de ressources CPU que tous les autres types d’accès légitimes, y compris les clones Git. »

« À chaque instant, sur 5 nœuds répartis géographiquement, 14 cœurs de processeur sont dédiés exclusivement au rendu HTML des commits Git. » // Source : people.kernel.org

Une méthode de scraping énergivore

L’ingénieur explique cette charge en grande partie par la valeur que représente kernel.org pour les entreprises d’IA : « Pour un modèle de langage complexe, c’est une mine d’or de données d’apprentissage, car non seulement tout est immédiatement disponible, mais il est aussi facile de filtrer les données pour garantir un contenu pré-IA pur et non altéré. »

Une source précieuse, donc, pour éviter ce qu’on appelle « l’effondrement de modèle » : le risque qu’une IA entraînée sur du contenu produit par d’autres IA finisse par dégrader progressivement la qualité de ses propres réponses.

Dans son papier, Konstantin Ryabitsev ne conteste aucunement le principe même du moissonnage de données. C’est la méthode employée par les scrapers qui pose problème.

En effet, il existe un moyen simple et rapide de récupérer tout l’historique de Linux d’un seul coup : le « git clone », une commande unique qui copie l’intégralité des 1,48 million de modifications apportées au code au fil des années. Or, les scrapers IA utilisent ce que l’ingénieur considère être « la méthode la plus stupide qui soit » : ils consultent chaque modification une par une, en rechargeant à chaque fois une nouvelle page du site.

Le problème s’aggrave avec les centaines de versions dérivées de Linux, et les pages que le site génère pour comparer deux modifications entre elles. // Source : people.kernel.org

Des capacités de contournement croissantes

L’ingénieur explique que, dans un premier temps, la solution trouvée pour alléger cette charge consistait à contenir les scrapers, notamment en bloquant leurs adresses IP. Mais au manque d’optimisation des robots est venue s’ajouter leur capacité croissante à contourner ces blocages : « Et… c’est là que la situation a vraiment dégénéré », écrit Konstantin Ryabitsev.

Selon lui, des millions d’adresses IP résidentielles ou mobiles se sont mises à imiter des navigateurs ordinaires, chacune n’effectuant que quelques requêtes avant de disparaître, impossible donc à bloquer à temps. Cette pratique, que l’ingénieur appelle la « monétisation par SDK proxy », consiste à revendre discrètement la connexion de particuliers via des applications ou des appareils connectés.

Face à cette vague, kernel.org a déployé Anubis, un système qui impose à chaque visiteur suspect de résoudre un petit calcul avant d’accéder au site. Efficace plusieurs mois, la parade s’est érodée à mesure que les robots apprenaient, eux aussi, à résoudre ces calculs.

Protection Anubis sur Kernel.org // Source : Capture d’écran Numerama

Konstantin Ryabitsev le reconnaît : pour l’heure, aucune solution ne s’impose clairement. Si les capacités de kernel.org tiennent encore, la pression s’accentue avec la multiplication des start-up proposant des « IA personnalisées ».

En attendant, l’ingénieur se dit contraint de désactiver certaines fonctionnalités en accès anonyme, et évoque deux scénarios pour faire retomber la tension : « Peut-être que la bulle de l’IA va éclater et qu’on aura soudainement beaucoup moins d’entités qui tentent d’entraîner leurs modèles. Ou alors, peut-être qu’elles deviendront plus intelligentes et cesseront d’utiliser nos données de la manière la plus stupide qui soit. »