Cloudflare déclare la guerre aux robots de l’IA – et les enjeux ne pourraient pas être plus élevés

Le principal réseau de livraison de contenu Internet (CDN), Cloudflarea déclaré la guerre aux sociétés d’IA. À partir du 1er juillet, CloudFlare bloque désormais par défaut Crawlers de l’IA accéder au contenu à partir de vos sites Web sans autorisation ni compensation.

Le changement résout un vrai problème. Mon propre petit site, où je suive toutes mes histoires, Technologie pratiquea parfois été ralenti par les Crawlers de l’IA. Ce n’est pas seulement moi. De nombreux propriétaires de sites Web ont signalé que les Crawlers de l’IA, tels que GPTBOT d’Openai et Claudebot anthropicgénérer Des volumes massifs de demandes automatisées qui obstruent des sites Web Ils sont donc aussi lents que les boues. Google Seul rapporte que le service d’hébergement du cloud Vercel Bombe les sites qu’il héberge avec plus de 4,5 milliards de demandes par mois.

Ces robots AI font souvent des chances de manière beaucoup plus agressive que les robots traditionnels des moteurs de recherche. Ils revisitent parfois les mêmes pages toutes les quelques heures ou même frapper des sites avec des centaines de demandes par seconde. Alors que les sociétés d’IA nient que leurs robots sont à blâmer, les preuves racontent une histoire différente.

Aussi: Le Sénat supprime l’interdiction des réglementations de l’IA de l’État de la facture fiscale de Trump

Ainsi, au nom de son deux millions de clients et plus20% du Web, CloudFlare bloque désormais les robots de l’IA. Pour tout nouveau site Web qui s’inscrit à ses services, l’IA Crawlers sera automatiquement empêché d’accéder à son contenu à moins que le propriétaire du site n’accorde une autorisation explicite. De plus, CloudFlare promet de détecter des grattoirs «ombragés» – des bots qui tentent d’échapper à la détection – en utilisant l’analyse comportementale et l’apprentissage automatique. Ce qui est bon pour l’oie AI est bon pour le regard.

Cette décision inverse le statu quo précédent, où les propriétaires de sites Web ont dû se retirer de l’IA. Désormais, le blocage est la valeur par défaut, et les fournisseurs d’IA doivent demander l’accès et clarifier leurs intentions, que ce soit pour la formation de modèle, la recherche ou d’autres utilisations, avant qu’ils ne soient autorisés à entrer.

Ce changement survient non seulement à cause des propriétaires de sites Web frustrés. De nombreuses sociétés d’édition, telles que l’Associated Press, Condé Nast et la propre société mère de ZDNET, Ziff Davissont frustrés que les sociétés d’IA aient « miné d’exploiter » le Web pour le contenu. Trop souvent, cela a été fait sans compensation ni consentement, et parfois, ignorer les protocoles standard comme robots.txt qui sont destinés à bloquer les robots de robots.

(Divulgation: Ziff Davis, la société mère de ZDNET, a déposé une plainte en avril 2025 contre Openai, alléguant qu’elle a enfreint Ziff Davis Copyrights dans la formation et l’exploitation de ses systèmes d’IA.)

En outre, des affaires judiciaires récentes ont statué en faveur de Meta et Anthropic, concluant que leur utilisation des œuvres protégées par le droit d’auteur était légale en vertu de la doctrine de l’utilisation équitable. Inutile de dire que les écrivains, les artistes et les éditeurs n’aiment pas cela. Les éditeurs craignent toujours que le gouvernement fédéral ne fasse librement de l’IA pour faire ce qu’il veut avec leur contenu. Les puissances d’IA telles qu’Openai et Google continuent de faire pression sur le gouvernement pour classer la formation d’IA sur les données protégées par le droit d’auteur comme utilisation équitable.

Il convient également de noter qu’après que le Copyright Office a publié une version de pré-publication Copyright de 108 pages et rapport IAqui a frappé un terrain d’entente en soutenant ces deux industries de classe mondiale qui contribuent tant à notre progrès économique et culturel. Cependant, il a ajouté que si une IA générative constitue probablement une utilisation « transformatrice », le grattage de masse de toutes les données n’a pas été considéré comme une utilisation équitable. Le lendemain, L’administration Trump a tiré le chef du bureau du droit d’auteur et l’a remplacée par un avocat sans aucune expérience préalable en droit du droit d’auteur.

Aussi: La nouvelle décision du US Copyright Office sur l’art de l’IA est là – et cela pourrait tout changer

Compte tenu de tout cela, il n’est pas étonnant que les éditeurs aient demandé un allié dans la technologie.

Comme l’a déclaré Matthew Prince, PDG de Cloudflare, dans un communiqué, sa nouvelle politique est censée « donner aux éditeurs le contrôle qu’ils méritent et construire un nouveau modèle économique qui fonctionne pour tout le monde – créateurs, consommateurs, fondateurs de l’IA de demain et l’avenir du Web lui-même. »

Pour compléter le mouvement pour bloquer les Crawlers d’IA, CloudFlare a également lancé son Programme « Pay Per Crawl ». Cela permet aux éditeurs de fixer leurs propres tarifs pour les entreprises d’IA qui souhaitent gratter leur contenu.

Aussi: Les images générées par l’AI sont un gâchis légal – et toujours un processus très humain

Ce système est actuellement en version bêta privée et vise à créer un cadre où les entreprises d’IA peuvent payer pour l’accès ou se voir refuser si elles refusent. Techniquement, cela se fera en dépoussiérant une ancienne réponse du serveur Web, principalement inutilisé, Http 402qui répond par un message d’erreur « paiement requis ». Cela signifie qu’il devrait être simple à mettre en œuvre et à compatible avec les sites Web existants et leur infrastructure.

Dans l’ensemble, c’est un gros problème. Grâce à CloudFlare alimenter une si grande partie d’Internet, une quantité importante de contenu Web pourrait devenir inaccessible aux sociétés d’IA à moins qu’elles ne négocient l’accès ou le paiement des frais de licence. Comme Nicholas Thompson, PDG de L’Atlantiquea noté: « Jusqu’à présent, les sociétés d’IA n’ont pas besoin de payer les licences de contenu car elles pourraient simplement le prendre sans répercussions. Maintenant Ils devront négocier. »

À ce stade, la plupart des sociétés d’IA ont été activement contre le paiement du contenu. Comme Sir Nick Clegg, ancien Premier ministre et Meta Executive adjoint, a déclaré récemment, demandant simplement la permission des artistes avant de Le contenu protégée par le droit d’auteur « tuera essentiellement l’industrie de l’IA ».

Aussi: Cloudflare bloque la plus grande attaque DDOS – voici comment vous protéger

La nouvelle politique de Cloudflare est une réponse directe à cette approche et au volume croissant et à l’intrusivité des robots de robots d’IA qui l’ont accompagné. C’est également une tentative d’arrêter le siphon du trafic qui autrement irait aux éditeurs.

Depuis la montée en puissance de l’IA, le trafic vers des sites d’actualités a plongé. Par exemple, Le trafic de Business Insider a baissé de plus de la moitié55% d’avril 2022 à avril 2025. Laissé sans vérification, Thompson a récemment prédit que, grâce à l’IA, le personnel de l’Atlantique devrait s’attendre Le trafic de Google à tomber à zéro.

Que se passera-t-il ensuite? L’autre CDN, comme AkamaiSuivez le pas? Restez à l’écoute. Pour l’instant, l’ère de la rampe d’IA sans restriction semble se terminer, eh bien, au moins pour le cinquième d’Internet qui circule dans les tuyaux de Cloudflare.

Obtenez les meilleures histoires du matin dans votre boîte de réception chaque jour avec notre Newsletter Tech Today.