Cloudflare empêchera désormais les robots d’IA de ramper par défaut de ses clients

Cependant, ces systèmes ne offrent pas les mêmes opportunités de monétisation et de crédit que les moteurs de recherche historiquement. Les modèles d’IA s’appuient sur de nombreuses données sur le Web pour générer leurs résultats, mais ces sources de données ne sont souvent pas créditées, ce qui limite la capacité des créateurs à gagner de l’argent à partir de leur travail. Les moteurs de recherche qui comportent des réponses générés par l’IA peuvent inclure des liens vers des sources originales, mais ils peuvent également réduire l’intérêt des gens à cliquer sur d’autres sites et peuvent même inaugurer Un avenir «zéro cliquez.

« Traditionnellement, l’accord tacite était qu’un moteur de recherche pouvait indexer votre contenu, alors il afficherait les liens pertinents vers une requête particulière et vous renverrait le trafic vers votre site Web », a écrit Allen, Cloudflare, la tête de la confidentialité, du contrôle et des produits médiatiques de Cloudflare, a écrit dans un e-mail à Revue de la technologie du MIT. «Cela change fondamentalement.»

Généralement, les créateurs et les éditeurs veulent décider comment leur contenu est utilisé, comment il leur est associé et comment ils sont payés pour cela. Cloudflare affirme que ses clients peuvent désormais permettre ou interdire ramper pour chaque étape du cycle de vie de l’IA (en particulier, la formation, le réglage fin et l’inférence) et des robots vérifiés spécifiques à la liste blanche. Les clients peuvent également fixer un tarif pour combien cela coûtera des robots AI pour ramper leur site Web.

Dans un communiqué de presse de CloudFlare, des sociétés de médias comme l’Associated Press et le Time et des forums comme Quora et Stack Overflow ont été exprimées pour le déménagement. « Les plates-formes communautaires que Fuel LLMS devraient être compensées pour leurs contributions afin qu’ils puissent investir dans leurs communautés », a déclaré le PDG de Stack Overflow, Prashanth Chandrasekar, dans le communiqué.

Les robots sont censés obéir aux instructions d’un site Web donné (fournie via un robots.txt déposer) pour déterminer s’ils peuvent ramper là-bas, mais certaines sociétés d’IA ont été accusées d’avoir ignoré ces instructions.

Cloudflare a déjà une vérification de bot système où les robots des webs peuvent dire aux sites Web pour lesquels ils travaillent et ce qu’ils veulent faire. Pour ceux-ci, Cloudflare espère que son système pourra faciliter les négociations de bonne foi entre les sociétés d’IA et les propriétaires de sites Web. Pour les Crawlers les moins honnêtes, CloudFlare prévoit d’utiliser son expérience traitant des attaques de déni de service coordonnées de bots pour les arrêter.

« Un robot Web qui traverse Internet à la recherche du dernier contenu n’est qu’un autre type de bot – donc tout notre travail pour comprendre le trafic et les modèles de réseau pour les robots clairement malveillants nous aide à comprendre ce qu’un robot », a écrit Allen.

Cloudflare avait déjà développé d’autres moyens de dissuader les robots indésirables, comme permettre aux sites Web de les envoyer sur un chemin de fausses pages Web générées par l’AI-gaspiller leurs efforts. Bien que cette approche s’applique toujours aux acteurs vraiment mauvais, la société affirme qu’elle espère que ses nouveaux services pourront favoriser de meilleures relations entre les entreprises d’IA et les producteurs de contenu.