L’opérateur internet expérimente des outils permettant aux sites de faire payer automatiquement les ‘robots d’exploration IA’ pour l’utilisation de leur contenu.
La fonction ‘pay-per-crawl’ est toujours en phase bêta, écrit Cloudflare sur son blog. L’outil est actuellement testé par plusieurs éditeurs et créateurs de contenu. Le système doit leur permettre de se faire rémunérer en échange du flot ininterrompu de robots d’exploration IA qui viennent piller leurs sites sans interruption.
L’entraînement d’une grande partie de l’IA se fait par ‘scraping’. Un robot d’exploration parcourt automatiquement tous les sites et autres pages web pour y indexer des textes, des images et d’autres éléments de contenu qui peuvent ensuite être utilisés pour entraîner un modèle d’IA. Le concept de robot d’exploration existe depuis longtemps et est utilisé depuis des années par des entreprises comme Google et Bing pour indexer l’internet et permettre les recherches.
Survivre à l’ère de l’IA
Mais avec l’essor de l’IA, les robots d’exploration se sont multipliés et génèrent un surcroît de trafic qui ne rapporte rien aux créateurs de contenu. Il fallait donc faire quelque chose pour que les personnes qui créent leur propre contenu survivent à l’ère de l’IA, explique Cloudflare. Et alors que de nombreux sites commencent à bloquer les robots d’exploration, une compensation financière pourrait également être une solution. ‘Le contenu original constitue l’essence même de ce qui fait d’internet l’une des plus grandes inventions du siècle dernier et il est essentiel que les créateurs continuent à en produire’, écrit Matthew Prince, CEO de Cloudflare, sur le blog. ‘L’objectif que nous poursuivons consiste à redonner le pouvoir aux créateurs, tout en permettant aux entreprises d’IA de continuer à innover. L’idée ici est de préserver l’avenir d’un internet libre.’
Le système, déjà annoncé à la fin de l’année dernière, laisse le choix aux sites: ils peuvent soit faire payer tous les robots d’exploration, soit en autoriser certains à opérer gratuitement, par exemple parce que l’éditeur a déjà signé un contrat plus large avec la société en question. Toutefois, ce projet nécessite également le concours des entreprises actives dans l’IA. Cloudflare dit collaborer avec plusieurs partenaires dans ce domaine. Selon la société internet, ces derniers ont tout intérêt à avoir régulièrement accès à du nouveau contenu pour maintenir leurs modèles à jour. C’est en tout cas une première idée de compromis dans un univers qui fait encore très Far West.
Cloudflare veut permettre à ses clients de bloquer des AI-bots spécifiques