Ces datasets présentent un intérêt majeur : ils permettent, parfois à titre gracieux, d’accéder à des bases de données enrichies et standardisées. Plutôt que d’aller négocier des accords dispendieux avec les éditeurs ou leurs représentants, ces bases sont des marketplaces prisées.

^{cestquilepatron.com screenshot}

Pourquoi acheter ses datas auprès des marketplaces plutôt qu’auprès des éditeurs ?

– Même quand le dataset affiche un user agent qui l’identifie sur toutes ses sessions, même quand le dataset a signé un accord avec un éditeur ou son ayant-droit, le client utilisateur final de la base est mécaniquement anonymisé. Que prévoit le contrat qui lie la marketplace à son client?

– la base est multi-titres, le contenus est frais, le format est standardisé, les contenus peuvent être enrichis, le guichet est unique, le tarif est très bas, le risque d’un audit sur les utilisations très éloigné.

-quand ces bases sont gratuites, les données sont alors partagées « for good » (la recherche). Vous pouvez néanmoins faire un don défiscalisé (ex: commoncrawl). Un don au dataset, pas à l’éditeur.

-certaines bases se constituent sur la base de recherches universitaires . Mais de ces recherches publiques peuvent sortir des entreprises privées. Par exemple, EventRegistry est une spin-off du Jožef Stefan Institute . C’est désormais une entreprise indépendante qui édite Newsapi.ai .  

-Quand ces bases sont payantes, le tarif est compétitif. Quelle est la part de rémunération des éditeurs dans le prix à l’article proposé par ces quelques datasets ?

voici une revue des pages de tarifs de quelques unes de ces marketplaces:

newsapi.ai

diffbot.com

brightdata.com/

zyte.com

archive.org (free, open for donation)

Commoncrawl.org (free, open for donation)

Opoint.com (non publié sur le site, mais a signé avec le CFC)

webz.io (des datas gratuits Webhose et des datas payants, tarif non publié sur le site, mais a signé avec le CFC)

etc.

-parfois adossées à des services de proxies tournants (ips jetables, bypass captchas), sur lesquels on pose des scrapers de contenus, le client ne paie que le contenu effectivement collecté.

Moralité : si l’éditeur ou son mandataire n’est pas co-contractant, la marketplace va être tenté de privilégier la fluidité d’un accord technique très peu rémunérateur pour l’éditeur.

Every day, hundreds of crawlers collect data from the websites of radio, TV, online, and print publishers. They perform monitoring, analysis, and summaries, providing the high-quality big data essential to AI.

Supabase, an open source alternative to Firebase : “Build in a weekend. Scale to millions. Supabase is the Postgres development platform. Start your project with a Postgres Database, Authentication, instant APIs, and realtime subscriptions”.

You can plug your Supabase project on digital assistants like N8n or Loveable, they will handle repetitive tasks (such as scraping external datas).

An example below with N8N.io:

obey robots.txt : As each project is independent, robots.txt may or may not be consulted depending on the project manager

2.       Stats on Botscorner (on french publishers/weekly)

Supabase has 135 employees, 21M$ revenues , 398M$ fundings, estimation: 2B$ (progressing).

previous botservatories

Data for SEO , is a for-profit Organization, with desks in Estonia and Ukraine.

It was founded in 2016 by Nick Chernets: Founder and CEO, with this object:

“Powerful API Stack For Data-Driven Marketers : We provide comprehensive SEO and digital marketing data solutions via API. Our vision is to be a leader in data-driven marketing by leveraging data to equip businesses with the tools they need to create efficient and effective SEO strategies. Data is the new oil, and we are committed to providing the highest-quality fuel to power our clients’ SEO tools”

DataforSEO offers services linked to SEO , but not only. Once the contents are collected, there is a huge database ready to be monetized:

Data for AI training (The DataForSEO AI Optimization API equips you with access to keyword data enriched with search volume metrics)

“Our custom data collection services are designed to be the ultimate solution for all your AI initiatives. Whether you’re developing a new algorithm, refining an existing machine-learning model, or looking to expand your training dataset, we can deliver high-quality data at the scale your project requires to succeed”.

Content generation (DataForSEO Content Generation API is designed to facilitate the process of content creation. Its NLP model is capable of generating unique paragraphs of text, paraphrasing content, detecting grammar mistakes, and more.)

Content analysis : “Content Analysis API is a scalable solution for discovering citations of target keywords or brand names and analyzing relevant sentiments”.

DataForSEO : Costumers and prices:

1. obey robots.txt : looks for robots.txt. Only one French publisher mentionned “dataforseo” disallowed this 9-11, 2025 (but DataforSeo scraps anyway). The UAs are: RSiteAuditor and DataForSeoBot/1.0
2. Stats on Botscorner from 2022 (on french publishers/monthly)

DataforSEO stats show a huge activity on french websites plugged on Botscorner : more than +220.000 pages / 24h.

• DataforSEO has 29 employees, for a 3+M$ 2025 revenue

Every day, hundreds of crawlers collect data from the websites of radio, TV, online, and print publishers. They perform monitoring, analysis, and summaries, providing the high-quality big data essential to AI.

The Allen Institute for Artificial Intelligence (AI2), LLM and open dataset for AI

The Allen Institute, as CommonCrawl, is a non-profit Organization.

It was founded in 2014 by Paul Allen, philanthropist and Microsoft co-founder, to find transformative ways to develop AI. As a non-profit AI research institute,  AI2 develops foundational AI research and innovation to deliver real-world impact through large-scale open models, data, robotics, conservation, and beyond.

Among other projects, AI2 developped LLMs such as OLMo, Tülu, provides datasets available on Hugging Face

OLMo 2, the best fully open language model to date, including a family of 7B, 13B, and 32B models trained up to 6T tokens. OLMo 2 outperforms other fully open models and competes with open-weight models like Llama 3.1 8B.

AI2 partners with Gates Foundation, University of Washington and NAIRR and 500+ academic journals on Semantic Scholar project

1. obéir à robots.txt : on ne voit pas AI2 consulter robots.txt
2. Stats sur Botscorner.

AI2 Olmo’s stats show a huge activity on french websites plugged on Botscorner : more than +210.000 pages / 24h.

3. Estimated revenue $35M per year / 325 employees (source: Growjo)

Les précédents botservatoires

Tous les jours, des centaines de crawlers collectent des données sur les sites des éditeurs radio, TV, presse online & print. Ils opèrent pour les activités de veille, des analyses, des résumés, fournissent le big data de qualité indispensable aux IA …

Portrait-Robot de Brightdata (dataset for AI, media monitoring)

Brightdata propose de très nombreux services, notamment:

-les proxies tournants (qui permettent de multiplier les ips locales temporaires),

-le scraping de contenus

-les apis d’accès à des datasets…

Brightdata nous garantit un scraping « éthique » grâce à son Brightbot, qui respecte un fichier « collector.txt » , une sorte de robots.txt dédié à ce type de scraping ( ?). Brightbot monitore les sites scrapés pour adapter son activité à la charge supportable par les sites ciblés.

Dans la foulée, Brightdata.com détaille son scraping éthique, mais sans Brightbot cette fois, avec

-des user agents de navigateurs identifiés comme des internautes

–des proxies rotatifs, de fausses pages de provenance, de résolutions de captchas… toutes solutions permettant de collecter les datas nécessaires aux usages B2B, dans un strict cadre de « data for good »

“Data is the fuel that drives AI innovation, and at The Bright Initiative, Bright Data’s data-for-good program, we are committed to harnessing AI’s potential for positive change. Through strategic partnerships, research support, and ethical data access, we empower our partners to create meaningful social impact.

The Bright Initiative provides pro-bono access to Bright Data’s industry-leading data collection technology and datasets to nonprofit organizations, academic institutions, researchers, and public bodies working in the AI for Good space.”

Le scrap peut se faire via IA :

Brightdata annonce plus de 20.000 clients, Chiffre d’affaires estimé : $220.1M per year, 1084 Employees (+30%)

1. obéir à robots.txt : on ne voit pas Brightdata consulter robots.txt
2. Stats sur Botscorner: Les stats Brightdata montrent une activité conséquente sur les sites (France) équipés de Botscorner : jusqu’à 50.000 pages sur une journée.

Portrait-Robot de Zyte.com

Les précédents botservatoires

Tous les jours, des centaines de crawlers collectent des données sur les sites des éditeurs radio, TV, presse online & print. Ils opèrent pour les activités de veille, des analyses, des résumés, fournissent le big data de qualité indispensable aux IA …

Portrait-Robot de ZYTE.com, “the best place to host Scrapy spiders”

Sur son site, Zyte propose un service « News & Article data : Accurate articles and news data from global publishers and the largest news websites in the world”.

Zyte démontre sa bonne connaissance des sites de news : « Articles and news data comes in all shapes and sizes. We get it all”.

1-“Mainstream broadcast : These are large organizations that have dominated the news world for many years. They include TV networks, newspapers, press releases, and radio stations that are widely recognized and trusted by the public”.

2-“Industry and vertical : These websites focus on specific industries or niches, providing news and information that is relevant to professionals in those fields”.

3-“Alternative media and independents : These websites operate outside of the traditional, corporate-owned media landscape. They may provide alternative perspectives on news and events”.

4-“Groups, individuals, and influencer : These web pages are created and run by individuals or groups, such as bloggers, vloggers, or podcasters”.

5-“Online aggregators : These websites collect and curate crucial news data from various sources and present them to users in a single location”.

6-“News blogs : These websites are dedicated to latest news articles and opinion, often with a specific focus or niche”.

7-“Video news : Video news websites provide news coverage through video content, which can be more difficult to collect and parse data from than text-based news”.

8-“Social media : Social media platforms where journalists and publications source stories and where many brands self-publish and promote their content”.

À quoi servira ce scraping ?

“Brand monitoring & reputation management , Market research , Content optimization (SEO) , News aggregation , Tackling misinformation , Building AI models and algorithms , Creating dashboards , Ad and affiliate tracking”.

La factorisation du scrap donne un prix de service assez intéressant, que ce soit pour gérer son scraping ou pour l’acquisition de données déjà extraites et mises en forme.

On notera que IPXO, une place de marché pour louer des adresses IPs, se présente comme « un partenaire de confiance en matière de location d’IPs pour les entreprises dans plus de 75 secteurs d’activité », et avance quelques services partenaires dont « Zyte ».

D’ailleurs, parmi les différents usages possibles des ips de location, on peut trouver le « data crawling and data extraction »  :

“With the support of professional IP leasing services provided by IPXO, a leading web exfiltration company in Europe can continue introducing innovations and improving the quality of services to guarantee quick and efficient data crawling and data extraction”.

2. Estimated Revenue, Valuation, employee data

• IPXO.com estimated annual revenue is currently 8M$ per year.
• Employee : 62
• Zyte (ScrapingHub) estimated annual revenue is currently 27M$ per year.
• Employee : 171

3. stats on Botscorner

Les précédents botservatoires

Tous les jours, des centaines de crawlers collectent des données sur les sites des éditeurs radio, TV, presse online & print. Ils opèrent pour les activités de veille, des analyses, des résumés, fournissent le big data de qualité indispensable aux IA …

Timpi.io nous propose de participer à la démocratisation de l’information mondiale (et de gagner des récompenses). L’index Web de Timpi repose sur un réseau décentralisé de nœuds gérés par des utilisateurs indépendants.

« Giving you the power of data » : Nos (sic) données sont utilisées pour développer des applications et informer les entreprises. Par exemple, l’entraînement de l’IA : Utilisez de vastes ensembles de données pour entraîner vos modèles d’IA avec des informations diverses et complètes provenant du Web, améliorant ainsi la précision et les performances.

Le moteur de recherche Timpi, enrichi par Wilson (l’IA de Timpi), s’appuie sur un modèle de gouvernance décentralisé. Timpi utilise une technologie « DePIN » (Decentralized physical infrastructure network)

Les DePINs sont le pont entre les mondes physique et numérique. Ils utilisent des blockchains et offrent des récompenses sous forme de jetons pour les services enregistrés publiquement. Les DePINs créent un réseau pour les objets physiques, tels que le Wi-Fi et le stockage de données, permettant aux gens de partager leurs ressources directement avec d’autres utilisateurs sans avoir besoin d’un intermédiaire.

cointelegraph.com

Timpi propose l’accès au plus grand ensemble de données au monde avec plus de 5 milliards de pages Web.

Wilson AI les versions futures de WilsonAI offriront encore plus d’informations en temps réel, de personnalisation pour les utilisateurs

1. obéir à robots.txt les ips de Timpi ne passent pas sur robots.txt.

2. Stats sur Botscorner.

Les stats Timpi montrent une activité conséquente sur certains sites équipés de Botscorner. Deux exemples ci-dessous de scraps Timpi sur des sites de presse, dans deux pays différents (jusqu’à 160.000 pages sur une journée sur un site)

Yan Gilbert était le Directeur de la diffusion numérique du groupe Nouvel Observateur de 2000 à 2015. Il a ensuite dirigé le GIE Panorama de Presse de 2010 à 2015. Depuis 2017, il occupe la fonction de Directeur Général au sein de Clipeum, éditeur de la solution innovante Botscorner.

Pouvez-vous nous expliquer le fonctionnement de Botscorner ? 

Botscorner analyse le trafic des robots et des proxies sur les sites de presse. L’éditeur envoie automatiquement ses logs de sessions, qui sont enrichis par Botscorner, grâce aux milliers d’informations accumulées et mises à jour depuis son lancement en 2017. 

-Les visites « internautes » ne sont ni enrichies ni suivies.  

-Les sessions « robots » sont enrichies et classées par typologie de marché. Cela permet de suivre distinctement les bots par activité et par modèle économique : Searchbots, AI, datasets, media monitoring, sites parasites, gestionnaires RSS, SEO, régie pub… Ces activités sont monétisables. 

–Les sessions « proxies » émanant d’entreprises, d’associations, d’administrations, d’universités… sont également renseignées, éventuellement avec les infos « paywall », afin que l’éditeur puisse adresser des prospects ou de comparer les infos avec ses données « grands comptes ».

Comment cette technologie permet-elle d’identifier et de réguler les robots accédant aux contenus protégés par le droit d’auteur ?  

Cela dépend des sites, mais on observe généralement qu’une moitié des demandes de pages sur les sites de presse ne sont pas effectuées par des internautes mais par des programmes (IA, mediamonitoring, datasets, searchbots, SEO, …). Botscorner conjugue différents moyens pour identifier les bots, comme le ferait une Bot Mitigation (identification technique bots/humains et réponse en temps réel). La finalité de Botscorner n’est pas de traiter des questions de sécurité (DDos, SQL injection, etc.) mais d’identifier les actions automatiques et de renseigner le trafic B2B. Identifier la personne morale renseigne sur le modèle économique. Cela permet de comprendre à quoi vont servir les données récoltées : comment le « propriétaire » des robots en tire parti pour son service. Ces informations pour action, remontées par Botscorner, concernent différents services de l’éditeur. En effet, Botscorner n’agit pas en « coupure » comme le ferait une bot mitigation. La régulation reste dans la main de l’éditeur, qui va décider du traitement approprié, en fonction de sa stratégie, service par service. Par exemple : blocage de crawls anonymes par le service technique, recueil de preuves par le service juridique, négociation par le service syndication. 

Botscorner a annoncé 2 partenariats importants (Le Monde et Ouest France). Pouvez-vous nous expliquer en quoi consistent ces partenariats et quels bénéfices les éditeurs vont-ils pouvoir en tirer ?  

Et nous allons bientôt annoncer d’autres partenariats !  

Je ne peux pas m’exprimer à la place des clients de Borscorner. Tout dépend de leur stratégie. Chaque éditeur a des utilisations assez différentes des informations remontées. En fonction de l’approche de chacun, ces informations intéressent les services syndication, business dev, abonnements grands comptes, juridique, technique… Botscorner remonte les informations sur les bots en fournissant aux services de l’éditeur :  

–La fiche contacts de l’entreprise qui active le bot 

–La nature du trafic (proxy ou bot) 

–Le volume et la nature des données collectées (article, jpg) 

–Les infos techniques qui permettent de bloquer les bots si la négociation s’enlise 

Dès lors, certains éditeurs recourent à Botscorner uniquement pour identifier les crawlers indésirables sur leur base de données, en vue de les bloquer. En revanche, d’autres utilisent à plein toutes les informations présentées, en fléchant les proxies entreprises/administrations vers le service abonnements grands comptes, les crawlers B2B vers le licensing/business développement et les scrapers anonymes vers le service technique, entre autres. 

Quelles synergies souhaitez-vous développer avec chacun d’eux ? 

Des contacts réguliers se mettent en place, au début pour se former sur l’outil, puis pour faire le point sur l’activité des bots, lever des interrogations sur certains crawlers, etc. Généralement, les sessions hebdomadaires ou bimensuelles durent d’une demi-heure à une heure. Même si cela concerne généralement les services commerciaux, nous avons aussi des échanges avec les services techniques et juridiques.  

Quelles sont les mesures de protection des données que Botscorner met en place pour garantir la confidentialité des informations collectées lors de l’identification des robots ? 

La protection des données est cruciale. Nous ne transmettons aucune donnée à des tiers autre que l’éditeur lui-même, qui nous a fourni ses logs pour analyse. Et, sur son dashboard, l’éditeur accède uniquement aux informations concernant ses propres titres. Par ailleurs, nous avons assuré notre mise en conformité au RGPD, le règlement européen sur la protection des données, avec l’aide d’un cabinet spécialisé. La durée de conservation des données envoyées par les éditeurs est limitée : nous supprimons tous les informations après 24h.  

Quels sont les principaux défis actuels rencontrés par Botscorner ? Droits voisins ?   

Effectivement, la loi sur les droits voisins, mais aussi l’arrivée des IA grand public, ont entraîné beaucoup d’intérêt pour Botscorner.  Pour nous, cela génère une adaptation permanente aux techniques de crawl, et une veille active sur toutes les utilisations des données et les nouveaux modèles économiques. Cela implique une mise à jour quotidienne de la cartographie globale des bots, et les remontées d’informations sur le marché B2B.  

Quelles sont les prochaines étapes de Botscorner (en termes d’innovation et développement) pour répondre aux besoins futurs des éditeurs ?

Nous avons des clients dans plusieurs pays, sur deux continents. Grâce à leurs remarques et à leurs retours d’expérience, le service ne cesse de progresser ! Les prochaines étapes consistent à répondre toujours mieux aux attentes de nos clients, à améliorer le service grâce à leurs suggestions, et à continuer de nous développer, en France et à l’international. 

Le Geste:

Depuis sa création en 1987, le GESTE s’est fait fort d’analyser les mutations du modèle économique des éditeurs de contenu et services en ligne afin de permettre une meilleure compréhension des enjeux posés par la transformation numérique et l’émergence de conditions économiques, législatives et concurrentielles. Aujourd’hui présidé par Bertrand Gié, Directeur délégué du pôle News du Groupe Figaro, le GESTE fédère une centaine d’éditeurs en ligne, tous horizons confondus : presse en ligne, médias digitaux et audiovisuels, plateformes de musique, services mobiles et vocaux… Le GESTE, lieu d’échanges et de veille permet à ses membres d’avoir un temps d’avance sur les débats qui font l’actualité et les positions législatives. Des solutions concrètes et applicables pour un réel développement économique y sont débattues avant d’être soumises au gouvernement et aux instances publiques.

Portrait-Robot de EventRegistry, maison mère de NEWSAPI.AI, dataset for AI & media monitoring

Les précédents botservatoires

Tous les jours, des centaines de crawlers collectent des données sur les sites des éditeurs radio, TV, presse online & print. Ils opèrent pour les activités de veille, des analyses, des résumés, fournissent le big data de qualité indispensable aux IA …

Portrait-Robot de NewsAPI.AI et EventRegistry.org (dataset for AI, media monitoring)

Forbes nous présente EventRegistry comme « un service de surveillance mondiale des médias en temps réel, grâce à des algorithmes de recherche multilingues et une extraction approfondie d’informations afin de transformer les données en une plateforme décisionnelle significative ».

Vous cherchez des bases d’articles de presse de qualité? Ne cherchez plus:

“ Get articles from 150,000 news publishers worldwide”
“ Get the full news content as well as information about the mentioned entities, topics and sentiment.”

“Discover news content minutes after it is published”

“Archives since 2014”

“World’s leading companies are using NewsApi.ai”

Clients:

Spotify, IBM, Palantir, Bloomberg, Merck, Accenture, BASF, Johnson&Johnson, Airbus, Barclays, Disney, PWC, arabesque, OECD, BASF, McKinsey, Gouvernement Slovenie…

Eventregistery a obtenu des financements de la part du fonds Google’s Digital News Initiative.

Le Réseau académique et de recherche de Slovénie, Arnes, propose une présentation d’EventRegistry

1. obéir à robots.txt : EventRegistry utilisait un user agent explicite. Les quelques éditeurs qui le bloquaient ont peut-être eu raison de cet affichage ? Désormais, le user agent n’apparait plus, mais le trafic n’a pas baissé, au contraire. Ces ips ne passent de toutes façons pas sur robots.txt.

2. Stats sur Botscorner.

Les stats d’EventRegistry, dont le service a été lancé en 2017, montrent une activité conséquente sur les sites équipés de Botscorner.

3. Tarifs