Portrait-Robot de Keenable.ai

Keenable est une entreprise d’infrastructure d’IA, axée sur la recherche, fondée par deux ingénieurs issus d’Amazon et de Yandex, qui se consacre à la recherche sur le Web pour des applications d’IA à grande échelle. Keenable développe des systèmes et de nouvelles primitives de récupération d’informations qui rendent les données du Web accessibles aux modèles. Ils proposent ces systèmes aux laboratoires d’IA, aux plateformes d’inférence et aux chercheurs.

Dans un article de TechCrunch, Keenable indique qu’elle « construit un index de recherche web comptant plus de 100 milliards de documents » et que son API est « déjà utilisée en production par plusieurs laboratoires d’IA et fournisseurs de services d’inférence, aussi bien lors de la phase d’entraînement qu’en phase d’exécution ». L’entreprise ambitionne de concurrencer Google Search grâce au « Web Query Language », un langage conçu pour aider les systèmes d’IA à répondre à des questions en combinant des informations provenant de diverses sources du Web.

Ses concurrents sont Exa et Brave. Les fondateurs se plaignent des énormes coûts qui semblent poser un problème majeur. Ils font peut-être référence aux coûts de licences des contenus.

Keenable propose une Time Machine: une API de recherche temporelle qui vous permet d’effectuer des recherches parmi les versions antérieures de pages web et de récupérer du contenu issu d’instantanés historiques spécifiques.

des prix bas pour ces Search APIs for AI agents :

-For AI Agent builders and AI Enthusiasts : 0,004$ per request

-For AI Labs and Inference platforms : 0,001$ per request at 100 RPS+

Stats Keenable sur les éditeurs Français branchés sur Botscorner.com:

Stats Keenable sur les éditeurs Canadiens branchés sur Botscorner.com:

Robots.txt : en septembre 2026, les éditeurs ne mentionnent pas encore explicitement ce bot sur leurs fichiers Robots.txt. Quand un préambule aux « disallow » interdit l’accès aux robots d’entrainement IA, il semble que Keenable n’en tienne pas compte.

les précédents Botservatoires

Doubao est un assistant d’intelligence artificielle développé par ByteDance, mis à disposition du public mi 2023. Il est rapidement devenu très populaire en Chine (environ 60 millions d’utilisateurs actifs mensuels annoncés).

Sur les sites des éditeurs suivis par Botscorner, on voit le « ByteSpider », robot générique de Bytedance. On voit également d’autres services identifiés de ByteDance, comme les services de TikTok.

Mais depuis début septembre 2026, on peut voir apparaitre un nouveau bot qui prend la place de ByteSpider. Pour l’instant, ce coming-out a eu lieu sur les sites de deux éditeurs, l’un Français, l’autre Canadien. Ce nouveau bot appartient donc à: Dola AI

Le user agent de Dola a donc pris la place, chez ces deux éditeurs, du bot générique « ByteSpider » sur les IPs hébergées AWS.

Dola.com se présente comme un ChatBot classique, avec une interface très sobre comme celles de ses concurrents. On y trouve quelques liens vers la création d’images, la rédaction, la création de vidéos, la traduction, les devoirs…

Dola.com ne consulte pas “robots.txt” avec son user agent, c’est une action effectuée par ByteSpider

Stats sur Botscorner.com:  Dola AI en France (début)

Depuis quelques posts, Botscorner s’attache à présenter des datasets dans ses botservatoires. Ces datasets permettent, parfois à titre gracieux, d’accéder anonymement à des bases de données fraiches, enrichies et standardisées, à très bas coût.

Portrait-Robot de exa.ai, dataset for AI-agents

Exa AI est une plateforme de recherche avancée par IA qui fournit des données web fraîches aux LLMs. EXA indexe le web chaque minute pour constituer des bases de données pertinentes. https://moge.ai/fr/product/exa-ai

Sa vraie plus-value réside dans son API de recherche web basée sur le sens : Exa améliore les réponses des modèles d’IA en baissant le risque d’hallucinations : idéal pour la génération augmentée par récupération de données.

«La différence dans les résultats est évidente. Alors que la recherche traditionnelle retourne des pages web brutes nécessitant un traitement approfondi, Exa propose un contenu propre, analysé, prêt à être consommé par l’IA. Vous obtenez des scores de pertinence fiables, non pas basés sur la manipulation SEO mais sur la similarité sémantique réelle».

Avec Exa, l’IA a accès à des informations pertinentes et à jour. Des hallucinations en nette baisse augmentent la confiance des clients des IA. https://demos.exa.ai/paper-search/how-it-works

Les tarifs : 0,001$/content.

1.         obéir à robots.txt : exa.ai consulte robots.txt

2.         Stats sur Botscorner.

Les stats Exa montrent une activité conséquente sur les sites (France et Canada) équipés de Botscorner : jusqu’à 110.000 pages sur une journée.

Ces datasets présentent un intérêt majeur : ils permettent, parfois à titre gracieux, d’accéder à des bases de données enrichies et standardisées. Plutôt que d’aller négocier des accords dispendieux avec les éditeurs ou leurs représentants, ces bases sont des marketplaces prisées.

^{cestquilepatron.com screenshot}

Pourquoi acheter ses datas auprès des marketplaces plutôt qu’auprès des éditeurs ?

– Même quand le dataset affiche un user agent qui l’identifie sur toutes ses sessions, même quand le dataset a signé un accord avec un éditeur ou son ayant-droit, le client utilisateur final de la base est mécaniquement anonymisé. Que prévoit le contrat qui lie la marketplace à son client?

– la base est multi-titres, le contenus est frais, le format est standardisé, les contenus peuvent être enrichis, le guichet est unique, le tarif est très bas, le risque d’un audit sur les utilisations très éloigné.

-quand ces bases sont gratuites, les données sont alors partagées « for good » (la recherche). Vous pouvez néanmoins faire un don défiscalisé (ex: commoncrawl). Un don au dataset, pas à l’éditeur.

-certaines bases se constituent sur la base de recherches universitaires . Mais de ces recherches publiques peuvent sortir des entreprises privées. Par exemple, EventRegistry est une spin-off du Jožef Stefan Institute . C’est désormais une entreprise indépendante qui édite Newsapi.ai .  

-Quand ces bases sont payantes, le tarif est compétitif. Quelle est la part de rémunération des éditeurs dans le prix à l’article proposé par ces quelques datasets ?

voici une revue des pages de tarifs de quelques unes de ces marketplaces:

newsapi.ai

diffbot.com

brightdata.com/

zyte.com

archive.org (free, open for donation)

Commoncrawl.org (free, open for donation)

Opoint.com (non publié sur le site, mais a signé avec le CFC)

webz.io (des datas gratuits Webhose et des datas payants, tarif non publié sur le site, mais a signé avec le CFC)

etc.

-parfois adossées à des services de proxies tournants (ips jetables, bypass captchas), sur lesquels on pose des scrapers de contenus, le client ne paie que le contenu effectivement collecté.

Moralité : si l’éditeur ou son mandataire n’est pas co-contractant, la marketplace va être tenté de privilégier la fluidité d’un accord technique très peu rémunérateur pour l’éditeur.

Every day, hundreds of crawlers collect data from the websites of radio, TV, online, and print publishers. They perform monitoring, analysis, and summaries, providing the high-quality big data essential to AI.

Supabase, an open source alternative to Firebase : “Build in a weekend. Scale to millions. Supabase is the Postgres development platform. Start your project with a Postgres Database, Authentication, instant APIs, and realtime subscriptions”.

You can plug your Supabase project on digital assistants like N8n or Loveable, they will handle repetitive tasks (such as scraping external datas).

An example below with N8N.io:

obey robots.txt : As each project is independent, robots.txt may or may not be consulted depending on the project manager

2.       Stats on Botscorner (on french publishers/weekly)

Supabase has 135 employees, 21M$ revenues , 398M$ fundings, estimation: 2B$ (progressing).

previous botservatories

Data for SEO , is a for-profit Organization, with desks in Estonia and Ukraine.

It was founded in 2016 by Nick Chernets: Founder and CEO, with this object:

“Powerful API Stack For Data-Driven Marketers : We provide comprehensive SEO and digital marketing data solutions via API. Our vision is to be a leader in data-driven marketing by leveraging data to equip businesses with the tools they need to create efficient and effective SEO strategies. Data is the new oil, and we are committed to providing the highest-quality fuel to power our clients’ SEO tools”

DataforSEO offers services linked to SEO , but not only. Once the contents are collected, there is a huge database ready to be monetized:

Data for AI training (The DataForSEO AI Optimization API equips you with access to keyword data enriched with search volume metrics)

“Our custom data collection services are designed to be the ultimate solution for all your AI initiatives. Whether you’re developing a new algorithm, refining an existing machine-learning model, or looking to expand your training dataset, we can deliver high-quality data at the scale your project requires to succeed”.

Content generation (DataForSEO Content Generation API is designed to facilitate the process of content creation. Its NLP model is capable of generating unique paragraphs of text, paraphrasing content, detecting grammar mistakes, and more.)

Content analysis : “Content Analysis API is a scalable solution for discovering citations of target keywords or brand names and analyzing relevant sentiments”.

DataForSEO : Costumers and prices:

1. obey robots.txt : looks for robots.txt. Only one French publisher mentionned “dataforseo” disallowed this 9-11, 2025 (but DataforSeo scraps anyway). The UAs are: RSiteAuditor and DataForSeoBot/1.0
2. Stats on Botscorner from 2022 (on french publishers/monthly)

DataforSEO stats show a huge activity on french websites plugged on Botscorner : more than +220.000 pages / 24h.

• DataforSEO has 29 employees, for a 3+M$ 2025 revenue

Every day, hundreds of crawlers collect data from the websites of radio, TV, online, and print publishers. They perform monitoring, analysis, and summaries, providing the high-quality big data essential to AI.

The Allen Institute for Artificial Intelligence (AI2), LLM and open dataset for AI

The Allen Institute, as CommonCrawl, is a non-profit Organization.

It was founded in 2014 by Paul Allen, philanthropist and Microsoft co-founder, to find transformative ways to develop AI. As a non-profit AI research institute,  AI2 develops foundational AI research and innovation to deliver real-world impact through large-scale open models, data, robotics, conservation, and beyond.

Among other projects, AI2 developped LLMs such as OLMo, Tülu, provides datasets available on Hugging Face

OLMo 2, the best fully open language model to date, including a family of 7B, 13B, and 32B models trained up to 6T tokens. OLMo 2 outperforms other fully open models and competes with open-weight models like Llama 3.1 8B.

AI2 partners with Gates Foundation, University of Washington and NAIRR and 500+ academic journals on Semantic Scholar project

1. obéir à robots.txt : on ne voit pas AI2 consulter robots.txt
2. Stats sur Botscorner.

AI2 Olmo’s stats show a huge activity on french websites plugged on Botscorner : more than +210.000 pages / 24h.

3. Estimated revenue $35M per year / 325 employees (source: Growjo)

Les précédents botservatoires

Tous les jours, des centaines de crawlers collectent des données sur les sites des éditeurs radio, TV, presse online & print. Ils opèrent pour les activités de veille, des analyses, des résumés, fournissent le big data de qualité indispensable aux IA …

Portrait-Robot de Brightdata (dataset for AI, media monitoring)

Brightdata propose de très nombreux services, notamment:

-les proxies tournants (qui permettent de multiplier les ips locales temporaires),

-le scraping de contenus

-les apis d’accès à des datasets…

Brightdata nous garantit un scraping « éthique » grâce à son Brightbot, qui respecte un fichier « collector.txt » , une sorte de robots.txt dédié à ce type de scraping ( ?). Brightbot monitore les sites scrapés pour adapter son activité à la charge supportable par les sites ciblés.

Dans la foulée, Brightdata.com détaille son scraping éthique, mais sans Brightbot cette fois, avec

-des user agents de navigateurs identifiés comme des internautes

–des proxies rotatifs, de fausses pages de provenance, de résolutions de captchas… toutes solutions permettant de collecter les datas nécessaires aux usages B2B, dans un strict cadre de « data for good »

“Data is the fuel that drives AI innovation, and at The Bright Initiative, Bright Data’s data-for-good program, we are committed to harnessing AI’s potential for positive change. Through strategic partnerships, research support, and ethical data access, we empower our partners to create meaningful social impact.

The Bright Initiative provides pro-bono access to Bright Data’s industry-leading data collection technology and datasets to nonprofit organizations, academic institutions, researchers, and public bodies working in the AI for Good space.”

Le scrap peut se faire via IA :

Brightdata annonce plus de 20.000 clients, Chiffre d’affaires estimé : $220.1M per year, 1084 Employees (+30%)

1. obéir à robots.txt : on ne voit pas Brightdata consulter robots.txt
2. Stats sur Botscorner: Les stats Brightdata montrent une activité conséquente sur les sites (France) équipés de Botscorner : jusqu’à 50.000 pages sur une journée.