En résumé : si votre site passe par Cloudflare, deux réglages peuvent empêcher des robots de le lire, même quand votre robots.txt les autorise : le Bot Fight Mode, qui défie en bloc les robots qu'il détecte, et les réglages IA (« AI Crawl Control »), qui bloquent certaines catégories de robots d'IA. Les deux se vérifient en quelques minutes dans le tableau de bord.

Ce que j'ai constaté

En testant mon audit gratuit sur un site protégé par Cloudflare, l'analyse a échoué : chaque page répondait par un défi anti-robot (« Managed Challenge »), sauf le fichier robots.txt. Depuis un navigateur classique, le site s'affichait normalement.

Les journaux de sécurité de Cloudflare étaient sans ambiguïté : la colonne Service indiquait « Bot fight mode », pour mon robot comme pour d'autres visites automatisées venant de serveurs. Le site n'avait aucune règle personnalisée : c'est ce mode, activé d'un simple interrupteur, qui filtrait tout.

Le Bot Fight Mode, un filtre en bloc

Le Bot Fight Mode est la protection anti-robot gratuite de Cloudflare. Il impose aux robots qu'il détecte des défis coûteux en calcul. Sa documentation est claire sur deux points :

  • il ne se configure pas : il protège tout le domaine, sans exception par page ni par robot ;
  • une règle WAF ne peut pas le contourner : « You cannot bypass or skip Bot Fight Mode using WAF custom rules or Page Rules ».

Les robots vérifiés par Cloudflare, comme ceux des grands moteurs de recherche, sont en principe exclus des réglages par défaut. Tous les autres sont traités de la même façon : outils d'audit SEO, robots et agents qui ne figurent pas dans cette liste.

Les réglages IA, l'autre interrupteur

Depuis juillet 2026, Cloudflare classe le trafic des IA en trois catégories, réglables séparément, y compris sur le plan gratuit :

  • Search : les robots qui indexent votre contenu pour répondre plus tard aux questions ;
  • Agent : l'activité automatisée en temps réel pour le compte d'une personne, comme un assistant qui ouvre une page à la demande ;
  • Training : les robots qui collectent du contenu pour entraîner un modèle.

Pour chacune, vous pouvez bloquer sur toutes les pages, bloquer seulement sur les pages qui affichent de la publicité, ou ne rien bloquer. Pour les nouveaux domaines ajoutés depuis le 15 septembre 2026, Cloudflare bloque par défaut les catégories Training et Agent sur les pages avec publicité et laisse Search autorisé. Les domaines existants gardent leurs réglages.

Ces choix ne se voient pas dans votre robots.txt. Un audit qui ne lit que ce fichier ne peut donc pas les détecter.

Comment vérifier votre site

  1. Les événements de sécurité : dans Cloudflare, Sécurité → Analytics, onglet Events. Si la colonne Service affiche « Bot fight mode » sur des requêtes légitimes, vous êtes concerné.
  2. Le Bot Fight Mode : Sécurité → Paramètres, filtre « Bot traffic ». Notez s'il est actif.
  3. Les réglages IA : menu AI Crawl Control. Vérifiez ce qui est autorisé pour Search, Agent et Training.

Quoi régler, selon votre plan

Plan gratuit. Le Bot Fight Mode est tout ou rien. Si votre visibilité dans les moteurs et les assistants compte, désactivez-le et remplacez-le par des règles personnalisées ciblées contre les abus que vous constatez vraiment (pays, chemins sensibles, limitation de débit). Les règles d'accès IP, qui passent avant le Bot Fight Mode, existent aussi, mais le nouveau tableau de bord ne les propose qu'une fois une première règle créée.

Plan payant (Pro et plus). Passez à Super Bot Fight Mode : une règle personnalisée avec l'action Skip permet de le contourner pour un robot ou une adresse précise. Vous gardez la protection, en choisissant ce qui passe.

Dans tous les cas. Dans AI Crawl Control, laissez au minimum Search autorisé si vous voulez être cité, et Agent si vous voulez que les assistants puissent ouvrir vos pages quand un utilisateur leur pose une question. Pour Training, c'est un choix éditorial qui vous appartient.

Ce que cela change pour un audit

Ce cas m'a fait évoluer mon outil : quand un site oppose ce défi, l'audit gratuit produit désormais un rapport partiel au lieu d'un échec, et il signale les sites servis par Cloudflare pour que leurs propriétaires vérifient ces réglages. Une protection anti-robot mal réglée peut rendre un site invisible pour les outils, et pour une partie des assistants qu'il espère voir le citer.