La réponse courte

Pour apparaître dans les réponses des assistants qui cherchent sur le web, il faut laisser passer leurs robots de recherche dans votre fichier robots.txt. Chez OpenAI, c'est OAI-SearchBot. Bloquer GPTBot empêche seulement l'utilisation de vos pages pour entraîner les modèles. Le fichier llms.txt, lui, est une proposition utile mais facultative : Google indique qu'il n'en a pas besoin.

Les robots des principaux assistants

OpenAI (ChatGPT)

D'après la documentation d'OpenAI :

  • OAI-SearchBot sert à faire apparaître des sites dans les fonctions de recherche de ChatGPT. OpenAI précise que les sites qui le bloquent ne seront pas affichés dans les réponses de recherche de ChatGPT.
  • GPTBot collecte des contenus qui peuvent servir à entraîner les modèles. Le bloquer indique que vos contenus ne doivent pas servir à l'entraînement.
  • ChatGPT-User visite une page quand un utilisateur le demande. Comme l'action vient d'un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer.

OpenAI indique qu'il faut compter environ 24 heures pour qu'une modification du robots.txt soit prise en compte.

Perplexity

Selon la documentation de Perplexity, PerplexityBot sert à afficher et à lier des sites dans les résultats de Perplexity, et n'est pas utilisé pour entraîner des modèles. Perplexity recommande de l'autoriser dans le robots.txt. Perplexity-User visite une page à la demande d'un utilisateur.

Google (AI Overviews, mode IA, Gemini)

Les fonctions IA de la recherche Google utilisent le robot habituel, Googlebot. Le jeton Google-Extended permet de refuser que vos contenus servent à entraîner les modèles Gemini ; selon Google, il n'a aucun effet sur votre présence ni votre classement dans la recherche Google.

Les autres éditeurs

Les autres éditeurs d'assistants publient eux aussi la liste de leurs robots dans leur documentation. Avant de bloquer un robot, vérifiez à quoi il sert.

Exemple de robots.txt ouvert aux assistants

Ce fichier autorise la recherche des assistants tout en refusant l'entraînement par GPTBot. C'est un choix possible, pas une obligation : beaucoup d'entreprises autorisent aussi GPTBot pour que les futures versions des modèles les connaissent.

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.votre-site.fr/sitemap.xml

Attention : le robots.txt n'est pas le seul filtre. Certains pare-feux et services comme les protections anti-robots des hébergeurs peuvent bloquer ces robots avant même qu'ils lisent le fichier. Si vous avez activé une option « bloquer les robots IA », vérifiez lesquels elle concerne.

Et le fichier llms.txt ?

Le fichier llms.txt est une proposition publiée par Jeremy Howard le 3 septembre 2024. Il s'agit d'un fichier texte au format Markdown, placé à la racine du site, qui résume le site et liste ses pages importantes, pour aider les agents IA à s'y retrouver.

Ce n'est pas un standard obligatoire. Google écrit dans sa documentation sur les fonctions IA qu'il n'est pas nécessaire de créer de nouveaux fichiers lisibles par les machines, de fichiers texte pour l'IA ni de balisage pour y apparaître. Un llms.txt ne fait pas de mal et se rédige en quelques minutes, mais il ne remplace ni des pages claires, ni la présence sur des sources tierces.

La vérification en 3 minutes

  1. Ouvrez votre-site.fr/robots.txt dans un navigateur.
  2. Cherchez les lignes « Disallow: / » sous OAI-SearchBot, PerplexityBot ou « User-agent: * ».
  3. Si vous utilisez un pare-feu ou un CDN, vérifiez ses réglages de blocage des robots.

L'audit offert, sans carte d'AppWire vérifie aussi l'accès des robots des IA à votre site.

Ce que propose AppWire

AppWire est une agence de référencement IA (GEO) basée à Limoges, qui intervient dans toute la France à distance. La plateforme pose régulièrement les questions de vos clients à plusieurs modèles d'IA, dont ChatGPT, relève qui est cité à votre place, et vous donne les actions à mener.

  • Essentiel : 49 € par mois, scan mensuel, 20 questions suivies.
  • Pro : 149 € par mois, scan hebdomadaire, 40 questions suivies, suivi des concurrents et serveur MCP.
  • Agence : 399 € par mois, jusqu'à 25 sites suivis.
  • Accompagnement : sur devis, notre équipe rédige les pages et s'occupe des annuaires.

Prix mensuels, TVA non applicable, art. 293 B du CGI. Sans engagement, 14 jours d'essai sur Essentiel et Pro. Pour commencer, l'audit offert, sans carte vous montre en quelques minutes ce que l'IA répond à vos clients.

Questions fréquentes

Bloquer GPTBot me retire-t-il de ChatGPT ?

Pas des réponses de recherche. Selon OpenAI, GPTBot sert à l'entraînement des modèles ; c'est OAI-SearchBot qui permet d'apparaître dans les réponses de recherche de ChatGPT. Le bloquer vous en retire.

Combien de temps pour qu'un changement du robots.txt soit pris en compte ?

OpenAI indique environ 24 heures pour OAI-SearchBot, et Perplexity jusqu'à 24 heures pour ses réglages.

Le fichier llms.txt est-il obligatoire ?

Non. C'est une proposition publiée en septembre 2024, pas un standard. Google indique qu'aucun fichier texte pour l'IA n'est nécessaire pour apparaître dans ses fonctions IA.

Google-Extended retire-t-il mon site de Google ?

Non. Selon Google, Google-Extended n'a aucun effet sur la présence ni sur le classement d'un site dans la recherche Google. Il sert à refuser l'entraînement des modèles Gemini.

AppWire peut-elle vérifier mon robots.txt ?

Oui. L'audit offert, sans carte, vérifie l'accès des robots des IA. Le suivi démarre à 49 € par mois, TVA non applicable, art. 293 B du CGI.

L'accès des robots est vérifié automatiquement à chaque scan de la plateforme ; pour la méthode complète, voir notre page agence de référencement IA.

À lire aussi