Outil gratuit

Un robots.txt pour l’IA,
en sachant ce que fait chaque robot.

Certains robots vous citent dans les réponses de ChatGPT, Claude ou Perplexity ; d’autres se contentent de collecter des textes pour entraîner des modèles. Choisissez qui passe et copiez le bloc prêt à coller.

Partez d’une formule

Votre bloc robots.txt

Autorisés : 9 · bloqués : 5

robots.txt
# Robots d'IA · généré avec Tarsier · https://gettarsier.com/fr/robots-txt
# Collez-le à la fin de votre robots.txt et supprimez toute autre ligne qui nomme ces robots.

# Autorisés à lire le site
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
Allow: /

# Non autorisés à lire le site
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Robot par robot

Ils vous citent dans leurs réponses

Ils indexent le Web pour répondre avec des liens vers leurs sources. S’ils ne passent pas, vous n’apparaissez pas.

Ils lisent votre page quand quelqu’un la demande

Ils arrivent au moment où une personne pose une question ou colle votre lien.

Ils s’entraînent et répondent aussi

Une seule clé pour les deux : si vous les bloquez, ils ne vous citent plus non plus.

Ils ne font qu’entraîner des modèles

Ils collectent des textes pour les prochaines versions. Les bloquer ne vous retire d’aucune réponse.

Pour affiner

Un chemin par ligne, comme /panier/ ou /mon-compte/. Un robot qui a son propre groupe ne lit plus les règles de « User-agent: * » : si vous y bloquez quelque chose, répétez-le ici.

Elle les aide à trouver toutes vos pages.

Comment l’installer sur votre site

  1. Copiez le bloc. Tel quel, avec les commentaires : ils expliquent ce que fait chaque partie à qui ouvrira le fichier plus tard.

  2. Collez-le à la fin de votre robots.txt. C’est le fichier qui se trouve à votredomaine.fr/robots.txt. Sous WordPress, il se modifie depuis Yoast ou Rank Math ; sous Shopify, dans le template robots.txt.liquid ; sous Wix, dans les outils SEO. Si vous n’en avez pas, ce bloc peut servir de fichier complet.

  3. Supprimez ce qui concernait déjà ces robots. Si un robot apparaît à deux endroits, les deux comptent, et un ancien « Allow: / » lui ouvre la porte même si, plus bas, il est écrit « Disallow: / ».

  4. Vérifiez que ça fonctionne. robots.txt ne fait que la moitié du travail : le pare-feu ou le CDN peuvent refouler un robot même s’il est autorisé ici. L’analyse gratuite fait le test avec chacun.

Ce que robots.txt ne fait pas

Et votre site, laisse-t-il entrer l’IA ?

L’analyse gratuite lit votre robots.txt robot par robot, vérifie si votre serveur les refoule et compare ce que voit une personne avec ce que reçoit l’IA.

Analyser mon site gratuitement

Questions fréquentes

  1. Si je bloque GPTBot, est-ce que je disparais de ChatGPT ?

    Non. GPTBot collecte des textes pour entraîner des modèles. Pour chercher et vous citer, ChatGPT utilise OAI-SearchBot, et pour ouvrir une page que quelqu’un lui demande, ChatGPT-User. Vous pouvez bloquer le premier et laisser passer les deux autres.

  2. Bloquer Google-Extended me retire-t-il d’AI Overviews ?

    Non. AI Overviews fait partie du moteur de recherche et utilise ce que lit Googlebot. Google-Extended décide seulement si Gemini s’entraîne sur votre site et s’en sert pour répondre dans sa propre application.

  3. Et ClaudeBot ?

    Il ne fait qu’entraîner. Claude cherche avec Claude-SearchBot et ouvre les pages qu’on lui demande avec Claude-User : vous pouvez donc bloquer ClaudeBot sans sortir de ses réponses.

  4. Combien de temps avant qu’ils en tiennent compte ?

    Chaque robot relit robots.txt à son rythme ; Google, par exemple, le garde en cache jusqu’à 24 heures. Il n’y a personne à prévenir.

  5. Où doit se trouver le fichier ?

    À la racine du domaine : votredomaine.fr/robots.txt. Dans un dossier, personne ne le lit, et chaque sous-domaine a besoin du sien.