Herramienta gratuita

robots.txt para la IA,
sabiendo qué hace cada bot.

Unos bots te citan en las respuestas de ChatGPT, Claude o Perplexity; otros solo recogen textos para entrenar modelos. Elige quién pasa y copia el bloque listo para pegar.

Empieza por una receta

Tu bloque de robots.txt

9 pasan · 5 fuera

robots.txt
# Bots de IA · generado con Tarsier · https://gettarsier.com/es/robots-txt
# Pégalo al final de tu robots.txt y borra cualquier otra línea que nombre a estos bots.

# Pueden leer la web
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
Allow: /

# No pueden leer la web
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Bot a bot

Te citan en sus respuestas

Indexan la web para responder con enlaces a sus fuentes. Si no pasan, no sales.

Leen tu página cuando alguien la pide

Entran en el momento en que una persona pregunta o pega tu enlace.

Entrenan y también responden

Una sola llave para las dos cosas: si los cierras, tampoco te citan.

Solo entrenan modelos

Recogen textos para las próximas versiones. Cerrarles el paso no te quita de ninguna respuesta.

Si quieres afinar

Una ruta por línea, como /carrito/ o /mi-cuenta/. Un bot con grupo propio deja de leer las reglas de «User-agent: *»: si ahí cierras algo, repítelo aquí.

Les ayuda a encontrar todas tus páginas.

Cómo ponerlo en tu web

  1. Copia el bloque. Tal cual, con los comentarios: le explican qué hace cada parte a quien abra el fichero después.

  2. Pégalo al final de tu robots.txt. Es el fichero de tudominio.com/robots.txt. En WordPress se edita desde Yoast o Rank Math; en Shopify, en la plantilla robots.txt.liquid; en Wix, en las herramientas de SEO. Si no tienes ninguno, este bloque sirve como fichero entero.

  3. Borra lo que ya hubiera sobre estos bots. Si un bot sale en dos sitios, cuentan los dos, y un «Allow: /» antiguo le abre la puerta aunque más abajo diga «Disallow: /».

  4. Comprueba que funciona. robots.txt es solo la mitad: el cortafuegos o el CDN pueden echar a un bot aunque aquí pase. El análisis gratuito lo prueba con cada uno.

Lo que robots.txt no hace

¿Y tu web, deja pasar a la IA?

El análisis gratuito lee tu robots.txt bot a bot, prueba si tu servidor los echa y compara lo que ve una persona con lo que recibe la IA.

Analizar mi web gratis

Preguntas frecuentes

  1. ¿Si bloqueo GPTBot desaparezco de ChatGPT?

    No. GPTBot recoge textos para entrenar modelos. Para buscar y citarte, ChatGPT usa OAI-SearchBot, y para abrir una página que alguien le pide, ChatGPT-User. Puedes cerrar el primero y dejar pasar a los otros dos.

  2. ¿Bloquear Google-Extended me quita de AI Overviews?

    No. AI Overviews es parte del buscador y usa lo que lee Googlebot. Google-Extended solo decide si Gemini entrena con tu web y si la usa para responder en su propia app.

  3. ¿Y ClaudeBot?

    Solo entrena. Claude busca con Claude-SearchBot y abre las páginas que le piden con Claude-User, así que puedes cerrar ClaudeBot sin salir de sus respuestas.

  4. ¿Cuánto tardan en hacer caso?

    Cada bot vuelve a leer robots.txt por su cuenta; Google, por ejemplo, lo guarda hasta 24 horas. No hay que avisar a nadie.

  5. ¿Dónde tiene que estar el fichero?

    En la raíz del dominio: tudominio.com/robots.txt. Dentro de una carpeta no lo lee nadie, y cada subdominio necesita el suyo.