Generador de robots.txt
Crea archivos robots.txt para tu sitio web.
Generador de robots.txt para SEO y control de rastreo web
El archivo robots.txt es un estándar del protocolo de exclusión de robots que indica a los rastreadores web (bots de búsqueda como Googlebot, Bingbot, etc.) qué partes de tu sitio web pueden o no pueden rastrear e indexar. Se ubica en la raíz del dominio (example.com/robots.txt) y es lo primero que consultan los bots antes de rastrear tu sitio. Un robots.txt bien configurado es esencial para el SEO técnico, ya que evita que los buscadores desperdicien tu presupuesto de rastreo (crawl budget) en páginas irrelevantes.
Las directivas principales son User-agent (especifica a qué bot aplica la regla), Disallow (bloquea el acceso a una ruta), Allow (permite el acceso dentro de una ruta bloqueada) y Sitemap (indica la ubicación del mapa del sitio XML). Puedes crear reglas específicas para diferentes bots: por ejemplo, bloquear GPTBot para evitar que tu contenido sea usado para entrenar modelos de IA, mientras permites el acceso completo a Googlebot para mantener tu posicionamiento en búsquedas.
Nuestro generador te permite crear el archivo de forma visual sin necesidad de memorizar la sintaxis. Incluye presets para los bots más comunes, rutas frecuentes para bloquear (como admin, API, archivos temporales), y la opción de incluir la URL de tu sitemap. El resultado se puede copiar al portapapeles o descargar como archivo robots.txt listo para subir a la raíz de tu servidor web.
Preguntas frecuentes
¿Dónde debo colocar el archivo robots.txt?
El archivo robots.txt debe estar en la raíz de tu dominio, accesible en la URL example.com/robots.txt. Los bots buscan el archivo en esta ubicación exacta. Si usas subdominios, cada uno necesita su propio robots.txt.
¿Robots.txt impide que mis páginas aparezcan en Google?
No completamente. Robots.txt bloquea el rastreo, pero Google puede indexar una URL si la encuentra en enlaces de otros sitios, aunque no podrá ver su contenido. Para evitar la indexación, usa la meta etiqueta noindex en la página. Robots.txt y noindex tienen propósitos diferentes y complementarios.
¿Puedo bloquear bots de IA como ChatGPT?
Sí. Puedes agregar reglas específicas para User-agent: GPTBot y User-agent: ChatGPT-User con Disallow: / para bloquear los rastreadores de OpenAI. De forma similar, ClaudeBot es el user-agent de Anthropic. Sin embargo, no todos los bots de IA respetan robots.txt.
¿Quieres saber más? Lee nuestra guía completa →