Acerca de esta herramienta
El archivo **robots.txt** indica a los motores de búsqueda y otros bots qué partes de tu sitio web pueden rastrear. Es fundamental para el SEO técnico: controla qué páginas indexa Google, evita que se rastreen áreas privadas, y optimiza el presupuesto de rastreo.
Un robots.txt bien configurado puede mejorar tu posicionamiento evitando contenido duplicado, proteger áreas de administración, y bloquear bots no deseados (como rastreadores de IA). También es donde declaras la ubicación de tu sitemap XML.
Este generador te permite crear robots.txt para WordPress, tiendas online, blogs, y cualquier sitio web. Incluye plantillas predefinidas, validación de sintaxis, y la opción de bloquear bots específicos como GPTBot, CCBot, y otros rastreadores de IA.
Cómo usar
1. Selecciona una plantilla base según tu tipo de sitio (WordPress, eCommerce, etc.)
2. Añade reglas de Allow (permitir) y Disallow (bloquear) según necesites
3. Incluye la URL de tu sitemap (ejemplo: https://tudominio.com/sitemap.xml)
4. Opcionalmente, bloquea bots de IA u otros rastreadores específicos
5. Revisa la vista previa y copia o descarga el archivo
6. Sube el archivo robots.txt a la raíz de tu dominio (tudominio.com/robots.txt)
Fórmula
Sintaxis de robots.txt:
User-agent: * → aplica a todos los bots
User-agent: Googlebot → solo para Google
Disallow: /admin/ → bloquea carpeta
Allow: /admin/public/ → permite subcarpeta
Sitemap: https://ejemplo.com/sitemap.xml
Orden de evaluación: la regla más específica gana