Generador de robots.txt

Crea un robots.txt limpio a partir de un catálogo cuidado de 36 bots conocidos — motores de búsqueda, rastreadores de IA, generadores de vistas previas sociales, herramientas SEO, monitores de uptime y bots de compras. Elige el modo de cada bot (Permitir todo, Bloquear todo o Personalizado), añade las URLs de tus sitemaps y una directiva Host opcional estilo Yandex, y obtén una vista previa en vivo del archivo canónico con un pase de lint. Copia o descarga. Todo se queda en tu navegador.

Comodín User-agent: *

Estas reglas se aplican a todo bot que no tenga su propio bloque. La mayoría de rastreadores respetan el comodín por defecto.

Bots

(ningún bot seleccionado)

Sitemaps y Host

    Importar robots.txt existente

    Pega un archivo existente para inicializar el selector. Las reglas con comodín se convierten en el bloque comodín; cada grupo de user-agent con nombre, en un bloque de bot.

    robots.txt

    — 
     
     
     
     
    Lint
     
     
     
     
     Cómo se construye el archivo 
       
    • El bloque comodín siempre se emite el primero. Sin reglas → solo User-agent: * sin directivas (la mayoría de rastreadores lo trata como "sin bloqueo").
      •  
    • Modo Permitir todo: el bloque del bot se omite por completo (hereda las reglas del comodín).
      •  
    • Modo Bloquear todo: emite Disallow: / en una nueva línea de user-agent.
      •  
    • Modo Personalizado: emite una línea Allow: o Disallow: por regla, en el orden de la fuente. Añade reglas con el editor de la izquierda.
      •  
    • Los sitemaps son a nivel de archivo y se emiten al final (una línea Sitemap: por cada uno). Deben ser http(s):// absolutos.
      •  
    • Host es la directiva de host canónico estilo Yandex. Solo Yandex y unos pocos rastreadores rusos la respetan.
      •  
    • Crawl-delay se emite cuando se fija en un bloque de bot; el bloque comodín no recibe uno actualmente (muévelo a un bloque por bot si lo necesitas).
      •  
    • Todo se queda en esta pestaña. No se sube nada, no se envía nada a un servidor.
      •