Robots.txt Generator
NuevoCrea archivos robots.txt con una interfaz de formulario, preajustes comunes incluyendo Bloquear Bots de IA y explicaciones en lenguaje sencillo.
User-agent: * Allow: /
Herramientas relacionadas
Insertar esta herramienta
Agrega esta herramienta a tu sitio web con un fragmento iframe.
<iframe src="https://dukotools.com/tools/robots-txt-generator?embed=1" width="100%" height="600" frameborder="0" allow="clipboard-write" loading="lazy" title="robots-txt-generator tool"></iframe>
About Robots.txt Generator
Robots.txt Generator crea archivos robots.txt válidos a través de una interfaz de usuario de formulario sin necesidad de recordar la sintaxis directiva. La sección de agentes de usuario le permite agregar múltiples reglas: seleccione un bot de un menú desplegable de rastreadores comunes, incluidos Googlebot, Bingbot, GPTBot, CCBot y DuckDuckBot, o escriba cualquier agente de usuario personalizado. Cada regla tiene entradas de rutas permitidas y no permitidas separadas. El panel de ajustes preestablecidos proporciona soluciones con un solo clic: Block AI Training Bots agrega Disallow para GPTBot, CCBot, anthropic-ai y otros rastreadores de entrenamiento de IA conocidos; bloquear todos los robots; Permitir todos los robots; Estándar de WordPress; y bloquear todo excepto la página de inicio. El panel de explicación en inglés sencillo traduce cada directiva generada en oraciones legibles.
Características clave
UI basada en formularios
Cree robots.txt a través de un formulario estructurado sin memorizar la sintaxis directiva.
Bloquear robots de entrenamiento de IA preestablecidos
El ajuste preestablecido con un clic agrega No permitir para GPTBot, CCBot, anthropic-ai y todos los rastreadores de entrenamiento de IA conocidos.
Menú desplegable de bots comunes
Seleccione Googlebot, Bingbot, GPTBot, CCBot, DuckDuckBot o escriba un agente de usuario personalizado.
Múltiples reglas de agentes de usuario
Agregue tantos bloques de agentes de usuario como sea necesario con rutas individuales de permitir y no permitir.
Explicaciones en inglés sencillo
Cada directiva generada se explica en un inglés sencillo y legible junto al resultado.
Directiva de URL del mapa del sitio
Agrega una directiva de mapa del sitio que apunta a los rastreadores a su sitemap.xml.
Descargar como robots.txt
Descarga el archivo con el nombre de archivo correcto para colocarlo en la raíz de su sitio.
Cómo utilizar
- 1
Elija un ajuste preestablecido (opcional)
Haga clic en una tarjeta preestablecida para obtener configuraciones comunes instantáneas como Block AI Bots o WordPress Standard.
- 2
Agregar reglas de agente de usuario
Seleccione o escriba un agente de usuario e ingrese las rutas permitidas y no permitidas.
- 3
Agregue la URL de su mapa del sitio
Ingrese la URL de su sitemap.xml en la entrada del mapa del sitio.
- 4
Lee las explicaciones
Revise la explicación en inglés sencillo de cada directiva generada.
- 5
Descargar o copiar
Descargue el archivo como robots.txt o copie el contenido.
Casos de uso del mundo real
Bloqueo de raspadores de datos de IA
El propietario de un blog utiliza el ajuste preestablecido Bloquear robots de entrenamiento de IA para agregar reglas de No permitir para todos los rastreadores de entrenamiento de IA conocidos para proteger su contenido.
Configuración del sitio de comercio electrónico
Un desarrollador de comercio electrónico utiliza el formulario para permitir páginas de productos y no permite páginas de carrito, pago, administración y búsqueda interna.
Configuración del sitio de medios
Un editor de noticias utiliza el ajuste preestablecido estándar de WordPress y agrega reglas personalizadas para bloquear el acceso a las páginas de archivo del autor que duplican contenido.
Preguntas frecuentes
Related Free Tools
Explore these tools that work great alongside Robots.txt Generator: