Arrastra y suelta
para subir tu archivo
Generador de robots.txt
Crea un robots.txt válido en segundos. Gratis, sin registro
Elige una plantilla lista, añade tus propias reglas Allow y Disallow, pon la URL de tu sitemap y el archivo se escribe línea a línea mientras tecleas. Todo se ejecuta en tu navegador, así que nada sobre tu sitio web se nos envía. Cópialo o descarga un robots.txt listo para subir.
Reglas de rastreo
| User-agent | Directiva | Ruta | Acciones |
|---|
Deja la ruta vacía para un Disallow: a secas. Es la forma canónica de decir "rastrea todo". Usa / para bloquear todo el sitio web.
Directivas opcionales
Lo respetan Bing y Seznam. Google y Yandex lo ignoran; ambos ajustan el ritmo de rastreo automáticamente, y puedes ralentizar Bingbot en Bing Webmaster Tools.
Una directiva antigua de Yandex; Yandex dejó de leerla en 2018. Déjala en blanco salvo que algún rastreador minoritario que uses todavía interprete Host; usa redirecciones 301 y etiquetas canonical para indicar tu dominio preferido.
Deben ser URL absolutas. Se escriben al final del archivo, fuera de todos los grupos de user-agent, que es la convención que esperan los rastreadores.
Genera Content-Signal: search=yes, ai-train=no dentro de cada grupo: "puedes indexarme, no puedes entrenarte conmigo". Es una declaración de intenciones, no un mecanismo de cumplimiento, y debe quedarse dentro del grupo porque una línea en blanco cerraría el bloque. Static.app publica su propia línea Content-Signal (la nuestra admite el uso por IA) en /robots.txt.
Vídeo tutorial (en inglés)
Aprende a crear un archivo robots.txt con el generador de robots.txt gratuito de Static.app.
-
Agrupación correcta, automática
Las reglas del mismo user-agent se unen en un bloque, los bloques se separan con una línea en blanco y las líneas Sitemap van al final. Las tres cosas en las que más se equivocan los robots.txt escritos a mano.
-
Bloqueo de rastreadores de IA con un clic
Veinte agentes de IA y LLM con nombre (GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider y más) bloqueados con un solo clic, sin tocar Googlebot ni Bingbot.
-
Vista previa en directo, avisos en directo
El archivo se reescribe con cada pulsación de tecla, y la línea de estado señala los clásicos: una ruta sin la barra inicial, una URL de sitemap relativa, un user-agent vacío.
Cómo crear un archivo robots.txt
-
1
Elige un ajuste predefinido y luego añade o quita reglas hasta que las reglas de rastreo se ajusten a tu sitio web.
-
2
Pega la URL de tu sitemap y, si lo necesitas, un retraso de rastreo.
-
3
Descarga el archivo y súbelo a la raíz de tu sitio web, para que responda en /robots.txt.
Ejemplo de robots.txt: permitir todo y bloquear los bots de entrenamiento de IA
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlLos rastreadores de buscadores pueden descargar todas las páginas, GPTBot ninguna, y la línea del sitemap dirige a todos los rastreadores a tu lista de URL. Elige "Bloquear rastreadores de IA" arriba para generar la versión completa con los veinte agentes de IA.
Qué controla realmente un archivo robots.txt
-
Rastreo, no indexación
Disallow le dice a un rastreador que no descargue una URL. No la elimina de los resultados de búsqueda; una página bloqueada puede seguir apareciendo si otros sitios web la enlazan. Para mantener una página fuera del índice, deja que se rastree y sirve una meta tag o cabecera
noindex. -
Presupuesto de rastreo en sitios grandes
La navegación por facetas, los resultados de búsqueda interna y las combinaciones infinitas de filtros pueden gastar el tiempo de un rastreador en URL que nunca van a posicionar. Bloquear esos patrones dirige el presupuesto a las páginas que de verdad te importan. En un sitio web pequeño tipo folleto, esto importa mucho menos de lo que se cree.
-
Un estándar público y voluntario
Cualquiera puede leer tu robots.txt, y cumplirlo es opcional. Los rastreadores educados lo siguen; los scrapers y los bots de spam lo ignoran por completo. Nunca pongas ahí rutas secretas ni lo trates como control de acceso; usa autenticación para todo lo que deba seguir siendo privado.
¿Ya tienes tu robots.txt? Publica todo el sitio web con Static.app
Seleccionar archivo
o suelta aquí tu archivo para subirlo
Preguntas frecuentes
¿Qué es un archivo robots.txt?
robots.txt es un archivo de texto plano en la raíz de tu dominio que indica a los rastreadores qué partes de tu sitio web pueden solicitar. Es lo primero que piden la mayoría de los bots que se portan bien. Es un conjunto de instrucciones, no una barrera de seguridad: es de lectura pública y los scrapers hostiles lo ignoran sin más, así que nunca lo uses para ocultar URL sensibles.
¿Necesito un archivo robots.txt?
No. Sin él, los rastreadores asumen que todo está permitido, lo que está bien para la mayoría de los sitios web pequeños. Añade uno cuando necesites mantener a los bots fuera de rutas concretas, bloquear rastreadores de IA o indicar a los rastreadores dónde está tu sitemap; y una vez que lo tengas, mantenlo válido, porque un archivo mal formado puede bloquear más de lo que pretendías.
¿Qué diferencia hay entre Allow y Disallow?
Disallow bloquea las rutas que coinciden; Allow hace una excepción dentro de un Disallow más amplio. La pareja clásica es Disallow: /wp-admin/ junto con Allow: /wp-admin/admin-ajax.php. Cuando las reglas entran en conflicto, gana la más específica (la ruta coincidente más larga).
¿Dónde va el archivo robots.txt?
Debe estar en la raíz del host, en https://example.com/robots.txt, y solo se aplica a ese host y protocolo exactos. Un archivo en /blog/robots.txt no hace nada, y un archivo en www.example.com no cubre example.com.
¿Impide robots.txt que Google indexe una página?
No. Disallow impide que un rastreador acceda a una URL, pero no la elimina de los resultados de búsqueda. Una página bloqueada aún puede indexarse a partir de enlaces externos y aparecer sin descripción. Para mantener una página fuera del índice necesitas una meta tag robots noindex, y bloquear esa página en robots.txt al mismo tiempo es contraproducente, porque el rastreador nunca podrá acceder a la página para ver el noindex.
¿Cómo bloqueo los rastreadores de IA?
Añade una regla Disallow para cada user-agent de IA que quieras excluir. El ajuste predefinido "Bloquear rastreadores de IA" de aquí cubre los principales actuales, entre ellos GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider y meta-externalagent. Ten en cuenta que Google-Extended controla el uso para entrenamiento de IA sin afectar al rastreo normal de la Búsqueda de Google, que suele ser lo que los propietarios de sitios web quieren en realidad.
¿Qué es la línea Content-Signal?
Content Signals es una forma más reciente y legible por máquinas de expresar la intención por tipo de uso en lugar de por bot, por ejemplo permitiendo la indexación en buscadores pero rechazando el entrenamiento de IA. No sustituye a las reglas Disallow y su adopción sigue siendo desigual, así que tómala como una declaración clara de intenciones que convive con tus reglas explícitas.
¿Debo incluir mi sitemap en robots.txt?
Sí. Una línea Sitemap: con la URL absoluta completa la leen todos los buscadores importantes y no cuesta nada. Es la forma más sencilla de asegurarte de que los rastreadores encuentren tu sitemap aunque nunca lo envíes manualmente. Crea uno con nuestro Generador de sitemap XML.
¿Funciona crawl-delay con Google?
No. Google ignora Crawl-delay por completo y ajusta su ritmo de rastreo automáticamente; Yandex dejó de admitirlo en 2018. Bing sí lo respeta. Añádelo solo si un bot concreto está sobrecargando de verdad tu servidor, y es mejor arreglar el problema de rendimiento de fondo.
¿Cómo pruebo mi robots.txt?
Sube el archivo, ábrelo en un navegador para confirmar que se sirve como texto plano en la raíz y usa después el informe de robots.txt de Google Search Console para ver cómo lo interpreta Google. Si alojas tu sitio web en Static.app, basta con poner robots.txt en la raíz de tu proyecto: se sirve como archivo estático y no hace falta ninguna configuración.