Un generador de robots.txt le ahorra las conjeturas con uno de los archivos más antiguos y peor entendidos de la web. Esta herramienta gratuita crea en segundos un robots.txt con sintaxis correcta: elija un ajuste preestablecido para WordPress, e-commerce o un conjunto de reglas totalmente personalizado, decida si bloquea la nueva oleada de rastreadores de IA y copie el resultado directamente en el directorio raíz de su sitio.
Los mismos pocos errores causan la mayoría de los problemas con robots.txt: bloquear los archivos CSS y JS que Google necesita para renderizar la página, usar robots.txt para intentar «ocultar» una página que ya está indexada y dejar un Disallow: / de pruebas en un sitio en producción. Esta página explica cada trampa para que pueda contrastar su resultado con ellas antes de subirlo.
Qué hace este generador de robots.txt
La herramienta crea un archivo robots.txt de texto plano formado por uno o más bloques User-agent, cada uno seguido de directivas Allow y Disallow, un Crawl-delay opcional y una línea Sitemap que dirige a los buscadores a su sitemap XML. Elija un ajuste preestablecido para rellenar automáticamente valores razonables, marque casillas para añadir reglas de bloqueo para rastreadores de IA concretos, y el generador lo ensambla todo en un archivo limpio y conforme a los estándares que puede copiar con un clic.
Cada regla que añade es visible antes de copiar nada, así que no hay nada oculto ni inyectado automáticamente. Lo que ve en el cuadro de resultados es exactamente lo que se sube a su servidor.
Cómo usarlo
- Elija un ajuste preestablecido. «Permitir todos» es la opción predeterminada más segura para la mayoría de los sitios pequeños. «WordPress estándar» bloquea las rutas de administración y de búsqueda y mantiene rastreables las carpetas de contenido, del núcleo y de plugins (incluidos sus CSS/JS). «E-commerce estándar» añade las rutas de carrito, pago y cuenta.
- Ajuste el User-agent y las rutas. Deje
User-agent: *para dirigirse a todos los rastreadores o indique un solo bot si necesita una regla especial. - Añada la URL de su sitemap. Esta única línea ayuda a todos los buscadores a encontrar su sitemap sin que tenga que enviarlo manualmente a cada uno.
- Decida sobre los rastreadores de IA. Marque las casillas de los bots de IA que quiera mantener fuera de su canal de datos de entrenamiento.
- Genere y copie. Pulse Generar, revise el resultado y cópielo en un archivo llamado exactamente
robots.txten la raíz de su dominio.
Cómo funciona realmente robots.txt
Robots.txt sigue el Protocolo de exclusión de robots, un estándar voluntario que los rastreadores que se comportan bien consultan antes de solicitar cualquier página de su dominio. El archivo vive en https://yourdomain.com/robots.txt, y en ningún otro sitio; cada bot de buscador lo lee primero, compara el nombre de su propio User-agent con sus reglas y decide después qué rutas puede solicitar. Google, Bing y otros buscadores importantes respetan este protocolo de cerca, tal como se documenta en robotstxt.org, el sitio de la especificación original.
Rastreo frente a indexación: el error que rompe sitios
Esto es lo más importante que debe entender antes de tocar robots.txt: robots.txt controla el rastreo, no la indexación. Son dos procesos distintos, y confundirlos causa daños reales. El rastreo es el bot de Google solicitando una página y leyendo su contenido. La indexación es Google decidiendo almacenar esa página y mostrarla en los resultados de búsqueda. Bloquear una URL con Disallow en robots.txt solo detiene el rastreo: no garantiza que la página se quede fuera de los resultados de búsqueda.
Esta es la trampa: si otros sitios enlazan a una página que usted ha bloqueado, Google aún puede indexar la URL a partir de esa señal externa y mostrarla en los resultados sin título ni descripción, solo el enlace desnudo, a menudo peor para su marca que si la hubiera dejado totalmente rastreable. Peor aún, una vez que una página está bloqueada, el rastreador de Google no puede volver a obtenerla, lo que significa que tampoco puede leer una metaetiqueta noindex en ella. Una página bloqueada en robots.txt es invisible para el mismo mecanismo que la eliminaría correctamente del índice.
La solución correcta para «no quiero esta página en los resultados de búsqueda» casi siempre es una etiqueta <meta name="robots" content="noindex"> en la propia página, dejándola totalmente rastreable para que Google pueda ver y acatar esa instrucción. Reserve las reglas Disallow de robots.txt para las páginas que no quiere que se rastreen en absoluto — resultados de búsqueda internos, URL filtradas o por facetas que crean combinaciones duplicadas infinitas, entornos de pruebas o áreas de administración —, no para las páginas que intenta eliminar de la búsqueda.
La cuestión de los rastreadores de IA que ahora afronta todo editor
Desde 2023 ha aparecido en los registros de los servidores una nueva categoría de rastreador: bots que no indexan su página para la búsqueda, sino que extraen su contenido para entrenar o fundamentar grandes modelos de lenguaje. GPTBot (OpenAI), CCBot (el rastreador detrás del conjunto de datos Common Crawl que usan muchos laboratorios de IA), Google-Extended (un token de robots.txt, independiente de Googlebot, que controla si el contenido que Google ha rastreado se usa para entrenar y fundamentar Gemini; Google afirma que no afecta a la inclusión en la Búsqueda de Google), ClaudeBot (Anthropic) y PerplexityBot (Perplexity AI) son aquellos por los que más preguntan los propietarios de sitios.
Aquí hay una disyuntiva real, no una respuesta correcta sin matices. Bloquear estos rastreadores pide a sus operadores que mantengan su contenido fuera de sus conjuntos de entrenamiento de IA (el cumplimiento es voluntario y un bloqueo no elimina lo que ya se recopiló), algo que algunos editores desean, sobre todo si las respuestas generadas por IA satisfacen las búsquedas sin enviar un clic a la página original.
Pero bloquearlos también significa que su marca, sus datos y su experiencia no aparecerán cuando alguien haga a un asistente de IA una pregunta que su contenido podría haber respondido. Para un negocio que depende de que lo encuentren — que es la mayoría —, esa disyuntiva merece una decisión deliberada, no un valor predeterminado. Este generador convierte cada rastreador de IA en una casilla individual precisamente para que usted elija de forma consciente en lugar de copiar y pegar una lista de bloqueo genérica que encontró en internet.
Directivas habituales de robots.txt explicadas
- User-agent: identifica a qué rastreador se aplican las reglas siguientes.
*coincide con todos los rastreadores que no tengan un bloque más específico. - Disallow: indica al rastreador especificado que no solicite las URL que coincidan con esta ruta. Un valor vacío significa que no se bloquea nada.
- Allow: crea una excepción dentro de una ruta bloqueada; se usa sobre todo para dejar pasar un archivo concreto (como un recurso CSS o JS) aunque su carpeta superior esté bloqueada.
- Crawl-delay: pide a un bot que espere un número de segundos entre solicitudes. Google no lo admite (su documentación de robots.txt solo enumera user-agent, allow, disallow y sitemap); otros rastreadores sí lo leen, pero la compatibilidad varía según el bot. Úselo con moderación: un retraso largo puede ralentizar la rapidez con que un rastreador que lo respeta descubre contenido nuevo.
- Sitemap: una URL absoluta que apunta a su sitemap XML. Es la única directiva que todos los buscadores leen sea cual sea el bloque User-agent bajo el que se encuentre.
Qué NO poner en robots.txt
Robots.txt es un archivo público. Cualquiera — un competidor, un investigador de seguridad, un visitante curioso — puede visitar yourdomain.com/robots.txt y leer cada ruta que usted haya listado. No use nunca una regla Disallow para intentar «ocultar» un panel de administración, un subdirectorio de pruebas con datos sensibles o una página de un producto aún no lanzado. Listar la ruta en robots.txt suele atraer más atención hacia ella que dejarla sin listar, ya que publica la estructura exacta de la URL a quien la consulte. Si algo debe permanecer realmente privado, protéjalo con autenticación o con una regla de cortafuegos, no con un archivo de texto que pide amablemente a los bots que se comportan bien que miren hacia otro lado, porque no todos los bots se comportan bien y robots.txt es puramente voluntario.
Robots.txt es una pequeña pieza de un panorama mayor de rastreabilidad e indexación. Los servicios de SEO de Arb Digital cubren auditorías técnicas, indexación y arquitectura del sitio.
Ver nuestros servicios de SEO Todas las herramientas gratisErrores comunes que debe evitar
- Bloquear las carpetas de CSS/JS. Google renderiza las páginas como un navegador; bloquear los directorios de hojas de estilo o scripts puede hacer que Google vea una página rota y sin estilos y juzgue mal su calidad.
- Usar Disallow para eliminar páginas indexadas. No funciona de forma fiable y puede ser contraproducente: use en su lugar etiquetas noindex en una página rastreable.
- Olvidar la línea del sitemap. Cuesta una línea y ayuda a todos los rastreadores a encontrar su sitemap sin envío manual.
- Errores en el nombre o la ubicación del archivo. Debe llamarse exactamente
robots.txt, en minúsculas, en la raíz del dominio: no en una subcarpeta, ni comoRobots.TXT. - Bloquear todo en un sitio en producción por accidente. Un
Disallow: /olvidado de un entorno de pruebas es una de las causas más comunes de que un sitio desaparezca de repente de los resultados de búsqueda. - Suponer que robots.txt mantiene una página fuera de los resultados de búsqueda. Solo bloquea el rastreo; consulte la sección anterior sobre rastreo frente a indexación.
Herramientas gratis relacionadas de Arb Digital
Cuando su robots.txt esté activo, combínelo con el generador de sitemap XML para crear el sitemap que mencionó arriba. Si planea cambios de URL, el generador de redirecciones htaccess gestiona las 301 de la forma correcta. Compruebe si una página está realmente indexada con el verificador de caché de Google, revise sus etiquetas on-page con el generador de metaetiquetas, añada datos estructurados con el generador de marcado schema o explore nuestro centro de herramientas online gratis completo.
Ejemplo resuelto con los valores predeterminados
Abra esta página y mire el cuadro de resultados sin cambiar nada (el archivo se genera al cargar; pulsar Generar lo repite). Estos son los valores de partida, tomados directamente del formulario:
- Ajuste preestablecido: wordpress
- User-agent: *
- URL del sitemap: https://www.example.com/sitemap.xml
- Crawl-delay: vacío
- Casillas de rastreadores de IA: las cinco sin marcar
La herramienta devuelve lo siguiente, obtenido con el mismo código que se ejecuta arriba:
- Estado: 6 reglas
- Líneas de directivas: 6
- Bloques de user-agent: 1
- Rastreadores de IA bloqueados: 0
- Líneas de sitemap: 1
El resultado es un bloque User-agent: * con cinco líneas Disallow (/wp-admin/, /readme.html, /trackback/, /?s=, /search/), una línea Allow: /wp-admin/admin-ajax.php y una línea en blanco seguida de Sitemap: https://www.example.com/sitemap.xml. La línea de estado dice “1 bloque de user-agent”. Marque las cinco casillas de IA y cada una añade su propio bloque con Disallow: /, de modo que los recuentos suben a 11 líneas de directivas y 6 bloques.
Cómo leer su resultado
- Líneas de directivas cuenta las líneas Disallow, Allow y Crawl-delay más una por cada bot de IA bloqueado. No cuenta las líneas User-agent ni Sitemap.
- Sustituya la URL de sitemap de ejemplo por la suya real. El valor predeterminado es un marcador de posición que no existe.
- Mantenga rastreables los CSS/JS. El ajuste de WordPress deja deliberadamente abiertos
/wp-includes/y/wp-content/plugins/, porque contienen scripts y estilos que sus páginas necesitan para renderizarse. Google recomienda permitir que los rastreadores obtengan esos recursos, así que evite volver a añadirlos. - Busque
Disallow: /bajoUser-agent: *. Eso bloquea todo el sitio y solo corresponde a una copia de pruebas.
Qué hacer a continuación
- Suba el archivo a
/robots.txten la raíz del dominio y ábralo después en un navegador para confirmar que se carga como texto plano. - Pruebe algunas URL importantes con el informe de robots.txt y la herramienta de inspección de URL de Google Search Console.
- Cree el sitemap que mencionó con el generador de sitemap XML y use noindex, no Disallow, para las páginas que quiera sacar de la búsqueda.
Preguntas frecuentes
No de forma fiable. Robots.txt solo bloquea el rastreo. Si otros sitios enlazan a una URL bloqueada, Google aún puede indexarla y mostrarla, normalmente como un enlace desnudo sin fragmento, porque nunca se le permitió leer la página. Para mantener una página fuera de los resultados de búsqueda de forma fiable, déjela rastreable y añada en su lugar una metaetiqueta noindex.
Depende de sus objetivos. Bloquearlos pide a esos operadores que mantengan su contenido fuera de los datos de entrenamiento de los modelos de IA (Google-Extended cubre el entrenamiento y la fundamentación de Gemini, y Google afirma que no afecta a la inclusión en la Búsqueda). El cumplimiento es voluntario y bloquear también puede significar que los asistentes de IA citen menos su contenido, lo que puede costarle visibilidad. No hay una respuesta universalmente correcta: este generador le permite elegir cada rastreador por separado.
Debe estar en la raíz de su dominio, por ejemplo https://www.example.com/robots.txt. No se reconocerá en una subcarpeta como /blog/robots.txt, y cada subdominio necesita su propia copia si tiene reglas de rastreo distintas.
Pide a un rastreador que espere un número fijo de segundos entre solicitudes para reducir la carga del servidor. Google no admite esta directiva, así que no tiene efecto en Googlebot. Otros rastreadores sí la leen, pero la compatibilidad varía según el bot, y un valor alto puede ralentizar la rapidez con que esos rastreadores descubren páginas nuevas.
No. Robots.txt es un archivo público que cualquiera puede ver. Listar allí una ruta sensible publica su ubicación exacta a quien mire, incluidos los bots que ignoran por completo las reglas. Use autenticación o controles de acceso a nivel de servidor para todo lo que realmente deba permanecer privado.
Técnicamente no: si no existe, los rastreadores asumen que todo está permitido. Pero tener uno sigue siendo una buena práctica: le permite dirigir a los rastreadores a su sitemap, bloquear rutas de rastreo de poco valor como la búsqueda interna o las URL filtradas y tomar una decisión deliberada sobre los rastreadores de IA, en lugar de dejar todo eso al comportamiento por defecto.