Comprobador de rastreadores de IA: robots.txt, noindex y llms.txt
Introduce la dirección de una página para ver qué rastreadores de IA admite su robots.txt, si la propia página dice noindex y si el sitio tiene un llms.txt. Cada resultado indica la línea exacta que lo decidió.
Gratis, sin registro. Nuestro servidor descarga la dirección que introduces; el resultado no se guarda.
Qué comprueba esto
Nuestro servidor hace tres solicitudes al sitio que introduces: robots.txt, la página y llms.txt. Después informa de tres cosas.
- robots.txt. Para cada rastreador de IA (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Google-Extended, Bingbot, CCBot y los demás de la lista), si las reglas le permiten descargar esta página y qué línea lo decidió.
- noindex. Si la etiqueta meta robots de la página o su cabecera X-Robots-Tag indica a los buscadores que la dejen fuera o que no la citen.
- llms.txt. Si el archivo existe y sigue el formato propuesto.
La lista de rastreadores se comparó con la documentación de cada operador el 2026-11-02. Sigue el enlace Docs de cualquier rastreador que te importe.
Cómo se decide un resultado de robots.txt
El comprobador sigue el estándar de robots.txt (RFC 9309). Para cada rastreador busca el grupo cuya línea User-agent lo nombra; si ninguno lo hace, se aplica el grupo de *. Dentro de ese grupo gana la ruta Allow o Disallow coincidente más larga, y Allow gana en caso de empate.
User-agent: GPTBot Disallow: / User-agent: * Disallow: /admin/
En este ejemplo, la línea 2 bloquea GPTBot en todas partes. OAI-SearchBot no tiene un grupo propio, así que se aplica el grupo *: puede leer /pricing pero no /admin/users.
El permiso, el acceso y la visibilidad son cosas distintas
Permiso es lo que dice robots.txt. Los rastreadores que se portan bien lo leen antes de descargar. Es una petición, no un candado, y varios operadores indican que las descargas que activa una persona pueden no seguirlo.
Acceso es si una solicitud realmente tiene éxito. Los cortafuegos, la protección contra bots de la CDN, los límites de frecuencia, los inicios de sesión y las páginas que necesitan JavaScript pueden detener a un rastreador que robots.txt permite. Esta herramienta no puede verlos para otros rastreadores.
Visibilidad es si un asistente menciona o cita tu sitio en sus respuestas. Eso depende de mucho más que del rastreo, y solo leer respuestas reales a lo largo del tiempo lo muestra.
Rastreadores de búsqueda, de asistentes y de entrenamiento
Bloquear un rastreador de entrenamiento como GPTBot o ClaudeBot es una decisión de política. No elimina un sitio de las funciones de búsqueda de esa empresa, que usan rastreadores distintos (OAI-SearchBot, Claude-SearchBot).
Google-Extended no es un rastreador en absoluto. Es un nombre en robots.txt que controla el entrenamiento y la fundamentación de Gemini, y Google indica que no afecta a Google Search, AI Overviews ni AI Mode. Estos usan el rastreo de Googlebot, así que no se pueden bloquear por separado sin dejar de aparecer en Google Search.
Limitaciones
- Los resultados de los rastreadores proceden solo de las reglas de robots.txt. No prueban cortafuegos, ajustes de CDN ni cómo responde tu servidor a cada rastreador.
- La página se descarga una vez, sin ejecutar JavaScript, y solo se lee su primer 256 KB. No se ve un noindex añadido más tarde por un script.
- Los rastreadores que no están en la lista no se comprueban. Algunos rastreadores aplican las reglas de forma distinta al estándar.
- Las comprobaciones en directo están limitadas: unas pocas por hora para cada visitante y cada sitio web, y un total diario para todos. Si llegas a un límite, pega el robots.txt en su lugar.
- Que se permita el acceso no demuestra que un asistente use, cite o mencione un sitio.
Preguntas
¿Bloquear GPTBot elimina mi sitio de la búsqueda de ChatGPT?
Según OpenAI, no. GPTBot recopila datos de entrenamiento; la búsqueda de ChatGPT usa OAI-SearchBot, y las páginas sobre las que pregunta una persona las descarga ChatGPT-User. Cada uno tiene su propio nombre en robots.txt, así que puedes bloquear uno y permitir los demás.
¿Bloquear Google-Extended ocultará mi sitio de AI Overviews?
No. Google indica que Google-Extended no afecta a Google Search, AI Overviews ni AI Mode. Solo controla si Google puede usar tus páginas para el entrenamiento y la fundamentación de Gemini.
Mi robots.txt lo permite todo. ¿Por qué un rastreador de IA sigue sin leer mis páginas?
Robots.txt es solo un permiso. Un cortafuegos, una regla de bots en tu CDN, un límite de frecuencia o una página que necesita JavaScript para mostrar su texto pueden seguir bloqueando u ocultando contenido. Revisa los ajustes de bots de tu CDN y los registros de tu servidor.
¿Necesito un archivo llms.txt?
No. Es un archivo opcional y propuesto que enumera las páginas clave de un sitio para los modelos de lenguaje. Ningún motor de IA ha confirmado que lo lea, así que esta herramienta solo te dice si existe y si sigue el formato propuesto.
¿Qué significa noindex para las respuestas de IA?
Una página marcada con noindex queda fuera de los índices de búsqueda. Es poco probable que los asistentes que encuentran páginas a través de un índice de búsqueda, como la búsqueda de ChatGPT o las funciones de IA de Google, la muestren o la citen.
¿Se guarda la dirección que introduzco?
No. Nuestro servidor descarga robots.txt, la página y llms.txt una vez, te muestra el resultado y guarda una copia diez minutos para que una comprobación repetida no vuelva a descargar. No se guarda nada en una cuenta, y los recuentos de uso nunca incluyen la dirección.
Más herramientas gratuitas
- Comprobador GEO de páginas
- Introduce una URL y comprueba lo que hace que una página sea fácil de citar: texto legible, encabezados, pasajes de respuesta, datos estructurados, autor y fechas.
- Comprobador de visibilidad en IA
- Hazle a un motor de respuestas de IA una pregunta de comprador y comprueba si nombra tu marca y qué fuentes cita. Una respuesta real, claramente etiquetada.
- Lista de comprobación de auditoría GEO
- Una lista de comprobación priorizada y adaptada a tu sitio, con la evidencia detrás de cada punto. Expórtala como Markdown o imprímela.
- Generador de marcado schema
- Crea o comprueba JSON-LD para siete tipos de schema.org, con notas claras sobre cuáles muestra Google todavía como resultados enriquecidos.
- Generador de prompts de búsqueda con IA
- Convierte una categoría, un comprador y unos casos de uso en un conjunto equilibrado de preguntas para monitorizar en las respuestas de IA.
- Analizador de menciones de marca
- Pega una respuesta de IA y mira las menciones de tu marca y de la competencia, el orden, el contexto y los enlaces citados.
- Comprobador de título y meta descripción
- Previsualiza un título y una descripción, con anchos aproximados en píxeles y el riesgo de que se corten.
- Generador de llms.txt
- Crea un archivo llms.txt con un formulario breve: nombre, resumen y enlaces a las páginas que las herramientas de IA deberían leer primero.
- Comprobador de llms.txt
- Comprueba el llms.txt de un sitio web, o pega uno, y ve cada problema con su línea y cómo corregirlo.