Pular para o conteúdo

Verificador de rastreadores de IA: robots.txt, noindex e llms.txt

Informe o endereço de uma página para ver quais rastreadores de IA o robots.txt deixa entrar, se a própria página diz noindex e se o site tem um llms.txt. Cada resultado indica a linha exata que o decidiu.

Gratuito, sem cadastro. Nosso servidor busca o endereço que você informa; o resultado não é armazenado.

Buscamos o robots.txt, esta página e o llms.txt uma vez cada. Leva cerca de dez segundos.

A seguir: verifique se a página é fácil de ser citada pelas respostas de IA.

O que isto verifica

Nosso servidor faz três solicitações ao site que você informa: robots.txt, a página e llms.txt. Em seguida, relata três coisas.

  • robots.txt. Para cada rastreador de IA (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Google-Extended, Bingbot, CCBot e os outros da lista), se as regras permitem que ele busque esta página e qual linha decidiu isso.
  • noindex. Se a meta tag robots da página ou o cabeçalho X-Robots-Tag dela diz aos mecanismos de busca para deixá-la de fora ou para não citá-la.
  • llms.txt. Se o arquivo existe e segue o formato proposto.

A lista de rastreadores foi conferida com a documentação de cada operador em 2026-11-02. Siga o link Docs de qualquer rastreador que seja importante para você.

Como o resultado de um robots.txt é decidido

O verificador segue o padrão robots.txt (RFC 9309). Para cada rastreador, ele encontra o grupo cuja linha User-agent cita esse rastreador; se nenhum cita, vale o grupo *. Dentro desse grupo, vence o caminho Allow ou Disallow correspondente mais longo, e o Allow vence em caso de empate.

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow: /admin/

Neste exemplo, o GPTBot é bloqueado em todo o site pela linha 2. O OAI-SearchBot não tem um grupo próprio, então vale o grupo *: ele pode ler /pricing, mas não /admin/users.

Permissão, acesso e visibilidade são coisas diferentes

Permissão é o que o robots.txt diz. Os rastreadores bem-comportados o leem antes de buscar. É um pedido, não uma tranca, e vários operadores afirmam que as buscas acionadas por uma pessoa podem não segui-lo.

Acesso é se uma solicitação realmente funciona. Firewalls, proteção de bots da CDN, limites de requisições, logins e páginas que precisam de JavaScript podem barrar um rastreador que o robots.txt permite. Esta ferramenta não consegue ver isso para outros rastreadores.

Visibilidade é se um assistente menciona ou cita o seu site nas respostas. Isso depende de muito mais do que o rastreamento, e só a leitura de respostas reais ao longo do tempo mostra.

Rastreadores de busca, de assistentes e de treinamento

Bloquear um rastreador de treinamento como o GPTBot ou o ClaudeBot é uma decisão de política. Isso não remove o site dos recursos de busca dessa empresa, que usam rastreadores separados (OAI-SearchBot, Claude-SearchBot).

Google-Extended não é um rastreador. É um nome no robots.txt que controla o treinamento e a fundamentação do Gemini, e o Google afirma que não afeta a Busca do Google, o AI Overviews nem o AI Mode. Estes usam o rastreamento do Googlebot, então não podem ser bloqueados separadamente sem deixar a Busca do Google.

Limitações

  • Os resultados dos rastreadores vêm apenas das regras do robots.txt. Eles não testam firewalls, configurações de CDN nem como o seu servidor responde a cada rastreador.
  • A página é buscada uma vez, sem executar JavaScript, e apenas os primeiros 256 KB dela são lidos. Um noindex adicionado depois por um script não é visto.
  • Rastreadores que não estão na lista não são verificados. Alguns rastreadores aplicam as regras de forma diferente do padrão.
  • As verificações ao vivo são limitadas: algumas por hora para cada visitante e cada site, e um total diário para todos. Se você atingir um limite, cole o robots.txt.
  • Ter permissão não é evidência de que um assistente usa, cita ou referencia um site.

Perguntas

Bloquear o GPTBot remove meu site da busca do ChatGPT?

Segundo a OpenAI, não. O GPTBot coleta dados de treinamento; a busca do ChatGPT usa o OAI-SearchBot, e as páginas sobre as quais uma pessoa pergunta são buscadas pelo ChatGPT-User. Cada um tem seu próprio nome no robots.txt, então você pode bloquear um e permitir os outros.

Bloquear o Google-Extended vai esconder meu site do AI Overviews?

Não. O Google afirma que o Google-Extended não afeta a Busca do Google, o AI Overviews nem o AI Mode. Ele só controla se o Google pode usar as suas páginas para o treinamento e a fundamentação do Gemini.

Meu robots.txt permite tudo. Por que um rastreador de IA ainda não consegue ler minhas páginas?

O robots.txt é apenas permissão. Um firewall, uma regra de bots na sua CDN, um limite de requisições ou uma página que precisa de JavaScript para mostrar o texto ainda podem bloquear ou esconder conteúdo. Verifique as configurações de bots da sua CDN e os logs do seu servidor.

Preciso de um arquivo llms.txt?

Não. É um arquivo opcional e proposto que lista as páginas principais de um site para modelos de linguagem. Nenhum mecanismo de IA confirmou que o lê, então esta ferramenta só informa se ele existe e se segue o formato proposto.

O que o noindex significa para as respostas de IA?

Uma página marcada com noindex fica de fora dos índices de busca. Assistentes que encontram páginas por meio de um índice de busca, como a busca do ChatGPT ou os recursos de IA do Google, dificilmente vão exibi-la ou citá-la.

O endereço que eu informo é armazenado?

Não. Nosso servidor busca o robots.txt, a página e o llms.txt uma vez, mostra o resultado e guarda uma cópia por dez minutos para que uma nova verificação não busque de novo. Nada é salvo em uma conta, e as contagens de uso nunca incluem o endereço.

Verificador de página GEO
Informe um URL e verifique o que torna uma página fácil de citar: texto legível, títulos, trechos de resposta, dados estruturados, autor e datas.
Verificador de visibilidade em IA
Faça a um mecanismo de resposta de IA uma pergunta de comprador e veja se a sua marca é citada e quais fontes ele cita. Uma resposta real, claramente identificada.
Lista de verificação de auditoria GEO
Uma lista de verificação priorizada e feita sob medida para o seu site, com as evidências por trás de cada item. Exporte em Markdown ou imprima.
Gerador de marcação schema
Crie ou verifique JSON-LD para sete tipos de schema.org, com notas claras sobre quais ainda aparecem como resultados enriquecidos no Google.
Gerador de prompts para busca em IA
Transforme uma categoria, um comprador e casos de uso em um conjunto equilibrado de perguntas para monitorar nas respostas de IA.
Analisador de menções de marca
Cole uma resposta de IA e veja as menções à marca e aos concorrentes, a ordem, o contexto e os links citados.
Verificador de título e meta description
Visualize um título e uma descrição, com larguras aproximadas em pixels e o risco de truncamento.
Gerador de llms.txt
Crie um arquivo llms.txt com um formulário curto: nome, resumo e links para as páginas que as ferramentas de IA devem ler primeiro.
Verificador de llms.txt
Verifique o llms.txt de um site, ou cole um, e veja cada problema com a sua linha e como corrigi-lo.