跳到内容

AI 爬虫检查器:robots.txt、noindex 和 llms.txt

输入页面地址,查看它的 robots.txt 允许哪些 AI 爬虫进入、页面本身是否标有 noindex,以及网站是否有 llms.txt。每条结果都会指出起决定作用的那一行。

免费,无需注册。 我们的服务器会抓取你输入的地址;结果不会被保存。

我们会各抓取一次 robots.txt、此页面和 llms.txt。大约需要十秒钟。

下一步: 检查页面是否便于 AI 回答引用.

这项检查的内容

我们的服务器会向你输入的网站发出三个请求:robots.txt、页面和 llms.txt。然后报告三件事。

  • robots.txt. 针对每个 AI 爬虫(GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Google-Extended、Bingbot、CCBot 以及列表中的其他爬虫),说明规则是否允许它抓取此页面,以及是哪一行做出的决定。
  • noindex. 页面的 meta robots 标签或 X-Robots-Tag 标头是否告诉搜索引擎不要收录它,或不要引述它。
  • llms.txt. 文件是否存在并符合拟议的格式。

爬虫列表已于 2026-11-02 对照各运营方自己的文档核对过。对于你关心的任何爬虫,请点击文档链接查看。

robots.txt 的结果是如何判定的

检查器遵循 robots.txt 标准 (RFC 9309)。对于每个爬虫,它会找到 User-agent 行指名该爬虫的分组;如果没有,就适用 * 分组。在该分组内,匹配最长的 Allow 或 Disallow 路径生效,两者长度相同时 Allow 优先。

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow: /admin/

在这个示例中,GPTBot 被第 2 行在所有地方屏蔽。OAI-SearchBot 没有自己的分组,因此适用 * 分组:它可以读取 /pricing,但不能读取 /admin/users。

许可、访问和可见度是不同的事

许可 是 robots.txt 所说的内容。守规矩的爬虫会在抓取前读取它。它是一个请求,而不是一把锁,并且有几家运营方表示,由用户触发的抓取可能不遵循它。

访问 是请求是否真的成功。防火墙、CDN 的机器人防护、速率限制、登录以及需要 JavaScript 的页面,都可能拦住 robots.txt 允许的爬虫。这个工具无法看到针对其他爬虫的这些情况。

可见度 是助手是否在回答中提到或引用你的网站。这取决于抓取之外的许多因素,只有长期阅读真实的回答才能看出来。

搜索、助手和训练爬虫

屏蔽 GPTBot 或 ClaudeBot 这样的训练爬虫是一种政策选择。这不会让网站从该公司的搜索功能中消失,因为搜索功能使用的是另外的爬虫 (OAI-SearchBot、Claude-SearchBot)。

Google-Extended 根本不是爬虫。它是 robots.txt 中的一个名称,用来控制 Gemini 训练和依据检索,Google 表示它不影响 Google 搜索、AI Overviews 或 AI Mode。后者使用 Googlebot 的抓取,所以不离开 Google 搜索就无法单独屏蔽它们。

局限

  • 爬虫的结果仅来自 robots.txt 规则。它们不测试防火墙、CDN 设置,也不测试你的服务器如何响应每个爬虫。
  • 页面只抓取一次,不运行 JavaScript,并且只读取前 256 KB。之后由脚本添加的 noindex 看不到。
  • 不在列表中的爬虫不会被检查。有些爬虫对规则的处理与标准不同。
  • 实时检查有限制:每位访客和每个网站每小时可检查几次,所有人共用每日总量。如果达到上限,请改为粘贴 robots.txt。
  • 被允许并不能证明某个助手会使用、引用或引述某个网站。

问题

屏蔽 GPTBot 会让我的网站从 ChatGPT 搜索中消失吗?

据 OpenAI 称不会。GPTBot 收集训练数据;ChatGPT 搜索使用 OAI-SearchBot,用户询问的页面由 ChatGPT-User 抓取。它们在 robots.txt 中各有自己的名称,所以你可以屏蔽其中一个,允许其他的。

屏蔽 Google-Extended 会让我的网站在 AI Overviews 中隐藏吗?

不会。Google 表示 Google-Extended 不影响 Google 搜索、AI Overviews 或 AI Mode。它只控制 Google 是否可以使用你的页面进行 Gemini 训练和依据检索。

我的 robots.txt 允许所有内容。为什么 AI 爬虫仍然无法读取我的页面?

Robots.txt 只是许可。防火墙、CDN 上的机器人规则、速率限制,或需要 JavaScript 才能显示文字的页面,仍然可能阻止或隐藏内容。请检查你的 CDN 的机器人设置和服务器日志。

我需要 llms.txt 文件吗?

不需要。它是一个可选的拟议文件,为语言模型列出网站的重要页面。没有任何 AI 引擎确认会读取它,所以这个工具只告诉你它是否存在,以及是否符合拟议的格式。

noindex 对 AI 回答意味着什么?

标记为 noindex 的页面不会被收录进搜索索引。通过搜索索引来查找页面的助手,例如 ChatGPT 搜索或 Google 的 AI 功能,就不太可能展示或引用它。

我输入的地址会被保存吗?

不会。我们的服务器只抓取一次 robots.txt、页面和 llms.txt,向你展示结果,并保留一份副本十分钟,这样重复检查就不必再次抓取。不会保存到任何账户,使用次数统计也从不包含该地址。

GEO 页面检查器
输入一个 URL,检查哪些因素会让页面便于被引用:可读的文字、标题、问答式段落、结构化数据、作者和日期。
AI 可见度检查器
向 AI 问答引擎提出一个买家会问的问题,看看你的品牌是否被提到,以及它引用了哪些来源。一条真实的回答,并有清楚的标注。
GEO 审计清单
一份为你的网站量身定制、按优先级排序的清单,每一项都附有依据。可导出为 Markdown 或打印。
Schema 标记生成器
为七种 schema.org 类型构建或检查 JSON-LD,并清楚说明其中哪些 Google 仍会显示为富媒体搜索结果。
AI 搜索提示词生成器
把品类、买家和使用场景变成一组均衡的问题,用来在 AI 回答中监测。
品牌提及分析器
粘贴一条 AI 回答,查看品牌和竞争对手的提及、顺序、上下文以及被引用的链接。
标题和 meta 描述检查器
预览标题和描述,包含大致的像素宽度和被截断的风险。
llms.txt 生成器
通过简短表单生成 llms.txt 文件:名称、简介,以及 AI 工具应优先阅读的页面链接。
llms.txt 检查器
检查网站的 llms.txt,或粘贴文件,查看每个问题所在的行以及修复方法。