Chuyển đến nội dung

Công cụ kiểm tra trình thu thập AI: robots.txt, noindex và llms.txt

Nhập địa chỉ một trang để xem trình thu thập AI nào được robots.txt của nó cho phép vào, bản thân trang có ghi noindex hay không, và trang web có llms.txt hay không. Mỗi kết quả đều nêu chính xác dòng đã quyết định nó.

Miễn phí, không cần đăng ký. Máy chủ của chúng tôi tải địa chỉ bạn nhập; kết quả không được lưu.

Chúng tôi tải robots.txt, trang này và llms.txt mỗi thứ một lần. Mất khoảng mười giây.

Tiếp theo: kiểm tra xem trang có dễ để các câu trả lời AI trích dẫn không.

Công cụ này kiểm tra gì

Máy chủ của chúng tôi gửi ba yêu cầu đến trang web bạn nhập: robots.txt, trang, và llms.txt. Sau đó báo cáo ba điều.

  • robots.txt. Với mỗi trình thu thập AI (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Google-Extended, Bingbot, CCBot và những trình khác trong danh sách), các quy tắc có cho phép nó tải trang này hay không, và dòng nào đã quyết định điều đó.
  • noindex. Thẻ meta robots của trang hoặc tiêu đề X-Robots-Tag của nó có yêu cầu các công cụ tìm kiếm loại nó ra, hoặc không trích dẫn nó, hay không.
  • llms.txt. Tệp có tồn tại và theo đúng định dạng được đề xuất hay không.

Danh sách trình thu thập đã được đối chiếu với tài liệu của từng nhà vận hành vào 2026-11-02. Hãy theo liên kết Docs cho bất kỳ trình thu thập nào quan trọng với bạn.

Cách một kết quả robots.txt được quyết định

Công cụ kiểm tra tuân theo tiêu chuẩn robots.txt (RFC 9309). Với mỗi trình thu thập, nó tìm nhóm có dòng User-agent nêu tên trình thu thập đó; nếu không có, nhóm cho * được áp dụng. Trong nhóm đó, đường dẫn Allow hoặc Disallow khớp dài nhất sẽ thắng, và Allow thắng khi hòa.

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow: /admin/

Trong ví dụ này, GPTBot bị chặn ở mọi nơi bởi dòng 2. OAI-SearchBot không có nhóm riêng, nên nhóm * được áp dụng: nó có thể đọc /pricing nhưng không đọc được /admin/users.

Quyền, truy cập và khả năng hiển thị là những điều khác nhau

Quyền là những gì robots.txt nói. Các trình thu thập tuân thủ đọc nó trước khi tải trang. Đó là một yêu cầu, không phải một ổ khóa, và một số nhà vận hành cho biết các lần tải do một người kích hoạt có thể không tuân theo nó.

Truy cập là việc một yêu cầu có thật sự thành công hay không. Tường lửa, bảo vệ bot của CDN, giới hạn tần suất, đăng nhập và các trang cần JavaScript đều có thể chặn một trình thu thập mà robots.txt cho phép. Công cụ này không thấy được những điều đó đối với các trình thu thập khác.

Khả năng hiển thị là việc một trợ lý có nhắc đến hoặc trích dẫn trang web của bạn trong câu trả lời hay không. Điều đó phụ thuộc vào nhiều thứ hơn việc thu thập rất nhiều, và chỉ đọc các câu trả lời thật theo thời gian mới thấy được.

Trình thu thập tìm kiếm, trợ lý và huấn luyện

Chặn một trình thu thập huấn luyện như GPTBot hoặc ClaudeBot là một lựa chọn về chính sách. Việc đó không loại trang web khỏi các tính năng tìm kiếm của công ty ấy, vì chúng dùng các trình thu thập riêng (OAI-SearchBot, Claude-SearchBot).

Google-Extended hoàn toàn không phải một trình thu thập. Đó là một tên trong robots.txt kiểm soát việc huấn luyện và làm nền tảng cho Gemini, và Google cho biết nó không ảnh hưởng đến Google Search, AI Overviews hay AI Mode. Những tính năng đó dùng lần thu thập của Googlebot, nên không thể chặn riêng chúng mà không loại mình khỏi Google Search.

Giới hạn

  • Kết quả của trình thu thập chỉ đến từ các quy tắc robots.txt. Chúng không kiểm tra tường lửa, thiết lập CDN hay cách máy chủ của bạn phản hồi từng trình thu thập.
  • Trang được tải một lần, không chạy JavaScript, và chỉ đọc 256 KB đầu tiên. Một noindex được thêm vào sau bởi một đoạn mã sẽ không được thấy.
  • Các trình thu thập không có trong danh sách sẽ không được kiểm tra. Một số trình thu thập áp dụng quy tắc khác với tiêu chuẩn.
  • Các lượt kiểm tra trực tiếp có giới hạn: vài lượt mỗi giờ cho mỗi người truy cập và mỗi trang web, và một tổng số hằng ngày cho tất cả mọi người. Nếu bạn chạm giới hạn, hãy dán robots.txt thay vào đó.
  • Được phép truy cập không phải là bằng chứng cho thấy một trợ lý dùng, trích dẫn hay nêu tên một trang web.

Các câu hỏi

Chặn GPTBot có loại trang web của tôi khỏi tìm kiếm của ChatGPT không?

Theo OpenAI thì không. GPTBot thu thập dữ liệu huấn luyện; tìm kiếm của ChatGPT dùng OAI-SearchBot, và các trang mà một người hỏi đến được tải bởi ChatGPT-User. Mỗi loại có tên riêng trong robots.txt, nên bạn có thể chặn một loại và cho phép các loại còn lại.

Chặn Google-Extended có ẩn trang web của tôi khỏi AI Overviews không?

Không. Google cho biết Google-Extended không ảnh hưởng đến Google Search, AI Overviews hay AI Mode. Nó chỉ kiểm soát việc Google có được dùng các trang của bạn để huấn luyện và làm nền tảng cho Gemini hay không.

robots.txt của tôi cho phép mọi thứ. Vậy tại sao một trình thu thập AI vẫn không đọc được các trang của tôi?

Robots.txt chỉ là quyền truy cập. Tường lửa, một quy tắc bot ở CDN của bạn, giới hạn tần suất hoặc một trang cần JavaScript để hiện văn bản vẫn có thể chặn hoặc ẩn nội dung. Hãy kiểm tra các thiết lập bot của CDN và nhật ký máy chủ của bạn.

Tôi có cần tệp llms.txt không?

Không. Đây là một tệp tùy chọn, được đề xuất, liệt kê các trang chính của một trang web cho các mô hình ngôn ngữ. Chưa có công cụ AI nào xác nhận là có đọc nó, nên công cụ này chỉ cho bạn biết tệp có tồn tại không và có theo định dạng được đề xuất không.

noindex có ý nghĩa gì với các câu trả lời AI?

Trang được đánh dấu noindex sẽ bị loại khỏi các chỉ mục tìm kiếm. Khi đó, các trợ lý tìm trang qua chỉ mục tìm kiếm, như tìm kiếm của ChatGPT hay các tính năng AI của Google, khó có khả năng hiển thị hoặc trích dẫn trang đó.

Địa chỉ tôi nhập có được lưu không?

Không. Máy chủ của chúng tôi tải robots.txt, trang và llms.txt một lần, cho bạn xem kết quả và giữ một bản sao trong mười phút để một lần kiểm tra lặp lại không phải tải lại. Không có gì được lưu vào tài khoản, và số liệu sử dụng không bao giờ gồm địa chỉ.

Công cụ kiểm tra trang theo GEO
Nhập một URL và kiểm tra những yếu tố giúp trang dễ được trích dẫn: văn bản đọc được, đề mục, đoạn trả lời, dữ liệu có cấu trúc, tác giả và ngày tháng.
Công cụ kiểm tra khả năng hiển thị trên AI
Hãy đặt cho một công cụ trả lời AI một câu hỏi của người mua và xem thương hiệu của bạn có được nêu tên không, cùng những nguồn nào được trích dẫn. Một câu trả lời thật, được ghi nhãn rõ ràng.
Danh sách kiểm tra đánh giá GEO
Một danh sách kiểm tra có thứ tự ưu tiên, được điều chỉnh theo trang web của bạn, kèm bằng chứng cho từng mục. Xuất ra Markdown hoặc in.
Công cụ tạo schema markup
Tạo hoặc kiểm tra JSON-LD cho bảy loại schema.org, kèm ghi chú rõ ràng về loại nào Google vẫn hiển thị dưới dạng kết quả nâng cao.
Công cụ tạo câu hỏi tìm kiếm AI
Biến một danh mục, người mua và các trường hợp sử dụng thành một bộ câu hỏi cân đối để theo dõi trong các câu trả lời AI.
Công cụ phân tích lượt nhắc thương hiệu
Dán một câu trả lời AI và xem các lượt nhắc thương hiệu và đối thủ, thứ tự, ngữ cảnh và các liên kết được trích dẫn.
Công cụ kiểm tra tiêu đề và mô tả meta
Xem trước tiêu đề và mô tả, với độ rộng pixel ước tính và nguy cơ bị cắt bớt.
Trình tạo llms.txt
Tạo tệp llms.txt từ một biểu mẫu ngắn: tên, tóm tắt và liên kết đến các trang mà công cụ AI nên đọc trước.
Trình kiểm tra llms.txt
Kiểm tra tệp llms.txt của một trang web, hoặc dán tệp vào, và xem từng vấn đề kèm số dòng và cách sửa.