AI Crawler là gì? Bản đồ 14 nền tảng AI & 26 bot cần kiểm tra

Khi làm GEO (Generative Engine Optimization), một trong những câu hỏi đầu tiên FAST MARKETING kiểm tra không phải là “website đã có đủ content chưa?” mà là:

“Các hệ thống AI có thực sự được phép truy cập, đọc hiểu và sử dụng nội dung của website hay không?”

Đây là một vấn đề ngày càng quan trọng vì ChatGPT, Google AI, Claude, Perplexity, Microsoft Copilot và các AI assistant khác không sử dụng cùng một crawler, cùng một search index hay cùng một chính sách robots.txt.

Một website có thể được Google crawl bình thường nhưng lại chặn OAI-SearchBot. Một doanh nghiệp có thể chủ động chặn GPTBot để không cho OpenAI dùng nội dung cho huấn luyện mô hình, nhưng lại vô tình chặn luôn bot phục vụ ChatGPT Search. Hoặc tệ hơn, tệp robots.txt có thể hoàn toàn đúng nhưng Cloudflare, CDN hoặc WAF lại chặn request trước khi crawler đến được máy chủ web.

Đó là lý do FAST MARKETING xem AI crawler accessibility là một phần cốt lõi của nền tảng GEO Technical, không phải một hạng mục phụ.

AI crawler là gì?

AI crawler là bot hoặc hệ thống tự động được các công ty AI sử dụng để truy cập, thu thập, truy xuất hoặc đọc nội dung trên web.

Tuy nhiên, thuật ngữ “AI crawler” thường bị hiểu quá chung chung. Trên thực tế, các bot AI được phát triển nhằm phục vụ những mục đích hoàn toàn khác biệt:

Vì vậy, quyết định “Cho phép hay chặn AI bot?” tuyệt đối không thể áp dụng cào bằng giống nhau cho tất cả user-agent.

FAST MARKETING chia AI bot thành 3 nhóm chính

Nguyên tắc cốt lõi: Nếu mục tiêu của doanh nghiệp là tăng AI Visibility và AI Share of Voice, nhóm bot truy hồi (Retrieval) và bot kích hoạt bởi người dùng (User) phải luôn được mở quyền truy cập.

Timeline AI Search 2023–2026: Những cột mốc thay đổi cách làm GEO

3 xu hướng lớn rút ra cho chiến lược GEO

Bản đồ 14 nền tảng AI và bot tương ứng

Phân tích chi tiết các hệ thống AI trọng điểm

1. ChatGPT (OpenAI)

OpenAI vận hành 3 user-agent riêng biệt mà bạn cần phân biệt rõ ràng:

• OAI-SearchBot: Phục vụ trực tiếp cho tính năng ChatGPT Search. Nếu muốn website xuất hiện trong câu trả lời tìm kiếm của ChatGPT, bắt buộc phải Allow bot này.
• ChatGPT-User: Kích hoạt khi người dùng dán link bài viết trực tiếp vào ChatGPT để yêu cầu tóm tắt. Khuyến nghị Allow.
• GPTBot: Thu thập dữ liệu để huấn luyện các model AI tiếp theo. Doanh nghiệp có thể Disallow nếu muốn bảo vệ bản quyền dữ liệu mà không ảnh hưởng tới ChatGPT Search.

2. Google AI Overviews & AI Mode

Google không sử dụng một crawler riêng có tên "AI Overviews Bot". Google hoàn toàn sử dụng dữ liệu từ hệ thống thu thập tin Search truyền thống: Googlebot.

Lưu ý về Google-Extended: Đây là token kiểm soát việc sử dụng nội dung cho việc đào tạo các mô hình AI (như Gemini/Vertex AI). Chặn Google-Extended không làm website mất vị trí trong Google AI Overviews.

3. Anthropic Claude

Cấu trúc của Anthropic tương tự OpenAI:

• Claude-SearchBot: Truy hồi tìm kiếm theo thời gian thực (Ưu tiên Allow).
• Claude-User: Đọc URL người dùng gửi (Ưu tiên Allow).
• ClaudeBot: Thu thập dữ liệu huấn luyện mô hình Claude (Tùy chính sách).

4. Perplexity

Gồm PerplexityBot (chạy ngầm thu thập chỉ mục) và Perplexity-User (truy cập khi người dùng kích hoạt tìm kiếm). Do Perplexity có cơ chế trích dẫn rất phong phú, việc duy trì mở 2 bot này là yếu tố sống còn để giữ thứ hạng trên Perplexity.

Bảng tổng hợp phân loại 26 AI Crawler

4 hiểu lầm tai hại khi audit AI Crawler

Checklist 5 bước Audit AI Crawler chuẩn FAST MARKETING

Cấu hình robots.txt mẫu: 3 kịch bản tương ứng 3 loại Client

Dưới đây là 3 kịch bản cấu hình được FAST MARKETING chuẩn hóa cho từng nhóm doanh nghiệp:

# Cho phép toàn bộ crawler AI - tối đa hoá hiển thị
User-agent: *
Allow: /

# Nêu tên tường minh để tránh bị quy tắc khác chặn nhầm
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: meta-externalagent
User-agent: CCBot
Allow: /

Sitemap: https://example.com/sitemap.xml

# CHO PHÉP - nhóm truy hồi và người dùng: quyết định việc được nhắc trong câu trả lời
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: bingbot
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
Allow: /

# CHẶN - nhóm huấn luyện mô hình
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

Sitemap: https://example.com/sitemap.xml

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /blog/
Allow: /san-pham/
Allow: /ho-tro/
Allow: /ve-chung-toi/
Disallow: /tai-khoan/
Disallow: /premium/
Disallow: /gio-hang/
Disallow: /*?

Sitemap: https://example.com/sitemap.xml

Cấu hình thẻ Meta bổ sung cho Microsoft Copilot & Amazon

Ngoài robots.txt, bạn có thể kiểm soát chi tiết ở cấp độ từng trang (Page-level) bằng các thẻ meta trong phần <head>:

<!-- Đặt trong thẻ <head> của từng trang -->
<!-- Cho phép index và xếp hạng bình thường, nhưng KHÔNG dùng trong câu trả lời AI -->
<meta name="robots" content="noarchive">

<!-- Hoặc chỉ áp dụng riêng cho Bing / Microsoft Copilot -->
<meta name="bingbot" content="nocache">

<!-- Amazon: Chặn dùng huấn luyện ở cấp từng trang -->
<meta name="robots" content="noarchive">

Năm bước kiểm tra bắt buộc sau khi cấu hình

Kết luận: AI Crawler là hạ tầng nền móng của GEO

Tối ưu hóa AI Crawler không phải là một thủ thuật "hack rank" tạm thời. Đây là nền tảng kỹ thuật tối thiểu để đảm bảo toàn bộ công sức xây dựng content, entity và uy tín thương hiệu được các mô hình AI tiếp nhận và đề xuất chính xác cho khách hàng.

Hãy nhớ chuỗi chuyển đổi giá trị trong GEO: