Technical GEO là cách gọi trong ngành cho việc quản trị khả năng truy cập, render, crawler policy và đo lường khi website có thể được Google Search hoặc các dịch vụ AI truy xuất. Nó không phải một lớp kỹ thuật tách khỏi Technical SEO và không phải công thức bảo đảm AI citation.
Kiểm tra nguồn ngày 07/09/2026 cho thấy Google vẫn nói AI Overviews và AI Mode dùng nền tảng Search hiện có: trang cần crawl/index được và đủ điều kiện xuất hiện với snippet, không có “AI schema”, file máy đọc đặc biệt hay yêu cầu Technical GEO riêng. Google cũng đã làm rõ rằng llms.txt không ảnh hưởng tích cực hoặc tiêu cực tới visibility/ranking trong Google Search.
Technical GEO là gì và không phải là gì?
Technical GEO hữu ích khi doanh nghiệp cần trả lời bốn câu hỏi: nội dung nào được công khai, crawler nào được phép truy cập, lớp hạ tầng nào đang chặn nhầm bot hợp lệ, và dữ liệu nào chứng minh việc truy cập thực sự xảy ra.
| Có thể làm | Không bảo đảm |
|---|---|
| Phát hiện robots, WAF, 403/429, redirect và rendering gap. | Được AI trích dẫn hoặc xếp hạng theo một tỷ lệ cố định. |
| Tách search, training và user-triggered access. | Một robots rule đúng cho mọi nền tảng. |
| Tạo evidence từ log, Search Console và referral. | Bot crawl nhiều = nội dung được đánh giá cao. |
| Giảm lỗi crawl/index trên URL quan trọng. | Technical fix thay thế content quality, relevance hoặc authority. |
Crawler hiện hành: đừng gom mọi “AI bot” thành một nhóm
| Nền tảng / bot | Mục đích được công bố | Điểm quản trị |
|---|---|---|
| Googlebot | Crawl cho Google Search; là nền tảng để trang có thể xuất hiện trong AI features của Search. | Kiểm robots, status, render, indexability và canonical. |
| OAI-SearchBot | Surface website trong search features của ChatGPT. | Cho phép nếu muốn eligible cho ChatGPT Search; đối chiếu IP ranges chính thức. |
| GPTBot | Crawl content có thể dùng để cải thiện/huấn luyện generative AI foundation models của OpenAI. | Quản trị độc lập với OAI-SearchBot. |
| ChatGPT-User | User-triggered access cho một số hành động trong ChatGPT/Custom GPT. | Không dùng để quản lý Search inclusion; robots.txt có thể không áp dụng như automatic crawler. |
| Claude-SearchBot | Crawl/index nội dung để cải thiện search result quality cho Claude. | Tách khỏi training và user-triggered access. |
| ClaudeBot | Thu thập public web content có thể đóng góp cho model training. | Allow/Disallow theo data policy. |
| Claude-User | Truy xuất web theo yêu cầu người dùng Claude. | Quản trị riêng với Claude-SearchBot và ClaudeBot. |
| PerplexityBot | Surface và link website trong kết quả Perplexity; tài liệu hiện hành nói bot này không dùng cho foundation-model training. | Cho phép robots và IP ranges nếu muốn search visibility. |
| Perplexity-User | User-triggered access. | Không đồng nhất với index crawler. |
Crawler names, user-agent strings, IP ranges và policy có thể thay đổi. Trước khi sửa production, luôn đối chiếu OpenAI Crawlers, Anthropic crawler guidance và Perplexity Crawlers.
Robots.txt là policy crawl, không phải security control
Robots.txt giúp crawler biết preference truy cập nhưng không bảo vệ dữ liệu nhạy cảm và không phải cơ chế chắc chắn để loại URL khỏi index. Trang account, admin, tài liệu trả phí hoặc dữ liệu khách hàng cần authentication/authorization phù hợp. Nếu cần deindex, dùng chỉ thị phù hợp và bảo đảm crawler có thể đọc chỉ thị khi cần.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xmlVí dụ trên chỉ minh họa việc tách Search và training trong hệ sinh thái OpenAI. Không copy vào production nếu chưa xác định mục tiêu, host/subdomain, dữ liệu nhạy cảm và crawler documentation hiện hành.
WAF, CDN và bot verification
User-agent có thể bị giả mạo. Khi nền tảng công bố IP ranges hoặc verification method, dùng chúng cùng user-agent, HTTP behavior và log thay vì allowlist chỉ bằng chuỗi tên. OpenAI và Perplexity hiện công bố IP ranges cho crawler tương ứng; Anthropic cũng cung cấp cách nhận diện bot trong tài liệu hỗ trợ.
| Finding | Evidence | Fix |
|---|---|---|
| 403/401 | WAF event, rule ID, URL, UA/IP. | Xác minh bot và sửa rule có phạm vi. |
| 429 | Rate-limit logs và cadence. | Điều chỉnh quota theo capacity, không bỏ rate limit toàn bộ. |
| UA đúng, IP không khớp | Published ranges/verification method. | Không mặc định là bot chính thức. |
| Challenge page | Response HTML hoặc WAF log. | Loại challenge cho bot đã xác minh nếu policy cho phép. |
Rendering: raw HTML không phải toàn bộ câu chuyện
Google có thể xử lý JavaScript nếu tài nguyên không bị chặn, nhưng JavaScript SEO phức tạp hơn static/server-rendered HTML. Với URL quan trọng, hãy so raw HTML, rendered HTML, canonical, internal links, structured data và response thực tế; không dùng quy tắc tuyệt đối kiểu “AI chỉ đọc HTML ban đầu”.
Structured data và FAQ: cập nhật 2026
Không có “AI schema”. Structured data phải khớp nội dung hiển thị và chỉ tạo eligibility cho các Search features được Google hỗ trợ. Validation PASS cũng không bảo đảm rich result.
| Thực hành | Trạng thái / lưu ý |
|---|---|
| Article, Breadcrumb, Organization, LocalBusiness, Product | Dùng khi đúng loại trang và guideline hiện hành. |
| Structured data tạo bằng JavaScript | Google có thể xử lý sau render; vẫn cần test rendered output. |
| Service schema.org | Có thể mô tả dữ liệu nhưng không phải rich-result type được Google bảo đảm. |
| FAQPage | Google đã ngừng hiển thị FAQ rich result trong Search từ 07/05/2026 và gỡ documentation feature vào tháng 06/2026. |
llms.txt có phải requirement của Google AI Search?
Không. Ngày 15/06/2026, Google làm rõ rằng llms.txt không cần cho Google Search và không tác động tích cực hoặc tiêu cực tới visibility/ranking. Có thể duy trì file này nếu một hệ thống khác mà doanh nghiệp sử dụng có tài liệu hỗ trợ, nhưng không coi nó là sitemap, robots directive hoặc ranking signal.
Server log đo access, không chứng minh citation
Log chứng minh request tới server, status và response; không chứng minh trang được index, dùng để training, được citation hay “được AI đánh giá cao”. Cần phân biệt UA/IP, status, URL, timestamp và response size, rồi kết hợp dữ liệu sản phẩm riêng của từng nền tảng.
Đo hiệu quả sau triển khai
| Lớp đo | Nguồn | Giới hạn |
|---|---|---|
| Access | Server/WAF logs, robots và HTTP response. | Access không bảo đảm index/citation. |
| Google Search + AI features | URL Inspection và Search Console Performance report. Google hiện tính traffic từ AI Overviews/AI Mode trong search type Web. | Không có report tách toàn bộ AI Overviews/AI Mode thành một nguồn riêng theo tài liệu hiện hành; không đo nền tảng AI khác. |
| ChatGPT referral | Analytics; OpenAI hiện thêm utm_source=chatgpt.com vào referral URL từ ChatGPT search. | Không đo mention/citation không tạo click. |
| Business outcome | Lead, booking, purchase, CRM. | Cần attribution và deduplication. |
| Prompt observation | Prompt set có ngày, model, location và repeated runs. | Không phải market share nếu sample không đại diện. |
Checklist Technical GEO theo decision gate
- Policy: search, training và user-triggered access có quyết định riêng.
- Robots: rule đúng host/subdomain và user-agent hiện hành.
- WAF/CDN: bot hợp lệ không bị 403/429/challenge ngoài chủ đích.
- Render: primary content, links, metadata và schema xuất hiện trong rendered output.
- Indexability: status, canonical, robots meta, sitemap và internal link nhất quán.
- Logs: có timestamp, URL, status, UA/IP và retention phù hợp.
- Measurement: Search Console, referral và business outcome có baseline.
Nguồn hiện hành cần đối chiếu
- Google Search Central — AI features and your website
- Google — Optimizing for generative AI features
- Google Search documentation updates
- OpenAI Crawlers
- Anthropic crawler guidance
- Perplexity Crawlers
FAQ về Technical GEO
GPTBot có giúp xuất hiện trong ChatGPT Search không?
Không phải bot dùng để quản lý Search inclusion. OpenAI dùng OAI-SearchBot cho search; GPTBot là crawler có thể phục vụ việc cải thiện/huấn luyện generative AI foundation models.
Có nên chặn toàn bộ AI bot không?
Tùy data policy và mục tiêu. Tách search, training và user-triggered access thay vì áp một quyết định chung.
llms.txt có bắt buộc không?
Không đối với Google Search. Google nói file này không tác động tích cực hoặc tiêu cực tới visibility/ranking.
Server log thấy bot crawl có nghĩa là đã được AI cite?
Không. Log chỉ chứng minh request tới hạ tầng. Citation, index, training và ranking là các trạng thái khác nhau.
Kết luận
Technical GEO đáng tin cậy thực chất là crawler governance + Technical SEO + security controls + measurement có evidence. Hãy quản trị bot theo mục đích, xác minh WAF/CDN, giữ URL crawl/render/index đúng, dùng structured data đúng scope và đo Search/referral/business outcome riêng biệt. Không dùng crawl count, llms.txt, schema hoặc server-side rendering như lời hứa AI citation.
Đoàn Trình Dục là Giảng viên Khoa Công nghệ Thông tin tại Đại học Công nghệ Sài Gòn (STU), với hơn 10 năm kinh nghiệm thực chiến trong các lĩnh vực Mạng máy tính, Marketing Online, SEO và Bảo mật hệ thống.
Với nền tảng sư phạm và kinh nghiệm tư vấn cho nhiều doanh nghiệp, thầy chuyên sâu vào việc xây dựng các giải pháp kỹ thuật số toàn diện và hiệu quả.