Robots.txt là gì? Cú pháp, ví dụ và cách kiểm tra

Robots.txt là file văn bản đặt tại thư mục gốc của từng host, dùng để cho crawler biết URL nào được phép hoặc không được phép yêu cầu. File này quản lý crawl; nó không phải công cụ bảo mật, không bảo đảm URL biến mất khỏi Google và không thay thế noindex, canonical hoặc xác thực đăng nhập.

Robots.txt dùng cho mục tiêu nào?

Mục tiêu	Cơ chế phù hợp	Không nên dùng
Giảm crawler truy cập URL không cần thiết	Robots.txt	Meta noindex
Ngăn trang HTML xuất hiện trong Search	noindex	Chỉ dùng Disallow
Ngăn index PDF hoặc file khác	X-Robots-Tag: noindex	Meta tag HTML
Hợp nhất URL trùng	Canonical, redirect và internal links	Robots.txt
Bảo vệ dữ liệu riêng tư	Authentication và authorization	Robots.txt
Ẩn kết quả khẩn cấp	Removals kết hợp xử lý lâu dài	Chỉ sửa robots.txt

Một URL bị Disallow vẫn có thể được biết đến qua link hoặc sitemap. Nếu cần noindex, crawler phải truy cập được trang để đọc meta hoặc HTTP header. Xem Noindex, Nofollow và Disallow.

Vị trí và phạm vi file

File phải có tên chính xác robots.txt và nằm tại gốc host, ví dụ https://example.com/robots.txt. Quy tắc chỉ áp dụng cho đúng giao thức, host và cổng. File của domain chính không tự áp dụng cho subdomain.

• https://example.com/robots.txt không áp dụng cho https://shop.example.com/.
• HTTP và HTTPS có phạm vi riêng.
• Đường dẫn phân biệt chữ hoa và chữ thường.
• File cần là văn bản UTF-8, không phải HTML.

Cú pháp robots.txt

User-agent: *
Disallow: /private/
Allow: /private/public-guide/

Sitemap: https://example.com/sitemap_index.xml

Chỉ thị	Vai trò	Lưu ý
User-agent	Chọn crawler áp dụng nhóm	* là nhóm crawler chung
Disallow	Chặn yêu cầu đường dẫn khớp	Không đồng nghĩa noindex
Allow	Mở ngoại lệ trong vùng bị chặn	Chỉ dùng khi thật sự cần
Sitemap	Khai báo URL sitemap	Dùng URL tuyệt đối
#	Bắt đầu chú thích	Phần sau dấu # bị bỏ qua

Google hỗ trợ * để khớp nhiều ký tự và $ để đánh dấu cuối URL. Khi nhiều quy tắc cùng khớp, đường dẫn cụ thể hơn được ưu tiên; nếu độ dài bằng nhau, quy tắc ít hạn chế hơn được dùng.

Các hiểu lầm cú pháp phổ biến

Hiểu lầm	Thực tế
Thứ tự nhóm quyết định ưu tiên	Google chọn nhóm User-agent khớp cụ thể nhất
Hai nhóm cùng User-agent tách biệt	Google gộp các nhóm cùng User-agent
crawl-delay điều khiển Googlebot	Google không hỗ trợ chỉ thị này
File có thể dài tùy ý	Google xử lý tối đa 500 KiB
403 ở robots.txt giúp giảm crawl	Phần lớn 4xx được hiểu như không có hạn chế
Disallow bảo vệ dữ liệu	URL vẫn công khai; cần authentication

Mẫu Robots.txt cho WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Không nên mặc định chặn toàn bộ /wp-includes/, CSS, JavaScript hoặc ảnh cần cho render. File tốt thường ngắn; chỉ thêm quy tắc khi có URL mẫu, mục tiêu và validation rõ.

Website bán hàng và Faceted Navigation

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

Sitemap: https://example.com/sitemap_index.xml

Không sao chép quy tắc parameter từ website khác. Trước khi chặn filter hoặc sort URLs, cần xác định tổ hợp nào có search demand, URL nào self-canonical, URL nào không nên được tạo crawlable và internal links đang trỏ tới đâu.

Robots.txt có thể giảm crawl ở không gian URL lớn, nhưng không sửa nguồn tạo vô hạn parameter. Cần kết hợp thiết kế URL, canonical, link và response phù hợp. Xem Canonical và URL trùng lặp.

Robots.txt và tính năng AI trong Google Search

Google cho biết quyền crawl của Googlebot vẫn là lớp kiểm soát truy cập cho Search, gồm các tính năng AI trong Search. Muốn giới hạn đoạn nội dung được hiển thị, dùng các controls như nosnippet, data-nosnippet, max-snippet hoặc noindex. Không cần một file “AI.txt” riêng cho Google Search.

User-agent và chính sách của crawler khác có thể thay đổi; chỉ thêm quy tắc sau khi kiểm tra tài liệu chính thức hiện hành.

Lỗi Robots.txt thường gặp

• Để lại Disallow: / sau khi đưa staging lên production.
• Chặn URL trước khi Google đọc noindex.
• Chặn tài nguyên CSS hoặc JavaScript cần render.
• Đưa URL bị chặn vào sitemap.
• Dùng robots.txt để canonical hóa hoặc bảo mật.
• Chặn parameter hàng loạt mà không lấy URL mẫu.
• Không giám sát 5xx hoặc lỗi mạng của file.

Cách kiểm tra sau khi cập nhật

1. Mở URL robots.txt trực tiếp và kiểm tra status cùng content type.
2. Dùng robots.txt report trong Search Console.
3. Test URL đại diện cho trang chủ, bài viết, category, sản phẩm, filter và tài nguyên render.
4. Đối chiếu sitemap với Disallow.
5. Dùng URL Inspection cho trang quan trọng.
6. Kiểm tra server logs khi cần xác minh crawler thật.
7. Lưu snapshot và phương án rollback.

Robots.txt chỉ là một lớp trong Technical SEO. Khi trang không index, cần kiểm tra thêm status, noindex, canonical, sitemap, render, internal link và content quality.

Checklist trước khi publish file

• File nằm đúng gốc host và là UTF-8 text.
• Không còn Disallow: / ngoài chủ đích.
• Đã kiểm tra hoa/thường, slash và parameter.
• Không chặn CSS/JS/ảnh cần render.
• Không chặn URL cần Google đọc noindex.
• Sitemap dùng URL đầy đủ và chỉ chứa canonical URLs cần index.
• Đã test URL mẫu và lưu bản cũ.

Nguồn chính thức

• Google Search Central: Robots.txt introduction
• Google robots.txt specification
• Block indexing with noindex
• AI features and your website

Kết luận

Robots.txt tốt thường ngắn, có mục tiêu crawl rõ và được kiểm tra bằng URL thật. Không dùng file này thay cho noindex, canonical, bảo mật hoặc xử lý index. Mọi thay đổi diện rộng cần snapshot, URL mẫu, validation và rollback.