Robots.txt là gì? Đây là tệp văn bản ở thư mục gốc của website, chứa những quy tắc hướng dẫn các bot tìm kiếm như Googlebot được phép truy cập đường dẫn nào. Ví dụ, bạn có thể yêu cầu bot không ghé một nhóm URL không cần thiết, giúp hạn chế các lượt thu thập gây tốn tài nguyên.
Robots.txt không phải cách bảo mật trang và cũng không bảo đảm URL biến mất khỏi kết quả Google. Bài này giúp bạn hiểu cú pháp, xem ví dụ WordPress và kiểm tra nguy cơ chặn nhầm trang quan trọng trước khi sửa.
Chủ website chỉ cần nhớ ba điều:
- Muốn bot không truy cập một nhóm URL: xem quy tắc
Disallowtrong robots.txt. - Muốn trang công khai không xuất hiện trên Google: xem
noindex, đồng thời cho phép Google truy cập để đọc chỉ thị. - Muốn giữ thông tin riêng tư: dùng đăng nhập, phân quyền hoặc bảo vệ trên máy chủ; đừng dùng robots.txt.
Robots.txt dùng để làm gì và không làm được gì?
Googlebot tìm các đường dẫn trên website và truy cập để đọc nội dung. Robots.txt cho các bot tuân thủ biết những đường dẫn nào cần tránh. Công việc này gọi là kiểm soát thu thập dữ liệu (crawl), khác với lập chỉ mục (index), tức việc Google chọn đưa trang vào kho tìm kiếm.
| Mục tiêu | Giải pháp nên kiểm tra |
|---|---|
| Giảm việc bot truy cập nhiều URL không cần thiết | Disallow và kiểm soát cách website tạo URL |
| Không muốn một trang xuất hiện trên Google | noindex, để bot đọc được chỉ thị |
| Nhiều URL giống nhau cần chọn bản đại diện | Canonical hoặc chuyển hướng, tùy URL còn cần tồn tại không |
| Bảo vệ dữ liệu khách hàng, khu vực nội bộ | Đăng nhập và phân quyền truy cập |
Một URL bị chặn trong robots.txt vẫn có thể được Google biết tới từ liên kết khác và xuất hiện mà không có đoạn mô tả. Tệp này cũng công khai nên không phù hợp để giấu đường dẫn nhạy cảm. Bạn có thể xem chi tiết ở bài phân biệt Noindex, Nofollow và Disallow. Google giải thích những giới hạn của robots.txt.
Tệp robots.txt nằm ở đâu?
Tệp có địa chỉ dạng https://example.com/robots.txt. Bạn thay example.com bằng tên miền thực để xem tệp trong trình duyệt. Với WordPress, hệ thống hoặc plugin có thể tạo tệp khi truy cập đường dẫn đó; chưa chắc đã tồn tại tệp vật lý trên máy chủ.
Robots.txt áp dụng cho đúng giao thức, tên máy chủ và cổng. Ví dụ, https://example.com/robots.txt không tự áp dụng cho https://shop.example.com/ hay phiên bản HTTP. Đường dẫn quy tắc cũng phân biệt chữ hoa và chữ thường.
Cách đọc cú pháp User-agent, Disallow, Allow và Sitemap
Đây là ví dụ minh họa cách một tệp robots.txt hoạt động; đường dẫn và tên miền không đại diện cho cấu hình khuyến nghị của mọi website:
User-agent: *
Disallow: /tai-nguyen-khong-can-crawl/
Allow: /tai-nguyen-khong-can-crawl/huong-dan/
Sitemap: https://example.com/sitemap.xml| Dòng lệnh | Giải thích dễ hiểu |
|---|---|
User-agent: * | Áp dụng nhóm quy tắc cho các bot nói chung |
Disallow: /... | Yêu cầu không truy cập đường dẫn khớp quy tắc |
Allow: /... | Cho phép một đường dẫn cụ thể hơn làm ngoại lệ |
Sitemap: ... | Chỉ địa chỉ sơ đồ website để hỗ trợ khám phá trang |
# | Bắt đầu ghi chú; không phải lệnh chặn |
Theo quy tắc Google áp dụng, khi một URL khớp nhiều dòng Allow hoặc Disallow, dòng có đường dẫn khớp cụ thể hơn (dài hơn) được ưu tiên. Nếu độ cụ thể bằng nhau, Google ưu tiên quy tắc cho phép. Vì vậy, không nên cho rằng dòng viết sau luôn có hiệu lực cao hơn.
Google hỗ trợ ký tự * để khớp nhiều ký tự và $ để xác định cuối đường dẫn. Tuy nhiên, crawl-delay không phải lệnh Google hỗ trợ. Người mới nên dùng ít quy tắc, thử đúng URL trước khi áp dụng. Xem quy cách robots.txt của Google.
Ví dụ robots.txt tham khảo cho WordPress
Một cấu hình thường thấy trên WordPress là:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlVí dụ này yêu cầu các bot tuân thủ không truy cập đường dẫn quản trị /wp-admin/, nhưng có ngoại lệ cho admin-ajax.php. Nó không bảo mật trang quản trị; đăng nhập và phân quyền vẫn cần thiết. Địa chỉ sơ đồ website cần thay bằng URL có thật, và không phải website nào cũng cần thêm toàn bộ các dòng trên.
Không sao chép những mẫu chặn cả /wp-includes/, JavaScript, CSS hoặc ảnh một cách máy móc. Google có thể cần các tài nguyên đó để hiểu trang đang hiển thị gì. Nếu bạn đang dùng plugin SEO hoặc tường lửa, cần kiểm tra tệp robots.txt thực sự được phục vụ trước khi thay đổi.
Có nên chặn giỏ hàng, trang tài khoản hoặc URL bộ lọc?
Website bán hàng có thể có đường dẫn dành cho giỏ hàng, trang tài khoản và nhiều bộ lọc sản phẩm. Trước khi chặn, hãy phân biệt: trang nào cần người dùng đăng nhập, trang nào không cần bot ghé và trang nào vẫn có thể giúp khách tìm đúng sản phẩm trên Google.
- Trang tài khoản: dữ liệu riêng tư phải được bảo vệ bằng xác thực; robots.txt không thay thế đăng nhập.
- Giỏ hàng và thanh toán: có thể không cần hiện trong kết quả tìm kiếm; chọn cách quản lý crawl và index theo mục tiêu thực tế.
- Trang lọc sản phẩm: không tự chặn mọi URL có
?; một số bộ lọc có nội dung riêng và nhu cầu tìm kiếm. - Nhóm URL phát sinh quá nhiều: có thể cần sửa cách tạo đường dẫn thay vì thêm hàng loạt lệnh Disallow.
Nếu các bộ lọc hoặc tham số tạo nhiều trang giống nhau, xem hướng dẫn xử lý URL trùng lặp. Đó là chủ đề riêng, không nên giải quyết bằng cách sao chép một tệp robots.txt mẫu.
Vì sao đã Disallow nhưng URL vẫn xuất hiện trên Google?
Giả sử bạn chặn /tai-lieu/. Nếu website khác có liên kết tới một trang trong thư mục đó, Google có thể biết địa chỉ nhưng không đọc nội dung. Vì vậy, chặn truy cập không đồng nghĩa yêu cầu không lập chỉ mục.
Nếu mục tiêu là để trang công khai không còn hiển thị trên Google, hãy xem chỉ thị noindex và cho phép Google truy cập để đọc. Nếu thông tin nhạy cảm thì phải hạn chế quyền xem thực tế. Đừng dùng robots.txt vừa chặn Google, vừa kỳ vọng nó đọc noindex trên chính URL đã chặn.
Cách kiểm tra robots.txt trước và sau khi chỉnh sửa
- Mở tệp thực tế: truy cập
https://tenmiencuaban.com/robots.txtđể xem nội dung website đang phục vụ. Lưu một bản trước khi sửa. - Kiểm tra báo cáo robots.txt trong Search Console: báo cáo cho biết Google có tải và phân tích được tệp hay không, cùng các cảnh báo hoặc lỗi cú pháp. Báo cáo này không phải bảng kiểm tra mọi URL của website.
- Thử đúng URL quan trọng: dùng công cụ Kiểm tra URL trong Search Console để xem một trang cụ thể có bị robots.txt chặn hay không. Với quy tắc phức tạp, có thể dùng trình kiểm tra robots.txt phù hợp.
- Đối chiếu trang dịch vụ và tài nguyên: xem trang chủ, bài viết, danh mục, ảnh và tệp cần thiết có vô tình bị chặn không.
- Kiểm tra lại sau sửa: xác nhận tệp được phục vụ đúng; theo dõi khi Google cập nhật dữ liệu. Nếu mới gỡ chặn khẩn cấp, có thể đề nghị Google thu thập lại tệp robots.txt.
Google cho biết một tệp robots.txt không tồn tại và trả 404 thường không phải sự cố; ngược lại, lỗi máy chủ khi tải tệp có thể ảnh hưởng tới quá trình thu thập. Vì vậy, đừng xem mọi thông báo “không lấy được robots.txt” như nhau. Xem hướng dẫn báo cáo robots.txt của Search Console.
Những lỗi robots.txt thường gặp cần tránh
- Chặn toàn bộ website: vô tình dùng
Disallow: /với bot tìm kiếm khi đưa website thử nghiệm lên hoạt động. - Chặn tài nguyên quan trọng: Google không tải được CSS, JavaScript hoặc những ảnh cần để hiểu nội dung.
- Dùng robots.txt thay bảo mật: bot không tuân thủ hoặc người có link vẫn có thể truy cập tài nguyên công khai.
- Chặn trang có noindex: khiến Google không đọc được chỉ thị cần áp dụng.
- Sao chép mẫu không phù hợp: quy tắc của website khác có thể chặn nhầm đường dẫn dịch vụ.
- Không lưu bản cũ và thử URL: khó phát hiện hoặc khôi phục nếu website bị chặn diện rộng.
Robots.txt liên quan gì đến các tính năng AI trên Google Search?
Robots.txt vẫn điều khiển việc Googlebot truy cập theo các quy tắc đã hỗ trợ; nó không phải bộ điều khiển riêng cho mọi hệ thống AI. Nếu mục tiêu là kiểm soát nội dung có thể xuất hiện trong Google Search hoặc đoạn trích, hãy tìm hiểu các chỉ thị hiển thị tương ứng từ Google thay vì tạo thêm một “AI.txt” và coi đó là tiêu chuẩn chung. Xem hướng dẫn kiểm soát nội dung trên Google Search.
Câu hỏi thường gặp
Website WordPress nào cũng cần tự tạo robots.txt?
Không nhất thiết. WordPress hoặc công cụ quản trị có thể cung cấp tệp mặc định. Trước tiên hãy mở URL robots.txt và kiểm tra thực tế; không tạo thêm tệp chỉ vì một checklist.
Có thể dùng Disallow để giữ dữ liệu khách hàng riêng tư không?
Không. Disallow chỉ là chỉ dẫn dành cho bot tuân thủ. Trang nhạy cảm cần đăng nhập, phân quyền và cách bảo vệ phù hợp ở máy chủ.
Sửa robots.txt xong Google có thu thập lại ngay không?
Không có bảo đảm về thời điểm. Google thường kiểm tra lại tệp robots.txt, còn việc truy cập từng trang và quyết định lập chỉ mục là các bước khác.
Kết luận
Robots.txt giúp quản lý hoạt động thu thập website, nhưng không thay thế noindex, canonical hay bảo mật. Với người mới, hãy chọn vài quy tắc thật sự cần, lưu bản cũ, kiểm tra những URL quan trọng và chỉ mở rộng sau khi biết tác động. Nếu cần hiểu tổng thể công việc của bot, xem Web Crawler là gì?.
Tài liệu tham khảo
- Google Search Central – Giới thiệu tệp robots.txt.
- Google – Cách diễn giải quy tắc robots.txt.
- Google Search Console – Báo cáo robots.txt.
- Google – Cách sử dụng noindex.
Đoàn Trình Dục là Giảng viên Khoa Công nghệ Thông tin tại Đại học Công nghệ Sài Gòn (STU), với hơn 10 năm kinh nghiệm thực chiến trong các lĩnh vực Mạng máy tính, Marketing Online, SEO và Bảo mật hệ thống.
Với nền tảng sư phạm và kinh nghiệm tư vấn cho nhiều doanh nghiệp, thầy chuyên sâu vào việc xây dựng các giải pháp kỹ thuật số toàn diện và hiệu quả.