Noindex, Nofollow và Disallow khác nhau ở việc chúng kiểm soát. noindex yêu cầu công cụ tìm kiếm không đưa một trang vào kết quả. nofollow liên quan đến cách Google xử lý liên kết. Disallow trong robots.txt yêu cầu bot không truy cập những đường dẫn nhất định. Ba công cụ này không thay thế cho nhau.
Chọn sai có thể khiến trang dịch vụ biến mất khỏi Google hoặc một địa chỉ vẫn xuất hiện dù bạn đã chặn bot. Bài này giúp người quản lý website hiểu nên dùng chỉ thị nào, khi nào cần người kỹ thuật và kiểm tra gì sau khi sửa.
Chủ doanh nghiệp chỉ cần nhớ 3 điều:
- Không muốn trang xuất hiện trên Google: xem xét
noindex; Google vẫn phải truy cập được trang để đọc chỉ thị. - Muốn phân loại liên kết quảng cáo hoặc không muốn xác nhận một liên kết: dùng thuộc tính
relphù hợp nhưsponsoredhoặcnofollow. - Không muốn bot truy cập một nhóm đường dẫn: xem xét
Disallowtrong robots.txt; đây không phải biện pháp bảo vệ dữ liệu riêng tư.
Bảng so sánh Noindex, Nofollow và Disallow
| Chỉ thị | Kiểm soát điều gì? | Đặt ở đâu? | Có bảo đảm URL không xuất hiện trên Google? |
|---|---|---|---|
noindex | Yêu cầu không lập chỉ mục trang hoặc tài nguyên | Thẻ meta robots hoặc HTTP X-Robots-Tag | Google cần truy cập và đọc được chỉ thị; không có hiệu lực tức thì |
nofollow | Cách Google xử lý liên kết | Thuộc tính rel trên một liên kết hoặc meta robots cho cả trang | Không |
Disallow | Quyền bot truy cập đường dẫn | Tệp robots.txt | Không; URL vẫn có thể được biết đến từ các liên kết khác |
Dễ nhớ: crawl là bot truy cập và lấy dữ liệu; index là Google lưu trang trong hệ thống tìm kiếm. Chặn bước truy cập không đồng nghĩa đã yêu cầu Google loại URL khỏi kết quả.
Noindex là gì? Khi nào nên dùng?
noindex là chỉ thị yêu cầu công cụ tìm kiếm có hỗ trợ không đưa trang vào kết quả tìm kiếm. Nó có thể phù hợp với một trang cảm ơn công khai hoặc một trang riêng không cần khách tìm thấy qua Google. Đừng đặt noindex chỉ vì một trang chưa có lượt truy cập nếu chưa đánh giá vai trò của trang.
Ví dụ kỹ thuật cho trang HTML:
<meta name="robots" content="noindex">Với tài liệu PDF hoặc tài nguyên không phải HTML, đội kỹ thuật có thể dùng HTTP header X-Robots-Tag: noindex. Hai cách đều cần bot truy cập được tài nguyên để đọc chỉ thị. Google không hỗ trợ đặt lệnh noindex bên trong robots.txt.
Nếu trang đang bị loại khỏi Google ngoài ý muốn, hãy đọc hướng dẫn kiểm tra và khắc phục lỗi noindex; bài đó giữ phần xử lý chi tiết.
Nofollow là gì? Có phải mọi liên kết ngoài đều cần nofollow?
nofollow thường được đặt trên một liên kết cụ thể khi bạn không muốn đưa ra sự xác nhận thông thường đối với trang đích. Google xem nofollow, sponsored và ugc là những tín hiệu để đánh giá liên kết, không phải công tắc bảo đảm URL đích sẽ không được thu thập hay lập chỉ mục.
| Loại liên kết | Cách đánh dấu thường phù hợp |
|---|---|
| Dẫn tới nguồn đáng tin, để độc giả kiểm chứng | Liên kết thông thường; không cần tự động thêm nofollow |
| Quảng cáo, tài trợ hoặc có trả tiền | Ưu tiên rel="sponsored"; Google vẫn chấp nhận rel="nofollow" |
| Liên kết do người dùng đăng trong bình luận, diễn đàn | Dùng rel="ugc", có thể kết hợp nofollow |
| Liên kết không thuộc các trường hợp trên nhưng bạn không muốn xác nhận trang đích | Cân nhắc rel="nofollow" |
Ví dụ một liên kết tài trợ trong HTML:
<a href="https://example.com" rel="sponsored">Đối tác tài trợ</a>Có hai phạm vi dễ nhầm: rel="nofollow" áp dụng cho một liên kết, còn meta name="robots" content="nofollow" áp dụng cho các liên kết trên trang. Cả hai đều không phải cách thích hợp để bảo đảm một trang đích không xuất hiện trên Google. Để tối ưu cách đặt liên kết giữa các bài, xem hướng dẫn liên kết nội bộ; không nên nofollow hàng loạt các liên kết nội bộ.
Disallow trong robots.txt là gì?
Disallow là quy tắc dùng để hướng dẫn bot tuân thủ robots.txt không truy cập đường dẫn khớp quy tắc. Ví dụ kỹ thuật dưới đây là minh họa, không phải cấu hình để sao chép ngay vào website thật:
User-agent: *
Disallow: /duong-dan-can-han-che/Disallow có thể phù hợp khi website có rất nhiều URL lọc hoặc đường dẫn không cần bot truy cập. Tuy nhiên, robots.txt là tệp công khai, không bảo vệ tài khoản hoặc thông tin nhạy cảm. Cần đăng nhập, phân quyền hoặc kiểm soát máy chủ đối với dữ liệu riêng tư.
Nếu cần thay đổi cú pháp, đường dẫn hoặc quy tắc cho bot cụ thể, hãy dùng bài Robots.txt là gì? Cú pháp và cách kiểm tra, thay vì sửa trực tiếp từ bảng ví dụ này.
Vì sao không nên vừa Disallow vừa Noindex cùng một URL?
Ví dụ, bạn muốn trang cảm ơn không xuất hiện trên Google. Nếu thêm noindex vào trang rồi dùng robots.txt chặn Googlebot truy cập, Google có thể không đọc được noindex. Địa chỉ vẫn có thể xuất hiện với thông tin hạn chế nếu Google biết nó qua nguồn khác. Đây không phải cách “chặn hai lớp” an toàn.
Muốn loại một trang đang hiển thị khỏi Google, hãy xác định trước trang đó vẫn cần mở cho người dùng hay không. Nếu vẫn là trang công khai nhưng không nên lên Search, thường cần cho Google truy cập để đọc noindex. Việc xử lý URL đã bị lập chỉ mục, xóa vĩnh viễn hoặc chuyển hướng phải xem tình trạng thực tế. Đọc Google Index: Cách kiểm tra và xử lý URL khi cần.
Chọn chỉ thị nào trong những tình huống thường gặp?
| Tình huống | Hướng xử lý nên cân nhắc |
|---|---|
| Trang cảm ơn công khai, không cần lên Google | noindex, cho phép bot đọc chỉ thị |
| Trang đăng nhập chứa dữ liệu riêng tư | Bảo vệ bằng đăng nhập và phân quyền; noindex không thay thế bảo mật |
| Đường dẫn lọc tạo quá nhiều lượt bot truy cập | Đánh giá Disallow cùng đội kỹ thuật, không coi là cách noindex |
| Liên kết quảng cáo hoặc bài tài trợ | rel="sponsored" (hoặc nofollow theo hướng dẫn Google) |
| Liên kết trong bình luận do người dùng tạo | rel="ugc", có thể kết hợp nofollow |
| URL không còn tồn tại hoặc đã chuyển sang trang khác | Đánh giá mã trạng thái hoặc chuyển hướng phù hợp, không áp dụng noindex một cách máy móc |
Cách kiểm tra sau khi chỉnh sửa mà không cần biết lập trình
- Ghi rõ mục tiêu và URL: bạn muốn Google không hiển thị trang, muốn bot không truy cập hay chỉ muốn đánh dấu loại liên kết?
- Xem Search Console: với noindex hoặc Disallow, kiểm tra URL cụ thể và trạng thái Google ghi nhận. Kết quả thử URL đang hoạt động không đồng nghĩa thay đổi đã được cập nhật trong chỉ mục.
- Yêu cầu kiểm tra bằng chứng: nhờ người quản trị chụp chỉ thị meta robots hoặc HTTP header, tệp robots.txt hay thuộc tính rel của liên kết, tùy việc đã sửa.
- Đọc lại kết quả: xác nhận trang dịch vụ quan trọng vẫn được phép lập chỉ mục, rồi theo dõi dữ liệu sau khi Google truy cập lại.
Một tìm kiếm bằng cú pháp site: không đủ để khẳng định trang đã được loại khỏi chỉ mục. Khi cần chẩn đoán từng URL, nên xem Search Console và bằng chứng cấu hình thực tế.
Câu hỏi thường gặp
Dùng nofollow có chặn Google lập chỉ mục trang được liên kết không?
Không. Google có thể tìm thấy trang từ liên kết khác hoặc sơ đồ website. Muốn kiểm soát việc một trang xuất hiện trên Google, cần chọn cơ chế dành cho lập chỉ mục, không chỉ gắn nofollow vào liên kết.
Disallow có giúp bảo vệ trang riêng tư không?
Không. Robots.txt có thể được xem công khai và một số bot không tuân thủ chỉ dẫn. Thông tin riêng tư cần biện pháp xác thực và phân quyền ở máy chủ.
Đã đặt noindex thì bao lâu URL biến mất khỏi Google?
Không có thời hạn cố định. Google cần thu thập lại và xử lý chỉ thị. Nếu cần gỡ kết quả khẩn cấp, có thể xem công cụ Removals trong Search Console, nhưng đó không thay thế giải pháp lâu dài.
Nguồn tham khảo chính thức
- Google Search Central — Dùng noindex để chặn lập chỉ mục.
- Google Search Central — Robots.txt và giới hạn.
- Google Search Central — Meta robots và các quy tắc.
- Google Search Central — Thuộc tính liên kết nofollow, sponsored, ugc.
Kết luận
Hãy chọn công cụ theo mục tiêu thực sự: noindex để yêu cầu không lập chỉ mục, nofollow để đánh dấu liên kết, Disallow để hạn chế truy cập của bot tuân thủ robots.txt. Đừng chặn crawl rồi kỳ vọng Google vẫn đọc được noindex, và đừng dùng ba công cụ này để bảo vệ thông tin riêng tư. Nếu chuẩn bị sửa nhiều trang, cần xác minh tác động trước khi áp dụng hàng loạt.
Đoàn Trình Dục là Giảng viên Khoa Công nghệ Thông tin tại Đại học Công nghệ Sài Gòn (STU), với hơn 10 năm kinh nghiệm thực chiến trong các lĩnh vực Mạng máy tính, Marketing Online, SEO và Bảo mật hệ thống.
Với nền tảng sư phạm và kinh nghiệm tư vấn cho nhiều doanh nghiệp, thầy chuyên sâu vào việc xây dựng các giải pháp kỹ thuật số toàn diện và hiệu quả.