Trong SEO, việc kiểm soát cách Google thu thập và lập chỉ mục (index) các trang trên website là rất quan trọng. Noindex, Nofollow & Disallow là ba phương pháp phổ biến giúp bạn chặn Google index trang, kiểm soát liên kết & ngăn bot tìm kiếm truy cập một số phần của website.

❓ Vậy Noindex, Nofollow & Disallow là gì?

Noindex giúp ngăn chặn trang web xuất hiện trên kết quả tìm kiếm.
Nofollow báo cho Google rằng không nên truyền giá trị SEO (link juice) qua liên kết đó.
Disallow trong robots.txt giúp ngăn bot Google thu thập dữ liệu từ một trang hoặc thư mục nhất định.

Việc sử dụng không đúng có thể khiến website bị mất traffic, giảm thứ hạng SEO & ảnh hưởng đến trải nghiệm người dùng. Vậy khi nào nên dùng Noindex, Nofollow & Disallow? Cách triển khai sao cho chuẩn SEO & tránh lỗi kỹ thuật?

👉 Trong bài viết này, chúng ta sẽ cùng tìm hiểu chi tiết về cách sử dụng Noindex, Nofollow & Disallow, các lỗi phổ biến cần tránh & cách kiểm tra chúng hoạt động đúng hay chưa! 🚀

Tóm tắt nội dung

Noindex là gì? Cách hoạt động của Noindex

Noindex là gì?

Noindex là một chỉ thị dùng trong thẻ meta robots hoặc HTTP header, giúp ngăn Google và các công cụ tìm kiếm lập chỉ mục (index) một trang web. Khi một trang có thẻ Noindex, Googlebot vẫn có thể thu thập dữ liệu (crawl) trang đó, nhưng nó sẽ không hiển thị trên kết quả tìm kiếm.

✅ Ví dụ về Noindex trong thẻ meta robots:

<meta name="robots" content="noindex, follow">

noindex → Ngăn Google lập chỉ mục trang.
follow → Google vẫn có thể theo dõi các liên kết trên trang.

✅ Ví dụ về Noindex trong HTTP Header (dùng cho file PDF, tài liệu):

X-Robots-Tag: noindex, nofollow

Thường dùng cho file không phải HTML, như PDF, CSV.

📌 Lưu ý:

Noindex khác với Disallow → Google vẫn có thể crawl (thu thập dữ liệu) trang có Noindex, nhưng nó sẽ không hiển thị trên kết quả tìm kiếm.
Nếu muốn chặn Google hoàn toàn, cần dùng Disallow trong robots.txt hoặc Noindex kết hợp với Disallow.

Khi nào nên sử dụng Noindex?

Noindex giúp bạn kiểm soát nội dung nào nên & không nên xuất hiện trên Google, đặc biệt là với các trang không có giá trị SEO hoặc có thể gây hại cho thứ hạng của website.

📌 Dưới đây là các trường hợp nên sử dụng Noindex:

🔹 Trang cảm ơn (Thank You Page)

Các trang sau khi khách hàng điền form, đặt hàng thành công không cần xuất hiện trên Google.

🔹 Trang đăng nhập, tài khoản cá nhân

Trang như /login, /cart, /checkout không nên được index.

🔹 Nội dung trùng lặp hoặc không có giá trị SEO

Các trang có nội dung tương tự nhau như phiên bản in (?print=1), tag pages, search result pages (?s=keyword).
Trang có nội dung thin content (mỏng) hoặc auto-generated content.

🔹 Chặn nội dung thử nghiệm, staging site

Nếu bạn đang chạy thử nghiệm một website, hãy dùng Noindex để tránh Google index nhầm trang chưa hoàn thiện.

Cách triển khai Noindex đúng chuẩn SEO

✅ Cách 1: Thêm Noindex vào meta robots (HTML)
Đây là cách phổ biến nhất, đặt trong phần <head> của trang:

<meta name="robots" content="noindex, follow">

Noindex, Follow: Trang không index nhưng các liên kết trên trang vẫn được Googlebot thu thập.
Noindex, Nofollow: Trang không index và cũng không truyền link juice (SEO value) qua các liên kết trên trang.

✅ Cách 2: Dùng HTTP Header cho nội dung không phải HTML
Nếu bạn muốn chặn file PDF, CSV hoặc tài liệu, hãy sử dụng HTTP Header:

X-Robots-Tag: noindex

✅ Cách 3: Chặn URL trong Google Search Console

Vào Google Search Console → Công cụ xóa URL → Chặn trang không muốn index.

Cách kiểm tra Noindex hoạt động đúng hay chưa?

Để kiểm tra xem Google đã nhận diện Noindex hay chưa, bạn có thể sử dụng các công cụ sau:

✅ Google Search Console

Vào Coverage (Mức độ phù hợp) → Kiểm tra trang có bị đánh dấu “Excluded by Noindex tag” hay không.

✅ Screaming Frog SEO Spider

Quét toàn bộ website → Lọc Meta Robots = Noindex để kiểm tra các trang bị chặn.

✅ Dùng lệnh “site:” trên Google

Gõ trên Google: site:example.com/page-url
- Nếu không có kết quả → Trang đã bị Noindex thành công.
- Nếu vẫn xuất hiện → Google chưa cập nhật Noindex hoặc có lỗi trong cấu hình.

📌 Tóm lại – Khi nào nên dùng Noindex?

✅ Sử dụng Noindex khi muốn ngăn Google index các trang không có giá trị SEO (cảm ơn, đăng nhập, nội dung trùng lặp).
✅ Không sử dụng Noindex nếu trang có thể mang lại traffic quan trọng.
✅ Kiểm tra định kỳ bằng Google Search Console & Screaming Frog để đảm bảo Noindex hoạt động đúng.

👉 Bạn đã kiểm tra Noindex trên website của mình chưa? Nếu chưa, hãy xem lại ngay để tối ưu SEO tốt nhất! 🚀

Nofollow là gì? Khi nào nên sử dụng? 🔗

Nofollow là gì?

Nofollow là một thuộc tính được thêm vào liên kết (links) hoặc meta robots, báo hiệu cho Google rằng không nên truyền giá trị SEO (link juice) đến trang được liên kết. Điều này giúp kiểm soát dòng chảy PageRank, ngăn chặn các liên kết spam & tránh các hình phạt của Google khi sử dụng link không tự nhiên.

✅ Ví dụ về Nofollow trong thẻ <a>

<a href="https://example.com" rel="nofollow">Liên kết này không truyền SEO</a>

rel="nofollow" → Google không đi theo liên kết này & không truyền giá trị SEO.

✅ Ví dụ về Nofollow trong thẻ meta robots

<meta name="robots" content="nofollow">

Google sẽ không đi theo bất kỳ liên kết nào trên trang.

📌 Lưu ý:

Nofollow không chặn Google index trang, chỉ ngăn Googlebot đi theo liên kết.
Nếu muốn vừa Noindex vừa Nofollow, dùng: <meta name="robots" content="noindex, nofollow">

Khi nào nên sử dụng Nofollow?

🚫 Chặn liên kết không đáng tin cậy hoặc spam

Các liên kết từ bình luận, forum, user-generated content (UGC) có thể bị spam.

💰 Liên kết trả phí (Paid Links)

Google yêu cầu tất cả liên kết trả phí phải có rel="nofollow" hoặc rel="sponsored", nếu không website có thể bị phạt.

🔀 Liên kết nội bộ không quan trọng

Các trang như chính sách bảo mật, điều khoản sử dụng không cần truyền SEO.

📌 Khi nào KHÔNG nên dùng Nofollow?

Không sử dụng Nofollow trên tất cả liên kết nội bộ, vì sẽ làm giảm sức mạnh SEO tổng thể.
Không dùng Nofollow trên các trang quan trọng nếu muốn chúng được xếp hạng tốt.

Cách triển khai Nofollow đúng chuẩn SEO

✅ Cách 1: Nofollow trên từng liên kết (dành cho link bên ngoài)

<a href="https://example.com" rel="nofollow">Link không truyền SEO</a>

✅ Cách 2: Nofollow toàn bộ trang (dùng meta robots)

<meta name="robots" content="nofollow">

✅ Cách 3: Kết hợp với Noindex

<meta name="robots" content="noindex, nofollow">

✅ Cách 4: Dùng trong file robots.txt (không khuyến khích)

User-agent: *
Disallow: /example-page/

📌 Lưu ý: Cách này chỉ ngăn Google thu thập dữ liệu trang, không liên quan đến việc Google đi theo liên kết hay không.

Cách kiểm tra Nofollow hoạt động đúng hay chưa?

🛠️ Dùng công cụ SEO:

Google Search Console → Kiểm tra External Links & Internal Links.
Screaming Frog SEO Spider → Lọc ra các liên kết có rel="nofollow".
Ahrefs & SEMrush → Kiểm tra backlink có bị gắn Nofollow không.

📌 Dùng Inspect Element trên trình duyệt
1️⃣ Nhấp chuột phải vào liên kết → Inspect (Kiểm tra phần tử).
2️⃣ Nếu có rel="nofollow", nghĩa là Google không đi theo link này.

📢 Tóm lại – Khi nào nên dùng Nofollow?

✅ Sử dụng Nofollow cho liên kết trả phí, link spam, user-generated content.
✅ Không nên dùng Nofollow cho liên kết nội bộ quan trọng để tránh ảnh hưởng SEO.
✅ Kiểm tra định kỳ bằng Google Search Console & Screaming Frog để đảm bảo không có lỗi Nofollow không mong muốn.

👉 Bạn đã kiểm tra các liên kết Nofollow trên website chưa? Nếu chưa, hãy tối ưu ngay để tránh mất thứ hạng SEO! 🚀

Xem thêm https://websitehcm.com/seo-ky-thuat-la-gi-cac-luu-y-co-ban/

Disallow trong robots.txt: Cách chặn bot Google thu thập dữ liệu 🚫

Disallow là gì?

Disallow là một lệnh trong tệp robots.txt dùng để ngăn Googlebot và các công cụ tìm kiếm khác thu thập dữ liệu (crawl) một trang hoặc thư mục nhất định trên website.

📌 Lưu ý quan trọng:

Disallow KHÔNG chặn Google index trang nếu trang đó đã được lập chỉ mục trước đó.
Nếu muốn ngăn cả crawl & index, cần dùng Noindex kết hợp với Disallow.

✅ Ví dụ về lệnh Disallow trong robots.txt:

User-agent: *
Disallow: /private-page/

👉 Tất cả bot tìm kiếm không thể crawl trang /private-page/ nhưng vẫn có thể index nếu có liên kết trỏ đến trang này.

Khi nào nên sử dụng Disallow?

🔒 Chặn bot thu thập dữ liệu các trang không quan trọng

/wp-admin/ (Trang quản trị WordPress)
/cart/ (Giỏ hàng của trang thương mại điện tử)
/search/ (Trang kết quả tìm kiếm nội bộ)

🔄 Ngăn bot thu thập tài nguyên không cần thiết (JS, CSS, Images)

Nếu trang có quá nhiều file JS, CSS, hình ảnh, có thể dùng Disallow để giảm tải crawl.

🛠 Chặn bot xấu (Bad Bots) gây ảnh hưởng đến server

Một số bot không liên quan đến Google như AhrefsBot, SEMrushBot có thể bị chặn.

✅ Ví dụ chặn bot cụ thể trong robots.txt:

User-agent: AhrefsBot
Disallow: /

👉 Chặn bot Ahrefs khỏi thu thập dữ liệu toàn bộ website.

Cách sử dụng Disallow đúng chuẩn SEO

✅ Chặn một trang cụ thể:

User-agent: *
Disallow: /private-page/

🚫 Google sẽ không thu thập dữ liệu trang /private-page/.

✅ Chặn toàn bộ thư mục:

User-agent: *
Disallow: /admin/

🚫 Google sẽ không crawl bất kỳ trang nào trong thư mục /admin/.

✅ Chặn tất cả bot thu thập dữ liệu toàn bộ website (KHÔNG KHUYẾN KHÍCH! 🚨)

User-agent: *
Disallow: /

❌ Lệnh này sẽ ngăn Googlebot & các bot khác thu thập dữ liệu toàn bộ website!

✅ Chặn Googlebot nhưng cho phép các bot khác

User-agent: Googlebot
Disallow: /

🚫 Googlebot không thể crawl website nhưng các bot khác vẫn có thể.

Sự khác biệt giữa Noindex & Disallow 🔍

❓ Thuộc tính	🛑 Noindex	🚫 Disallow
Mục đích	Ngăn trang xuất hiện trên kết quả tìm kiếm.	Ngăn bot thu thập dữ liệu trang.
Google vẫn crawl trang?	Có thể.	Không.
Google có index trang?	Không.	Có thể nếu trang đã được index trước đó.
Sử dụng ở đâu?	Thẻ meta robots hoặc HTTP Header.	File robots.txt.
Khi nào sử dụng?	Khi muốn chặn index nhưng vẫn cho Google đọc nội dung.	Khi muốn giảm tải crawl hoặc chặn bot không cần thiết.

📌 Cách kết hợp Noindex & Disallow đúng chuẩn SEO:

User-agent: *
Disallow: /example-page/

<meta name="robots" content="noindex, follow">

👉 Google sẽ không thu thập dữ liệu & không index trang này.

Cách kiểm tra Disallow hoạt động đúng hay chưa?

✅ Dùng Google Search Console
1️⃣ Vào Google Search Console → Kiểm tra URL.
2️⃣ Nếu thấy lỗi “Blocked by robots.txt”, có nghĩa là Disallow đang hoạt động.

✅ Dùng robots.txt Tester của Google
📌 Truy cập: Google Robots.txt Tester

✅ Dùng Screaming Frog SEO Spider
1️⃣ Chạy một audit toàn bộ site.
2️⃣ Xem danh sách các trang bị chặn bởi robots.txt.

📢 Tóm lại – Khi nào nên dùng Disallow?

✅ Sử dụng Disallow để chặn Googlebot crawl các trang không quan trọng.
✅ Không dùng Disallow nếu muốn ngăn index hoàn toàn, hãy kết hợp với Noindex.
✅ Kiểm tra file robots.txt thường xuyên để tránh lỗi làm mất traffic.

👉 Bạn đã kiểm tra robots.txt trên website của mình chưa? Nếu chưa, hãy tối ưu ngay để tránh mất thứ hạng SEO! 🚀

Sự khác biệt giữa Noindex, Nofollow & Disallow 🧐

Việc hiểu rõ sự khác biệt giữa Noindex, Nofollow & Disallow là rất quan trọng để tránh các lỗi SEO có thể làm giảm thứ hạng website trên Google. Dưới đây là bảng so sánh chi tiết về cách hoạt động và mục đích sử dụng của từng phương pháp.

So sánh Noindex, Nofollow & Disallow

❓ Thuộc tính	🛑 Noindex	🔗 Nofollow	🚫 Disallow
Chức năng chính	Ngăn Google lập chỉ mục trang.	Ngăn Google đi theo liên kết.	Ngăn Google thu thập dữ liệu trang.
Google có thể crawl trang?	Có.	Có.	Không.
Google có thể index trang?	Không.	Có.	Có thể (nếu đã index trước đó).
Ảnh hưởng đến PageRank?	Không.	Không truyền giá trị SEO qua liên kết.	Không ảnh hưởng trực tiếp.
Cách triển khai	Meta robots hoặc HTTP Header.	`rel="nofollow"` trong thẻ `<a>`.	robots.txt.
Khi nào nên sử dụng?	Chặn index trang không quan trọng, trùng lặp, nội dung nhạy cảm.	Chặn link spam, link trả phí, link không đáng tin cậy.	Ngăn Googlebot thu thập dữ liệu thư mục hoặc trang cụ thể.

Khi nào nên sử dụng từng phương pháp?

✅ Dùng Noindex khi:

Không muốn trang xuất hiện trên kết quả tìm kiếm (Trang cảm ơn, nội dung thử nghiệm).
Ngăn index nội dung trùng lặp (Tag pages, phiên bản in của trang).
Loại bỏ trang khỏi Google một cách có kiểm soát.

✅ Dùng Nofollow khi:

Chặn liên kết trả phí, link affiliate để tuân thủ chính sách Google.
Ngăn link spam từ bình luận, bài viết do người dùng tạo (User-Generated Content).
Tránh truyền link juice đến các trang không quan trọng (chính sách, điều khoản).

✅ Dùng Disallow khi:

Ngăn Googlebot crawl các thư mục nội bộ (Admin, giỏ hàng, tài khoản cá nhân).
Giảm tải thu thập dữ liệu trên trang có nhiều file media (PDF, hình ảnh, JS, CSS).
Chặn bot xấu thu thập nội dung website.

📌 Ví dụ kết hợp đúng cách:

User-agent: *
Disallow: /private-content/

<meta name="robots" content="noindex, follow">

👉 Trang /private-content/ sẽ không bị Google thu thập dữ liệu & không xuất hiện trên kết quả tìm kiếm.

Sai lầm phổ biến khi sử dụng Noindex, Nofollow & Disallow ❌

⚠️ Lỗi 1: Chặn trang bằng Disallow nhưng vẫn bị index

Disallow chỉ ngăn Google thu thập dữ liệu chứ không chặn index.
🔧 Cách khắc phục: Dùng Noindex kết hợp với Disallow.

⚠️ Lỗi 2: Noindex toàn bộ website

Nếu vô tình thêm Noindex vào trang chủ (<meta name="robots" content="noindex, follow">), website sẽ biến mất khỏi Google.
🔧 Cách khắc phục: Kiểm tra lại file header & Google Search Console.

⚠️ Lỗi 3: Dùng Nofollow trên tất cả liên kết nội bộ

Google không thể đi theo link để index các trang quan trọng.
🔧 Cách khắc phục: Chỉ dùng Nofollow cho liên kết trả phí & link spam.

⚠️ Lỗi 4: Chặn Googlebot nhưng không chặn các bot khác

Một số bot khác vẫn có thể thu thập nội dung trang web.
🔧 Cách khắc phục: Chặn từng bot cụ thể trong robots.txt: User-agent: AhrefsBot Disallow: /

👉 Bạn đã tối ưu Noindex, Nofollow & Disallow đúng cách chưa? Kiểm tra ngay để tránh mất traffic & thứ hạng SEO! 🚀

Cách kiểm tra Noindex, Nofollow & Disallow hoạt động đúng cách 🛠️

Sau khi triển khai Noindex, Nofollow & Disallow, bạn cần kiểm tra xem chúng có hoạt động đúng hay không để tránh ảnh hưởng tiêu cực đến SEO. Dưới đây là các công cụ & phương pháp giúp bạn xác minh & khắc phục lỗi một cách hiệu quả.

Kiểm tra Noindex bằng Google Search Console 🔍

✅ Bước 1: Kiểm tra trạng thái index của trang
1️⃣ Truy cập Google Search Console → Chọn “Kiểm tra URL”.
2️⃣ Nhập URL cần kiểm tra.
3️⃣ Nếu thấy thông báo:

“Bị loại trừ bởi thẻ Noindex” → Trang đã bị Noindex thành công.
Trang vẫn xuất hiện trên Google → Noindex có thể chưa được cập nhật.

✅ Bước 2: Yêu cầu Google cập nhật Noindex

Nhấn “Yêu cầu lập chỉ mục lại” để Google cập nhật nhanh hơn.
Chờ vài ngày & kiểm tra lại bằng lệnh site:example.com/page-url.

📌 Công cụ hỗ trợ: Google Search Console

Kiểm tra Nofollow bằng Inspect Element & Ahrefs 🕵️‍♂️

✅ Cách 1: Kiểm tra bằng Inspect Element (Chrome, Firefox)
1️⃣ Nhấp chuột phải vào liên kết cần kiểm tra → Chọn Inspect (Kiểm tra phần tử).
2️⃣ Nếu thấy rel="nofollow", liên kết đã bị chặn truyền giá trị SEO.
3️⃣ Nếu không có rel="nofollow", Google vẫn có thể theo dõi liên kết đó.

✅ Cách 2: Kiểm tra bằng Ahrefs & SEMrush
1️⃣ Vào Ahrefs → Site Explorer → Backlinks.
2️⃣ Chọn Nofollow Links để xem danh sách liên kết đã bị đánh dấu nofollow.
3️⃣ Kiểm tra các liên kết nội bộ & liên kết ngoài có đúng với thiết lập mong muốn hay không.

📌 Công cụ hỗ trợ:

Kiểm tra Disallow bằng robots.txt Tester & Screaming Frog 🤖

✅ Cách 1: Dùng Google Robots.txt Tester
1️⃣ Truy cập Google Robots.txt Tester.
2️⃣ Nhập URL cần kiểm tra.
3️⃣ Nếu thấy thông báo “Blocked by robots.txt”, trang đã bị chặn thành công.

📌 Truy cập tại: Google Robots.txt Tester

✅ Cách 2: Kiểm tra bằng Screaming Frog SEO Spider
1️⃣ Mở Screaming Frog → Nhập URL website.
2️⃣ Chuyển sang tab “Response Codes” → Lọc “Blocked by Robots.txt”.
3️⃣ Kiểm tra lại tệp robots.txt nếu có lỗi chặn nhầm trang quan trọng.

📌 Công cụ hỗ trợ: Screaming Frog SEO Spider

Dùng lệnh “site:” trên Google để kiểm tra index

✅ Bước 1: Mở Google & nhập lệnh kiểm tra

site:example.com/page-url

✅ Bước 2: Đọc kết quả

Nếu trang không hiển thị → Noindex hoạt động đúng.
Nếu trang vẫn xuất hiện → Google chưa cập nhật hoặc có lỗi trong thẻ meta robots.

📌 Lưu ý: Nếu trang vẫn hiển thị sau vài tuần, có thể cần kiểm tra lại thẻ Noindex hoặc robots.txt để đảm bảo không có xung đột.

👉 Bạn đã kiểm tra Noindex, Nofollow & Disallow trên website chưa? Hãy kiểm tra ngay để đảm bảo SEO hoạt động tốt nhất! 🚀

Kết luận – Sử dụng Noindex, Nofollow & Disallow đúng cách để tối ưu SEO 🚀

Việc kiểm soát cách Google thu thập và index nội dung trên website đóng vai trò rất quan trọng trong SEO. Noindex, Nofollow & Disallow giúp bạn ngăn chặn nội dung không mong muốn xuất hiện trên Google, kiểm soát giá trị liên kết & tối ưu ngân sách thu thập dữ liệu (Crawl Budget). Tuy nhiên, sử dụng sai có thể gây mất traffic, ảnh hưởng đến thứ hạng & trải nghiệm người dùng.

👉 Hành động ngay: Kiểm tra lại Noindex, Nofollow & Disallow trên website của bạn! 🚀

Bạn đã tối ưu Noindex, Nofollow & Disallow đúng cách chưa? Nếu chưa, hãy kiểm tra ngay để tránh mất thứ hạng SEO & tối ưu website hiệu quả nhất! 💯

Đoàn Trình Dục

Đoàn Trình Dục là Giảng viên Khoa Công nghệ Thông tin tại Đại học Công nghệ Sài Gòn (STU), với hơn 10 năm kinh nghiệm thực chiến trong các lĩnh vực Mạng máy tính, Marketing Online, SEO và Bảo mật hệ thống.
Với nền tảng sư phạm và kinh nghiệm tư vấn cho nhiều doanh nghiệp, thầy chuyên sâu vào việc xây dựng các giải pháp kỹ thuật số toàn diện và hiệu quả.

Technical SEO

Noindex, Nofollow & Disallow: Cách Sử Dụng Đúng Chuẩn Trong SEO