Nếu bạn sử dụng meta robots tag trên các trang của mình, bạn có thể cung cấp cho công cụ tìm kiếm hướng dẫn về cách bạn muốn chúng thu thập dữ liệu hoặc lập chỉ mục các phần của trang web. Bài viết này liệt kê tổng quan về tất cả các giá trị khác nhau mà bạn có thể có trong meta robot tag, những gì chúng làm và công cụ tìm kiếm nào hỗ trợ từng giá trị.
Meta robots tag là gì ?
Thẻ Meta Robots là một phần quan trọng trong mã HTML của trang web, được sử dụng để chỉ định cho các công cụ tìm kiếm cách xử lý và lập chỉ mục nội dung của trang. Thẻ này thường được đặt trong phần <head> của trang web và có tác dụng điều chỉnh cách các công cụ tìm kiếm hoạt động với trang web đó.
Các giá trị meta robot tag khác nhau
Các giá trị sau (“parameter”) có thể được đặt riêng hoặc cùng nhau trong thuộc tính nội dung của thẻ (được phân tách bằng dấu phẩy), để kiểm soát cách công cụ tìm kiếm tương tác với trang .
Dưới đây là tổng quan về những công cụ tìm kiếm nào hỗ trợ những thông số cụ thể nào trong meta robots tag.
- Index: Cho phép các công cụ tìm kiếm thêm trang vào danh sách chỉ mục của họ để người tìm kiếm có thể dễ dàng phát hiện. Chú ý: Khi không có chỉ thị cụ thể liên quan đến việc lập chỉ mục, điều này sẽ được coi là tình trạng mặc định.
- Noindex: Ngăn các công cụ tìm kiếm thêm trang này vào danh sách chỉ mục và do đó không cho phép hiển thị trong kết quả tìm kiếm. Chú ý: Thông tin không chính thức từ Google cho thấy rằng, nếu một trang bị đánh dấu “không chỉ mục” trong thời gian dài, nó cũng có thể được xem như đã bị đánh dấu “không theo dõi” (nofollow). Cơ chế cụ thể của việc này vẫn chưa rõ ràng và sự tương đồng với cách các công cụ tìm kiếm khác hoạt động cũng là một dấu hỏi.
- Follow: Cho phép các công cụ tìm kiếm biết rằng chúng có thể theo dõi các liên kết trên trang để khám phá nội dung khác. Chú ý: Khi không có chỉ thị cụ thể liên quan đến việc theo dõi liên kết, điều này sẽ được coi là tình trạng mặc định.
- Nofollow: Yêu cầu bot của công cụ tìm kiếm không theo dõi bất kỳ liên kết nào trên trang. Chú ý: Vẫn còn không rõ (và không thống nhất giữa các công cụ tìm kiếm) liệu thuộc tính này ngăn chặn các công cụ tìm kiếm theo dõi liên kết hay chỉ ngăn chúng gán bất kỳ giá trị nào cho liên kết đó.
- None: Một tùy chọn tóm tắt cho việc không chỉ mục và không theo dõi.
- All: Một tùy chọn tóm tắt cho việc cho phép chỉ mục và theo dõi. Chú ý: Đây là trạng thái mặc định trên hầu hết các trang web và không đặt ra bất kỳ hướng dẫn cụ thể nào.
- Noimageindex: Ngăn các công cụ tìm kiếm chỉ mục hình ảnh trên trang. Chú ý: Nếu hình ảnh được liên kết trực tiếp từ nguồn khác, các công cụ tìm kiếm vẫn có thể chỉ mục chúng. Do đó, việc sử dụng tiêu đề X-Robots-Tag HTTP nói chung là một ý tưởng tốt hơn.
- Noarchive: Ngăn các công cụ tìm kiếm hiển thị bản sao lưu trong bộ nhớ cache của trang này trong kết quả tìm kiếm của họ.
- Nocache: Tương tự như “noarchive,” nhưng chỉ được MSN / Live sử dụng.
- Nosnippet: Ngăn các công cụ tìm kiếm hiển thị đoạn văn bản hoặc đoạn video (tức là mô tả meta) của trang này trong kết quả tìm kiếm và ngăn chúng hiển thị bản sao lưu trong bộ nhớ cache của trang này trong danh sách kết quả tìm kiếm của họ. Chú ý: Đoạn mã vẫn có thể hiển thị hình thu nhỏ của hình ảnh, trừ khi “noimageindex” cũng được sử dụng.
- Nositelinkssearchbox: Ngăn công cụ tìm kiếm hiển thị hộp tìm kiếm nội tuyến cho trang web.
- Nopagereadaloud: Ngăn công cụ tìm kiếm đọc to nội dung trang thông qua dịch vụ / kết quả thoại.
- Notranslate: Ngăn các công cụ tìm kiếm hiển thị phiên bản dịch của trang trong kết quả tìm kiếm của họ.
- Max-snippet: [số] Đặt số lượng ký tự tối đa cho mô tả meta. Chú ý: Bỏ qua thẻ này có thể gây ngụ ý về giá trị là 0. Giá trị mặc định là -1 để ngụ ý “không giới hạn”.
- Max-video-preview: [số] Đặt số giây tối đa cho video trong xem trước. Chú ý: Bỏ qua thẻ này có thể gây ngụ ý về giá trị là 0. Giá trị mặc định là -1 để ngụ ý “không giới hạn”.
- Max-image-preview: [thiết lập] Đặt kích thước hình ảnh tối đa để sử dụng trong xem trước (không, tiêu chuẩn hoặc lớn). Chú ý: Bỏ qua thẻ này có thể gây ngụ ý về giá trị là không.
- Rating: Cho biết trang chứa nội dung dành cho người lớn.
- Unavailable_after: Cho các công cụ tìm kiếm biết ngày/giờ mà sau đó họ sẽ không hiển thị trang trong kết quả tìm kiếm; một phiên bản “đặt lịch” của noindex. Chú ý: Phải theo định dạng RFC850 (ví dụ: Thứ Hai, 15-08-05 15:52:01 UTC).
- Noyaca: Ngăn đoạn mã kết quả tìm kiếm sử dụng mô tả trang từ Thư mục Yandex. Chú ý: Chỉ được hỗ trợ bởi Yandex.
- Noydir: Ngăn Yahoo sử dụng mô tả cho trang này trong thư mục Yahoo như một đoạn mã cho kết quả tìm kiếm. Chú ý: Vì Yahoo đã đóng thư mục của mình, thẻ này không còn được sử dụng nữa, nhưng có thể gặp nó trong một thời gian.
Tầm quan trọng của Tag Meta Robots
Thẻ Meta Robots là một phần quan trọng của các trang web và được sử dụng để kiểm soát cách mà các công cụ tìm kiếm hiển thị và xử lý nội dung của trang web trong kết quả tìm kiếm. Thẻ này có tầm quan trọng đáng kể trong việc quản lý tối ưu hóa công cụ tìm kiếm (SEO) và cung cấp sự kiểm soát về cách trang web của bạn được trình bày trong kết quả tìm kiếm. Dưới đây là một số khía cạnh quan trọng của thẻ Meta Robots:
- Kiểm soát chỉ mục: Thẻ Meta Robots cho phép bạn quyết định xem trang web của bạn có nên được thêm vào danh sách chỉ mục của các công cụ tìm kiếm hay không. Bằng cách sử dụng chỉ thị “index” hoặc “noindex,” bạn có thể quyết định xem trang nào nên hoặc không nên xuất hiện trong kết quả tìm kiếm.
- Kiểm soát theo dõi liên kết: Bên cạnh việc quản lý chỉ mục, thẻ này còn giúp bạn kiểm soát việc theo dõi các liên kết trên trang web. Sử dụng các chỉ thị “follow” hoặc “nofollow,” bạn có thể quyết định xem công cụ tìm kiếm có nên theo dõi và đánh giá liên kết trên trang hay không.
- Kiểm soát hiển thị mô tả và tiêu đề: Thẻ Meta Robots cũng có thể ảnh hưởng đến cách các công cụ tìm kiếm hiển thị mô tả và tiêu đề của trang trong kết quả tìm kiếm. Chỉ thị “nosnippet” có thể ngăn chặn hiển thị đoạn văn bản và video mô tả trong kết quả tìm kiếm.
- Kiểm soát hình ảnh và trang cache: Nếu bạn muốn ngăn chặn công cụ tìm kiếm chỉ mục hình ảnh hoặc lưu trang của bạn trong bộ nhớ cache, bạn có thể sử dụng các chỉ thị như “noimageindex” hoặc “noarchive.”
- Kiểm soát trang dành cho người lớn: Nếu trang web của bạn chứa nội dung dành cho người lớn, bạn có thể sử dụng chỉ thị “rating” để thông báo cho các công cụ tìm kiếm về tính chất của nội dung này.
- Kiểm soát thời gian xuất hiện: Bằng cách sử dụng chỉ thị “unavailable_after,” bạn có thể lập kế hoạch để trang web không xuất hiện trong kết quả tìm kiếm sau một khoảng thời gian cụ thể.
Tóm lại, thẻ Meta Robots đóng vai trò quan trọng trong việc kiểm soát cách các công cụ tìm kiếm hiển thị và xử lý nội dung của trang web. Bằng cách sử dụng các chỉ thị khác nhau, bạn có thể tối ưu hóa cách trang web của bạn tương tác với các công cụ tìm kiếm và cung cấp trải nghiệm tốt hơn cho người dùng.
Công cụ tìm kiếm nào hỗ trợ các giá trị meta robot tag nào?
Bảng này cho thấy công cụ tìm kiếm nào hỗ trợ giá trị nào. Lưu ý rằng tài liệu được cung cấp bởi một số công cụ tìm kiếm rất thưa thớt, vì vậy có rất nhiều ẩn số.
| Robots value | Yahoo | Bing | Ask | Baidu | Yandex | |
|---|---|---|---|---|---|---|
| Indexing controls | ||||||
| index | Y* | Y* | Y* | ? | Y | Y |
| noindex | Y | Y | Y | ? | Y | Y |
| noimageindex | Y | N | N | ? | N | N |
| Whether links should be followed | ||||||
| follow | Y* | Y* | Y* | ? | Y | Y |
| nofollow | Y | Y | Y | ? | Y | Y |
| none | Y | ? | ? | ? | N | Y |
| all | Y | ? | ? | ? | N | Y |
| Snippet/preview controls | ||||||
| noarchive | Y | Y | Y | ? | Y | Y |
| nocache | N | N | Y | ? | N | N |
| nosnippet | Y | N | Y | ? | N | N |
| nositelinkssearchbox | Y | N | N | N | N | N |
| nopagereadaloud | Y | N | N | N | N | N |
| notranslate | Y | N | N | ? | N | N |
max-snippet:[number] |
Y | Y | N | N | N | N |
max-video-preview:[number] |
Y | Y | N | N | N | N |
max-image-preview:[setting] |
Y | Y | N | N | N | N |
| Miscellaneous | ||||||
| rating | Y | N | N | N | N | N |
| unavailable_after | Y | N | N | ? | N | N |
| noodp | N | Y** | Y** | ? | N | N |
| noydir | N | Y** | N | ? | N | N |
| noyaca | N | N | N | N | N | Y |
Cách kiểm tra thuộc tính meta Robots
Để kiểm tra thuộc tính Meta Robots của một trang web, bạn có thể thực hiện các bước sau:
- Kiểm tra mã nguồn trang web: Mở trình duyệt web và truy cập vào trang web mà bạn muốn kiểm tra. Sau đó, nhấn chuột phải vào trang web và chọn “Xem mã nguồn trang” hoặc “Xem mã nguồn trang web.” Điều này sẽ hiển thị mã nguồn HTML của trang web.
- Tìm thẻ Meta Robots: Trong mã nguồn HTML, tìm đoạn mã chứa thẻ Meta Robots. Thẻ này thường sẽ có định dạng như sau:
<meta name="robots" content="...">
Trong phần content, bạn sẽ thấy các chỉ thị liên quan đến việc chỉnh sửa cách công cụ tìm kiếm xử lý trang web.
- Xem giá trị trong thuộc tính content: Trong phần
contentcủa thẻ Meta Robots, bạn sẽ thấy các chỉ thị như “index,” “noindex,” “follow,” “nofollow,” và các giá trị khác. Chúng sẽ cho bạn biết trang web có nên được chỉ mục hay không, liệu công cụ tìm kiếm có nên theo dõi liên kết trên trang hay không, và các điều kiện khác.
Ví dụ:
content="index, follow": Trang web nên được chỉ mục và các liên kết nên được theo dõi.content="noindex, follow": Trang web không nên được chỉ mục, nhưng các liên kết nên được theo dõi.content="index, nofollow": Trang web nên được chỉ mục, nhưng các liên kết không nên được theo dõi.
- Sử dụng công cụ kiểm tra trực tuyến: Ngoài cách kiểm tra mã nguồn, bạn cũng có thể sử dụng các công cụ kiểm tra trực tuyến. Các công cụ này cho phép bạn nhập URL của trang web và sau đó hiển thị các thông tin liên quan đến thẻ Meta Robots và các chỉ thị khác liên quan đến SEO.
- Sử dụng tiện ích mở rộng trình duyệt: Nếu bạn sử dụng các trình duyệt như Google Chrome hoặc Mozilla Firefox, có các tiện ích mở rộng có sẵn cho SEO mà bạn có thể cài đặt. Các tiện ích này có thể giúp bạn kiểm tra các thuộc tính Meta Robots một cách dễ dàng trực tiếp từ giao diện trình duyệt.
Tóm lại, bạn có thể kiểm tra thuộc tính Meta Robots của trang web bằng cách xem mã nguồn HTML của trang hoặc sử dụng các công cụ kiểm tra trực tuyến và tiện ích mở rộng trình duyệt để thuận tiện hơn.
Xem thêm Tối ưu crawl budget (Tối ưu hóa ngân sách thu thập dữ liệu)
So sánh meta robots tag và x-robots-tag
Cả hai thẻ “Meta Robots” và “X-Robots-Tag” đều liên quan đến việc kiểm soát cách các công cụ tìm kiếm xử lý các trang web và liên kết trên trang. Tuy nhiên, chúng có sự khác biệt trong cách sử dụng và phạm vi ảnh hưởng. Dưới đây là sự so sánh giữa hai thẻ này:
1. Meta Robots Tag:
- Đây là một thẻ meta trong phần
<head>của trang web, nơi bạn có thể thêm các chỉ thị để điều chỉnh cách công cụ tìm kiếm xử lý trang web. - Thẻ này có cấu trúc:
<meta name="robots" content="...">. - Có thể thêm vào mỗi trang riêng lẻ để kiểm soát cách xử lý của trang đó.
- Các chỉ thị phổ biến trong thẻ Meta Robots gồm “index,” “noindex,” “follow,” “nofollow,” “noarchive,” “nosnippet,” v.v.
2. X-Robots-Tag:
- Đây là một tiêu đề HTTP mà bạn có thể thêm vào tiêu đề của các trang web và tệp để chỉ định các chỉ thị xử lý.
- Thường được sử dụng để cung cấp chỉ thị cho các tệp như hình ảnh, video, hoặc tệp PDF.
- Có thể thêm vào mỗi tệp riêng lẻ để kiểm soát cách xử lý của tệp đó.
- Các chỉ thị được đặt trong tiêu đề X-Robots-Tag như
X-Robots-Tag: noindex, nofollow.
Sự khác biệt:
- “Meta Robots Tag” được thêm vào phần
<head>của trang web và ảnh hưởng đến cách toàn bộ trang web hoặc trang đó được xử lý bởi công cụ tìm kiếm. - “X-Robots-Tag” được thêm vào tiêu đề của tệp cụ thể và chỉ ảnh hưởng đến cách tệp đó được xử lý.
- “Meta Robots Tag” có thể được thêm vào mỗi trang riêng lẻ của trang web.
- “X-Robots-Tag” có thể được thêm vào mỗi tệp riêng lẻ của trang web.
- “X-Robots-Tag” thường được sử dụng để kiểm soát xử lý của các loại tệp đa phương tiện như hình ảnh và video, trong khi “Meta Robots Tag” thường được sử dụng để kiểm soát xử lý của trang web hoặc các trang con của trang chính.
Tóm lại, cả hai thẻ đều cho phép bạn kiểm soát cách công cụ tìm kiếm xử lý trang web và tệp, nhưng chúng được áp dụng tại các cấp độ khác nhau và cho các đối tượng khác nhau trên trang web.
Kết luận
Meta robot tag là một trong những công cụ tuyệt vời, hiểu và sử dụng tốt meta robots tag có thể giúp chúng ta làm được nhiều việc.
Bài viết là một khía cạnh chúng tôi đã tìm hiểu được về Meta robots tag, hi vọng các bạn đã có cái nhìn tổng quan và cách sử dụng công cụ tuyệt vời này.
