Crawl Budget là khái niệm mô tả việc Google không thường xuyên thu thập thông tin từ mọi trang trên một trang web ngay lập tức. Thay vào đó, quá trình này có thể mất đến vài tuần và điều này có thể tạo ra khó khăn trong việc tối ưu hóa SEO của bạn, bởi vì trang đích của bạn có thể không được lập chỉ mục trong thời gian này.
Vào thời điểm đó, bạn cần xem xét việc tối ưu hóa ngân sách thu thập thông tin của mình. Trong bài viết này, chúng tôi sẽ cùng nhau thảo luận về khái niệm ‘ngân sách thu thập thông tin’ hoặc Crawl Budget là gì và cung cấp những cách bạn có thể tối ưu hóa nó sau khi đã đọc xong bài viết này. Hãy chùng W3seo tìm hiểu ngay!
Crawl Budget hay Ngân sách thu thập thông tin là gì ?
Ngân sách thu thập thông tin, hay còn gọi là Crawl Budget, đề cập đến tốc độ hoặc số lượng trang mà Googlebot muốn thu thập dữ liệu và lập chỉ mục trên một trang web trong một khoảng thời gian nhất định. Con số này có thể thay đổi từ ngày này qua ngày khác, nhưng tổng thể, nó tương đối ổn định. Google có thể thu thập dữ liệu từ 6 trang trên trang web của bạn mỗi ngày, hoặc có thể là 5.000 trang, thậm chí là 1.000.000 trang mỗi ngày.
Số lượng trang mà Google có thể thu thập, tức là “ngân sách” của bạn, thường được xác định bởi các yếu tố như kích thước của trang web, tình trạng của trang web (bao gồm số lỗi mà Google gặp phải), và số lượng liên kết trỏ đến trang web của bạn. Một số trong những yếu tố này có thể ảnh hưởng đến bạn, và chúng ta sẽ đi sâu hơn vào từng vấn đề này.
Tại sao ngân sách thu thập thông tin lại quan trọng đối với SEO?
Đơn giản, nếu Google không lập chỉ mục một trang, thì trang đó sẽ không thể xếp hạng cho bất kỳ từ khóa nào. Do đó, nếu số lượng trang của bạn vượt quá ngân sách thu thập thông tin của trang web, một số trang trên trang web của bạn có thể không được lập chỉ mục.
Tuy nhiên, phần lớn các trang web không cần quá lo lắng về vấn đề ngân sách thu thập thông tin, vì Google thường rất hiệu quả trong việc tìm kiếm và lập chỉ mục các trang. Nhưng có một số trường hợp bạn cần quan tâm đến ngân sách thu thập thông tin:
- Bạn điều hành một trang web lớn với hàng ngàn trang.
- Bạn vừa thêm một loạt các trang mới vào trang web của mình.
- Trang web của bạn có nhiều chuyển hướng và chuỗi chuyển hướng có thể ảnh hưởng đến ngân sách thu thập thông tin của bạn.
Cách hoạt động của trình thu thập thông tin là gì?
Trình thu thập thông tin, như Google Bot, bắt đầu bằng việc nhận danh sách các URL mà nó cần thu thập dữ liệu và lập chỉ mục trên một trang web. Nó tiến hành theo danh sách này theo cách có hệ thống. Đôi khi, nó sẽ kiểm tra tệp robots.txt của bạn để đảm bảo rằng nó có quyền thu thập dữ liệu từ từng URL, sau đó bắt đầu thu thập dữ liệu từ mỗi URL đó.
Khi trình thu thập thông tin đã thu thập và phân tích dữ liệu từ một URL, nó sẽ tìm thêm các URL mới trên trang đó và thêm chúng vào danh sách để tiếp tục thu thập dữ liệu.
Khi nào chúng ta nên quan tâm đến ngân sách thu thập thông tin?
Thông thường, ngân sách thu thập thông tin không phải là mối quan tâm lớn đối với hầu hết các trang web. Tuy nhiên, có một số tình huống mà bạn cần quan tâm đến việc quản lý ngân sách thu thập thông tin:
- Trang web của bạn lớn và phức tạp: Nếu trang web của bạn có hàng nghìn hoặc thậm chí hàng triệu trang, việc quản lý Crawl Budget trở nên quan trọng hơn bao giờ hết. Các trang web lớn thường có nhiều trang không quan trọng, và việc Google lập chỉ mục những trang này có thể lãng phí tài nguyên quý báu.
- Sự thay đổi thường xuyên: Khi bạn thường xuyên cập nhật trang web của mình với nội dung mới hoặc thay đổi cấu trúc trang, Crawl Budget trở thành một yếu tố quan trọng. Điều này đảm bảo rằng các thay đổi mới được lập chỉ mục và hiển thị trong kết quả tìm kiếm một cách nhanh chóng.
- Sự thay đổi mục tiêu: Khi bạn muốn tập trung vào việc lập chỉ mục hoặc ưu tiên lập chỉ mục cho một số trang cụ thể trên trang web, bạn cần quản lý Crawl Budget để đảm bảo rằng các trang này được Google quét đúng lúc.
- Hiệu suất SEO giảm sút: Nếu bạn bắt đầu thấy hiệu suất SEO của bạn giảm sút, có thể do Crawl Budget không được quản lý tốt. Điều này có thể dẫn đến việc trang web của bạn không được lập chỉ mục đầy đủ hoặc lập chỉ mục không đúng cách.
- Tốc độ tải chậm: Khi trang web của bạn tải chậm, đây có thể là dấu hiệu của việc Google không có đủ Crawl Budget để quét và lập chỉ mục trang web của bạn một cách hiệu quả.
- Sự thay đổi trong chiến lược nội dung: Khi bạn thay đổi chiến lược nội dung hoặc tạo ra nhiều nội dung mới, việc quản lý Crawl Budget là cực kỳ quan trọng để đảm bảo rằng các trang quan trọng nhất được lập chỉ mục.
Tất cả các URL và yêu cầu đều được tính vào ngân sách thu thập thông tin. Điều này bao gồm cả các URL thay thế như AMP hoặc trang m-dot, các yêu cầu hreflang, CSS và JavaScript, cũng như các yêu cầu XHR.
Nhiều Googlebot khác nhau có thể thực hiện việc chia sẻ ngân sách thu thập thông tin, và bạn có thể xem danh sách các Googlebot này trong báo cáo Thống kê Thu thập thông tin của Google Search Console.
Các yếu tố ảnh hưởng đến Crawl Budgets
Crawl Budgets, hoặc ngân sách thu thập thông tin, của một trang web có thể bị ảnh hưởng bởi nhiều yếu tố khác nhau. Dưới đây là một số yếu tố quan trọng có thể ảnh hưởng đến Crawl Budgets:
- Kích thước trang web: Trang web lớn hơn thường đòi hỏi nhiều hơn về Crawl Budgets. Googlebot cần thời gian để quét mọi trang, vì vậy trang web lớn có thể cần phải phân phối ngân sách cẩn thận để đảm bảo tất cả các trang được lập chỉ mục.
- Cấu trúc trang web: Cách bạn cấu trúc trang web của mình có thể ảnh hưởng đến việc Crawl Budgets được sử dụng. Trang web có cấu trúc hợp lý với các trang con và mục lục dễ dàng để Googlebot theo dõi thường có hiệu suất tốt hơn.
- Nội dung mới và thay đổi cấu trúc: Khi bạn thường xuyên thêm nội dung mới hoặc thay đổi cấu trúc trang web, Googlebot có thể cần thời gian nhiều hơn để quét và lập chỉ mục. Điều này đặc biệt đúng khi có nhiều thay đổi hoặc nội dung mới để xem xét.
- Số lượng liên kết và liên kết ngoại: Trang web với nhiều liên kết ngoại hoặc nội dung liên quan nhiều đến trang web khác có thể yêu cầu nhiều hơn về Crawl Budgets để theo dõi tất cả các liên kết này.
- Sự thay đổi tần suất cập nhật: Khi bạn thay đổi tần suất cập nhật trang web hoặc nội dung, Googlebot có thể cần nhiều thời gian hơn để kiểm tra các thay đổi mới.
- Lỗi trên trang web: Các lỗi trên trang web, như liên kết hỏng hoặc trang không có nội dung, có thể làm lãng phí Crawl Budgets. Googlebot có thể dừng lại khi gặp lỗi và không lập chỉ mục nữa.
- Chỉ định ưu tiên: Bạn có thể chỉ định ưu tiên cho các trang cụ thể hoặc phần của trang web để đảm bảo rằng chúng được lập chỉ mục trước. Điều này có thể ảnh hưởng đến việc phân phối Crawl Budgets.
- Robots.txt và Meta Robots: Sử dụng tệp robots.txt và các thẻ meta robots có thể kiểm soát việc Googlebot lập chỉ mục các trang cụ thể hoặc ngăn Googlebot lập chỉ mục toàn bộ trang web của bạn.
- Phản ứng của máy chủ: Tốc độ phản ứng của máy chủ web của bạn cũng có thể ảnh hưởng đến việc Crawl Budgets được sử dụng. Nếu máy chủ web chậm, Googlebot có thể dừng lại sớm hơn.
- Nhật ký máy chủ: Việc xem nhật ký máy chủ có thể giúp bạn hiểu cách Googlebot tương tác với trang web của bạn và xác định các vấn đề tiềm ẩn.
Để tối ưu hóa Crawl Budgets, bạn cần xem xét cẩn thận các yếu tố này và điều chỉnh trang web của mình một cách phù hợp.
Xem thêm Selenium WebDriver- hướng dẫn testing trên trình duyệt web
Cách kiểm tra hoạt động thu thập thông tin
Nếu bạn muốn tổng quan về hoạt động thu thập thông tin của Google và xác định bất kỳ vấn đề nào họ đã phát hiện, bạn nên kiểm tra báo cáo Thống kê Thu thập thông tin trong Google Search Console (GSC).
Trong báo cáo này, có nhiều tùy chọn báo cáo khác nhau để giúp bạn hiểu rõ về các thay đổi trong hoạt động thu thập thông tin, xác định vấn đề khi thu thập dữ liệu và cung cấp thông tin về cách Google thực hiện thu thập thông tin trên trang web của bạn.
Hãy chắc chắn kiểm tra trạng thái thu thập thông tin hiện tại và xem liệu có bất kỳ cảnh báo nào giống với trạng thái được hiển thị dưới đây:
Bên cạnh đó, bạn cũng có thể kiểm tra thời gian gần nhất mà các trang đã được thu thập thông tin.
Nếu bạn muốn xem thông tin về lần truy cập từ tất cả các bots và người dùng, bạn sẽ cần quyền truy cập vào tệp nhật ký của bạn. Tùy thuộc vào lưu trữ và cấu hình, bạn có thể sử dụng các công cụ như Awstats và Webalizer, như được thấy trong hình ảnh này, trên máy chủ chia sẻ với cPanel. Các công cụ này cung cấp dữ liệu tổng hợp từ tệp nhật ký của bạn.
Tuy nhiên, đối với các cấu hình phức tạp hơn, bạn có thể cần quyền truy cập và lưu trữ dữ liệu từ các tệp nhật ký raw logs từ nhiều nguồn khác nhau. Có thể bạn cần sử dụng các công cụ chuyên dụng cho các dự án lớn hơn, ví dụ như ELK (Elasticsearch, Logstash, Kibana) để lưu trữ, xử lý và trực quan hóa các tệp nhật ký, hoặc các công cụ phân tích nhật ký như Splunk.
Google điều chỉnh thu thập thông tin như thế nào ?
Mỗi trang web có một ngân sách thu thập thông tin riêng, phụ thuộc vào nhiều yếu tố khác nhau.
Thu thập dữ liệu theo nhu cầu
Việc thu thập dữ liệu phụ thuộc vào nhu cầu cụ thể mà Google đặ ra, đơn giản là số lượng thông tin mà họ muốn thu thập từ trang web của bạn. Những trang web phổ biến hơn hoặc trang web mới trải qua nhiều thay đổi quan trọng (như di chuyển trang web) thường được thu thập dữ liệu nhiều hơn.
Các trang phổ biến hoặc có nhiều liên kết trỏ đến thường được ưu tiên hơn so với các trang khác. Để đảm bảo rằng Google ưu tiên thu thập thông tin trang của bạn, việc sử dụng liên kết có thể là cách đơn giản nhất để xác định trang nào quan trọng hơn trên trang web của bạn.
Các trang web cũng cần cân nhắc việc Google ưu tiên trang của họ, và bạn có thể sử dụng báo cáo “Liên kết tốt nhất” trong Trình khám phá trang web để biết những trang nào có khả năng được thu thập thông tin thường xuyên hơn. Báo cáo này cũng cung cấp thông tin về thời điểm cuối cùng Ahrefs thu thập dữ liệu trên các trang của bạn.
Ngoài ra, một yếu tố khác là tính ổn định. Nếu Google nhận thấy rằng một trang không có sự thay đổi nào, họ sẽ thu thập dữ liệu trên trang đó ít thường xuyên hơn.
Ví dụ, sau khi thu thập dữ liệu một trang và không phát hiện bất kỳ thay đổi nào trong một ngày, họ có thể đợi vài ngày trước khi thu thập thông tin lại, sau đó là vài tuần, và sau đó là vài tháng. Tuy nhiên, không có một quy tắc cụ thể về khoảng thời gian mà họ sẽ đợi giữa các lần thu thập thông tin, nhưng nó sẽ trở nên ít thường xuyên theo thời gian.
Tuy nhiên, nếu Google phát hiện các thay đổi lớn trên toàn bộ trang web hoặc sau một sự kiện như việc di chuyển trang web, họ thường sẽ tăng tốc độ thu thập dữ liệu, ít nhất là tạm thời.
Giới hạn tốc độ thu thập thông tin
Giới hạn tốc độ thu thập thông tin đề cập đến mức độ mà trang web của bạn có thể hỗ trợ cho việc thu thập dữ liệu từ phía Google.
Một trang web có thể đạt đến giới hạn thu thập dữ liệu cụ thể trước khi gặp vấn đề về tính ổn định của máy chủ, chẳng hạn như tốc độ chậm hoặc lỗi. Hầu hết các trình thu thập thông tin sẽ ngừng thu thập nếu họ phát hiện vấn đề này để đảm bảo không gây hại cho trang web của bạn.
Google sẽ điều chỉnh giới hạn dựa trên tình trạng thu thập thông tin của trang web. Nếu trang web cho phép thu thập dữ liệu nhiều hơn mà không gặp vấn đề gì, mức giới hạn sẽ được tăng lên. Ngược lại, nếu trang web gặp vấn đề, Google sẽ giảm tốc độ thu thập dữ liệu của họ.
Cách tối ưu hóa Crawl Budgets
Tối ưu hóa tốc độ trang web
Cải thiện hiệu suất tải trang trên trang web của bạn có thể hỗ trợ Google trong việc thu thập nhiều dữ liệu hơn từ các URL trên trang web của bạn.
Thực tế, Google đã tuyên bố rằng:
“Xây dựng trang web nhanh hơn sẽ tạo ra trải nghiệm người dùng tốt hơn và đồng thời tăng cường tốc độ thu thập dữ liệu.”
Nói cách khác, các trang web tải chậm sẽ tiêu thụ thời gian quý báu của Googlebot.
Tối ưu hóa ngân sách thu thập thông tin trên trang web của bạn Tuy nhiên, nếu trang của bạn tải nhanh, Googlebot sẽ có thời gian để truy cập và lập chỉ mục nhiều trang trên trang web của bạn hơn.
Tận dụng liên kết nội bộ
Googlebot ưu tiên trang có nhiều liên kết ngoại và liên kết nội bộ trỏ đến chúng hơn.
Tốt nhất là có liên kết ngược trỏ vào từng trang trên trang web của bạn, nhưng điều này thường không thực tế trong hầu hết các trường hợp.
Vì vậy, liên kết nội bộ (Internal Link) trở nên quan trọng.
Liên kết nội bộ của bạn đưa Googlebot đến tất cả các trang khác nhau trên trang web của bạn, giúp các trang nhanh chóng được lập chỉ mục.
Sử dụng kiến trúc phẳng
Kiến trúc trang web phẳng Theo Google:
“Các URL phổ biến trên Internet thường được thu thập thường xuyên hơn để giữ cho chúng luôn cập nhật trong lập chỉ mục của chúng tôi.”
Và trong thế giới của Google, tính phổ biến = liên kết với nhau.
Đây là lý do tại sao bạn nên sử dụng kiến trúc trang web phẳng trên trang web của mình.
Kiến trúc phẳng thiết lập mọi thứ xung quanh, giúp tất cả các trang trên trang web của bạn có thể liên kết với nhau.
Tránh các trang ‘mồ côi’
Các trang ‘mồ côi’ là các trang không có liên kết nội bộ và liên kết ngoại trỏ đến chúng.
Google gặp khó khăn trong việc tìm kiếm các trang ‘mồ côi’. Vì vậy, để tối đa hóa ngân sách thu thập thông tin của mình, hãy đảm bảo rằng ít nhất có một liên kết nội bộ hoặc liên kết ngoại trên mọi trang trên trang web của bạn.
Giảm nội dung trùng lặp
Hạn chế nội dung trùng lặp là một quyết định thông minh vì nhiều lý do.
Có nội dung trùng lặp có thể ảnh hưởng đến ngân sách thu thập thông tin của bạn.
Bởi vì Google không muốn lập chỉ mục nhiều trang có nội dung giống nhau.
Vì vậy, hãy đảm bảo rằng tất cả các trang trên trang web của bạn chứa nội dung chất lượng và độc đáo.
Điều này đặc biệt quan trọng đối với các trang web có hơn 10.000 trang. Tuy nhiên, đây là bước cần thiết nếu bạn muốn tận dụng tối đa ngân sách thu thập thông tin của mình.
Bảo trì trang web và sửa lỗi
Hãy đảm bảo rằng các trang web được thu thập thông tin trả về mã trạng thái là 200 (OK) hoặc 301 (Chuyển hướng). Tất cả các mã trạng thái khác đều không ổn. Để kiểm tra điều này, bạn cần xem nhật ký máy chủ của trang web.
Google Analytics và hầu hết các công cụ phân tích sẽ theo dõi các trang có mã trạng thái 200. Vì vậy, việc tìm lỗi trên trang web của bạn không phải lúc nào cũng dễ dàng.
Khi bạn đã có nhật ký máy chủ của mình, hãy tìm các lỗi phổ biến và sửa chúng. Cách đơn giản nhất để làm điều này là lấy tất cả các URL trả về mã trạng thái không phải 200 hoặc 301 và sắp xếp theo tần suất chúng được truy cập. Sửa lỗi có thể đòi hỏi bạn phải sửa mã hoặc chuyển hướng URL đến nơi khác. Nếu bạn biết nguyên nhân gây ra lỗi, bạn có thể sửa chúng từ nguồn.
Kết luận về Crawl Budget
Tổng kết lại, để tối ưu hóa Crawl Budgets, bạn cần tạo nội dung chất lượng, tối ưu cấu trúc liên kết, xóa các trang không cần thiết, giảm kích thước trang web, kiểm soát robots.txt và Meta Robots, sửa lỗi trên trang web, sử dụng canonical tags, xây dựng liên kết chất lượng, sử dụng robots meta tags, tạo sitemap.xml, kiểm soát tốc độ duyệt, và theo dõi và phân tích dữ liệu. Bằng cách thực hiện các chiến lược và thủ thuật này, bạn có thể tối ưu hóa việc duyệt và chỉ mục của công cụ tìm kiếm và cải thiện hiệu suất SEO của trang web của mình.
