Yep & Ahrefs hỗ trợ IndexNow. Dữ liệu mới hơn, lập chỉ mục nhanh hơn và công bố tính năng kiểm tra trang web thay đổi cuộc chơi

Điều này đưa chúng tôi vào một vị trí độc đáo. Chúng tôi không chỉ là một công cụ SEO sẽ gửi dữ liệu đến IndexNow, chúng tôi còn là một công cụ tìm kiếm và là công cụ SEO đầu tiên và duy nhất sẽ nhận dữ liệu từ IndexNow.

Ahrefs cung cấp cho người dùng lý do để sử dụng IndexNow ngoài việc thu thập dữ liệu và lập chỉ mục nhanh hơn trong các công cụ tìm kiếm. Chúng tôi sẽ tìm và cảnh báo bạn về các sự cố trên trang web của bạn nhanh hơn bạn từng nghĩ. Hãy đọc tiếp để tìm hiểu những gì chúng tôi đã lên kế hoạch.

1. IndexNow là gì và nó có ý nghĩa gì đối với người dùng Ahrefs?

IndexNow là một giao thức ping các công cụ tìm kiếm khi có bất kỳ thay đổi nào được thực hiện trên trang web của bạn. Nếu bạn thêm, cập nhật, xóa hoặc chuyển hướng các trang, các công cụ tìm kiếm tham gia có thể nhận ra những thay đổi nhanh hơn.

Thay vì dựa vào các lần thu thập dữ liệu định kỳ hoặc sơ đồ trang web, vốn có thể chậm hoặc không đầy đủ, IndexNow cho phép các nhà xuất bản web gửi các yêu cầu HTTP có chứa URL hoặc tập hợp các URL mà họ muốn lập chỉ mục hoặc cập nhật.

Các yêu cầu được gửi trực tiếp đến một trong các điểm cuối IndexNow của các công cụ tìm kiếm tham gia, sau đó có thể xử lý chúng và phản ánh các thay đổi trong chỉ mục của chúng. Mỗi công cụ tìm kiếm thông báo cho các công cụ tìm kiếm IndexNow khác về mỗi thông báo IndexNow.

Fabrice Canel, Trưởng phòng sản phẩm Microsoft Bing

Như Fabrice đã nói, khi một đối tác tìm kiếm được ping, tất cả thông tin sẽ được chia sẻ với các đối tác khác. Yep & Ahrefs sẽ có chỉ mục mới hơn về web. Đây là cách thức hoạt động:

Tính đến tháng 10 năm 2023, có hơn 60 triệu trang web ping 1,4 tỷ URL mỗi ngày đến IndexNow. Vào tháng 3 năm 2024, con số này hiện là 2,5 tỷ URL mỗi ngày. Điều này bao gồm các trang web trên Cloudflare, WordPress, Wix, Duda, v.v. Nếu bạn chưa sử dụng, hãy hỏi CMS của bạn về việc triển khai IndexNow gốc hoặc kiểm tra plugin có hỗ trợ hay không.

Botify, OnCrawl, ContentKing và một số công cụ SEO khác cũng ping IndexNow khi họ thu thập dữ liệu và thấy những thay đổi trên các trang web. Điều này giúp các trang của khách hàng của họ được lập chỉ mục và cập nhật trong các công cụ tìm kiếm nhanh hơn.

Chúng tôi cũng sẽ ping IndexNow với bất kỳ thay đổi nào chúng tôi thấy trong Site Audit của Ahrefs. Hiện tại, chúng tôi thu thập nhiều trang hơn các công cụ kiểm tra trang web dựa trên đám mây khác với khoảng 600-700 triệu trang mỗi ngày, vì vậy chúng tôi sẽ cung cấp nhiều thông tin vào IndexNow.

Không giống như các công cụ SEO khác, chúng tôi cũng sẽ nhận được dữ liệu được gửi. Điều này mở ra một số khả năng thú vị cho chúng tôi và một số tính năng tuyệt vời cho bạn!

2. IndexNow tiết kiệm tài nguyên

IndexNow tốt cho chủ sở hữu trang web, tốt cho chúng tôi và tốt cho hành tinh. Nó sẽ giảm tải cho các trang web và tiết kiệm năng lượng và tài nguyên.

Bot chiếm một phần lớn lưu lượng truy cập web, khoảng 30% tổng lưu lượng truy cập theo Cloudflare Radar . Phần lớn lưu lượng truy cập đó thuộc về các bot xấu, nhưng các bot tốt như trình thu thập thông tin của công cụ tìm kiếm vẫn chiếm khoảng 5% lưu lượng truy cập internet toàn cầu.

Cloudflare có danh sách các bot tốt đã được xác minh. Bạn sẽ thấy rất nhiều bot hàng đầu là trình thu thập thông tin của công cụ tìm kiếm và tất nhiên là cả Ahrefs.

Người ta ước tính rằng 53% lưu lượng truy cập của trình thu thập thông tin là công sức lãng phí . Điều này là do cái gọi là thu thập thông tin khám phá. Bot thu thập thông tin các trang vì hai mục đích chính. Chúng muốn khám phá các trang mới và làm mới các trang hiện có. Trước IndexNow, không có cơ chế trực tiếp nào để thông báo cho trình thu thập thông tin về những thay đổi đối với trang web của bạn.

Bạn đã bao giờ thực hiện thay đổi cho một trang và cảm thấy mất rất nhiều thời gian để các công cụ tìm kiếm hoặc công cụ SEO nhận ra chưa? Đó là vì về cơ bản, các bot đang đoán khi nào một trang nên được thu thập lại. 

Từ Cloudflare :

Boston Consulting Group ước tính rằng việc chạy Internet tạo ra 2% tổng lượng carbon thải ra, hay khoảng 1 tỷ tấn mỗi năm. Nếu 5% lưu lượng Internet là bot tốt và 53% lưu lượng đó bị lãng phí do quá trình thu thập dữ liệu quá mức, thì việc tìm ra giải pháp để giảm quá trình thu thập dữ liệu quá mức có thể giúp tiết kiệm tới 26 triệu tấn chi phí carbon mỗi năm. Theo Cơ quan Bảo vệ Môi trường Hoa Kỳ, điều đó tương đương với việc trồng 31 triệu mẫu Anh rừng, đóng cửa vĩnh viễn 6 nhà máy điện chạy bằng than hoặc loại bỏ 5,5 triệu xe chở khách khỏi đường.

Thật là một lượng tài nguyên lãng phí điên rồ! Nếu tất cả các trang web áp dụng IndexNow, nó sẽ tiết kiệm được rất nhiều tài nguyên. Hãy bắt đầu sử dụng nếu bạn chưa sử dụng. Hãy hỏi CMS, hỏi CDN, hỏi máy chủ web của bạn!

Các trang sẽ không được thu thập lại cho đến khi có thay đổi tiếp theo hoặc ít nhất đó là mục tiêu cuối cùng. Có thể vẫn sẽ có một số lần thu thập lại mang tính thăm dò để đảm bảo mọi thứ hoạt động như mong đợi và chúng tôi đang nhận được bản cập nhật của tất cả các thay đổi.

3. Tôi xem IndexNow là phiên bản tốt hơn của sơ đồ trang web

API lập chỉ mục nơi bạn thông báo cho các công cụ tìm kiếm về những thay đổi có ý nghĩa rất lớn. Tôi nhớ tôi đã giới thiệu chúng như là sự kế thừa cho sitemap tại một buổi gặp gỡ địa phương khoảng 5 năm trước. Bạn không cần phải đoán khi nào các trang được cập nhật nếu các trang web cho bạn biết khi nào chúng được cập nhật.

Sau đây là lý do IndexNow tốt hơn sơ đồ trang web:

+ Nhanh hơn . Các công cụ tìm kiếm thường sẽ kiểm tra sơ đồ trang web sau mỗi vài ngày đến vài tuần. Một lệnh ping trong IndexNow chỉ mất vài giây để thông tin được truyền qua.

+ Nó hỗ trợ nhiều hơn các trang trực tiếp . Với sơ đồ trang web, bạn chỉ được phép bao gồm các trang trực tiếp có mã trạng thái 200. Với IndexNow, bạn cũng có thể ping 404/410 hoặc các trang được chuyển hướng.

+ Nó bảo vệ nhiều dữ liệu của bạn hơn . Bạn có thể không biết điều này, nhưng nhiều trang web lớn ẩn sơ đồ trang web của họ vì nó cung cấp thông tin tình báo cạnh tranh cho các công ty cạnh tranh. Bạn có thể đã nghe nói về vụ trộm SEO khi SEO sử dụng AI tạo sinh để tạo lại tất cả các trang được tìm thấy trong sơ đồ trang web của đối thủ cạnh tranh. Với IndexNow, không có gì để sao chép. Không có lộ trình cho nội dung của bạn.

+ <lastmod> trong sitemap không đáng tin cậy . Chúng được sử dụng như một gợi ý khi thu thập dữ liệu vì không phải lúc nào cũng đáng tin cậy. Đôi khi không có <lastmod>, đôi khi nó được đặt làm ngày tạo sitemap hoặc tại thời điểm xây dựng trang. Chỉ một số trang web cập nhật điều này khi nội dung được cập nhật.

+ Phân phối rộng hơn . Không phải ai cũng bao gồm sơ đồ trang web của họ trong tệp robots.txt của họ và mặc dù họ có thể tải sơ đồ trang web của mình lên một công cụ tìm kiếm, nhưng không có khả năng họ đã tải nó lên tất cả các công cụ tìm kiếm. Với IndexNow, bất kỳ bản cập nhật nào cũng được gửi đến nhiều công cụ tìm kiếm.

4. Suy nghĩ cuối cùng

Áp dụng IndexNow. Hãy hỏi CDN, CMS, máy chủ web, yêu cầu mọi người triển khai nếu họ chưa triển khai. Nếu ai biết ai đó có thể giúp đưa điều này vào WordPress Core, hãy liên hệ với tôi, tôi sẽ rất biết ơn. Nếu bất kỳ nhân viên Google nào đang đọc bài viết này, đây cũng là một lời động viên dành cho bạn.

Tôi rất háo hức muốn xem IndexNow mang lại những tiến bộ gì cho thử nghiệm SEO. Hãy tưởng tượng bạn có thể nhận được phản hồi gần như theo thời gian thực về tác động của những thay đổi của mình. Bạn sẽ có thể thấy những gì hiệu quả nhanh hơn và lặp lại các cải tiến. SEO sẽ trở nên thú vị hơn nữa!