この記事はAhrefs公式ブログの日本語訳です。
原文：Yep & Ahrefs Support IndexNow. Fresher Data, Faster Indexing, & Announcing a Game-Changing Site Audit Feature
（著者：Patrick Stox / 原文の最終更新日：March 5, 2024）
※フルスピード注：この記事は2024年3月5日時点の記載をもとに翻訳しています。Ahrefs社公式ブログの記事は、今後追記・再公開される場合があります。
私たちAhrefs社の検索エンジンであるYepとAhrefsが、Microsoft Bing、Yandex、Naver、Seznam.cz とともに IndexNow をサポートすると発表できることを嬉しく思います。
これにより、当社は独特の立場に置かれます。私たちは IndexNow にデータを送信する SEO ツールであるだけでなく、検索エンジンでもあり、IndexNow からデータを受け取る最初で唯一の SEO ツールでもあります。
Ahrefs は、検索エンジンでのクロールとインデックス作成の高速化以外にも、IndexNow を使う理由をユーザーに提供します。私たちは、これまで考えられなかった速さでWebサイトの問題を発見し、警告します。私たちが何を計画しているのかを知るには、このまま記事をお読みください。
IndexNow とは？Ahrefsのユーザーにとって何を意味するもの？
IndexNow は、 Webサイトに変更が加えられたとき、検索エンジンに ping を送信するプロトコルです。ページを追加、更新、削除、またはリダイレクトすると、このプロトコルに参加している検索エンジンは変更をより速く認識できるようになります。
IndexNow を使用すると、速度が遅くなったり不完全になったりする可能性がある定期的なクロールやサイトマップに依存する代わりに、Webサイトの発行者がインデックス付け、または更新したい URL、または URL セットを含む HTTP リクエストを送信できるようになります。
リクエストは、参加している検索エンジンの IndexNow エンドポイントの 1 つに直接送信され、リクエストを処理してインデックスの変更を反映できます。各検索エンジンは、IndexNow 通知ごとに他の IndexNow 検索エンジンに通知します。
Fabrice Canel Microsoft Bingプリンシパル プロダクト マネージャー
Fabrice 氏が述べたように、1 つの検索パートナーに ping が送信されると、すべての情報が他のパートナーと共有されます。つまり、YepとAhrefs はWebのより新しいインデックスを持つことになります。仕組みは次の画像のとおりです。
2023 年 10 月の時点で、6,000 万を超える Web サイトが1 日あたり 14 億の URL に対して IndexNow に ping を送信していました。2024 年 3 月には、この数は 1 日あたり 25 億 URL になります。これには、Cloudflare、WordPress、Wix、Duda などの Web サイトが含まれます。まだ使用していない場合は、IndexNow のネイティブ実装について CMS に問い合わせるか、サポートを追加するプラグインを確認してください。
Botify、OnCrawl、ContentKing、およびその他のいくつかの SEO ツールも、Web サイトをクロールして変更を確認するときに IndexNow に ping を送信します。これにより、クライアントのページのインデックスが作成され、検索エンジンでより速く更新されるようになります。
また、Ahrefs のサイト監査で確認された変更については、IndexNow に ping を送信する予定です。当社は現在、他のクラウドベースのサイト監査ツールよりも多くのページを 1 日あたり約 6 億～ 7 億ページクロールしているため、大量の情報を IndexNow へフィードすることになります。
他の SEO ツールとは異なり、AherfsはIndexNowから送信されたデータも受け取ります。これにより、私たちにとっていくつかの興味深い機能が提供され、また、皆さんにとってもいくつかの優れた機能が提供されるようになりました！
ここで、私たちが計画していることの概要をご紹介しましょう。
私たちは、サイト監査用の常時クロールオプションの構築に熱心に取り組んできました。このアイデアは、ユーザーが毎週または毎月スケジュールを設定する傾向にあるスケジュールされたクロールを、常に稼働し、問題をより迅速にユーザーに通知する、優先順位付きのクロールシステムに切り替えることです。
IndexNow により、リアルタイムのオプションを追加できるようになり、同時にユーザーと私たち自身のリソースを節約できるようになります。保存されたリソースについては、後ほど詳しく説明します。
IndexNow とサイト監査の新しいリアルタイム オプションを使用しているサイトの場合、ユーザーがページを更新した直後にWebサイトの問題を通知できるようになります。これは次のようになります。
これ以上に優れたシステムは思いつきません。実際の（Webサイト）リアルタイム監視および警告システムなのです。夢が叶いました。
私たちはすでにどの SEO ツールよりも優れたリンクデータを持っていますが、IndexNow を使用すると、これまでよりもさらに迅速に変更を確認し、より新しいデータを得ることができます。また、ページ検査ツールもさらに便利になります。Webサイトの変更をより迅速に確認できるようになり、加えられた変更のコピーを常に保持できるようになります。
IndexNow はリソースを節約します
IndexNow は、Web サイト所有者にとっても、私たちにとっても、そして地球にとっても有益です。Webサイトの負荷を軽減し、エネルギーとリソースを節約します。
Cloudflare Radarによると、botは Web トラフィックのかなりの部分を占めており、トラフィック全体の約 30% を占めています。そのトラフィックの多くは悪質なbotによるものですが、検索エンジン クローラーなどの優良なbotは依然として世界のインターネット トラフィックの約 5% を占めています。
Cloudflareには、優れたbotの検証済みリストがあります。上位botの多くは検索エンジンクローラーであり、もちろん Ahrefもそこに含まれていることがわかります。
クローラー トラフィックの 53% は無駄な労力であると推定されています。これは、いわゆる探索的クロールによるものです。botは 2 つの主な目的でページをクロールします。新しいページを発見し、既存のページを更新したいと考えています。IndexNow が登場する前は、サイトへの変更をクローラーに直接伝えるメカニズムはありませんでした。
ページに変更を加えた後、検索エンジンや SEO ツールへ反映されるまでに永遠に時間がかかると感じたことはありますか？ これは、botが基本的にページをいつ再クロールすべきかを推測しているためです。現在は次のように動作します。
出典：Cloudflare
ボストン コンサルティング グループは、インターネットの実行により全炭素排出量の 2%、つまり年間約 10 億トンが生成されたと推定しています。すべてのインターネット トラフィックの 5% が優良なbotであり、そのトラフィックの 53% が過剰なクロールによって無駄にされている場合、過剰なクロールを削減するソリューションを見つけることで、年間 2,600 万トンもの炭素コストを節約できる可能性があります。米国環境保護庁によると、これは3,100万エーカーの森林を植林し、6つの石炭火力発電所を永久に停止するか、550万台の乗用車を道路から撤去するのに相当するといいます。
それは途方もない量のリソースの無駄遣いです。すべてのサイトが IndexNow を採用すれば、非常に多くのリソースが節約されるでしょう。まだ使用していない場合は、ぜひ開始してください。CMS、CDN、Web ホストに相談してみてください。
IndexNow では、次のように動作します。
次回変更が行われるまで、または少なくともそれが最終目標であるまで、ページは再度クロールされません。すべてが意図したとおりに動作していること、およびすべての変更の更新情報を取得していることを確認するために、まだ探索的な再クロールが行われる可能性があります。
IndexNow はサイトマップのより良いバージョンだと考えています
検索エンジンに変更を通知するインデックス API は非常に意味があります。5 年ほど前、地元の交流会でサイトマップの後継としてこれを売り込んだのを覚えています。Web サイトがページの更新時期を知らせてくれれば、ページがいつ更新されるかを推測する必要はありません。
IndexNow がサイトマップより優れている点は次のとおりです。
- 速いです：通常、検索エンジンは数日から数週間ごとにサイトマップをチェックします。IndexNow で ping を実行すると、情報が送信されるまでにわずか数秒かかります。
- ライブ ページ以外もサポートされています：サイトマップでは、ステータス コード 200 のライブ ページのみを含めることになっています。IndexNow を使用すると、404 / 410 またはリダイレクトされたページにも ping を送信できます。
- より多くのデータを保護します：ご存知ないかもしれませんが、多くの大手サイトはサイトマップを非表示にしています。これは、サイトマップが競合企業に競争上の情報を提供するためです。SEO が生成 AI を使用して競合他社のサイトマップにあるすべてのページを再作成する「強盗SEO」について聞いたことがあるかもしれません。IndexNow を使用すると、コピーするものは何もありません。コンテンツへのロードマップはありません。
- サイトマップの <lastmod> は信頼できません：これらは常に信頼できるとは限らないため、クロール時のヒントとして使用されます。<lastmod> がない場合もあれば、サイトマップの作成日またはページの構築時に設定される場合もあります。一部のサイトのみ、コンテンツが更新されたときにこれを更新します。
- より広範囲の分布：誰もが自分のサイトマップをrobots.txt ファイルに含めているわけではありません。サイトマップを 1 つの検索エンジンにアップロードすることはあっても、すべての検索エンジンにアップロードすることは考えられません。IndexNow を使用すると、更新は複数の検索エンジンに送信されます。
まとめ
IndexNow を採用しましょう。CDN に尋ね、CMS に尋ね、Web ホストに尋ね、まだ実装していない場合は全員に実装するよう依頼してください。これを WordPress コアに組み込むのを手伝ってくれる人を知っている人がいたら、私に連絡していただければ幸いです。これを読んでいる Google 社員がいるなら、これはあなたにとっても有益です。
IndexNow が SEO テストにどのような進歩をもたらすか楽しみです。変更の影響に関するフィードバックをほぼリアルタイムで得られることを想像してみてください。何がより速く機能するかを確認し、改善を繰り返すことができます。SEOはもっと面白くなるでしょう！
ご質問がございましたら、XまたはLinkedInでメッセージをお送りください。
著者プロフィール
Patrick Stox
Patrick Stox は、Ahrefs のプロダクト アドバイザー、テクニカル SEO、およびブランドアンバサダーです。彼は、2021 年の Web 年鑑の SEO の章の筆頭著者であり、2022 年の SEO の章の査読者でもありました。また、Ahrefs の『初心者のための SEO 本』の共著者であり、『The Art of SEO 第 4 版』のテクニカル レビューの編集者でもありました。彼は、Raleigh SEO Meetup (米国で最も成功した SEO Meetup)、Beer and SEO Meetup、Raleigh SEO Conference などのいくつかのグループの主催者であり、Technical SEO Slack グループを運営し、Redditの/r/TechSEO のモデレーターでもあります。
著者Webサイト、X、Facebook、LinkedIn
