Ahrefsの使い方：クロール予算

この記事はAhrefs公式サイト内【Academy】内、【Ahrefsの使い方】のページの日本語訳です。
原文：Crawl Budget

「新鮮なインデックス、良好なカバレッジ、ブロックされません。 2 つ選択してください。」
– ドミトロ・ゲラシメンコ、Ahrefs 創設者兼 CEO

大きなインデックスを構築する場合、鮮度と良好なカバレッジの間には常にトレードオフが存在します。

鮮度は、情報を最新の状態に保つために定期的にクロールを実行することを意味します。カバレッジが良好であるということは、できるだけ多くのページをクロールすることを意味します。ただし、両方をフル稼働させることはできません。そうしないと、ウェブマスターやホスティング会社によってブロックされてしまいます。

これに対する答えは、クロールバジェットを実装することです。これは、クローラーがクロールできる URL の数、およびクロールしたい URL の数を指します。

クロールバジェットは、クロールレートとクロールデマンドの 2 つの部分で構成されます。

クロール率（クロールレート）

クロール率は、クローラーがサイトをクロールするときにサイトに対して実行できるリクエストの数を指します。

Web サイトのクロールが速すぎると、サーバーに過度の負荷がかかる可能性があります。これにより、ユーザーエクスペリエンスが低下したり、クローラーがブロックされたりする可能性があるため、クロールレートでは次のことが考慮されます。

ページ速度：読み込みの遅いページよりも、読み込みの速いページの方が優先されます。
Web サイトのサイズ：高品質のリンクを持つ小規模な Web サイトは、部分的にしかクロールされない可能性のある低品質のリンクを持つ大規模な Web サイトと比較して、完全にクロールされる可能性が高くなります。