この記事はAhrefs公式サイト内【Academy】内、【Ahrefsの使い方】のページの日本語訳です。
原文：Crawl Budget
「新鮮なインデックス、良好なカバレッジ、ブロックされません。 2 つ選択してください。」
– ドミトロ・ゲラシメンコ、Ahrefs 創設者兼 CEO
大きなインデックスを構築する場合、鮮度と良好なカバレッジの間には常にトレードオフが存在します。
鮮度は、情報を最新の状態に保つために定期的にクロールを実行することを意味します。カバレッジが良好であるということは、できるだけ多くのページをクロールすることを意味します。ただし、両方をフル稼働させることはできません。そうしないと、ウェブマスターやホスティング会社によってブロックされてしまいます。
これに対する答えは、クロール バジェットを実装することです。これは、クローラーがクロールできる URL の数、およびクロールしたい URL の数を指します。
クロール バジェットは、クロール レートとクロール デマンドの 2 つの部分で構成されます。
クロール率（クロールレート）
クロール率は、クローラーがサイトをクロールするときにサイトに対して実行できるリクエストの数を指します。
Web サイトのクロールが速すぎると、サーバーに過度の負荷がかかる可能性があります。これにより、ユーザー エクスペリエンスが低下したり、クローラーがブロックされたりする可能性があるため、クロール レートでは次のことが考慮されます。
- ページ速度：読み込みの遅いページよりも、読み込みの速いページの方が優先されます。
- Web サイトのサイズ：高品質のリンクを持つ小規模な Web サイトは、部分的にしかクロールされない可能性のある低品質のリンクを持つ大規模な Web サイトと比較して、完全にクロールされる可能性が高くなります。
クロール要求
クロール要求（優先度）とは、ウェブサイト上のページをクロールし、再クロールすることの重要度を表します。
これはスケジューラによって行われ、次の方法でクロール要求が決定されます。
- URLの人気(URL 評価)：ページを指すバックリンクの品質が高ければ高いほど、優先順位も高くなります。
- Webサイトの人気度(ドメイン評価) ：Web サイトのバックリンク プロファイルの強度が高いほど、優先順位が高くなります。
