この記事はAhrefs公式ブログの日本語訳です。
原文：At Least 66.5% of Links to Sites in the Last 9 Years Are Dead (Ahrefs Study on Link Rot)
（著者：Patrick Stox / 原文の最終更新日：April 29, 2022）
※フルスピード註：この記事は2022年4月29日時点の記載をもとに翻訳しています。Ahrefs公式ブログの記事は今後追記・再公開されることがありますことをご了承ください。
リンクの腐敗は、インターネット上のページが削除またはリダイレクトされるときに発生し、これらのページのリンクが壊れたページやコンテンツが変更されたページに移動します。
2013 年 1 月以降、私たちがサンプリングした 2,062,173 の Web サイトを指すリンクの 66.5% が腐っていました。さらに 6.45% に一時的なエラーがあることがわかりました。彼らがまだそこにいるかどうかはわかりません。
SEOとなると、これはさらに複雑になります。さらに 1.55% には、ランキングの目的でリンクがカウントされない他の問題があります。
これは、調査対象のリンクの合計 74.5% が失われたと考えられ、少なくとも 66.5% が腐っていることを意味します。
多くの場合、機能しなくなったリンクは重要です。 米国最高裁判所の訴訟で参照されたウェブサイトの例をご覧ください。誰かがドメインを購入し、それを使って声明を出しました。
2014 年に行われた法律雑誌と引用に関する以前の調査では 、雑誌内のリンクの 70%、米国最高裁判所の判決の URL の 50% に、最初に引用された資料が含まれていませんでした。
2012 年の別の調査 では、ソーシャル メディアのリンクの 30% が 2 年以内に消滅したことがわかりました。
これまでの研究のほとんどはかなり小規模で、Web の古い部分が含まれています。ほとんどではないにしても、古い Web の多くはすでに消滅していると思います。たとえば、ほとんどのサイトは何年も前に URL に .html などの拡張子を使用するのをやめ、クリーンな URL を採用しました。ほとんどのサイトもHTTP から HTTPs に移行しました。
上記を考慮して、私たちはこれまでで最大規模のリンク腐敗調査を行うことにしました。そして、これは、Web の最新バージョンをカバーする唯一の本の 1 つです。
データを詳しく見てみましょう。
データについて
Ahrefs は 2010 年からウェブを巡回しています。ただし、この調査の目的では、2013 年 1 月のデータのみを調べています。
Ahrefs のサイト エクスプローラーのバックリンクレポートを使用して、 自分のサイトのデータを確認できます。Ahrefs の場合、1 億 7,430 万のリンクのうち 2,690 万が失われています。「紛失」フィルターを適用した数値と「すべて」フィルターを適用した数値を比較してください。
リンク切れとしてカウントされないものの、紛失としてタグ付けされているケースがいくつかあります。それについては以下で説明します。
冒頭で述べたように、サンプリングされた Web サイトへのリンクの少なくとも 66.5% が過去 9 年間で腐っています。
ウェブは複雑で乱雑で、一部のものは他のものよりも早く変化します。私は、リンク切れが発生しているサイトの数と、リンク切れが発生しているリンクの割合を知りたかったのです。このデータを取得してくれたデータ サイエンティストの Loveme Felicilda に多大な感謝を申し上げます。これは、データセット全体のドメインごとのリンク破損の割合の分布です。
リンク切れがあまりない小規模なサイトもたくさんあります。最も小規模なサイトを取り出して、10 を超えるライブリンクがあるサイトだけを見てみると、大規模なサイトではかなりの量のリンクの劣化が見られることがわかります。
冒頭で述べたように、SEO に関して失われたと考えられるリンクの数はさらに多く、割合で言えば 74.5% です。また、データセット全体でのこれらの分布も確認したいと思いました。
リンク切れがあまりない小規模なサイトもたくさんあります。最も小規模なサイトを取り出し、10 を超えるライブ リンクを持つサイトだけを確認すると、大規模なサイトではかなり多くのリンクが失われていることがわかります。
リンクはさまざまな理由で失われる可能性があります。Ahrefs では、失われたリンクをさまざまな方法で分類しています。リンクが失われる最も一般的な理由は次のとおりです。
- ドロップ (47.7%)
- リンクが削除されました (34.2%)
- クロールエラー (6.45%)
- 301/302 (5.99%)
- 見つからない (4.11%)
- 正規ではありません (0.82%)
- ノーインデックス (0.73%)
- 壊れたリダイレクト (0%)
それぞれの原因とその理由を見てみましょう。
リンクの 47.7% はドロップされたページからのものです
これらのページは、さまざまな理由によりインデックスから削除されています。
ページはクロールまたはインデックス付けできないため、削除される可能性があります。場合によっては、ドメインがもう存在しない可能性があります。
リンクの 34.2% が削除されました
この場合、ページはまだ存在します。彼らはあなたにリンクしなくなっただけです。
誰かがコンテンツの更新中にリンクを削除したか、リンクを別のリンクに置き換えたか、会社のポリシーによりリンクを削除した可能性があります。もう 1 つの可能性としては、競合他社があなたへのリンクをやめることを決定した可能性があります。
失われたリンクの 6.45% はクロール エラーが原因です
ページをクロールしようとしてエラーが発生すると、ページはこのバケットに入れられます。
再度クロールされたときにページにアクセスでき、リンクがまだ存在する場合、そのページはライブとしてカウントされます。ページで「エラー」が続く場合は、インデックスからそのページを削除することがあります。
リンク破損の合計にクロール エラーをカウントしないことを選択しました。これらのリンクの一部はおそらくもう存在しませんが、他のリンクはまだ存在します。
リダイレクトされたページによりリンクの 5.99% が失われます
リンクを含むページは別の場所にリダイレクトされました。
ページはあらゆる理由で場所を変更します。一般に、これは何らかのWeb サイト移行の結果です。
リンクの 4.11% は見つからないページです
この場合、リンク先のページは削除されています。リンクを含むコンテンツがありません。
場合によっては、これらのページが再びライブになるか、リダイレクトされることがあります。このような状況では、それらはリダイレクト バケットに再度追加されるか、配置されます。
リンクがあったページが正規ではなくなったため、リンクの 0.82% が失われます
ページで指定されている正規が変更されました。
リンク先ページには、 他の場所への「rel=canonical」タグが付いています。それは、HTTP から HTTPs への変更、または末尾のスラッシュやパラメーターを含むある種の標準化である可能性があります。通常、これは心配する必要はありません。ページは単にインデックス付けの方法を変更しているだけです。これらのリンクは、あるページから別のページに移動して、場所が移動しただけです。
ページが「noindex」とマークされているため、リンクの 0.73% が失われます。
リンク先ページは「noindex」とマークされているため、そこからのリンクはカウントされません。
noindex としてマークされたページは、リンク破損の数値にカウントしませんでした。リンクは技術的には存在しますが、リンクがあるページは検索エンジンで見つからず、値も渡されません。
リダイレクトの破損により少数のリンクが失われます
このケースでは、以前に複数のリダイレクトがチェーンで発生するのを見てきました。現在、これらのリダイレクトの 1 つが壊れています。したがって、リンクはターゲットから切断されたようなものになります。
これは次の場合に発生します。
- リダイレクト チェーンが壊れている – リダイレクト チェーン内のページのいずれかが応答しない場合、リンクが失われたとして報告されます。
- リダイレクトが存在しなくなった (または変更された) – サイト A → サイト B のリンクがあったとしますが、そのリンクは最初に 1 つ以上の他の URL (例: サイト A → サイト C → サイト B) を介してリダイレクトされました。リンク元サイトがこのリンクを交換して (リダイレクト チェーンを経由せずに) 直接リンクした場合、リンクが失われたと報告されます。リダイレクトの最終 URL が他の場所にリダイレクトされるように変更された場合も同様です。
リンク切れについて何ができるでしょうか?
取得したリンクの多くは、時間の経過とともに失われる可能性があります。それらの一部を取り戻すことができる 1 つの方法は、リンク再利用を使用することです。
多くの場合、古い URL には他の Web サイトからのリンクが含まれています。 現在のページにリダイレクトされない場合、それらのリンクは失われ、ページとしてカウントされなくなります。これらのリダイレクトを実行するのに遅すぎることはなく、失われた値をすぐに取り戻すことができます。これは、これまでで最も速いリンク構築であると考えてください。
そうした機会を見つける方法は次のとおりです。
- ドメインをSite Explorerに貼り付けます ( Ahrefs ウェブマスター ツール からも無料でアクセスできます)
- ベストバイリンク レポートに移動
- 「404 not found」HTTP 応答フィルターを追加する
私は通常、これを「参照ドメイン」で並べ替えます。
リンクの腐敗を有利に利用することもできます。リンク切れの構築は、ニッチでもう存在しないリソースを見つけて、サイト所有者に連絡して、リンク切れの代わりに使用できるリソースについて知らせる戦術です。
あなたのサイトでこれを行う方法を知りたいですか? 弊社のコンテンツ責任者であるJoshua Hardwick が、壊れたリンクを構築するためのプロセス指向のガイドを提供します。
リンク切れを防ぐもう 1 つの方法は、自分の Web サイト上の壊れたリンクを修正することです。これらは、サイト監査 リンク レポートで簡単に特定できます。リンクを削除するか、存在する関連ページへの参照を更新するだけです。
サイトから他のサイトを指す壊れたリンクを修正することもできます。私は SEO に関してこれを主張するのは難しく、一般に、これは Web サイトの健全性と保守のタスクであり、優先度はかなり低いと考えています。
ただし、これらのリンクをクリックするとユーザー エクスペリエンスが低下すると主張することもできます。したがって、より頻繁にクリックされるリンクを優先することができます。
外部ページへの壊れたリンクのリストは、リンク レポートにも表示されます。私と同じように、壊れた外部リンクがまったく表示されない場合は、サイト監査の クロール設定で [外部リンクの HTTP ステータスを確認する] が有効になっていない可能性があります。
まとめ
一部の企業やテクノロジーは、リンクの腐敗を解決しようと試みています。これらのソリューションの多くは、リンク切れや Web の変化の問題を実際には解決しません。代わりに、Web 上にあったものをアーカイブして、引き続き見ることができるようにすることに依存しています。たとえば、Internet Archive には 、ページが壊れている場合にそのアーカイブを表示するChrome 拡張 機能があります。
同様に、CDN Cloudflare には、 オフラインのページの独自のアーカイブされたコピーを最初に検索する「常時オンライン」オプションがあります。ただし、それが存在しない場合は、Internet Archive から最新バージョンを取得します。
Brave ブラウザを使用している場合、壊れたページには、archive.org でアーカイブされたバージョンを確認できるメッセージが表示されます。
米国議会法律図書館は、 法律調査報告書のリンクおよび参照の腐敗の問題に対して外部アーカイブ ソリューションを実装しました。
いつものように、 質問がある場合はTwitter にメッセージを送ってください。
著者プロフィール
Patrick Stox
Patrick Stoxは、Ahrefsのプロダクトアドバイザー、テクニカルSEO、およびブランドアンバサダーです。彼は、Raleigh SEO Meetup、Raleigh SEO Conference、Beer & SEO Meetup、Findability Conference の主催者であり、/r/TechSEO のモデレーターでもあります。
コメント