この記事はAhrefs公式ブログの日本語訳です。
原文：The Story of Blocking 2 High-Ranking Pages With Robots.txt
（著者：Patrick Stox / 原文の最終更新日：July 9, 2023）
※フルスピード註：この記事は2023年7月9日時点の記載をもとに翻訳しています。Ahrefs公式ブログの記事は今後追記・再公開されることがありますことをご了承ください。
robots.txt を使用して 2 つのランキング ページをブロックしました。あちこちで順位を失い、ページの注目のスニペットもすべて失いました。もっと大きな影響を期待していましたが、世界は終わりませんでした。
警告
これを行うことはお勧めしません。また、あなたの結果が私たちの結果と異なる可能性も十分にあります。
私はコンテンツの削除がランキングやトラフィックに与える影響を確認しようとしていました。私の理論では、ページのクロールをブロックすると、Google はコンテンツのランク付けをリンク シグナルのみに頼らざるを得なくなるというものでした。
しかし、私が見たものは実際にはコンテンツの削除による影響ではなかったと思います。おそらくそうかもしれませんが、影響が小さすぎるように感じられるため、100％確実とは言えません。これを確認するために別のテストを実行します。私の新しい計画は、ページからコンテンツを削除して、何が起こるかを確認することです。
私の理論的には、Google はページをランク付けするために、そのページに表示されていたコンテンツを依然として使用している可能性があります。 Google検索擁護者のジョン・ミューラー氏は過去にこの行為を認めている。
これまでのところ、テストは約 5 か月間実行されています。現時点では、Googleがこのページのランキングをやめるつもりはないようだ。しばらくすると、そのページにあったコンテンツがまだ存在しているということを信頼できなくなるのではないかと思いますが、そのようなことが起こっているという証拠は見たことがありません。
読み続けて、テストのセットアップと影響を確認してください。主なポイントは、robots.txt を使用して (Google がすでにランク付けしている) ページのクロールを誤ってブロックしても、ランキングに大きな影響を与えることはなく、検索結果には表示される可能性が高いということです。
テスト設定
Joshua Hardwickがちょうど更新したばかりだったので、SEO の価格設定に関する記事を除いて、「リンクの影響」調査で使用したのと同じページを選択しました。これらの記事へのリンクを削除した場合の影響を確認しており、コンテンツを削除した場合の影響をテストしたいと考えていました。冒頭で述べたように、それが実際に起こったのかどうかはわかりません。
2023 年 1 月 30 日に次の 2 つのページをブロックしました。
次の行がrobots.txtファイルに追加されました。
Disallow: /blog/top-bing-searches/Disallow: /blog/top-youtube-searches/
結果
以下のグラフからわかるように、両方のページでトラフィックが一部失われています。しかし、予想していたほどトラフィックの見積もりに大きな変化はありませんでした。
個々のキーワードを見ると、ページのクロールがブロックされている間に、一部のキーワードが 1 つまたは 2 つ順位を落とし、他のキーワードは実際にランキングの順位を獲得したことがわかります。
私が気づいた最も興味深い点は、強調スニペットがすべて失われていたことです。ページのクロールがブロックされたため、強調スニペットの対象外になったのだと思います。後でブロックを削除すると、Bing 検索の記事はすぐに一部のスニペットを取り戻しました。
ページに対する最も顕著な影響は、SERP にあります。ページではカスタム タイトルが失われ、メタディスクリプションの代わりに情報が利用できないことを示すメッセージが表示されました。
これは予想通りでした。これは、ページが robots.txt によってブロックされている場合に発生します。さらに、 URL を検査すると、Google Search Console で「インデックスされましたが、robots.txt によってブロックされました」というステータスが表示されます。
SERP 上のメッセージは、ランキングの低下よりもページへのクリックに悪影響を及ぼしていると私は考えています。インプレッション数が若干減少していることがわかりますが、記事のクリック数の減少はさらに大きくなっています。
「トップ YouTube 検索」記事のトラフィック:
「上位の Bing 検索」記事のトラフィック:
まとめ
これについての私の解説に驚かれる方はいないと思います。インデックスを作成したいページをブロックしないでください。それは痛い。思っているほどひどくはありませんが、それでも痛いです。
著者プロフィール
Patrick Stox
Patrick Stox は、Ahrefs のプロダクト アドバイザー、テクニカル SEO、およびブランド アンバサダーです。彼は、2021 年の Web 年鑑の SEO の章の筆頭著者であり、2022 年の SEO の章の査読者でもありました。また、Ahrefs の『初心者のための SEO 本』の共著者であり、『The Art of SEO 第 4 版』のテクニカル レビューの編集者でもありました。彼は、Raleigh SEO Meetup (米国で最も成功した SEO Meetup)、Beer and SEO Meetup、Raleigh SEO Conference などのいくつかのグループの主催者であり、Technical SEO Slack グループを運営し、/r/TechSEO のモデレーターでもあります。レディット。
コメント