この記事はAhrefs公式ブログの日本語訳です。
原文：How to Remove URLs From Google Search (5 Methods)
（著者：Patrick Stox, Joshua Hardwick / 原文の最終更新日：October 7, 2020）
※フルスピード註：この記事は2020年10月7日時点の記載をもとに翻訳しています。Ahrefs公式ブログの記事は今後追記・再公開されることがありますことをご了承ください。
GoogleからURLを削除する方法は様々ですが、一つの正解とは言えません。すべてはあなたの状況によります。
これは押さえておくべき大切な点です。誤った方法を使うと、意図通りにページがインデックスから削除されないだけでなく、SEOにも悪影響を及ぼす可能性があります。
どの削除方法が最適かをすぐに判断できるよう、フローチャートを作成しましたので、記事の該当セクションに移動してください。
この記事を通じて、あなたは以下のことを学ぶことができるでしょう：
テクニカルSEOは初めてですか？
テクニカルSEO初心者ガイド
URLがインデックスされているかどうかを確認する方法
コンテンツがインデックスされているかどうかをチェックするためにSEO担当者が行うのは、Googleのsite:検索（例：site:https://ahrefs.com）です。このsite:検索は、問題のあるウェブサイトのページやセクションを特定するのに役立ちますが、通常の検索クエリとは異なるため、ページが実際にインデックスされているかどうかを保証してくれるわけではありません。Googleに既知のページが表示されるかもしれませんが、site:演算子なしの通常の検索結果に表示されるページが必ずしも存在するとは限りません。
例えば、site: で検索すると、リダイレクトされたページや別のページに正規化されたページが表示されることがあります。例えば、moz.comは以前はseomoz.orgでした。moz.comのページにつながる通常のユーザーのクエリは、SERPにmoz.comが表示され、site:seomoz.orgは検索結果にseomoz.orgが表示されます。
この重要な違いの理由は、SEO担当者が古いドメインからのURLを積極的にブロックしたり削除したりするなどの誤った方法を取ることで、PageRankのようなシグナルの統合を妨げてしまう可能性があるからだ。私はドメイン移行の際に、これらのページがまだsite:old-domain.comの検索に表示されるため、移行中にミスを犯したと考え、問題を「修正」しようとしてウェブサイトを意図せずに損傷させてしまうケースを何度も目撃してきました。
インデックスされているかどうかを確認するには、Google Search ConsoleのIndex Coverageレポートや、個々のURLのURL Inspection Toolを利用するのがよいでしょう。これらのツールは、ページがインデックスされているかどうかを教えてくれるだけでなく、Googleがそのページをどのように扱っているかに関する追加情報も提供してくれます。もしこれらのツールを使用できない場合は、単にGoogleでページの完全なURLを検索してみてください。
もしAhrefsの「トップページ」レポートやオーガニックキーワードのランキングにそのページが掲載されているなら、通常、一般的な検索クエリでそのページが上位にランクインしていることを意味し、そのページがインデックスされていることを意味します。ただし、私たちがそのページを確認した時点ではインデックスされていたかもしれませんが、その後変更された可能性があることに留意してください。ページが最後に表示された日付を確認することで、その状況を確かめてください。
もし特定のURLに問題があってインデックスから削除する必要がある場合は、記事の冒頭にあるフローチャートに従って正しい削除オプションを選び、適切なセクションに進んでください。
削除オプション1：コンテンツを削除する
ページを削除して404（見つからない）または410（消えた）のステータスコードを送信すると、ページが再クロールされた直後にインデックスから削除されます。ただし、削除されるまで、そのページは検索結果に表示される可能性があります。また、ページそのものが利用できなくなっても、一時的にキャッシュされたバージョンのページが利用可能なことがあります。
異なるアプローチが必要な場合：
- URL削除ツールのセクションをご覧ください。
- リンクのようなシグナルを統合する必要があります。 正規化のセクションを参照してください。
- noindexやアクセス制限の方法があなたの状況に適しているかどうかを確認してください。
削除オプション2：インデックスなし
noindexメタロボットタグまたはx-robotsヘッダーレスポンスは、検索エンジンに対してページをインデックスしないように指示します。meta robotsタグは通常のページで機能し、x-robotsレスポンスはページやPDFなどの他のファイルタイプに適用されます。これらのタグは、検索エンジンがページをクロールする必要がある場合にのみ効果を発揮します。また、ページをインデックスから削除することで、リンクや他のシグナルの統合が妨げられる可能性があることにも留意してください。
meta robots noindexの例：
<meta name="robots" content="noindex">
ヘッダーレスポンスのx-robots noindexタグの例：
HTTP/1.1 200 OK X-Robots-Tag: noindex
別のアプローチが必要な場合：
- アクセス制限のセクションを参照してください。
- リンクのようなシグナルを統合する必要があります。 正規化のセクションを参照してください。
削除オプション3：アクセス制限
もし、一部のユーザーだけがアクセスできるようにしたいが、検索エンジンにはアクセスさせたくない場合、おそらく以下の3つのオプションのどれかが必要になるでしょう：
- 何らかのログインシステムの導入
- HTTP認証（アクセスにはパスワードが必要）
- IPホワイトリスト（特定のIPアドレスにのみページへのアクセスを許可する）
このタイプの設定は、社内ネットワーク、会員専用コンテンツ、ステージング、テスト、開発サイトなどで役立ちます。これらの設定により、特定のユーザーグループだけがページにアクセスできるようになり、一方で検索エンジンはアクセスできなくなり、ページのインデックスもされなくなります。
別のアプローチが必要になる場合：
URL削除ツールのセクションをご覧ください。特定のケースでは、非表示にしようとしているコンテンツがキャッシュされており、ユーザーがそのコンテンツを見るのを防ぐ必要がある場合、より即時の削除が必要になることがあります。
削除オプション4：URL削除ツール
Googleのこのツールの名前は少し誤解を招くかもしれませんが、実際の仕組みはコンテンツを一時的に隠すものです。Googleはこのコンテンツを見てクロールはしますが、ユーザーにはページが表示されません。この一時的な効果はGoogleでは6ヶ月間続き、Bingでは3ヶ月間続く同様のツールがあります。これらのツールは、セキュリティ上の問題、データ漏洩、個人を特定できる情報（PII）など、最も極端な場合に使用されるべきである。Googleの場合は、削除ツールを使用し、Bingの場合は、URLをブロックする方法を参照してください。
それでも、削除ツールを使う際には、同時に別の方法を適用してページを長期間にわたって削除（noindexまたは削除）したり、リンクが残っている場合にユーザーがコンテンツにアクセスできないようにしたり（削除またはアクセス制限）、実際の削除手続きを進める必要があります。これはページをすばやく非表示にする一時的な手段を提供するだけで、リクエストの処理に最大1日かかる場合があります。
削除オプション5：正規化
複数のバージョンのページが存在し、リンクのようなシグナルを1つのバージョンにまとめたい場合、何らかの形で正規化を検討することが重要です。これは、複数のバージョンのページを1つのインデックスされたURLに統合し、重複コンテンツを防ぐことが主な目的です。
正規化にはいくつかのオプションがある：
- Canonicalタグ：別のURLを、正規のバージョンまたは表示したいバージョンとして指定します。ページが重複しているか、非常に似ている場合に適しています。ただし、ページが大きく異なる場合、canonicalは指針ではなくヒントとして扱われ、無視されることがあります。
- リダイレクト：リダイレクトは、ユーザーや検索ボットをあるページから別のページに誘導します。最も一般的なのは301リダイレクトで、検索エンジンに対して「最終的なURLを検索結果に表示するべき」や「シグナルを集約する場所」と伝えます。302や一時的なリダイレクトは、元のURLをインデックスに残すことで、そこにシグナルを集約させたい場合に使用されます。
- URLパラメータ処理（2022年初期に非推奨となり、もはや役に立ちません）。 パラメータはURLの末尾に付加され、通常「ahrefs.com?this=parameter」のようにクエスチョンマークを含みます。Googleのこのツールは、以前は特定のパラメータを持つURLの扱い方を指示することができた。以前は特定のパラメータを持つURLの取り扱い方を指定できましたが、現在は非推奨となっています。
削除の優先順位の付け方
Googleのインデックスから削除する必要のあるページがいくつかある場合、それぞれの優先順位を考慮することが重要です。
最優先： これらのページは通常、セキュリティ関連または機密データに関連しています。これには、個人データ（PII）、顧客データ、または専有情報を含むコンテンツが含まれます。
中程度の優先度： 通常、特定のユーザーグループ向けのコンテンツが含まれます。企業内ネットワーク、従業員ポータル、会員専用コンテンツ、ステージング、テスト、開発環境などが該当します。
優先順位が低い： これらのページは通常、何らかの重複コンテンツを含んでいます。複数のURLから提供されるページ、パラメータを含むURL、またステージング環境、テスト環境、開発環境などがあります。
避けるべき一般的な除去ミス
なぜうまくいかないのかを理解してもらうために、私が通常目にする誤った削除方法と、それぞれのシナリオで起こることをいくつか取り上げます。
robots.txtのnoindex
以前、Googleは非公式にrobots.txtでのnoindexをサポートしていましたが、公式なガイドラインではサポートされておらず、現在では正式にサポートを取りやめています。これを使っていた多くのウェブサイトは、誤った方法で自分自身を傷つけていました。
robots.txtでクロールをブロックする
クロールとインデックスは同じではありません。Googleがページのクロールをブロックしていても、ページへの内部リンクや外部リンクがあれば、インデックスすることができる。Googleはクロールしないので、そのページに何があるかはわからないが、ページの存在は知っており、そのページへのリンクのアンカーテキストなどのシグナルに基づいて検索結果に表示するタイトルを書くことさえあります。
nofollow
これは一般的にnoindexと混同され、ページがインデックスされないことを期待してページレベルで使用する人もいます。nofollowはヒントであり、もともとはページ上のリンクやnofollow属性を持つ個々のリンクがクロールされないようにするものでしたが、現在はそうではありません。Googleはこれらのリンクをクロールしようと思えばクロールできるようになりました。nofollowは、Googleが特定のページまでクロールするのを阻止するためや、PageRankスカルプティングのために、個々のリンクにも使われていました。この場合も、nofollowはヒントなので、もはや機能しません。以前は、もしそのページに別のリンクがあったとしても、Googleはこの別のクロール経路から発見することができました。
なお、Ahrefsのサイト監査のページエクスプローラーでこのフィルターを使用すると、nofollow付きページを一括で見つけることができます。
すべてのページのリンクをnofollowにすることはほとんど意味がないため、結果の数はゼロかほぼゼロになるはずです。もし結果が表示される場合、それはnofollowディレクティブが誤ってnoindexの代わりに使用されている可能性があるので、そのページの設定を確認し、適切な削除方法を選択することをお勧めします。
また、リンクエクスプローラーのこのフィルターを使用して、nofollow属性が付いた個々のリンクも見つけることができます。
noindexと別のURLへのcanonical
これらの指示は互いに矛盾しています。noindexはページをインデックスから削除するように指示し、一方でcanonicalは別のページをインデックスするメインのバージョンとして指定します。通常、Googleはnoindexを無視して、代わりにcanonicalを主なシグナルとして優先する傾向があります。そのため、これらの指示が統合されて機能する可能性もありますが、これは常に確実な動作ではありません。アルゴリズムに依存し、noindexタグがシグナルとして考慮される場合もあります。その場合、ページは正しく統合されない可能性があります。
サイトの監査を行う際に、ページエクスプローラーでこのフィルターセットを使用することで、自己参照ではないカノニカル指定がされているがインデックスされていないページを見つけることができることに注意してください：
Noindex、Googleのクロールを待つ、そしてクロールをブロックする。
このような場合、一般的に以下の方法が考えられます
- ページが既にブロックされていてもインデックスされている場合、noindexを追加して、Googleがクロールしてnoindexを確認できるようにブロックを解除することができます。
- ページを削除したい場合、まずそのページにnoindexタグを追加し、Googleがクロールしてnoindexタグを処理した後、そのページへのクロールをブロックします。
どちらの方法でも、最終的にはページのクロールがブロックされる状態になります。以前に説明したように、クロールとインデックスは異なるプロセスです。したがって、これらのページがクロールされていても、インデックスに載る可能性があることに注意してください。
自分のコンテンツでありながら、自分の所有するサイトでない場合は？
もし他のウェブサイトで使用されているコンテンツがあなたの所有物である場合、デジタルミレニアム著作権法（DMCA）を活用して申し立てを行うことができます。Googleの著作権削除ツールを使用して、著作権で保護された素材の削除を要求する、いわゆるDMCAテイクダウンを行うことができます。
あなたに関するコンテンツであっても、あなたが所有するサイトに掲載されていない場合はどうするのか？
EUにお住まいの方は、忘れられる権利に関する裁判所命令のおかげで、あなたに関する情報を含むコンテンツを削除することができます。EUプライバシー削除フォームを使用して、個人情報の削除を要求することができます。
画像の削除
Googleから画像を削除する方法として、最も簡単なのはrobots.txtを使用することです。先述したように、robots.txtを使用してページを削除する非公式のサポートはなくなりましたが、単に画像のクロールを禁止することで、画像を削除する方法が正しいです。
一枚の画像に対して：
User-agent: Googlebot-Image Disallow: /images/dogs.jpg
すべての画像について：
User-agent: Googlebot-Image Disallow: /
まとめ
URLを削除する方法は状況により異なります。いくつかのオプションを説明しましたが、どれが最適かわからない場合は、冒頭のフローチャートを参照してください。
また、Googleが提供するコンテンツ削除のための法的トラブルシューターを利用することもできます。
質問がありますか？ツイッターで教えてください。
記事を書いた人
Patrick Stox
Patrick Stox は、Ahrefs のプロダクト アドバイザー、テクニカル SEO、およびブランド アンバサダーです。彼は、Raleigh SEO Meetup、Raleigh SEO Conference、Beer & SEO Meetup、Findability Conference の主催者であり、/r/TechSEO のモデレーターでもあります。
コメント