Google、Yahoo、Bing の検索結果に
- 自社のサイトの特定のページを表示させたくない。
- すでにインデックスされたページを検索結果表示から削除したい。
とお悩みの方へ。
以下の手順をとることで、検索結果に表示させたくないページを検索結果表示画面から削除するタイミングを早めることができるかもしれません。
- 検索結果に表示させたくないページに noindex メタタグを設定する
- sitemap.xml を再生成する
- robots.txt に sitemap.xml のURLを明示する
- 検索エンジンに巡回申請を送信する
- 検索結果からの削除申請を送信する
検索エンジンクローラーの巡回タイミングや、クローラーが取得したサイトの最新情報が検索エンジンの大規模サーバ群に反映・浸透するタイミングをサイト管理者側でコントロールすることはできません。
とは言え、サイト管理者ができる施策をきっちりとしておくことにデメリットはありませんので、ひとつずつきっちりとやっていきましょう。
メタタグでロボットを制御する
まず最初にやるべきことは、検索エンジンにインデックスさせたくないページの<head>～</head>内にロボットを制御するメタタグを追記することです。
<meta name="robots" content="noindex">これは、クローラーに対して「コンテンツをインデックスしないでね（noindex）」と指示するものです。
この記述があると、クローラーはウェブページをクロールしてコンテンツを記録しますが、その結果をインデックスに反映しません。
逆に、インデックスさせたいページにこのメタタグがあると、いつまで経っても検索結果には表示されません。
インデックスさせたいページ、させたくないページを整理して、noindexタグを使い分けてくださいね。
sitemap.xml を生成・再送信する
noindex タグを追記したら、sitemap.xml を生成して検索エンジンに送信しましょう。
実は、WordPress 5.5からXMLサイトマップを自動生成する機能が追加されたのですが、この機能で生成されるサイトマップは情報量が少ないので、以下に説明するいずれかの方法で sitemap.xml を生成するほうが良いと思います。
sitemap.xml を生成してサーバにアップロードする
sitemap.xml は、オンラインサービスやWordPressプラグインで生成できます。
下記いずれかの方法で sitemap.xml を生成し、サーバにアップロードしましょう。
無料で使える日本語オンラインサービス「sitemap.xml Editor」
sitemap.xml が生成できるオンラインサービスはいくつもありますが、私のおすすめは「sitemap.xml Editor」です。
出力情報の設定ができて、しかも日本語でわかりやすいというのがその理由です。
サイトURLを指定して sitemap.xml を生成してくれるので、WordPress サイトでも通常の html サイトでも使えます。
WordPressプラグイン
WordPress サイトの場合は、SEO系プラグインを使って sitemap.xml を生成できます。
機能説明を見る限り私のおすすめプラグインは、Google XML Sitemaps、All in One SEO、Yoast SEOあたりかな。
使用中の WordPress バージョンと互換性があるか、頻繁に更新されているか、sitemap.xml 生成以外に使いたい機能があるかなどを踏まえて、お好みで選んでいただければよいかと思います。
[プラグイン] ＞ [新規追加] でプラグイン名を入力して検索して互換性等を確認してどのプラグインを採用するか決めてくださいね。
sitemap.xml を送信する
ロボットを制御するメタタグを追記して sitemap.xml を生成したら、最新版の sitemap.xml を検索エンジンに送信しましょう。
ちなみに、WordPress プラグイン Google XML Sitemaps なら sitemap.xml を Googleに自動送信してくれるので、以下で説明する検索エンジンへのサイトマップ再送信は実行しなくてもよいです。
WordPress プラグインを使わずに生成した sitemap.xml は、FTPソフト等を使ってサーバのルートディレクトリ（https://example.com/sitemap.xml で表示される場所）にアップロードしましょう。
※ example.com は、自社サイトのURLに置き換えてくださいね。
WordPress プラグインでサイトマップを生成した場合は、そのファイルがどこに格納されているのか、sitemap.xml の URL を確認しておきましょう。
robots.txt のサイトマップファイルのURLを確認・記述する
robots.txt は、クローラー巡回時にクローラーが効率的にサイトのコンテンツを巡回できるようにするためのものです。
この意味で robots.txt にサイトマップファイルのURLを記述することは重要です。
robots.txt は、サーバのルートディレクトリにあるはずです。
一般的には https://example.com/robotx.txt で robots.txt の記載内容が確認できます。
これで表示されなければ、FTP で robots.txt の場所を確認してみてください。
robots.txt に上の手順で生成した sitemap.xml が記載されていればOKです。
robots.txt の記入例
Sitemap: https://example.com/sitemap.xmlsitemap.xml を検索エンジンに送信する
次に、生成した sitemap.xml を検索エンジンに送信しましょう。
Googleは、Googleサーチコンソールにログインして、[サイトマップ]ページを開き、サイトマップのURLを送信しましょう。
送信後、ステータス欄に「成功しました」と表示されればOK。
「取得できませんでした」と表示されたら、サイトマップのURLが間違っている可能性があります。
サイトマップのURLを確認して再送信しましょう。
Bing は、Bingウェブマスターツールにログインして、[サイトマップ]ページを開き、サイトマップを送信します。
状態欄に「成功」と表示されればOKです。
Yahoo！は2010年にYahoo！検索サイトエクスプローラが廃止されたので、サイトマップを送信することができません。
インデックス削除申請を提出する
検索結果に表示されたくないページのインデックス削除申請を提出しましょう。
インデックス削除申請の提出先リンクは、以下の通りです。
以上 特定のページを検索結果に表示させたくない場合の対処方法でした。
ご参考になれば幸いです♪