サイトマップが404で検索に出ない|原因の探し方

サイトマップが404で検索に出ない|原因の探し方

自社サイトでブログを更新している会社は増えました。けれど「書いているのに、検索から人が来ない」という相談は、それ以上に増えています。このとき多くの方が最初に疑うのは、記事の中身です。

内容が薄いのではないか。キーワードの選び方が悪いのではないか。もっと長く書いたほうがいいのではないか。

私たちもそう考えました。そして半年ほど、記事の質を上げる方向で手を動かし続けました。

結論から言うと、原因は記事の中身ではありませんでした。そもそも、書いた記事が検索エンジンに見つけてもらえていなかったのです。

この記事では、自社サイトで実際に起きたことを、失敗した順番のまま書きます。専門的な用語も出てきますが、その都度かみ砕いて説明します。

最後に、自社サイトで同じ状態になっていないかを15分で確認できる手順を載せました。

半年間、まったく検索結果に出ていない記事があった

「順位が低い」のではなく「表示回数がゼロ」だった

最初に状況を整理します。Googleの「Search Console(サーチコンソール)」という無料ツールを使うと、自社サイトの記事が検索結果に何回表示され、何回クリックされたかが分かります。私たちがこれを詳しく見たとき、数字は二つに分かれていました。

一方には、表示回数が数十回あって、順位が50位前後という記事。もう一方には、表示回数そのものがゼロという記事が、10本近くありました。半年分をさかのぼっても、一度も検索結果に出ていない。

この二つは、見た目は同じ「検索から人が来ない」ですが、原因がまったく違います。順位が50位なら、少なくとも検索エンジンはその記事を認識しています。評価が低いだけです。

表示回数がゼロなら、そもそも検索エンジンの手元にその記事が入っていない可能性があります。前者は「評価の問題」、後者は「存在を知られていない問題」です。打つべき手も当然変わります。

先にタイトルを直してしまった

私たちが最初にやったのは、記事タイトルとメタディスクリプション(検索結果に出る説明文)の書き換えでした。キーワードが入っていない記事、逆にキーワードを羅列しただけで日本語として不自然な記事が混在していたためです。これ自体は、やってよかったと思っています。

ただ、順番としては間違いでした。タイトルは「検索結果に表示されたあと、クリックされるかどうか」に効くものです。表示されていない記事のタイトルをどれだけ磨いても、変化は起きません。

実際、書き換えたあとも表示回数ゼロの記事はゼロのままでした。当たり前のことなのですが、手元で作業をしていると、この順番はとても見落としやすいです。

「記事の質が低いから」で止めると原因にたどり着けない

検索から人が来ないとき、「記事の質」は非常に使いやすい説明です。誰も反論できませんし、改善策もすぐ思いつきます。もっと丁寧に書こう、事例を足そう、と。

ただ、この説明には副作用があります。原因の調査がそこで終わってしまうのです。

質を上げる作業には終わりがありません。半年でも1年でも続けられます。その間、土台側の不具合は放置されたままになります。

私たちがまさにこれをやっていました。

原因は「サイトマップが存在しない」ことだった

サイトマップとは、検索エンジンに渡す目次のこと

ここで用語をひとつだけ説明します。サイトマップとは、そのサイトにどんなページがあるかを一覧にしたファイルのことです。人が読むための一覧ページではなく、検索エンジンのロボットが読むための機械用の目次だと考えてください。

WordPressをはじめ、たいていのサイトでは自動的に作られます。検索エンジンはリンクをたどってページを見つけますが、サイトマップがあると「このサイトにはこれだけのページがあります」と直接伝えられます。新しく公開したページや、他からリンクされていないページを見つけてもらうときに効きます。

裏を返すと、サイトマップが無く、かつ他からリンクも張られていないページは、見つけてもらえる経路がほとんどありません。私たちのサイトは、まさにその状態でした。

robots.txtは案内していたが、その先が404だった

調べ方はとても単純でした。サイトには通常「robots.txt(ロボッツテキスト)」という小さなファイルがあります。これは検索エンジンのロボットに向けた案内書きで、「サイトマップはここにあります」という行が入っているのが一般的です。

自社の robots.txt を開くと、たしかにその行はありました。サイトマップのURLがきちんと書かれています。ところが、そのURLをブラウザで開いてみると、404、つまり「ページが見つかりません」が返ってきました。

案内板は立っているのに、その先に建物が無い状態です。念のため、別の書き方のURLでも試しましたが、同じように開けませんでした。つまり、一時的な不具合ではなく、サイトマップを作る機能そのものが止まっていたということです。

止まっていた理由は、設定の「前提のズレ」だった

なぜ止まっていたのか。原因は、テーマ(サイトのデザインを決める部品)側の設定にありました。使っていたテーマには「標準のサイトマップ機能を停止する」というスイッチがあり、これがオンになっていたのです。

このスイッチ自体は、おかしなものではありません。SEO用のプラグインを入れると、そのプラグインがより高機能なサイトマップを作ってくれます。同じものが二つあると混乱するので、「プラグインを使うなら標準機能は止めてください」という考え方は、むしろ自然です。

問題は、そのプラグイン側が、サイトマップを作らないタイプだったことでした。私たちが入れていたSEOプラグインは、タイトルやメタディスクリプションの設定に特化したもので、サイトマップの生成機能はありません。結果として、こうなります。

  • テーマ側:「プラグインが作るはずだから、こちらは止めておく」
  • プラグイン側:「サイトマップは作らない」

どちらも単体では正しく動いています。エラーも出ません。管理画面のどこにも警告は表示されません。

組み合わせたときにだけ、穴が空く。だから半年気づけませんでした。

気づけなかったもう一つの理由

正直に書くと、理由はもう一つあります。誰も確認していなかったからです。サイトを作った時点では動いていたのかもしれませんし、最初から止まっていたのかもしれません。

どちらにせよ、公開後にサイトマップを見に行った人が一人もいませんでした。記事を書く担当、サイトを作った担当、数字を見る担当が分かれていると、この手の項目は間に落ちます。「誰かが見ているだろう」で全員が通過してしまうのです。

自社サイトを15分で確認する4つの手順

ここからは、読んでいる方がそのまま使える確認手順です。専門知識は要りません。ブラウザとSearch Consoleのアカウントがあれば足ります。

手順1:robots.txtを開いて、Sitemapの行を探す

ブラウザのアドレス欄に、自社ドメインのうしろに /robots.txt を付けて開きます。

例えば https://自社ドメイン/robots.txt です。文字だけの素っ気ない画面が出ます。これで正常です。

その中に Sitemap: で始まる行があるかを見てください。この行が無い場合は、サイトマップの場所が検索エンジンに案内されていません。後述の手順4へ進んでください。

行がある場合は、そこに書かれているURLをコピーします。

手順2:そのURLを実際に開いてみる

コピーしたURLを、そのままブラウザで開きます。ここが一番大事な工程です。

  • 記号やタグがたくさん並んだ一覧が表示される → 正常です。これがサイトマップです。見た目が読みにくくても問題ありません
  • 「ページが見つかりません」「404」と出る → 案内先が存在しません。私たちの状態です
  • 通常の記事ページやトップページが表示される → これも異常です。サイトマップが無く、別のページが代わりに表示されています

三つ目が特にややこしいところです。一見ちゃんとページが出るので、確認した気になって通り過ぎてしまいます。「記事の一覧っぽい見た目のページ」が出たら、それはサイトマップではありません。

手順3:Search Consoleの「サイトマップ」画面を見る

Search Consoleにログインし、左側のメニューから「サイトマップ」を開きます。

ここでは二つを確認します。一つは、送信済みのサイトマップが登録されているかどうか。もう一つは、そのステータスが「成功しました」になっているかどうか。

「取得できませんでした」「エラー」と出ている場合は、手順2と同じ問題が起きています。あわせて「ページ」というメニューも開いてみてください。インデックス(検索エンジンに登録されている状態)に登録済みのページ数と、未登録のページ数が出ます。

公開した記事の本数に対して登録済みが極端に少なければ、見つけてもらえていないページがあるということです。

手順4:テーマとプラグインの設定に「停止スイッチ」が無いか確認する

ここだけは管理画面での作業になります。WordPressをお使いなら、次の二か所を見てください。

  • ☐ テーマの設定画面に「サイトマップ」に関する項目が無いか。「停止する」「使用しない」といったチェックが入っていないか
  • ☐ SEO系のプラグインの設定に、サイトマップの生成をオン・オフする項目が無いか。あるなら、それがオンになっているか

両方がオフになっていたら、どこからもサイトマップが出ていません。片方をオンに戻せば解決します。自社で触るのが不安な場合は、この記事の手順1〜3の結果を控えて、制作会社に「robots.txtのサイトマップURLが404です」と伝えてください。

それだけで話が通ります。

以下に確認の流れをまとめました。

確認項目正常な状態異常なら
robots.txtにSitemapの行がある行がある手順4へ
そのURLを開ける記号やタグの一覧が出る404・記事ページが出たら異常
Search Consoleでサイトマップが「成功」成功と表示送信し直す/手順4へ
インデックス登録済みページ数公開本数と近い大きく少なければ要調査
テーマの停止スイッチオフ(または代替あり)組み合わせを確認
SEOプラグインのサイトマップ機能オン(または代替あり)組み合わせを確認

直すときにやったこと、あえてやらなかったこと

設定は1か所だけ変えて、前後で差分を確認した

原因が分かったあと、すぐに設定を戻したくなりました。ただ、ここで一つ気をつけたことがあります。テーマの設定画面は、項目が非常に多く、保存ボタンを押すと画面全体の設定がまとめて書き込まれる作りでした。

一つのスイッチを戻すつもりが、他の項目まで巻き込んで上書きしてしまう可能性があります。そこで、保存する前に設定の内容を控えておき、保存後に見比べました。変わっているのが目的の1項目だけであることを確認してから、次に進んでいます。

地味な作業ですが、サイト全体の表示が変わってしまう事故はこれで防げます。設定変更を依頼する側の方も、「変更前の設定を控えておいてください」と一言添えるだけで、かなり安全になります。

サイトマップを直しても、順位はすぐには上がらなかった

ここは誇張せずに書きます。サイトマップを復活させた直後に、検索順位が上がったわけではありません。変化として確認できたのは、それまで表示回数がゼロだった記事のいくつかが、数週間のうちに表示回数を持ち始めたことです。

順位はまだ低いままです。クリックにつながっているとも言えません。つまり、この作業で起きたのは「土俵に乗った」というところまでです。

そこから先は、記事の中身や、サイト内のリンクの張り方など、別の打ち手が要ります。逆に言えば、土俵に乗っていない状態でいくら記事を書いても、積み上がるものがありませんでした。その意味では、順番としてここが先です。

できなかったこと:確認の自動化

やろうとして、できなかったこともあります。「各ページが検索エンジンに登録されているか」を自動でチェックする仕組みを作ろうとしました。ツールの機能としては存在するのですが、私たちの環境では必要なデータが取得できず、断念しています。

結局いまも、管理画面を人が開いて確認する運用のままです。この手の作業は、全部を自動化しようとすると、かえって時間を使います。

月に1回、5分だけ人が見る。それで十分に間に合う種類の確認です。

やめたこと:「原因を一つに決めつける」こと

もう一つやめたことがあります。サイトマップが原因だと分かったとき、「これが全部の原因だった」と結論づけたくなりました。ただ、調べていく中で、他にも要因は見つかっています。

  • 似たテーマの記事が複数あり、検索エンジンから見てどれを出せばよいか分かりにくくなっていた
  • 記事から他の記事へのリンクがほとんど張られていなかった
  • 文字数が他の記事の3分の1程度しかない記事が固まって存在していた

原因を一つに決めると、他の要因が見えなくなります。「サイトマップは直した。他にも要因はある」と並べたまま持っておくほうが、結果的に早く進みました。

同じ状態を作らないための運用

公開時に一度だけ見る

記事を公開したあと、数日してからSearch Consoleの「URL検査」に、その記事のURLを入れてみてください。「URLはGoogleに登録されています」と出れば大丈夫です。出ない場合も、公開直後であれば時間の問題であることが多いので、慌てる必要はありません。

2週間たっても登録されない記事が続くようなら、土台側を疑う合図です。

月に1回の点検項目

毎月1回、次の3つだけ見る運用にしています。

  • ☐ robots.txtのサイトマップURLが開けるか
  • ☐ Search Consoleのサイトマップが「成功」のままか
  • ☐ インデックス登録済みのページ数が、公開本数から大きく離れていないか

3分で終わります。サイト改修やプラグインの更新のあとは、必ずこれを実施します。不具合は、更新のタイミングで静かに入り込みます。

担当が変わるときに引き継ぐこと

冒頭に書いたとおり、私たちが気づけなかった最大の理由は「誰も見ていなかった」ことでした。サイトの運用を外部に委託している場合も、社内で分担している場合も、次の点だけは決めておくことをおすすめします。

  • ☐ サイトマップとインデックス状況を誰が確認するか
  • ☐ どのくらいの頻度で確認するか
  • ☐ 異常を見つけたときに誰に連絡するか

この3行を決めておけば、半年間気づかないという事態は避けられます。

まとめ

自社サイトで起きたことを整理します。

  • 記事を書いても検索から人が来ず、原因を「記事の質」に求めていた
  • 実際には、複数の記事が半年間まったく検索結果に表示されていなかった
  • 原因は、検索エンジン向けの目次であるサイトマップが存在しなかったこと
  • テーマ側は「プラグインが作る前提」で機能を停止し、プラグイン側はサイトマップを作らないタイプだった
  • どちらも単体では正常に動いており、エラーも警告も出ないため気づけなかった
  • 直したあとに起きたのは「表示され始めた」ところまで。順位が上がったわけではない

検索から人が来ないとき、記事の中身を見直すのは間違いではありません。ただ、その前に見つけてもらえているかどうかを確認する工程を入れてください。順番を逆にすると、私たちのように半年を使ってしまいます。

確認には15分もかかりません。この記事の手順1から4をそのままなぞっていただければ、自社サイトの状態はすぐに分かります。

株式会社Withでは、バックオフィス業務の代行から、広報・Webサイトまわりの運用・改善までを一括でお受けしています。「サイトの運用が担当者頼みになっていて、何が動いていて何が止まっているのか分からない」「人手が足りず、確認まで手が回っていない」

そうしたご相談も多くいただきます。

まずは現状を一緒に洗い出すところからでも構いません。ご相談は無料です。

ご相談・お問い合わせ

自社の場合はどう進める?
まずはお気軽にご相談ください

相談だけでも大丈夫です。いまの業務の状況をうかがい、進め方を一緒に整理します。

お問い合わせはこちら

株式会社With

〒812-0011
福岡県福岡市博多区博多駅前1丁目23番2号
ParkFront博多駅前1丁目5F-B

info@with-corp.info

https://with-corp.info/

SNS

株式会社With

〒812-0011
福岡県福岡市博多区博多駅前1丁目23番2号
ParkFront博多駅前1丁目5F-B

info@with-corp.info

https://with-corp.info/

SNS