Google Search Consoleにサイトマップを送信したのに、
「取得できませんでした」
と表示されて困っていませんか？
私も新しくWordPressサイトを立ち上げ、Search Consoleにサイトマップを登録したところ、同じエラーが発生しました。
サイトマップ自体はブラウザで問題なく表示されるのに、Search Consoleでは「取得できませんでした」と表示される状態です。
結論からいうと、私の場合は設定を変更する必要はなく、各項目を確認したうえで時間を置いたところ、最終的に「成功しました」へ変わりました。
この記事では、実際に私が確認した内容をもとに、初心者でも分かるように順番に対処方法を紹介します。
「取得できませんでした」とは？
Search Consoleのサイトマップには、大きく分けて、
- 成功しました
- 取得できませんでした
- サイトマップにエラーがあります
といったステータスが表示されます。
「取得できませんでした」は、Googleがサイトマップファイルを正常に取得できなかった状態です。
ただし、表示されたからといって、すぐにWordPressの設定を変更する必要があるとは限りません。
Googleの公式ヘルプでも、サーバーの一時的な問題などによって取得できないケースがあり、一時的なエラーの場合は時間を置いて確認する方法が案内されています。
そのため、設定を変更する前に、以下の項目を一つずつ確認していきましょう。
1．サイトマップ自体が開けるか確認する
最初に確認したいのが、
「そもそもサイトマップが存在しているのか？」
という点です。
WordPressには標準のXMLサイトマップ機能があります。
私のサイトでは、
https://hitoriweb-ai.com/wp-sitemap.xml
を使用しています。
自分のサイトの場合は、
https://あなたのドメイン/wp-sitemap.xml
をブラウザのアドレスバーに入力して確認してみてください。
サイトマップが正常に表示されれば、少なくともURLが完全に存在しない状態ではありません。
反対に404エラーなどが表示される場合は、サイトマップURLが間違っていないか確認しましょう。
私の場合
ブラウザからサイトマップへアクセスすると、WordPressの「XML サイトマップ」が正常に表示されました。
つまり、
「サイトマップそのものが存在しない」
ことが原因ではないと判断できました。
2．robots.txtを確認する
次に確認したのが「robots.txt」です。
robots.txtとは、検索エンジンのクローラーに対して、
「この場所にはアクセスしていい・しないでほしい」
といった指示を伝えるためのファイルです。
サイトマップがrobots.txtによってブロックされていると、Googleが取得できない原因になります。
自分のサイトのrobots.txtは、
https://あなたのドメイン/robots.txt
へアクセスすると確認できます。
私の場合は以下のようになっていました。
User-agent:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://hitoriweb-ai.com/wp-sitemap.xml
この状態では、サイトマップへのアクセスを禁止する記述はありませんでした。
そのため、robots.txtも変更しませんでした。
3．サーバー側のアクセス制限を確認する
サイトマップとrobots.txtに問題がなければ、次にサーバー側も確認します。
私の場合はConoHa WINGを使用しているため、
- WAF
- IPアクセス制限
- WordPressのセキュリティ設定
などを確認しました。
WAFとは？
WAFは「Web Application Firewall」の略で、Webサイトへの不正なアクセスや攻撃などを防ぐ仕組みです。
ただし、
「Search Consoleで取得できない＝WAFをOFFにする」
という意味ではありません。
私の場合もWAFはONのままでした。
ログなどを確認しても、サイトマップへのGoogleのアクセスがWAFによって明確にブロックされている証拠は確認できませんでした。
そのため、WAFはOFFにしていません。
IPアクセス制限も確認
ConoHa WINGのIPアクセス制限も確認しました。
私の場合はブラックリストが空だったため、ここにも問題は見つかりませんでした。
サーバーのセキュリティ設定はサイトを守る重要な機能です。
原因が分からない段階で、むやみにOFFにするのは避けた方がいいでしょう。
4．Search Consoleの「公開URLをテスト」で確認する
次にSearch Consoleの「URL検査」を使って、Googleが実際にサイトへアクセスできるか確認しました。
Search Console上部にあるURL検査欄へ自分のURLを入力します。
その後、
「公開URLをテスト」
を実行します。
私の場合は、
「URLはGoogleに登録できます」
「ページをインデックスに登録可能です」
と表示されました。
つまり、Googleが通常のページへアクセスできない状態ではないことが確認できました。
なお、
「公開URLをテスト」と「インデックス登録をリクエスト」は別の機能です。
確認のために何度もインデックス登録をリクエストする必要はありません。
5．問題が見つからなければ時間を置く
ここまで確認して、
- サイトマップがブラウザで開ける
- robots.txtでブロックされていない
- サーバー側に明らかなアクセス制限が見つからない
- Googleが通常のページへアクセスできる
という状態なら、一度時間を置いてみるのも選択肢です。
Googleは、サイトマップの取得に失敗した場合でも、その後数日間は再度取得を試みる場合があると説明しています。
私の場合も、ここで余計な設定変更をせずに待ちました。
実際に「取得できませんでした」から「成功しました」になった
今回、私のWordPressサイトでは最初、
「取得できませんでした」
と表示されていました。
サイトマップの詳細を確認すると、
「サイトマップを読み込めませんでした」
となっており、検出されたページ数も0でした。
そこで、
- サイトマップをブラウザで確認
- robots.txtを確認
- WAFを確認
- IPアクセス制限を確認
- Search Consoleで公開URLをテスト
- 問題が見つからなかったため待つ
という順番で確認しました。
そして時間を置いて再びSearch Consoleを確認すると、
「成功しました」
に変わっていました。
さらに、サイトマップからページも正常に検出されていました。
結果として今回は、WordPressやサーバーの設定を変更する必要はありませんでした。
やらなくてよかったこと
今回の経験から、エラーが表示された直後に設定を大きく変更する必要はないと感じました。
特に私は以下の操作をしませんでした。
サイトマップを何度も送信する
エラーを見ると再送信したくなりますが、原因を確認せず何度も操作するより、まず現在の状態を確認した方が原因を切り分けやすくなります。
インデックス登録を何度もリクエストする
サイトマップの取得と、個別ページのインデックス登録は同じものではありません。
WAFをすぐOFFにする
セキュリティ機能なので、明確な原因が確認できていない状態でOFFにする必要はありません。
robots.txtをとりあえず変更する
問題のないrobots.txtを変更すると、別の問題につながる可能性があります。
SEOプラグインを追加する
今回使用していたのはWordPress標準のXMLサイトマップです。最終的に正常取得されたため、エラー解消のためだけに新しいSEOプラグインを導入する必要はありませんでした。
それでも「取得できませんでした」が直らない場合
時間を置いても改善しない場合は、もう少し詳しく原因を調べる必要があります。
たとえば、
- サイトマップURLが正しいか
- Googlebotがrobots.txtでブロックされていないか
- サイトマップがHTTPエラーを返していないか
- XMLの形式に問題がないか
- サーバーやファイアウォールがGooglebotをブロックしていないか
などを確認します。
Search Consoleのサイトマップ詳細画面に具体的なエラーが表示されている場合は、その内容から原因を絞り込んでいきましょう。
Google公式ヘルプでは、URL検査のライブテストを利用して、
「クロールを許可？」→「はい」
「ページの取得」→「成功」
となっているか確認する方法も案内されています。
まとめ
Search Consoleでサイトマップが「取得できませんでした」と表示されても、すぐに設定を変更する必要があるとは限りません。
まずは、
サイトマップをブラウザで確認
↓
robots.txtを確認
↓
サーバーのアクセス制限を確認
↓
Search ConsoleでGoogleからアクセスできるか確認
↓
問題がなければ少し時間を置く
という順番で確認してみてください。
私の場合は、この方法で確認したあと設定を変更せず待ったところ、最終的にサイトマップが「成功しました」へ変わりました。
Webサイトを運営していると、今回のように「エラーが出たけど何を触ればいいのか分からない」という場面が何度も出てきます。
このサイト「ひとりWeb担当ラボ」では、実際にサイトを運営しながら発生したトラブルや設定方法を、Web初心者にも分かるように紹介していきます。
