robots.txtによりURLが制限されています(ウェブマスターツール)

公開日: 2014年02月14日
最終更新日: 2015年06月13日

ダメ。絶対

グーグルウェブマスターツールでsitemap.xmlを送信した際、「robots.txtによりURLが制限されています」と表示されて少し困ったので、エラー発生から解決までの一連の流れをご紹介します。結論は「とりあえず待つ」。

もくじ

robots.txtによりURLが制限されています

前回、sitemap.xmlを作成するGoogle XML Sitemapsの設定 でsitemap.xmlを自動作成&検索エンジンへの通知をするように設定しました。

また、Wordpressの設定で「検索エンジンがサイトをインデックスしないようにする」のチェックを外しました。
検索エンジンがインデックスしないようにする

そして、1番最初だけグーグルウェブマスターツールからsitemap.xmlを手動で送信しておこうと思い、送信してみたのです。

すると・・・
robots.txtによりURLが制限されています

説明
「サイトマップにアクセスしようとした際にエラーが発生しました。サイトマップがガイドラインに従っており、指定した場所からアクセスできることを確認してから、再送信してください。」


robots.txt により URL が制限されています

ウェブマスターツールのトップページでも以下のように表示されていました。
サイトの状態に重要な問題が発見されました。

サイトの状態に重要な問題が発見されました。

ほうほう…

重要な問題を確認するために、「サイトの状態を確認する」をクリックすると、このような画面に。
重要なページがrobots.txtによってブロックされています

サイトのヘルスチェック
robots.txt が重要なページをブロックしているかどうかをチェック

詳細
重要なページが robots.txt によってブロックされています。

ということなので、「robots.txt が重要なページをブロックしているかどうかをチェック」をクリックしてみました。
ブロックされたURL

( ゚д゚) ・・・?

パチパチパチ

「robots.txtによりURLが制限されています」

カチッ

Google検索

はい、分からない時は手探りで作業してしまわず、潔くGoogle先生に聞いてみます。

するとこのような記事を見つけました→robots.txtの更新は1日程度反映されないので公開前には注意を | ウェブマスターがウェブのことを書いたら

リンク先のページに書かれていることを一言で要約すると、
robots.txtの更新は、反映まで1日程度かかります
ということみたいです。

タイトルのままですねw

つまりは、今までWordpressの設定で「検索エンジンがサイトをインデックスしないようにする」にチェックを入れていて、今日になりそのチェックを外したものの、それによるrobots.txtの更新がまだ反映されていないということだと思います(たぶん)。

ちなみに、「検索エンジンがサイトをインデックスしないようにする」にチェックが入っている状態と、入っていない状態では、robots.txtが以下のように違います。

①robots.txt(チェックが入っている状態)

User-agent: *
Disallow: /

下矢印

②robots.txt(チェックが入っていない状態)

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

http://inosh.jp/robots.txt にアクセスすると、ちゃんと②のようなコードになっていますので、robots.txtには問題ないはずであることが分かります。

ということで、とりあえず数日間は様子かなーって感じですね。

1日~2日程度放置してみて、それにより問題が解決するような気がしますので、明日か明後日くらいに↓の方に追記します。

ちなみに現在は、2014年2月14日、19:05でございます。
あ、バレンタイン?

・・・(°_°)

ということで、本日はここまでです。
2/15~2/16にはインデックスの結果を追記しますね~。

半解決しました(2/15 16:40追記)

半解決しました。

一応、どう解決したのか以下に記しておきます。

グーグルウェブマスターツールにログインする。
その時点で、表示はこのまま↓
サイトの状態に重要な問題が発見されました。

サイトのURLをクリックして「サイトのダッシュボード」を表示させた後に、「クロール」の「サイトマップ」をクリック。
サイトのダッシュボード

右上にある「サイトマップの追加/テスト」をクリック。
サイトマップの追加/テスト

サイトマップのURL(通常は「sitemap.xml」)を入力し、「サイトマップを送信」をクリック。
サイトマップを送信

サイトマップの送信が完了したら、「ページを更新する。」をクリック。
ページを更新する

すると、このようにXMLサイトマップがちゃんと読み込まれました。
ウェブマスターツールの管理画面

昨日はこれをしても、エラーのままだったんですよね^^;

「問題の件数」のところに「警告数: 20」などと表示されていますが、これはGoogleのクローラーが巡回に来てくれた後に消えると思います(たぶん)。

たぶんじゃいけないので、一応クローラーが巡回してくれた後の結果もまた、後日↓↓の方に追記しておきますw

全解決しました(2/17 13:30追記)

全解決しました。

2月17日13時30分現在、グーグルウェブマスターツールにログインしてinosh blogのサイトマップの部分を見てみると、このようになっていました↓
グーグルウェブマスターツールのサイトマップ確認画面

問題の件数の部分には相変わらず「警告数: 20」と表示されていますが、1番右の「インデックスに登録済み」の部分が「2」となっていますね。

実際にGoogle検索で「inosh blog」と検索すると、2つ以上の記事がインデックスされていました。

よーし後は全部インデックスされるまで待つだけだぞー。って感じなのですが、「警告数: 20」と表示されたままなのは気持ち悪いですよね。

ってことで、もう一度、右上の「サイトマップの追加」からサイトマップを送信してみました。

すると
警告数の表示が消えた

消えました(*´ω`*)

もうこれで何の心配もすることなく、ブログの全記事&カテゴリーがインデックスされるのを待つのみですね!

結論

とりあえず、待つ。

こういうのって、ちゃんとした知識がある方は理論的に今置かれている状況がどういう状況なのか分かるのでしょうが、私のように知識がない人間は「何でそうなっているのか」というのが理解出来ません。

が、Webサイトやブログなどを長年運営していると、「これは放っておけば解決する」とか「これはたぶん何か修正しないと解決しない」というのが何となく勘で分かるようになります。(見事に外れることもありますが)

SEOでも一緒で、わりとWeb運営において「とりあえず待つ」というのは重要だったりします。

私の場合、ドメインをロリポップからエックスサーバーに引っ越した際に、「待つ」ことが出来てなくて四苦八苦したことがありました^^;

Webに関わることは何事も反映されるまでに時間がかかることも多いので、知識や勘が身に付くまでは「困ったときは待つ」とか「困ったときは情報収集」に徹するのが良いと思います。

困ったからといって焦ってあれこれ手を出してしまうと、待っていれば解決していたものを余計にややこしくしてしまうことがあります。(私はそうでした)

「やることやったら待ってみる」というのも、Web運営における立派な作業の1つです。

\(^o^)/ ぼっけぇシェア \(^o^)/

この記事へ10件のコメント

  1. 匿名
    2015年11月5日 15:25

    非常に参考になりました。ありがとうございます。

    • inosh
      2015年11月9日 1:59

      いえいえ、とんでもございません。「待てばOK」の5文字で済むものをダラダラと長く書いてしまい恐縮ですが、少しでも参考になりましたようでしたら幸いです。コメントありがとうございました。

  2. kaz
    2016年4月22日 11:38

     ワードプレス初心者ですので、大変参考なりました、いくら考えても、検索で調べても解決付かないままでした、もうあきらめて、止めようかとも思いましたが、あなた様の記事を拝見して、安堵感に浸って居ます。
    ありがとうございました。

    • inosh
      2016年6月3日 15:08

      良かったです。ワードプレスは始めたばかりだととても難しいですよね。私もまだまだ勉強中の身ですが、ともに頑張っていきましょう!

  3. 匿名
    2016年8月15日 20:06

    ありがとう!! 超初心者の自分でもわかりましたwww 

    • inosh
      2016年8月20日 7:17

      お役に立てたようで良かったです!w

  4. ななし
    2016年9月12日 0:54

    非常にわかりやすいです。この記事を書いてくださってありがとうございます。普段コメントを残したりしないのですが、一言お礼言いたくてお邪魔しました。本当にそれだけです。失礼致しました。

    • inosh
      2016年9月13日 15:15

      コメントありがとうございます。失礼だなんてとんでもないです、嬉しいです。お役に立てましたようで良かったです!

  5. 匿名
    2016年11月2日 10:25

    私も同じ現象で意味がわからず、エラーを見た時お目目パチパチ状態で四苦八苦しておりました。
    大変わかりやすい記事で参考になりました。

    • inosh
      2016年11月2日 13:47

      ありがとうございます!お役に立てましたようで良かったです。

コメントを残す

サブコンテンツ
ページトップへ戻る ページエンドへ進む