URLの削除とrobots.txt

URL削除の失敗の自分メモ。

12月18日 旧サイトのURLの削除 たぶん5~6時間ぐらいで反映?これは成功。
12月18日 新サイトのURLの削除 これはものすごく失敗。
pageとかアーカイブ、カテゴリをウェブマスターツールでURLの削除リクエスト。
悪い予感がしてpage以のカテゴリ、アーカイブはキャンセルする。
pageは削除されていた。(これはキャンセルしてなかったので)
キャンセル後にアーカイブのとんでもない記述間違いに気がつく。
URLの削除ツールのリクエストは
/2012/11/
/2012/12/
robots.txtは
Disallow: /2012/   
*パーマリンクが/yyyy/mm/ddhhmmss/なので全記事削除になってしまう間違い。
(ブログは2012年11月から始めたので)
URLの削除リクエストはキャンセルしてたので、アーカイブは削除されていないがrobots.txtが困ったことに。
Disallow: /2012/を削除したが、クローラにキャッシュが残ってしまった。
Fetch as Googleエラーになる。
サイトマップ送信もエラー。
リクエスト漏れしていたpageをURLの削除にリクエストする。
でもすぐにまたキャンセルした。

12月19日
もう最悪パーマリンクが来年の/2013/01/01000000/になるまでインデックスされなくてもいいやとも思ったけど、気を取り直してやる。
でも今が1月とかでなくてよかったです。つまんないことでは運がいい。
pageをやっぱり削除するため、URLの削除リクエストする。
やった方がクローラが来てキャッシュを書き換えるんじゃないかとか、目安にもなると思って。

[22時間後?]
・pageが検索から削除されていた。
(URLの削除リクエスト一覧は保留のまま)

[24時間後」
・pageのURL削除の削除リクエストが実行された。
(一覧の保留から消える。)
・robots.txtのキャッシュが書き変えられたみたい。
 (ブロックされたURLの最終ダウンロード時間から推測)
・Fetch as Google成功。

[27~28時間後]
・Googleのインデックスに登録される。
 (2つ新しい記事をFetch as Googleしたので、登録されるのに時間差があった。)

[28時間後]
・ブロックされたURLのrobots.txtの最終ダウンロード表示が1日前→4時間前となった。

[29時間後あたり]
・ウェブマスターツールのサイトの状態のエラーが消えた。

[32時間後あたり]
・サイトマップ送信のテストのエラー消える。
 (警告:URL が robots.txt によってブロックされています。)

時々見たので、時間は大体です。
あとでやったpageのURLの削除は、効果なしみたい。結局24時間かかるみたいだ。
クローラのrobots.txtのキャッシュ、URLの削除、Fetch as Google、ブロックされたURL、サイトの状態、サイトマップの送信にタイムラグがあるみたい。
キャッシュが書き換えられるまでクローラーはルートと/feed/だけ7回来てた。

コメントを残す

メールアドレスが公開されることはありません。

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>