晴練雨読さん(http://www.seiren-udoku.com/)の「SEO記事リミックスRSSリーダー」を毎日利用しているのですが、これがまた大変便利です。
SEOに関する記事をまとめて表示してくれるというもので、大変多くの記事が毎日紹介されています。
多分ここを見ておけばSEO関係の知識はかなり身につくんじゃないかなと思います。
adwordsなどの情報も入っているので、SEOというかSEMのような感じもしますが...。
加えて、こちらの「SEOツール」もかなり使えます。
サイトとキーワードを登録すると、Yahoo!とgoogleでの順位、バックリンク、インデックス数が記録されていきます。
検索順位等のデータはダウンロード可能で、自分で分析も行えます。
しかも上記のランキングをメールで知らせてくれる機能までついています。
至れり尽くせりです。
SEOに興味のある方、是非チェックしてみてはいかがでしょうか。
モバイルSEOをする上で様々な制限をかけている場合、
その制限の所為で検索エンジンのクローラーが正常にサイトをクロールできない現象が起こります。
その中で必ず確認しなければならないものが以下の3つ。
もしIPで携帯以外のアクセスを制限していた場合、クローラーも同時に弾かれることになります。 携帯は各キャリアがIP帯域を公開していて携帯のIPのみを許可することが容易なため、結構落とし穴です。 この場合は検索エンジンのクローラーIPを開放することでクロールしてくれるようになります。 クローラーIPは公式で公開されていないので、追いかけるのが超めんどいです...。
UserAgentでアクセスを制限している場合、クローラーのUserAgentも開放してあげないとクロールする前に弾かれてしまいます。 UserAgentはIPよりは把握が楽です。（Yahoo!モバイルは公式で公開してるし）
機種別に見せるページを変えている、アクセス制限をしている場合、これもクローラーが弾かれる原因になります。 なぜなら各モバイル検索エンジンクローラーは機種情報を付与しつつクロールに来るからです。 つまり、携帯に成りすましてクロールに来ていると言うこと。 なのでクローラーが成りすましている機種にアクセス制限がかかっていると、内部が見られないためインデックスされても「対応していない機種なのでアクセスできません...うんたら」のページしかインデックスされない状況に。 この偽装している機種も公式で公開していないので全ての把握が難しい＆めんどいです。
Yahoo!
つまるところ、「Googlebot」とついているクローラー全てがブロックされると言うことです。
http://www.google.co.jp/support/webmasters/bin/answer.py?answer=40364
まさかとは思ってたけど、公式にあるなんて知らなかった...とんだ盲点ozn
対処法として
Googlebot をブロックして、Googlebot-Mobile など他の Google ロボットを許可する場合、Allow ルールを使用して特定のロボットにアクセスを許可することができます。 たとえば、次のように指定します。
User-Agent: Googlebot
Disallow: /
User-Agent: Googlebot-Mobile:
Allow:
ってのがあるんですが、ちょい怪しいんじゃないかな...。
携帯サイトめんどくさー！
現在モバイルSEOのテスト用にDocomoのDOCTYPE宣言を入れたxhtmlのページを泳がせているんですが、
ログを見ていたらクローラーの中でこんなやつがいました。
IP： 209.191.126.182
HOST: cr06.wap.search.mud.yahoo.com
UA: lwp-trivial/1.41
HOSTからしてどうやらYahooのモバイルクローラー？（wapってあるし。でも情報が少ないからなんとも）
しかしUAが違うしなあ...と思って調べていたら、
このUAはperlがページを取得した時に残されるもの(LWP::Simple)とのこと。
mixiのRSS fetcherも以前はこれだったとか、そうでないとか。
とにかくこのクローラー、ひたすらrobots.txtとサイトマップをセットで拾っていきます。
Whois見ても本物のYahooの様なので、ちょい様子見で。
