サイトエクスプローラーを使ってみよう！

動的URLの設定！

　ナビゲーションの「動的URL設定」で操作できることは、動的URL（引数を持つURL、例えば、http://～/store?pcategory=digicame&maker=sany&pid=0123）のルールをYSTに認識させて、効率よくページをインデックスさせるための機能です。

　URLには、表示するコンテンツに影響を与えるパラメータと影響がないパラメータがあります。後者は、トラッキング用やセッションIDのパラメータが該当します。コンテンツが同一なのにパラメータを持つURLが多数あると、検索エンジンは類似コンテンツを延々とクロールし続けるため、サーバーに無駄な負荷がかかります。

　また、検索エンジンはURL単位で被リンクを評価します。パラメータが異なる複数の同一コンテンツからリンクが張られると、サイト内のお互いのページで、キーワードとの関連性を争うことになり、「サイト内競合」が発生します。

　さらに、パラメータが異なるURLにリンクが分散し、検索順位が上がりにくくなります。この「リンク分散」は、旅行や総合ショッピングサイトなどの「ロングテール理論」があてはまる業界で影響が出てきますので、注意してください。

　もし現状においてインデックスに問題がある場合は、本機能を利用します。動的URL設定は、特定文字列を「非表示にする」または「値を固定する」という指示を出すことができます。

　例えば、「store?pid=0123&sessionid=98765」というURLがあった時、この画面で「sessionidは非表示」とすると、自動的に「store?pid=0123」と書き換えられ、検索エンジンに反映されます。同様に、「/sem?tracking=blog」というURLの「tracking」に文字列「sss」と指定すると、自動的に「tracking」引数を持つURLは「sem?tracking=sss」に書き換えられます。

インデックスの非表示！

　最後に「インデックス操作」について解説します。インデックス操作とは、特定のページ（URL）を検索結果に表示させなくする方法です。

　「インデックス状況」の画面を開いて、非表示にするページの左側のボタンを押し、最後に画面一番下の「検索結果で非表示」をクリックします。自分が非表示に設定しているページは「インデック操作」の画面に一覧表示されます。通常は48時間以内で反映され、最大25ページを指定できます。

　なお、検索結果から非表示にしても、Yahoo!は引き続きクロールをし続けますので注意してください。基本的に問題のあるページは、サーバーから該当ファイルを削除するか、robots.txtで該当ファイル（またはディレクトリ）のクロールを禁止することをお勧めします。インデックス非表示は、robots.txtやMETAタグによるクローラ拒否の代替機能ではないからです。

　以上、ざっとエクスプローラーの仕様について見てきました。GoogleとYahoo! JAPANでは、検索エンジンの性能や仕様が異なるため、挙動や効果がまったく違います。

　例えば、Googleはサイトマップを送信することでクロールが大幅に改善されることが確認できていますが（2009年1月時点）、Yahoo! JAPANはサイトマップの有無による差はそれほどありません。

　動的URL設定は、エクスプローラーでしか提供されていない機能ですが、Googleではアルゴリズムで自動判定・処理しているため、設定が不要です。

　両者ともに、インデックス数や被リンク数があいまいですが、全情報を公開しているわけではなく、あくまで傾向を把握するためのものです。取りあえず利用してみたい方は、サイトマップを送信してみるところからはじめてみてはいかがでしょうか。


【参考文献】

「Informing search engine crawlers」（http://www.sitemaps.org/protocol.php#submit_robots）（アクセス：2008/02）

「Yahoo!サイトエクスプローラー」（https://siteexplorer.search.yahoo.co.jp/）（アクセス：2008/02）

「Yahoo!が対応しているサイトマップのフォーマット」（http://info.search.yahoo.co.jp/archives/002860.php）（アクセス：2008/02）