サイトエクスプローラーを使ってみよう!
インデックス状況の確認!
続いてYahoo! JAPANでの管理サイトの登録状況を確認しましょう。登録状況を確認する場合は、画面上部の「インデックス統計」をクリックします。この画面はダッシュボードとなっており、サイト全体のインデックス概要が把握できます。
「検知されたページ数」は、Yahoo! JAPANが採用する検索エンジンYST(Yahoo! Search Technology)が認識しているページ数です。巡回(クロール)されたページ数は、実際にクロールされているページ数です。2009年1月上旬から、米Yahoo!が提供しています。
両者の数字が乖離(かいり)している時は、認識はしているが、何らからの原因(重複など)で、クロールをしていないことを意味しています。この理由としては、「robots.txtでインデックスを除外している」や「動的URLのためにクロールしていない」などが考えられます。
「このサイトにリンクしているサイト数」と「このサイトのドメインにリンクしているドメイン数」は、被リンク(バックリンク)の数です。両者は「サイト」単位と「ドメイン」単位の違いですが、後者のドメイン数でとらえた方がわかりやすいでしょう。
「このサイトからリンクしているドメイン数」と「このサイトのドメインからリンクしているドメイン数」は、自分のサイトからほかのサイトへ張っているリンク(アウトバウンドリンク)で、YSTが認識している数字です。
この画面では、自分が公開している情報のURL数と、実際にエクスプローラー(Yahoo!)でクロールされている数字の差に注目します。動的にページが生成されており、類似したコンテンツが多くなりがちなソーシャル・共有系サイトであれば、数は少なくても問題はありません。
しかし、商品ごとにURLを持ち、ユニークなコンテンツを持っているのに、公開情報点数とクロール済み数が大きく乖離(かいり)している場合は(5割以下)、サイト内部のリンク構造に問題がないか分析しましょう。
基本的に、サイト内のページが互いに何らかの機能でクロスリンクされていれば、問題は出ません。例えば、ある商品ページの中に「ほかのユーザーはこんな商品も買っています」といったコンテンツが含まれていると、結果としてサイト内部のリンク密度が上がり、深い階層のページもクロールされやすくなります。
インデックス状況の詳細を把握!
クロールに問題がある場合、どのページがクロールされ、どのページ(階層)がクロールされていないのかなど、詳細なクロール状況を把握し、原因を探る必要が出てきます。
こんな時は、「インデックス状況」の画面で確認します。この画面では、ドメイン内のページでYSTに認識されているページ一覧が、タイトル、URL、最終クロール日、言語設定の情報と共に表示されます。この情報はTSVやXMLでダウンロードも可能です。
この画面では、最終クロール日がわかるので、自分のサイトのクロール頻度を把握するのに活用します。頻繁に更新されている、あるいは検索エンジンから高く評価されているサイトは、比較的クロールのインターバルが短いです。
また、言語設定を見て、自分のサイトが何語で認識されているかもチェックしましょう。日本語のページを公開しているのに他言語(英語など)で認識されている場合は、ページの文字コード宣言やファイル保存形式が間違っている可能性があります。
なお、インデックス状況画面の左上の「被リンク元のページ」をクリックすると、被リンク一覧も参照できます。この画面の並び順は、Yahoo!からの評価が高い(であろう)サイト順に並んでいるようです。中にはスパムページ(ワードサラダや自動生成ページなど)が含まれている場合があります。この時は、そのURLにチェックを入れ、画面最下部の「スパム報告」ボタンを押し、Yahoo!にスパムページであることを知らせましょう。