検索エンジンに関する新たな発見

検索エンジン(Google)に関して新たな発見をしましたので報告したいと思います。
また、以前言った更新ネタの4番目もここで扱います。
(3はまだ記事にしていません)

事実を端的に書き並べますので長くなりますが、SEOに関するヒントになるかもしれません。



私は今現在、独自ドメインを2つ持っています。

両方ともほとんど運用していなくて一部を除いて休止中なのですが、ふと自分の独自ドメインを検索エンジンで調べてみたら意外なことが分かったのです。

結論から言いますと、どこからもリンクされていないはずのページが検索エンジンにクロールされて、インデックスされたのです。

yahooとtestという仮のURLを使って説明します。(他のドメイン使おうと思いましたが避けます)

仮に私がyahoo.comを持っているとします。
私はhttp://test.yahoo.com/というサイトを作ってそれは他のページからリンクされていますので検索エンジンに登録されています。

ですが、そのどこからも本家のhttp://yahoo.com/にはリンクを張っていません。(インデックスファイルが置いてあるだけ)
それなのにhttp://yahoo.com/Yahoo(YST)MSNGoogleにインデックスされたのです。

・・・・・・
もしかしたら誰かがどこからかリンクを張っている可能性もありますが(リンク元を調べても出てきません)、まさかそんなことをする人はいないでしょう。
考えられるのは、ドメイン検索などのプログラムによって自動的にリンクが張られている場合です。しかしこれも違うでしょうね。
何故かというと、私が持っているもう1つのドメインとで違いが見られるからです。
wwwのありなしなどの点です(長くなるので省略します)


どちらにせよ、アクセス解析を見ても確かにクロールは来ているけども参照元(リンク元)がありませんから、外部からリンクされているのが原因ではないでしょうね。

サイトURLをYahooMSNGoogleに1つ1つ申請する人がいるはずはないですしね。

とすると、サブドメインや個別ページで運用しているサイトがクロールされると、リンクが張られていなくても本家のドメインURLまでクロールするのではないか

あるいは、ドメイン名で何度も検索をかけたりすると、そのドメインURLをインデックスするようになるのではないかということが考えられます。(この可能性が高い?)

実際、Googleツールバーはそういう訪問者の動きを見ているようですしね。



妙なことに、www付きのhttp://www.yahoo.com/までがGoogleにインデックスされていました。
そのドメインはwwwなしで統一していますから、自動的にhttp://yahoo.com/に転送されます。

普通は検索エンジンではwwwのありなしはどちらかに統一されて表示されます。
それが統一されることなく、両方存在しているのです。



どちらかに統一されて表示される点はindex.htmlのありなしでも同じです。
http://www.yahoo.com/index.htmlありで検索しても、http://www.yahoo.com/とindex.htmlなしの形で統一されて表示されます。


Su-Jineさんのコラムを見ると分かるように、
http://yahoo.com/index.html

http://yahoo.com/
はファイルは同じでも別のURLだと認識されていることがわかっています。
しかし、実際に検索エンジンの表示では後者のURLに統一されています。

つまり、
http://yahoo.com/index.html
は自動的に
http://yahoo.com/
として扱われます。

ですから、これから考えるとトップページは
http://yahoo.com/index.html
ではなく
http://yahoo.com/
で統一した方がいいでしょうね。


また、スラッシュについては面白いことが分かっています。
http://yahoo.com/
http://yahoo.com
のスラッシュの有無については統一されて扱われますが、
http://yahoo.com/test/
http://yahoo.com/test
のようにサブディレクトリがあったりするとそれぞれの検索エンジンで異なります。

なんとGoogleで
http://yahoo.com/test/
がインデックスされていても、
http://yahoo.com/test
と検索しては出てこないのです。
Yahooでは両方有効ですが、
http://yahoo.com/test
という形で統一されます。

つまり、
http://yahoo.com/

http://yahoo.com
は両方有効であるけれども、

http://yahoo.com/test/
では出てくるが
http://yahoo.com/test
では出てきません

これはGoogle.co.jpとGoogle.comに限った話で、他のGoogle系列(Goo、Excite、infoseekなど)やYahooなどではちゃんと両方出てきます。
Yahooの場合は、URLの最後のファイル名の後にスラッシュが付かないのが特徴です。

この他にも色々見てみますと、YSTとGoogleでは小さな違いがいくつもあることがわかります。

あと、Google系列はGoogle本家に比べるとインデックス能力が弱いです。
ですからGoogle本家でインデックスされているからといって他でもちゃんとインデックスされているとは限りません。



SEOをやっている方は知っている人が多いと思いますが、Su-JineさんのSEOコラムは役に立つ情報が多いので目を通しておくことをおすすめします。

更に、Google.co.jp本家のサイトのコーナー
Googleの通説と事実
サーチ エンジン最適化プログラム
なども一読しておくといいと思います。

特にGoogleでは「不正なリダイレクトを使って、ユーザーを1つのサイトに集中させるシャドードメイン」について厳正に取り締まっているようです。


blog by ハヤ 2005年06月20日 | コメント(8) | SEO・アクセスアップ
 
この記事へのコメント
ハヤさん、こんにちは
非常に面白い記事で何度も読み返してしまいました。
www有り無しとかになってくると、DNSサーバー、ワイルドカード、Apacheの設定など、サーバー側の設定まで気にしないといけなくなってくるんですかね?
いつも有益な情報ありがとうございます。
Posted by kodukai88 at 2005年06月21日 13:13
↑ちょっと分かりにくくてすみません。
サーバー側の設定によってサブドメインの個別サイトや本家サイトが検索エンジンにクロールされたりされなかったりが影響でしょうかね?
突き詰めていくとどこまでも行ってしまいそうです。
Posted by kodukai88 at 2005年06月21日 13:28
kodukai88さんどうも〜

わかりにくい記事ですみません、何度も読んでいただいて嬉しいです。

そうですね、サーバー側の設定や仕様によって変わってくるのかもしれません。

こういうときにサーバーやネットワークの専門知識があったらいいなと思ったりします。

>突き詰めていくとどこまでも行ってしまいそうです。

確かに(笑)
Posted by ハヤ at 2005年06月21日 23:55
はじめまして。
人気ブログランキングから遊びにきました。
私は ブログ初心者で、いろんな方のブログを拝見させていただいて なんとなくこちらのブログが良心的だなあって思いコメントさせていただいてます。
少しずつこのブログを最初から読んでいき勉強させてくださいね。
Posted by winwin-woman at 2005年06月22日 17:14
初めまして!今回情報起業で死ぬほど儲けるブログを始めました。
死ぬほど儲けている方々を紹介しています。是非参考になさって
下さい。それでは失礼します。
Posted by 情報起業で死ぬほど儲けるブログ at 2005年06月22日 18:23
>winwin-womanさん
はじめまして。
良心的だと言っていただいて、本当にありがとうございます。

「できる男のお洒落塾」とは面白いブログをやっていますね。
アパレル業界での経験を生かしてそういうブログをやるのは良いことですよね〜。

なんとなく興味あります(笑)

Posted by ハヤ at 2005年06月22日 21:16
はじめまして、Dioといいます。
おずさんの所から来ました。
突然ですが、相互リンクをお願いできますか?
こちらのブログにはすでにリンクを貼ってあります。もし宜しければ、ご検討ください。
宜しくお願いします。
Posted by Dio at 2005年06月23日 03:39
Dioさんはじめまして。
リンクありがとうございます!
こちらもリンクに追加させていただきましたので確認してみてください。
Posted by ハヤ at 2005年06月23日 21:36
コメントを書く
お名前: [必須入力] 12文字以内

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。

この記事へのトラックバック
【 アクセスアップの方法 】
Yahoo!リスティング広告
Yahoo!の検索結果に表示させるPPC広告です。インターネット集客の基本で、稼いでいる人の多くが行っています。Googleアドワーズに比べて審査が易しいのもポイント。
【 稼げるASP(アフィリエイトプログラム) 】 ASP登録はすべて無料
アフィリエイト B
後発ながら、今となっては有力ASPの1つ。スーパーアフィリエイターの多くが使用しており、実は稼ぎやすい仕組みと条件がそろっています。 最低支払額は低く、承認も比較的早い。 複数サイトの管理もOK。
アクセストレード
広告主の数は多め。ジャンルが幅広く使いやすい。モバイルにも対応しており、稼ぎやすいASPの1つ。
アフィリエイト の ジャネット
広告主も多く、振り込み手数料「無料」で支払ってもらえる。 成果もリアルタイムで確認可能。 複数サイトの管理もOK。
【 ブログ型サイト構築ツール 】
WordPress、MovableType
ブログ・CMSを貴サイトに導入できるツールです。これで管理も簡単に。
【 SEOテンプレート 】
賢威5.0
使っている人が多い有名なSEOテンプレートです。長期的に上位表示できる見栄えの良いサイトを作ることができます。
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。