Google Indexation ガイド: Google インデックスの問題、統計など
公開: 2017-04-04
多くの SEO コンテンツは、望ましい検索結果で上位に表示されることに重点を置いています。 検索結果 (つまり、Google インデックス) で上位にランクされなければ、オーガニック検索からサイトにトラフィックを誘導することはできないため、これは理にかなっています。 さらに、自然なトラフィックを促進せずに、ビジネスのリードと売上を促進することはできません. あなたがマーケティング エグゼクティブ、ディレクター、マネージャーなどである場合、これはおそらくあなたの主な関心事です。
目的の用語でランク付けするには、まず、Google インデックスに存在する必要があります。 むかしむかし、サイトをインデックスに登録するのはやや困難でした。 「サイト提出」は一般的なサービスでした。 ただし、現在、Google は新しいサイトを見つけるのが得意です。 たとえば、あなたが自分のサイトについてツイートしたり、プレス リリースを送信したり、事実上サイトにリンクされている人であれば、Google はあなたの存在を認識している可能性があります。 しかし、検索トラフィックを増やそうとした場合、サイトが成長するにつれて、さまざまな Google のインデックス登録の問題に遭遇する可能性があります。
非 SEO 担当者 (および SEO 担当者も同様) にとって、これらの問題の多くは依然として非常に混乱し、苛立たしいものです。 クライアントと SEO 監査を行うたびに、インデックス作成の問題、コンテンツの重複、Google のインデックスからページを削除する最善の方法などについて、少なくとも多少の混乱があります。
この Google インデックスの概要から期待できること
この記事では、マーケティング ゼネラリスト (SEO の基本的な知識があり、Web サイトへのトラフィックを増やす責任があるが、日々の Screaming Frog のクロールとリンク分析に詳しくない人) を支援しようとします。日単位) 理解:
- Google インデックスの仕組み。
- Google.com のさまざまなインデックス統計または「カウント」を解釈します。
- Google Search Console アカウントを理解する。
- 一般的なインデックス作成の問題 (つまり、ページがインデックスに登録されていない、またはインデックスに登録したくないページがインデックスにリークしている) に対する技術的な修正。
最初から始めましょう。
Google インデックスはどのように機能しますか?
Google の検索エンジンは非常に複雑です。 Google がどのようにページを見つけ、保存し、優先順位を付けるかについての詳細は、この記事の範囲を超えています。
大まかに言えば、Google はできるだけ多くの有用なページを見つける (またはクロールする) ことに懸命に取り組んでいます。 さらに、Google は、関連する検索結果を返すページを保存 (またはインデックス作成) するために懸命に取り組んでいます。 さらに、Google のインデックスは、検索者の検索クエリを最もよく満たす適切なページを返すことに懸命に取り組んでいます。 (副作用として、これはアルファベットの収益にも役立つ可能性がありますが、それは別の議論です)。
繰り返しますが、必要な高い（そして単純化された）レベルで：
- インデックスに登録された優れたコンテンツ (高品質で、検索者にとって有用であり、ビジネスにとって望ましいアクションを促進する可能性が高いサイト上のページ)。
- Google インデックスからの悪いもの (サイトに関連するトラフィックを誘導するのに役立つよりも、価値の低いページや内容の薄いページ、重複しているページ)。
注意すべきもう 1 つの点:インデックス化は、検索結果に表示されるものと必ずしも同じではありません。 Google は内部でページのインデックスを維持しています。 Google.com でトピックを検索すると、いくつかのページが表示されます。 これは、Google がインデックスに保持しているすべてのページであるとは限りません。 インデックスに登録されたページが実際に検索結果に表示されたり、クリックされてサイトにアクセスしたりすることはありません。
この記事の残りの部分では、自分のサイトのどのページがインデックスに登録されているかを分析し、マーケティング担当者がインデックスに登録されているページとされていないページを管理して最適化するためにできることを分析します。 さらに、Google のインデックス登録のしくみについて詳しく学習するためのリソースが多数あります。
- 検索エンジンの動作についての Moz のウォークスルー。
- Google インデックスの仕組みに関する Google 検索エンジニアのプレゼンテーションのいくつかの異なる内訳。
- これは、Google の仕組みを視覚的に表したものです。
インデックス統計について
多くの人にとって、自分のサイトに関するインデックス統計を見ると、かなり混乱する考えが生じます。 Google では、Google がインデックスに登録したサイトのページ数に関するサイトの統計情報を表示する 2 つの一般的な方法を提供しています。
Google.com のインデックス統計
Google でインデックスに登録されたページの数とページを確認するには、実際に Google.com にアクセスして「site:yoursite.com」と入力します。 過去に書いた SearchEngineLand.com のサイト検索演算子で Google が表示する内容を見てみましょう。
約 30,700 件の結果 – これはかなりの数です。 これがあなたのサイトで、インデックス統計を初めてチェックした場合、おそらく 2 つの感情があります。 まず、私の投稿がたくさんインデックスされていると思うとワクワクします! 逆に、自分のサイトにそれほど多くのページが含まれていないことに気が付くと、不安を感じるかもしれません。
インデックスに登録されたページを掘り下げてクリックすると、結果の追加ページが表示されます (広告やその他の注目の Google コンテンツが多くの SERP を支配しているため、10 ページまたはそれよりはるかに少ないページです)。 SERP を掘り下げて、ページあたりの結果を 100 に変更するのが好きです) かなり奇妙なことが起こります。 SEL のサイト検索の検索結果の一番下までスクロールすると、1 ページあたり 100 件の結果が表示されるように設定すると、8 つのリンクが表示されます。
8 x 100 の結果は明らかに「約 30,700」に等しくありません。 奇妙: Google は 30,000 を超える結果を提供したと思っていました。 結果の 8 ページ目へのリンクをクリックすると、さらに混乱します。
そして、「省略された結果を含めて検索を繰り返す」リンクをクリックして、最後のページに戻ると、同様の結果が表示されます。
しかし、Search Engine Land は、1 日にいくつかの新しいコンテンツを投稿する非常に信頼できるサイトです。 Google がインデックスに登録したすべてのページではないということですね。
それは間違いありません。 実際、Google はこれを完全に削除するテストを行っているのが見られました。 さらに、Google は、これらの数値は数年間完全に信頼できるものではないと明言しています (そのビデオは 2010 年のものです!)。 この問題は、サイトが大きくなるほど悪化します。
DYK 検索結果に表示される「結果の数」は実際には単なる概算であり、潜在的な結果が存在するほど正確性は低くなりますか? pic.twitter.com/o2odhwjsIA
— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 2017 年 2 月 11 日
インデックス作成数は他にどこで確認できますか? または、サイトのどのページがインデックスに登録されているかをどのように理解できますか?
Google Search Console (旧 Webmaster Tools) のインデックス統計
Google Search Console アカウントは、サイト インデックスの結果に関する追加データを提供します。 GSC アカウントをお持ちでない場合は、ここで今すぐアカウントを作成してください。
概要として、私の会社が所有するサイトのアカウントを見てみましょう。 Google 検索コンソールには、Google インデックス データ専用のサブセクション全体があります。
Google Search Console のインデックス ステータス
一般に、GSC データはより正確な情報を提供します。 さらに、いくつかの傾向データも提供します。 しかし、インデックスされたページの数が少なすぎると思われる場合はどうすればよいでしょうか? それとも、劇的に過少報告された検索アナリティクスの統計情報ですか?
通常、これらの問題は、Google Search Console がサブドメイン、サイトの www および www 以外のバージョン、およびサイトの http および https バージョンを処理する方法に基づいて発生します。
Google Search Console の数値が非常に低い場合は、上部のナビゲーションでサイトに関連付けられている非常に具体的な URL を確認してください。
さらに、サイトを https に移行した場合、またはサブドメイン (http://info.measuredsem.com など) を利用している場合は、それらを別のサイトとして追加してください。 また、http://www.measuredsem.com から http://measuredsem.com に切り替えた場合、または両方をサポートしている場合は、アカウント内で優先ドメインを設定してください。
さらに、サイトが Google Search Console 内でどのようにインデックスされているかについての情報を取得できる別の場所があります。
Googleサーチコンソールのサイトマップ
Google Search Console には、サイトの XML サイトマップの送信を可能にするサイトマップ セクションが含まれています。 また、このセクションでは、送信されたページのうち実際にインデックスに含まれているページ数を把握できます。 さらに、このセクションには、その数が時間とともにどのように変化するかが示されています。
ここでの課題は、XML サイトマップ内を調べて送信したページを確認することはできますが、特定の質問 (多数のページが送信されているかどうかなど) に答えたいと思う詳細レベルが必ずしもあるとは限らないことです。インデックス付き）。
実用的な Google インデックス作成の 5 つのヒント
これで、Google のインデックスの仕組みについて少し理解できました。 さらに、Google インデックス内でのサイトのパフォーマンスを示すいくつかのツール。 実際に特定のインデックス関連の問題を解決するのはどうですか? クライアントとの仕事とこのトピックに関するいくつかの調査に基づいて、Google のインデックス作成に関して私が見つけた 5 つの最大の質問/問題を以下に示します。
1. インデックスされていない特定のページを見分ける方法
Google のインデックスにないページは検索結果に表示されません。 したがって、最初に把握したいことの 1 つは、「自分のサイトのどのページがインデックスに登録されていないか」ということです。 残念ながら、上記の方法のほとんどには、この問題に対する解決策がありません。 上記の方法は、Google インデックスでサイトのページを理解するのに役立ちます。 ただし、これらのメソッドは、Google インデックスにないサイトのページには対処しません。 非常に小さなサイトの場合、これは非常に簡単に見つけることができます。 しかし、活発なブログを維持している場合、あなたのサイトには多くのページが含まれている可能性が高く、欠落しているページを「目で見る」ことは妥当な選択肢ではありません。 このプロセスに対応する主なツールは次の 2 つです。
ステップ 1: Screaming Frog でサイトをクロールする
Screaming Frog は、SEO サイトの監査プロセスを通じて、私が最もよく使用するアプリの 1 つです。 このスクリーンショットでは、サイトにどのページが存在するかを示しています。
Screaming Frog は非常に便利で強力な SEO ツールですが、ここでの目的は、サイトをクロールして HTML ページをフィルター処理することだけです。 次に、インデックスに入れたいサイトのページのリストをフィルター処理します。 すぐに、不要なページの処理に取り掛かります。
そこから、技術的な SEO 監査で非常に役立つ別のツール、URL プロファイラーを使用します。
URL プロファイラーも非常に強力な SEO ツールですが、ここでも非常に狭い目的で使用します。 私たちのサイト (クロールからエクスポートしたばかり) のどの URL が実際にインデックスに登録されているかを調べる:
大規模なサイトの場合、通常、インデックス作成を確認するためにいくつかのプロキシが必要になります。 あまり専門的でない場合は、難しそうに聞こえますが、信じられないほど簡単です。 数分かかり、技術的な専門知識はまったく必要ありません (コピー/貼り付けのスキルを超えて)。
場合によっては数回かかることもありますが、常により大きなクロールに時間がかかります。 しかし、最終的には、サイトでインデックスに登録されていないすべてのページのリストが作成されます。
2. 何か (サイト全体、新しいページ、インデックスされていない既存のページ) をインデックスに登録する方法
新しいサイトをインデックスに登録することは、かつてはそれ自体が産業でした。 ただし、最近では、合法的なウェブサイトとビジネスを所有している場合、プロセスは合理化されています. 実際、ホームページとドメイン全体は非常に迅速にインデックス化されるはずです。 たとえば、リンク付きのツイートを送信すると、Google がサイトをインデックスに登録するのに役立ちます。 または、別のサイトからのリンクを受信すると機能します。 最後に、Google に URL を無料で送信するだけです。 その結果、コンテンツがなく、外部リンクやツイートなどのない多くのサイトが、何の努力もせずにインデックスに登録されます。 最近、私の会社は 50 個のドメインを購入し、それぞれに非常にシンプルなプレースホルダー ページを配置しました。 Google は、何らかのプロモーションを行う前に、そのうちの 28 をインデックスに登録しました。
インデックス作成が必要な一連のページを含む既存のサイトについては、オプションを検討してください。
A. Google Search Console 経由で取得してインデックスに送信する
URL の数が少ないサイトの場合は、インデックス化のためにそれぞれを Google コンソールに送信します。 これはかなり単純なプロセスです。 まず、Google Search Console アカウントにログインし、クロールの下の左側のナビゲーションを見て、Fetch as Google をクリックします。
次に、送信が必要な URL を入力し、[取得] をクリックします。 インデックス作成をリクエストするオプションが表示されます。
最後に、URL 自体、または URL とページからリンクされている URL のいずれかを送信します。 私たちの目的のために、インデックスに登録したい特定の URL のセットがあるため (また、送信数が限られているため (1 か月あたり 500 個の単一 URL と 10 個の複数 URL 送信のみ)、URL を送信します。インデックス:
最後に、インデックス作成リクエストが通過したことを確認する必要があります。
URL のリストを処理している場合は、数日待ってから、同じリストを URL Profiler で再度実行し、作業がインデックス化にどのように影響したかを確認できます。
B. URL をソーシャルで共有する
ソーシャル ネットワークを介して URL とコンテンツを共有すると、重要なページのインデックス作成も改善されます。 たとえば、価値のあるページ (およびコア オーディエンスに関連するページ) については、ソーシャルで共有します。 特に、これは人気のあるソーシャル アカウントを持つサイトで機能します。
たとえば、あなたのサイトには、特定の機能を詳述する一連の製品ページが含まれていますか? もしそうなら、特定の機能ページを共有する週または数日ごとに 1 つのツイートをキューに入れます。 「{product} が {thing feature help with} に役立つことをご存知でしたか?」のようなものです。 {リンク}」はうまくいきます。
C. 根本的な問題を修正する!
あなたのサイトには、インデックス作成が必要な大量のページがまだ含まれていますか? もしそうなら、あなたのサイトに根本的な SEO の問題がある可能性があります。 あなたは調査したいと思うでしょう：
- リンク エクイティ– リンク エクイティ (サイトを指すリンクの数とオーソリティ) がサポートできるよりも多くのページがサイトにありますか? これは、ドメインへのリンクを構築する方法が見つかるまで (さらに、より深いページへのリンクと共有を取得する方法が見つかる可能性がある)、より深いページがクロールされ、インデックスに登録されないことを意味する場合があります。
- サイト アーキテクチャ– サイトの情報アーキテクチャは、この記事の範囲外のトピックです。 ただし、サイトのホームページから数回クリックするページがある場合があります。 結果として、これらは検索エンジンが到達するのが困難です。 繰り返しますが、これは調査する必要があります (および/または調査のために経験豊富な SEO を雇う可能性があります)。
- サイトマップ– 最後に、動的 XML サイトマップをまだ Google Search Console に送信していない場合。 このステップにより、サイトのインデックス作成が改善されます。
3. インデックスに登録したくないページをインデックスから除外する方法
マーケティング担当者にとってもう 1 つの一般的な問題は、特定のページを Google のインデックスから除外したいということです。 おそらく、それは既存のページの複製であり、ユーザーには使用できるが検索者には使用されない非常に薄いページであるか、Google のインデックスに入れたくない個人情報を含むものである可能性があります。
理由が何であれ、コンテンツを Google のインデックスから除外するための主要な方法がいくつかあります。
1.メタノーインデックスタグ
多くの場合、Google のインデックスからページを除外するための推奨される方法は、Meta No Index タグを追加することです。この件に関する Google のドキュメントから:
no index タグは優れたソリューションを提供します。 インデックスからページを削除するよう Google に指示します。 たとえば、コンテンツが既にインデックスに登録されているサイトの場合、インデックスなしタグを使用すると、コンテンツのインデックスを解除するための推奨される方法が提供されます。 robots disallow ディレクティブにより、Google はページをクロールできなくなります。 ただし、既に存在する場合、必ずしもインデックスから削除するとは限りません。
逆に、Google エンジニアの Gary Illyes 氏は次のように指摘しています。
Googlebot は noindex を「見る」ことができないため、robots.txt の disallow と noindex の両方を含むページを DYK がブロックしてもあまり意味がありません。 pic.twitter.com/N4639rCCWt
— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 2017 年 2 月 10 日
この方法でページをインデックスから削除するには、Google がページをクロールできる必要があります。 そのため、ページがクロールされるまで (または Fetch as Google でクロール/再検討をリクエストする) 待機して、ページにアクセスできるようにしてください。
2. robots.txt を許可しない
インデックス作成を待っている新しいサイト (またはサイト セクション) には、robots disallow ディレクティブを使用します。 たとえば、ステージング サイト、または建設中のサブドメインで、ゴールデンタイムの準備ができていない場合は、このオプションが必要になる可能性があります。
再度、このディレクティブを追加しても、既にコンテンツがインデックスに表示されている場合、コンテンツがインデックスから削除されるとは限りません。 実際、索引付けされた結果につながる可能性があり、最適ではない説明しかありません。
disallow の使用に関する重要な警告は、意図した以上に許可しないようにすることです。 検索者にアクセスしてもらいたい価値のあるコンテンツが含まれているサイトのサブセクションをブロックしないように注意してください。 また、ロボット テスター ツールを使用して、Google Search Console でロボット ファイル内の変更をテストします。
URL の削除と Search Console による URL パラメータの除外
最後に、サイトのコンテンツ管理システムによって追加されているパラメーター (検索結果のフィルター処理、ページネーションなどの理由による) がインデックスに登録されていて、それを削除したい場合は、それらのパラメーターに関する詳細情報を Google に提供することもできます。または、特定の URLを検索結果から一時的に削除するようにリクエストします (必ずしも Google のインデックスから削除する必要はなく、永久に削除する必要もありません)。
さらに、これにより、検索結果から URL を一括削除したり、特定のパラメーターを識別したりするための便利な方法が提供されます。
そして、それに関する詳細情報を Google に提供します。
Google の John Mueller 氏は、これはコンテンツを「永久に」インデックスに登録しないのと同じように機能すると述べています。 したがって、これは 1 回限りの URL に実行可能なオプションを提供します。 ただし、理想的には、ほとんどの場合、一時的な削除を利用するのではなく、コアの問題を掘り下げて対処する必要があります. ページのインデックスを解除する必要性を生み出しているのは、サイトの技術的な構造について何ですか? そもそも、なぜあなた (またはあなた) は「インデックスの肥大化」に苦しんでいるのでしょうか?
4. 「Index Bloat」とは何ですか? どうすれば修正できますか?
インデックスの肥大化は、ユーザーのクエリに応じて関連するトラフィックをサイトに誘導する可能性が低い、Google によってインデックス化された不要なページがある場合に効果的です。 これにより、検索エンジンが価値の低いページのクロールとインデックス作成に時間を費やさなければならないため、問題が発生します (これにより、「クロール バジェット」が使い果たされる可能性があります)。 さらに、一部の検索結果で価値の低いページを提供する可能性があります (ユーザー エクスペリエンスとエンゲージメント メトリックの低下につながります)。 ひどいエンゲージメント指標を持つ、内容の薄いコンテンツや大部分が複製されたコンテンツが多数含まれていると、Google から見たランキングの品質が低下する可能性があります。
上記のツールとプロセスを使用して、現在インデックスに含まれているページと含まれていないページを分析し、それらをさらに使用して、品質が低く価値の低いページをインデックスから削除することに加えて、このトピックに関する 2 つの優れたリソースを次に示します。
- Green Lane SEO のインデックスの肥大化の問題を見つけて修正するためのガイド
- Portent Interactive のクイック & ダーティー インデックス診断
ここでも重要な注意点は、「深く切り込みすぎない」ことです。 サイトの大部分を Google のインデックスから削除する前に、Analytics を調べて (または URL を取得して URL プロファイラーで実行して)、これらのページからのトラフィックとリード/売上を遮断していないことを確認してください。
5. インデックス作成の監視に役立つツール (つまり、最高の「Google インデックス チェッカー」とは?)
ここで厄介なことに言及したように、私の個人的な好みは、URL プロファイラーを Google インデックス チェッカーとして利用することですが、いくつかの追加オプションがあります。
- http://indexchecking.com/
- https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
- https://www.greenlaneseo.com/blog/google-indexation-tester/
ボーナス: モバイル インデックス リソース
特にモバイルとアプリのインデックス作成は、従来のインデックス作成とは少し異なる可能性があるため、問題が発生している場合は、モバイルに焦点を当てた追加のインデックス作成リソースを以下に示します。
- https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
- https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
- https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
- http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
- https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
- https://moz.com/blog/how-to-get-your-app-content-indexed-by-google
私たちは何を逃しましたか？ 他に見た Google のインデックス作成の問題 / 共有できるヒントはありますか?