Руководство по индексации Google: проблемы с индексом Google, статистика и многое другое

Большая часть SEO-контента фокусируется на хорошем рейтинге в желаемых результатах поиска. Это имеет смысл, потому что вы не можете привлечь трафик на свой сайт из обычного поиска, не занимая высокие позиции в результатах поиска (то есть в индексе Google). Кроме того, вы не сможете привлечь лидов и увеличить продажи для своего бизнеса, не привлекая органический трафик. Если вы директор по маркетингу, директор, менеджер и т. д., скорее всего, это ваша основная задача.

Чтобы ранжироваться по желаемым запросам, во-первых, вам нужно присутствие в индексе Google. Когда-то попасть сайту в индекс было довольно сложно. «Подача сайта» была обычной услугой. Однако сейчас Google очень хорошо находит новые сайты. Например, если вы написали в Твиттере о своем сайте, разослали пресс-релиз или практически кто-то связался с вашим сайтом, Google, скорее всего, знает о вашем существовании. Но если вы пытались привлечь поисковый трафик, вы, вероятно, столкнулись с различными проблемами индексации Google по мере роста вашего сайта.

Для тех, кто не занимается SEO (а часто и для оптимизаторов), многие из этих вопросов остаются очень запутанными и разочаровывающими. Практически каждый раз, когда я прохожу SEO-аудит с клиентом, возникает какая-то путаница по поводу проблем с индексацией, дублированного контента, лучшего способа удалить страницы из индекса Google и т. д.

Чего ожидать от этого обзора индекса Google

В этой статье я попытаюсь помочь специалисту по маркетингу (кому-то с базовыми знаниями в области SEO, который отвечает за привлечение большего количества трафика на свой веб-сайт, но может не быть по колено в сканировании Screaming Frog и анализе ссылок в повседневной работе). дневной основе) понять:

• Как работает индекс Google.
• Интерпретируйте различную статистику индекса или «счетчики» с Google.com.
• Изучите свою учетную запись Google Search Console.
• Технические исправления для распространенных проблем с индексацией (например, отсутствие индексации страниц или наличие страниц, которые вы не хотите индексировать, просачиваясь в индекс).

Начнем с самого начала.

Как работает индекс Google?

Поисковая система Google очень сложна. Подробное рассмотрение того, как Google находит, сохраняет страницы и расставляет приоритеты, выходит за рамки этой статьи.

На высоком уровне Google усердно работает над поиском (или сканированием) как можно большего количества полезных страниц. Кроме того, Google усердно работает над сохранением (или индексированием) тех страниц, которые возвращают релевантные поисковые запросы. Кроме того, индекс Google усердно работает над возвратом надлежащих страниц, которые лучше всего удовлетворяют поисковому запросу пользователя. (В качестве побочного эффекта это, вероятно, также помогает Alphabet, но это другое обсуждение).

Снова на высоком (и упрощенном) уровне вы хотите:

• проиндексирован хороший материал (страницы вашего сайта высокого качества, полезные для пользователей и, вероятно, побуждающие к желаемым действиям для вашего бизнеса).
• плохие вещи из индекса Google (страницы с низкой ценностью и / или тонкие или дублированные, которые больше вредят вам, чем помогают вам в привлечении соответствующего трафика на ваш сайт).

Еще одно замечание: индексация — это не обязательно то же самое, что отображается в результатах поиска . Google ведет внутренний индекс страниц. Когда вы ищете темы на Google.com, вы видите некоторые из своих страниц. Это не обязательно все страницы, которые Google хранит в своем индексе . Проиндексированные страницы могут никогда не отображаться в результатах поиска или получать клики и переходить на ваш сайт.

Остальная часть этой статьи посвящена анализу того, какие страницы вашего сайта находятся в индексе, а также тому, что вы, как маркетолог, можете сделать, чтобы взять под контроль и лучше оптимизировать то, что индексируется, а что нет. Кроме того, существует ряд ресурсов, где можно узнать больше о том, как работает индексация Google, в том числе:

• Пошаговое руководство Моза о том, как работают поисковые системы.
• Пара различных разбивок презентации Google Search Engineer о том, как работает индекс Google.
• Это визуальное представление того, как работает Google.

Понимание статистики индекса

У многих статистика индекса, которую вы видите по своему сайту, наводит на довольно запутанные мысли. Google предлагает два распространенных способа отображения статистики вашего сайта о том, сколько страниц на вашем сайте индексирует Google.

Статистика индекса на Google.com

Чтобы увидеть, сколько и какие из ваших страниц будут проиндексированы в Google, начните с того, что зайдите на Google.com и введите site:yoursite.com. Давайте посмотрим, что Google показывает в операторе поиска по сайту, о котором мы писали в прошлом, SearchEngineLand.com:

Около 30 700 результатов – это немало! Если бы это был ваш сайт, и вы впервые проверили статистику индекса, у вас, вероятно, возникли бы две эмоции. Во-первых, волнение, поскольку вы думаете, что многие мои посты индексируются! И наоборот, вы можете почувствовать некоторую тревогу, когда поймете, что на вашем сайте не так много страниц.

Когда вы начинаете просматривать страницы, которые проиндексированы, и переходите на дополнительные страницы результатов (десять — или гораздо меньше, с рекламой и другим рекомендуемым контентом Google, доминирующим во многих результатах поиска — это, конечно, по умолчанию, но, поскольку я часто копаясь в поисковой выдаче, мне нравится менять количество результатов на странице до 100) происходит что-то довольно странное. С моими настройками на 100 результатов на странице, когда я прокручиваю вниз результат поиска для поиска по сайту SEL, я вижу 8 ссылок:

Результаты 8 x 100 явно не равны «Около 30 700». Странно: я думал, что Google предоставил более 30 000 результатов. Если я перейду по ссылке на 8 ^-ю страницу, результаты выйдут еще более запутанными:

И если я нажму ссылку «повторить поиск с включенными пропущенными результатами» и вернусь на последнюю страницу, я увижу нечто подобное.

Но Search Engine Land — чрезвычайно надежный сайт, который публикует несколько новых материалов в день. Так что это не могут быть все страницы, проиндексированные Google, верно?

Это определенно не так. На самом деле было замечено, что Google вообще отказывается от этого. Кроме того, Google прямо сказал, что этим цифрам нельзя полностью доверять в течение нескольких лет (это видео 2010 года!). И эта проблема усугубляется, чем больше становится ваш сайт:

DYK «количество результатов», которое вы видите в результатах поиска, на самом деле просто приближение, которое тем менее точно, чем больше потенциальных результатов существует? pic.twitter.com/o2odhwjsIA

— Гэри Иллиес ᕕ( ᐛ )ᕗ (@methode) 11 февраля 2017 г.

Где еще мы можем найти наши показатели индексации? Или как понять, какие страницы нашего сайта проиндексированы?

Индексная статистика в Google Search Console (ранее инструменты для веб-мастеров)

Ваша учетная запись Google Search Console предоставляет дополнительные данные о результатах индексации вашего сайта. А если у вас нет учетной записи GSC, создайте ее здесь сегодня.

Для нашего обзора давайте посмотрим на учетную запись для сайта, которым владеет моя компания. В Google Search Console есть целый подраздел, посвященный данным Google Index.

Статус индекса в Google Search Console

Данные GSC обычно предоставляют более точную информацию. Кроме того, он также предлагает некоторые данные о тенденциях. Но что, если вы видите, что количество проиндексированных страниц слишком мало? Или резко заниженная статистика Search Analytics?

Как правило, эти проблемы возникают в зависимости от того, как Google Search Console обрабатывает поддомены, версии вашего сайта с www и без www, а также версии вашего сайта с http и https.

Если ваши цифры в Google Search Console очень низкие, проверьте очень конкретный URL-адрес, связанный с сайтом, в верхней части навигации:

Кроме того, если вы перевели свой сайт на https или используете поддомен (например, http://info.measuredsem.com), добавьте их как отдельные сайты. Кроме того, если вы перешли с http://www.measuredsem.com на http://measuredsem.com или поддерживаете оба варианта, укажите предпочтительный домен в своей учетной записи.

Кроме того, есть еще одно место, где вы можете получить информацию о том, как ваш сайт индексируется в Google Search Console.

Файлы Sitemap в Google Search Console

Консоль поиска Google включает раздел карты сайта, который позволяет отправлять карту сайта в формате XML для вашего сайта. Кроме того, этот раздел дает представление о том, сколько представленных страниц действительно находится в индексе. Кроме того, в разделе показано, как это число меняется со временем.

Проблема здесь заключается в том, что, хотя вы можете посмотреть в своей XML-карте сайта, какие страницы вы отправили, вам не обязательно иметь тот уровень детализации, который вам нужен, чтобы ответить на конкретные вопросы (например, являются ли большие группы страниц доступными или нет). т индексируется).

5 практических советов по индексации Google

Итак, теперь вы знаете немного больше о том, как работает индекс Google. Кроме того, некоторые инструменты, которые показывают, как ваш сайт работает в индексе Google. Как насчет решения конкретных проблем, связанных с индексами? Основываясь на моей работе с клиентами и некоторых исследованиях по этой теме, вот пять самых больших вопросов / проблем, которые я обнаружил в отношении индексации Google:

1. Как определить, какие именно страницы НЕ проиндексированы

Страницы, которых нет в индексе Google, не будут отображаться в результатах поиска. Итак, одна из первых вещей, которую вы, возможно, захотите выяснить, это «какие страницы на моем сайте не проиндексированы?» К сожалению, большинство из перечисленных выше методов не решают эту проблему. Предыдущие методы помогают понять страницы вашего сайта в индексе Google . Однако эти методы не относятся к страницам вашего сайта, которых нет в индексе Google . Для очень маленького сайта это может быть довольно легко обнаружить. Но если вы ведете активный блог, ваш сайт, скорее всего, содержит достаточное количество страниц, поэтому «на глаз» отсутствующие страницы не является разумным вариантом. Два основных инструмента решают этот процесс:

Шаг первый: просканируйте свой сайт с помощью Screaming Frog

Screaming Frog, как правило, является одним из моих наиболее часто используемых приложений в процессе любого SEO-аудита сайта. На этом снимке экрана показано, какие страницы присутствуют на вашем сайте:

Screaming Frog — очень полезный/мощный инструмент SEO, но для наших целей здесь мы просто хотим просканировать сайт и отфильтровать HTML-страницы. Затем отфильтруйте этот список для любых страниц нашего сайта, которые мы хотим включить в индекс. Через минуту мы приступим к работе со страницами, которые нам не нужны.

Затем я воспользуюсь еще одним инструментом, невероятно полезным для любого технического SEO-аудита: URL Profiler.

URL Profiler — еще один чрезвычайно мощный инструмент SEO, но здесь мы снова собираемся использовать его для довольно узкой цели. Выяснение того, какие из URL-адресов на нашем сайте (которые мы только что экспортировали из нашего сканирования) действительно проиндексированы:

Если у вас большой сайт, обычно требуются некоторые прокси для проверки индексации. Если вы не слишком техничны, это звучит пугающе, но это невероятно просто. Это занимает несколько минут и не требует никаких технических знаний (помимо навыков копирования/вставки).

Иногда это занимает пару раз и всегда оставляет некоторое время для более крупных сканирований. Но в конечном итоге вы получите список всех страниц, которые не проиндексированы на вашем сайте.

2. Как проиндексировать что-то (весь сайт, новую страницу, существующую страницу, которая не проиндексирована)

Раньше индексация нового сайта была отдельной отраслью. Однако в наши дни, если у вас есть законный веб-сайт и бизнес, процесс упрощается. Фактически, ваша домашняя страница и общий домен должны быть проиндексированы очень быстро. Например, отправка твита со ссылкой поможет Google проиндексировать сайт. Или получение ссылки с другого сайта работает. Наконец, просто отправьте свой URL-адрес в Google бесплатно! В результате многие сайты без контента и без внешних ссылок/твитов/и т. д. индексируются без каких-либо усилий. Недавно моя компания купила 50 доменов и разместила на каждом очень простые страницы-заполнители. Google проиндексировал 28 из них еще до того, как мы начали проводить какое-либо продвижение.

Для существующих сайтов с набором страниц, нуждающихся в индексации, рассмотрите варианты.

A. Получение и отправка в индекс через Google Search Console

Для сайтов с небольшим количеством URL-адресов отправьте их в консоль Google для индексации. Это довольно простой процесс. Начните с того, что войдите в свою учетную запись Google Search Console и посмотрите на левую навигацию в разделе сканирования и нажмите «Просмотреть как Google»:

Затем вы вводите URL-адрес, который необходимо отправить, и нажимаете «Выбрать». Вам будет предоставлена ​​возможность запросить индексацию:

Наконец, вы отправляете либо сам URL-адрес, либо URL-адрес и те, на которые есть ссылки со страницы. Для наших целей, поскольку у нас есть определенный набор URL-адресов, которые мы хотели бы видеть проиндексированными (и поскольку у нас есть ограниченное количество представлений — 500 одиночных URL-адресов и только 10 множественных URL-адресов — в месяц), мы отправим URL-адрес на индекс:

Наконец, вы должны увидеть, что ваш запрос на индексацию прошел:

Если вы работаете со списком URL-адресов, вы можете подождать пару дней и снова запустить тот же список через URL Profiler и посмотреть, как ваши усилия повлияли на индексацию.

B. Поделитесь своими URL-адресами в социальных сетях

Обмен URL-адресами и контентом через социальные сети также улучшает индексацию ключевых страниц. Например, для ценных страниц (и связанных с вашей основной аудиторией) поделитесь ими в социальных сетях. В частности, это работает для сайтов с популярными социальными аккаунтами.

Например, содержит ли ваш сайт ряд страниц продуктов с подробным описанием конкретных функций? Если это так, ставьте в очередь 1 твит в неделю/каждые пару дней, делясь страницей определенной функции. Что-то вроде «Знаете ли вы, что {продукт} может помочь с {вещью, с которой помогает функция}? {ссылка}» работает хорошо.

C. Исправьте основные проблемы!

Ваш сайт по-прежнему содержит большое количество страниц, требующих индексации? Если это так, то, вероятно, у вашего сайта есть фундаментальная проблема с SEO. Вы захотите исследовать:

• Ссылочный капитал . На вашем сайте больше страниц, чем может поддерживать ссылочный вес (количество и авторитетность ссылок, ведущих на ваш сайт)? Это может означать, что более глубокие страницы не будут сканироваться и индексироваться до тех пор, пока вы не найдете способы создания ссылок на свои домены (и, возможно, не найдете способов получить ссылки и поделиться своими более глубокими страницами).
• Архитектура сайта. Информационная архитектура вашего сайта — это тема, которая выходит за рамки этой статьи. Но у вас могут быть страницы, которые находятся в нескольких кликах от домашней страницы вашего сайта. В результате поисковым системам трудно добраться до них. Опять же, это то, что нужно исследовать (и / или потенциально нанять опытного SEO для расследования).
• Карта сайта — наконец, если вы еще не отправили динамическую карту сайта в формате XML в Google Search Console. Этот шаг способствует лучшей индексации вашего сайта.

3. Как убрать из индекса страницы, которые вы не хотите индексировать

Еще одна распространенная проблема для маркетологов заключается в том, что вы хотите, чтобы определенная страница не попадала в индекс Google. Может быть, это дубликат существующей страницы, очень тонкая страница, которая полезна для пользователей, но бесполезна для искателей, или, возможно, это что-то с личной информацией, которую вы не хотите видеть в индексе Google.

Какой бы ни была причина, есть несколько основных методов предотвращения попадания контента в индекс Google.

1. Метатег без индекса

Во многих случаях предпочтительным методом исключения страницы из индекса Google является добавление тега Meta No Index из документации Google по этому вопросу:

Тег no index предлагает отличное решение. Он предписывает Google удалить страницы из индекса. Например, для сайтов с уже проиндексированным контентом тег no index предлагает предпочтительный метод деиндексации вашего контента. Директива robots disallow не позволяет Google сканировать страницу. Но не обязательно будет удалять его из индекса, если он уже там.

И наоборот, как отмечает инженер Google Гэри Иллиес:

DYK-блокировка страницы с запретом robots.txt и noindex на странице не имеет особого смысла, потому что Googlebot не может «видеть» noindex? pic.twitter.com/N4639rCCWt

— Гэри Иллиес ᕕ( ᐛ )ᕗ (@methode) 10 февраля 2017 г.

Google должен иметь возможность сканировать вашу страницу, чтобы удалить ее из индекса с помощью этого метода. Поэтому убедитесь, что страницы остаются доступными, дождитесь их сканирования (или выберите «Просмотреть как Google», чтобы запросить сканирование/пересмотр).

2. Запретить robots.txt

Для новых сайтов (или разделов сайта), ожидающих индексации, используйте директиву robots disallow. Например, промежуточный сайт или субдомен, который находится в разработке и не готов к работе в прайм-тайм, вероятно, нуждаются в этой опции.

Опять же, добавление этой директивы не обязательно приведет к удалению вашего контента из индекса, если он там уже есть. На самом деле это может привести к результату, который индексируется и просто имеет неоптимальное описание.

Важное предупреждение при использовании disallow: убедитесь, что вы не запрещаете больше, чем вы намеревались . Будьте осторожны, чтобы не заблокировать подразделы вашего сайта, где может быть ценный контент, к которому вы хотите, чтобы поисковики могли получить доступ. И протестируйте изменения в вашем файле robots в Google Search Console с помощью инструмента для тестирования роботов.

Удаление URL-адресов и исключение параметров URL-адресов через консоль поиска

Наконец, если у вас есть параметры, которые добавляются системой управления контентом вашего сайта (возможно, из-за отфильтрованных результатов поиска, разбиения на страницы и т. д.), которые индексируются и которые вы хотели бы удалить, вы также можете предоставить Google дополнительную информацию об этих параметрах. или запросить удаление определенных URL-адресов путем временного удаления URL-адресов из результатов поиска (не обязательно из индекса Google и не обязательно навсегда):

Кроме того, это обеспечивает удобную методологию для массового удаления URL-адресов из результатов поиска или определения определенного параметра:

А затем предоставить Google дополнительную информацию об этом:

Джон Мюллер из Google сказал, что это работает аналогично «постоянному» запрету индексации контента. Таким образом, это предлагает жизнеспособный вариант для одноразовых URL-адресов. В идеале, однако, в большинстве случаев вместо того, чтобы использовать временное удаление, вы захотите покопаться и решить основные проблемы. Что такого в технической структуре вашего сайта, что вызывает необходимость деиндексации страниц? Почему вы вообще страдаете (или страдаете) от «раздувания индекса»?

4. Что такое «раздувание индекса» и как его исправить?

Раздувание индекса эффективно, когда у вас есть ненужные страницы, проиндексированные Google, которые вряд ли привлекут релевантный трафик на ваш сайт в ответ на запросы пользователей. Это создает проблему, поскольку вынуждает поисковые системы тратить время на сканирование и индексацию страниц с низкой ценностью (что может израсходовать ваш «краулинговый бюджет»). Кроме того, в некоторых результатах поиска потенциально отображаются страницы с низкой ценностью (что приводит к плохому взаимодействию с пользователем и плохим показателям вовлеченности). Наличие большого количества разрозненного или в значительной степени дублированного контента с ужасными показателями вовлеченности, вероятно, приводит к более низкому рейтингу качества в глазах Google.

В дополнение к использованию инструментов и процессов, описанных выше, для анализа того, какие страницы в настоящее время находятся в индексе, а какие нет, а затем с использованием большего количества из них для удаления из индекса страниц с более низким качеством и более низкой ценностью, вот два отличных ресурса по этой теме:

• Руководство Green Lane SEO по поиску и устранению проблем с раздуванием индекса
• Быстрая и грязная диагностика индекса Portent Interactive

Здесь снова важное замечание: не «резать слишком глубоко». Прежде чем вы начнете удалять большие разделы своего сайта из индекса Google, загляните в Analytics (или возьмите URL-адреса и запустите их через URL Profiler), чтобы убедиться, что вы не отсекаете трафик и потенциальных клиентов / продажи с этих страниц.

5. Какие инструменты могут помочь в мониторинге индексации (например, какие «программы проверки индекса Google» лучше всего?)

Как я уже упоминал здесь ad nauseum, лично я предпочитаю использовать URL Profiler в качестве средства проверки индекса Google, но вот несколько дополнительных опций:

• http://indexchecking.com/
• https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
• https://www.greenlaneseo.com/blog/google-indexation-tester/

БОНУС: ресурсы по мобильной индексации

В частности, индексация мобильных устройств и приложений может немного отличаться от традиционной индексации, поэтому, если у вас возникли проблемы, вот несколько дополнительных ресурсов по индексации, ориентированных на мобильные устройства:

• https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
• https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
• https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
• http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
• https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
• https://moz.com/blog/how-to-get-your-app-content-indexed-by-google

Что мы пропустили? Какие еще проблемы с индексацией Google вы встречали/какими советами можете поделиться?