Guía de indexación de Google: problemas de índice de Google, estadísticas y más

Gran parte del contenido de SEO se enfoca en posicionarse bien en los resultados de búsqueda deseados. Eso tiene sentido porque no puede atraer tráfico a su sitio desde la búsqueda orgánica sin clasificarse bien en los resultados de búsqueda (es decir, el índice de Google). Además, no puede generar clientes potenciales y ventas para su negocio sin generar tráfico orgánico. Si es un ejecutivo de marketing, director, gerente, etc., esta es probablemente su principal preocupación.

Para clasificar los términos deseados, primero, necesita una presencia en el índice de Google. Érase una vez que su sitio en el índice era algo difícil. El "envío del sitio" era un servicio común. Sin embargo, ahora Google es muy bueno para encontrar nuevos sitios. Por ejemplo, si tuiteaste sobre tu sitio, enviaste un comunicado de prensa o prácticamente cualquier persona vinculada a tu sitio, es probable que Google sepa que existes. Pero si ha intentado generar tráfico de búsqueda, es probable que se haya topado con una variedad de problemas de indexación de Google a medida que crece su sitio.

Para los que no son SEO (y con frecuencia también para los SEO), muchos de estos problemas siguen siendo muy confusos y frustrantes. Prácticamente cada vez que realizo una auditoría de SEO con un cliente, hay al menos cierta confusión sobre los problemas de indexación, el contenido duplicado, la mejor manera de eliminar páginas del índice de Google, etc.

Qué esperar de este índice de Google

En este artículo, intentaré ayudar a un generalista de marketing (alguien con un conocimiento básico de SEO que es responsable de atraer más tráfico a su sitio web, pero que puede no estar tan familiarizado con los rastreos de Screaming Frog y el análisis de enlaces en el día a día). base diaria) entiende:

• Cómo funciona el índice de Google.
• Interprete diferentes estadísticas de índice o "recuentos" de Google.com.
• Comprende tu cuenta de Google Search Console.
• Arreglos técnicos para problemas comunes de indexación (es decir, no tener páginas indexadas o tener páginas que no desea que se filtren en el índice).

Empecemos desde el principio.

¿Cómo funciona el índice de Google?

El motor de búsqueda de Google es muy complejo. Una mirada en profundidad a cómo Google encuentra, almacena y prioriza las páginas queda fuera del alcance de este artículo.

A un alto nivel, Google se esfuerza por encontrar (o rastrear) tantas páginas útiles como sea posible. Además, Google se esfuerza por almacenar (o indexar) aquellas páginas que devuelven búsquedas relevantes. Además, el índice de Google se esfuerza por devolver las páginas adecuadas que mejor satisfagan la consulta de búsqueda de un buscador. (Como efecto secundario, es probable que esto también ayude al resultado final de Alphabet, pero esa es otra discusión).

Nuevamente, en un nivel alto (y demasiado simplificado), desea:

• las cosas buenas indexadas (las páginas de su sitio que son de alta calidad, útiles para los buscadores y que probablemente generen acciones deseables para su negocio).
• las cosas malas del índice de Google (páginas que son de bajo valor y/o son delgadas o duplicadas que lo perjudican más que lo ayudan a generar tráfico relevante a su sitio).

Otra cosa a tener en cuenta: la indexación no es necesariamente lo mismo que lo que aparece en los resultados de búsqueda . Google mantiene un índice de páginas internamente. Cuando busca temas en Google.com, ve algunas de sus páginas. Esas no son necesariamente todas las páginas que Google mantiene en su índice . Es posible que las páginas indexadas nunca se muestren en los resultados de búsqueda ni obtengan clics y lleguen a su sitio.

El resto de este artículo se centra en analizar qué páginas de su sitio están en el índice y qué puede hacer usted, como comercializador, para tomar el control y optimizar mejor lo que está y lo que no está indexado. Además, existen varios recursos para obtener más información sobre cómo funciona la indexación de Google, que incluyen:

• El recorrido de Moz sobre cómo funcionan los motores de búsqueda.
• Un par de desgloses diferentes de la presentación de un ingeniero de búsqueda de Google sobre cómo funciona el índice de Google.
• Esta representación visual de cómo funciona Google.

Comprender las estadísticas del índice

Para muchos, las estadísticas de índice que ve sobre su propio sitio producen algunos pensamientos bastante confusos. Google ofrece dos formas comunes que muestran las estadísticas de su sitio sobre cuántas páginas en su sitio indexa Google.

Índice de estadísticas en Google.com

Para ver cuántas y cuáles de sus páginas se indexan en Google, comience por ir a Google.com y escriba site:yoursite.com. Veamos lo que muestra Google en el operador de búsqueda de un sitio, sobre el que escribimos en el pasado, SearchEngineLand.com:

Alrededor de 30.700 resultados, ¡son bastantes! Si este fuera su sitio y revisó las estadísticas de su índice por primera vez, es probable que tenga dos emociones. En primer lugar, emoción porque crees que muchas de mis publicaciones están siendo indexadas. Por el contrario, puede sentir cierta alarma al darse cuenta de que su sitio no contiene tantas páginas.

A medida que comienza a explorar las páginas que están indexadas y hace clic en páginas adicionales de resultados (diez, o mucho menos con anuncios y otro contenido destacado de Google que domina una gran cantidad de SERP, es el valor predeterminado, por supuesto, pero como lo hago con frecuencia indagando en las SERP me gusta cambiar mis resultados por página a 100) sucede algo bastante extraño. Con mi configuración en 100 resultados por página, cuando me desplazo hasta la parte inferior del resultado de búsqueda para la búsqueda del sitio de SEL, veo 8 enlaces:

8 x 100 resultados claramente no equivalen a "Alrededor de 30,700". Extraño: pensé que Google proporcionó más de 30,000 resultados. Si hago clic en el enlace a la ^octava página de resultados, el resultado es aún más confuso:

Y si hago clic en el enlace "repetir la búsqueda con los resultados omitidos incluidos" y vuelvo a hacer clic en la última página, veo algo similar.

Pero Search Engine Land es un sitio extremadamente confiable que publica varios contenidos nuevos al día. Así que esas no pueden ser todas las páginas que Google ha indexado, ¿verdad?

Definitivamente no lo es. De hecho, se ha visto a Google probando dejar esto por completo. Además, Google dijo explícitamente que no se puede confiar completamente en estos números durante varios años (¡ese video es de 2010!). Y este problema empeora cuanto más grande es tu sitio:

¿Sabes que la "cantidad de resultados" que ves en los resultados de búsqueda es solo una aproximación que es menos precisa cuantos más resultados potenciales existen? pic.twitter.com/o2odhwjsIA

— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 11 de febrero de 2017

¿Dónde más podemos encontrar nuestros recuentos de indexación? ¿O cómo podemos saber qué páginas de nuestro sitio están indexadas?

Index Stats en Google Search Console (anteriormente Webmaster Tools)

Su cuenta de Google Search Console proporciona datos adicionales sobre los resultados del índice de su sitio. Y si no tiene una cuenta de GSC, configure una aquí hoy.

Para nuestra descripción general, echemos un vistazo a la cuenta de un sitio que posee mi empresa. Hay una subsección completa de Google Search Console dedicada a los datos de Google Index.

Estado del índice en Google Search Console

Los datos de GSC generalmente proporcionan información más precisa. Además, también ofrece algunos datos de tendencias. Pero, ¿qué sucede si ve un número de páginas indexadas que parece demasiado bajo? ¿O estadísticas de análisis de búsqueda dramáticamente subestimadas?

Por lo general, estos problemas ocurren en función de cómo Google Search Console trata los subdominios, las versiones con y sin www de su sitio y las versiones http y https de su sitio.

Si los números de Google Search Console son extremadamente bajos, verifique la URL muy específica asociada con el sitio en la parte superior de navegación:

Además, si movió su sitio a https o utiliza un subdominio (por ejemplo, http://info.measuredsem.com), agréguelos como sitios separados. Además, si cambió de http://www.measuredsem.com a http://measuredsem.com o es compatible con ambos, configure su dominio preferido dentro de su cuenta.

Además, hay otro lugar donde puede obtener información sobre cómo se indexa su sitio en Google Search Console.

Sitemaps en Google Search Console

Google Search Console incluye una sección de mapa del sitio, que permite el envío de un mapa del sitio XML para su sitio. Además, esta sección ofrece una idea de cuántas de las páginas enviadas están realmente en el índice. Además, la sección muestra cómo ese número cambia con el tiempo.

El desafío aquí es que, si bien puede mirar dentro de su mapa del sitio XML para ver qué páginas ha enviado, no necesariamente tiene el nivel de detalle que necesita para responder preguntas específicas (como si grandes franjas de páginas son o no). t indexado).

5 consejos prácticos de indexación de Google

Así que ahora sabes un poco más sobre cómo funciona el índice de Google. Además, algunas de las herramientas que muestran el rendimiento de su sitio dentro del índice de Google. ¿Qué pasa con la resolución de problemas específicos relacionados con el índice? Según mi trabajo con clientes y algunas investigaciones sobre el tema, estas son las cinco preguntas/problemas más importantes que he encontrado en relación con la indexación de Google:

1. Cómo saber qué páginas específicas NO están indexadas

Las páginas que no están en el índice de Google no aparecerán en los resultados de búsqueda. Entonces, una de las primeras cosas que quizás desee averiguar es "¿qué páginas de mi sitio no están indexadas?" Desafortunadamente, la mayoría de los métodos enumerados anteriormente carecen de una solución para este problema. Los métodos anteriores ayudan a comprender las páginas de su sitio en el índice de Google . Sin embargo, esos métodos no abordan las páginas de su sitio que no están en el índice de Google . Para un sitio muy pequeño, esto puede ser bastante fácil de detectar. Pero si mantiene un blog activo, es probable que su sitio contenga suficientes páginas para que "observar" las páginas que faltan no sea una opción razonable. Dos herramientas principales abordan este proceso:

Paso uno: rastree su sitio con Screaming Frog

Screaming Frog es generalmente una de mis aplicaciones más utilizadas a través de cualquier proceso de auditoría de sitio SEO. En esta captura de pantalla, proporciona una imagen de qué páginas están presentes en su sitio:

Screaming Frog es una herramienta de SEO súper útil y poderosa, pero para nuestros propósitos aquí solo queremos rastrear el sitio y filtrar las páginas HTML. Luego, filtre esa lista para cualquiera de las páginas de nuestro sitio que queremos en el índice. Nos ocuparemos de las páginas que no queremos en un minuto.

A partir de ahí, usaré otra herramienta que es increíblemente útil en cualquier auditoría técnica de SEO: URL Profiler.

URL Profiler es otra herramienta de SEO extremadamente poderosa, pero nuevamente aquí la usaremos para un propósito bastante limitado. Averiguar cuáles de las URL de nuestro sitio (que acabamos de exportar de nuestro rastreo) están realmente indexadas:

Si tiene un sitio más grande, esto generalmente requiere algunos servidores proxy para verificar la indexación. Si no eres demasiado técnico, suena intimidante, pero es increíblemente fácil. Lleva unos minutos y no requiere ningún tipo de experiencia técnica (más allá de las habilidades de copiar y pegar).

De vez en cuando, toma un par de veces y siempre deja algo de tiempo para rastreos más grandes. Pero eventualmente termina con una lista de todas las páginas que no están indexadas en su sitio.

2. Cómo indexar algo (todo su sitio, una página nueva, una página existente que no está indexada)

Obtener un nuevo sitio indexado solía ser una industria en sí misma. Sin embargo, en estos días, si posee un sitio web y un negocio legítimos, el proceso se agiliza. De hecho, su página de inicio y su dominio en general deben indexarse ​​muy rápidamente. Por ejemplo, enviar un Tweet con un enlace ayuda a Google a indexar el sitio. O recibir un enlace de otro sitio funciona. Finalmente, ¡simplemente envíe su URL a Google para que funcione gratis! Como resultado, muchos sitios sin contenido y sin enlaces externos/tweets/etc. se indexan sin ningún esfuerzo. Recientemente, mi empresa compró 50 dominios y colocó páginas de marcadores de posición muy simples en cada uno. Google indexó 28 de ellos antes de que realizáramos ningún tipo de promoción.

Para sitios existentes con un conjunto de páginas que necesitan indexación, eche un vistazo a sus opciones.

A. Obtener y enviar al índice a través de Google Search Console

Para los sitios con una pequeña cantidad de URL, envíelos a Google Console para su indexación. Este es un proceso bastante simple. Comience iniciando sesión en su cuenta de Google Search Console y mirando la navegación izquierda debajo de rastrear y haciendo clic en Explorar como Google:

A continuación, ingrese la URL que necesita enviar y haga clic en obtener. Se le dará la opción de solicitar la indexación:

Finalmente, envía la URL en sí o la URL y las vinculadas desde la página. Para nuestros propósitos, dado que tenemos un conjunto específico de URL que nos gustaría ver indexadas (y debido a que tenemos una cantidad limitada de envíos (500 URL individuales y solo 10 envíos de URL múltiples) por mes), enviaremos la URL a El índice:

Por último, debería ver que su solicitud de indexación pasó:

Si está trabajando en una lista de URL, puede darle un par de días y ejecutar la misma lista a través de URL Profiler nuevamente y ver cómo sus esfuerzos impactaron la indexación.

B. Comparta sus URL en redes sociales

Compartir sus URL y contenido a través de las redes sociales también mejora la indexación de páginas clave. Por ejemplo, para páginas valiosas (y relacionadas con su audiencia principal), compártalas socialmente. En particular, esto funciona para sitios con cuentas sociales populares.

Por ejemplo, ¿su sitio contiene una franja de páginas de productos que detallan características específicas? Si es así, pon en cola 1 tweet a la semana/cada dos días compartiendo una página de características específica. Algo así como "¿Sabías que {producto} podría ayudar con {cosa que ayuda con la función}? {enlace}” funciona bien.

C. ¡Solucione los problemas subyacentes!

¿Su sitio todavía contiene grandes volúmenes de páginas que necesitan indexación? Si es así, es probable que tenga un problema fundamental de SEO con su sitio. Querrás investigar:

• Equidad de enlaces: ¿tiene más páginas en su sitio de las que puede soportar la equidad de enlaces (número y autoridad de los enlaces dirigidos a su sitio)? Esto puede significar que las páginas más profundas no se rastrearán ni indexarán hasta que encuentre formas de crear enlaces a sus dominios (y posiblemente encuentre formas de obtener enlaces y recursos compartidos para sus páginas más profundas).
• Arquitectura del sitio: la arquitectura de la información de su sitio es un tema que está más allá del alcance de este artículo. Pero es posible que tenga páginas que estén a varios clics de la página de inicio de su sitio. Como resultado, estos son difíciles de alcanzar para los motores de búsqueda. Nuevamente, esto es algo para investigar (y/o potencialmente contratar a un SEO experimentado para investigar).
• Mapa del sitio: finalmente, si aún no ha enviado un mapa del sitio XML dinámico a Google Search Console. Este paso impulsa una mejor indexación de su sitio.

3. Cómo mantener las páginas que no desea que se indexen fuera del índice

Otro problema común para los especialistas en marketing es que desea mantener una página específica fuera del índice de Google. Tal vez sea un duplicado de una página existente, una página muy delgada que tiene algún uso para los usuarios pero no para los buscadores, o posiblemente sea algo con información privada que no desea en el índice de Google.

Cualquiera que sea la razón, existen algunos métodos básicos para mantener el contenido fuera del índice de Google.

1. Meta sin etiqueta de índice

En muchos casos, el método preferido para mantener una página fuera del índice de Google es agregar una etiqueta Meta No Index, de la documentación de Google sobre el tema:

La etiqueta sin índice ofrece una gran solución. Le indica a Google que elimine páginas del índice. Por ejemplo, los sitios con contenido ya indexado , la etiqueta sin índice ofrece un método preferido para desindexar su contenido. La directiva de rechazo de robots evita que Google rastree la página. Pero no necesariamente lo eliminará del índice si ya está allí.

Por el contrario, como señala el ingeniero de Google Gary Illyes:

DYK bloquea una página con un rechazo de robots.txt y un noindex en la página no tiene mucho sentido porque Googlebot no puede "ver" el noindex. pic.twitter.com/N4639rCCWt

— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 10 de febrero de 2017

Google debe poder rastrear su página para eliminarla del índice a través de este método. Por lo tanto, asegúrese de que las páginas permanezcan accesibles, espere hasta que se rastreen (o Explorar como Google para solicitar que se rastree o se reconsidere).

2. Robots.txt no permitido

Para sitios nuevos (o secciones de sitios) que esperan indexación, utilice la directiva de rechazo de robots. Por ejemplo, un sitio de preparación o un subdominio en construcción y que no está listo para el horario de máxima audiencia probablemente necesite esta opción.

Nuevamente, agregar esta directiva no necesariamente hace que su contenido se elimine del índice si ya aparece allí. De hecho, puede conducir a un resultado que está indexado y solo tiene una descripción subóptima.

Una advertencia importante con el uso de disallow es asegurarse de no prohibir más de lo que pretendía . Tenga cuidado de no bloquear subsecciones de su sitio en las que pueda haber contenido valioso al que desee que los buscadores puedan acceder. Y pruebe los cambios dentro de su archivo de robots en Google Search Console con la herramienta de prueba de robots.

Eliminación de URL y exclusión de parámetros de URL a través de Search Console

Finalmente, si tiene parámetros que el sistema de administración de contenido de su sitio agrega (tal vez debido a resultados de búsqueda filtrados, paginación o similar) que se indexan y desea eliminar, también puede brindarle a Google más información sobre esos parámetros. o solicitar que se eliminen URL específicas eliminando URL temporalmente de los resultados de búsqueda (no necesariamente del índice de Google, y no necesariamente de forma permanente):

Además, esto proporciona una metodología útil para la eliminación masiva de URL de los resultados de búsqueda o para identificar un parámetro específico:

Y luego dando a Google más información al respecto:

John Mueller de Google dijo que esto funciona de manera similar al contenido "permanentemente" sin indexación. Esto ofrece una opción viable para URL únicas. Sin embargo, lo ideal es que, en la mayoría de los casos, en lugar de aprovechar una eliminación temporal, querrá profundizar y abordar los problemas principales. ¿Qué tiene la estructura técnica de su sitio que crea la necesidad de desindexar las páginas? ¿Por qué estás (o estás) sufriendo de "hinchazón de índice" en primer lugar?

4. ¿Qué es "Inflación de índice" y cómo lo soluciono?

Index bloat es efectivo cuando tiene páginas innecesarias indexadas por Google que probablemente no generen tráfico relevante a su sitio en respuesta a las consultas de los usuarios. Esto crea un problema porque obliga a los motores de búsqueda a dedicar tiempo a rastrear e indexar páginas de bajo valor (lo que podría agotar su "presupuesto de rastreo"). Además, potencialmente publica páginas de bajo valor en algunos resultados de búsqueda (lo que genera una experiencia de usuario deficiente y métricas de participación deficientes). Contener una gran cantidad de contenido delgado o en gran parte duplicado con métricas de participación terribles probablemente provoque una clasificación de menor calidad a los ojos de Google.

Además de usar las herramientas y los procesos anteriores para analizar qué páginas están y qué páginas no están actualmente en el índice, y luego usar más para eliminar del índice las páginas de menor calidad y menor valor, aquí hay dos excelentes recursos sobre el tema:

• Guía de Green Lane SEO para encontrar y solucionar problemas de índices excesivos
• Diagnóstico de índice rápido y sucio de Portent Interactive

Una vez más, una nota importante es no "cortar demasiado profundo". Antes de comenzar a eliminar grandes secciones de su sitio del índice de Google, busque en Analytics (o tome las URL y ejecútelas a través de URL Profiler) para asegurarse de que no está cortando el tráfico y los clientes potenciales / ventas de estas páginas.

5. ¿Qué herramientas pueden ayudar con el monitoreo de la indexación (es decir, cuáles son los mejores "verificadores de índices de Google?")

Como mencioné hasta el cansancio aquí, mi preferencia personal es aprovechar URL Profiler como un Google Index Checker, pero aquí hay algunas opciones adicionales:

• http://indexchecking.com/
• https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
• https://www.greenlaneseo.com/blog/google-indexation-tester/

BONIFICACIÓN: recursos de indexación móvil

Específicamente, la indexación de dispositivos móviles y aplicaciones puede ser bestias ligeramente diferentes a la indexación tradicional, por lo que si tiene problemas, aquí hay algunos recursos adicionales de indexación centrados en dispositivos móviles:

• https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
• https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
• https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
• http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
• https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
• https://moz.com/blog/how-to-get-your-app-content-indexed-by-google

¿Qué nos perdimos? ¿Qué otros problemas de indexación de Google ha visto? ¿Qué consejos puede compartir?