Guida all'indicizzazione di Google: problemi, statistiche e altro sull'indice di Google

Molti contenuti SEO si concentrano sul posizionamento nei risultati di ricerca desiderati. Ciò ha senso perché non puoi indirizzare il traffico verso il tuo sito dalla ricerca organica senza ottenere un buon posizionamento nei risultati di ricerca (ad esempio, l'indice di Google). Inoltre, non puoi generare lead e vendite per la tua attività senza generare traffico organico. Se sei un dirigente di marketing, un direttore, un manager, ecc., questa è probabilmente la tua preoccupazione principale.

Per classificare i termini desiderati, in primo luogo, è necessaria una presenza nell'indice di Google. Una volta inserire il tuo sito nell'indice era piuttosto difficile. La "sottomissione del sito" era un servizio comune. Tuttavia, ora Google è molto bravo a trovare nuovi siti. Ad esempio, se hai twittato sul tuo sito, inviato un comunicato stampa o praticamente chiunque sia collegato al tuo sito, probabilmente Google sa che esisti. Ma se hai provato a indirizzare il traffico di ricerca, probabilmente ti sei imbattuto in una serie di problemi di indicizzazione di Google man mano che il tuo sito cresce.

Per i non SEO (e spesso anche per i SEO) molti di questi problemi rimangono molto confusi e frustranti. Praticamente ogni volta che eseguo un audit SEO con un cliente c'è almeno un po' di confusione su problemi di indicizzazione, contenuti duplicati, il modo migliore per rimuovere pagine dall'indice di Google, ecc.

Cosa aspettarsi da questa panoramica dell'indice di Google

In questo articolo cercherò di aiutare un generalista del marketing (qualcuno con una conoscenza di base della SEO che è responsabile di indirizzare più traffico verso il proprio sito Web ma potrebbe non essere fino al ginocchio nelle scansioni di Screaming Frog e nell'analisi dei link su base giornaliera). base giornaliera) comprendere:

• Come funziona l'indice di Google.
• Interpreta diverse statistiche dell'indice o "conteggi" da Google.com.
• Comprendi il tuo account Google Search Console.
• Correzioni tecniche per problemi di indicizzazione comuni (ad esempio, non avere pagine indicizzate o avere pagine che non si desidera indicizzare che perdono nell'indice).

Cominciamo dall'inizio.

Come funziona l'indice di Google?

Il motore di ricerca di Google è molto complesso. Uno sguardo approfondito su come Google trova, archivia e dà priorità alle pagine va oltre lo scopo di questo articolo.

Ad alto livello, Google lavora sodo per trovare (o scansionare) il maggior numero possibile di pagine utili. Inoltre, Google lavora duramente per archiviare (o indicizzare) quelle pagine che restituiscono ricerche pertinenti. Inoltre, l'indice di Google lavora sodo per restituire le pagine appropriate che soddisfano al meglio la query di ricerca di un ricercatore. (Come effetto collaterale, questo probabilmente aiuta anche i profitti di Alphabet, ma questa è un'altra discussione).

Di nuovo a un livello alto (e semplificato) vuoi:

• le cose buone indicizzate (le pagine del tuo sito che sono di alta qualità, utili per gli utenti e che probabilmente guidano azioni desiderabili per la tua attività).
• le cose brutte fuori dall'indice di Google (pagine di basso valore e/o scarse o duplicate che ti danneggiano più che aiutarti a indirizzare traffico pertinente al tuo sito).

Un'altra cosa da notare: l'indicizzazione non è necessariamente la stessa cosa di ciò che appare nei risultati di ricerca . Google mantiene internamente un indice delle pagine. Quando cerchi argomenti su Google.com, vedi alcune delle tue pagine. Non si tratta necessariamente di tutte le pagine che Google conserva nel suo indice . Le pagine indicizzate potrebbero non essere mai effettivamente visualizzate nei risultati di ricerca o ottenere clic e raggiungere il tuo sito.

Il resto di questo articolo si concentra sull'analisi di quali pagine del tuo sito sono presenti nell'indice e su ciò che tu, come operatore di marketing, puoi fare per assumere il controllo e ottimizzare al meglio ciò che è e non è indicizzato. Inoltre, esistono numerose risorse per saperne di più su come funziona l'indicizzazione di Google, tra cui:

• La panoramica di Moz su come funzionano i motori di ricerca.
• Un paio di analisi diverse della presentazione di un ingegnere di ricerca di Google su come funziona l'indice di Google.
• Questa rappresentazione visiva di come funziona Google.

Comprensione delle statistiche dell'indice

Per molti, le statistiche dell'indice che vedi sul tuo sito producono alcuni pensieri piuttosto confusi. Google offre due modi comuni per mostrare le statistiche del tuo sito su quante pagine del tuo sito vengono indicizzate da Google.

Statistiche dell'indice su Google.com

Per vedere quante e quali delle tue pagine vengono indicizzate in Google, inizia andando effettivamente su Google.com e digitando site:yoursite.com. Diamo un'occhiata a ciò che Google mostra nell'operatore di ricerca del sito per un sito, di cui abbiamo scritto in passato, SearchEngineLand.com:

Circa 30.700 risultati – sono davvero pochi! Se questo fosse il tuo sito e hai controllato le statistiche dell'indice per la prima volta, probabilmente avrai due emozioni. In primo luogo, entusiasmo perché pensi che molti dei miei post vengano indicizzati! Al contrario, potresti provare un po' di allarme quando pensi che il tuo sito non contenga così tante pagine.

Quando inizi a scavare tra le pagine che sono indicizzate e fai clic su ulteriori pagine di risultati (dieci - o molto meno con annunci e altri contenuti Google in primo piano che dominano molte SERP - è ovviamente l'impostazione predefinita, ma poiché mi capita spesso scavando tra le SERP mi piace cambiare i miei risultati per pagina a 100) accade qualcosa di piuttosto strano. Con le mie impostazioni a 100 risultati per pagina, quando scorro fino alla fine del risultato della ricerca per la ricerca del sito di SEL, vedo 8 link:

8 x 100 risultati chiaramente non equivalgono a "Circa 30.700". Strano: pensavo che Google fornisse oltre 30.000 risultati. Se faccio clic sul collegamento ^all'ottava pagina dei risultati, il risultato è ancora più confuso:

E se clicco sul link "ripeti la ricerca includendo i risultati omessi" e torno all'ultima pagina, vedo qualcosa di simile.

Ma Search Engine Land è un sito estremamente affidabile che pubblica diversi nuovi contenuti al giorno. Quindi non possono essere tutte le pagine che Google ha indicizzato, giusto?

Non lo è assolutamente. Google ha effettivamente visto i test abbandonarlo del tutto. Inoltre, Google ha affermato esplicitamente che questi numeri non devono essere completamente attendibili per diversi anni (quel video è del 2010!). E questo problema peggiora quanto più grande diventa il tuo sito:

DYK il "numero di risultati" che vedi nei risultati di ricerca è davvero solo un'approssimazione che è tanto meno precisa quanti più potenziali risultati esistono? pic.twitter.com/o2odhwjsIA

— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 11 febbraio 2017

Dove altro possiamo trovare i nostri conteggi di indicizzazione? Oppure come possiamo capire quali pagine del nostro sito sono indicizzate?

Statistiche dell'indice in Google Search Console (precedentemente Strumenti per i Webmaster)

Il tuo account Google Search Console fornisce dati aggiuntivi sui risultati dell'indice del tuo sito. E se non hai un account GSC, creane uno qui oggi.

Per la nostra panoramica, esaminiamo l'account di un sito di proprietà della mia azienda. C'è un'intera sottosezione di Google Search Console dedicata ai dati dell'Indice di Google.

Stato dell'indice in Google Search Console

I dati GSC generalmente forniscono informazioni più accurate. Inoltre, offre anche alcuni dati di tendenza. Ma cosa succede se vedi un numero di pagine indicizzate che sembra troppo basso? O statistiche di Search Analytics drammaticamente sottostimate?

In genere, questi problemi si verificano in base al modo in cui Google Search Console gestisce i sottodomini, le versioni www e non www del tuo sito e le versioni http e https del tuo sito.

Se i tuoi numeri di Google Search Console sono estremamente bassi, controlla l'URL molto specifico associato al sito nella navigazione in alto:

Inoltre, se hai spostato il tuo sito su https o utilizzi un sottodominio (ad es. http://info.measuredsem.com), aggiungili come siti separati. Inoltre, se sei passato da http://www.measuredsem.com a http://measuredsem.com o li supporti entrambi, imposta il tuo dominio preferito all'interno del tuo account.

Inoltre c'è un altro posto dove puoi ottenere informazioni su come il tuo sito è indicizzato all'interno di Google Search Console.

Sitemap in Google Search Console

Google Search Console include una sezione della mappa del sito, che consente l'invio di una mappa del sito XML per il tuo sito. Inoltre, questa sezione offre un'idea di quante delle pagine inviate siano effettivamente nell'indice. Inoltre, la sezione mostra come quel numero cambia nel tempo.

La sfida qui è che mentre puoi guardare all'interno della tua Sitemap XML per vedere quali pagine hai inviato, non hai necessariamente il livello di dettaglio che potresti voler rispondere a domande specifiche (ad esempio se ampie fasce di pagine sono o non sono t indicizzato).

5 suggerimenti utili per l'indicizzazione di Google

Quindi ora sai qualcosa in più su come funziona l'indice di Google. Inoltre, alcuni degli strumenti che mostrano le prestazioni del tuo sito all'interno dell'indice di Google. Che ne dici di risolvere effettivamente problemi specifici relativi all'indice? Sulla base del mio lavoro con i clienti e di alcune ricerche sull'argomento, ecco le cinque principali domande/problemi che ho riscontrato in relazione all'indicizzazione di Google:

1. Come sapere quali pagine specifiche NON sono indicizzate

Le pagine che non sono nell'indice di Google non verranno visualizzate nei risultati di ricerca. Quindi una delle prime cose che potresti voler capire è "quali pagine del mio sito non sono indicizzate?" Sfortunatamente, la maggior parte dei metodi sopra elencati non ha una soluzione per questo problema. I metodi precedenti consentono di comprendere le pagine del tuo sito nell'indice di Google . Tuttavia, questi metodi non indirizzano le pagine del tuo sito non presenti nell'indice di Google . Per un sito molto piccolo, questo potrebbe essere abbastanza facile da individuare. Ma se mantieni un blog attivo, è probabile che il tuo sito contenga abbastanza pagine che "osservare" le pagine mancanti non è un'opzione ragionevole. Due strumenti principali affrontano questo processo:

Fase uno: scansiona il tuo sito con Screaming Frog

Screaming Frog è generalmente una delle mie app più utilizzate attraverso qualsiasi processo di audit del sito SEO. In questo screenshot, fornisce un'immagine di quali pagine sono presenti sul tuo sito:

Screaming Frog è uno strumento SEO super utile/potente, ma per i nostri scopi qui vogliamo solo eseguire la scansione del sito e filtrare le pagine HTML. Quindi, filtra l'elenco per qualsiasi pagina del nostro sito che desideriamo nell'indice. Tra un minuto ci occuperemo delle pagine che non vogliamo.

Da lì, userò un altro strumento che è incredibilmente utile in qualsiasi audit SEO tecnico: URL Profiler.

URL Profiler è un altro strumento SEO estremamente potente, ma anche qui lo useremo per uno scopo piuttosto ristretto. Scoprire quali degli URL sul nostro sito (che abbiamo appena esportato dalla nostra scansione) sono effettivamente indicizzati:

Se hai un sito più grande, questo in genere richiede alcuni proxy per controllare l'indicizzazione. Se non sei eccessivamente tecnico sembra intimidatorio, ma è incredibilmente facile. Ci vogliono pochi minuti e non richiede alcuna competenza tecnica (oltre alle capacità di copia/incolla).

Occasionalmente, ci vogliono un paio di volte e lascia sempre un po' di tempo per gattonare più grandi. Ma alla fine ti ritroverai con un elenco di tutte le pagine che non sono indicizzate sul tuo sito.

2. Come ottenere qualcosa (il tuo intero sito, una nuova pagina, una pagina esistente che non è indicizzata) indicizzato

Ottenere un nuovo sito indicizzato era un'industria a sé stante. Tuttavia, in questi giorni, se possiedi un sito Web e un'attività legittimi, il processo è semplificato. In effetti, la tua home page e il dominio in generale dovrebbero essere indicizzati molto rapidamente. Ad esempio, l'invio di un Tweet con un link aiuta Google a indicizzare il sito. Oppure ricevere un collegamento da un altro sito funziona. Infine, semplicemente inviando il tuo URL a Google per lavori gratuiti! Di conseguenza, molti siti senza contenuti e senza collegamenti esterni/tweet/ecc. vengono indicizzati senza alcuno sforzo. Recentemente la mia azienda ha acquistato 50 domini e ha inserito pagine segnaposto molto semplici su ciascuno. Google ne ha indicizzati 28 prima di condurre qualsiasi tipo di promozione.

Per i siti esistenti con una serie di pagine che necessitano di indicizzazione, dai un'occhiata alle tue opzioni.

A. Recupera e invia all'indice tramite Google Search Console

Per i siti con un numero ridotto di URL, inviali ciascuno a Google Console per l'indicizzazione. Questo è un processo abbastanza semplice. Inizia accedendo al tuo account Google Search Console e osservando la barra di navigazione a sinistra sotto la scansione e facendo clic su Visualizza come Google:

Successivamente, inserisci l'URL che deve essere inviato e fai clic su recupera. Ti verrà data la possibilità di richiedere l'indicizzazione:

Infine si invia l'URL stesso o l'URL e quelli collegati dalla pagina. Per i nostri scopi, poiché disponiamo di un set specifico di URL che vorremmo vedere indicizzati (e poiché abbiamo un numero limitato di invii – 500 URL singoli e solo 10 invii di URL multipli – al mese) invieremo l'URL a l'indice:

Infine dovresti vedere che la tua richiesta di indicizzazione è andata a buon fine:

Se stai lavorando su un elenco di URL, puoi concedergli un paio di giorni ed eseguire nuovamente lo stesso elenco tramite URL Profiler e vedere come i tuoi sforzi hanno influito sull'indicizzazione.

B. Condividi i tuoi URL socialmente

La condivisione di URL e contenuti tramite i social network migliora anche l'indicizzazione delle pagine chiave. Ad esempio, per pagine di valore (e relative al tuo pubblico principale), condividile socialmente. In particolare, funziona per i siti con account social popolari.

Ad esempio, il tuo sito contiene una serie di pagine di prodotti che descrivono in dettaglio funzionalità specifiche? In tal caso, metti in coda 1 tweet a settimana / ogni paio di giorni condividendo una pagina di funzionalità specifica. Qualcosa del tipo "Sapevi che {prodotto} potrebbe essere d'aiuto con {cosa aiuta con la caratteristica}? {link}" funziona bene.

C. Risolvi i problemi sottostanti!

Il tuo sito contiene ancora grandi volumi di pagine che necessitano di indicizzazione? In tal caso, probabilmente hai un problema SEO fondamentale con il tuo sito. Ti consigliamo di indagare:

• Link Equity – Hai più pagine sul tuo sito di quelle che il link equity (numero e autorità dei link indirizzati al tuo sito) può supportare? Ciò può significare che le pagine più profonde non verranno sottoposte a scansione e indicizzate fino a quando non troverai modi per creare collegamenti ai tuoi domini (e potenzialmente trovare modi per ottenere collegamenti e condivisioni per le tue pagine più profonde).
• Architettura del sito: l'architettura delle informazioni del tuo sito è un argomento che va oltre lo scopo di questo articolo. Ma potresti avere pagine che distano diversi clic dalla home page del tuo sito. Di conseguenza, questi sono difficili da raggiungere per i motori di ricerca. Ancora una volta, questo è qualcosa su cui indagare (e/o potenzialmente assumere un SEO esperto per indagare).
• Mappa del sito: infine, se non hai già inviato una mappa del sito XML dinamica a Google Search Console. Questo passaggio favorisce una migliore indicizzazione del tuo sito.

3. Come mantenere le pagine che non si desidera indicizzare fuori dall'indice

Un altro problema comune per i professionisti del marketing è che si desidera mantenere una pagina specifica fuori dall'indice di Google. Forse è un duplicato di una pagina esistente, una pagina molto sottile che ha qualche utilità per gli utenti ma non per chi effettua ricerche, o forse è qualcosa con informazioni private che non vuoi nell'indice di Google.

Qualunque sia la ragione, ci sono alcuni metodi fondamentali per mantenere i contenuti fuori dall'indice di Google.

1. Meta Nessun tag di indice

In molti casi il metodo preferito per mantenere una pagina fuori dall'indice di Google è aggiungere un tag Meta No Index, dalla documentazione di Google sull'argomento:

Il tag no index offre un'ottima soluzione. Indica a Google di rimuovere le pagine dall'indice. Ad esempio, per i siti con contenuti già indicizzati , il tag no index offre un metodo preferito per deindicizzare i tuoi contenuti. La direttiva robots disallow impedisce a Google di eseguire la scansione della pagina. Ma non lo rimuoverà necessariamente dall'indice se è già presente.

Al contrario, come sottolinea l'ingegnere di Google Gary Illyes:

Il blocco DYK di una pagina sia con un disallow robots.txt che con un noindex nella pagina non ha molto senso perché Googlebot non può "vedere" il noindex? pic.twitter.com/N4639rCCWt

— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 10 febbraio 2017

Google deve essere in grado di eseguire la scansione della tua pagina per rimuoverla dall'indice tramite questo metodo. Quindi assicurati che le pagine rimangano accessibili, attendi fino a quando non viene scansionato (o Visualizza come Google per richiedere che venga scansionato/riconsiderato).

2. Robots.txt Non consentire

Per i nuovi siti (o sezioni del sito) in attesa di indicizzazione, utilizzare la direttiva robots disallow. Ad esempio, un sito di staging o un sottodominio in costruzione e non pronto per il primetime probabilmente necessita di questa opzione.

Anche in questo caso l'aggiunta di questa direttiva non comporta necessariamente la rimozione del contenuto dall'indice se è già presente. In effetti può portare a un risultato che è indicizzato e ha solo una descrizione non ottimale.

Un'avvertenza importante con l'uso di disallow è di assicurarsi di non impedire più di quanto previsto . Fai attenzione a non bloccare sottosezioni del tuo sito in cui potrebbero esserci contenuti di valore a cui desideri che gli utenti possano accedere. E verifica le modifiche all'interno del tuo file robots in Google Search Console con lo strumento tester robot.

Rimozione di URL ed esclusione di parametri URL tramite Search Console

Infine, se disponi di parametri che vengono aggiunti dal sistema di gestione dei contenuti del tuo sito (magari a causa di risultati di ricerca filtrati, impaginazione o simili) che vengono indicizzati e che desideri vengano rimossi, puoi anche fornire a Google ulteriori informazioni su tali parametri oppure richiedere la rimozione di URL specifici rimuovendo temporaneamente gli URL dai risultati di ricerca (non necessariamente dall'indice di Google e non necessariamente in modo permanente):

Inoltre, questo fornisce una pratica metodologia per la rimozione collettiva di URL dai risultati di ricerca o per identificare un parametro specifico:

E poi dare a Google maggiori informazioni al riguardo:

John Mueller di Google ha affermato che questo funziona in modo simile al contenuto "permanentemente" senza indicizzazione. Quindi questo offre un'opzione praticabile per gli URL una tantum. Idealmente, tuttavia, nella maggior parte dei casi, piuttosto che sfruttare una rimozione temporanea, vorrai scavare e affrontare i problemi principali. Di cosa si tratta nella struttura tecnica del tuo sito che crea la necessità di deindicizzare le pagine? Perché stai (o stai) soffrendo di "indice gonfio" in primo luogo?

4. Che cos'è "Index Bloat" e come posso risolverlo?

Il gonfiamento dell'indice è efficace quando hai pagine non necessarie indicizzate da Google che probabilmente non indirizzano traffico pertinente al tuo sito in risposta alle domande degli utenti. Ciò crea un problema perché costringe i motori di ricerca a dedicare tempo alla scansione e all'indicizzazione di pagine di basso valore (che potrebbero esaurire il tuo "budget di scansione"). Inoltre, potenzialmente pubblica pagine di basso valore in alcuni risultati di ricerca (con conseguente scarsa esperienza utente e metriche di coinvolgimento scadenti). Il contenuto di molti contenuti scarni o in gran parte duplicati con metriche di coinvolgimento terribili probabilmente causa un posizionamento di qualità inferiore agli occhi di Google.

Oltre a utilizzare gli strumenti e i processi di cui sopra per analizzare quali pagine sono e non sono attualmente nell'indice, quindi utilizzarne di più per rimuovere dall'indice le pagine di qualità inferiore e di valore inferiore, ecco due ottime risorse sull'argomento:

• Guida di Green Lane SEO per trovare e risolvere i problemi di gonfiamento dell'indice
• La diagnostica dell'indice rapida e sporca di Portent Interactive

Anche in questo caso una nota importante è di non "tagliare troppo in profondità". Prima di iniziare a eliminare ampie sezioni del tuo sito dall'indice di Google, guarda in Analytics (o prendi gli URL ed eseguili tramite URL Profiler) per assicurarti di non interrompere traffico e lead/vendite da queste pagine.

5. Quali strumenti possono aiutare a monitorare l'indicizzazione (ovvero quali sono i migliori "Google Index Checker?")

Come ho menzionato fino alla nausea qui, la mia preferenza personale è quella di sfruttare URL Profiler come Google Index Checker, ma qui ci sono alcune opzioni aggiuntive:

• http://indexchecking.com/
• https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
• https://www.greenlaneseo.com/blog/google-indexation-tester/

BONUS: risorse di indicizzazione mobile

L'indicizzazione di app e dispositivi mobili in particolare può essere leggermente diversa dall'indicizzazione tradizionale, quindi se riscontri problemi, ecco alcune risorse aggiuntive per l'indicizzazione incentrate sui dispositivi mobili:

• https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
• https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
• https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
• http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
• https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
• https://moz.com/blog/how-to-get-your-app-content-indexed-by-google

Cosa ci siamo persi? Quali altri problemi di indicizzazione di Google hai riscontrato/quali suggerimenti puoi condividere?