Ghid de indexare Google: probleme de indexare Google, statistici și altele

O mulțime de conținut SEO se concentrează pe clasarea bine în rezultatele de căutare dorite. Acest lucru are sens, deoarece nu puteți genera trafic către site-ul dvs. din căutarea organică fără să vă clasați bine în rezultatele căutării (adică, indexul Google). În plus, nu puteți genera clienți potențiali și vânzări pentru afacerea dvs. fără a genera trafic organic. Dacă sunteți director de marketing, director, manager etc., probabil că aceasta este preocuparea dvs. principală.

Pentru a vă clasa în funcție de termenii doriti, mai întâi, aveți nevoie de o prezență în indexul Google. Pe vremuri, introducerea site-ului dvs. în index era oarecum dificilă. „Prezentarea site-ului” a fost un serviciu comun. Cu toate acestea, acum Google se pricepe foarte bine la găsirea de site-uri noi. De exemplu, dacă ați postat pe Twitter despre site-ul dvs., ați trimis un comunicat de presă sau, practic, oricine are linkuri la site-ul dvs., atunci Google probabil știe că existați. Dar dacă ați încercat să generați trafic de căutare, probabil că ați întâlnit o varietate de probleme de indexare Google pe măsură ce site-ul dvs. crește.

Pentru non-SEO (și frecvent și pentru SEO) multe dintre aceste probleme rămân foarte confuze și frustrante. Practic, de fiecare dată când trec printr-un audit SEO cu un client, există cel puțin o confuzie cu privire la problemele de indexare, conținutul duplicat, cel mai bun mod de a elimina paginile din indexul Google etc.

La ce să vă așteptați de la această prezentare generală a indexului Google

În acest articol, voi încerca să ajut un generalist de marketing (cineva cu o înțelegere de bază a SEO, care este responsabil pentru a genera mai mult trafic către site-ul lor web, dar care poate să nu fie până la genunchi în crawlerile Screaming Frog și analiza link-urilor pe o zi-la- pe zi) înțelegeți:

• Cum funcționează indexul Google.
• Interpretați diferite statistici de index sau „numărări” de pe Google.com.
• Înțelegeți contul dvs. Google Search Console.
• Remedieri tehnice pentru problemele obișnuite de indexare (adică, nu au pagini indexate sau au pagini pe care nu doriți ca indexarea să se scurgă în index).

Să începem de la început.

Cum funcționează indexul Google?

Motorul de căutare Google este foarte complex. O privire aprofundată asupra modului în care Google găsește, stochează și prioritizează paginile rămâne în afara domeniului de aplicare al acestui articol.

La un nivel înalt, Google se străduiește să găsească (sau să acceseze cu crawlere) cât mai multe pagini utile. În plus, Google se străduiește să stocheze (sau să indexeze) acele pagini care returnează căutări relevante. În plus, indexul Google lucrează din greu pentru a returna paginile adecvate care satisfac cel mai bine interogarea de căutare a unui utilizator. (Ca efect secundar, probabil că acest lucru ajută la rezultatul final al Alphabetului, dar aceasta este o altă discuție).

Din nou la un nivel înalt (și suprasimplificat) doriți:

• lucrurile bune indexate (paginile de pe site-ul dvs. care sunt de înaltă calitate, utile pentru cei care caută și probabil conduc acțiuni de dorit pentru afacerea dvs.).
• lucrurile proaste din indexul Google (paginile care au valoare scăzută și/sau sunt subțiri sau duplicate care vă rănesc mai mult decât vă ajută să generați trafic relevant către site-ul dvs.).

Un alt lucru de reținut: indexarea nu este neapărat același lucru cu ceea ce apare în rezultatele căutării . Google menține un index al paginilor intern. Când căutați subiecte pe Google.com, vedeți unele dintre paginile dvs. Acestea nu sunt neapărat toate paginile pe care Google le păstrează în indexul său . Este posibil ca paginile indexate să nu apară niciodată în rezultatele căutării sau să nu primească clicuri și să vină pe site-ul dvs.

Restul acestui articol se concentrează pe analizarea ce pagini de pe site-ul tău se află în index, precum și pe ceea ce poți face tu – în calitate de marketer – pentru a prelua controlul și a optimiza mai bine ceea ce este și ce nu este indexat. În plus, există o serie de resurse pentru a afla mai multe despre cum funcționează indexarea Google, inclusiv:

• Prezentarea lui Moz despre modul în care funcționează motoarele de căutare.
• Câteva defalcări diferite ale prezentării unui inginer de căutare Google despre cum funcționează indexul Google.
• Această reprezentare vizuală a modului în care funcționează Google.

Înțelegerea statisticilor indexului

Pentru mulți, statisticile de index pe care le vedeți despre propriul dvs. site dă niște gânduri destul de confuze. Google oferă două modalități comune care arată statisticile site-ului dvs. despre câte pagini de pe site-ul dvs. indexează Google.

Statistici de index pe Google.com

Pentru a vedea câte și care dintre paginile dvs. devin indexate în Google, începeți prin a accesa Google.com și introduceți site:yoursite.com. Să ne uităm la ce arată Google în operatorul de căutare pe site pentru un site, despre care am scris în trecut, SearchEngineLand.com:

Aproximativ 30.700 de rezultate – sunt destul de multe! Dacă acesta ar fi site-ul dvs. și v-ați verificat statisticile indexului pentru prima dată, probabil că aveți două emoții. În primul rând, emoție deoarece crezi că multe dintre postările mele sunt indexate! În schimb, s-ar putea să simți o oarecare alarmă când crezi că îți dai seama că site-ul tău nu conține atât de multe pagini.

Pe măsură ce începeți să căutați paginile care sunt indexate și să faceți clic pe pagini suplimentare de rezultate (zece – sau mult mai puține cu anunțuri și alte conținuturi Google prezentate care domină o mulțime de SERP-uri – este, desigur, implicit, dar așa cum sunt frecvent săpat prin SERP-uri Îmi place să-mi schimb rezultatele pe pagină la 100) se întâmplă ceva destul de ciudat. Cu setările mele la 100 de rezultate pe pagină, când derulez în partea de jos a rezultatului căutării pentru căutarea pe site-ul SEL, văd 8 link-uri:

Rezultatele 8 x 100 în mod clar nu sunt egale cu „Aproximativ 30.700”. Odd: Credeam că Google a oferit peste 30.000 de rezultate. Dacă dau clic pe linkul către a 8- ^a pagină de rezultate, rezultă și mai confuz:

Și dacă dau clic pe linkul „repetă căutarea cu rezultatele omise incluse” și dau înapoi la ultima pagină, văd ceva similar.

Dar Search Engine Land este un site extrem de de încredere care postează mai multe piese noi de conținut pe zi. Deci nu pot fi toate paginile pe care Google le-a indexat, nu?

Cu siguranță nu este. De fapt, Google a fost văzut că testează renunțând cu totul. În plus, Google a spus în mod explicit că aceste numere nu trebuie să fie complet de încredere timp de câțiva ani (videoclipul este din 2010!). Și această problemă se înrăutățește cu cât site-ul tău devine mai mare:

DYK „numărul de rezultate” pe care îl vedeți în rezultatele căutării este într-adevăr doar o aproximare care este mai puțin precisă cu cât există mai multe rezultate potențiale? pic.twitter.com/o2odhwjsIA

— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 11 februarie 2017

Unde mai putem găsi numărul nostru de indexare? Sau cum putem înțelege ce pagini de pe site-ul nostru sunt indexate?

Statistici de indexare în Google Search Console (fost Webmaster Tools)

Contul dvs. Google Search Console oferă date suplimentare despre rezultatele indexului site-ului dvs. Și dacă nu aveți un cont GSC, atunci configurați unul aici astăzi.

Pentru prezentarea noastră de ansamblu, să ne uităm la contul unui site pe care compania mea îl deține. Există o întreagă subsecțiune a Google Search Console dedicată datelor Google Index.

Starea indexării în Google Search Console

Datele GSC oferă în general informații mai precise. În plus, oferă și câteva date despre tendințe. Dar, ce se întâmplă dacă vedeți un număr de pagini indexate care pare mult prea scăzut? Sau statistici de Search Analytics subraportate dramatic?

De obicei, aceste probleme apar în funcție de modul în care Google Search Console tratează subdomeniile, versiunile www și non-www ale site-ului dvs. și versiunile http și https ale site-ului dvs.

Dacă numerele dvs. din Google Search Console sunt extrem de mici, verificați adresa URL foarte specifică asociată site-ului în navigarea de sus:

În plus, dacă ați mutat site-ul pe https sau ați utilizat un subdomeniu (de exemplu, http://info.measuredsem.com), adăugați-le ca site-uri separate. De asemenea, dacă ați trecut de la http://www.measuredsem.com la http://measuredsem.com sau ați acceptat ambele, atunci setați domeniul preferat în contul dvs.

În plus, există un alt loc în care puteți obține informații despre modul în care site-ul dvs. este indexat în Google Search Console.

Sitemap-uri în Google Search Console

Google Search Console include o secțiune de hartă de site, care permite trimiterea unei hărți de site XML pentru site-ul dvs. De asemenea, această secțiune oferă o idee despre câte dintre paginile trimise sunt de fapt în index. În plus, secțiunea arată cum se modifică acest număr în timp.

Provocarea aici este că, deși puteți căuta în sitemap-ul dvs. XML pentru a vedea ce pagini ați trimis, nu aveți neapărat nivelul de detaliu la care doriți să răspundeți la întrebări specifice (cum ar fi dacă părți mari de pagini sunt sau nu sunt) t indexat).

5 Sfaturi de indexare Google acționabile

Deci acum știți puțin mai multe despre cum funcționează indexul Google. În plus, unele dintre instrumentele dvs. care arată cum funcționează site-ul dvs. în cadrul indexului Google. Ce zici de rezolvarea unor probleme specifice legate de index? Pe baza muncii mele cu clienții și a unor cercetări în jurul acestui subiect, iată cele mai mari cinci întrebări/probleme pe care le-am găsit în legătură cu indexarea Google:

1. Cum să afli care pagini specifice NU sunt indexate

Paginile care nu sunt în indexul Google nu vor apărea în rezultatele căutării. Deci, unul dintre primele lucruri pe care poate doriți să le înțelegeți este „ce pagini de pe site-ul meu nu sunt indexate?” Din păcate, majoritatea metodelor enumerate mai sus nu au o soluție pentru această problemă. Metodele anterioare ajută la înțelegerea paginilor de pe site-ul dvs. din indexul Google . Cu toate acestea, aceste metode nu se adresează paginilor de pe site-ul dvs. care nu se află în indexul Google . Pentru un site foarte mic, acest lucru poate fi destul de ușor de observat. Dar dacă mențineți un blog activ, site-ul dvs. conține probabil suficiente pagini încât să „observați” paginile lipsă să nu fie o opțiune rezonabilă. Două instrumente principale abordează acest proces:

Pasul unu: accesați cu crawlere site-ul dvs. cu Screaming Frog

Screaming Frog este, în general, una dintre cele mai utilizate aplicații ale mele prin orice proces de audit SEO al site-ului. În această captură de ecran, oferă o imagine a paginilor prezente pe site-ul dvs.:

Screaming Frog este un instrument SEO super util/puternic, dar pentru scopurile noastre aici vrem doar să accesăm cu crawlere site-ul și să filtram paginile HTML. Apoi, filtrați acea listă pentru oricare dintre paginile de pe site-ul nostru pe care le dorim în index. Ne vom ocupa într-un minut de pagini pe care nu le dorim.

De acolo, voi folosi un alt instrument care este incredibil de util în orice audit tehnic SEO: URL Profiler.

URL Profiler este un alt instrument SEO extrem de puternic, dar din nou aici îl vom folosi într-un scop destul de restrâns. Aflați care dintre adresele URL de pe site-ul nostru (pe care tocmai le-am exportat din accesarea cu crawlere) sunt de fapt indexate:

Dacă aveți un site mai mare, acest lucru necesită de obicei niște proxy pentru a verifica indexarea. Dacă nu ești prea tehnic, sună intimidant, dar este incredibil de ușor. Durează câteva minute și nu necesită nicio expertiză tehnică (dincolo de abilitățile de copiere/lipire).

Ocazional, este nevoie de câteva ori și întotdeauna lasă ceva timp pentru târâri mai mari. Dar, în cele din urmă, ajungi cu o listă cu toate paginile care nu sunt indexate pe site-ul tău.

2. Cum să obțineți ceva (întregul dvs. site, o pagină nouă, o pagină existentă care nu este indexată) indexat

Obținerea unui site nou indexat era o industrie în sine. Cu toate acestea, în zilele noastre, dacă dețineți un site web și o afacere legitime, procesul este simplificat. De fapt, pagina dvs. de pornire și domeniul general ar trebui să fie indexate foarte repede. De exemplu, trimiterea unui Tweet cu un link ajută Google să indexeze site-ul. Sau primirea unui link de pe alt site funcționează. În cele din urmă, pur și simplu trimiteți adresa URL la Google pentru lucrări gratuite! Drept urmare, multe site-uri fără conținut și fără link-uri externe / tweet-uri / etc. sunt indexate fără niciun efort. Recent, compania mea a cumpărat 50 de domenii și a creat pagini foarte simple de înlocuire pentru fiecare. Google a indexat 28 dintre ele înainte de a realiza orice fel de promovare.

Pentru site-urile existente cu un set de pagini care necesită indexare, aruncați o privire la opțiunile dvs.

A. Preluați și trimiteți la index prin Google Search Console

Pentru site-urile cu un număr mic de adrese URL, trimiteți-le fiecare la Google Console pentru indexare. Acesta este un proces destul de simplu. Începeți prin a vă conecta la contul dvs. Google Search Console și vă uitați la navigarea din stânga sub crawler și faceți clic pe Preluare ca Google:

Apoi, introduceți adresa URL care trebuie trimisă și faceți clic pe Preluare. Vi se va oferi opțiunea de a solicita indexarea:

În cele din urmă, trimiteți fie URL-ul propriu-zis, fie adresa URL și cele la care se leagă din pagină. Pentru scopurile noastre, deoarece avem un anumit set de adrese URL pe care ne-am dori să-l vedem indexate (și pentru că avem un număr limitat de trimiteri – 500 de adrese URL unice și doar 10 adrese URL multiple – pe lună), vom trimite adresa URL la indexul:

În cele din urmă, ar trebui să vedeți că solicitarea dvs. de indexare a trecut prin:

Dacă lucrați la o listă de adrese URL, puteți apoi să îi acordați câteva zile și să rulați din nou aceeași listă prin URL Profiler și să vedeți cum eforturile dvs. au influențat indexarea.

B. Distribuiți-vă adresele URL în mod social

Partajarea adreselor URL și a conținutului prin intermediul rețelelor sociale îmbunătățește, de asemenea, indexarea paginilor cheie. De exemplu, pentru pagini valoroase (și legate de publicul principal), distribuiți-le social. În special, aceasta funcționează pentru site-urile cu conturi sociale populare.

De exemplu, site-ul dvs. conține o serie de pagini de produse care detaliază caracteristici specifice? Dacă da, puneți la coadă 1 tweet pe săptămână / la fiecare două zile, partajând o anumită pagină de funcții. Ceva de genul „Știați că {product} ar putea ajuta cu {thing feature helps with}? {link}” funcționează bine.

C. Remediați problemele de bază!

Site-ul dvs. mai conține volume mari de pagini care necesită indexare? Dacă da, atunci probabil că aveți o problemă de bază SEO cu site-ul dvs. Veți dori să investigați:

• Link Equity – Aveți mai multe pagini pe site-ul dvs. decât poate suporta link-urile (numărul și autoritatea linkurilor către site-ul dvs.)? Acest lucru poate însemna că paginile mai profunde nu vor fi accesate cu crawlere și indexate până când nu găsiți modalități de a crea link-uri către domeniile dvs. (și, eventual, găsiți modalități de a obține link-uri și distribuiri pentru paginile dvs. mai profunde).
• Arhitectura site -ului – Arhitectura informațiilor site-ului dvs. este un subiect care depășește scopul acestui articol. Dar este posibil să aveți pagini care se află la câteva clicuri de pe pagina de pornire a site-ului dvs. Ca urmare, acestea sunt dificil de atins pentru motoarele de căutare. Din nou, acesta este ceva de investigat (și/sau potențial să angajați un SEO cu experiență pentru a investiga).
• Harta site -ului – În sfârșit, dacă nu ați trimis deja o hartă a site-ului XML dinamică la Google Search Console. Acest pas conduce la o mai bună indexare a site-ului dvs.

3. Cum să păstrați paginile pe care nu le doriți indexate în afara indexului

O altă problemă comună pentru agenții de marketing este că doriți să păstrați o anumită pagină în afara indexului Google. Poate că este un duplicat al unei pagini existente, o pagină foarte subțire care are un folos pentru utilizatori, dar nu ar fi pentru cei care caută, sau poate este ceva cu informații private pe care nu le doriți în indexul Google.

Indiferent de motiv, există câteva metode de bază pentru a păstra conținutul în afara indexului Google.

1. Meta No Index Tag

În multe cazuri, metoda preferată de a păstra o pagină în afara indexului Google este să adăugați o etichetă Meta No Index, din documentația Google pe acest subiect:

Eticheta fără index oferă o soluție excelentă. Acesta indică Google să elimine paginile din index. De exemplu, site-urile cu conținut deja indexat , eticheta fără index oferă o metodă preferată de deindexare a conținutului dvs. Directiva robots disallow împiedică Google să acceseze cu crawlere pagina. Dar nu îl va elimina neapărat din index dacă este deja acolo.

În schimb, așa cum subliniază inginerul Google Gary Illyes:

Blocarea DYK a unei pagini atât cu robots.txt disallow, cât și cu noindex în pagină nu are prea mult sens, deoarece Googlebot nu poate „vedea” noindex-ul? pic.twitter.com/N4639rCCWt

— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 10 februarie 2017

Google trebuie să poată accesa cu crawlere pagina dvs. pentru a o elimina din index prin această metodă. Așadar, asigurați-vă că paginile rămân accesibile, așteptați până când sunt accesate cu crawlere (sau Preluați ca Google pentru a solicita accesarea cu crawlere/reconsiderată).

2. Robots.txt Nepermis

Pentru site-uri noi (sau secțiuni de site) care așteaptă indexarea, utilizați directiva robots disallow. De exemplu, un site de organizare sau un subdomeniu în construcție și care nu este pregătit pentru orele de primă audiență, probabil că are nevoie de această opțiune.

Din nou, adăugarea acestei directive nu determină neapărat eliminarea conținutului dvs. din index dacă apare deja acolo. De fapt, poate duce la un rezultat care este indexat și are doar o descriere suboptimă.

Un avertisment important cu utilizarea interzicerii este să vă asigurați că nu interziceți mai mult decât v-ați propus . Aveți grijă să nu blocați subsecțiunile site-ului dvs. în care ar putea exista conținut valoros pe care doriți să îl acceseze utilizatorii. Și testați modificările din fișierul dvs. roboți în Google Search Console cu instrumentul de testare a roboților.

Eliminarea adreselor URL și excluderea parametrilor URL prin Search Console

În cele din urmă, dacă aveți parametri care sunt adăugați de sistemul de gestionare a conținutului site-ului dvs. (poate din cauza rezultatelor de căutare filtrate, paginarea sau similare) care sunt indexați și doriți să eliminați, puteți oferi Google mai multe informații despre acești parametri. sau solicitați ca anumite adrese URL să fie eliminate prin eliminarea temporară a adreselor URL din rezultatele căutării (nu neapărat din indexul Google și nu neapărat definitiv):

În plus, aceasta oferă o metodologie utilă pentru eliminarea în bloc a adreselor URL din rezultatele căutării sau pentru identificarea unui anumit parametru:

Și apoi oferiți Google mai multe informații despre asta:

John Mueller de la Google a spus că aceasta funcționează în mod similar cu conținutul fără indexare „permanent”. Deci, aceasta oferă o opțiune viabilă pentru adrese URL unice. În mod ideal, totuși, în cele mai multe cazuri, mai degrabă decât să utilizați o eliminare temporară, veți dori să explorați și să abordați problemele de bază. Ce anume are structura tehnică a site-ului dvs. care creează nevoia ca paginile să fie deindexate? De ce suferiți (sau sunteți) de „balonare indexată” în primul rând?

4. Ce este „Index Bloat” și cum îl repar?

Balonarea indexului este eficientă atunci când aveți pagini inutile indexate de Google, care nu sunt susceptibile de a genera trafic relevant către site-ul dvs. ca răspuns la întrebările utilizatorilor. Acest lucru creează o problemă, deoarece forțează motoarele de căutare să petreacă timp accesând cu crawlere și indexând pagini cu valoare redusă (care ar putea folosi „bugetul de accesare cu crawlere”). În plus, poate difuza pagini cu valoare scăzută în unele rezultate ale căutării (care duc la o experiență slabă a utilizatorului și valori de implicare slabe). Conținând o mulțime de conținut subțire sau în mare parte duplicat, cu valori de implicare teribile, probabil provoacă o clasare de calitate mai scăzută în ochii Google.

Pe lângă utilizarea instrumentelor și proceselor de mai sus pentru a analiza ce pagini sunt sau nu în prezent în index, apoi folosiți mai multe dintre ele pentru a elimina pagini de calitate mai scăzută și de valoare mai mică din index, iată două resurse excelente pe această temă:

• Ghidul Green Lane SEO pentru a găsi și remedia problemele legate de balonarea indexului
• Diagnosticarea indexului rapid și murdar de la Portent Interactive

Din nou, o notă importantă este să nu „tai prea adânc”. Înainte de a începe să spargeți secțiuni mari ale site-ului dvs. din indexul Google, căutați în Analytics (sau luați adresele URL și rulați-le prin URL Profiler) pentru a vă asigura că nu reduceți traficul și clienții potențiali/vânzările din aceste pagini.

5. Ce instrumente pot ajuta la monitorizarea indexării (adică care sunt cele mai bune „Google Index Checkers?”)

După cum am menționat ad nauseum aici, preferința mea personală este să utilizez URL Profiler ca Google Index Checker, dar iată câteva opțiuni suplimentare:

• http://indexchecking.com/
• https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
• https://www.greenlaneseo.com/blog/google-indexation-tester/

BONUS: Resurse de indexare mobile

În mod specific, indexarea pentru dispozitive mobile și aplicații poate fi puțin diferită de indexarea tradițională, așa că, dacă întâmpinați probleme, iată câteva resurse suplimentare de indexare axate pe dispozitive mobile:

• https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
• https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
• https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
• http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
• https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
• https://moz.com/blog/how-to-get-your-app-content-indexed-by-google

Ce ne-a lipsit? Ce alte probleme de indexare Google ați văzut/ce sfaturi puteți împărtăși?