Przewodnik po indeksacji Google: problemy z indeksowaniem Google, statystyki i nie tylko

Wiele treści SEO koncentruje się na dobrym rankingu w pożądanych wynikach wyszukiwania. Ma to sens, ponieważ nie można przyciągnąć ruchu do witryny z bezpłatnych wyników wyszukiwania bez wysokiej pozycji w wynikach wyszukiwania (tj. w indeksie Google). Ponadto nie możesz zwiększać liczby potencjalnych klientów i sprzedaży dla swojej firmy bez zwiększania ruchu organicznego. Jeśli jesteś dyrektorem ds. marketingu, dyrektorem, menedżerem itp., prawdopodobnie jest to Twoja główna troska.

Aby uszeregować żądane hasła, najpierw potrzebujesz obecności w indeksie Google. Dawno, dawno temu umieszczenie witryny w indeksie było dość trudne. „Przesyłanie witryny” było powszechną usługą. Jednak teraz Google jest bardzo dobry w znajdowaniu nowych witryn. Na przykład, jeśli tweetowałeś o swojej witrynie, wysłałeś informację prasową lub praktycznie kogokolwiek, kto podał link do Twojej witryny, Google prawdopodobnie wie, że istniejesz. Ale jeśli próbowałeś zwiększyć ruch związany z wyszukiwaniem, prawdopodobnie napotkałeś różne problemy z indeksacją Google w miarę rozwoju witryny.

Dla osób nie zajmujących się SEO (a często także dla SEO) wiele z tych problemów pozostaje bardzo mylących i frustrujących. Praktycznie za każdym razem, gdy przechodzę audyt SEO z klientem, pojawia się co najmniej pewne zamieszanie związane z problemami z indeksacją, duplikatami treści, najlepszym sposobem usuwania stron z indeksu Google itp.

Czego można się spodziewać po tym omówieniu indeksu Google

W tym artykule postaram się pomóc ogólnemu marketingowcowi (osobie z podstawową wiedzą na temat SEO, która jest odpowiedzialna za zwiększenie ruchu w swojej witrynie, ale może nie być po kolana w indeksowaniu Screaming Frog i analizie linków na co dzień. podstawa dzienna) rozumiem:

• Jak działa indeks Google.
• Interpretuj różne statystyki indeksu lub „liczby” z Google.com.
• Poznaj swoje konto Google Search Console.
• Poprawki techniczne typowych problemów z indeksacją (tj. brak indeksowania stron lub przeciekanie do indeksu stron, których nie chcesz indeksować).

Zacznijmy od początku.

Jak działa indeks Google?

Wyszukiwarka Google jest bardzo złożona. Dogłębne spojrzenie na to, jak Google wyszukuje, przechowuje i nadaje priorytety stronom, pozostaje poza zakresem tego artykułu.

Na wysokim poziomie Google ciężko pracuje, znajdując (lub indeksując) jak najwięcej przydatnych stron. Ponadto Google ciężko pracuje, przechowując (lub indeksując) te strony, które zwracają trafne wyszukiwania. Ponadto indeks Google ciężko pracuje nad zwróceniem odpowiednich stron, które najlepiej odpowiadają zapytaniu wyszukującemu. (Jako efekt uboczny, prawdopodobnie pomaga to również w dolnej linii Alphabet, ale to inna dyskusja).

Ponownie na wysokim (i nadmiernie uproszczonym) poziomie, który chcesz:

• zindeksowane dobre rzeczy (strony w Twojej witrynie, które są wysokiej jakości, przydatne dla wyszukiwarek i prawdopodobnie kierują pożądanymi działaniami dla Twojej firmy).
• złe strony z indeksu Google (strony o niskiej wartości i/lub zbyt rzadkie lub zduplikowane, które bardziej szkodzą niż pomagają w kierowaniu odpowiedniego ruchu do witryny).

Warto zwrócić uwagę na jeszcze jedną rzecz: indeksacja niekoniecznie jest tym samym, co to, co pojawia się w wynikach wyszukiwania . Google utrzymuje wewnętrznie indeks stron. Gdy szukasz tematów w Google.com, widzisz niektóre ze swoich stron. To niekoniecznie wszystkie strony, które Google przechowuje w swoim indeksie . Zindeksowane strony mogą nigdy nie pojawiać się w wynikach wyszukiwania lub uzyskiwać kliknięć i trafiać do Twojej witryny.

Pozostała część tego artykułu koncentruje się na analizie, które strony z Twojej witryny znajdują się w indeksie, a także na tym, co jako marketer możesz zrobić, aby przejąć kontrolę i lepiej zoptymalizować to, co jest, a co nie jest indeksowane. Ponadto dostępnych jest wiele zasobów, w których można dowiedzieć się więcej o działaniu indeksowania Google, w tym:

• Przewodnik Moz dotyczący działania wyszukiwarek.
• Kilka różnych podziałów prezentacji inżyniera wyszukiwarki Google na temat działania indeksu Google.
• Ta wizualna reprezentacja sposobu działania Google.

Zrozumienie statystyk indeksu

Dla wielu statystyki indeksu, które widzisz na temat własnej witryny, dają dość mylące myśli. Google oferuje dwa popularne sposoby wyświetlania statystyk witryny dotyczących liczby stron indeksowanych przez Google.

Statystyki indeksu na Google.com

Aby zobaczyć, ile i które z Twoich stron są indeksowane w Google, zacznij od wejścia na Google.com i wpisania site:twojawitryna.com. Przyjrzyjmy się, co Google pokazuje w operatorze wyszukiwania witryny dla witryny, o której pisaliśmy w przeszłości, SearchEngineLand.com:

Około 30 700 wyników – to całkiem sporo! Jeśli to była Twoja witryna i po raz pierwszy sprawdziłeś statystyki indeksu, prawdopodobnie masz dwie emocje. Po pierwsze, podekscytowanie, ponieważ myślisz, że wiele moich postów jest indeksowanych! I odwrotnie, możesz odczuwać niepokój, gdy zdasz sobie sprawę, że Twoja witryna nie zawiera tak wielu stron.

Kiedy zaczniesz przekopywać się przez strony, które są indeksowane i klikać, aby przejść do dodatkowych stron wyników (dziesięć – lub znacznie mniej z reklamami i innymi polecanymi treściami Google dominującymi w wielu SERP – jest to oczywiście ustawienie domyślne, ale ponieważ często przekopując się przez SERP, lubię zmieniać moje wyniki na stronę na 100) dzieje się coś dość dziwnego. Z moimi ustawieniami na 100 wyników na stronę, kiedy przewijam do dołu wyniku wyszukiwania w witrynie SEL, widzę 8 linków:

8 x 100 wyników wyraźnie nie równa się „Około 30 700”. Dziwne: myślałem, że Google dostarczył ponad 30 000 wyników. Jeśli ^kliknę link do 8. strony wyników, wynik będzie jeszcze bardziej mylący:

A jeśli kliknę link „powtórz wyszukiwanie z uwzględnieniem pominiętych wyników” i przejdę z powrotem do ostatniej strony, zobaczę coś podobnego.

Ale Search Engine Land to niezwykle zaufana witryna, która publikuje kilka nowych treści dziennie. Więc to nie mogą być wszystkie strony zaindeksowane przez Google, prawda?

Zdecydowanie nie. Google faktycznie widziano, jak testuje to całkowicie. Ponadto Google wyraźnie powiedział, że tym liczbom nie należy całkowicie ufać przez kilka lat (ten film pochodzi z 2010 roku!). A ten problem pogarsza się, im większa staje się Twoja witryna:

DYK „liczba wyników”, którą widzisz w wynikach wyszukiwania, to tak naprawdę przybliżenie, które jest tym mniej dokładne, im więcej potencjalnych wyników? pic.twitter.com/o2odhwjsIA

— Gary Illyes ᕕ(ᐛ)ᕗ (@methode) 11 lutego 2017 r.

Gdzie jeszcze możemy znaleźć nasze liczniki indeksacji? Lub jak możemy zrozumieć, które strony w naszej witrynie są indeksowane?

Statystyki indeksowania w Google Search Console (wcześniej Narzędzia dla webmasterów)

Twoje konto Google Search Console dostarcza dodatkowych danych o wynikach indeksowania Twojej witryny. A jeśli nie masz konta GSC, załóż je tutaj już dziś.

W naszym omówieniu przyjrzyjmy się kontu witryny, której właścicielem jest moja firma. Istnieje cała podsekcja Google Search Console poświęcona danym indeksu Google.

Status indeksu w Google Search Console

Dane GSC zazwyczaj dostarczają dokładniejszych informacji. Ponadto oferuje również dane dotyczące trendów. Ale co, jeśli zobaczysz liczbę zindeksowanych stron, która wydaje się o wiele za mała? Lub dramatycznie zaniżone statystyki Search Analytics?

Zazwyczaj problemy te występują w zależności od tego, jak Google Search Console traktuje subdomeny, wersje Twojej witryny z przedrostkiem www i bez przedrostka www oraz wersje http i https Twojej witryny.

Jeśli Twoje liczby w Google Search Console są bardzo niskie, sprawdź bardzo konkretny adres URL powiązany z witryną w górnym pasku nawigacyjnym:

Dodatkowo, jeśli przeniosłeś swoją witrynę na https lub korzystasz z subdomeny (np. http://info.measuredsem.com), dodaj je jako osobne witryny. Ponadto, jeśli przełączyłeś się z http://www.measuredsem.com na http://measuredsem.com lub obsługujesz oba, ustaw preferowaną domenę na swoim koncie.

Jest też inne miejsce, w którym możesz uzyskać informacje o tym, jak Twoja witryna jest indeksowana w Google Search Console.

Mapy witryn w Google Search Console

Google Search Console zawiera sekcję mapy witryny, która umożliwia przesłanie mapy witryny w formacie XML. Ponadto ta sekcja daje poczucie, ile przesłanych stron faktycznie znajduje się w indeksie. Ponadto sekcja pokazuje, jak ta liczba zmienia się w czasie.

Wyzwanie polega na tym, że chociaż możesz zajrzeć do mapy witryny XML, aby zobaczyć, które strony zostały przesłane, niekoniecznie masz poziom szczegółowości, na którym możesz chcieć odpowiedzieć na określone pytania (np. indeksowane).

5 praktycznych wskazówek dotyczących indeksowania Google

Więc teraz wiesz trochę więcej o tym, jak działa indeks Google. Ponadto niektóre narzędzia pokazują, jak Twoja witryna radzi sobie w indeksie Google. A co z faktycznym rozwiązaniem konkretnych problemów związanych z indeksem? Na podstawie mojej pracy z klientami i kilku badań na ten temat, oto pięć największych pytań/problemów, które znalazłem w związku z indeksacją Google:

1. Jak stwierdzić, które konkretne strony NIE są indeksowane

Strony, które nie znajdują się w indeksie Google, nie będą wyświetlane w wynikach wyszukiwania. Tak więc jedną z pierwszych rzeczy, które możesz chcieć dowiedzieć się, jest „które strony w mojej witrynie nie są indeksowane?” Niestety, większość metod wymienionych powyżej nie ma rozwiązania tego problemu. Poprzednie metody pomagają zrozumieć strony Twojej witryny w indeksie Google . Metody te nie odnoszą się jednak do stron w Twojej witrynie, których nie ma w indeksie Google . W przypadku bardzo małej witryny może to być dość łatwe do wykrycia. Ale jeśli prowadzisz aktywnego bloga, Twoja witryna prawdopodobnie zawiera wystarczająco dużo stron, aby „przyglądanie się” brakującym stronom nie było rozsądnym rozwiązaniem. Dwa główne narzędzia odnoszą się do tego procesu:

Krok pierwszy: zindeksuj swoją witrynę za pomocą Screaming Frog

Screaming Frog jest ogólnie jedną z najczęściej używanych przeze mnie aplikacji w każdym procesie audytu witryny SEO. Na tym zrzucie ekranu pokazano, jakie strony są obecne w Twojej witrynie:

Screaming Frog to bardzo przydatne / potężne narzędzie SEO, ale dla naszych celów tutaj chcemy po prostu zaindeksować witrynę i filtrować strony HTML. Następnie przefiltruj tę listę pod kątem dowolnych stron w naszej witrynie, które chcemy umieścić w indeksie. Za chwilę zajmiemy się stronami, których nie chcemy.

Następnie użyję innego narzędzia, które jest niezwykle pomocne w każdym technicznym audycie SEO: narzędzia do profilowania adresów URL.

URL Profiler to kolejne niezwykle potężne narzędzie SEO, ale tutaj ponownie użyjemy go w dość wąskim celu. Sprawdzanie, które adresy URL w naszej witrynie (które właśnie wyeksportowaliśmy z naszego indeksowania) są rzeczywiście indeksowane:

Jeśli masz większą witrynę, zwykle wymaga to kilku serwerów proxy do sprawdzenia indeksacji. Jeśli nie jesteś zbyt techniczny, brzmi to onieśmielająco, ale jest niezwykle łatwe. Zajmuje to kilka minut i nie wymaga żadnej wiedzy technicznej (poza umiejętnością kopiowania/wklejania).

Czasami zajmuje to kilka razy i zawsze pozostawia trochę czasu na większe indeksowanie. Ale w końcu otrzymujesz listę wszystkich stron, które nie są indeksowane w Twojej witrynie.

2. Jak zaindeksować coś (całą witrynę, nową stronę, istniejącą stronę, która nie jest zindeksowana)

Indeksowanie nowej witryny było kiedyś branżą samą w sobie. Jednak obecnie, jeśli posiadasz legalną witrynę internetową i firmę, proces ten jest usprawniony. W rzeczywistości Twoja strona główna i cała domena powinny zostać zaindeksowane bardzo szybko. Na przykład wysłanie tweeta z linkiem pomoże Google zaindeksować witrynę. Lub otrzymanie linku z innej witryny działa. Wreszcie, po prostu przesłanie adresu URL do Google za darmo działa! W rezultacie wiele witryn bez treści i zewnętrznych linków / tweetów / itp. zostaje zaindeksowanych bez żadnego wysiłku. Ostatnio moja firma kupiła 50 domen i umieściła na każdej z nich bardzo proste strony zastępcze. Google zaindeksował 28 z nich, zanim w ogóle przeprowadziliśmy jakąkolwiek promocję.

W przypadku istniejących witryn z zestawem stron wymagających zindeksowania zapoznaj się z dostępnymi opcjami.

A. Pobierz i wyślij do indeksu za pomocą Google Search Console

W przypadku witryn z niewielką liczbą adresów URL prześlij je do konsoli Google w celu zindeksowania. Jest to dość prosty proces. Zacznij od zalogowania się na konto Google Search Console i spojrzenia na lewą nawigację pod indeksowaniem i kliknięcia opcji Pobierz jako Google:

Następnie wprowadź adres URL, który wymaga przesłania, i kliknij Pobierz. Będziesz mieć możliwość zażądania indeksowania:

Na koniec przesyłasz sam adres URL lub adres URL i te, do których prowadzi link ze strony. Dla naszych celów, ponieważ mamy określony zestaw adresów URL, które chcielibyśmy zaindeksować (i ponieważ mamy ograniczoną liczbę zgłoszeń – 500 pojedynczych adresów URL i tylko 10 przesłanych wielu adresów URL – miesięcznie), prześlemy adres URL do indeks:

Na koniec powinieneś zobaczyć, że Twoja prośba o indeksowanie przeszła:

Jeśli pracujesz nad listą adresów URL, możesz dać jej kilka dni i ponownie uruchomić tę samą listę w narzędziu do profilowania adresów URL, aby zobaczyć, jak Twoje wysiłki wpłynęły na indeksację.

B. Udostępnij swoje adresy URL społecznościowo

Udostępnianie adresów URL i treści za pośrednictwem sieci społecznościowych poprawia również indeksację kluczowych stron. Na przykład w przypadku wartościowych stron (i związanych z głównymi odbiorcami) udostępnij je społecznościowo. Działa to w szczególności w przypadku witryn z popularnymi kontami społecznościowymi.

Na przykład, czy Twoja witryna zawiera wiele stron produktów opisujących konkretne funkcje? Jeśli tak, ustaw w kolejce 1 tweet tygodniowo / co kilka dni, udostępniając określoną stronę z funkcjami. Coś w stylu „Czy wiesz, że {product} może pomóc w {rzeczach, w których funkcja pomaga}? {link}” działa dobrze.

C. Napraw podstawowe problemy!

Czy Twoja witryna nadal zawiera duże ilości stron, które wymagają indeksacji? Jeśli tak, prawdopodobnie masz fundamentalny problem z SEO w swojej witrynie. Będziesz chciał zbadać:

• Link Equity – Czy masz więcej stron w swojej witrynie, niż może obsłużyć kapitał linków (liczba i autorytet linków prowadzących do Twojej witryny)? Może to oznaczać, że głębsze strony nie będą przeszukiwane i indeksowane, dopóki nie znajdziesz sposobów tworzenia linków do swoich domen (i potencjalnie nie znajdziesz sposobów na uzyskanie linków i udostępnień dla swoich głębszych stron).
• Architektura witryny — architektura informacji witryny to temat wykraczający poza zakres tego artykułu. Ale możesz mieć strony, które są oddalone o kilka kliknięć od strony głównej Twojej witryny. W rezultacie są one trudno dostępne dla wyszukiwarek. Ponownie jest to coś do zbadania (i/lub potencjalnie zatrudnić doświadczonego SEO do zbadania).
• Mapa witryny – Wreszcie, jeśli jeszcze nie przesłałeś dynamicznej mapy witryny XML do Google Search Console. Ten krok zapewnia lepszą indeksację Twojej witryny.

3. Jak sprawić, by strony, których nie chcesz indeksować, znajdowały się poza indeksem

Innym częstym problemem marketerów jest chęć usunięcia określonej strony z indeksu Google. Może to duplikat istniejącej strony, bardzo cienka strona, która może być użyteczna dla użytkowników, ale nie dla wyszukiwarek, lub być może jest to coś z prywatnymi informacjami, których nie chcesz umieszczać w indeksie Google.

Bez względu na przyczynę istnieje kilka podstawowych metod utrzymywania treści poza indeksem Google.

1. Meta Brak znacznika indeksu

W wielu przypadkach preferowaną metodą utrzymywania strony poza indeksem Google jest dodanie tagu Meta No Index z dokumentacji Google na ten temat:

Brak znacznika indeksu oferuje świetne rozwiązanie. Instruuje Google, aby usunął strony z indeksu. Na przykład witryny z treścią już zindeksowaną , tag no index oferują preferowaną metodę deindeksowania treści. Dyrektywa robots disallow uniemożliwia Google indeksowanie strony. Ale niekoniecznie usunie go z indeksu, jeśli już tam jest.

Z drugiej strony, jak zauważa inżynier Google, Gary Illyes:

Blokowanie przez DYK strony z blokadą pliku robots.txt i noindex na stronie nie ma większego sensu, ponieważ Googlebot nie „widzi” noindex? pic.twitter.com/N4639rCCWt

— Gary Illyes ᕕ(ᐛ)ᕗ (@methode) 10 lutego 2017 r.

Google musi być w stanie zaindeksować Twoją stronę, aby usunąć ją z indeksu za pomocą tej metody. Upewnij się więc, że strony pozostają dostępne, poczekaj, aż zostaną zindeksowane (lub Pobierz jako Google, aby poprosić o zindeksowanie/ponowne rozpatrzenie).

2. Nie zezwalaj na robots.txt

W przypadku nowych witryn (lub sekcji witryn) oczekujących na indeksację użyj dyrektywy robots disallow. Na przykład witryna przejściowa lub subdomena w budowie, która nie jest gotowa na czas największej oglądalności, prawdopodobnie potrzebuje tej opcji.

Ponownie dodanie tej dyrektywy niekoniecznie powoduje usunięcie treści z indeksu, jeśli już się tam pojawia. W rzeczywistości może to prowadzić do wyniku, który jest indeksowany i ma po prostu nieoptymalny opis.

Ważnym ostrzeżeniem związanym z używaniem zakazu jest upewnienie się, że nie odmówisz więcej, niż zamierzałeś . Uważaj, aby nie blokować podsekcji witryny, w których mogą znajdować się wartościowe treści, do których chcesz mieć dostęp dla osób wyszukujących. I przetestuj zmiany w pliku robots w Google Search Console za pomocą narzędzia do testowania robotów.

Usuwanie adresów URL i wykluczanie parametrów adresów URL za pomocą Search Console

Na koniec, jeśli masz parametry, które są dodawane przez system zarządzania treścią Twojej witryny (np. z powodu filtrowanych wyników wyszukiwania, paginacji itp.), które są indeksowane i chcesz je usunąć, możesz również przekazać Google więcej informacji o tych parametrach lub zażądać usunięcia określonych adresów URL przez tymczasowe usunięcie adresów URL z wyników wyszukiwania (niekoniecznie z indeksu Google i niekoniecznie na stałe):

Ponadto zapewnia to przydatną metodologię masowego usuwania adresów URL z wyników wyszukiwania lub identyfikowania określonego parametru:

A następnie przekazanie Google więcej informacji na ten temat:

John Mueller z Google powiedział, że działa to podobnie do „stałego” nieindeksowania treści. Jest to więc realna opcja dla jednorazowych adresów URL. Idealnie jednak w większości przypadków zamiast wykorzystywać tymczasowe usunięcie, będziesz chciał się zagłębić i rozwiązać podstawowe problemy. Co jest takiego w strukturze technicznej Twojej witryny, że powoduje konieczność deindeksowania stron? Dlaczego przede wszystkim cierpisz (lub cierpisz) na „rozdęcie indeksu”?

4. Co to jest „wydęcie indeksu” i jak to naprawić?

Nadmierne obciążenie indeksu ma miejsce wtedy, gdy masz zindeksowane przez Google niepotrzebne strony, które prawdopodobnie nie przyciągną odpowiedniego ruchu do Twojej witryny w odpowiedzi na zapytania użytkowników. Stwarza to problem, ponieważ zmusza wyszukiwarki do poświęcania czasu na przeszukiwanie i indeksowanie stron o niskiej wartości (co może zużyć Twój „budżet na indeksowanie”). Ponadto potencjalnie wyświetla strony o niskiej wartości w niektórych wynikach wyszukiwania (co prowadzi do złego doświadczenia użytkownika i słabych wskaźników zaangażowania). Zawieranie wielu cienkich lub w dużej mierze zduplikowanych treści o fatalnych wskaźnikach zaangażowania prawdopodobnie powoduje niższą jakość w oczach Google.

Oprócz korzystania z powyższych narzędzi i procesów do analizowania, które strony są aktualnie w indeksie, a które nie, a następnie używania ich większej liczby do usuwania z indeksu stron o niższej jakości i wartości, oto dwa wspaniałe zasoby na ten temat:

• Przewodnik Green Lane SEO, aby znaleźć i naprawić problemy z nadęciem indeksu
• Szybka i brudna diagnostyka indeksu Portent Interactive

Tutaj znowu ważną uwagą jest, aby nie „ciąć zbyt głęboko”. Zanim zaczniesz usuwać duże sekcje swojej witryny z indeksu Google, zajrzyj do Analytics (lub pobierz adresy URL i przepuść je przez URL Profiler), aby upewnić się, że nie odcinasz ruchu i potencjalnych klientów/sprzedaży z tych stron.

5. Jakie narzędzia mogą pomóc w monitorowaniu indeksacji (tj. jakie są najlepsze narzędzia do sprawdzania indeksu Google?)

Jak już wspomniałem tutaj do znudzenia, moimi osobistymi preferencjami jest wykorzystanie Profilera URL jako narzędzia do sprawdzania indeksu Google, ale oto kilka dodatkowych opcji:

• http://indexchecking.com/
• https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
• https://www.greenlaneseo.com/blog/google-indexation-tester/

BONUS: Mobilne zasoby indeksacyjne

Indeksacja urządzeń mobilnych i aplikacji może być nieco inna niż tradycyjna indeksacja, więc jeśli masz problemy, oto kilka dodatkowych zasobów dotyczących indeksacji skoncentrowanej na urządzeniach mobilnych:

• https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
• https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
• https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
• http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
• https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
• https://moz.com/blog/how-to-get-your-app-content-indexed-by-google

Co przegapiliśmy? Jakie inne problemy z indeksacją Google zauważyłeś / jakimi wskazówkami możesz się podzielić?