Co to jest ruch botów i jak jest wykorzystywany do oszukiwania raportów o ruchu?

Opublikowany: 2023-05-16

Gwałtowny wzrost liczby wizyt na stronie może spowodować jej spowolnienie, spadek wydajności, przeciążenie zasobów, fałszywe wizyty, statystyki kliknięć, negatywny wpływ na SEO oraz zwiększoną podatność na ataki typu DDoS i phishing.

‍Jeśli chcesz przeanalizować ruch w swojej witrynie, spójrz na licznik pod kątem skoków wyświetleń poszczególnych stron, wysokiego współczynnika odrzuceń, niezwykle długiego lub krótkiego czasu na stronie, nieprawidłowych lub brakujących konwersji oraz zbiorczych odesłań w regionach, których nie znasz reklamować.

‍Jaka część ruchu internetowego jest generowana przez boty? Szacunki są różne. Możemy jednak założyć, że polecenia botów stanowią około 42% całego globalnego ruchu w sieci, z czego ponad połowa należy do „złych” botów.

Co to jest ruch botów?

‍Roboty zawsze odwiedzają tę witrynę — to po prostu część współczesnego Internetu, a nawet wyszukiwarki indeksują w ten sposób zasoby. Ale za pomocą botów (lub automatycznych skanerów) można również analizować dane, czyli wydobywać informacje z zasobów sieciowych. Zaangażowany w to bot to program lub skrypt, który wykonuje proste, zautomatyzowane działania w witrynie:

Rozładowanie kodu strony.

Podział na elementy składowe.

Ekstrakcja danych.

Zapisywanie go w bazie danych.

‍Cele takiej kolekcji mogą być różne. W większości przypadków strony internetowe są skanowane w celu uzyskania określonych danych ze stron konkurencji, które następnie można wykorzystać na ich zasobach i przeprowadzić złośliwe ataki. Mimo to parsowanie jest pomocne w celach analitycznych lub badawczych, co samo w sobie nie oznacza nic strasznego.

Dobre, złe i brzydkie boty

‍Zanim zagłębimy się w temat identyfikowania ruchu botów, musimy poznać klasyfikację. Boty możemy podzielić na przydatne (dobre) i złośliwe (złe).

Przydatne boty

To są roboty, których potrzebujemy. Dokonują niezbędnych czynności w Internecie. Pomagają wykonać wartościową i skomplikowaną pracę w możliwie najkrótszym czasie. Ponadto, w przeciwieństwie do człowieka, automatyzują rutynowe procesy, ponieważ mogą przetwarzać ogromne ilości danych.

Szukaj robotów

Możesz je również znać jako „pająki internetowe” lub „roboty wyszukiwania”. Są jednymi z najpowszechniejszych — i najbardziej użytecznych — botów w Internecie. Wszystkie wyniki wyszukiwania i interakcja użytkownika z wyszukiwaniem to zasługa robotów wyszukujących. Gdy zostanie opublikowana nowa strona witryny, bot przeskanuje ją w ciągu kilku tygodni. Narzędzia SEO, takie jak SEMRush, Screaming Frog, SE Ranking, Moz itp., również mają roboty do analizowania wyników wyszukiwania i zasobów w celu ich skuteczniejszej optymalizacji.

Boty kwalifikujące witryny

W przeciwieństwie do robotów wyszukujących, które indeksują witryny na poziomie globalnym, takie boty są narzędziem do oceny wydajności konkretnego zasobu. Jeśli pomoc jest wielostronicowa lub duża, takie kontrole są konieczne. Pozwalają one właścicielowi strony na jej ulepszanie zgodnie z potrzebami użytkowników. Na przykład mogą szybko identyfikować i naprawiać czas ładowania strony, problemy z wydajnością, niedziałające linki i niedostatecznie zoptymalizowane obrazy.

Boty sprawdzające naruszenie praw autorskich

Te boty kontrolują egzekwowanie praw autorskich w wiodących serwisach hostingowych wideo i sieciach społecznościowych, takich jak YouTube i TikTok. Za pomocą specjalnego oprogramowania roboty te analizują duże ilości danych audio i wideo pod kątem obecności określonych form i wzorców pasujących do chronionych prawem autorskim materiałów i znajdujących się w bazie danych hostingu. Pomimo niezaprzeczalnej skuteczności tych robotów, wielu ekspertów i zwykłych użytkowników zgadza się, że boty generują niedopuszczalnie wysoki poziom fałszywych alarmów i niesprawiedliwie karzą autorów, których treści w niewielkim stopniu przypominają materiały chronione prawem autorskim.

Złośliwe boty

‍Niestety, na każdego „dobrego” bota, który ulepszy Internet, znajdzie się złośliwy bot, który zrobi coś mniej wartościowego. Na przykład, aby oszukać ruch reklamowy przez boty. Zobaczmy, czym są „złe” roboty.

Boty do klikania reklam

Stanowią one poważne wyzwanie dla reklamy cyfrowej. Klikają reklamy kontekstowe w wyszukiwarce. Marnują budżety reklamowe i sieją spustoszenie w kampaniach marketingowych. Coraz częściej można znaleźć boty, które potrafią naśladować zachowanie prawdziwych użytkowników, ukrywając w ten sposób ich złośliwą aktywność. Na przykład mogą przewijać strony witryny, śledzić je losowo, pozostawać na stronie dłużej niż jedną sekundę itp.

Boty do ataków DDoS

Denial of Service (DoS) to atak typu „odmowa usługi”, którego celem jest spowolnienie zasobu lub wyłączenie go na określony czas. Skierowany ruch strumieniowy botów przeciąża serwer i przestaje odpowiadać na żądania prawdziwych użytkowników. W rezultacie witryna staje się niedostępna. Distributed-Denial-of-Service (DDoS) to rozproszony atak typu „odmowa usługi” z wielu urządzeń i sieci. Ta funkcja znacznie utrudnia blokowanie ataku botów na stronę. Boty DDoS są zwykle rozprzestrzeniane za pośrednictwem botnetu, sieci urządzeń użytkowników zainfekowanych złośliwym oprogramowaniem. Użytkownik może przypadkowo zainstalować złośliwe oprogramowanie lub odwiedzić fałszywą witrynę. W ten sposób jego urządzenie staje się częścią botnetu i automatycznie przeprowadza ataki kierowane przez operatora.

Boty zakupowe

Są one przeznaczone do ataków typu out-of-stock na sklepy internetowe. Koncepcja jest prosta: boty dodają do koszyka określone produkty, na które jest duży popyt, i trzymają je tam bez konieczności płacenia. W związku z tym ilość produktów w magazynie jest automatycznie zmniejszana. Robią to, dopóki produkt się nie „wyczerpie”. Następnie prawdziwi kupujący widzą, że produkt jest wyprzedany i opuszczają witrynę. Produkt z katalogu przywiązany jest do konkretnego koszyka tylko na krótki czas (zwykle 10-15 minut). Ale kiedy katalog jest poddawany długotrwałemu automatycznemu atakowi, botom łatwo jest sprawić, że produkt będzie niedostępny dla kupujących.

‍To tylko niektóre złośliwe działania, z którymi codziennie spotykają się usługi blokujące boty, takie jak Botfaqtor.

Kto potrzebuje organicznego ruchu botów

Istnieje wiele opcji, w których marketerzy i SEO potrzebują dodatkowego ruchu. Jednak prawie wszystkie z nich leżą na płaszczyźnie marketingu afiliacyjnego.

Witryny kupna i sprzedaży

Sprzedaż stron internetowych to duży biznes. Podobnie jak w prawdziwym życiu, komercyjne nieruchomości cyfrowe mają różne kształty, rozmiary i warunki. Ci, którzy chcą poświęcić czas i pieniądze na „uporządkowanie” zasobu lub biznesu internetowego w celu dalszej sprzedaży lub monetyzacji, czekają na duże pieniądze.

‍Jeśli witryna jest odwiedzana przez wielu użytkowników, możesz pokazać potencjalnemu nabywcy, jakie korzyści może odnieść umieszczając na niej treści reklamowe. Tak więc z punktu widzenia sprzedawcy pokusa sztucznego zawyżania ruchu za pomocą botów jest silna.

Sprzedawcy czarnych kapeluszy

‍Pomimo kategorycznego twierdzenia wyszukiwarek, takich jak Google, że „ruch na stronie nie jest czynnikiem rankingowym”, wielu ekspertów błędnie kojarzy duży ruch z wysokimi pozycjami w wynikach wyszukiwania.

W rezultacie wielu „ekspertów” ds. promocji (i klientów) nadal jest gotowych płacić duże pieniądze za organiczny ruch botów. Wykorzystywana jest technologia bombardowania wyszukiwarek, w której na żądanie wyświetlana jest w wynikach wyszukiwania nietrafna witryna, na której nie ma wystąpień wyszukiwanych słów kluczowych. Będą błędnie sądzić, że ich rankingi i pozycje będą rosły w ten sposób.

Nieuczciwi marketerzy i agencje

‍Niestety, w 2023 r. nieuczciwa praktyka zawyżania odwiedzających witrynę botami wciąż żyje i ma się dobrze. Każdy, kto choć trochę rozumie marketing cyfrowy, wie, że ruch jako taki jest wskaźnikiem mającym na celu rozbawienie ego i niczym więcej.

‍Jeśli żaden z odwiedzających, którzy kliknęli reklamę, nie wykonał docelowej akcji, wzrost liczby odwiedzających nie przyniósłby korzyści firmie. Jednak wielu właścicieli firm nie ma czasu na poznanie wszystkich tajników marketingu.

‍Nawet gdy prawda o zawyżonym ruchu wyjdzie na jaw, nieuczciwy marketer lub agencja będzie próbowała przypisać niskie współczynniki konwersji innym czynnikom (oferowany produkt lub usługa, źle zoptymalizowana strona itp.). Pozwala im również promować klienta na dodatkowe usługi.

‍Jak widać, organiczny ruch botów jest bardzo mało przydatny, chyba że jest powiązany z nieuczciwymi usługami marketingowymi i SEO.

‍Z reguły boty tworzą pozory wielu wizyt. Jednak w rzeczywistości są one wykorzystywane wyłącznie w celu uzyskania korzyści finansowych.

Płatny ruch botów to gra bez zwycięzcy

Korzystanie z botów drogowych w celu zwiększenia liczby kliknięć reklam przyniesie korzyści tylko dwóm grupom osób: wydawcy/webmasterowi, który umieszcza reklamę, lub konkurentowi reklamodawcy.

Zwiększenie przychodów dzięki ukrytemu ruchowi botów może wydawać się kuszące dla wydawców, którzy już zarabiają na swoich witrynach za pośrednictwem Google Adsense. Na przykład w Internecie jest wiele artykułów na temat najlepszych sposobów kupowania botów.

Jednak platformy reklamowe coraz bardziej zaostrzają zasady uczestnictwa i czujnie podchodzą do zwiększania ruchu. Dlatego nie należy korzystać z tej opcji w celu zwiększenia dochodów.

W oszustwach reklamowych wydawców nie chodzi o łatwe pieniądze i bezkarność. Zamiast dużych płatności możesz zostać zbanowany i stracić wszelkie dochody ze swojej witryny.

Metody wykrywania

Ochrona przed pojedynczymi robotami, a nawet pełna ochrona przed botnetami opiera się na jednej zasadzie: najpierw trzeba wykryć ruch botów.

‍Aby dowiedzieć się, czy napływ ruchu jest wynikiem ataku bota, możesz skorzystać z następujących metod:

Możesz śledzić statystyki dostępu, uzyskując dostęp do dzienników serwera za pomocą pliku access.log. Ten plik tekstowy zawiera pełne informacje o ruchu na serwerze. Możesz w nim zobaczyć adres IP, z którego nadeszło żądanie, jego czas, rodzaj oraz treść. Szczególną uwagę należy zwrócić na parametr % {User-Agent} — nagłówek zawierający informacje o żądaniu - aplikacji oraz języku, w jakim zostało wykonane. Wysyłanie wielu żądań z tego samego adresu IP i agenta użytkownika w regularnych odstępach czasu powinno Cię ostrzec.

Korzystanie z JavaScript może pomóc w zbieraniu ważnych informacji o użytkownikach odwiedzających witrynę (rozdzielczość ekranu, strefa czasowa, klikalne przyciski). Możliwe jest zidentyfikowanie użytkowników, którzy najprawdopodobniej będą analizatorami składni, po prostu dopasowując informacje o żądaniach.

Niechciane żądania od agentów z tym samym żądaniem, regionem, strefą czasową i rozmiarem ekranu z tego samego adresu IP można bezpiecznie zablokować za pomocą jednej z metod, które opiszemy poniżej.

‍Zauważ, że nie wszystkie żądania od botów mogą pochodzić z tego samego adresu IP. Dzieje się tak dlatego, że boty zwykle korzystają z sieci proxy, wykonując w ten sposób rozproszone analizowanie. Jednak nawet jeśli te same żądania są odbierane z różnych serwerów, najprawdopodobniej jest to powód do blokowania.

DDoS

‍Mówiąc o złośliwych botach, nie można pominąć takiego tematu jak ochrona przed atakami DDoS. Obecnie problem ten jest szczególnie istotny dla niektórych określonych obszarów działalności. Należą do nich witryny sklepów internetowych, gry online dla wielu graczy, giełdy, platformy inwestycyjne i inne zasoby komercyjne. Czasami atak DDoS na witrynę może zostać sprowokowany przez agresywną konkurencję, która chce wyłączyć Twój zasób. Mimo to czasami witryna jest również atakowana przez hakerów ransomware, a czasami można ją zaatakować dla zabawy bez złego celu. W każdym razie każdy poważny projekt będzie wymagał ochrony przed tymi atakami. Musisz wiedzieć, jak zatrzymać ruch botów na stronie.

Zazwyczaj ataki DDoS są opisywane w siedmiowarstwowym modelu OSI. Pierwszy poziom sieci jest fizyczny. Drugi to kanał (łączy sieci na poziomie kanału za pomocą przełączników); im wyżej, tym bardziej abstrakcyjnie. Ataki DDoS mogą być niskiego i wysokiego poziomu. Ataki najniższego poziomu są na trzecim-piątym poziomie sieci: „zatykanie” kanału żądaniami ping lub połączenia TCP (tzw. żądania SYN). Łatwo sobie z nimi poradzić. Ale im wyższy poziom ataku, tym bardziej złożona staje się obrona.

Ataki na wysokim poziomie najwyższego, poziomu 7, są bardziej niebezpieczne. Są kierowani do najtrudniejszych stron serwisu lub wykonują na nim złożone działania, na przykład ustawiają filtr katalogu, aby wyświetlić maksymalny wybór produktów. Setki, a nawet tysiące botów przeprowadzają atak, a atak typu „odmowa usługi” może nastąpić z poziomu serwera WWW, zaplecza lub serwera bazy danych.

‍Aby poradzić sobie z takimi atakami, używamy WAF (Web Application Firewall) — specjalnego systemu monitorów i filtrów zaprojektowanych do wykrywania i blokowania ataków sieciowych na aplikację internetową. Jest to jednak stosunkowo wysoki poziom ataku, a WAF włączamy tylko w najpoważniejszych przypadkach — z reguły wystarcza ochrona podstawowa, domyślnie włączona na wszystkich naszych serwerach.

‍Jeśli Twoja witryna jest hostowana na Twoim sprzęcie w serwerowni, prawdopodobnie będziesz musiał sam poradzić sobie z atakiem. Musisz podłączyć dodatkowy adres IP lub specjalistyczną usługę, aby chronić swoją witrynę. W niektórych przypadkach przejście na VDS lub serwer dedykowany może być doskonałą opcją, do której takie usługi są już podłączone. W końcu można przeczekać zmasowany atak! Ale najlepsze jest to, że masz niezawodnego dostawcę usług hostingowych, któremu możesz delegować ochronę witryny przed atakami DDoS.

Wniosek

Właściciele swoich zasobów internetowych często borykają się z problemem analizowania danych i złośliwych ataków, ale rozwój metod ochrony nie stoi w miejscu. Aby zabezpieczyć się przed kopiowaniem i kradzieżą danych witryny, możesz przejść na kilka sposobów, na przykład zainstalować captcha na stronie, wprowadzić pułapkę w kodzie lub śledzić boty zgodnie z danymi User-Agent z późniejszym blokowaniem. Uważne zwrócenie uwagi na analitykę i instalację narzędzi ochronnych, nawet przy minimalnej pracy z kodem, pomoże rozwiązać problem parsowania, spamu i ładowania na stronie.

Zbuduj moje linki zwrotne