Was ist Bot-Traffic und wie wird er verwendet, um Traffic-Berichte zu fälschen?

‍Ein Anstieg der Website-Besuche kann zu Verlangsamungen der Website, Leistungseinbußen, Ressourcenüberlastung, beschädigten Besuchen, Klickstatistiken, negativen Auswirkungen auf SEO und einer erhöhten Anfälligkeit für DDoS- und Phishing-Angriffe führen.

‍Wenn Sie den Verkehr auf Ihrer Website analysieren möchten, achten Sie im Zähler auf den Anstieg der Aufrufe bestimmter Seiten, eine hohe Absprungrate, ungewöhnlich lange oder kurze Verweildauer auf der Seite, ungültige oder fehlende Conversions und Massenverweise in Regionen, die Sie nicht berücksichtigen werben.

‍Welcher Anteil des Internetverkehrs wird durch Bots generiert? Schätzungen variieren. Wir können jedoch davon ausgehen, dass Bot-Verweise etwa 42 % des gesamten weltweiten Webverkehrs ausmachen, von denen mehr als die Hälfte von „bösen“ Bots stammt.

‍Roboter besuchen die Website immer – sie ist nur ein Teil des modernen Internets, und sogar Suchmaschinen indizieren Ressourcen auf diese Weise. Mit Hilfe von Bots (oder automatischen Scannern) können Sie aber auch Daten analysieren, also Informationen aus Webressourcen extrahieren. Der dabei beteiligte Bot ist ein Programm oder Skript, das einfache automatisierte Aktionen auf der Website ausführt:

1. Entladen des Seitencodes.
2. Zerlegung in seine Bestandteile.
3. Daten extrahieren.
4. Speichern Sie es in der Datenbank.

‍Die Zwecke einer solchen Sammlung können unterschiedlich sein. In den meisten Fällen werden Websites gecrawlt, um bestimmte Daten von den Seiten der Konkurrenz abzurufen, die dann auf deren Ressourcen genutzt werden können, um böswillige Angriffe durchzuführen. Dennoch ist das Parsen für Analyse- oder Forschungszwecke hilfreich, was an sich noch nichts Schlimmes bedeutet.

‍Bevor wir uns mit der Identifizierung von Bot-Traffic befassen, müssen wir uns mit der Klassifizierung vertraut machen. Wir können Bots in nützliche (gute) und bösartige (schlechte) Bots einteilen.

Nützliche Bots

‍Das sind die Roboter, die wir brauchen. Sie führen notwendige Aktivitäten im Internet durch. Sie helfen dabei, wertvolle und komplexe Arbeiten in kürzester Zeit zu erledigen. Darüber hinaus automatisieren sie im Gegensatz zum Menschen Routineprozesse, da sie große Datenmengen verarbeiten können.

Schädliche Bots

‍Leider gibt es für jeden „guten“ Bot, der das Internet verbessert, einen bösartigen Bot, der etwas weniger Wertvolles tut. Zum Beispiel, um den Traffic bei Werbung durch Bots zu betrügen. Mal sehen, was „schlechte“ Roboter sind.

‍Dies sind nur einige bösartige Aktivitäten, denen Bot-Blockierungsdienste wie Botfaqtor täglich begegnen.

Es gibt viele Optionen, bei denen Vermarkter und SEOs zusätzlichen Traffic benötigen. Allerdings liegen fast alle davon in der Ebene des Affiliate-Marketings.

Kauf- und Verkaufsseiten

Der Verkauf von Websites ist ein großes Geschäft. Wie im echten Leben gibt es auch kommerzielle digitale Immobilien in allen Formen, Größen und Zuständen. Wer bereit ist, Zeit und Geld in die „Aufräumung“ einer Ressource oder eines Online-Geschäfts für den weiteren Verkauf oder die Monetarisierung zu investieren, kann viel Geld verdienen.

‍Wenn die Website viele Besucher hat, können Sie einem potenziellen Käufer zeigen, welche Vorteile er durch die Platzierung von Werbeinhalten erzielen könnte. Aus Sicht des Verkäufers ist die Versuchung groß, die Traffic-Zahlen mithilfe von Bots künstlich aufzublähen.

Black-Hat-Verkäufer

‍Trotz der kategorischen Behauptung von Suchmaschinen wie Google, dass „Website-Traffic kein Ranking-Faktor“ ist, assoziieren viele Experten fälschlicherweise hohen Traffic mit hohen Positionen in den Suchergebnissen.

‍Folglich sind viele Werbe-„Experten“ (und Kunden) immer noch bereit, viel Geld für organischen Bot-Traffic zu zahlen. Dabei kommt die Suchmaschinen-Bombardement-Technologie zum Einsatz, bei der auf Wunsch eine irrelevante Seite in den Suchergebnissen angezeigt wird, auf der die gesuchten Schlüsselwörter nicht vorkommen. Sie werden fälschlicherweise glauben, dass ihre Rankings und Positionen auf diese Weise wachsen werden.

Unehrliche Vermarkter und Agenturen

‍Leider ist die unfaire Praxis, Website-Besucher durch Bot-Traffic aufzublähen, auch im Jahr 2023 immer noch lebendig. Jeder, der sich auch nur ein bisschen mit digitalem Marketing auskennt, weiß, dass Traffic als solcher ein Indikator ist, der dazu dient, das Ego zu amüsieren, und nicht mehr.

‍Wenn keiner der Besucher, die auf die Anzeige geklickt haben, die gezielte Aktion ausführte, käme der Anstieg der Besucherzahlen dem Unternehmen nicht zugute. Allerdings haben viele Unternehmer nicht die Zeit, sich mit allen Einzelheiten des Marketings vertraut zu machen.

‍Selbst wenn die Wahrheit über den überhöhten Traffic ans Licht kommt, wird ein unehrlicher Vermarkter oder eine unehrliche Agentur versuchen, niedrige Conversion-Raten anderen Faktoren zuzuschreiben (angebotenes Produkt oder angebotene Dienstleistung, schlecht optimierte Seite usw.). Es ermöglicht ihnen auch, den Kunden für zusätzliche Dienstleistungen zu werben.

‍Wie Sie sehen, ist organischer Bot-Traffic von sehr geringem Nutzen, es sei denn, er wird mit unehrlichen Marketing- und SEO-Diensten in Verbindung gebracht.

‍Bots erwecken in der Regel den Anschein vieler Besuche. In Wirklichkeit dienen sie jedoch nur dem finanziellen Gewinn.

Der Einsatz von Traffic-Bots zur Steigerung der Anzeigenklicks kommt nur zwei Personengruppen zugute: dem Publisher/Webmaster, der die Anzeige platziert, oder dem Konkurrenten des Werbetreibenden.

Für Publisher, die ihre Websites bereits über Google Adsense monetarisieren, mag es verlockend erscheinen, den Umsatz durch versteckten Bot-Traffic zu steigern. Beispielsweise gibt es im Internet viele Artikel über die besten Möglichkeiten, Bots zu kaufen.

Allerdings verschärfen Werbeplattformen zunehmend die Teilnahmeregeln und achten darauf, den Traffic anzukurbeln. Daher sollten Sie diese Möglichkeit nicht zur Einkommenssteigerung nutzen.

Bei Anzeigenbetrug durch Verlage geht es nicht um leichtes Geld und Straflosigkeit. Anstelle hoher Zahlungen können Sie gesperrt werden und jegliche Einnahmen aus Ihrer Website verlieren.

Der Schutz vor einzelnen Robotern oder sogar ein vollständiger Schutz vor Botnetzen basiert auf einem Prinzip: Sie müssen zunächst den Bot-Verkehr erkennen.

‍Um herauszufinden, ob der Traffic-Zustrom das Ergebnis eines Bot-Angriffs ist, können Sie auf die folgenden Methoden zurückgreifen:

1. Sie können Zugriffsstatistiken verfolgen, indem Sie mithilfe der Datei access.log auf die Serverprotokolle zugreifen. Diese Textdatei enthält vollständige Informationen zum Datenverkehr auf dem Server. Darin können Sie die IP-Adresse, von der aus die Anfrage gestellt wurde, deren Zeitpunkt, Art und Inhalt einsehen. Besonderes Augenmerk sollten Sie auf den Parameter % {User-Agent} legen – einen Header mit Informationen über die Anfrage – die Anwendung und die Sprache, in der sie gestellt wurde. Das Senden mehrerer Anfragen von derselben IP und demselben User-Agent in regelmäßigen Abständen sollte Sie alarmieren.
2. Die Verwendung von JavaScript kann dabei helfen, wichtige Informationen über die Benutzer zu sammeln, die die Website besuchen (Bildschirmauflösung, Zeitzone, anklickbare Schaltflächen). Es ist möglich, zu ermitteln, welche Benutzer am wahrscheinlichsten ein Parser sind, indem einfach Informationen über Anfragen abgeglichen werden.
3. Unerwünschte Anfragen von Agenten mit derselben Anfrage, Region, Zeitzone und Bildschirmgröße von derselben IP können mit einer der unten beschriebenen Methoden sicher blockiert werden.

‍Beachten Sie, dass nicht alle Anfragen von Bots von derselben IP-Adresse kommen können. Dies liegt daran, dass Bots normalerweise ein Proxy-Netzwerk verwenden und so eine verteilte Analyse durchführen. Selbst wenn jedoch dieselben Anfragen von verschiedenen Servern eingehen, ist dies höchstwahrscheinlich ein Grund für die Blockierung.

DDoS

‍Apropos bösartige Bots: Man kann ein Thema wie den Schutz vor DDoS-Angriffen nicht ignorieren. Derzeit ist dieses Problem für einige spezifische Tätigkeitsbereiche besonders relevant. Dazu gehören Websites von Online-Shops, Multiplayer-Online-Spielen, Börsen, Investitionsplattformen und anderen kommerziellen Ressourcen. Manchmal kann ein DDoS-Angriff auf eine Website durch aggressive Konkurrenten provoziert werden, die versuchen, Ihre Ressource zu deaktivieren. Dennoch wird die Website manchmal auch von Ransomware-Hackern angegriffen, und manchmal kann sie auch nur zum Spaß und ohne böse Absicht angegriffen werden. Wie dem auch sei, jedes ernsthafte Projekt muss vor diesen Angriffen geschützt werden. Sie müssen wissen, wie Sie den Bot-Verkehr auf der Website stoppen können.

‍Typischerweise werden DDoS-Angriffe im siebenschichtigen OSI-Modell beschrieben. Die erste Ebene des Netzwerks ist physisch. Der zweite ist der Kanal (verbindet Netzwerke auf Kanalebene über Switches); je höher, desto abstrakter. DDoS-Angriffe können auf niedriger und hoher Ebene erfolgen. Die untersten Angriffe finden auf der dritten bis fünften Ebene des Netzwerks statt: „Verstopfen“ des Kanals mit Ping- oder TCP-Verbindungsanfragen (den sogenannten SYN-Anfragen). Sie sind leicht zu handhaben. Doch je höher die Angriffsstufe, desto komplexer wird die Verteidigung.

‍Hochstufige Angriffe der höchsten Stufe, Stufe 7, sind gefährlicher. Sie werden auf die schwierigsten Seiten der Website weitergeleitet oder führen dort komplexe Aktionen aus, beispielsweise das Einrichten eines Katalogfilters, um die maximale Produktauswahl anzuzeigen. Hunderte oder sogar Tausende von Bots führen den Angriff aus, und es kann zu einem Denial-of-Service vom Webserver, Backend oder Datenbankserver kommen.

‍Um solche Angriffe abzuwehren, verwenden wir WAF (Web Application Firewall) – ein spezielles System aus Monitoren und Filtern, das Netzwerkangriffe auf eine Webanwendung erkennen und blockieren soll. Dabei handelt es sich jedoch um ein relativ hohes Angriffsniveau, und wir aktivieren WAF nur in den schwerwiegendsten Fällen. In der Regel reicht ein wesentlicher Schutz aus, der standardmäßig auf allen unseren Servern aktiviert ist.

‍Wenn Ihre Website auf Ihrer Hardware in Ihrem Serverraum gehostet wird, müssen Sie sich wahrscheinlich selbst mit dem Angriff auseinandersetzen. Sie müssen eine zusätzliche IP-Adresse oder einen speziellen Dienst anschließen, um Ihre Site zu schützen. In manchen Fällen kann der Wechsel zu einem VDS oder einem dedizierten Server eine ausgezeichnete Option sein, mit dem solche Dienste bereits verbunden sind. Am Ende kann ein massiver Angriff abgewartet werden! Aber das Beste ist, wenn Sie einen zuverlässigen Hosting-Anbieter haben, an den Sie den Site-Schutz vor DDoS delegieren können.

Besitzer ihrer Webressourcen stehen oft vor dem Problem der Datenanalyse und böswilliger Angriffe, aber die Entwicklung von Schutzmethoden steht nicht still. Um sich vor dem Kopieren und Diebstahl von Site-Daten zu schützen, können Sie auf verschiedene Weise vorgehen, z. B. ein Captcha auf der Seite installieren, eine Falle in den Code eingeben oder Bots anhand von User-Agent-Daten verfolgen und anschließend blockieren. Eine sorgfältige Beachtung der Analyse und der Installation von Schutztools, selbst bei minimaler Arbeit mit dem Code, trägt dazu bei, das Problem des Parsens, Spams und Ladens auf der Website zu lösen.