ボット トラフィックとは何ですか?トラフィック レポートを欺くためにどのように使用されますか?
公開: 2023-05-16サイト訪問の急増により、サイトの速度低下、パフォーマンスの低下、リソースの過負荷、訪問の破損、クリックスルー統計、SEO への悪影響、DDoS やフィッシング攻撃に対する脆弱性の増加が発生する可能性があります。
サイトへのトラフィックを分析したい場合は、カウンタで特定のページのビュー数の急増、高い直帰率、ページ滞在時間の異常な長さまたは短さ、無効または欠落したコンバージョン、および対象外の地域での一括参照を調べます。宣伝する。
ボットによって生成されるインターネット トラフィックの割合はどれくらいですか? 見積もりはさまざまです。 ただし、ボットの紹介が全世界の Web トラフィックの約 42% を占め、その半分以上が「悪い」ボットに属していると想定できます。
ボットトラフィックとは何ですか?
ロボットは常にサイトを訪問します。これは現代のインターネットの一部にすぎず、検索エンジンでさえこの方法でリソースにインデックスを付けます。 ただし、ボット (または自動スキャナー) を使用すると、データを解析する、つまり Web リソースから情報を抽出することもできます。 これに関与するボットは、サイト上で単純な自動アクションを実行するプログラムまたはスクリプトです。
- ページコードをアンロードしています。
- それを構成要素に分割します。
- データを抽出しています。
- データベースに保存します。
そのようなコレクションの目的は異なる場合があります。 ほとんどの場合、Web サイトがスクレイピングされて競合他社のページから特定のデータが取得され、そのデータが自社のリソース上で使用され、悪意のある攻撃が実行される可能性があります。 それでも、解析は分析や研究の目的には役立ちますが、それ自体は何か恐ろしいことを意味するものではありません。
良いボット、悪いボット、醜いボット
ボット トラフィックを識別する方法のトピックに入る前に、分類について学習する必要があります。 ボットは有用なボット (良いボット) と悪意のあるボット (悪いボット) に分類できます。
便利なボット
これらは私たちが必要とするロボットです。 彼らはインターネット上で必要な活動を実行します。 これらは、貴重で複雑な作業を可能な限り短時間で実行するのに役立ちます。 さらに、人間とは異なり、膨大な量のデータを処理できるため、日常的なプロセスを自動化できます。
探索ロボット
- 「ウェブ スパイダー」または「検索クローラー」としても知られているかもしれません。 これらは、インターネット上で最も一般的で、最も便利なボットの 1 つです。 すべての検索結果と検索に対するユーザーのインタラクションは、検索ロボットの利点です。 新しいサイト ページが公開されると、ボットが数週間以内にそのページをスキャンします。 SEMRush、Screaming Frog、SE Rank、Moz などの SEO ツールにも、検索結果とリソースを分析してより効果的に最適化するロボットが搭載されています。
サイト適格ボット
- グローバル レベルでサイトのインデックスを作成する検索ロボットとは異なり、このようなボットは特定のリソースのパフォーマンスを評価するためのツールです。 ヘルプが複数ページまたは大きい場合、このようなチェックが必要です。 これらにより、サイト所有者はユーザーのニーズに応じてサイトを改善できます。 たとえば、ページの読み込み時間、パフォーマンスの問題、リンク切れ、最適化が不十分な画像などを迅速に特定して修正できます。
著作権侵害をチェックするボット
- これらのボットは、YouTube や TikTok などの主要なビデオ ホスティングやソーシャル ネットワークでの著作権の執行を制御します。 これらのロボットは、特別なソフトウェアの助けを借りて、大量のオーディオ データとビデオ データを分析し、保護された著作権素材と一致し、ホスティング データベース内にある特定の形式やパターンの存在を確認します。 これらのロボットの有効性は否定できないにもかかわらず、多くの専門家や一般ユーザーは、ボットが容認できないほど高いレベルの誤検知を生成し、コンテンツが著作権で保護された資料にほとんど似ていない著者を不当に罰することに同意しています。
悪意のあるボット
残念ながら、インターネットを改善するすべての「良い」ボットに対して、価値の低いことを行う悪意のあるボットが存在することになります。 たとえば、ボットによる広告のトラフィックをだますためです。 「悪い」ロボットとは何かを見てみましょう。
広告クリックボット
- これらはデジタル広告にとって大きな課題となっています。 ユーザーは検索でコンテキスト広告をクリックします。 彼らは広告予算を無駄にし、マーケティング キャンペーンに大混乱をもたらします。 実際のユーザーの動作を模倣して、悪意のあるアクティビティを隠蔽できるボットがますます増えています。 たとえば、サイトのページをスクロールしたり、ランダムにページをたどったり、ページに 1 秒以上滞在したりすることができます。
DDoS 攻撃用のボット
- サービス拒否 (DoS) はサービス拒否攻撃であり、その目的は、リソースの速度を低下させたり、特定の時間リソースを無効にしたりすることです。 指示されたストリーミング ボット トラフィックによってサーバーが過負荷になり、実際のユーザーからのリクエストに応答しなくなります。 その結果、サイトが利用できなくなります。 分散型サービス拒否 (DDoS) は、複数のデバイスおよびネットワークからの分散型サービス拒否攻撃です。 この機能により、Web サイト上のボット攻撃をブロックすることがはるかに困難になります。 DDoS ボットは通常、マルウェアに感染したユーザー デバイスのネットワークであるボットネットを通じて拡散します。 ユーザーが誤ってマルウェアをインストールしたり、詐欺サイトにアクセスしたりする可能性があります。 したがって、彼のデバイスはボットネットの一部となり、オペレーター主導の攻撃を自動的に実行します。
バイヤーボット
- これらは、オンライン ストアに対する在庫切れ攻撃のために設計されています。 コンセプトはシンプルです。ボットは特定の需要の高いアイテムをカートに追加し、チェックアウトせずにそこに保持します。 それに伴い、商品の在庫数も自動的に減ります。 製品が「なくなる」までこれを行います。 そして、本物の購入者は、商品が売り切れていることに気づき、サイトを去ります。 カタログの製品は、短時間 (通常は 10 ~ 15 分) のみ特定のバスケットに関連付けられます。 しかし、カタログが長時間にわたる自動攻撃にさらされると、ボットによって購入者がその製品を利用できなくなることが簡単に起こります。
これらは、Botfaqtor のようなボット ブロック サービスが毎日遭遇する悪意のあるアクティビティのほんの一部です。
オーガニックボットトラフィックを必要としているのは誰ですか
マーケティング担当者や SEO が追加のトラフィックを必要とするオプションは数多くあります。 ただし、それらのほとんどすべてはアフィリエイト マーケティングの領域にあります。
売買サイト
ウェブサイトの販売は大きなビジネスです。 現実世界と同様、商用デジタル不動産にもあらゆる形状、サイズ、状態があります。 更なる販売や収益化のためにリソースやオンライン ビジネスを「整理」することに時間とお金を費やしたい人は、大きなお金を手に入れることができます。
サイトに多くの訪問者がいる場合は、そのサイトに広告コンテンツを配置することでどのようなメリットが得られるかを潜在的な購入者に示すことができます。 したがって、販売者の観点から見ると、ボットの助けを借りてトラフィックの数字を人為的につり上げようとする誘惑は強力です。
ブラックハットセラーズ
「ウェブサイトのトラフィックはランキング要因ではない」という Google などの検索エンジンの断定的な主張にもかかわらず、多くの専門家は、トラフィックの多さを検索結果の上位と誤って関連付けています。
その結果、多くのプロモーション「専門家」(およびクライアント)は依然としてオーガニックボットトラフィックに大金を支払うことに前向きです。 検索エンジンのボンバードメント技術を使用しており、リクエストに応じて、検索キーワードが出現しない無関係なサイトを検索結果に表示します。 彼らは自分のランキングや地位がこのように成長すると誤って信じてしまうのです。
不誠実なマーケティング担当者と代理店
残念ながら、Web サイトの訪問者をボットのトラフィックで水増しするという不公平な慣行は、2023 年現在も健在です。デジタル マーケティングについて少しでも理解している人なら、トラフィック自体がエゴを楽しませるために設計された指標であり、それ以上のものではないことを知っています。
広告をクリックした訪問者の誰もターゲットとしたアクションを完了しなかった場合、訪問者の増加はビジネスに利益をもたらしません。 しかし、多くの経営者にはマーケティングのすべてを学ぶ時間がありません。
トラフィックの水増しに関する真実が明らかになったとしても、不誠実なマーケティング担当者や代理店は、低いコンバージョン率の原因を他の要因(提供された製品やサービス、不十分に最適化されたページなど)に帰そうとします。 また、顧客に追加サービスを勧めることもできます。
ご覧のとおり、オーガニック ボット トラフィックは、不正なマーケティング サービスや SEO サービスに関連しない限り、ほとんど役に立ちません。
原則として、ボットは多くの訪問を見せかけます。 しかし、実際には、それらは金銭的利益のためだけに使用されます。
有料ボットトラフィックは勝者のいないゲームです
トラフィック ボットを使用して広告のクリック数を増やすことは、広告を掲載するサイト運営者/ウェブマスター、または広告主の競合企業の 2 つのグループにのみ利益をもたらします。
すでに Google Adsense を通じてサイトを収益化しているサイト運営者にとって、隠れたボット トラフィックによる収益の増加は魅力的に見えるかもしれません。 たとえば、ボットを購入する最良の方法についての記事が Web 上にたくさんあります。
しかし、広告プラットフォームは参加ルールをますます厳格化しており、トラフィックの増加に警戒している。 したがって、収入を増やすためにこのオプションを使用すべきではありません。
パブリッシャーによる広告詐欺は、簡単にお金を稼いで不処罰を求めるものではありません。 多額の支払いの代わりに、アクセス禁止を受けてサイトからの収入がなくなる可能性があります。
検出方法
個々のロボットに対する保護、さらにはボットネットに対する本格的な保護は、まずボット トラフィックを検出する必要があるという 1 つの原則に基づいています。
トラフィックの流入がボット攻撃の結果であるかどうかを確認するには、次の方法を参照できます。
- access.log ファイルを使用してサーバー ログにアクセスし、アクセス統計を追跡できます。 このテキスト ファイルには、サーバー上のトラフィックに関する完全な情報が含まれています。 ここでは、リクエストの送信元の IP アドレス、リクエストの時間、タイプ、内容を表示できます。 % {User-Agent} パラメータ (リクエスト、アプリケーション、およびリクエストが行われた言語に関する情報を含むヘッダー) に特に注意する必要があります。 同じ IP およびユーザー エージェントから定期的に複数のリクエストを送信すると、警告が表示されます。
- JavaScript を使用すると、サイトを訪問するユーザーに関する重要な情報 (画面解像度、タイムゾーン、クリック可能なボタン) を収集するのに役立ちます。 リクエストに関する情報を照合するだけで、どのユーザーがパーサーである可能性が最も高いかを特定できます。
- 同じ IP からの同じリクエスト、地域、タイムゾーン、画面サイズを持つエージェントからの不要なリクエストは、以下で説明する方法のいずれかを使用して安全にブロックできます。
ボットからのすべてのリクエストが同じ IP アドレスから送信されるわけではないことに注意してください。 これは、ボットが通常プロキシ ネットワークを使用し、分散解析を実行するためです。 ただし、同じリクエストが異なるサーバーから受信された場合でも、これがブロックの理由である可能性が高くなります。
DDoS
悪意のあるボットといえば、DDoS 攻撃からの保護などのトピックを無視することはできません。 現在、この問題は、いくつかの特定の活動分野に特に関連しています。 これらには、オンライン ストア、マルチプレイヤー オンライン ゲーム、取引所、投資プラットフォーム、その他の商用リソースのサイトが含まれます。 場合によっては、リソースを無効にしようとする攻撃的な競合他社によって、サイトに対する DDoS 攻撃が引き起こされることがあります。 それでも、サイトがランサムウェア ハッカーによって攻撃されることもありますし、悪目的ではなく単に楽しみのために攻撃されることもあります。 いずれにせよ、重大なプロジェクトはこれらの攻撃から保護する必要があります。 Web サイト上のボット トラフィックを停止する方法を知っておく必要があります。
通常、DDoS 攻撃は 7 層の OSI モデルで記述されます。 ネットワークの最初のレベルは物理的なレベルです。 2 つ目はチャネルです (スイッチを介してチャネル レベルでネットワークを接続します)。 高いほど抽象的になります。 DDoS 攻撃には、低レベルと高レベルがあります。 最低レベルの攻撃はネットワークの 3 ~ 5 番目のレベルにあり、ping または TCP 接続要求 (いわゆる SYN 要求) でチャネルを「詰まらせる」ものです。 対処は簡単です。 しかし、攻撃レベルが高くなるほど、防御はより複雑になります。
最高のレベル7の高レベルの攻撃はより危険です。 彼らは、サイトの最も難しいページに誘導されたり、製品の選択肢を最大限に表示するためのカタログ フィルターの設定など、そのページ上で複雑なアクションを実行したりします。 数百、場合によっては数千のボットが攻撃を実行し、Web サーバー、バックエンド、またはデータベース サーバーからサービス妨害が発生する可能性があります。
このような攻撃に対処するために、当社では WAF (Web アプリケーション ファイアウォール) を使用しています。これは、Web アプリケーションに対するネットワーク攻撃を検出してブロックするように設計されたモニターとフィルターの特別なシステムです。 ただし、これは比較的高度な攻撃であるため、最も深刻な場合にのみ WAF を有効にします。原則として、必須の保護で十分であり、すべてのサーバーでデフォルトで有効になっています。
サイトがサーバー ルームのハードウェアでホストされている場合は、おそらく自分で攻撃に対処する必要があります。 サイトを保護するには、追加の IP アドレスまたは特殊なサービスに接続する必要があります。 場合によっては、そのようなサービスがすでに接続されている場合には、VDS または専用サーバーに切り替えることが優れた選択肢となる場合があります。 最後には大規模な攻撃が待っています! ただし、DDoS からのサイト保護を委任できる信頼できるホスティング プロバイダーがあれば、それが最善です。
結論
Web リソースの所有者は、データ解析や悪意のある攻撃の問題に直面することがよくありますが、保護方法の開発は止まっていません。 サイト データのコピーや盗難から保護するには、ページにキャプチャをインストールする、コードにトラップを入力する、ユーザー エージェント データに従ってボットを追跡し、その後ブロックするなど、いくつかの方法があります。 分析と保護ツールのインストールに細心の注意を払うことは、コードの作業が最小限であっても、サイトの解析、スパム、読み込みの問題を解決するのに役立ちます。