什麼是機器人流量以及它如何用於欺騙流量報告？
已發表: 2023-05-16站點訪問量的激增可能導致站點速度下降、性能下降、資源過載、訪問損壞、點擊統計、對 SEO 的負面影響以及對 DDoS 和網絡釣魚攻擊的脆弱性增加。
如果您想分析您網站的流量，請在計數器中查看特定頁面的瀏覽量跳躍、高跳出率、頁面上異常長或短的時間、無效或缺失的轉化以及您不了解的區域中的批量推薦廣告。
有多少互聯網流量是由機器人產生的？ 估計各不相同。 然而，我們可以假設機器人引薦約佔全球所有網絡流量的 42%，其中一半以上屬於“不良”機器人。
什麼是機器人流量？
機器人總是訪問該站點——它只是現代互聯網的一部分，甚至搜索引擎也以這種方式對資源進行索引。 但是在機器人（或自動掃描儀）的幫助下，您還可以解析數據，即從網絡資源中提取信息。 涉及的機器人是在網站上執行簡單自動化操作的程序或腳本：
- 卸載頁面代碼。
- 把它分成它的組成元素。
- 提取數據。
- 將其保存在數據庫中。
這種收集的目的可能不同。 在大多數情況下，網站被抓取以從競爭對手的頁面獲取特定數據，然後可以在其資源上使用這些數據並進行惡意攻擊。 儘管如此，解析對於分析或研究目的還是有幫助的，這本身並不意味著任何可怕的事情。
好的、壞的和醜陋的機器人
在我們深入探討如何識別機器人流量的主題之前，我們必須學習分類。 我們可以將機器人分為有用的（好的）和惡意的（壞的）。
有用的機器人
這些是我們需要的機器人。 他們在 Internet 上執行必要的活動。 它們有助於在盡可能短的時間內完成有價值且複雜的工作。 此外，與人不同的是，他們可以自動執行日常流程，因為他們可以處理大量數據。
搜索機器人
- 您也可能將它們稱為“網絡蜘蛛”或“搜索爬蟲”。 它們是 Internet 上最常見且最有用的機器人程序之一。 所有搜索結果和用戶與搜索的交互都是搜索機器人的優點。 發布新網站頁面後，機器人將在幾週內對其進行掃描。 SEMRush、Screaming Frog、SE Ranking、Moz 等 SEO 工具也有機器人來分析搜索結果和資源，以更有效地優化它們。
網站資格機器人
- 與在全球範圍內索引站點的搜索機器人不同，此類機器人是一種用於評估特定資源性能的工具。 如果幫助是多頁的或很大，則需要進行此類檢查。 它們允許站點所有者根據用戶的需要對其進行改進。 例如，他們可以快速識別並修復頁面加載時間、性能問題、損壞的鏈接和優化不足的圖像。
機器人檢查版權侵權
- 這些機器人控制領先視頻託管和社交網絡（如 YouTube 和 TikTok）的版權執法。 在特殊軟件的幫助下，這些機器人分析大量音頻和視頻數據，以查找與受保護的版權材料相匹配並位於託管數據庫中的特定形式和模式。 儘管這些機器人的有效性不可否認，但許多專家和普通用戶都同意，機器人會產生高得無法接受的誤報率，並且會不公平地懲罰內容與受版權保護的材料幾乎沒有相似之處的作者。
惡意機器人
不幸的是，對於每一個改善互聯網的“好”機器人，都會有一個惡意機器人做一些價值較低的事情。 例如，通過機器人欺騙廣告流量。 讓我們看看什麼是“壞”機器人。
廣告點擊機器人
- 它們代表了數字廣告的重大挑戰。 他們在搜索中點擊上下文廣告。 他們浪費廣告預算並對營銷活動造成嚴重破壞。 越來越多的機器人可以模仿真實用戶的行為，從而隱藏他們的惡意活動。 例如，他們可以滾動瀏覽網站頁面、隨機關注它們、在頁面上停留超過一秒鐘等。
用於 DDoS 攻擊的機器人
- 拒絕服務 (DoS) 是一種拒絕服務攻擊，其目的是降低資源速度或將其禁用特定時間。 定向流式機器人流量使服務器超載，並停止響應真實用戶的請求。 結果，站點變得不可用。 分佈式拒絕服務 (DDoS) 是一種來自多個設備和網絡的分佈式拒絕服務攻擊。 此功能使得阻止機器人攻擊網站變得更加困難。 DDoS 機器人通常通過殭屍網絡傳播，殭屍網絡是受惡意軟件感染的用戶設備網絡。 用戶可能會不小心安裝惡意軟件或訪問欺詐網站。 因此，他的設備成為殭屍網絡的一部分，並自動執行操作員控制的攻擊。
買家機器人
- 它們專為在線商店的缺貨攻擊而設計。 這個概念很簡單：機器人將某些高需求商品添加到購物車，並在不結賬的情況下將它們放在那裡。 因此，庫存產品的數量會自動減少。 他們這樣做直到產品“用完”。 然後，真正的買家看到產品已售罄並離開網站。 目錄中的產品僅在短時間內（通常為 10-15 分鐘）綁定到特定的購物籃。 但是，當目錄受到長時間的自動攻擊時，機器人很容易讓買家無法購買該產品。
這些只是 Botfaqtor 等機器人攔截服務每天遇到的一些惡意活動。
誰需要有機機器人流量
營銷人員和 SEO 需要額外流量的選項有很多。 然而，幾乎所有這些都屬於聯盟營銷的層面。
買賣網站
銷售網站是一項大生意。 與現實生活一樣，商業數字房地產具有各種形狀、大小和條件。 那些願意花時間和金錢“整理”資源或在線業務以進一步銷售或貨幣化的人會賺大錢。
如果該站點有很多訪問者，您可以向潛在買家展示通過在該站點上放置廣告內容他可以獲得哪些好處。 因此，從賣家的角度來看，在機器人的幫助下人為誇大流量數字的誘惑是強大的。
黑帽賣家
儘管谷歌等搜索引擎斷言“網站流量不是排名因素”，但許多專家錯誤地將高流量與搜索結果中的高排名聯繫在一起。
因此，許多推廣“專家”（和客戶）仍然願意為有機機器人流量支付大筆費用。 使用搜索引擎轟炸技術，根據請求在搜索結果中顯示不相關的網站，該網站上沒有出現搜索關鍵字。 他們會錯誤地認為他們的排名和職位會這樣增長。
不誠實的營銷商和機構
不幸的是，到 2023 年，通過機器人流量誇大網站訪問者的不公平做法仍然存在。任何對數字營銷有一點了解的人都知道，流量本身是一種旨在娛樂自我的指標，僅此而已。
如果點擊廣告的訪問者均未完成目標操作，則訪問者的增加不會對業務有利。 然而，許多企業主沒有時間學習營銷的所有細節。
即使流量膨脹的真相變得顯而易見，不誠實的營銷人員或代理機構也會試圖將低轉化率歸因於其他因素（提供的產品或服務、頁面優化不佳等）。 它還允許他們向客戶推銷額外服務。
如您所見，除非與某些不誠實的營銷和 SEO 服務相關聯，否則有機機器人流量的用處很小。
通常，機器人會造成多次訪問的假象。 然而，實際上，它們僅用於經濟利益。
付費機器人流量是一場沒有贏家的遊戲
使用流量機器人來增加廣告點擊只會讓兩類人受益：投放廣告的發布商/網站管理員或廣告商的競爭對手。
對於已經通過 Google Adsense 通過其網站獲利的發布商而言，通過隱藏的機器人流量增加收入似乎很有吸引力。 例如，網絡上有很多關於購買機器人的最佳方式的文章。
然而，廣告平台越來越嚴格參與規則，並對增加流量保持警惕。 因此，您不應使用此選項來增加收入。
出版商的廣告欺詐與輕鬆賺錢和逍遙法外無關。 取而代之的是大筆付款，您可能會被禁止並失去您網站的任何收入。
檢測方法
針對單個機器人的防護，甚至針對殭屍網絡的全面防護，都基於一個原則：您首先需要檢測機器人流量。
要判斷流量湧入是否是bot攻擊的結果，可以參考以下方法：
- 您可以使用 access.log 文件訪問服務器日誌來跟踪訪問統計信息。 此文本文件包含有關服務器上流量的完整信息。 在其中，您可以查看發出請求的 IP 地址、時間、類型和內容。 您應該特別注意 % {User-Agent} 參數——一個包含有關請求信息的標頭——應用程序，以及發出請求的語言。 定期從同一 IP 和用戶代理髮送多個請求應該會提醒您。
- 使用 JavaScript 可以幫助收集有關訪問該站點的用戶的重要信息（屏幕分辨率、時區、可點擊按鈕）。 可以通過簡單地匹配有關請求的信息來識別哪些用戶最有可能成為解析器。
- 使用我們將在下面描述的方法之一，可以安全地阻止來自同一 IP 的具有相同請求、區域、時區和屏幕大小的代理的不需要的請求。
注意，並非所有來自機器人的請求都來自同一個 IP 地址。 這是因為殭屍程序通常使用代理網絡，從而執行分佈式解析。 但是，即使從不同的服務器收到相同的請求，這也很可能是阻塞的原因。
分佈式拒絕服務
說起惡意Bot，就不能忽視DDoS攻擊防護這一話題。 目前，這個問題與某些特定活動領域尤其相關。 這些包括在線商店、多人在線遊戲、交易所、投資平台和其他商業資源的站點。 有時，對站點的 DDoS 攻擊可能是由試圖禁用您的資源的激進競爭對手引起的。 儘管如此，有時該網站也會受到勒索軟件黑客的攻擊，有時它可能只是為了好玩而沒有惡意目的而受到攻擊。 無論如何，任何嚴肅的項目都需要保護免受這些攻擊。 您必須知道如何阻止網站上的機器人流量。
通常，DDoS 攻擊在七層 OSI 模型中進行描述。 網絡的第一層是物理層。 二是通道（通過交換機在通道層連接網絡）； 越高，越抽象。 DDoS 攻擊可以是低級和高級的。 最低級別的攻擊發生在網絡的三五級：用 ping 或 TCP 連接請求（即所謂的 SYN 請求）“阻塞”通道。 他們很容易對付。 但是攻擊等級越高，防禦就越複雜。
最高的高級攻擊，7級，更危險。 他們被定向到網站上最困難的頁面或對其執行複雜的操作，例如，設置目錄過濾器以顯示最多的產品選擇。 數以百計甚至數以千計的機器人執行攻擊，Web 服務器、後端或數據庫服務器可能發生拒絕服務。
為了應對此類攻擊，我們使用 WAF（Web 應用程序防火牆）——一種特殊的監視器和過濾器系統，旨在檢測和阻止對 Web 應用程序的網絡攻擊。 然而，這是一個相對較高級別的攻擊，我們只在最嚴重的情況下啟用 WAF——通常，基本保護就足夠了，默認情況下在我們所有的服務器上啟用。
如果您的站點託管在服務器機房的硬件上，您可能不得不自己處理攻擊。 您必須連接一個額外的 IP 地址或專門的服務來保護您的站點。 在某些情況下，切換到 VDS 或專用服務器可能是已經連接此類服務的絕佳選擇。 最後，可以等待大規模攻擊！ 但最好的是，如果您有一個可靠的託管服務提供商，您可以將站點保護委託給他們以免受 DDoS 攻擊。
結論
其網絡資源所有者經常面臨數據解析和惡意攻擊的問題，但保護方法的發展並沒有停滯不前。 為了防止站點數據被複製和竊取，您可以採用多種方式，例如，在頁面上安裝驗證碼，在代碼中輸入陷阱，或者根據用戶代理數據跟踪機器人並隨後進行阻止。 仔細注意保護工具的分析和安裝，即使對代碼進行最少的工作，也將有助於解決站點上的解析、垃圾郵件和加載問題。