什么是机器人流量以及它如何用于欺骗流量报告？
已发表: 2023-05-16站点访问量的激增可能导致站点速度下降、性能下降、资源过载、访问损坏、点击统计、对 SEO 的负面影响以及对 DDoS 和网络钓鱼攻击的脆弱性增加。
如果您想分析您网站的流量，请在计数器中查看特定页面的浏览量跳跃、高跳出率、页面上异常长或短的时间、无效或缺失的转化以及您不了解的区域中的批量推荐广告。
有多少互联网流量是由机器人产生的？ 估计各不相同。 但是，我们可以假设机器人引荐约占全球所有网络流量的 42%，其中一半以上属于“不良”机器人。
什么是机器人流量？
机器人总是访问该站点——它只是现代互联网的一部分，甚至搜索引擎也以这种方式对资源进行索引。 但是在机器人（或自动扫描仪）的帮助下，您还可以解析数据，即从网络资源中提取信息。 涉及的机器人是在网站上执行简单自动化操作的程序或脚本：
- 卸载页面代码。
- 把它分成它的组成元素。
- 提取数据。
- 将其保存在数据库中。
这种收集的目的可能不同。 在大多数情况下，网站被抓取以从竞争对手的页面获取特定数据，然后可以在其资源上使用这些数据并进行恶意攻击。 尽管如此，解析对于分析或研究目的还是有帮助的，这本身并不意味着任何可怕的事情。
好的、坏的和丑陋的机器人
在我们深入探讨如何识别机器人流量的主题之前，我们必须学习分类。 我们可以将机器人分为有用的（好的）和恶意的（坏的）。
有用的机器人
这些是我们需要的机器人。 他们在 Internet 上执行必要的活动。 它们有助于在尽可能短的时间内完成有价值且复杂的工作。 此外，与人不同的是，他们可以自动执行日常流程，因为他们可以处理大量数据。
搜索机器人
- 您也可能将它们称为“网络蜘蛛”或“搜索爬虫”。 它们是 Internet 上最常见且最有用的机器人程序之一。 所有搜索结果和用户与搜索的交互都是搜索机器人的优点。 发布新网站页面后，机器人将在几周内对其进行扫描。 SEMRush、Screaming Frog、SE Ranking、Moz 等 SEO 工具也有机器人来分析搜索结果和资源，以更有效地优化它们。
网站资格机器人
- 与在全球范围内索引站点的搜索机器人不同，此类机器人是一种用于评估特定资源性能的工具。 如果帮助是多页的或很大，则需要进行此类检查。 它们允许站点所有者根据用户的需要对其进行改进。 例如，他们可以快速识别并修复页面加载时间、性能问题、损坏的链接和优化不足的图像。
机器人检查版权侵权
- 这些机器人控制领先视频托管和社交网络（如 YouTube 和 TikTok）的版权执法。 在特殊软件的帮助下，这些机器人分析大量音频和视频数据，以查找与受保护的版权材料相匹配并位于托管数据库中的特定形式和模式。 尽管这些机器人的有效性不可否认，但许多专家和普通用户都同意，机器人会产生高得无法接受的误报率，并且会不公平地惩罚内容与受版权保护的材料几乎没有相似之处的作者。
恶意机器人
不幸的是，对于每一个改善互联网的“好”机器人，都会有一个恶意机器人做一些价值较低的事情。 例如，通过机器人欺骗广告流量。 让我们看看什么是“坏”机器人。
广告点击机器人
- 它们代表了数字广告的重大挑战。 他们在搜索中点击上下文广告。 他们浪费广告预算并对营销活动造成严重破坏。 越来越多的机器人可以模仿真实用户的行为，从而隐藏他们的恶意活动。 例如，他们可以滚动浏览网站页面、随机关注它们、在页面上停留超过一秒钟等。
用于 DDoS 攻击的机器人
- 拒绝服务 (DoS) 是一种拒绝服务攻击，其目的是降低资源速度或将其禁用特定时间。 定向流式机器人流量使服务器超载，并停止响应真实用户的请求。 结果，站点变得不可用。 分布式拒绝服务 (DDoS) 是一种来自多个设备和网络的分布式拒绝服务攻击。 此功能使得阻止机器人攻击网站变得更加困难。 DDoS 机器人通常通过僵尸网络传播，僵尸网络是受恶意软件感染的用户设备网络。 用户可能会不小心安装恶意软件或访问欺诈网站。 因此，他的设备成为僵尸网络的一部分，并自动执行操作员控制的攻击。
买家机器人
- 它们专为在线商店的缺货攻击而设计。 这个概念很简单：机器人将某些高需求商品添加到购物车，并在不结账的情况下将它们放在那里。 因此，库存产品的数量会自动减少。 他们这样做直到产品“用完”。 然后，真正的买家看到产品已售罄并离开网站。 目录中的产品仅在短时间内（通常为 10-15 分钟）绑定到特定的购物篮。 但是，当目录受到长时间的自动攻击时，机器人很容易让买家无法购买该产品。
这些只是 Botfaqtor 等机器人拦截服务每天遇到的一些恶意活动。
谁需要有机机器人流量
营销人员和 SEO 需要额外流量的选项有很多。 然而，几乎所有这些都属于联盟营销的层面。
买卖网站
销售网站是一项大生意。 与现实生活一样，商业数字房地产具有各种形状、大小和条件。 那些愿意花时间和金钱“整理”资源或在线业务以进一步销售或货币化的人会赚大钱。
如果该站点有很多访问者，您可以向潜在买家展示通过在该站点上放置广告内容他可以获得哪些好处。 因此，从卖家的角度来看，在机器人的帮助下人为夸大流量数字的诱惑是强大的。
黑帽卖家
尽管谷歌等搜索引擎断言“网站流量不是排名因素”，但许多专家错误地将高流量与搜索结果中的高排名联系在一起。
因此，许多推广“专家”（和客户）仍然愿意为有机机器人流量支付大笔费用。 使用搜索引擎轰炸技术，根据请求在搜索结果中显示不相关的网站，该网站上没有出现搜索关键字。 他们会错误地认为他们的排名和职位会这样增长。
不诚实的营销商和机构
不幸的是，到 2023 年，通过机器人流量夸大网站访问者的不公平做法仍然存在。任何对数字营销有一点了解的人都知道，流量本身是一种旨在娱乐自我的指标，仅此而已。
如果点击广告的访问者均未完成目标操作，则访问者的增加不会对业务有利。 然而，许多企业主没有时间学习营销的所有细节。
即使流量膨胀的真相变得显而易见，不诚实的营销人员或代理机构也会试图将低转化率归因于其他因素（提供的产品或服务、页面优化不佳等）。 它还允许他们向客户推销额外服务。
如您所见，除非与某些不诚实的营销和 SEO 服务相关联，否则有机机器人流量的用处很小。
通常，机器人会造成多次访问的假象。 然而，实际上，它们仅用于经济利益。
付费机器人流量是一场没有赢家的游戏
使用流量机器人来增加广告点击只会让两类人受益：投放广告的发布商/网站管理员或广告商的竞争对手。
对于已经通过 Google Adsense 通过其网站获利的发布商而言，通过隐藏的机器人流量增加收入似乎很有吸引力。 例如，网络上有很多关于购买机器人的最佳方式的文章。
然而，广告平台越来越严格参与规则，并对增加流量保持警惕。 因此，您不应使用此选项来增加收入。
出版商的广告欺诈与轻松赚钱和逍遥法外无关。 取而代之的是大笔付款，您可能会被禁止并失去您网站的任何收入。
检测方法
针对单个机器人的防护，甚至针对僵尸网络的全面防护，都基于一个原则：您首先需要检测机器人流量。
要判断流量涌入是否是bot攻击的结果，可以参考以下方法：
- 您可以使用 access.log 文件访问服务器日志来跟踪访问统计信息。 此文本文件包含有关服务器上流量的完整信息。 在其中，您可以查看发出请求的 IP 地址、时间、类型和内容。 您应该特别注意 % {User-Agent} 参数——一个包含有关请求信息的标头——应用程序，以及发出请求的语言。 定期从同一 IP 和用户代理发送多个请求应该会提醒您。
- 使用 JavaScript 可以帮助收集有关访问该站点的用户的重要信息（屏幕分辨率、时区、可点击按钮）。 可以通过简单地匹配有关请求的信息来识别哪些用户最有可能成为解析器。
- 使用我们将在下面描述的方法之一，可以安全地阻止来自同一 IP 的具有相同请求、区域、时区和屏幕大小的代理的不需要的请求。
注意，并非所有来自机器人的请求都来自同一个 IP 地址。 这是因为僵尸程序通常使用代理网络，从而执行分布式解析。 但是，即使从不同的服务器收到相同的请求，这也很可能是阻塞的原因。
分布式拒绝服务
说起恶意Bot，就不能忽视DDoS攻击防护这一话题。 目前，这个问题与某些特定活动领域尤其相关。 这些包括在线商店、多人在线游戏、交易所、投资平台和其他商业资源的站点。 有时，对站点的 DDoS 攻击可能是由试图禁用您的资源的激进竞争对手引起的。 尽管如此，有时该网站也会受到勒索软件黑客的攻击，有时它可能只是为了好玩而没有恶意目的而受到攻击。 无论如何，任何严肃的项目都需要保护免受这些攻击。 您必须知道如何阻止网站上的机器人流量。
通常，DDoS 攻击在七层 OSI 模型中进行描述。 网络的第一层是物理层。 二是通道（通过交换机在通道层连接网络）； 越高，越抽象。 DDoS 攻击可以是低级和高级的。 最低级别的攻击发生在网络的三五级：用 ping 或 TCP 连接请求（即所谓的 SYN 请求）“阻塞”通道。 他们很容易对付。 但是攻击等级越高，防御就越复杂。
最高的高级攻击，7级，更危险。 他们被定向到网站上最困难的页面或对其执行复杂的操作，例如，设置目录过滤器以显示最多的产品选择。 数以百计甚至数以千计的机器人执行攻击，Web 服务器、后端或数据库服务器可能发生拒绝服务。
为了应对此类攻击，我们使用 WAF（Web 应用程序防火墙）——一种特殊的监视器和过滤器系统，旨在检测和阻止对 Web 应用程序的网络攻击。 然而，这是一个相对较高级别的攻击，我们只在最严重的情况下启用 WAF——通常，基本保护就足够了，默认情况下在我们所有的服务器上启用。
如果您的站点托管在服务器机房的硬件上，您可能不得不自己处理攻击。 您必须连接一个额外的 IP 地址或专门的服务来保护您的站点。 在某些情况下，切换到 VDS 或专用服务器可能是已经连接此类服务的绝佳选择。 最后，可以等待大规模攻击！ 但最好的是，如果您有一个可靠的托管服务提供商，您可以将站点保护委托给他们以免受 DDoS 攻击。
结论
其网络资源所有者经常面临数据解析和恶意攻击的问题，但保护方法的发展并没有停滞不前。 为了防止站点数据被复制和窃取，您可以采用多种方式，例如，在页面上安装验证码，在代码中输入陷阱，或者根据用户代理数据跟踪机器人并随后进行阻止。 仔细注意保护工具的分析和安装，即使对代码进行最少的工作，也将有助于解决站点上的解析、垃圾邮件和加载问题。