Web 数据提取终极指南
已发表: 2017-04-29Web 数据提取（也称为 Web 抓取、Web 采集、屏幕抓取等）是一种从 Internet 上的网站中提取大量数据的技术。 网站上提供的数据不容易下载，只能使用网络浏览器访问。 然而，网络是最大的开放数据存储库，自互联网诞生以来，这些数据一直以指数级的速度增长。
网络数据对电子商务门户、媒体公司、研究公司、数据科学家、政府有很大的用处，甚至可以帮助医疗保健行业进行持续研究和预测疾病的传播。
考虑分类网站、房地产门户网站、社交网络、零售网站和在线购物网站等上可用的数据，这些数据很容易以结构化格式获得，随时可供分析。 这些站点中的大多数不提供将数据保存到本地或云存储的功能。 一些站点提供 API，但它们通常带有限制且不够可靠。 尽管在技术上可以将数据从网站复制并粘贴到本地存储，但对于企业的实际用例来说，这是不方便且不可能的。
Web 抓取可帮助您以自动化方式执行此操作，并且更有效、更准确地执行此操作。 Web 抓取设置以类似于 Web 浏览器的方式与网站交互，但不是将其显示在屏幕上，而是将数据保存到存储系统中。
网络数据提取的应用
1. 定价智能
鉴于在线空间竞争的加剧，定价智能是一种日益流行的应用程序。 电子商务门户网站一直在关注他们的竞争对手，他们使用网络爬虫从他们那里获取实时定价数据，并以有竞争力的价格调整自己的目录。 这是通过部署网络爬虫来完成的，该爬虫被编程为提取产品详细信息，如产品名称、价格、变体等。 这些数据被插入一个自动化系统，该系统在分析竞争对手的价格后为每种产品分配理想的价格。
定价智能也用于需要在同一门户的不同版本之间保持定价一致性的情况。 网络抓取技术实时提取价格的能力使此类应用成为现实。
2. 编目
电子商务门户网站通常有大量的产品列表。 更新和维护这么大的目录并不容易。 这就是为什么许多公司依赖网络数据提取服务来收集更新其目录所需的数据的原因。 这有助于他们发现他们不知道的新类别，或使用新的产品描述、图像或视频更新现有目录。
3. 市场调查
除非您掌握的数据量很大，否则市场研究是不完整的。 鉴于传统数据采集方法的局限性并考虑到网络上可用的相关数据量，网络数据提取是迄今为止收集市场研究所需数据的最简单方法。 企业从实体店向在线空间的转变也使网络数据成为更好的市场研究资源。
4. 情绪分析
情绪分析需要从人们分享他们对服务、产品、电影、音乐或任何其他以消费者为中心的产品的评论、意见或投诉的网站中提取的数据。 提取此用户生成的内容将是任何情绪分析项目的第一步，而网络抓取可以有效地达到目的。
5. 竞争对手分析
在网络抓取技术出现之前，监控竞争的可能性从未如此简单。 通过部署网络蜘蛛，现在可以轻松地密切监控竞争对手的活动，例如他们正在进行的促销活动、社交媒体活动、营销策略、新闻稿、目录等，从而在竞争中占据上风。 近乎实时的爬网更进一步，为企业提供实时的竞争对手数据。
6.内容聚合
媒体网站需要即时访问网络上的突发新闻和其他趋势信息。 快速报道新闻对这些公司来说是一个交易破坏者。 网络爬虫可以监控或从流行的新闻门户、论坛或类似站点中提取您想要监控的热门话题或关键字的数据。 此用例使用低延迟网络爬取，因为更新速度应该非常高。
7. 品牌监控
现在，每个品牌都了解以客户为中心对业务增长的重要性。 如果他们想在这个竞争激烈的市场中生存，那么为他们的品牌赢得良好的声誉将符合他们的最大利益。 大多数公司现在都在使用网络爬虫解决方案来监控流行的论坛、电子商务网站上的评论和社交媒体平台，以了解其品牌和产品名称的提及。 这反过来又可以帮助他们及时了解客户的声音，并尽早解决可能破坏品牌声誉的问题。 毫无疑问，以客户为中心的业务在增长图中会上升。
网络数据提取的不同方法
一些企业仅基于数据运作，其他企业将其用于商业智能、竞争对手分析和市场研究，以及其他无数用例。 然而，从网络中提取大量数据仍然是许多公司的主要障碍，更重要的是因为他们没有走最佳路线。 以下是从 Web 提取数据的不同方法的详细概述。
1.DaaS
将您的 Web 数据提取项目外包给 DaaS 提供商是迄今为止从 Web 中提取数据的最佳方式。 当依赖于数据提供者时，完全免除了爬虫设置、维护和提取数据质量检查的责任。 由于 DaaS 公司将拥有平滑和无缝数据提取所需的专业知识和基础设施，因此您可以以比您自己做的成本低得多的成本利用他们的服务。
您只需向 DaaS 提供商提供您的确切要求，就可以放心了。 您必须发送数据点、源网站、抓取频率、数据格式和交付方式等详细信息。 使用 DaaS，您可以按照自己想要的方式获取数据，并且您可以专注于利用数据来改善业务底线，这在理想情况下应该是您的首要任务。 由于他们在抓取方面经验丰富并且拥有有效和大规模获取数据的领域知识，因此如果您的需求很大且经常出现，那么与 DaaS 提供商合作是正确的选择。
外包的最大好处之一是数据质量保证。 由于网络本质上是高度动态的，因此数据提取需要持续监控和维护才能顺利运行。 Web 数据提取服务可应对所有这些挑战并提供高质量的无噪声数据。
使用数据提取服务的另一个好处是定制和灵活性。 由于这些服务是为企业设计的，因此可以根据您的具体要求完全定制这些服务。
优点：
- 完全可根据您的要求定制
- 完全掌控流程
- 质量检查以确保高质量数据
- 可以处理动态和复杂的网站
- 有更多时间专注于您的核心业务
缺点：
- 可能必须签订长期合同
- 比DIY工具贵一点
2. 内部数据提取
如果您的公司在技术上很丰富，您可以使用内部数据提取。 Web 抓取是一个技术利基过程，需要一个熟练的程序员团队来编写爬虫代码，将它们部署在服务器上，调试，监控，并对提取的数据进行后处理。 除了团队之外，您还需要一个高端基础架构来运行爬网作业。
维护内部爬行设置可能是比构建它更大的挑战。 网络爬虫往往非常脆弱。 他们甚至可以在目标网站上进行微小的更改或更新。 您必须建立一个监控系统来了解抓取任务何时出现问题，以便可以修复它以避免数据丢失。 您将不得不花费时间和精力来维护内部爬行设置。
除此之外，如果您需要抓取的网站数量很多或目标网站正在使用动态编码实践，则与构建内部抓取设置相关的复杂性会显着增加。 内部抓取设置也会影响焦点并稀释您的结果，因为网络抓取本身就是需要专业化的东西。 如果您不小心，它很容易占用您的资源并在您的操作流程中造成摩擦。
优点：
- 对流程的完全所有权和控制权
- 简单要求的理想之选
缺点：
- 爬虫的维护是一件很头疼的事
- 成本增加
- 招聘、培训和管理团队可能会很忙
- 可能会占用公司资源
- 可能影响组织的核心焦点
- 基础设施成本高
3. 垂直特定解决方案
一些数据提供商只迎合特定的垂直行业。 如果您能找到一个适合您所针对的领域并涵盖所有必要数据点的垂直特定数据提取解决方案，那将是非常棒的。 使用垂直特定解决方案的好处是您将获得数据的全面性。 由于这些解决方案仅适用于一个特定领域，因此他们在该领域的专业知识将非常高。
您从特定于垂直行业的数据提取解决方案中获得的数据集架构通常是固定的，并且不可定制。 您的数据项目将仅限于此类解决方案提供的数据点，但这可能会或可能不会破坏交易，具体取决于您的要求。 这些解决方案通常会为您提供已经提取并可以使用的数据集。 垂直特定数据提取解决方案的一个很好的例子是 JobsPikr，它是一个工作列表数据解决方案，可以直接从世界各地的公司网站的职业页面中提取数据。
优点：
- 来自行业的综合数据
- 更快地访问数据
- 无需处理提取的复杂方面
缺点：
- 缺乏自定义选项
- 数据不是排他性的
4. DIY数据提取工具
如果您没有预算来构建内部抓取设置或将数据提取过程外包给供应商，那么您只能使用 DIY 工具。 这些工具易于学习，并且通常提供点击界面，使数据提取比您想象的更简单。 如果您刚开始没有数据采集预算，这些工具是理想的选择。 DIY 网页抓取工具通常价格非常低，有些甚至可以免费使用。
但是，使用 DIY 工具从网络中提取数据存在严重的缺点。 由于这些工具无法处理复杂的网站，因此它们在功能、规模和数据提取效率方面非常有限。 DIY 工具的维护也将是一个挑战，因为它们制作得非常僵硬且不太灵活。 您必须确保该工具正常工作，甚至不时进行更改。
唯一好的方面是配置和使用此类工具不需要太多技术专长，如果您不是技术人员，这可能适合您。 由于该解决方案是现成的，您还将节省与构建自己的基础架构进行抓取相关的成本。 除了缺点之外，DIY 工具可以满足简单和小规模的数据需求。
优点：
- 完全控制过程
- 预建解决方案
- 您可以利用对工具的支持
- 更易于配置和使用
缺点：
- 他们经常过时
- 数据中的更多噪音
- 更少的自定义选项
- 学习曲线可能很高
- 结构变化时数据流中断
Web 数据提取的工作原理
可以使用一些不同的方法和技术来构建爬虫并从网络中提取数据。
1. 种子
种子 URL 是一切的开始。 爬虫将从种子 URL 开始其旅程，并开始在从种子获取的数据中寻找下一个 URL。 如果爬虫程序被编程为遍历整个网站，则种子 URL 将与域的根相同。 种子 URL 在设置时被编入爬虫程序，并且在整个提取过程中保持不变。
2. 设定方向
爬虫获取种子 URL 后，将有不同的选项继续进行。 这些选项将是通过查询种子 URL 刚刚加载的页面上的超链接。 第二步是对爬虫进行编程，从这一点开始自行识别并采取不同的路线。 此时，机器人知道从哪里开始以及从哪里开始。
3.排队
既然爬虫知道如何进入网站的深处并到达要提取数据的页面，下一步是将所有这些目标页面编译到一个存储库中，它可以选择要爬取的 URL。 完成后，爬虫从存储库中获取 URL。 它将这些页面作为 HTML 文件保存在本地或基于云的存储空间中。 最后的抓取发生在这个 HTML 文件存储库中。
4. 数据提取
现在爬虫已经保存了所有需要抓取的页面，是时候从这些页面中只提取所需的数据点了。 使用的架构将根据您的要求。 现在是时候指示爬虫从这些 HTML 文件中只挑选相关的数据点，而忽略其余的。 可以教导爬虫基于与数据点关联的 HTML 标签或类名来识别数据点。
5. 去重和清洗
重复数据删除是对提取的记录执行的过程，以消除提取数据中重复的机会。 这将需要一个单独的系统来查找重复记录并将其删除以使数据简洁。 数据中也可能有噪音，也需要清理。 这里的噪音是指与相关数据一起被抓取的不需要的 HTML 标记或文本。
6. 结构化
结构化是通过为数据提供适当的、机器可读的语法来使数据与数据库和分析系统兼容的原因。 这是数据提取和发布的最终过程，数据已准备好交付。 完成结构化后，数据就可以通过将其导入数据库或插入分析系统来使用。
Web 数据提取的最佳实践
作为获得强大洞察力的绝佳工具，Web 数据提取已成为这个竞争激烈的市场中企业的当务之急。 与最强大的东西一样，必须负责任地使用网络抓取。 以下是抓取网站时必须遵循的最佳实践的汇编。
1. 尊重 robots.txt
您应该始终检查您计划从中提取数据的网站的 Robots.txt 文件。 网站在其 robots.txt 文件中设置了机器人应如何与网站交互的规则。 一些网站甚至在他们的机器人文件中完全阻止爬虫访问。 从不允许抓取的网站中提取数据可能会导致法律后果，应该避免。 除了彻底屏蔽之外，每个站点都会在 robots.txt 中为其站点上的良好行为设置规则。 从目标站点提取数据时，您必须遵守这些规则。
2.不要太频繁地访问服务器
如果负载非常高，Web 服务器很容易停机。 就像人类用户一样，机器人也可以增加网站服务器的负载。 如果负载超过一定限制，服务器可能会变慢或崩溃，从而使网站对用户无响应。 这会给网站上的人类访问者带来糟糕的用户体验，这违背了该网站的全部目的。 应该注意的是，人类访问者对网站的优先级高于机器人。 为避免此类问题，您应将爬虫设置为以合理的间隔访问目标站点并限制并行请求的数量。 这会给网站一些喘息的空间，它确实应该有。
3. 在非高峰时段刮痧
确保目标网站不会因为来自人类和机器人的高流量而变慢。 最好将您的网络爬取任务安排在非高峰时间运行。 站点的非高峰时段可以由站点的大部分流量来自的地理位置来确定。 您可以通过在非高峰时段抓取来避免网站服务器可能出现的过载。 这也将对您的数据提取过程的速度产生积极影响，因为在此期间服务器的响应速度会更快。
4.负责任地使用抓取的数据
从 Web 中提取数据已成为一个重要的业务流程。 但是，这并不意味着您拥有从 Internet 上的网站提取的数据。 未经网站抓取同意将数据发布到其他地方被认为是不道德的，并且您可能违反版权法。 在从网络中提取数据时，您应该按照目标网站的政策负责任地使用数据。
寻找可靠来源
1. 避免链接过多的网站
链接就像互联网的连接组织。 对于 Web 数据提取项目来说，一个有太多断开链接的网站是一个糟糕的选择。 这表明该站点维护不善，爬取这样的站点对您来说不会是一次美妙的体验。 一方面，如果在蚀刻过程中遇到断开的链接，刮削装置可能会停止。 这最终会篡改数据质量，对于任何认真对待数据项目的人来说，这应该是一个交易破坏者。 您最好使用具有相似数据和更好内务管理的不同来源网站。
2.避免使用高度动态编码实践的站点
这可能并不总是一种选择； 但是，最好避免具有复杂和动态实践的站点以运行稳定的爬取作业。 由于动态站点难以从中提取数据并经常更改。 维护可能会成为一个巨大的瓶颈。 在网络爬虫方面，找到更少复杂的网站总是更好。
3. 数据的质量和新鲜度
在选择数据提取来源时，数据的质量和新鲜度必须是您最重要的标准之一。 您获取的数据应该是新鲜的并且与当前时间段相关，以便它完全可以使用。 在为您的数据提取项目选择来源时，请始终寻找始终使用新鲜和相关数据经常更新的站点。 您可以查看网站源代码上的最后修改日期，以了解数据的新鲜程度。
网络抓取的法律方面
对 Web 数据提取不是很熟悉的人有时会以模糊的眼光看待 Web 数据提取。 为了清除空气，网络抓取/爬网不是不道德或非法的活动。 爬虫机器人从网站获取信息的方式与人类访问者在网页上消费内容的方式没有什么不同。 例如，谷歌搜索运行网络爬虫，我们没有看到任何人指责谷歌做一些甚至是非法的事情。 但是，在抓取网站时应遵循一些基本规则。 如果您遵循这些规则并在互联网上作为一个好的机器人运行，那么您并没有做任何违法的事情。 以下是要遵循的规则：
- 尊重目标站点的robots.txt文件
- 确保您遵守 TOS 页面
- 未经网站事先许可，请勿在其他地方在线或离线复制数据
如果您在抓取网站时遵循这些规则，则您完全处于安全区域。
结论
我们在这里介绍了 Web 数据提取的重要方面，例如您可以采用的不同途径获取 Web 数据、最佳实践。 各种业务应用程序，以及流程的法律方面。 随着商业世界正在迅速转向以数据为中心的运营模式。 现在是评估您的数据需求并开始从 Web 提取相关数据以提高业务效率和增加收入的时候了。 如果您在旅途中遇到困难，本指南应该可以帮助您继续前进。