反向 ETL：在每个阶段进行数据驱动的决策

ETL，即提取、转换、加载，是一种数据分析管道过程，包括三个阶段：采购、清理和将数据加载到可以访问和操作的存储库中。

但是，如果您可以反转 ETL 怎么办？ 也就是说，使用从源收集的数据在流程的每个阶段进行权力决策。

虽然您的数据架构中总是存在不规则和漏洞，但反向 ETL 是确保每个人都使用相同的信息并确保报告数字准确并更准确地预测公司绩效的最佳方式。

本指南将帮助您了解反向 ETL、它为何有用以及日常用例。

关键要点

• 反向 ETL 使您能够自动执行从源系统获取干净且随时可用的数据到下游分析和 BI 工具的过程。
• 使用反向 ETL 来提高效率、灵活性、可见性和一致性，同时操作您的数据。
• 利用专用的反向 ETL 工具，摆脱不可靠（且成本高昂）的定制解决方案或疲惫的点对点自动化。

什么是反向 ETL？

反向 ETL 是将来自真实来源（通常是数据仓库或数据湖）的数据直接同步到不同的业务应用程序（如 CRM、广告平台、ERP 等）的实践。

为了更好地理解这个概念，这里快速回顾一下 ETL 和 ELT 系统以及反向 ETL 的不同之处。

ETL、ELT和反向ETL都是数据管道。 他们将数据从系统 A 移动到系统 B，同时对数据进行转换。 “E”代表“提取”，“T”代表“变换”，“L”代表“加载”。 具体来说：

• ETL 涉及从一个或多个源中提取数据并将其转换为可以加载到目标系统中的格式。
• ELT 是一个类似的过程，它颠倒了变换和加载步骤的顺序。 数据首先加载到目标系统中，然后进行转换以适应该系统的要求。
• 反向 ETL 颠倒了提取和加载步骤的顺序。 数据从源系统中提取并直接加载到目标系统中而无需进行转换。

反向 ETL 无需中间转换步骤，可以节省时间和资源。 但是，这也意味着数据可能与目标系统不兼容，可能需要更多处理才能使用。

因此，反向 ETL 在源系统和目标系统非常相似或不需要转换数据的情况下蓬勃发展。

集成反向 ETL 的好处

反向 ETL 工具使用所谓的轴辐式方法。 这意味着您可以将数据仓库用于所有出站连接。 您的业​​务工具可以从同一个受信任的底层源中提取数据，从而避免许多点对点集成之间的潜在差异。

以下是反向 ETL 的一些优点：

• 操作数据：将数据呈现给技术堆栈中的每个“辐条”，使您的团队能够获取抽象信息并将其转化为具体和可衡量的东西。
• 数据一致性：通过从统一来源获取数据，您可以确信每个人都在处理相同的信息。 对于需要准确报告来预测公司业绩的销售和营销团队而言，可访问集中数据至关重要。
• 提高效率：反向 ETL 的正确实施将消除对中间转换步骤的需要，从而节省您的时间和资源，尤其是对您的数据团队而言。 所有 API 连接都与仓库集成，因此您不必担心在内部构建或维护自定义代码。 因此，反向 ETL 可以让您的数据团队腾出时间专注于高价值工作。
• 更大的灵活性：借助反向 ETL，您可以选择同步哪些数据以及何时同步 - 允许您根据需要轻松地在反向 ETL 流程中添加或删除应用程序。
• 提高可见性：反向 ETL 为您提供数据流的完整图景，让您轻松发现潜在错误或需要改进的地方。
• 工具一致性：通过将转换后的数据直接发送到业务应用程序，用户可以留在他们的本机工具中，与 BI 工具相比，他们使用起来更舒服。

反向 ETL 用例

现在我们已经了解了反向 ETL 的好处，让我们看一下该框架有效的一些特定用例。

将客户数据上传到 CRM

在这种情况下，您从内部系统（例如 ERP、财务或订单管理工具）中提取数据。

然后将这些数据加载到 CRM 系统中，以便销售和营销团队可以在一个中心位置访问客户信息。 您不需要转换数据，因为它已经是兼容的格式。

在两个相似系统之间同步数据

此用例与上述用例类似，但两个系统不一定兼容。 在加载数据之前，您可能需要将数据转换为目标系统。 例如，您可能需要将数据从 CSV 转换为 JSON 格式。

将数据迁移到新系统

您可以从本地数据仓库迁移到基于云的解决方案或切换 CRM 系统。 无论如何，您都可以设置反向 ETL 传输到数据。

这种集成将避免手动传输数据或编写自定义脚本的需要。 请注意，您可能需要转换数据以适应新系统的要求。

创建备份

管理备份是反向 ETL 的日常用例。 数据从源系统中提取并加载到备份系统中。 您不需要转换数据，因为除了备份之外不需要其他任何操作。

反向 ETL 如何适应现代数据堆栈

使用反向 ETL 操作数据的应用是无穷无尽的。 让我们看一下在数据堆栈中使用反向 ETL 的三个示例。

为您的销售团队将数据同步到 CRM

像 Salesforce 这样的 CRM 工具有一些非常好的开箱即用的报告解决方案，通常是您的销售团队花费大部分时间的地方。

您仍将在仓库中提取和加载原始 Salesforce 数据，将其与其他公司数据相结合，以在您的常规 ETL/ELT 管道中创建自定义指标。

但是您可以使用反向 ETL 工具将新的自定义数据和指标从您的仓库同步到您的销售团队的 CRM。

您的销售团队仍使用共享仓库逻辑，但无需使用单独的报告工具即可查看。 他们不需要创建自定义报告来确定他们需要什么。

使用客户数据进行营销活动

您的营销团队希望从您的数据仓库中为新的营销活动制作一个细分的客户列表。 他们可以使用反向 ETL 将数据从您的仓库自动发送到 Google 表格、电子表格或类似的东西，而不是编写查询和导出数据。

然后，营销团队可以根据需要使用数据，而不必依赖工程团队为他们获取数据。

利用数据改善客户支持

客户支持结合使用 Slack 和 Zendesk 来管理客户工单。 但是，如果您可以使用仓库中的数据自动将工单发送给正确的支持代理会怎样？

您可以使用反向 ETL 来监控特定事件的数据，然后采取相应的措施。 在这种情况下，您将向 Slack 发送一条消息，其中包含工单详细信息并将其分配给正确的支持代理。

这样，您的客户支持团队就可以专注于解决工单而不是路由它们。 而且您可以确定正确的票会送到正确的人手中。

使用反向 ETL 可以做的事情没有任何限制。 关键是了解如何使用它来形成完整的数据管道。

构建与购买：选择哪种反向 ETL 解决方案？

虽然反向 ETL 的概念并不新鲜，但直到最近，还没有任何工具可以帮助实现。 随着基于云的数据仓库的出现，这种情况发生了变化。

过去，您必须创建一个自定义应用程序来跨渠道同步数据。 这样的工作将包括负责连接和管理 API 以及设计接口。 更重要的是，您必须同时维护产品和代码。

这种方法的问题是，如果出现问题，需要一两个工程师在场。

另一种方法是尝试在仪表板中模拟另一个 BI 工具中的数据。 但是，使用这种方法准确匹配数字具有挑战性。

您也可以尝试使用 Zapier 或 Make 等自动化工具。 这些工具对于小型工作负载非常有效——例如，如果您想创建一次性触发器。 但是，这些同步的数量会随着您的需要而迅速增加，这使得自动化对于超出预期用途的任何事情都是不切实际的。

这就是反向 ETL 工具的用武之地——它提供了一种无需自定义代码或依赖工程师即可管理数据同步的方法。

通过限制对其他部门的依赖，您可以比使用定制解决方案更快地启动和运行。 它也更易于使用和维护，因为供应商将提供支持和更新。

更重要的是，将转换后的数据直接发送到业务应用程序意味着您的团队可以继续使用他们熟悉的软件，而不是处理通常不堪重负的 BI 工具界面。

反向 ETL 是一种可扩展的解决方案，可以随着您的需求而增长，同时保持可维护性。 因此，它正迅速成为跨渠道管理数据的首选解决方案。

实施反向 ETL 模型的后续步骤

要做出数据驱动的决策，您需要在正确的时间以正确的格式提供正确的数据，并且反向 ETL 会在大多数情况下打勾。

通过集成反向 ETL 系统，您可以自动化从源系统获取干净且随时可用的数据到下游分析和 BI 工具的过程。 因此，您将能够比以往更快地改进决策并从数据中获得更多见解。

如果您正在寻找适合您独特需求的反向 ETL 解决方案，我们的 Improvado 团队随时为您提供帮助。 我们将帮助您建立一个模型，让您在今天做出更好、更快的数据驱动决策。