Reverse ETL: Leistungsdatengesteuerte Entscheidungsfindung in jeder Phase

ETL oder Extract, Transform, Load ist ein Datenanalyse-Pipeline-Prozess, der drei Phasen der Beschaffung, Bereinigung und des Ladens von Daten in ein Repository umfasst, auf das zugegriffen und das operationalisiert werden kann.

Was wäre jedoch, wenn Sie ETL umkehren könnten? Das heißt, Entscheidungsfindung in jeder Phase des Prozesses unter Verwendung von Daten, die von der Quelle gesammelt wurden.

Während es in Ihrer Datenarchitektur immer Unregelmäßigkeiten und Schwachstellen geben wird, ist Reverse ETL der beste Weg, um sicherzustellen, dass alle mit den gleichen Informationen arbeiten und dass die Berichtszahlen genau sind und die Unternehmensleistung genauer vorhersagen.

Dieser Leitfaden hilft Ihnen, Reverse ETL zu verstehen, warum es hilfreich ist, und alltägliche Anwendungsfälle.

Die zentralen Thesen

• Mit Reverse ETL können Sie den Prozess automatisieren, saubere und gebrauchsfertige Daten aus Ihren Quellsystemen in nachgelagerte Analyse- und BI-Tools zu übertragen.
• Verwenden Sie Reverse ETL, um die Effizienz, Flexibilität, Sichtbarkeit und Konsistenz zu verbessern und gleichzeitig Ihre Daten zu operationalisieren.
• Profitieren Sie von dedizierten Reverse-ETL-Tools und entfernen Sie sich von unzuverlässigen (und kostspieligen) kundenspezifischen Lösungen oder ermüdender Punkt-zu-Punkt-Automatisierung.

Was ist Reverse-ETL?

Reverse ETL ist die Praxis, Daten von einer Quelle der Wahrheit, typischerweise einem Data Warehouse oder Data Lake, direkt mit verschiedenen Geschäftsanwendungen wie CRMs, Anzeigenplattformen, ERPs und vielen mehr zu synchronisieren.

Um das Konzept besser zu verstehen, hier eine kurze Auffrischung zu ETL- und ELT-Systemen und den Unterschieden bei Reverse-ETL.

ETL, ELT und Reverse ETL sind allesamt Datenpipelines. Sie verschieben Daten von System A nach System B und wenden dabei Transformationen auf die Daten an. „E“ steht für „Extrahieren“, „T“ steht für „Transformieren“ und „L“ steht für „Laden“. Speziell:

• Bei ETL werden Daten aus einer oder mehreren Quellen extrahiert und in ein Format umgewandelt, das in ein Zielsystem geladen werden kann.
• ELT ist ein ähnlicher Prozess, der die Reihenfolge der Transformations- und Ladeschritte umkehrt. Die Daten werden zunächst in das Zielsystem geladen und dann entsprechend den Anforderungen dieses Systems transformiert.
• Reverse ETL kehrt die Reihenfolge der Extraktions- und Ladeschritte um. Daten werden aus dem Quellsystem extrahiert und ohne Transformation direkt in das Zielsystem geladen.

Reverse ETL macht einen Zwischentransformationsschritt überflüssig, was Zeit und Ressourcen sparen kann. Dies bedeutet jedoch auch, dass die Daten möglicherweise nicht mit dem Zielsystem kompatibel sind und möglicherweise mehr Verarbeitung erfordern, bevor Sie sie verwenden können.

Infolgedessen gedeiht Reverse ETL in Situationen, in denen die Quell- und Zielsysteme sehr ähnlich sind oder in denen keine Notwendigkeit besteht, die Daten zu transformieren.

Vorteile der Integration von Reverse ETL

Reverse-ETL-Tools verwenden einen sogenannten Hub-and-Spoke-Ansatz. Das heißt, Sie können Ihr Data Warehouse für alle ausgehenden Verbindungen verwenden. Ihre Geschäftstools können Daten aus derselben vertrauenswürdigen zugrunde liegenden Quelle abrufen, wodurch potenzielle Unterschiede zwischen den vielen Punkt-zu-Punkt-Integrationen vermieden werden.

Hier sind einige Vorteile von Reverse ETL:

• Daten operationalisieren: Die Bereitstellung von Daten für jeden „Spoke“ in Ihrem Tech-Stack versetzt Ihr Team in die Lage, abstrakte Informationen zu nehmen und sie in etwas Konkretes und Messbares umzuwandeln.
• Datenkonsistenz: Durch die Aufnahme von Daten aus einer einheitlichen Quelle können Sie sicher sein, dass alle mit den gleichen Informationen arbeiten. Der Zugriff auf zentralisierte Daten ist entscheidend für Vertriebs- und Marketingteams, die genaue Berichte benötigen, um die Unternehmensleistung zu prognostizieren.
• Verbesserte Effizienz: Durch die ordnungsgemäße Implementierung von Reverse ETL sparen Sie Zeit und Ressourcen, da kein Zwischentransformationsschritt erforderlich ist, insbesondere für Ihr Datenteam. Alle API-Verbindungen sind in das Warehouse integriert, sodass Sie sich keine Gedanken über das interne Erstellen oder Verwalten von benutzerdefiniertem Code machen müssen. Reverse ETL entlastet also Ihr Datenteam, damit es sich auf hochwertige Arbeit konzentrieren kann.
• Größere Flexibilität: Mit Reverse-ETL können Sie auswählen, welche Daten wann synchronisiert werden sollen, sodass Sie Anwendungen nach Bedarf einfach zu Ihrem Reverse-ETL-Prozess hinzufügen oder daraus entfernen können.
• Erhöhte Sichtbarkeit: Reverse ETL bietet Ihnen ein vollständiges Bild Ihres Datenflusses, sodass Sie potenzielle Fehler oder Verbesserungsbereiche leicht erkennen können.
• Tool-Konsistenz: Indem transformierte Daten direkt an die Geschäftsanwendungen gesendet werden, können Benutzer in ihrem nativen Tool bleiben, das sie bequemer verwenden können als ein BI-Tool.

Reverse-ETL-Anwendungsfälle

Nachdem wir nun die Vorteile von Reverse ETL besprochen haben, schauen wir uns einige spezifische Anwendungsfälle an, in denen dieses Framework effektiv ist.

Hochladen von Kundendaten in ein CRM

In diesem Szenario extrahieren Sie Daten aus Ihren internen Systemen, beispielsweise Ihrem ERP-, Finanz- oder Auftragsverwaltungstool.

Diese Daten werden dann in das CRM-System geladen, sodass Vertriebs- und Marketingteams an einem zentralen Ort auf Kundeninformationen zugreifen können. Sie müssen die Daten nicht transformieren, da sie bereits in einem kompatiblen Format vorliegen.

Synchronisieren von Daten zwischen zwei ähnlichen Systemen

Dieser Anwendungsfall ähnelt dem obigen, aber die beiden Systeme sind nicht unbedingt kompatibel. Gegebenenfalls müssen Sie die Daten vor dem Laden in das Zielsystem transformieren. Beispielsweise müssen Sie möglicherweise Daten vom CSV- in das JSON-Format konvertieren.

Migration von Daten in ein neues System

Sie können von einem lokalen Data Warehouse zu einer Cloud-basierten Lösung wechseln oder CRM-Systeme wechseln. In jedem Fall können Sie eine umgekehrte ETL-Übertragung zu den Daten einrichten.

Diese Integration würde die Notwendigkeit vermeiden, Daten manuell zu übertragen oder benutzerdefinierte Skripte zu schreiben. Beachten Sie, dass Sie die Daten möglicherweise transformieren müssen, damit sie den Anforderungen des neuen Systems entsprechen.

Backup erstellen

Die Verwaltung von Backups ist ein alltäglicher Anwendungsfall für Reverse ETL. Daten werden aus dem Quellsystem extrahiert und in ein Backup-System geladen. Sie müssen die Daten nicht transformieren, da sie für nichts anderes als die Sicherung erforderlich sind.

Wie Reverse ETL zum modernen Datenstapel passt

Die Anwendungsmöglichkeiten für die Operationalisierung Ihrer Daten mit Reverse ETL sind endlos. Sehen wir uns drei Beispiele für die Verwendung von Reverse ETL in Ihrem Datenstapel an.

Synchronisieren Sie Daten mit CRM für Ihr Vertriebsteam

CRM-Tools wie Salesforce verfügen über einige ziemlich gute sofort einsatzbereite Berichtslösungen und sind normalerweise der Ort, an dem Ihr Vertriebsteam die meiste Zeit verbringt.

Sie extrahieren und laden weiterhin rohe Salesforce-Daten in Ihr Warehouse und kombinieren sie mit anderen Unternehmensdaten, um benutzerdefinierte Metriken in Ihrer regulären ETL/ELT-Pipeline zu erstellen.

Aber Sie können Ihr Reverse-ETL-Tool verwenden, um diese neuen benutzerdefinierten Daten und Metriken aus Ihrem Lager mit Ihrem CRM für Ihr Vertriebsteam zu synchronisieren.

Ihr Vertriebsteam verwendet weiterhin die gemeinsame Warenlagerlogik, muss jedoch nicht zu einem separaten Berichtstool wechseln, um sie anzuzeigen. Und sie müssen keine benutzerdefinierten Berichte erstellen, um herauszufinden, was sie brauchen.

Verwenden Sie Kundendaten für Marketingkampagnen

Ihr Marketingteam möchte für eine neue Marketingkampagne eine segmentierte Kundenliste aus Ihrem Data Warehouse erstellen. Anstatt eine Abfrage zu schreiben und die Daten zu exportieren, können sie Reverse ETL verwenden, um die Daten automatisch aus Ihrem Warehouse an ein Google Sheet, eine Tabelle oder ähnliches zu senden.

Das Marketingteam kann die Daten dann nach Bedarf verwenden und muss sich nicht darauf verlassen, dass das Engineering-Team die Daten für sie erhält.

Verbessern Sie den Kundensupport mit Daten

Der Kundensupport verwendet eine Kombination aus Slack und Zendesk, um Kundentickets zu verwalten. Aber was wäre, wenn Sie Daten aus Ihrem Lager verwenden könnten, um Tickets automatisch an den richtigen Support-Mitarbeiter weiterzuleiten?

Sie können Reverse ETL verwenden, um Ihre Daten auf bestimmte Vorkommnisse zu überwachen und dann entsprechende Maßnahmen zu ergreifen. In diesem Fall würden Sie eine Nachricht an Slack senden, die die Ticketdetails enthält und sie dem richtigen Support-Mitarbeiter zuweist.

Auf diese Weise kann sich Ihr Kundensupport-Team auf die Lösung von Tickets konzentrieren, anstatt sie weiterzuleiten. Und Sie können sicher sein, dass das richtige Ticket an die richtige Person geht.

Mit Reverse ETL sind Ihnen keine Grenzen gesetzt. Der Schlüssel liegt darin, zu verstehen, wie man damit eine vollständige Datenpipeline bildet.

Build vs. Buy: Welche Reverse-ETL-Lösung sollte man wählen?

Obwohl das Konzept von Reverse ETL nicht neu ist, gab es bis vor kurzem keine Tools, die bei der Implementierung helfen könnten. Das hat sich mit dem Aufkommen von Cloud-basierten Data Warehouses geändert.

In der Vergangenheit mussten Sie eine benutzerdefinierte Anwendung erstellen, um Daten über Kanäle hinweg zu synchronisieren. Ein solches Unternehmen würde die Verantwortung für die Verbindung und Verwaltung von APIs und das Design von Schnittstellen umfassen. Noch wichtiger ist, dass Sie sowohl das Produkt als auch den Code pflegen müssen.

Das Problem bei diesem Ansatz ist, dass ein oder zwei Ingenieure verfügbar sein müssen, wenn etwas schief geht.

Ein anderer Ansatz besteht darin, Daten in einem anderen BI-Tool innerhalb eines Dashboards nachzuahmen; Es ist jedoch schwierig, Zahlen mit dieser Methode genau abzugleichen.

Sie können auch versuchen, Automatisierungstools wie Zapier oder Make zu verwenden. Diese Tools können für kleine Workloads effektiv sein, z. B. wenn Sie einen einmaligen Trigger erstellen möchten. Die Anzahl dieser Synchronisierungen wird jedoch schnell mit Ihren Anforderungen zunehmen, was die Automatisierung für mehr als den beabsichtigten Zweck unpraktisch macht.

Hier kommt ein Reverse-ETL-Tool ins Spiel – es bietet eine Möglichkeit, die Datensynchronisierung zu verwalten, ohne benutzerdefinierten Code zu benötigen oder sich auf Ingenieure zu verlassen.

Indem Sie die Abhängigkeit von anderen Abteilungen einschränken, können Sie schneller einsatzbereit sein als mit einer maßgeschneiderten Lösung. Es ist auch einfacher zu verwenden und zu warten, da der Anbieter Support und Updates bereitstellt.

Noch wichtiger ist, dass das direkte Senden transformierter Daten an die Geschäftsanwendungen bedeutet, dass Ihr Team weiterhin die ihm vertraute Software verwenden kann, anstatt sich mit einer oft überwältigenden BI-Tool-Schnittstelle herumschlagen zu müssen.

Reverse ETL ist eine skalierbare Lösung, die mit Ihren Anforderungen wachsen kann und gleichzeitig wartbar bleibt. Als solches wird es schnell zur Lösung der Wahl für die kanalübergreifende Verwaltung von Daten.

Nächste Schritte zur Implementierung Ihres Reverse-ETL-Modells

Um datengesteuerte Entscheidungen zu treffen, benötigen Sie die richtigen Daten im richtigen Format zur richtigen Zeit, und Reverse ETL erfüllt die meisten Kriterien.

Durch die Integration eines Reverse-ETL-Systems können Sie den Prozess automatisieren, saubere und gebrauchsfertige Daten aus Ihren Quellsystemen in nachgelagerte Analyse- und BI-Tools zu übertragen. Dadurch können Sie die Entscheidungsfindung verbessern und schneller als je zuvor mehr Erkenntnisse aus Ihren Daten gewinnen.

Wenn Sie nach einer Reverse-ETL-Lösung suchen, die Ihren individuellen Anforderungen entspricht, hilft Ihnen unser Team bei Improvado gerne weiter. Wir helfen Ihnen beim Erstellen eines Modells und bringen Sie zum Laufen, damit Sie heute bessere und schnellere datengestützte Entscheidungen treffen können.