Reverse ETL: podejmowanie decyzji na podstawie danych dotyczących zasilania na każdym etapie

ETL, czyli wyodrębnianie, przekształcanie, ładowanie, to proces potokowy analizy danych, który obejmuje trzy etapy pozyskiwania, czyszczenia i ładowania danych do repozytorium, do którego można uzyskać dostęp i zoperacjonalizować.

A gdyby tak można było odwrócić ETL? Oznacza to, że wspomaganie podejmowania decyzji na każdym etapie procesu przy użyciu danych zebranych ze źródła.

Chociaż w architekturze danych zawsze będą występować nieprawidłowości i luki w zabezpieczeniach, odwrotne ETL jest najlepszym sposobem na zapewnienie, że wszyscy pracują na tych samych informacjach, a liczby raportów są dokładne i dokładniej przewidują wyniki firmy.

Ten przewodnik pomoże Ci zrozumieć odwrotne ETL, dlaczego jest to pomocne, a także codzienne przypadki użycia.

Kluczowe dania na wynos

• Reverse ETL umożliwia zautomatyzowanie procesu pobierania czystych i gotowych do użycia danych z systemów źródłowych do dalszych narzędzi analitycznych i BI.
• Użyj odwróconego ETL, aby poprawić wydajność, elastyczność, widoczność i spójność przy jednoczesnej operacjonalizacji danych.
• Skorzystaj z dedykowanych narzędzi odwróconego ETL i odejdź od zawodnych (i kosztownych) niestandardowych rozwiązań lub wyczerpującej automatyzacji punkt-punkt.

Co to jest odwrócony ETL?

Reverse ETL to praktyka synchronizowania danych ze źródła prawdy, zazwyczaj hurtowni danych lub jeziora danych, bezpośrednio z różnymi aplikacjami biznesowymi, takimi jak CRM, platformy reklamowe, systemy ERP i wiele innych.

Aby lepiej zrozumieć tę koncepcję, oto krótkie przypomnienie o systemach ETL i ELT oraz o tym, jak odwrócona ETL jest inna.

ETL, ELT i odwrotny ETL to potoki danych. Przenoszą dane z systemu A do systemu B, stosując po drodze transformacje danych. „E” to „wyciąg”, „T” to „transformacja”, a „L” to „obciążenie”. Konkretnie:

• ETL polega na wyodrębnianiu danych z jednego lub większej liczby źródeł i przekształcaniu ich do formatu, który można załadować do systemu docelowego.
• ELT to podobny proces, który odwraca kolejność kroków Transform i Load. Dane są najpierw ładowane do systemu docelowego, a następnie przekształcane w celu dopasowania do wymagań tego systemu.
• Reverse ETL odwraca kolejność kroków Extract i Load. Dane są pobierane z systemu źródłowego i ładowane bezpośrednio do systemu docelowego bez przekształcania.

Reverse ETL eliminuje potrzebę pośredniego etapu transformacji, co pozwala zaoszczędzić czas i zasoby. Oznacza to jednak również, że dane mogą nie być kompatybilne z systemem docelowym i mogą wymagać dalszego przetwarzania, zanim będzie można ich użyć.

W rezultacie odwrócony ETL doskonale sprawdza się w sytuacjach, gdy systemy źródłowe i docelowe są bardzo podobne lub gdy nie ma potrzeby przekształcania danych.

Korzyści z integracji odwróconego ETL

Narzędzia odwróconego ETL wykorzystują tak zwane podejście hub-and-spoke. Oznacza to, że możesz używać hurtowni danych dla wszystkich połączeń wychodzących. Twoje narzędzia biznesowe mogą pobierać dane z tego samego zaufanego źródła, unikając potencjalnych różnic między wieloma integracjami typu punkt-punkt.

Oto kilka zalet odwróconego ETL:

• Operacjonalizacja danych: przekazywanie danych do każdej „szprychy” w stosie technologicznym umożliwia zespołowi przekształcenie abstrakcyjnych informacji w coś konkretnego i mierzalnego.
• Spójność danych: pozyskując dane z ujednoliconego źródła, możesz mieć pewność, że wszyscy pracują na tych samych informacjach. Dostęp do scentralizowanych danych ma kluczowe znaczenie dla zespołów sprzedaży i marketingu, które potrzebują dokładnych raportów do prognozowania wyników firmy.
• Większa wydajność: Właściwa implementacja odwróconego ETL pozwoli zaoszczędzić czas i zasoby, eliminując potrzebę pośredniego etapu transformacji, szczególnie w przypadku zespołu danych. Wszystkie połączenia API integrują się z hurtownią, więc nie musisz się martwić wewnętrznym tworzeniem lub utrzymywaniem niestandardowego kodu. W ten sposób odwrócony ETL pozwala Twojemu zespołowi ds. danych skoncentrować się na pracy o wysokiej wartości.
• Większa elastyczność: dzięki odwrotnemu procesowi ETL możesz wybrać, które dane mają być synchronizowane i kiedy, co pozwala w razie potrzeby łatwo dodawać lub usuwać aplikacje z procesu odwrotnego ETL.
• Większa widoczność: Reverse ETL zapewnia pełny obraz przepływu danych, ułatwiając wykrywanie potencjalnych błędów lub obszarów wymagających poprawy.
• Spójność narzędzi: wysyłając przekształcone dane bezpośrednio do aplikacji biznesowych, użytkownicy mogą pozostać w swoim natywnym narzędziu, z którego wygodniej korzystają w porównaniu z narzędziem BI.

Przypadki użycia odwróconego ETL

Teraz, gdy omówiliśmy zalety odwróconego ETL, przyjrzyjmy się niektórym konkretnym przypadkom użycia, w których ten framework jest skuteczny.

Wgrywanie danych klientów do CRM

W tym scenariuszu wydobywasz dane z systemów wewnętrznych, na przykład z narzędzia ERP, finansów lub zarządzania zamówieniami.

Dane te są następnie ładowane do systemu CRM, dzięki czemu zespoły sprzedaży i marketingu mogą uzyskać dostęp do informacji o klientach w jednej centralnej lokalizacji. Nie musisz przekształcać danych, ponieważ są już w zgodnym formacie.

Synchronizowanie danych między dwoma podobnymi systemami

Ten przypadek użycia jest podobny do powyższego, ale oba systemy niekoniecznie są kompatybilne. Może być konieczne przekształcenie danych do systemu docelowego przed jego załadowaniem. Na przykład może być konieczne przekonwertowanie danych z formatu CSV na JSON.

Migracja danych do nowego systemu

Możesz przejść z lokalnej hurtowni danych do rozwiązania opartego na chmurze lub zmienić systemy CRM. Niezależnie od przypadku, możesz skonfigurować odwrotny transfer ETL do danych.

Taka integracja pozwoliłaby uniknąć konieczności ręcznego przesyłania danych lub pisania niestandardowych skryptów. Pamiętaj, że może być konieczne przekształcenie danych w celu dopasowania do wymagań nowego systemu.

Tworzenie kopii zapasowej

Zarządzanie kopiami zapasowymi to codzienny przypadek użycia odwrotnego ETL. Dane są pobierane z systemu źródłowego i ładowane do systemu zapasowego. Nie musisz przekształcać danych, ponieważ nie jest to wymagane do niczego innego niż tworzenie kopii zapasowych.

Jak odwrócony ETL pasuje do nowoczesnego stosu danych

Zastosowania operacjonalizacji danych za pomocą odwróconego ETL są nieograniczone. Przyjrzyjmy się trzem przykładom użycia odwróconego ETL w stosie danych.

Synchronizuj dane z CRM dla swojego zespołu sprzedaży

Narzędzia CRM, takie jak Salesforce, mają całkiem dobre, gotowe do użycia rozwiązania do raportowania i zwykle są miejscem, w którym Twój zespół sprzedaży spędza większość czasu.

Nadal będziesz wyodrębniać i ładować surowe dane Salesforce w swoim magazynie, łącząc je z innymi danymi firmy, aby tworzyć niestandardowe metryki w zwykłym potoku ETL/ELT.

Możesz jednak użyć narzędzia odwrotnego ETL, aby zsynchronizować nowe, dostosowane dane i metryki z magazynu do CRM dla zespołu sprzedaży.

Twój zespół sprzedaży nadal korzysta ze współdzielonej logiki magazynu, ale nie musi korzystać z osobnego narzędzia do raportowania, aby to zobaczyć. I nie muszą tworzyć niestandardowych raportów, aby dowiedzieć się, czego potrzebują.

Wykorzystaj dane klientów do kampanii marketingowych

Twój zespół marketingowy chce utworzyć segmentowaną listę klientów z hurtowni danych dla nowej kampanii marketingowej. Zamiast pisać zapytanie i eksportować dane, mogą używać odwróconego ETL do automatycznego wysyłania danych z magazynu do arkusza Google, arkusza kalkulacyjnego lub czegoś podobnego.

Zespół marketingowy może wtedy korzystać z danych w dowolny sposób i nie musi polegać na zespole inżynierów, aby uzyskać dla nich dane.

Popraw obsługę klienta dzięki danym

Obsługa klienta wykorzystuje kombinację Slacka i Zendesk do zarządzania biletami klientów. Ale co by było, gdybyś mógł wykorzystać dane z magazynu do automatycznego przekierowywania zgłoszeń do odpowiedniego agenta pomocy technicznej?

Możesz użyć odwrotnego ETL, aby monitorować dane pod kątem określonych zdarzeń, a następnie podjąć odpowiednie działania. W takim przypadku wyślesz wiadomość do Slacka, która zawiera szczegóły zgłoszenia i przypisuje je do odpowiedniego agenta pomocy technicznej.

W ten sposób zespół obsługi klienta może skupić się na rozwiązywaniu zgłoszeń, a nie na ich routingu. I możesz być pewien, że właściwy bilet trafi do właściwej osoby.

Nie ma ograniczeń co do tego, co możesz zrobić z odwróconym ETL. Kluczem jest zrozumienie, jak z niego korzystać do tworzenia kompletnego potoku danych.

Kompiluj a kupuj: jakie rozwiązanie odwróconego ETL wybrać?

Chociaż koncepcja odwróconego ETL nie jest nowa, do niedawna nie było żadnych narzędzi, które mogłyby pomóc w implementacji. Zmieniło się to wraz z pojawieniem się hurtowni danych w chmurze.

W przeszłości trzeba było stworzyć niestandardową aplikację do synchronizowania danych między kanałami. Takie przedsięwzięcie obejmowałoby odpowiedzialność za łączenie i zarządzanie API oraz projektowanie interfejsów. Co ważniejsze, musisz dbać zarówno o produkt, jak i kod.

Problem z tym podejściem polega na tym, że jeden lub dwóch inżynierów musi być dostępnych, jeśli coś pójdzie nie tak.

Innym podejściem jest próba naśladowania danych w innym narzędziu BI w ramach pulpitu nawigacyjnego; jednak dokładne dopasowanie liczb przy użyciu tej metody jest trudne.

Możesz także spróbować użyć narzędzi do automatyzacji, takich jak Zapier lub Make. Te narzędzia mogą być skuteczne w przypadku małych obciążeń — na przykład, jeśli chcesz utworzyć jednorazowy wyzwalacz. Jednak liczba tych synchronizacji szybko wzrośnie wraz z Twoimi potrzebami, co sprawi, że automatyzacja będzie niepraktyczna dla czegokolwiek więcej niż zamierzonego użycia.

W tym miejscu pojawia się narzędzie do odwróconego ETL — umożliwia zarządzanie synchronizacją danych bez konieczności stosowania niestandardowego kodu lub polegania na inżynierach.

Ograniczając zależność od innych działów, możesz działać szybciej niż w przypadku rozwiązania zbudowanego na zamówienie. Jest również łatwiejszy w użyciu i utrzymaniu, ponieważ dostawca zapewnia wsparcie i aktualizacje.

Co ważniejsze, wysyłanie przekształconych danych bezpośrednio do aplikacji biznesowych oznacza, że ​​Twój zespół może nadal korzystać z oprogramowania, które zna, zamiast zajmować się często przytłaczającym interfejsem narzędzia BI.

Reverse ETL to skalowalne rozwiązanie, które może rosnąć wraz z Twoimi potrzebami, zachowując jednocześnie możliwość utrzymania. W związku z tym szybko staje się rozwiązaniem do zarządzania danymi w wielu kanałach.

Kolejne kroki do wdrożenia modelu odwróconego ETL

Aby podejmować decyzje oparte na danych, potrzebujesz prawidłowych danych w odpowiednim formacie we właściwym czasie, a odwrócenie ETL zaznacza większość pól.

Integrując system odwróconego ETL, możesz zautomatyzować proces pobierania czystych i gotowych do użycia danych z systemów źródłowych do dalszych narzędzi analitycznych i BI. W rezultacie będziesz w stanie usprawnić podejmowanie decyzji i uzyskać więcej informacji na podstawie swoich danych szybciej niż kiedykolwiek wcześniej.

Jeśli szukasz rozwiązania odwróconego ETL, które odpowiada Twoim unikalnym potrzebom, nasz zespół w Impprovado jest tutaj, aby Ci pomóc. Pomożemy Ci zbudować model i przygotować Cię do podejmowania lepszych i szybszych decyzji opartych na danych już dziś.