Pierwsze narzędzie ETL od twórców Tableau – Project Maestro!

Nowe przedsięwzięcie, poznaliśmy na Tableau Conference 2017 w Las Vegas, gdzie twórcy Tableau zaprezentowali pierwsze narzędzie ETL , tworzone z myślą o pełnej kompleksowości Tableau. Zgodnie z informacjami producenta, narzędzie jest w ciągłej fazie rozwijania i modyfikacji, aczkolwiek już teraz, do dyspozycji mamy wersje Beta, w których możemy zorientować się jak bardzo przydatnym i intuicyjnym narzędziem okaże się Project Maestro!

Zacznijmy od krótkiej charakterystyki narzędzi ETL, jak i samej nazwy:

Procesy przerzucania danych ze źródeł do hurtowni, czyli tak zwane procesy ETL, składają się z trzech etapów:
Etap I – Ekstrakcja (Extract), czyli wydobycie danych ze źródeł. Proces ekstrakcji polega na wybraniu informacji, które mają trafić do hurtowni, a następnie pozyskaniu tych informacji z baz źródłowych.
Etap II – Transformacja (Transform), czyli dostosowanie treści i formatu danych do potrzeb hurtowni. Na transformację danych składają się wszelkie operacje dostosowujące treść i format danych do potrzeb hurtowni, ponad to zanim dane trafią do hurtowni muszą zostać oczyszczone, zintegrowane i odwzorowane.
Etap III – Ładowanie (Load), czyli wstawienie danych do hurtowni. Ładowanie danych do hurtowni to problem przede wszystkim techniczny.
Bardzo często proces ETL nazywany jest także procesem integracji danych, a terminy związane z ekstrakcją, transformacją i ładowaniem danych to: migracje danych, zarządzanie danymi, czyszczenie danych, testy jakości danych, synchronizacja danych i konsolidacja danych. W większości przypadków nadrzędnym celem i korzyścią płynącą z posiadania narzędzia ETL w organizacji jest zarządzanie przepływem danych ze źródłowych systemów OLTP do hurtowni danych i zasilenie tematycznych hurtowni danych (data martów).

Project Maestro, zaoferuje szereg innowacyjności, a w tym:

Kompletny obraz danych

Trzy widoki, które umożliwią rozpatrywanie pełnego obrazu danych i ich bezpośrednią interakcję. Widoki są ze sobą ściśle skoordynowane, co oznacza, że każdy z widoków komunikuje się ze sobą i wchodzi bezpośrednio w interakcję z przepływem, profilem danych oraz za pomocą danych na poziomie wiersza. Dzięki interakcjom widoków, użytkownik będzie mógł nie tylko szybko i sprawnie naprawić problemy, z którymi może się spotkać przy przygotowywaniu danych ale także natychmiast wyświetlić wyniki dla wszystkich trzech widoków!

Zaawansowane algorytmy 

Algorytmy – automatycznie informują użytkownika o błędach i wartościach, które odstają od reszty danych, oznacza to, że Project Maestro wykorzystuje rozmytą analizę skupień do identyfikowania odchyleń, np.: naprawianie błędów w pisowni lub ustalania typu kolumny danych. Dzięki czemu można poświęcić mniej czasu na żmudne przygotowywanie danych i skupić się na ich analizie.

Integracja z Tableau

Integracja z innymi narzędziami producenta – bezproblemowe okaże się przechodzenie między przygotowywaniem danych a ich analizą. Narzędzie będzie dzieliło zarówno język jak i strukturę z innymi narzędziami producenta, czyli z : Tableau Desktop, Tableau Server czy też Tableau Online, co oznacza, że cały etap raportowania stanie się dużo szybszy i efektywny.