Proces ETL (Extract, Transformation, Loading)
Proces ETL, czyli proces zasilania hurtowni danych danymi z systemów źródłowych jest podstawową funkcjonalnością aplikacji. Na proces ETL składa się definicja zestawów parametrów ETL, konfiguracja pakietu SSIS (które to zostały opisane w poprzednich rozdziałach), jak i sam etap uruchamiania transformacji ETL. Ten etap zostanie omówiony w tym rozdziale.
Możliwe jest ręczne uruchomienie procesu ETL z poziomu Panelu Zarządzania wybierając poniższy przycisk:
Po jego wybraniu pojawi się poniższe okno:
W celu uruchomienia transformacji należy dokonać wyboru pakietu: bądź to z domyślnej lokalizacji, bądź wskazać ścieżkę dostępu do innego pakietu. Następnie należy dokonać wyboru konfiguracji pakietu, z którą pakiet ma zostać wykonany, dokonać wyboru źródła i potwierdzić przyciskiem uruchom. W tym momencie rozpocznie się wykonanie pakietu zgodnie z jego konfiguracją i zdefiniowanymi do niego parametrami.
Po zaznaczeniu opcji „Rejestruj wskaźniki wydajności” pojawi się okno konfiguracji parametrów Monitora Wydajności. Mechanizm pozwala na analizę takich wskaźników jak: zużycie procesora, zaalokowana pamięć RAM, ilość operacji I/O z podziałem na procesy potrzebne do wykonania transformacji. Po wybraniu odpowiednich parametrów zapis dokonuje się automatycznie podczas zamknięcia tego okna
Po rozpoczęciu procesu ETL, czyli naciśnięciu przycisku Uruchom w oknie Uruchamianie transformacji ETL wyświetlone zostanie okno logowania zdarzeń.
Jak można zauważyć w górnej części okna każda transformacja posiada swój unikatowy identyfikator – TID, w tym wypadku jest to 8. Przebieg każdej transformacji ETL można również prześledzić w dowolnym momencie w module: Administracja. Przy omawianiu tej funkcjonalności zostanie omówiony również sam log.
Kreator SQL Server Job
Kreator SQL Server Job pozwala na zdefiniowanie automatycznego zasilania hurtowni danych. Dodatkowo tworzony jest także krok wywołania procedury związanej z funkcjonalnością Data Quality. Tworzenie SQL Server Joba możliwe jest po wybraniu poniższego przycisku:
Na rysunku poniżej przedstawiony jest widok kreatora po jego uruchomieniu. W pierwszym kroku jesteśmy proszeni o nadanie uprawnień dla użytkownika.
Wybieramy przycisk Nowa konfiguracja i ukazuje się nowe okno, gdzie proszeni jesteśmy o podanie nazwy uprawnień jakie zostaną założone dla wpisanego poniżej użytkownika systemu Windows. Zdefiniowana nazwa zostanie użyta podczas autentykacji Windows. Klikamy przycisk Dalej przechodząc do określenia harmonogramu zadania.
Kolejny krok to podanie nazwy zadania oraz wybór konfiguracji transformacji ETL. Określamy godzinę rozpoczęcia zadania jak również schemat jego wykonania. Dostępne są trzy schematy wykonania: Codziennie, Codziennie z wyłączeniem soboty i niedzieli oraz Ręczne. Przykładowa konfiguracja widoczna jest poniżej.
Klikając przycisk „Zakończ” kończymy pracę kreatora, który w końcowym oknie powiadamia nas czy proces przebiegł poprawnie. Od tej pory na serwerze SQL dostępny będzie Job, automatycznie uruchamiający transformację ETL oraz wykonujący procedurę DQ_1000_RunDQ odkładającą dane z Data Quality w bazie log w tabeli DQ_Output.
