Moduł Administracja składa się z 2 podstawowych części: Katalogu logów i Ustawień. Opis tych dwóch podmodułów znajduje się w poniższych podrozdziałach.

Ustawienia aplikacji

W module Ustawienia znajdują się wszystkie ustawienia aplikacji, które muszą zostać odpowiednio skonfigurowane dla poprawnego działania aplikacji, prawidłowego przebiegu procesu ETL i administracji tym procesem.

Niektóre z ustawień są dostępne dla użytkownika jedynie w trybie „tylko do odczytu”, inne podlegają modyfikacjom. Po dokonaniu zmian muszą one zostać każdorazowo potwierdzone przyciskiem Zapisz.

W grupie Baza OLAP w polach Nazwa bazy oraz Nazwa serwera przechowywane są parametry serwera analitycznego, te dane są edytowalne przez użytkownika. Kolejna grupa – Bazy SQL przechowuje informacje o nazwach baz hurtowni. Dane w tej grupie są nieedytowalne.

Kolejna grupa parametrów w ustawieniach to Inne. Tutaj przechowywana jest informacja o użytkowniku stworzonym podczas instalacji oprogramowania z prawami zapisu oraz jego hasło. Dane te przechowywane są kolejno w polach Użytkownik z prawami zapisu oraz hasło dla użytkownika z prawami zapisu. Wszystkie te dane są edytowalne.

Dwie grupy (Wysyłka raportów, Wysyłka raportów – SMTP) są uzupełniane w trakcie tworzenia hurtowni w kreatorze, odpowiednio w kroku konfiguracji serwera raportów oraz w kroku konfiguracji serwera SMTP.

W grupie „Wysyłka raportów’” zapisane są informacje na temat konfiguracji automatu wysyłającego maile z wykonania transformacji. Pierwsze pole to wskazanie odbiorców raportu – konta mailowe użytkowników do których raport z transformacji będzie wysyłany. Parametr „Automatycznie wysyłaj raporty ETL po każdej transformacji” aktywuje lub wyłącza usługę powiadomień o przebiegu przetwarzania. Pole „Ścieżka raportu”, które określa lokalizację raportu na serwerze Reporting Services. Ostatnie pole „Typ serwisu pocztowego” umożliwia wybór serwisu pocztowego, do wyboru jest SMTP, Gmail bądź MsGraph.

Są tutaj także zapisane informacje o wysyłaniu raportów z Data Quality. W polu „adres odbiorcy raportuDQ” należy wskazać adresy e-mail użytkowników, którzy mają otrzymać taki raport. Parametr „Automatycznie wysyłaj raporty DQ po każdej transformacji” aktywuje lub wyłącza usługę wysyłania raportów DQ po każdej transformacji. Do wysyłania raportu konieczne jest wcześniejsze skonfigurowanie serwisu subskrypcji i konfiguracja serwera SMTP.

Obszar „Wysyłka raportów – Gmail” umożliwia autoryzację przy pomocy konta Google oraz użycie danych pochodzących z konsoli Google Cloud. W formularzu należy uzupełnić:

• Gmail – Email konta serwisowego
• Gmail – Email użytkownika
• Gmail – ID klucza prywatnego
• Gmail – ID konta serwisowego
• Gmail – ID projektu
• Gmail – Klucz prywatny

Dane te można uzyskać po utworzeniu projektu oraz wygenerowaniu danych serwisowych (service account) w Google Cloud Console.

Obszar „Wysyłka raportów – MS Graph” pozwala na integrację z usługą Microsoft Graph –  umożliwia wysyłanie wiadomości przez konta Microsoft 365.

Wymagane dane pochodzą z portalu Microsoft Entra (Azure AD):

• Identyfikator klienta (Client Id)
• Sekret klienta (Client Secret)
• Identyfikator wysyłającego użytkownika (Object ID użytkownika)
• Identyfikator organizacji (Tenant Id)

Obszar „Wysyłka raportów – SMTP” przechowuje ustawienia serwera SMTP wykorzystywanego podczas wysyłania maili z raportu ETL.

Katalog logów

Podmoduł „Katalog logów” służy do przeglądania logów z transformacji ETL. Istnieją różnorodne sposoby filtrowania logów – tak, aby dotrzeć do poszukiwanego. I tak logi można filtrować po:

• dacie transformacji
• typie transformacji: transformacja nocna – uruchamiana w nocy automatycznie o zdefiniowanej wcześniej godzinie, transformacja użytkownika – uruchamiana „ręcznie” przez użytkownika
• użytkowniku, który uruchamiał proces ETL
• TID (Transformation ID) – bezpośrednie przejście do danej transformacji, jeśli znany jest jej identyfikator

Jak widać powyżej pojedyncze transformacje oznaczane są trzema kolorami – zielonym, kiedy transformacja przebiegła prawidłowo, czerwonym, kiedy podczas transformacji wystąpiły błędy oraz białym jeśli proces transformacji został wstrzymany.

Przeglądanie loga transformacji zostanie omówione na przykładzie transformacji, która została wcześniej uruchomiona. Przebieg transformacji widoczny jest poniżej.

Dla każdego importowanego wymiaru lub faktu, a także procedur użytkownika wykonanych przed i po danym wymiarze/fakcie logowane są ilości wierszy:

• Odczytanych ze źródła – R(read)
• Wczytanych do hurtowni danych – I(inserted)
• Zmienionych w hurtowni danych – U(updated)
• Usuniętych z hurtowni danych – D(deleted)
• Błędnych – E(Error)

Jak można zauważyć logowany jest również czas importu poszczególnych wymiarów/faktów, czas wykonania się procedur użytkownika, podany jest również czas przebiegu całej transformacji.

Błędy przy imporcie danych:

Poniżej przedstawiono przykładową sytuację wystąpienia błędu w czasie importu danych w procesie ETL. Kiedy przy transformacji z jakiegoś powodu pojawia się błąd jest on oznaczany czerwoną ikonką z wykrzyknikiem. Poprzez naciśnięcie prawego przycisku myszy na linii z komunikatem błędu i potwierdzenie opcji „Pokaż pełną treść komunikatu” można uzyskać dostęp do okna Komunikatu –gdzie dokładnie opisana jest przyczyna zaistniałego błędu. Komunikat jest na tyle jasny, że administratorowi procesu ETL pozwala w łatwy sposób usunąć przyczynę błędu.

Wiersze błędne:

Kiedy w czasie transformacji ETL część importowanych wierszy zostanie zalogowana jako błędne (Error) istnieje możliwość podejrzenia przyczyny błędu. W tym celu w logu transformacji należy kliknąć prawym przyciskiem myszy na wiersz zawierający informacje o zaczytywanych wierszach i potwierdzić opcję Pokarz rezultat importu. Udostępnione zostanie okno loga wierszy błędnych.

Z pola wyboru należy wybrać typ błędu, po którym dokonany będzie filtr błędnych wierszy. Do dokonaniu takiego filtrowania wyświetlona zostanie lista wierszy błędnych, które nie zostały zaimportowane do hurtowni danych właśnie z powodu wybranego na filtrze błędu.

Paczki/pakiety równoległe – wykres Gantta

Wykres na zakładce monitor wydajności przedstawia graficznie przebieg transformacji. Aktualnie proces ETL wykorzystuje dwa wątki procesora, dzięki temu jednocześnie mogą przetwarzać się dwa wymiary lub fakty – to z kolei w przypadku dobrych konfiguracji przekłada się na skrócenie czasu wykonywania transformacji.

Po najechaniu kursorem na wykres pojawi się informacja o nazwach wykonywanych pakietów i czasie rozpoczęcia ich przetwarzania. Wykres jest interaktywny, powiązany z logiem tekstowym. Po podwójnym kliknięciu na dowolny pakiet na wykresie, dany pakiet zostanie także rozwinięty i zaznaczony na logu tekstowym. Również podwójne kliknięcie na pakiet w logu tekstowym wyfiltruje go na wykresie.

Wykres można przybliżać przytrzymując przycisk Shift i zaznaczając wybrany obszar, bądź przy użyciu rolki myszy. W celu oddalenia wykresu należy kliknąć prawym przyciskiem myszy na wykres.

Wyszukiwarka elementów loga

W celu usprawnienia pracy z nowym logiem została dodana wyszukiwarka elementów loga. Wyszukiwarkę można włączyć klikając na ikonę    bądź poprzez kombinację przycisków Ctrl+F. Po jej wybraniu pojawi się poniższe okno z  możliwością wpisania poszukiwanej frazy: