Moduł Data Quality został stworzony z myślą o jeszcze łatwiejszej weryfikacji danych pomiędzy bazą XL, a bazą Olap. Dostępne reguły pozwalają na porównanie danych w różnych obszarach, kontrolę rozmiaru baz oraz weryfikację ustawień SQL Serwer.

Moduł został podzielony na dwie sekcje. Pierwsza z nich to lista reguł:

Na liście dostępne jest sześć kolumn

• Kod – numer danej reguły
• Zależności – wskazanie, które reguły są ze sobą powiązane
• Opis – opis każdej reguły
• Typ – pole określające z jakiego obszaru pochodzi dana reguła
• Poziom – czy brak spełnienia reguły jest błędem bądź tylko generuje ostrzeżenie
• Aktywna – możliwość włączenia/wyłączenia danej reguły

Pełna lista dostępnych reguł w module Data Quality:

• Statusu ETL: sprawdzenie statusu po zakończonej transformacji oraz informacja o błędnych paczkach.
• Sprawdzenie statusu procesowania bazy OLAP.
• Sprawdzenie czy rozmiar dysku pod zestaw baz dla hurtowni danych zgadza się z dokumentacją (rozdział „Wymagania sprzętowe i systemowe”).
• Pobranie i zapisanie rozmiaru bazy DW. Na Dashboardzie dla DQ może przeanalizować trend wzrostu rozmiaru bazy w czasie.
• Pobranie i zapisanie rozmiaru bazy temp. Na Dashboardzie dla DQ może przeanalizować trend wzrostu rozmiaru bazy w czasie.
• Sprawdzenie czy na bazie źródłowej jest dodany użytkownik BiWriter z uprawnieniem sys_admin. Użytkownik wykorzystywany do poprawnego działania ETL.
• Sprawdzenie czy jest włączona opcja Trust Worthy. Opcja wykorzystywana do wykonywania procedur CLR wykorzystywanych w paczkach np. dla opisów analitycznych.
• Sprawdzenie czy w niedalekiej przyszłości nie zostanie przekroczony zakres wartości kolumn Primary Key dla tabel faktów: FKT_Sprzedaz, FKT_PrzychodyKoszty, FKT_MagazynyRuchy, FKT_MagazynyStany, FKT_MagazynyZaleganie, FKT_Dekrety, FKT_Zakupy, FKT_Rabaty, FKT_Oferty.
• FKT_Sprzedaz: Sprawdzenie czy jest uzupełniony Foreign key do tabeli WYM_DokumentNumer. Sprawdzenie czy wartości nie wpadają w <nieznany> dla dokumentów.
• FKT_PlatnosciRozrachunki: Sprawdzenie czy jest uzupełniony Foreign key do tabeli WYM_DokumentNumer. Sprawdzenie czy wartości nie wpadają w <nieznany> dla dokumentów.
• FKT_PrzychodyKoszty: Sprawdzenie czy jest uzupełniony Foreign key do tabeli WYM_DokumentNumer. Sprawdzenie czy wartości nie wpadają w <nieznany> dla dokumentów.
• FKT_Sprzedaz: sprawdzenie czy kolumna z OrgID posiada unikalne wartości (nie ma zduplikowanych wierszy).
• FKT_Dekrety: sprawdzenie czy kolumna z OrgID posiada unikalne wartości (nie ma zduplikowanych wierszy).
• FKT_Sprzedaz: sprawdzenie czy z bazy DW nie zostało usuniętych więcej wpisów niż zostało dodanych.
• FKT_Sprzedaz: sprawdzanie czy liczba dokumentów w tabeli na DW zgadza się z liczbą dokumentów na źródle XL za ten sam okres czasu.
• Kostka: „Logistyka” Miara: „Sprzedaż Wartość brutto” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespójności na bazie źródłowej XL.
• Kostka: „Logistyka” Miara: „Sprzedaż Marża” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespójności na bazie źródłowej XL.
• FKT_PrzychodyKoszty: sprawdzanie czy liczba dokumentów w tabeli na DW zgadza się z liczbą dokumentów na źródle za ten sam okres czasu.
• FKT_PrzychodyKoszty: Sprawdzenie liczby dokumentów które nie mają uzupełnionego przynajmniej jednego dodatkowego wymiaru analitycznego na przynajmniej jednej pozycji.
• FKT_PlatnosciRozrachunki: sprawdzenie czy z bazy DW nie zostało usuniętych więcej wpisów niż zostało dodanych.
• FKT_PlatnosciRozrachunki: sprawdzanie czy liczba dokumentów w tabeli na DW zgadza się z liczbą dokumentów na źródle za ten sam okres czasu.
• Kostka: „Płatności” Miara: „Należność dokument” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespójności na bazie źródłowej XL.
• Kostka: „Płatności” Miara: „Zobowiązanie dokument” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespoójności na bazie źródłowej XL.
• Kostka: „Płatności” Miara: „Wpłata” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespójności na bazie źródłowej XL.
• Kostka: „Płatności” Miara: „Wypłata” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespójności na bazie źródłowej XL.
• Sprawdzenia czy ilość magazynowa stanów magazynowych dla ostatniego miesiąca zgadza się sumie z ruchów magazynowych.
• FKT_MagazynyRuchy: sprawdzanie czy liczba dokumentów w tabeli na DW zgadza się z liczbą dokumentów na źródle XL za ten sam okres czasu.
• Kostka: „Logistyka” Miara: „Mag Stany Ilość księgowa” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespoójności na bazie źródłowej XL.
• Kostka: „Księgowość” Miara: „Obroty Winien” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespójności na bazie źródłowej XL.
• Kostka: „Księgowość” Miara: „Obroty Ma” – porównanie wartości pomiędzy bazą OLAP a bazą XL. Uwaga: Błędna wartość reguły może wynikać z niespójności na bazie źródłowej XL.
• Kostka: „Księgowość” Miara: „Obroty Winien”, „Obroty Ma” Wymiar: „Konto” Atrybut: „Struktura Poziom 1” – sprawdzenie czy wartości salda wn i ma w bazie OLAP zgadzają się z wartościami na bazie XL dla kont na pierwszym poziomie dla aktualnego roku.
• FKT_ProdukcjaZP: sprawdzanie czy liczba dokumentów w tabeli na DW zgadza się z liczbą dokumentów na źródle XL za ten sam okres czasu.
• FKT_Produkcja2: sprawdzenie czy z bazy DW nie zostało usuniętych więcej wpisów niż zostało dodanych.

Drugą sekcją jest zestaw parametrów związany z regułami Data Quality.

Dostępne są cztery kolumny:

• Kod – numer danego parametru
• Nazwa – nazwa parametru
• Opis – szczegółowy opis każdego parametru
• Wartość – dopuszczalny procent różnicy wartości pomiędzy danymi w bazie XL, a bazie Olap

Pełny opis parametrów Data Quality:

• Sprzedaż: Dopuszczalny % w różnicy między wartościami XL vs BI.
• Dopuszczalny % liczby nieopisanych dokumentów.
• Należności: Dopuszczalny % w różnicy między wartościami XL vs BI.
• Zobowiązania: Dopuszczalny % w różnicy między wartościami XL vs BI.
• Wpłaty: Dopuszczalny % w różnicy między wartościami XL vs BI.
• Wypłaty: Dopuszczalny % w różnicy między wartościami XL vs BI.
• Mag Stany Ilość Magazynowa: Dopuszczalny % w różnicy między wartościami XL vs BI.
• Dopuszczalny % w różnicy między wartościami w miarach z obrotami WN XL vs BI.
• Dopuszczalny % w różnicy między wartościami w miarach z obrotami MA XL vs BI.
• Dopuszczalny % w różnicy między wartościami w miarach z obrotami MA i WN na poszczególnych kontach XL vs BI.

Po odpowiednim skonfigurowaniu modułu Data Quality istnieje możliwość wysyłania raportu prezentującego status wybranych reguł. Włączenie automatycznego wysyłania raportu, uzupełnienie listy adresatów takiego raportu w module Administracja w zakładce Ustawienia oraz stworzenie automatycznego joba SQL umożliwia otrzymanie takiego raportu, podobnie jak raportu z transformacji danych do BI. Raport wysyłany jest z odpowiednim statusem oraz podsumowaniem każdej włączonej reguły Data Quality. Po skonfigurowaniu powyższych ustawień dodawany jest także profil użytkownika wysyłającego raport z Data Quality – dostępny z poziomu SQL Management Studio -> Security -> Credentials.