Automatyczny import danych

Aplikacja Automatyczny import danych zapewnia zautomatyzowany proces importu danych za pośrednictwem usługi integracji biznesowej (BIS). W tym procesie importowane są wszystkie pliki znajdujące się w folderze, a import jest powtarzany automatycznie. Powtarzanie można skonfigurować na różne sposoby.

Grupa docelowa

• Konsultanci
• Programiści
• Administratorzy

Definicje terminów

• Rozszerzalny język znaczników (XML) — XML umożliwia zapisywanie ustrukturyzowanych danych w pliku tekstowym. Język opisu umożliwia definiowanie, przesyłanie, sprawdzanie i interpretowanie danych między aplikacjami i jest szczególnie odpowiedni do wymiany danych strukturalnych. W przypadku dokumentów XML, zawartość, struktura i informacje o reprezentacji są rozdzielone. XML jest koordynowany i zdefiniowany jako standard przez W3C.
• Filtr — model danych BIS dla danej jednostki biznesowej może być bardzo obszerny. Filtr stanowi podzbiór modelu danych BIS dla określonego podmiotu gospodarczego. Określa on, które z obiektów, atrybutów i relacji podmiotu gospodarczego mają zostać uwzględnione w procesie importu lub eksportu.
• Plik błędu — dane pliku źródłowego zidentyfikowane jako nieprawidłowe są zapisywane w pliku błędów podczas importu danych w BIS. W zależności od rodzaju błędu, plik błędu może zostać poprawiony ręcznie i ponownie zaimportowany lub wczytany i przetworzony krok po kroku w aplikacji korygującej.
• Program korygujący — program korygujący to aplikacja dialogowa, która służy do interaktywnej edycji prostych plików błędów w systemie. Dla jednej jednostki biznesowej może istnieć jeden lub więcej programów korygujących. Program korygujący jest aplikacją odnoszącą się do określonej jednostki biznesowej (takiej jak aplikacja Partnerzy dla jednostki biznesowej com.cisag.app.general.obj.Partner), która jest otwierana w trybie specjalnym. W tym trybie instancje jednostki biznesowej z pliku błędu mogą być otwierane indywidualnie, przetwarzane interaktywnie i zapisywane.
• Plik źródłowy — plik źródłowy to plik, który jest odczytywany podczas importowania danych do BIS. Plik źródłowy zawsze zawiera tylko dane dla jednej kategorii jednostek biznesowych. W przypadku niektórych typów plików dane do zaimportowania mogą być rozproszone w kilku plikach źródłowych. W takim przypadku jeden z tych plików źródłowych jest głównym plikiem źródłowym, a pozostałe są połączonymi plikami źródłowymi. Podczas procesu importu główny plik źródłowy i połączone pliki źródłowe są łączone w celu utworzenia nowego pliku, który jest używany do wykonania rzeczywistego importu. Wszelkie dane z pliku źródłowego, których nie można pomyślnie zaimportować, są zapisywane w pliku błędów wraz z powiązanymi komunikatami o błędach.

Opis funkcji

Podczas korzystania z aplikacji Automatyczny import danych wszystkie pliki są automatycznie importowane z określonego folderu i/lub jednego lub kilku podfolderów. W tym rozdziale opisano funkcje automatycznego importu danych.

Struktura folderów i typy plików

Automatyczny import danych wykorzystuje dowolnie wybrany folder źródłowy w Knowledge Store lub w systemie plików, z którego importowane są pliki. Pliki mogą znajdować się bezpośrednio w folderze źródłowym lub w jednym lub kilku podfolderach. Pliki błędów są przechowywane w podfolderze Errors folderu źródłowego lub odpowiedniego podfolderu.

Automatyczny import danych obejmuje wszystkie typy plików obsługiwane przez BIS. Typ pliku jest identyfikowany na podstawie jego rozszerzenia. Można zidentyfikować następujące rozszerzenia plików:

• .xml (XML)
• .xls (tekst Unicode)
• .csv (tekst)

Pliki tych typów mogą być również skompresowane w formacie GZIP – wówczas muszą zawierać następujące rozszerzenia:

• .xml.gz
• .xls.gz
• .csv.gz

Rozszerzenia plików nie uwzględniają wielkości liter.

Podczas importu pliki niedostępne w formacie XML są konwertowane na pliki XML. Te nowe pliki otrzymują rozszerzenie .converted.xml dodane jako nazwa pliku. Jeśli import nie powiedzie się, mogą one nie zostać usunięte. Podczas automatycznego importu pliki z tym rozszerzeniem nazwy pliku będą ignorowane.

W przypadku plików typu Tekst możesz dokonać dalszych ustawień formatu, które mają zastosowanie do wszystkich plików tego typu.

Jednostki biznesowe i filtry

W zależności od wybranej struktury folderów możliwe jest zaimportowanie danych jednej jednostki biznesowej, przy czym jednostka biznesowa jest określana w aplikacji, lub kilku jednostek biznesowych, przy czym jednostka biznesowa jest automatycznie określana na podstawie nazwy odpowiedniego podfolderu.

Dotyczy to również zastosowanego filtra. Nazwa podfolderu będzie jednocześnie nazwą filtra, jeśli wybrana struktura folderów to Podfolder z nazwą filtra. Jeśli wybrana struktura folderów to Plik importu w folderze źródłowym i nie ustawiono żadnego filtra, wszystkie atrybuty są importowane z pliku źródłowego.

Język i format czasu są zawsze ustawione dla automatycznego importu danych. Jeśli używany jest filtr, zostaną one pobrane z filtra. Bez filtra, jako ustawienia zostaną użyte Jeden język i Forma kompaktowa.

Kontrola czasu

Automatyczny import danych odbywa się jako usługa podczas uruchamiania serwera aplikacji, jednorazowo lub okresowo jako zadanie w tle. W odniesieniu do kontroli czasu możliwe są następujące różne scenariusze:

• Usługa — automatyczny import danych w sposób ciągły ładuje dane z folderu źródłowego. Po zaimportowaniu wszystkich plików z folderu źródłowego usługa czeka przez ustawiony okres czasu przed kontynuowaniem importowania wszystkich dostępnych plików. Jako usługa, automatyczny import danych trwa do momentu jego wyraźnego zatrzymania.
• Zlecenie przetwarzania — automatyczny import danych ładuje wszystkie pliki znalezione w folderze źródłowym tylko raz lub w określonym czasie. W takim przypadku możliwe jest użycie ustawienia Utwórz wiele zleceń przetwarzania, aby określić, czy import kilku jednostek biznesowych ma być wykonywany w jednym, czy w wielu zleceniach przetwarzania. W celu zdefiniowania określonego czasu dostępne są wszystkie możliwości oferowane przez przetwarzanie w tle, w szczególności opcja serii. Seria pozwala na przykład uruchomić import w określonych godzinach dnia lub w określone dni tygodnia.
• Z dobiegiem — jako zlecenie przetwarzania automatyczny import danych może być uruchamiany z postprocessingiem, jeśli jest to konieczne. Postprocessing oznacza, że system nadal regularnie sprawdza, czy pliki zostały dodane do folderu źródłowego przez określony czas po uruchomieniu procesu importu dla tego folderu źródłowego. Pliki te również są importowane. Jest to połączenie opcji Usługa i Zlecenie przetwarzania.
  
  Uwaga

  Czas przetwarzania końcowego rozpoczyna się wraz z rozpoczęciem importowania.

W zależności od wymagań, należy wybrać najbardziej odpowiedni typ wykonania:

• Jeśli pliki muszą zostać zaimportowane bardzo szybko, należy uruchomić automatyczny import danych jako Usługę.
• Jeśli pliki mają być importowane tylko o określonych porach, należy uruchomić automatyczny import danych jako Zlecenie przetwarzania.
• Jeśli konieczne jest importowanie plików dla różnych jednostek biznesowych w zależności od siebie, należy uruchomić import jako Zlecenie przetwarzania rozpoczynające się z opóźnieniem czasowym.
• Jeśli import ma być uruchamiany na podstawie wzorca serii i jednocześnie mają być poprawiane błędy importu w odpowiednim czasie, należy ustawić okres przetwarzania końcowego. Pliki źródłowe poprawione w czasie przetwarzania końcowego są automatycznie importowane ponownie bez konieczności wykonywania dodatkowych czynności ręcznie.

Należy pamiętać, że automatyczny import danych nie może wiarygodnie wskazać, jak długo potrwa import, ponieważ do zaimportowania wszystkich plików potrzebny jest wystarczający, nieznany czas. Również przetwarzanie końcowe nie może zapewnić, że import jest kompletny po zakończeniu okresu przetwarzania końcowego.

Z technicznego punktu widzenia dla Usługi tworzone jest również Zlecenie przetwarzania, które można pobrać za pomocą aplikacji Zlecenia przetwarzania. To zlecenie musi być jednak obsługiwane inaczej niż inne zlecenia przetwarzania. Jego przetwarzanie zależy od tego, czy automatyczny import danych działa jako Usługa, czy jako Zlecenie przetwarzania.

Statusy i komunikaty

W aplikacji Zlecenia przetwarzania można wyświetlić status automatycznego importu danych:

• Automatyczny import danych jako Usługa — ma status W toku, gdy jest uruchomiony, niezależnie od tego, czy importuje, czy oczekuje
• Automatyczny import danych jako Zlecenie przetwarzania — ma status:
  • W opracowaniu, gdy import jest uruchomiony, oraz
  • Zwolniony lub Zablokowany, gdy oczekuje na kolejne wykonanie zgodnie z kontrolą czasu.

Jeśli dla automatycznego importu danych jako zlecenia przetwarzania ustawiono okres przetwarzania końcowego, status W opracowaniu jest wyświetlany przez cały czas przetwarzania końcowego.

Postęp automatycznego importu danych można sprawdzić na podstawie komunikatów dla zlecenia przetwarzania, które można również wyświetlić w aplikacji Zlecenia przetwarzania.

Zdarzenie Workflow Management com.cisag.pgm.biImportRunCompleted powiadamia o zakończeniu i wyniku importu każdego pojedynczego pliku.

Zakończ import

Aby zakończyć automatyczny import danych, postępowanie ponownie zależy od tego, czy import jest uruchamiany jako Usługa, czy jako Zlecenie przetwarzania:

• Zakończenie automatycznego importu danych jako Usługi następuje poprzez zamknięcie aktywnej aplikacji działającej w tle w zakładce Sesje systemu lub serwera aplikacji w aplikacji Panel system. Status zlecenia przetwarzania dla Usługi zmienia się wówczas na Zakończony.
• Automatyczny import danych jako Zlecenie przetwarzania z seriami można zatrzymać przed terminem, tj. mimo że elementy seryjne są nadal zaplanowane, zaznaczając automatyczny import danych w aplikacji Zlecenia przetwarzania i otwierając aktywność dla zlecenia przetwarzania. Następnie należy zakończyć działanie.

Zmiany w porównaniu z wersją 4.2

Następujące zmiany wprowadzono w automatycznym imporcie danych w porównaniu z wersją 4.2:

• Pliki do zaimportowania — nie są już identyfikowane i importowane jako plik XML niezależnie od ich rozszerzenia. Muszą mieć wspólne rozszerzenie, aby mogły zostać zaimportowane.
• Typy obsługiwanych plików — oprócz plików typu XML można importować także pliki typu Tekst lub Unicode
• Tryby działania — automatyczny import danych działa jako Usługa lub Zlecenie przetwarzania. Procedura automatycznego importu danych w wersji 4.2 i starszych odpowiada Automatycznemu importowi danych jako Usłudze od wersji 4.3.

Zmiany w porównaniu z wersją 5.0

Najważniejsze zmiany w automatycznym imporcie danych w odniesieniu do wersji 5.0:

• Import wielu jednostek biznesowych — możliwe jest importowanie plików dla wielu jednostek biznesowych. W poprzednich wersjach pliki były importowane tylko dla jednej jednostki biznesowej.
• Wielokrotne zlecenia przetwarzania — import może być realizowany za pomocą kilku zleceń przetwarzania

Opis aplikacji

Aplikacja Automatyczny import danych umożliwia tworzenie nowych automatycznych importów danych. Automatyczny import danych może być uruchamiany jako Usługa lub jako Zlecenie przetwarzania, co daje różne możliwości kontroli czasu.

Automatyczny import danych jest wykonywany przez specjalną aplikację w tle Automatyczny import danych. W przypadku automatycznego importu danych wszystkie pliki są importowane z folderu źródłowego w ramach jednej operacji importu. Pliki mogą być dostępne bezpośrednio w katalogu źródłowym lub w podkatalogu katalogu źródłowego.

Automatyczny import danych ma przypisany tryb określający, czy możliwe jest importowanie plików dla kilku jednostek biznesowych, czy tylko dla jednej jednostki biznesowej. Ustawienie to definiuje się w polu Struktura folderów.
Dostępne są następujące opcje:

• Importuj pliki w folderze źródłowym — odpowiada zachowaniu w wersji 5. Importowanie jest możliwe tylko dla jednej jednostki biznesowej, a pliki znajdują się bezpośrednio w katalogu źródłowym.
• Podfolder z nazwą filtra — tryb umożliwia importowanie kilku jednostek biznesowych. Pliki importu dla każdej jednostki biznesowej są przechowywane w podkatalogu katalogu źródłowego. Podkatalogi muszą mieć nazwę istniejącego filtra używanego do definiowania jednostki biznesowej. Pliki przechowywane bezpośrednio w folderze źródłowym nie są importowane.

Pliki są importowane w porządku chronologicznym, posortowane według typu danych, daty i URI. Typ danych jest właściwością jednostki biznesowej. Kolejność importu według typu danych jest następująca: dane podstawowe konfiguracji, dane podstawowe, dane transakcji oraz dane tymczasowe.

Import może zostać podzielony na kilka zleceń przetwarzania i w ten sposób przeprowadzony równolegle. W tym celu należy aktywować pole Utwórz wiele zleceń przetwarzania. Poszczególne pliki są importowane asynchronicznie w oddzielnym zleceniu przetwarzania. Każda zmiana typu danych jest jednak synchronizowana, co oznacza, że następny typ danych jest importowany dopiero po zakończeniu importu bieżącego typu danych.

Import obejmuje tylko pliki, których ostatnia zmiana miała miejsce przed momentem, w którym proces automatycznego importu danych określił pliki do zaimportowania (zgodnie z ustawieniami kontroli czasu).

Po zakończeniu importu pliku wyzwalane jest zdarzenie przepływu pracy ImportRunCompleted, co umożliwia kontrolowanie błędów za pośrednictwem przepływu pracy w standardowy sposób. Wszystkie pliki błędów wygenerowane przez automatyczny import danych są przechowywane w folderze Errors w folderze źródłowym. Po zakończeniu importu plik źródłowy jest usuwany, chyba że nie można wygenerować pliku błędu, mimo wystąpienia błędu. W takim przypadku plik źródłowy pozostaje w folderze źródłowym, ale jest wykluczony z dalszego importu.

Aplikacja Automatyczny import danych udostępnia pola wejściowe służące do wprowadzania danych wymaganych do automatycznego importu danych. Proces uruchamia się za pomocą akcji [Wykonaj automatyczny import danych] dostępnej na standardowym pasku narzędzi.

Pola wejściowe

Aplikacja zawiera następujące pola:

• Folder źródłowy — folder, z którego importowane są pliki.
  Należy użyć kstore://, aby określić nazwę folderu dla Knowledge Store, lub file:/// dla systemu plików serwera aplikacji.
• Struktura folderów — ustawienie określające, czy możliwe jest importowanie wielu jednostek biznesowych, czy tylko jednej jednostki biznesowej.
  Dostępne opcje:
  • Pliki importu w folderze źródłowym — działanie jak w wersji 5, import tylko jednej jednostki biznesowej
  • Podfolder z nazwą filtra — import wielu jednostek biznesowych
• Jednostka biznesowa — jednostka biznesowa, dla której wystąpienia są importowane z plików w folderze źródłowym. Import obejmuje tylko wystąpienia dla tej jednostki biznesowej; wystąpienia innych jednostek biznesowych są ignorowane podczas importu.
• Filtr — filtr dla automatycznego importu danych. Filtr musi dotyczyć jednostki biznesowej, dla której przeprowadzany jest automatyczny import danych.
  Jeżeli filtr nie zostanie określony, zostanie on użyty ze wszystkimi atrybutami, ustawieniem języka Jeden język i formatem czasu Forma kompaktowa.
• Poziom protokołowania — wskazuje, czy rejestrowanie jest aktywne podczas procesu.
  Możliwe wartości:
  • Bez protokołowania
  • Aktywowano protokołowanie
• Ostrzeżenia — sposób traktowania komunikatów z kategorii Ostrzeżenie wyświetlanych podczas importu.
  Możliwe wartości:
  • Nie potwierdzaj — komunikaty z kategorii Ostrzeżenie są traktowane jak komunikaty z kategorii Błąd, co powoduje, że dane nie są importowane i generowany jest plik błędu. Jeżeli plik błędu zostanie później otwarty w aplikacji korygującej, ostrzeżenia można potwierdzić interaktywnie.
  • Potwierdź wszystkie ostrzeżenia — komunikaty z kategorii Ostrzeżenie są traktowane jak komunikaty z kategorii Informacja i nie mają wpływu na proces importu. Nie powodują one wygenerowania pliku błędu i nie są wymieniane w plikach błędów generowanych z powodu rzeczywistych błędów.
• Utwórz wiele zleceń przetwarzania — jeżeli funkcja jest aktywna, dla importu generowanych jest kilka zleceń przetwarzania

Sekcja Wykonanie

W sekcji Wykonanie dostępne są następujące pola:

• Powtarzaj import — wskazuje typ kontroli czasu.
  Możliwe wartości:
  • Jako usługa — import jest wykonywany w sposób ciągły, przerywany wyłącznie przez zdefiniowany czas oczekiwania
  • Jako zlecenie przetwarzania — typ uruchomienia zlecenia przetwarzania określa jego wykonanie. Możliwe jest natychmiastowe uruchomienie zlecenia przetwarzania jako serii.
  • Jako zlecenie przetwarzania, z dobiegiem — ustawienie działa podobnie do opcji Jako zlecenie przetwarzania. Dodatkowo później wygenerowane lub poprawione pliki źródłowe są importowane po operacji importu przez zdefiniowany okres.
• Czas oczekiwania między operacjami importu — czas oczekiwania po zakończeniu operacji importu folderu źródłowego do rozpoczęcia następnego importu. Pole jest istotne tylko wtedy, gdy w polu Powtarzaj import wybrano ustawienie Jako usługa lub Jako zlecenie przetwarzania, z dobiegiem.
  Czas oczekiwania wynosi co najmniej jedną minutę i może być ustawiany z dokładnością do jednej minuty. Bardziej precyzyjne wartości (w sekundach) są zaokrąglane w dół.
• Czas trwania biegu końcowego — czas trwania przetwarzania końcowego. Przetwarzanie końcowe rozpoczyna się na początku importu i umożliwia dalsze importowanie w późniejszym czasie. Pole jest istotne tylko wtedy, gdy w polu Powtarzaj import wybrano ustawienie Jako zlecenie przetwarzania, z dobiegiem.

Sekcja Ustawienia formatu dla pliku typu Tekst

Pola tej grupy dotyczą tylko plików typu Tekst:

• Kodowanie — kodowanie znaków pliku źródłowego. Dostępne kodowania i domyślne zależą od wersji Java bieżącego serwera aplikacji. Jeśli import jest wykonywany w tle, należy upewnić się, że serwer aplikacji, na którym działa kolejka przetwarzania, jest w stanie wykonać określone kodowanie.
• Znak rozdziału — separatory między polami w pliku źródłowym. Można użyć tego pola, aby określić separator pliku źródłowego. Dokonując wpisu w (Inne), można samodzielnie określić separator. Domyślnie ustawiony jest przecinek.
• Znak rozpoznawczy tekstu — znak używany do zamykania wartości pól w pliku źródłowym. Separator może zawierać tylko wartości pól otoczone znakiem rozpoznawania tekstu. Podwójny odwrócony przecinek jest ustawiony domyślnie.

Działania związane z aplikacją: Wykonaj automatyczny import danych

Ta akcja uruchamia zestaw automatycznego importu danych w aplikacji. W tym celu należy utworzyć jedno lub kilka zleceń przetwarzania za pomocą tej akcji dla aplikacji działającej w tle Automatyczny import danych.

Konfiguracja

Aplikacja Automatyczny import danych nie wymaga dodatkowych ustawień w aplikacji Konfiguracja.

Jednostka biznesowa

Dla tej aplikacji nie istnieje żadna jednostka biznesowa.

Uprawnienia

Uprawnienia mogą zostać przypisane za pomocą ról uprawnień jak również poprzez przyporządkowanie organizacji. Szczegółowe informacje można znaleźć w artykule Uprawnienia.

Uprawnienia specjalne

Dla aplikacji Automatyczny import danych nie ma dostępnych uprawnień specjalnych.

Przyporządkowania organizacji

Dla aplikacji Automatyczny import danych nie są wymagane przyporządkowania organizacji.

Funkcje specjalne

Należy wziąć pod uwagę następujące funkcje specjalne w odniesieniu do aplikacji Automatyczny import danych:

• Definiowanie uprawnień — aby zdefiniować uprawnienia dla aplikacji Automatyczny import danych, wymagane są uprawnienia dla jednostki biznesowej, która ma zostać zaimportowana
• Uprawnienia do plików — aby wykonać automatyczny import danych, należy posiadać uprawnienia do odczytu i zapisu plików w folderze źródłowym, jeżeli używany jest folder w Knowledge Store

Uprawnienia dla partnerów biznesowych

Aplikacja Automatyczny import danych nie jest udostępniana partnerom biznesowym.