Przebiegi testowe

Automatyzowane testowanie stanowi ważne narzędzie w zapewnieniu jakości oprogramowania. Aby zdefiniować i sprawdzić powtarzalne scenariusze testowe, system oferuje różnorodne możliwości. Wydajność interaktywnych przebiegów oraz zachowanie systemu przy dużej liczbie użytkowników można zbadać przy użyciu mechanizmów rejestrowania serwera webowego wbudowanego. Powtarzalne testy funkcjonalne aplikacji mogą być przeprowadzane za pomocą Przebiegów testowych. W ramach tych przebiegów wyróżnia się dwa rodzaje sprawdzeń. Z jednej strony może zostać przewidziana przez dewelopera konkretna testowa akcja dla aplikacji. Z drugiej strony dostępne są ogólne testowe akcje, które są udostępnione dla wszystkich aplikacji:

• Aplikacje muszą zostać możliwe do wygenerowania
• Inicjalizacja aplikacji musi być możliwa
• Aplikacja musi być możliwa do wywołania z zdefiniowanymi parametrami przekazania
• Aplikacje muszą być możliwe do zakończenia
  Przebiegi testowe obejmują ustalenie, które aplikacje i które testowe akcje mają zostać wykonane. Testowe akcje mogą zawierać parametry, np. liczbę przebiegów dla kroku testowego. Przebiegi testowe są obiektami deweloperskimi i mogą być zdefiniowane w aplikacji Obiekty deweloperskie

Grupa docelowa

• Deweloperzy
• Konsultanci techniczni
• Administratorzy

Definicje

Przebieg testowy — definicja testowego przebiegu, w którym dla różnych aplikacji wykonuje się poszczególne testowe akcje.

Testowa akcja — definicja kroku testowego dla aplikacji, włącznie z niezbędnymi parametrami. Rozróżnia się ogólne testowe akcje oraz aplikacje-specyficzne testowe akcje.

Krok testowy — wynik wykonania testowej akcji. Wraz z komunikatami, ostrzeżeniami i błędami, może być rejestrowany czas i wykorzystanie pamięci.

Testowe protokoły — westawienie wykonania przebiegu testowego, zawierające czas wykonania, łączną liczbę komunikatów, błędów i ostrzeżeń

Generyczny przebieg testowy — zawiera jedynie ogólne testowe akcje i w definicji jedynie nazwę przestrzeni nazw bez specyfikacji aplikacji. Przy wykonaniu takiego przebiegu uwzględniane są wszystkie aplikacje, których przestrzeń nazw zawiera się pod określoną nazwą.

Generyczna testowa akcja — ogólnie zdefiniowana testowa akcja, dostępna bez dodatkowej parametryzacji i bez programowania dla wszystkich aplikacji

Opis aplikacji

W aplikacji Przebiegi testowe możliwe jest wykonanie przebiegu testowego oraz analiza wyników wykonania dla każdego wykonanego kroku testowego. Dodatkowo dostępne są protokoły przebiegów wcześniejszych jako informacje porównawcze i mogą być one usuwane.

Identyfikacja

W obszarze identyfikacji definiuje się nazwę przebiegu testowego oraz jego opis.

• W polu Przebieg testowy wprowadza się nazwę przebiegu testowego
• Pole Oznaczenie: zaleca się, by zawierało wyjaśnienie tego, co przebieg testowy wykonuje lub do czego jest przeznaczony

Obszar roboczy

Obszar roboczy składa się z dwóch zakładek:

• Aktualny protokół
• Protokoły

Zakładka Aktualny protokół

Na zakładce Aktualny protokół wyświetlany jest bieżący protokół. Zawartość zależy od tego, czy przebieg testowy został pomyślnie wykonany czy nie. Są widoczne dwa pola i tabela. Pola zawierają wartości tylko wtedy, gdy w aplikacji został wykonany test. Dostępne pola:

Oznaczenie – opis wprowadzony przy uruchomieniu przebiegu testowego

Protokołuj zużycie pamięci – wskazuje, czy podczas przebiegu testowego zostało protokołowane zużycie pamięci

Tabela z krokami testowymi:

W tabeli znajdują się cztery kolumny z krokami testu. Pierwsza kolumna zawiera prawidłowe wartości już po załadowaniu testu. Wszystkie pozostałe kolumny są wypełniane dopiero po przeprowadzeniu testu.

Etap testowy — w tej kolumnie kroki testowe są wcięte hierarchicznie. Pierwszy poziom definiuje przebieg testowy, drugi poziom zawiera nazwy testowanych lub testowanych aplikacji, trzeci poziom to same testy, kolejne poziomy służą grupowaniu przez dewelopera.

Okres — pokazuje czas, jaki krok testowy zajął

Błąd — pokazuje liczbę komunikatów błędów w trakcie kroku testowego

Ostrzeżenia — pokazuje liczbę ostrzeżeń w trakcie kroku testoweg

Opcjonalnie można wyświetlić dodatkowe kolumny przy pomocy menu kontekstowego, np.:

Ważność — pokazuje znaczenie kroku (np. całego przebiegu testowego, przygotowania, sprawdzenia, sprzątania, interfejsu użytkownika, zużycia pamięci)

Okres skumulowany — skumulowany czas — czas kroku testowego oraz wszystkich podległych poziomów

Pamięć — zużycie pamięci tego kroku testowego

Skumulowane zużycie pamięci — skumulowane zużycie pamięci

Informacje — czba komunikatów informacyjnych w trakcie kroku testowego

Jeśli przeprowadzono przebieg testowy, dla tabeli dostępne są różne akcje:

• Szczegóły
• Tylko błędne
• Wydanie szczegółowych komunikatów o błędach do pliku

Szczegóły — pozwala na wyświetlenie bardziej szczegółowego podziału testów

Tylko błędne — pozwala na ustalenie, czy wyświetlane są wszystkie testy lub tylko te, w których wystąpiły błędy

Wydanie szczegółowych komunikatów o błędach do pliku — generuje plik XLS z wszystkimi komunikatami występującymi w przebiegu testowym, w rozszerzonej formie – zawierający także nazwę techniczną aplikacji, odpowiedzialną osobę oraz inne dane.

Zakładka Protokoły

Na tej zakładce wyświetlane są dotychczasowe protokoły dla bieżącego przebiegu testu. Zawartość prezentowana jest w tabeli zawierającej następujące kolumny:

Data — wyświetla datę wykonania przebiegu testu

Użytkownik — użytkownik, który wykonał przebieg testu

Oznaczenie — wyświetla opis podany na początku przebiegu testu

Okres — wyświetla czas trwania przebiegu testu

Błąd — liczba komunikatów błędów wygenerowanych podczas przebiegu testu

Ostrzeżenia — liczba komunikatów ostrzegawczych wygenerowanych podczas przebiegu testu

Po otwarciu menu kontekstowego nad nagłówkami tabeli dostępne są dodatkowe kolumny:

Pamięć — wyświetla zużycie pamięci podczas przebiegu testu

Informacje — wyświetla liczbę komunikatów informacyjnych wygenerowanych podczas przebiegu testu

Dla tabeli dostępne są dwie akcje:

• Aktualizuj — aktualizuje zawartość tabeli z protokołami
• Usuń — usuwa protokoły powiązane z wybranymi wierszami

Okno dialogowe

Po wybraniu przycisku [Wykonaj test] wyświetlane jest okno dialogowe, w którym można określić dodatkowe informacje dotyczące przebiegu testu.

Oznaczenie — umożliwia zapisanie szczególnych warunków przebiegu testu. Ułatwia to późniejsze odtworzenie tych warunków. Jako wartość domyślna wykorzystywane są informacje o Comarch ERP Enterprise, Java Runtime Environment oraz systemie operacyjnym SAS.

Protokołuj zużycie pamięci — określa, czy zużycie pamięci ma być mierzone podczas przebiegu testu

Konfiguracja

Aplikacja Przebiegi testowe nie wymaga dodatkowych ustwień w aplikacji Konfiguracja.

Uprawnienia

Comarch ERP Enterprise wykorzystuje wielopoziomowy model nadawania uprawnień. Uprawnienia mogą być definiowane na różnych poziomach:

• na poziomie obszarów i aplikacji (np. otwieranie aplikacji),

• na poziomie jednostek biznesowych (np. tworzenie lub zapis przebiegu testowego),

Dla niektórych aplikacji opracowano specjalne prawa dostępu, odnoszące się do określonych akcji i funkcji. Również dla tych praw dostępów mogą być nadawane odpowiednie uprawnienia. Przykładowo, dla specjalnego prawa dostępu umożliwiającego wydanie zamówienia możliwe jest nadanie właściwej autoryzacji. Model nadawania uprawnień oraz ogólne uprawnienia aplikacyjne i jednostki biznesowe opisane są w artykule Uprawnienia.

Dla ustaleń dotyczących autoryzacji w aplikacji Przebiegi testowe istotna jest następująca jednostka biznesowa:
com.cisag.sys.tools.testsuite.obj.TestSuite

Element ten określa, który przebieg testu może zostać załadowany, a tym samym również wykonany

Instrukcja

Poniżej opisano sposób pracy z aplikacją Przebiegi testowe

• Wyświetlanie komunikatów etapu testu
• Pokaż szczegóły
• Wydanie szczegółowych komunikatów o błędach do pliku
• Aktualizuj protokół
• Usuń protokół

Wyświetlanie komunikatów etapu testu

Wymagania wstępne

Wymagane jest wykonanie przebiegu testu.

Instrukcja

1. Przewinąć tabelę, aż do wyświetlenia odpowiedniego kroku testowego.
2. Wybrać krok testowy dwuklikiem.
3. Wszystkie komunikaty dotyczące kroku testowego zostaną przedstawione w karcie komunikaty.
4. Najpoważniejszy komunikat pojawi się również w pasku statusu. Jeśli wśród komunikatów znajduje się błąd krytyczny, także zostanie tam wyświetlony.
5. Przełączyć widok na kartę komunikaty.

Pokaż szczegóły

Wymagania wstępne

Wymagane jest wykonanie przebiegu testu.

Instrukcja

Wybrać przycisk [Szczegóły] znajdujący się nad tabelą kroków testowych.

Wydanie szczegółowych komunikatów o błędach do pliku

Wymagania wstępne

Wymagane jest wykonanie przebiegu testu.

Instrukcja

1. Wybrać przycisk [Wydanie szczegółowych komunikatów o błędach do pliku].

2. Tworzony jest plik w formacie CSV, który można zapisać lub otworzyć.

3. Plik można edytować w dowolnym narzędziu.

Aktualizuj protokół

Wymagania wstępne

Wymagane jest, aby przebieg testu był wczytany.

Instrukcja

1. Otworzyć zakładkę Protokoły

2. Wybrać przycisk [Aktualizuj] nad tabelą.

3. Tabela z protokołami zostaje zaktualizowana.

Usuń protokół

Wymagania wstępne

Wymagane jest, aby przebieg testu był wczytany.

Instrukcja

1. Otworzyć zakładkę Protokoły.
2. Zaznaczyć wiersze przeznaczone do usunięcia.
3. Wybrać przycisk [Usuń] nad tabelą.
4. Wybrane wiersze zostają usunięte, a tabela z protokołami zostaje zaktualizowana.

Akcja: Wykonaj test

1. Wczytać przebieg testu.

2. Tabela kroków testowych zostaje wypełniona.

3. Wybrać przycisk [Wykonaj test].

4. Wyświetlany jest dialog umożliwiający wprowadzenie dodatkowych parametrów przebiegu testu.

5. Zamknąć okno dialogowe wybierając przycisk [OK].

6. Przebieg testu zostaje wykonany. W zależności od liczby kroków testowych proces może potrwać kilka minut.

7. Tabela kroków testowych zostaje zaktualizowana.