1. Model Remontowo-Naprawcze

Model Remontowo-Naprawcze rozpoznaje:

• niewielkiej wielkości papierowe pudełka,
• niewielkie butelki ze sprayem/dozownikiem (wąskie i wysokie)
• niewielkie, nieprzezroczyste butelki
• niewielkie plastikowe wiaderka
• niewielkie metalowe puszki (niskie i szerokie)
• niewielkie i średniej wielkości tubki

W celu rozpoznania artykułów przy użyciu modelu Remontowo-Naprawcze towary powinny być umieszczone w niżej wymieniony sposób:

• poustawiane na półkach
• w otwartych kartonikach umieszczonych na półkach
• jako pudełka w podajnikach grawitacyjnych
• w koszach zasypowych
• jako zawieszki na wieszakach
• jako zawieszki na taśmach

 

2. Model Środki czyszczące

Model Środki czyszczące rozpoznaje:

• Średniej wielkości butelki, przezroczyste i nieprzezroczyste, z dozownikiem i bez
• Duże, butelki z płynem do płukania i podobne
• Duże butelki z uchwytem typu kanister
• Średniej wielkości plastikowe pudełka z pokrywką
• Średniej wielkości, wąskie i wysokie przedmioty w kształcie walca
• Średniej wielkości nieprzezroczyste worki z kapsułkami i podobne
• Duże worki z proszkiem i podobne
• Niewielkie butelki z mydłem posiadające dozownik i podobne
• Średniej wielkości papierowe pudełka

W celu rozpoznania artykułów przy użyciu modelu Środki czyszczące towary powinny być umieszczone w niżej wymieniony sposób:

• poustawiane na półkach
• w otwartych kartonikach umieszczonych na półkach
• jako zawieszki na taśmach

1. Licencjonowanie

Każdy Klient, który wyrazi chęć przetestowania funkcjonalności dostanie darmową licencję na trzy miesiące. Okres w którym można ubiegać się o darmową testową licencję minął z końcem marca 2022 roku. Nowa funkcjonalność wykorzystuje licencję serwerową. Licencja ta powinna być dołączona do klucza, na którym dostępne są już licencje dla aplikacji Comarch Mobile. Po trzech miesiącach użytkowania dostęp do wskazanej licencji zostanie wyłączony.

2. Konfiguracja środowiska

Żeby przedstawiciel handlowy miał uprawnienie do wykorzystania Sztucznej Inteligencji w Comarch Mobile należy nadać mu w systemie Comarch ERP XL odpowiednie prawo do dowolnej roli przypisanej do pracownika. Nowe prawo nosi nazwę „Sztuczna inteligencja na raporcie obecności” i będzie dostępne w systemie ERP po aktualizacji Comarch Mobile od wersji 2022.0. Jeżeli chodzi o modele sieci neuronowej, to docelowo model detekcji będzie uniwersalny dla wszystkich Klientów. Natomiast, jeżeli chodzi o identyfikację, to Klient po opisie modeli powinien wybrać odpowiedni dla jego towarów model. W sytuacji, w której Klient uzna, że żaden z modeli nie charakteryzuje jego towarów, wówczas powinien to zgłosić poprzez System Obsługi Zgłoszeń. W rozdziale 6.1 opisana została ścieżka postępowania w przypadku wykorzystania istniejącego modelu sieci neuronowej. Pozostałe przypadki zostały opisane w rozdziałach 6.2 i 6.3. Obecne założenie mówi, że w sytuacji wykorzystania istniejącego modelu Klient nie musi wysyłać do firmy Comarch zdjęć swoich towarów. Będzie to konieczne dopiero w sytuacji, gdy obecne modele nie będą poprawnie wykrywały towarów Klienta. Poniżej przedstawiony został proces składający się z działań koniecznych do wykonania w celu wykorzystania sztucznej inteligencji w aplikacji mobilnej.

1. Zapoznanie się z opisem aktualnie dostępnych modeli sieci neuronowej oraz wybór odpowiedniego modelu.
2. Odpowiednie przygotowanie zdjęć towarów.
3. Instalacja nowej wersji aplikacji Comarch Mobile 2022.0 poprzez Auto Update.
4. Umieszczenie otrzymanej od firmy Comarch paczki o nazwie Comarch Mobile Merchandising AI na swoim serwerze.
5. Uzupełnienie pliku konfiguracyjnego dla skryptu przetwarzającego zdjęcia na ich wektorową reprezentację (wektorowa reprezentacja zdjęć jest potrzebna w celu poprawnej identyfikacji towarów w aplikacji mobilnej).
6. Restart usługi Comarch Mobile Server.
7. Przeniesienie plików z modelami na urządzenie mobilne.
8. Wykonanie synchronizacji.

3. Kompatybilne wersje systemu Comarch ERP XL

Nowa funkcjonalność w aplikacji Comarch Mobile wykorzystująca mechanizm Sztucznej Inteligencji jest dostępna w wersji 2022.0. Ta wersja aplikacji jest kompatybilna z systemem Comarch ERP XL w wersjach 2021.0, 2021.1 oraz 2022.0.  

4. Uprawnienie dla użytkownika ZARZĄDZANIE NT/SYSTEM

Należy dla użytkownika ZARZĄDZANIE NT/SYSTEM dodać dla bazy uprawnienie db_owner. Jest to potrzebne, aby skrypt do tworzenia wektorowych reprezentacji zdjęć uruchamiał się automatycznie z usługą synchronizacji.

 

5. Zapoznanie się z opisem aktualnie dostępnych modeli sieci neuronowej oraz wybór odpowiedniego modelu.

Pierwszym krokiem, jaki należy wykonać jest wybór odpowiedniego modelu. Aktualnie istniejące modele zostały opisane [tutaj]. Jeżeli asortyment oferowany przez Klienta jest zgodny z opisem aktualnie dostępnych modeli, wówczas dany model należy wykorzystać do rozpoznawania towarów w aplikacji mobilnej. W sytuacji, w której żaden opis towarów dla dostępnych modeli nie zgadza się z charakterystyką towarów Klienta, wówczas Zespół Comarch przygotuje (lub zaktualizuje) nowy model dla nowej grupy towarowej. Dokładny opis znajduje się w rozdziale 6.2.  

6. Odpowiednie przygotowanie zdjęć towarów

Zarówno w sytuacji, gdy Klient zdecyduje, że wykorzystuje aktualnie istniejący model oraz w sytuacji konieczności douczenia modelu należy przygotować odpowiednio zdjęcia towarów, które powinny być rozpoznawane na raportach obecności. Sieć neuronowa uczy się rozpoznawania obiektów na obrazach za pomocą wzorców. Im więcej zdjęć wzorcowych, tym efektywniej sieci uczą się ich właściwej identyfikacji. Sieci neuronowe potrafią również radzić sobie z danymi, których nigdy wcześniej nie widziały i do tego właśnie w naszej aplikacji chcemy dążyć. Dlatego w celu samego wykrywania opakowań na np. półkach sklepowych nie ma konieczności wysyłania zdjęć swoich towarów. Wysłanie zdjęć towarów przez Klienta do zespołu odpowiadającego za naukę sieci neuronowej będzie koniecznie dopiero w sytuacji, w której okaże się, że model należy douczyć o dane towary, gdyż nie są one poprawie wykrywane.

6.1. Wykorzystanie przez Klienta aktualnie istniejącego modelu

Pierwszym i najważniejszym krokiem, który należy wykonać i bez którego identyfikacja towarów się nie powiedzie jest odpowiednie wykonanie i pogrupowanie zdjęć towarów.

6.1.1. Wykonanie zdjęć

Zdjęcia towarów powinny być wykonane w odpowiedni sposób. Poniżej znajduje się kilka wskazówek.

1. Dostarczenie Klientowi modeli i innych potrzebnych plików do rozpoznawania towarów

Docelowo pobieranie modeli oraz wszystkich potrzebnych plików będzie możliwe poprzez program Auto Update, natomiast w aktualnej wersji aplikacji paczka z plikami zostanie dostarczona Klientowi np. poprzez zgłoszenie w Systemie Obsługi Zgłoszeń. Paczka będzie nosić nazwę Comarch Mobile Merchandising AI i powinna zostać umieszczona na serwerze, na którym zainstalowany jest Serwer synchronizacji, w tej samej lokalizacji, co lokalizacja profilu z produktem Comarch Mobile w Auto Update. Przykład poniżej.

  Udostępniona paczka będzie zawierała m.in.: wszystkie istniejące modele (każdy model w osobnym podkatalogu), skrypt do tworzenia wektorów (identyfikatorów zdjęć), plik konfiguracyjny dla skryptu i inne. Paczka zostanie udostępniona do 5 dni roboczych od momentu pojawienia się zgłoszenia.  

 

2. Uzupełnienie pliku konfiguracyjnego i utworzenie wektorów zdjęć towarów

Na tym etapie Klient powinien mieć wybrany model oraz wykonane zdjęcia towarów. W celu utworzenia wektorów dla zdjęć towarów należy odpowiednio uzupełnić plik konfiguracyjny o nazwie config.properties znajdujący się w otrzymanej od firmy Comarch paczce, która powinna zostać umieszczona w lokalizacji, w której znajduje się także folder instalacyjny Comarch Mobile - C:\Program Files (x86)\Comarch Mobile Merchandising AI\scripts. Plik konfiguracyjny na potrzeby skryptu do tworzenia identyfikatorów zdjęć posiada trzy sekcje:

6. Wymagania techniczne urządzeń

System operacyjny: Android od wersji 8.0. Pozostałe wymaganie zgodnie z dokumentacją aplikacji Comarch Mobile.

W aplikacji Comarch Mobile został wprowadzony mechanizm AI, który usprawnia pracę przedstawiciela handlowego podczas realizacji raportu obecności towarów. Rozpoznawanie towarów na półkach z wykorzystaniem tego mechanizmu polega na tym, że sieć neuronowa na podstawie bazy zdjęć uczy się towarów, aby z jak największą precyzją rozpoznawać je na półkach sklepowych. Podczas wykonywania elementu wizyty: Raport obecności towarów mechanizm sztucznej inteligencji automatycznie pozyskuje dane z półki sklepowej bez konieczności ręcznego zliczania facingu towarów. W trakcie robienia zdjęcia użytkownik w czasie rzeczywistym zobaczy wykryte na półce towary, a w kolejnym kroku podda zdjęcie identyfikacji otrzymując odpowiednie wyniki. Funkcjonalność wymaga odpowiedniego skonfigurowania środowiska (więcej informacji TUTAJ) i jest dodatkowo licencjonowana, dlatego konieczne jest wykupienie odpowiedniej liczby licencji. Jeżeli dany użytkownik będzie posiadał odpowiednią licencję umożliwiającą wykorzystanie mechanizmu, to w widoku elementu wizyty o typie Raport obecności towarów w prawym górnym rogu ekranu będzie widoczna dodatkowa ikona .

Uwaga

W systemie Comarch ERP XL konieczne jest przypisanie pracownikowi nowego prawa o nazwie [MOS] Sztuczna inteligencja na raporcie obecności

Użytkownik będzie miał wówczas dwie ścieżki uzupełniania facingu obecnych na półce towarów:

• Zliczanie ręczne
• Wykonanie zdjęć ekspozycji w celu wykorzystania mechanizmu AI

Proces rozpoznawania towarów na półce towarowej jest podzielony na dwa etapy:

1. 1. Detekcja – sprawdza, czy na danej półce znajdują się jakiekolwiek towary, więcej informacji TUTAJ
   2. Identyfikacja – identyfikuje wykryte podczas detekcji towary, więcej informacji TUTAJ

1. Wykonanie zdjęcia

Wybór ikony na raporcie obecności towarów powoduje otwarcie aparatu na urządzeniu mobilnym. Użytkownik nakierowując obiektyw na daną ekspozycję w czasie rzeczywistym zobaczy na ekranie urządzenia towary oznaczone ramkami. Ramka w kolorze zielonym oznacza poprawnie wykryte opakowanie z wysoką pewnością. Ramka w kolorze czerwonym oznacza poprawnie wykryte opakowanie z niską pewnością.

 

2. Podgląd, zatwierdzanie i odrzucanie wykonanego zdjęcia

Podgląd wykonanego zdjęcia

Po wykonaniu zdjęcia zostanie wyświetlony ekran jak poniżej ze zdjęciem z oznaczonymi ramkami.

Zatwierdzanie wykonanego zdjęcia z wykrytymi towarami

Na dole ekranu podglądu wykonanego zdjęcia wyświetlone są dwa przyciski:  

• Zatwierdź - zatwierdza zdjęcie i dodaje do raportu obecności towarów. Po zatwierdzeniu nazwa załącznika zostanie uzupełniona automatycznie datą oraz godziną wykonania zdjęcia np.: 200421_111223 (zdjęcie wykonane 20 kwietnia 2021 roku o godzinie: 11:12:23). Nazwa prezentowana jest pod miniaturą zdjęcia na raporcie obecności towarów.
• Zatwierdź i zidentyfikuj – zatwierdza zdjęcie i od razu rozpoczyna proces identyfikacji towarów na danym zdjęciu.

Odrzucanie zdjęcia po detekcji

Użytkownik ma możliwość odrzucenia zdjęcia z wykrytymi towarami przy użyciu  przed zatwierdzeniem

Uwaga

W momencie wybrania jednego z dwóch przycisków: Zatwierdź lub Zatwierdź i zidentyfikuj, gdy na zdjęciu nie zostanie oznaczony co najmniej jeden towar, wówczas wyświetlony jest komunikat: „Nie został wykryty żaden towar. Wykonaj zdjęcie ponownie.” 

3. Podgląd zdjęć po detekcji z poziomu raportu obecności

Zatwierdzenie zdjęć przyciskiem Zatwierdź na podglądzie wykonanego zdjęcia powoduje wyświetlenie ich w raporcie obecności towarów

• Zdjęcie z najwcześniejszą datą jest wyświetlane jako pierwsze.
• Pod zdjęciem prezentowana jest nazwa zdjęcia np.: 200421_111223 (zdjęcie wykonane 20 kwietnia 2021 roku o godzinie: 11:12:23).
• Pod nazwą zdjęcia jest prezentowana ikona „fajki”, która domyślnie powinna być niezaznaczona.
• Pod sekcją zdjęć, nad spisem towarów raportu prezentowany jest przycisk Identyfikuj. Przycisk pojawia się w momencie dodania pierwszego zdjęcia do raportu.

Kliknięcie w jedno ze zdjęć powoduje wyświetlenie podglądu zdjęcia Na poglądzie zdjęcia po detekcji wyświetlone zostanie:

• nazwa raportu
• podpis wskazujący na numer wykonanego zdjęcia i liczbę zdjęć: Zdjęcia (nr_zdjęcia/liczba_wykonanych_na_raporcie_zdjęć)
• wykonane zdjęcie z nałożonymi ramkami
• przycisk Identyfikuj

Wybór przycisku  na ekranie podglądu skutkuje podniesieniem okna menu kontekstowego z opcją Usuń, która pozwala na usunięcie wybranego zdjęcia.

 

Rozpoczęcie identyfikacji możliwe jest z kilku poziomów:

1. Bezpośrednio z poziomu raportu obecności towarów
2. Z poziomu podglądu zdjęcia
3. Bezpośrednio po wykonaniu zdjęcia

W momencie, gdy zostało wykonane co najmniej jedno zdjęcie wyświetlony jest przycisk Identyfikuj pod wykonanym zdjęciem/zdjęciami na raporcie obecności towarów.

1. Identyfikacja z poziomu raportu obecności towarów

W widoku raportu obecności towarów użytkownik ma możliwość zaznaczenia checkboxów przy jednym lub wielu zdjęciach, które będą poddane identyfikacji.

Zaznaczenie checkboxa możliwe jest tylko dla zdjęć jeszcze niezidentyfikowanych.

Wskazówka

Checkbox dla zdjęcia już zidentyfikowanego zniknie i w jego miejscu wyświetlana jest informacja o liczbie wykrytych towarów na danym zdjęciu.

Uwaga

Wybór przycisku Identyfikuj w przypadku niezaznaczenia żadnego zdjęcia skutkuje wyświetleniem komunikatu w dolnej części ekranu: „Nie wybrano zdjęć do identyfikacji”.

Uwaga

Wybór przycisku Identyfikuj w przypadku, gdy wszystkie wykonane zdjęcia zostały zidentyfikowane skutkuje pojawieniem się komunikatu: „Wszystkie zdjęcia zostały zidentyfikowane”.

2. Identyfikacja z poziomu podglądu zdjęcia po detekcji

Jeżeli w pierwszym kroku nastąpi jedynie zatwierdzenie zdjęcia, to podczas podglądu takiego zdjęcia użytkownik będzie miał możliwość wybrania przycisku Identyfikuj.

3. Identyfikacja bezpośrednio po wykonaniu zdjęcia

Identyfikację z poziomu podglądu zdjęcia umożliwiono również od razu po wykonaniu zdjęcia, które nie zostało zatwierdzone, wybierając przycisk Zatwierdź i identyfikuj

Proces identyfikacji

Wybór przycisku Identyfikuj lub Zatwierdź i identyfikuj rozpocznie proces identyfikacji towarów. Jeżeli współczynnik identyfikacji produktu będzie wynosił powyżej 85% dla poszczególnych towarów, wówczas zostaną zidentyfikowane towary, ich kody, nazwy i kody EAN. Po wykonaniu identyfikacji wyświetlone zostanie użytkownikowi podsumowanie procesu:

• zidentyfikowane zdjęcie z nałożonymi ramkami
• podsumowanie identyfikacji w tabeli: Podsumowanie zidentyfikowanych towarów zawierającej dane:
  • kod towaru
  • nazwa towaru
  • kod EAN
  • ilość (facing)

Wskazówka

Powyższa tabela to zestawienie zliczonych towarów względem kodów EAN. Zestawienie pozwala na szybką weryfikację przez użytkownika poprawności działania sieci neuronowej.

Na ekranie podsumowania identyfikacji użytkownik ma możliwość

• odrzucenia wykonanej identyfikacji towarów
• przycisk zatwierdzający identyfikację
• menu kontekstowe (opcje: Powiększ, Pomniejsz)

Ruchem przesuń w lewo/przesuń w prawo umożliwiono przejście do kolejnego zidentyfikowanego zdjęcia

 

Weryfikacja identyfikacji przez użytkownika

Po kliknięciu na ramkę z zidentyfikowanym zdjęciem zostanie wyświetlone okno z informacjami na temat tego towaru:

• Kod
• Nazwa
• EAN

Zamknięcie małego okna następuje poprzez wybór przycisku OK lub kliknięcie poza obszar okna. Okno należy wyświetlić na środku zidentyfikowanego zdjęcia.

Potwierdzenie poprawności identyfikacji

Zatwierdzenie poprawności identyfikacji wszystkich identyfikowanych zdjęć odbywa się po wybraniu ikony "fajki" , która jest widoczna na górnej belce ekranu przy podglądzie każdego ze zidentyfikowanych zdjęć. Przycisk zatwierdza globalnie wszystkie zdjęcia danej identyfikacji. Zidentyfikowany towar, obecny na ekspozycji, oznaczony jest ikoną „fajki” na raporcie oraz zliczone jest jego występowanie (facing) względem kodu EAN i odpowiednio uzupełnione w raporcie.

Wskazówka

Jeżeli facing będzie elementem wymaganym, wówczas liczba jest wyświetlana w kolorze czerwony.

.

Uwaga

Pozostałe informacje dodane w raporcie obecności takie jak cena, ekspozycja, ilość itp. powinny zostać uzupełnione ręcznie przez użytkownika.

Zdjęcie, które zostało poddane identyfikacji jako zrealizowane zostało oznaczone ikoną "zielonej fajki"

Po identyfikacji pod nazwą zdjęcia wyświetlana jest dodatkowa informacja o liczbie wykrytych towarów. Za liczbę wykrytych towarów przyjęto towary o różnych kodach EAN. Jeżeli na jednym zdjęciu zidentyfikowano 3 towary o kodzie EAN 5000013455232, wówczas traktowane są jako jeden towar.

Uwaga

Zdjęcia wcześniej zidentyfikowane nie są poddawane identyfikacji powtórnie. W przypadku wykonania drugiej i kolejnej identyfikacji na jednym raporcie wyniki identyfikacji zostaną odpowiednio dodane do raportu obecności – facing

Wyjście z procesu identyfikacji/odrzucenie identyfikacji

W momencie próby wyjścia lub wycofania się przez użytkownika z podglądu zidentyfikowanego zdjęcia zostanie wyświetlone okno z komunikatem wyboru: Zatwierdź – zatwierdza poprawność wykonanej identyfikacji wszystkich zidentyfikowanych zdjęć i powraca do okna raportu obecności towarów Wyjdź bez zapisu – powraca do okna raportu obecności towarów Anuluj – zamyka otwarte okno W przypadku wyboru ikony X  zostanie wyświetlony komunikat: „Cofnięcie realizacji spowoduje utratę wyników identyfikacji zdjęcia. Czy jesteś pewien?” z opcjami:

• OK – anuluje identyfikację. Jeśli nie było to jedyne zdjęcie poddane identyfikacji, wówczas wyświetlone zostanie kolejne zidentyfikowane zdjęcie. Jeżeli to było jedyne identyfikowane zdjęcie, wówczas użytkownik powróci do okna raportu obecności.
• Anuluj – zamyka okno.

Menu kontekstowe zidentyfikowanego zdjęcia

W menu kontekstowym prezentować opcje:

• Powiększ
• Pomniejsz

Zakończenie realizacji raportu obecności towarów

Przy próbie zakończenia realizacji raportu obecności towarów w momencie, gdy nie wszystkie dodane zdjęcia do raportu zostały poddane identyfikacji zostanie wyświetlony komunikat: „Nie wszystkie zdjęcia zostały zidentyfikowane. Czy na pewno chcesz opuścić realizację raportu?” z opcjami:

• tak - zamyka raport
• nie - powraca do realizacji elementu wizyty

Uwaga

Raport obecności można edytować do momentu zakończenia wizyty. Nie można edytować zidentyfikowanych zdjęć.

Podgląd zidentyfikowanych zdjęć z poziomu raportu obecności

Zidentyfikowane zdjęcie wraz z wynikami można podejrzeć do momentu zakończenia wizyty handlowej. Ruchem przesuń w lewo/przesuń w prawo umożliwiono przejście do kolejnego zidentyfikowanego lub niezidentyfikowanego zdjęcia. Kliknięcie w zdjęcie już zidentyfikowane podnosi poniższy widok:

Na poglądzie zdjęcia po identyfikacji i zatwierdzonego wyświetlone zostaną informacje:

• podpis wskazujący na numer wykonanego zdjęcia i liczbę zdjęć: Zdjęcia (nr_zdjęcia/liczba_wykonanych_na_raporcie_zdjęć)
• zdjęcie z nałożonymi ramkami
• tabela z podsumowaniem

Wybór menu kontekstowego dla zdjęcia zidentyfikowanego zatwierdzonego skutkuje podniesieniem okna z opcjami:

• Powiększ
• Pomniejsz