Rozpoznawanie towarów w aplikacji

W aplikacji Comarch Mobile został wprowadzony mechanizm AI, który usprawnia pracę przedstawiciela handlowego podczas realizacji raportu obecności towarów. Rozpoznawanie towarów na półkach z wykorzystaniem tego mechanizmu polega na tym, że sieć neuronowa na podstawie bazy zdjęć uczy się towarów, aby z jak największą precyzją rozpoznawać je na półkach sklepowych. Podczas wykonywania elementu wizyty: Raport obecności towarów mechanizm sztucznej inteligencji automatycznie pozyskuje dane z półki sklepowej bez konieczności ręcznego zliczania facingu towarów. W trakcie robienia zdjęcia użytkownik w czasie rzeczywistym zobaczy wykryte na półce towary, a w kolejnym kroku podda zdjęcie identyfikacji otrzymując odpowiednie wyniki. Funkcjonalność wymaga odpowiedniego skonfigurowania środowiska (więcej informacji TUTAJ) i jest dodatkowo licencjonowana, dlatego konieczne jest wykupienie odpowiedniej liczby licencji. Jeżeli dany użytkownik będzie posiadał odpowiednią licencję umożliwiającą wykorzystanie mechanizmu, to w widoku elementu wizyty o typie Raport obecności towarów w prawym górnym rogu ekranu będzie widoczna dodatkowa ikona .

Uwaga

W systemie Comarch ERP XL konieczne jest przypisanie pracownikowi nowego prawa o nazwie [MOS] Sztuczna inteligencja na raporcie obecności

Użytkownik będzie miał wówczas dwie ścieżki uzupełniania facingu obecnych na półce towarów:

• Zliczanie ręczne
• Wykonanie zdjęć ekspozycji w celu wykorzystania mechanizmu AI

Proces rozpoznawania towarów na półce towarowej jest podzielony na dwa etapy:

1. 1. Detekcja – sprawdza, czy na danej półce znajdują się jakiekolwiek towary, więcej informacji TUTAJ
   2. Identyfikacja – identyfikuje wykryte podczas detekcji towary, więcej informacji TUTAJ

1. Wykonanie zdjęcia

Wybór ikony na raporcie obecności towarów powoduje otwarcie aparatu na urządzeniu mobilnym. Użytkownik nakierowując obiektyw na daną ekspozycję w czasie rzeczywistym zobaczy na ekranie urządzenia towary oznaczone ramkami. Ramka w kolorze zielonym oznacza poprawnie wykryte opakowanie z wysoką pewnością. Ramka w kolorze czerwonym oznacza poprawnie wykryte opakowanie z niską pewnością.

 

2. Podgląd, zatwierdzanie i odrzucanie wykonanego zdjęcia

Podgląd wykonanego zdjęcia

Po wykonaniu zdjęcia zostanie wyświetlony ekran jak poniżej ze zdjęciem z oznaczonymi ramkami.

Zatwierdzanie wykonanego zdjęcia z wykrytymi towarami

Na dole ekranu podglądu wykonanego zdjęcia wyświetlone są dwa przyciski:  

• Zatwierdź - zatwierdza zdjęcie i dodaje do raportu obecności towarów. Po zatwierdzeniu nazwa załącznika zostanie uzupełniona automatycznie datą oraz godziną wykonania zdjęcia np.: 200421_111223 (zdjęcie wykonane 20 kwietnia 2021 roku o godzinie: 11:12:23). Nazwa prezentowana jest pod miniaturą zdjęcia na raporcie obecności towarów.
• Zatwierdź i zidentyfikuj – zatwierdza zdjęcie i od razu rozpoczyna proces identyfikacji towarów na danym zdjęciu.

Odrzucanie zdjęcia po detekcji

Użytkownik ma możliwość odrzucenia zdjęcia z wykrytymi towarami przy użyciu  przed zatwierdzeniem

Uwaga

W momencie wybrania jednego z dwóch przycisków: Zatwierdź lub Zatwierdź i zidentyfikuj, gdy na zdjęciu nie zostanie oznaczony co najmniej jeden towar, wówczas wyświetlony jest komunikat: „Nie został wykryty żaden towar. Wykonaj zdjęcie ponownie.” 

3. Podgląd zdjęć po detekcji z poziomu raportu obecności

Zatwierdzenie zdjęć przyciskiem Zatwierdź na podglądzie wykonanego zdjęcia powoduje wyświetlenie ich w raporcie obecności towarów

• Zdjęcie z najwcześniejszą datą jest wyświetlane jako pierwsze.
• Pod zdjęciem prezentowana jest nazwa zdjęcia np.: 200421_111223 (zdjęcie wykonane 20 kwietnia 2021 roku o godzinie: 11:12:23).
• Pod nazwą zdjęcia jest prezentowana ikona „fajki”, która domyślnie powinna być niezaznaczona.
• Pod sekcją zdjęć, nad spisem towarów raportu prezentowany jest przycisk Identyfikuj. Przycisk pojawia się w momencie dodania pierwszego zdjęcia do raportu.

Kliknięcie w jedno ze zdjęć powoduje wyświetlenie podglądu zdjęcia Na poglądzie zdjęcia po detekcji wyświetlone zostanie:

• nazwa raportu
• podpis wskazujący na numer wykonanego zdjęcia i liczbę zdjęć: Zdjęcia (nr_zdjęcia/liczba_wykonanych_na_raporcie_zdjęć)
• wykonane zdjęcie z nałożonymi ramkami
• przycisk Identyfikuj

Wybór przycisku  na ekranie podglądu skutkuje podniesieniem okna menu kontekstowego z opcją Usuń, która pozwala na usunięcie wybranego zdjęcia.

 

Rozpoczęcie identyfikacji możliwe jest z kilku poziomów:

1. Bezpośrednio z poziomu raportu obecności towarów
2. Z poziomu podglądu zdjęcia
3. Bezpośrednio po wykonaniu zdjęcia

W momencie, gdy zostało wykonane co najmniej jedno zdjęcie wyświetlony jest przycisk Identyfikuj pod wykonanym zdjęciem/zdjęciami na raporcie obecności towarów.

1. Identyfikacja z poziomu raportu obecności towarów

W widoku raportu obecności towarów użytkownik ma możliwość zaznaczenia checkboxów przy jednym lub wielu zdjęciach, które będą poddane identyfikacji.

Zaznaczenie checkboxa możliwe jest tylko dla zdjęć jeszcze niezidentyfikowanych.

Wskazówka

Checkbox dla zdjęcia już zidentyfikowanego zniknie i w jego miejscu wyświetlana jest informacja o liczbie wykrytych towarów na danym zdjęciu.

Uwaga

Wybór przycisku Identyfikuj w przypadku niezaznaczenia żadnego zdjęcia skutkuje wyświetleniem komunikatu w dolnej części ekranu: „Nie wybrano zdjęć do identyfikacji”.

Uwaga

Wybór przycisku Identyfikuj w przypadku, gdy wszystkie wykonane zdjęcia zostały zidentyfikowane skutkuje pojawieniem się komunikatu: „Wszystkie zdjęcia zostały zidentyfikowane”.

2. Identyfikacja z poziomu podglądu zdjęcia po detekcji

Jeżeli w pierwszym kroku nastąpi jedynie zatwierdzenie zdjęcia, to podczas podglądu takiego zdjęcia użytkownik będzie miał możliwość wybrania przycisku Identyfikuj.

3. Identyfikacja bezpośrednio po wykonaniu zdjęcia

Identyfikację z poziomu podglądu zdjęcia umożliwiono również od razu po wykonaniu zdjęcia, które nie zostało zatwierdzone, wybierając przycisk Zatwierdź i identyfikuj

Proces identyfikacji

Wybór przycisku Identyfikuj lub Zatwierdź i identyfikuj rozpocznie proces identyfikacji towarów. Jeżeli współczynnik identyfikacji produktu będzie wynosił powyżej 85% dla poszczególnych towarów, wówczas zostaną zidentyfikowane towary, ich kody, nazwy i kody EAN. Po wykonaniu identyfikacji wyświetlone zostanie użytkownikowi podsumowanie procesu:

• zidentyfikowane zdjęcie z nałożonymi ramkami
• podsumowanie identyfikacji w tabeli: Podsumowanie zidentyfikowanych towarów zawierającej dane:
  • kod towaru
  • nazwa towaru
  • kod EAN
  • ilość (facing)

Wskazówka

Powyższa tabela to zestawienie zliczonych towarów względem kodów EAN. Zestawienie pozwala na szybką weryfikację przez użytkownika poprawności działania sieci neuronowej.

Na ekranie podsumowania identyfikacji użytkownik ma możliwość

• odrzucenia wykonanej identyfikacji towarów
• przycisk zatwierdzający identyfikację
• menu kontekstowe (opcje: Powiększ, Pomniejsz)

Ruchem przesuń w lewo/przesuń w prawo umożliwiono przejście do kolejnego zidentyfikowanego zdjęcia

 

Weryfikacja identyfikacji przez użytkownika

Po kliknięciu na ramkę z zidentyfikowanym zdjęciem zostanie wyświetlone okno z informacjami na temat tego towaru:

• Kod
• Nazwa
• EAN

Zamknięcie małego okna następuje poprzez wybór przycisku OK lub kliknięcie poza obszar okna. Okno należy wyświetlić na środku zidentyfikowanego zdjęcia.

Potwierdzenie poprawności identyfikacji

Zatwierdzenie poprawności identyfikacji wszystkich identyfikowanych zdjęć odbywa się po wybraniu ikony "fajki" , która jest widoczna na górnej belce ekranu przy podglądzie każdego ze zidentyfikowanych zdjęć. Przycisk zatwierdza globalnie wszystkie zdjęcia danej identyfikacji. Zidentyfikowany towar, obecny na ekspozycji, oznaczony jest ikoną „fajki” na raporcie oraz zliczone jest jego występowanie (facing) względem kodu EAN i odpowiednio uzupełnione w raporcie.

Wskazówka

Jeżeli facing będzie elementem wymaganym, wówczas liczba jest wyświetlana w kolorze czerwony.

.

Uwaga

Pozostałe informacje dodane w raporcie obecności takie jak cena, ekspozycja, ilość itp. powinny zostać uzupełnione ręcznie przez użytkownika.

Zdjęcie, które zostało poddane identyfikacji jako zrealizowane zostało oznaczone ikoną "zielonej fajki"

Po identyfikacji pod nazwą zdjęcia wyświetlana jest dodatkowa informacja o liczbie wykrytych towarów. Za liczbę wykrytych towarów przyjęto towary o różnych kodach EAN. Jeżeli na jednym zdjęciu zidentyfikowano 3 towary o kodzie EAN 5000013455232, wówczas traktowane są jako jeden towar.

Uwaga

Zdjęcia wcześniej zidentyfikowane nie są poddawane identyfikacji powtórnie. W przypadku wykonania drugiej i kolejnej identyfikacji na jednym raporcie wyniki identyfikacji zostaną odpowiednio dodane do raportu obecności – facing

Wyjście z procesu identyfikacji/odrzucenie identyfikacji

W momencie próby wyjścia lub wycofania się przez użytkownika z podglądu zidentyfikowanego zdjęcia zostanie wyświetlone okno z komunikatem wyboru: Zatwierdź – zatwierdza poprawność wykonanej identyfikacji wszystkich zidentyfikowanych zdjęć i powraca do okna raportu obecności towarów Wyjdź bez zapisu – powraca do okna raportu obecności towarów Anuluj – zamyka otwarte okno W przypadku wyboru ikony X  zostanie wyświetlony komunikat: „Cofnięcie realizacji spowoduje utratę wyników identyfikacji zdjęcia. Czy jesteś pewien?” z opcjami:

• OK – anuluje identyfikację. Jeśli nie było to jedyne zdjęcie poddane identyfikacji, wówczas wyświetlone zostanie kolejne zidentyfikowane zdjęcie. Jeżeli to było jedyne identyfikowane zdjęcie, wówczas użytkownik powróci do okna raportu obecności.
• Anuluj – zamyka okno.

Menu kontekstowe zidentyfikowanego zdjęcia

W menu kontekstowym prezentować opcje:

• Powiększ
• Pomniejsz

Zakończenie realizacji raportu obecności towarów

Przy próbie zakończenia realizacji raportu obecności towarów w momencie, gdy nie wszystkie dodane zdjęcia do raportu zostały poddane identyfikacji zostanie wyświetlony komunikat: „Nie wszystkie zdjęcia zostały zidentyfikowane. Czy na pewno chcesz opuścić realizację raportu?” z opcjami:

• tak - zamyka raport
• nie - powraca do realizacji elementu wizyty

Uwaga

Raport obecności można edytować do momentu zakończenia wizyty. Nie można edytować zidentyfikowanych zdjęć.

Podgląd zidentyfikowanych zdjęć z poziomu raportu obecności

Zidentyfikowane zdjęcie wraz z wynikami można podejrzeć do momentu zakończenia wizyty handlowej. Ruchem przesuń w lewo/przesuń w prawo umożliwiono przejście do kolejnego zidentyfikowanego lub niezidentyfikowanego zdjęcia. Kliknięcie w zdjęcie już zidentyfikowane podnosi poniższy widok:

Na poglądzie zdjęcia po identyfikacji i zatwierdzonego wyświetlone zostaną informacje:

• podpis wskazujący na numer wykonanego zdjęcia i liczbę zdjęć: Zdjęcia (nr_zdjęcia/liczba_wykonanych_na_raporcie_zdjęć)
• zdjęcie z nałożonymi ramkami
• tabela z podsumowaniem

Wybór menu kontekstowego dla zdjęcia zidentyfikowanego zatwierdzonego skutkuje podniesieniem okna z opcjami:

• Powiększ
• Pomniejsz