Przygotowanie do obsługi identyfikacji towarów

1. Licencjonowanie

Każdy Klient, który wyrazi chęć przetestowania funkcjonalności dostanie darmową licencję na trzy miesiące. Okres w którym można ubiegać się o darmową testową licencję mija z końcem marca 2022 roku. Nowa funkcjonalność będzie wykorzystywać licencję serwerową. Licencja ta powinna być dołączona do klucza, na którym dostępne są już licencje dla aplikacji Comarch Mobile. Po trzech miesiącach użytkowania dostęp do wskazanej licencji zostanie wyłączony.

2. Konfiguracja środowiska

Żeby przedstawiciel handlowy miał uprawnienie do wykorzystania Sztucznej Inteligencji w Comarch Mobile należy nadać mu w systemie Comarch ERP XL odpowiednie prawo do dowolnej roli przypisanej do pracownika. Nowe prawo nosi nazwę „Sztuczna inteligencja na raporcie obecności” i będzie dostępne w systemie ERP po aktualizacji wersji Comarch Mobile do 2022.0.

Jeżeli chodzi o modele sieci neuronowej, to docelowo model detekcji będzie uniwersalny dla wszystkich Klientów. Natomiast, jeżeli chodzi o identyfikację, to Klient po opisie modeli powinien wybrać odpowiedni dla jego towarów model. W sytuacji, w której Klient uzna, że żaden z modeli nie charakteryzuje jego towarów, wówczas powinien to zgłosić poprzez System Obsługi Zgłoszeń.

W rozdziale 6.1 opisana została ścieżka postępowania w przypadku wykorzystania istniejącego modelu sieci neuronowej. Pozostałe przypadki zostały opisane w rozdziałach 6.2 i 6.3.

Obecne założenie mówi, że w sytuacji wykorzystania istniejącego modelu Klient nie musi wysyłać do firmy Comarch zdjęć swoich towarów. Będzie to konieczne dopiero w sytuacji, gdy obecne modele nie będą poprawnie wykrywały towarów Klienta.

Poniżej przedstawiony został proces składający się z działań koniecznych do wykonania w celu wykorzystania sztucznej inteligencji w aplikacji mobilnej.

1. Zapoznanie się z opisem aktualnie dostępnych modeli sieci neuronowej oraz wybór odpowiedniego modelu.
2. Odpowiednie przygotowanie zdjęć towarów.
3. Instalacja nowej wersji aplikacji Comarch Mobile 2022.0 poprzez Auto Update.
4. Umieszczenie otrzymanej od firmy Comarch paczki o nazwie Comarch Mobile Merchandising AI na swoim serwerze.
5. Uzupełnienie pliku konfiguracyjnego dla skryptu przetwarzającego zdjęcia na ich wektorową reprezentację (wektorowa reprezentacja zdjęć jest potrzebna w celu poprawnej identyfikacji towarów w aplikacji mobilnej).
6. Restart usługi Comarch Mobile Server.
7. Przeniesienie plików z modelami na urządzenie mobilne.
8. Wykonanie synchronizacji.

3. Kompatybilne wersje systemu Comarch ERP XL

Nowa funkcjonalność w aplikacji Comarch Mobile wykorzystująca mechanizm Sztucznej Inteligencji jest dostępna w wersji 2022.0. Ta wersja aplikacji jest kompatybilna z systemem Comarch ERP XL w wersjach 2021.0, 2021.1 oraz 2022.0.

4. Uprawnienie dla użytkownika ZARZĄDZANIE NT/SYSTEM

Należy dla użytkownika ZARZĄDZANIE NT/SYSTEM dodać dla bazy uprawnienie db_owner. Jest to potrzebne, aby skrypt do tworzenia wektorowych reprezentacji zdjęć uruchamiał się automatycznie z usługą synchronizacji.

5. Zapoznanie się z opisem aktualnie dostępnych modeli sieci neuronowej oraz wybór
odpowiedniego modelu.

Pierwszym krokiem, jaki należy wykonać jest wybór odpowiedniego modelu. Aktualnie istniejące modele zostały opisane [tutaj]. Jeżeli asortyment oferowany przez Klienta jest zgodny z opisem aktualnie dostępnych modeli, wówczas dany model należy wykorzystać do rozpoznawania towarów w aplikacji mobilnej.

W sytuacji, w której żaden opis towarów dla dostępnych modeli nie zgadza się z charakterystyką towarów Klienta, wówczas Zespół Comarch przygotuje (lub zaktualizuje) nowy model dla nowej grupy towarowej. Dokładny opis znajduje się w rozdziale 6.2.

6. Odpowiednie przygotowanie zdjęć towarów

Zarówno w sytuacji, gdy Klient zdecyduje, że wykorzystuje aktualnie istniejący model oraz w sytuacji konieczności douczenia modelu należy przygotować odpowiednio zdjęcia towarów, które powinny być rozpoznawane na raportach obecności.

Sieć neuronowa uczy się rozpoznawania obiektów na obrazach za pomocą wzorców. Im więcej zdjęć wzorcowych, tym efektywniej sieci uczą się ich właściwej identyfikacji. Sieci neuronowe potrafią również radzić sobie z danymi, których nigdy wcześniej nie widziały i do tego właśnie w naszej aplikacji chcemy dążyć. Dlatego w celu samego wykrywania opakowań na np. półkach sklepowych nie ma konieczności wysyłania zdjęć swoich towarów. Wysłanie zdjęć towarów przez Klienta do zespołu odpowiadającego za naukę sieci neuronowej będzie koniecznie dopiero w sytuacji, w której okaże się, że model należy douczyć o dane towary, gdyż nie są one poprawie wykrywane.

6.1. Wykorzystanie przez Klienta aktualnie istniejącego modelu

Pierwszym i najważniejszym krokiem, który należy wykonać i bez którego identyfikacja towarów się nie powiedzie jest odpowiednie wykonanie i pogrupowanie zdjęć towarów.

6.1.1. Wykonanie zdjęć

Zdjęcia towarów powinny być wykonane w odpowiedni sposób. Poniżej znajduje się kilka wskazówek.

• • • Każdy towar, który występuje w bazie Klienta i który ma podlegać identyfikacji (czyli rozpoznawaniu na raporcie obecności) musi posiadać min. 10 zdjęć wzorcowych. Im więcej zdjęć, tym wyniki identyfikacji będą dokładniejsze. Przykład poprawnie wykonanych zdjęć można znaleźć na rysunku poniżej.

• • • Zdjęcia powinny być wykonane w warunkach, w jakich pracuje przedstawiciel handlowy (np. w sklepie na półkach sklepowych).
    • Zdjęcia towaru powinny być wykonane pod różnymi kątami.
    • Orientacja towaru na zdjęciu musi zgadzać się z orientacją, w jakiej towar będzie ustawiony na ekspozycji.
    • Na wzorcowym zdjęciu nie można znajdować się inny towar, nawet jego fragment.
    • Zdjęcie powinno mieć możliwie najmniejszy margines, czyli między końcami produktu, a brzegiem zdjęcia odstęp powinien być minimalny.

6.1.2. Wymagania techniczne

• • • Obsługiwany format zdjęć: JPG, JPEG, PNG, TIF, BPM, BMP
    • Nieobsługiwany format zdjęć: GIF, WEBP
    • Zalecany rozmiar pliku pomiędzy150KB a 512KB
    • Zdjęcia pojedynczych towarów (dla identyfikacji): dłuższy bok zdjęcia min. 256px
    • Zalecany format zdjęcia: 16:9 lub zbliżony (jest to zazwyczaj domyślny format zdjęć wykonywanych w telefonie)
    • Nazwa zdjęcia może być dowolna

6.1.3. Pogrupowanie zdjęć

Wykonane zdjęcia towarów należy pogrupować w katalogi. W jednym katalogu należy umieścić zdjęcia dla jednego towaru. Katalog musi być podpisany kodem towaru z bazy ERP lub kodem EAN, jak w przykładzie:

• • • Dla towaru podpisanego kodem: KOD_klej
    • Dla towaru podpisanego kodem EAN: EAN_2012010000000038

Uwaga

• • • Zalecane jest podpisywanie katalogów kodem EAN, chyba że towar nie posiada takiego kodu, wówczas podpisać kodem produktu. Wielkości liter w nazwie katalogu ze zdjęciami towaru nie mają znaczenia.
    • Wszystkie podkatalogi zdjęć towarów muszą być umieszczone w jednym katalogu.
    • Katalog musi być umieszczony w dowolnej lokalizacji na tym samym serwerze, co Serwer synchronizacji (zainstalowany produkt Comarch Mobile). Nazwa katalogu nie powinna zawierać polskich znaków.

Poniżej przedstawiona została przykładowa struktura katalogów ze zdjęciami towarów.

 

 

6.2. Stworzenie nowego modelu

Jeśli typ produktów, które mają zostać rozpoznane nie jest obecny wśród aktualnie dostępnych modeli, wówczas do Zespołu Comarch, poprzez zgłoszenie w Systemie Obsługi Zgłoszeń należy dostarczyć:

• • • zestawy po min. 10 zdjęć wszystkich produktów, które mają być rozpoznawane,
    • oraz należy dostarczyć zbiorcze zdjęcia tych produktów w miejscach, w których mają być rozpoznawane (np. na półkach sklepowych), min. 10 zdjęć zrobionych w kilku różnych ujęciach (pod kątem, na wprost, z bliska, z daleka itp.). Poniżej przykładowe zbiorcze zdjęcia.

Zdjęcia można dostarczyć dowolną drogą np. poprzez iBARD, dropbox, itp., a w razie potrzeby będzie udostępnione miejsce na serwerze FTP. Wysyłane zdjęcia powinny zostać odpowiednio pogrupowane i nazwane, o czym mowa w rozdziale 6.1.3.

Nowy model powinien być dostarczony Klientowi maksymalnie do 5 dni roboczych od momentu pojawienia się zgłoszenia w Zespole Comarch.

 

6.2.1. Wymagania techniczne dot. zdjęć towarów do douczenia modelu

• • • Obsługiwany format zdjęć: JPG, JPEG, PNG, TIF, BPM, BMP.
    • Nieobsługiwany format zdjęć: GIF, WEBP.
    • Zalecany rozmiar pliku pomiędzy150KB a 512KB.
    • Zbiorcze zdjęcia produktów w miejscu, w którym mają być rozpoznawane (np. na półkach sklepowych): dłuższy bok zdjęcia min. 416px, min. 10 zdjęć.
    • Zdjęcia pojedynczych towarów (dla identyfikacji): dłuższy bok zdjęcia min. 256px.
    • Zalecany format zdjęcia: 16:9 lub zbliżony.
    • Nazwa zdjęcia może być dowolna.

6.3. Douczenie istniejącego modelu

Może się również zdarzyć sytuacja, kiedy wybrany model nie rozpoznaje wszystkiego, co powinien.

• • • W sytuacji, gdy dany model nie rozpoznaje towarów, wówczas należy dodać kolejne 10 zdjęć wzorcowych danego produktu do katalogu. Jeśli to nie pomoże, należy wysłać do Zespołu Comarch zdjęcia wzorcowe produktów wraz ze zbiorczymi zdjęciami produktów w miejscu, w którym mają być rozpoznawane (np. na półkach sklepowych).
    • Jeśli inne produkty rozpoznawane są jako te, którymi nie są:
      • należy dostarczyć zdjęcia obu źle rozpoznawanych produktów do Zespołu Comarch, min. 10 zdjęć każdego z produktów, w celu aktualizacji modelu.

Zdjęcia można dostarczyć dowolną drogą np. poprzez iBARD, dropbox, a w razie potrzeby będzie udostępnione miejsce na serwerze FTP. Wysyłane zdjęcia powinny zostać odpowiednio pogrupowane i nazwane, o czym mowa w rozdziale 6.1.3.

Douczony model powinien być dostarczony Klientowi maksymalnie do 5 dni roboczych od momentu pojawienia się zgłoszenia w Zespole Comarch.

6.3.1. Wymagania techniczne dot. zdjęć towarów do douczenia modelu

• • Obsługiwany format zdjęć: JPG, JPEG, PNG, TIF, BPM, BMP.
  • Nieobsługiwany format zdjęć: GIF, WEBP.
  • Zalecany rozmiar pliku pomiędzy150KB a 512KB.
  • Zbiorcze zdjęcia produktów w miejscu, w którym mają być rozpoznawane (np. na półkach sklepowych): dłuższy bok zdjęcia min. 416px, min. 10 zdjęć.
  • Zdjęcia pojedynczych towarów (dla identyfikacji): dłuższy bok zdjęcia min. 256px.
  • Zalecany format zdjęcia: 16:9 lub zbliżony.
  • Nazwa zdjęcia może być dowolna.