Wirtualne symulacje do szkoleń przemysłowych – istniejące rozwiązania

Komercyjne systemy do wirtualnych symulacji szkoleń przemysłowych z reguły bazują na podejściu haptycznym. W literaturze można znaleźć kilka rozwiązań wspomagających interaktywny trening wykonywania zadań proceduralnych, a także opracowania badawcze prezentujące skuteczność takich szkoleń [Gupta i in. 1997, Jayram i in. 1997, McDermott i Bras 1999, Wan i in. 2004, Ritchie i in. 2008, Seth i in. 2008, Bhatti i in. 2008, Rodriguez i in. 2012].

Pierwsze z nich powstały pod koniec XX wieku i skupiały się głównie na:

- symulacji wykonywania zadań proceduralnych (systemy VEDA, VADE, HIDRA), - planowaniu, ocenie i weryfikacji procesów montażu (systemy MIVAS, HAMMS).

Z kolei kompleksowe rozwiązania do wirtualnych szkoleń przemysłowych powstały pod koniec pierwszej dekady XXI wieku (systemy SHARP, HIIVR oraz MTS).

Pierwszym i zarazem najstarszym systemem spośród przeanalizowanych rozwiązań, jest środowisko VEDA (ang. Virtual Environment for Design for Assembly). Służy ono do symulacji prostego zadania proceduralnego, jakim jest umieszczenie części w otworze (ang. peg-in-hole task) [Gupta i in. 1997]. W skład systemu wchodziło biurkowe urządzenie haptyczne działające na kciuk i palec wskazujący użytkownika, a także zestaw komputerowy z dedykowanym oprogramowaniem. Zadaniem osoby szkolonej było chwycenie i przeniesienie wirtualnego obiektu (reprezentowanego przez modele 2D) w wybrane miejsce, widziane na ekranie monitora (rys. 2.53).

Rys. 2.53. System VEDA: urządzenie haptyczne (po lewej), wizualizacja zadania na ekranie monitora (po prawej) [źródło: Gupta i in. 1997]

W przypadku umieszczenia części w dedykowanym miejscu, użytkownik otrzymywał wibracyjne sprzężenie zwrotne generowane przez urządzenie haptyczne. Interfejs dotykowy nie umożliwiał natomiast odczucia kształtu chwytanego. Z kolei brak stereoskopii w interfejsie

Strona | 62 wizualnym (tylko efekt 2D) powodował, że efekt immersji w zasadzie nie miał miejsca, a z pozoru łatwe do wykonania zadanie nie należało do trywialnych.

Naukowcy z Washington State University, pod kierunkiem S. Jayram’a, stworzyli system VADE (ang. Virtual Assembly Design Environment), którego zadaniem było wspomaganie inżynierów w zakresie symulacji procesów montażu urządzeń mechanicznych [Jayram i in.

1999]. W projektowanym środowisku wirtualnym zintegrowano sprzęt do wizualizacji (hełm wizyjny) z rękawicą cyfrową. Zadaniem użytkownika było wykonanie zadań proceduralnych (montaż ręczny z użyciem jednej lub obu rąk). Oprócz wizualizacji samego procesu, na ekranie komputerowym lub hełmie wizyjnym wyświetlany był także cyfrowy model dłoni oraz graficzne wskazówki co do prawidłowego umiejscowienia części w zespole (rys. 2.54).

Rozwiązanie nie zapewniało interakcji dotykowej użytkownika ze środowiskiem wirtualnym (brak efektu siłowego sprzężenia zwrotnego w przypadku kolizji).

Rys. 2.54. System VADE: symulacja montażu części [źródło: Jayram i in. 1999]

S. McDermott i B. Bras z Georgia Institute of Technology zbudowali haptyczny system do symulacji procesów montażu i demontażu o nazwie HIDRA (ang. Haptic Integrated Dis/Reassembly Analysis) [McDermott i Bras 1999]. Środowisko symulacyjne umożliwiało ćwiczenie (przed monitorem komputerowym) procedury umieszczenia pierścienia na wale przy wsparciu dwóch, biurkowych manipulatorów haptycznych Phantom, działających na kciuk i palec wskazujący (rys. 2.55). Autorzy rozwiązania borykali się z problemem związanym z poprawnym symulowaniem kolizji przez urządzenia haptyczne. Częstotliwość pracy manipulatorów (1000 [Hz]) powodowała, że w momencie kolizji użytkownik odbierał sygnał w postaci siłowego sprzężenia zwrotnego szybciej, niż miało to miejsce na wizualizacji komputerowej. Obok braku immersji (rozwiązanie nie integrowało urządzeń do wizualizacji), opisany powyżej problem wpływał negatywnie na realizm symulacji. Warto nadmienić, że tego rodzaju trudności występują w symulacjach haptycznych do dnia dzisiejszego, co ma przełożenie na poziom interakcji dotykowej w środowisku wirtualnym.

Strona | 63

Rys. 2.55. System HIDRA: symulacja montażu części przy użyciu manipulatorów haptycznych Phantom [źródło: McDermott i Bras 1999]

Naukowcy z Zhejiang University opracowali system do planowania i oceny wirtualnego procesu montażu o nazwie MIVAS (ang. Multi-modal Immersive Virtual Assembly System) [Wan i in. 2004]. Rozwiązanie bazowało na zastosowaniu ekranów do projekcji stereoskopowej, systemu śledzenia oraz rękawicy cyfrowej. Środowisko MIVAS symulowało wybrane scenariusze montażu i demontażu urządzeń mechanicznych, a zadaniem użytkownika było wykonanie czynności w odpowiedniej kolejności. System generował podpowiedzi graficzne (podświetlenie kolejnej części przeznaczonej do demontażu), co niewątpliwie ułatwiało wykonanie wirtualnego procesu. Poziom immersji był bardzo wysoki, głównie dzięki wieloekranowej projekcji, natomiast rozwiązanie nie zapewniało interakcji dotykowej w postaci siłowego sprzężenia zwrotnego (brak urządzeń haptycznych).

Prace polegające na zintegrowaniu wybranych urządzeń immersyjnych i haptycznych na potrzeby planowania procesów montażu, zostały zainicjowane przez badaczy z Heriot-Watt University Edinburgh [Ritchie i in. 2008]. W rezultacie w roku 2008 zaprezentowano system HAMMS (ang. Haptic Assembly, Manufacturing and Machining System), w skład którego wchodziły dwa biurkowe manipulatory haptyczne oraz jednostka komputerowa z monitorem i okularami 3D. Zadaniem użytkownika było zaplanowanie i wykonanie montażu cyfrowych modeli 3D części pompy zębatej. Wirtualne modele części pompy wyświetlane były na monitorze 3D, a manipulacja nimi realizowana była przy wsparciu urządzeń haptycznych.

Symulowany proces montażu odbywał się przy użyciu obu rąk użytkownika. Kolejność wyboru poszczególnych części, a także ścieżka przemieszczania części do zespołu były rejestrowane (rys. 2.56). Na tej podstawie system automatycznie tworzył instrukcję montażu (w formie procedury), którą weryfikowano podczas wykonywania rzeczywistego procesu na fizycznych modelach części. System umożliwiał zmiany parametrów symulacyjnych (np. zmiana czułości manipulatora haptycznego, zmiana właściwości fizycznych wirtualnych części). Zadaniem

Strona | 64 manipulatorów haptycznych było generowanie odpowiedniego sprzężenia zwrotnego w przypadku wystąpienia kolizji, które rzecz jasna musiały zostać wyeliminowane z procedury montażu.

Rys. 2.56. System HAMMS: wizualizacja chronocyklu montażu części oraz interfejs systemu wraz z manipulatorami haptycznymi [źródło: Ritchie i in. 2008]

Środowisko HAMMS można wykorzystywać jako narzędzie szkoleniowe do nauki wybranych zadań proceduralnych. Trzeba mieć jednak na uwadze, że rozwiązanie nie wspiera interakcji z fizycznymi obiektami i ich cyfrowymi reprezentacjami. Interakcja dotykowa z użytkownikiem polega na stałym kontakcie obu dłoni z fabrycznymi efektorami manipulatorów. Stąd w trakcie symulacji nie można poczuć właściwości tych obiektów (np.

kształtu). Wadą systemu HAMMS jest także mały zasięg roboczy manipulatorów, co znacznie wpływa na swobodę ruchu użytkownika.

Bardzo podobnym rozwiązaniem jest system SHARP (ang. System for Haptic Assembly and Realistic Simulation) zbudowany przez naukowców z Iowa State University (rys. 2.57) [Seth i in. 2008].

Rys. 2.57. System SHARP [źródło: Seth i in. 2008]

Strona | 65 Zaprezentowane powyżej rozwiązania skupiały się głównie na symulacji procesów montażowych (w tym zadań proceduralnych). Możliwość ich zastosowania do wirtualnych szkoleń była opisywana w sposób bardzo ogólny.

Rozwiązaniem, w którym aspekt wirtualnego treningu rozpatrzono w sposób bardzo szczegółowy, jest system MTS (ang. Multimodal Training System), który służy do szkolenia z zakresu wykonywania czynności montażu i demontażu wybranych maszyn i urządzeń (rys. 2.58) [Rodriguez i in. 2012].

Rys. 2.58. Multimodal Training System [źródło: Rodriguez i in. 2012]

MTS korzysta z funkcjonalności złożonego urządzenia haptycznego, w celu symulowania kolizji zachodzących w trakcie czynności montażowych. System wyposażono w monitor LED, na którym wyświetlano pomocne informacje (np. instrukcje z poprawnie wykonanego zadania).

Użytkownicy systemu mogą ćwiczyć wybrane sekwencje montażu i demontażu części urządzenia mechanicznego, wybierając odpowiednie narzędzia dedykowane do wykonania poszczególnych operacji. Rozwiązanie nie uwzględniało użycia urządzeń do projekcji, stąd poziom immersji był niski.

Jedynym rozwiązaniem na rynku, które integruje urządzenia haptyczne z immersyjnymi systemami VR, przy jednoczesnym zapewnieniu pewnej swobody ruchu dla użytkownika, jest system HAPTION SCALE1 (rys. 2.59). Użytkownik wirtualnej sceny jest śledzony przez magnetyczny system śledzenia, a potężny zespół jezdny porusza się wraz z nim. Dzięki temu, osoba szkolona może (w pewnym zakresie) swobodnie przemieszczać się, w celu uzyskania optymalnej pozycji, niezbędnej do wykonania określonego zadania proceduralnego. Do wad rozwiązania należy zaliczyć przede wszystkim cenę (ok. 1 mln zł [www.haption.com]), a także brak wsparcia w zakresie manipulacji rzeczywistymi, fizycznymi modelami obiektów.

Strona | 66 Rys. 2.59. System HAPTION SCALE1 [źródło: www.haption.com]

2.5.3 Podsumowanie

Wzorcowe rozwiązanie interaktywnego systemu do szkoleń przemysłowych powinno zapewnić immersję i interakcję dotykową na takim poziomie jakościowym, aby użytkownik nie był w stanie stwierdzić, czy szkoli się na rzeczywistym czy wirtualnym stanowisku. Tak wykreowane wirtualne środowisko szkoleniowe jeszcze nie istnieje. Analiza dostępnych rozwiązań pokazuje, jak wiele jest jeszcze w tej chwili ograniczeń, które uniemożliwiają stworzenie idealnego środowiska do wirtualnych szkoleń.

Niemniej jednak przytoczone przykłady komercyjnych systemów wspomagających interaktywne szkolenia przemysłowe pokazują potencjał wirtualnej rzeczywistości, na bazie którego można kreować innowacyjne techniki i narzędzia szkoleniowo - edukacyjne. Korzyści wynikających z zastosowania systemów VR w szkoleniach przemysłowych jest wiele:

- nauka przez robienie - nieograniczona czasowo możliwość treningu z wykonywania określonej czynności, aż do momentu uzyskania oczekiwanego poziomu skuteczności, - eliminacja ograniczeń wynikających z użycia rzeczywistych środowisk (dostępność, bezpieczeństwo, czas i koszty budowy fizycznych stanowisk pracy),

- elastyczność stanowiska - łatwa rekonfiguracja, optymalizacja pod kątem aktualnych potrzeb i celów szkolenia (symulacja różnych konfiguracji układu człowiek - maszyna).

Co ważne, systemy VR mogą dostarczyć dodatkowe bodźce, które w sposób istotny mogą zwiększyć efektywność nauki (np. sygnały dźwiękowe, wizualne lub haptyczne, generowane w momencie poprawnego lub błędnego wykonania zadania). Ma to szczególne znaczenie w przypadku symulacji operacji wykonywanych ręcznie, gdzie możliwość otrzymania sygnału zwrotnego w postaci dotyku jest kluczowa dla całego treningu.

Strona | 67 Trzeba pamiętać, że aby poprawnie wykonać zadanie proceduralne, potrzeba umiejętności manualnych (wykonanie praktycznych zadań z użyciem siły) oraz umysłowych (wiedza o tym jak poprawnie wykonać zadanie, w jakiej kolejności, jakich połączeń użyć itd.). Podczas nauki wykonywania zadania, systemy VR dostarczają użytkownikowi cały zestaw informacji i wskazówek (wiedza proceduralna) dotyczących poprawnego wykonania wszystkich operacji.

Ocena skuteczności systemów treningowych jest najczęściej badana ilościowo i jakościowo (czas wykonania zadania, liczba ewentualnych błędów). Porównywane są także różne grupy testowe (osoby ćwiczące w wirtualnych symulatorach, osoby ćwiczące na fizycznych stanowiskach, osoby uczące się tylko przez obserwację).

Goznalez - Badillo wraz z zespołem wykazał, że czas potrzebny do zrealizowania zadania proceduralnego przy wsparciu urządzeń haptycznych, jest zawsze dłuższy od czasu realizacji zadania rzeczywistego. Czynnikami ograniczającymi skuteczność takich rozwiązań, były m.in.

[Gonzalez - Badillo i in. 2013]:

- złożony interfejs manipulatora haptycznego,

- ograniczenia sprzętowe (mały zasięg urządzeń dotykowych),

- problem z właściwym odwzorowaniem kształtu obiektu wirtualnego (czasami modele wirtualne mają postać uproszczoną).

Czynniki te mogą mieć niestety negatywny wpływ na skuteczność treningu. Dlatego też, zdaniem autora, zasadne jest poszukiwanie nowego, alternatywnego dla urządzeń haptycznych, rozwiązania w zakresie reprezentowania kształtu wirtualnych obiektów (czyli symulowania modeli cyfrowych).