3.1 Cel pracy
Celem pracy jest opracowanie nowego podejścia w budowie szkoleniowego systemu VR, stosowanego do interaktywnych symulacji zorientowanych na prace wykonywane na stanowisku produkcyjnym. Zaproponowano nowatorskie rozwiązanie integrujące niskokosztowe urządzenia VR stosowane do wizualizacji (hełm wizyjny) i śledzenia pozycji obiektów rzeczywistych (optyczny system śledzenia), z tzw. aktywnym urządzeniem dotykowym, którego rolę odgrywa manipulator o równoległej strukturze kinematycznej (robot typu Delta). Całość koncepcji systemu uzupełniają zaimplementowane obiekty fizyczne (mające reprezentację cyfrową), dzięki czemu możliwa była realizacja badań interakcji dotykowej zachodzącej pomiędzy użytkownikiem a elementami świata wirtualnego.
Koncepcję rozwiązania przedstawiono na rysunku 3.1, a główne założenia do opracowanego podejścia opisano w rozdziale 4.3.
Rys.3.1. Koncepcja systemu do badań interakcji dotykowej w środowisku VR
W zintegrowanym środowisku wirtualnym, użytkownik realizuje scenariusz symulacji, w trakcie której wchodzi w interakcję dotykową z elementami wirtualnej sceny i doświadcza ich właściwości fizycznych (np. kształt, wymiary gabarytowe, ciężar). Dane cyfrowe reprezentowane są przez ich rzeczywiste odpowiedniki oraz przez odpowiednio zaadaptowany
Strona | 70 efektor końcowy robota typu Delta, który przemieszcza się do pozycji umożliwiającej interakcję.
Głównym zadaniem robota, jako alternatywy dla stosowanych obecnie urządzeń haptycznych, jest symulowanie kształtu obiektów cyfrowych, a tym samym dostarczenie użytkownikowi bodźca dotykowego w trakcie eksperymentów. Wprowadzenie do środowiska wirtualnego nowego elementu - aktywnego urządzenia dotykowego jest podejściem, które nie było dotychczas stosowane w tworzeniu szkoleniowych systemów VR. W porównaniu do istniejących rozwiązań, zastosowanie robota zapewnia także znaczną swobodę ruchu użytkownikowi (dostępne systemy bazują na stałym kontakcie dłoni użytkownika z końcówką roboczą manipulatora haptycznego, który posiada mały zasięg roboczy).
Nowe podejście wymaga opracowania metody integracji sprzętowej i programowej poszczególnych komponentów zintegrowanego systemu VR, a także przygotowania projektu i budowy demonstracyjnego stanowiska. Z założenia, rozwiązanie jest niskokosztowym systemem do:
- badań interakcji dotykowych w środowisku wirtualnym, - interaktywnej symulacji ręcznych zadań proceduralnych.
Celem nadrzędnym prac związanych z integracją robota z wybranymi systemami VR, było zapewnienie możliwości adaptacji (w zintegrowanym środowisku wirtualnym) innych manipulatorów (np. robot typu SCARA).
Na przygotowanym stanowisku zrealizowano eksperymenty badawcze (według scenariuszy przewidzianych w aplikacji VR), które od strony praktycznej miały na celu zebranie danych dotyczących kluczowych parametrów rejestrowanej interakcji dotykowej z użytkownikiem. Oceny użytkowników19 testujących demonstracyjne stanowisko pozwoliły natomiast sprawdzić, na ile dotyk, czucie fizycznego przedmiotu wpływa na:
- immersyjność aplikacji VR,
- skuteczność wirtualnego szkolenia przemysłowego.
Na potrzeby pracy, immersyjność rozumie się jako subiektywną ocenę użytkownika, związaną z odczuciem zanurzenia w wirtualnym środowisku i odcięciem się od bodźców pochodzących ze świata rzeczywistego. Ponieważ jest to niemierzalna cecha systemów VR, badania stopnia immersji prezentowanego rozwiązania oparto na analizie ocen20 otrzymanych od osób
19 Studenci kierunków: Mechanika i Budowa Maszyn (40 osób: 35 mężczyzn, 5 kobiet), Zarządzanie i Inżynieria Produkcji (40 osób: 16 mężczyzn, 24 kobiety).
20 Stopień immersji wyznaczono na podstawie subiektywnych ocen wystawionych przez użytkowników, w skali 1-6, gdzie: 1 – źle (brak immersji), 6– bardzo dobrze (immersja na poziomie znakomitym).
Strona | 71 testujących wirtualne środowisko. Cykliczne próby realizacji zaplanowanego zadania proceduralnego pomogły z kolei wyznaczyć stopień skuteczności symulacji jako aplikacji treningowej dla przyszłych operatorów wybranego stanowiska pracy.
Należy podkreślić, że opracowana koncepcja systemu VR do badań interakcji dotykowej zakłada zastosowanie robota, którego konstrukcję przygotowano na bazie istniejących rozwiązań, w ramach projektu VISIONAIR21 (autor był członkiem zespołu badawczego).
Modyfikacja konstrukcji bądź poprawa funkcjonalności i działania manipulatora pod kątem robotyki nie były celem i przedmiotem badań w ramach niniejszej pracy.
3.2 Przesłanki do podjęcia problemu badawczego
Zapewnienie interakcji przez dotyk jest niezbędne z punktu widzenia wirtualnej symulacji czynności wykonywanych ręcznie. Aktualne rozwiązania stosowane do interaktywnych szkoleń przemysłowych oparte są na systemach haptycznych i dostarczają bodźce dotykowe w postaci wibracyjnych lub siłowych sprzężeń zwrotnych, a ma to miejsce podczas wystąpienia kolizji z modelami cyfrowymi.
Problem z prawidłowym odwzorowaniem właściwości obiektów wirtualnych (kształt, gabaryty, ciężar) przez urządzenia haptyczne, które zapewniłoby użytkownikowi wrażenie kontaktu z rzeczywistym przedmiotem, był główną przyczyną poszukiwania rozwiązań opartych na potencjale interfejsów dotykowych (TUI). Idea TUI w wirtualnej rzeczywistości to dostarczenie użytkownikowi immersyjnego środowiska takich bodźców dotykowych, dzięki którym obiekty cyfrowe będą namacalne.
Zdaniem autora, badania nad zastosowaniem interfejsów TUI zintegrowanych z odpowiednio zaimplementowanymi modelami fizycznymi, wyznaczają nową tendencję w rozwoju interaktywnych aplikacji VR. Świadczą o tym publikacje [Harley i in. 2017, Zielinski i in. 2017], które pojawiły się na przestrzeni ostatnich kilkunastu miesięcy. Niemniej jednak żadne z istniejących, nielicznych jeszcze rozwiązań, nie dotyczy ich potencjalnego zastosowania w szkoleniach przemysłowych. Autorska koncepcja bazuje co prawda na integracji urządzeń VR z modelami fizycznymi, ale głównym i najważniejszym komponentem zintegrowanego środowiska VR jest robot typu Delta, który aktywnie symuluje obiekty
21 VISION Advanced Infrastructure for Research (akronim: VISIONAIR, nr projektu: 262044, data realizacji:
01.02.2011 - 31.01.2015) – projekt międzynarodowy, którego celem było udostępnienie naukowcom aparatury do badań z zakresu wirtualnej rzeczywistości (VR), rzeczywistości rozszerzonej (ang. Augmented Reality - AR) oraz zaawansowanych wizualizacji naukowych. W ramach projektu zintegrowano zaawansowaną aparaturę VR poszczególnych ośrodków badawczych (partnerów projektu, w tym PP), dzięki czemu stworzona została unikalna infrastruktura badawcza w ramach Europejskiej Przestrzeni Badawczej (ang. European Research Area – ERA).
Strona | 72 cyfrowe. Ogólne przesłanki do podjęcia tematu można zatem określić jako uzupełnienie interfejsów dotykowych TUI stosowanych w środowiskach wirtualnych, przeznaczonych do interaktywnego szkolenia przemysłowego zorientowanego na czynności wykonywane na stanowisku produkcyjnym.
W proponowanym przez autora rozwiązaniu, problem z odwzorowaniem właściwości obiektów wirtualnych nie występuje, dzięki zastosowaniu ich fizycznych reprezentacji oraz urządzenia dotykowego. Dla przykładu (rys. 3.2), próba przeniesienia wirtualnego obiektu (wałka) z cyfrowego stołu nr 1 na wirtualny stół nr 2 polega na chwyceniu fizycznego modelu (reprezentującego wałek i znajdującego się w punkcie A, na fizycznym odpowiedniku stołu nr 1) i przetransportowaniu go do wybranych punktów (B, C, D itd.) na stole nr 2. Zadaniem urządzenia dotykowego jest symulowanie cyfrowego stołu nr 2 (dzięki umieszczeniu fizycznego artefaktu na efektorze końcowym) i przemieszczanie się do pozycji, które umożliwią odłożenie obiektu w odpowiednich miejscach (stołu wirtualnego nr 2). Dzięki temu użytkownik cały czas dotyka fizycznych obiektów, odczuwa opór przez nie stwarzany, jednocześnie mając zachowaną pełną swobodę ruchu.
Rys.3.2. Symulacja przemieszczenia wirtualnego obiektu. Realizacja zadania (po lewej), obraz widziany przez użytkownika (po prawej) [źródło: opracowanie własne]
Stół nr 1
Stół nr 2
Strona | 73
3.3 Problem badawczy
Problemy badawcze w niniejszej rozprawie wynikają z jej celu, którym jest opracowanie nowego podejścia w budowie szkoleniowego systemu VR, z jednoczesnym zapewnieniem możliwości jego zastosowania do badań interakcji dotykowych z użytkownikiem.
Głównymi problemami badawczymi są opracowanie metody integracji robota typu Delta z wybranymi systemami immersyjnymi (hełm wizyjny, system śledzenia) i fizycznymi artefaktami (reprezentującymi dane cyfrowe) oraz opracowanie koncepcji i budowa systemu (stanowiska) do badań interakcji dotykowej z użytkownikiem.
Na podstawie problemów głównych wyróżniono następujące problemy cząstkowe:
1. Opracowanie metody komunikacji robota ze środowiskiem wirtualnym.
2. Przygotowanie algorytmu symulowania obiektów wirtualnych przez efektor końcowy urządzenia dotykowego.
3. Zestawienie poszczególnych komponentów zintegrowanego systemu VR.
4. Opracowanie scenariuszy badawczych (w tym zdefiniowanie zakresu ręcznego zadania proceduralnego).
5. Przygotowanie interaktywnej aplikacji VR przeznaczonej do symulacji scenariuszy badawczych (w tym budowa modeli wirtualnych do symulacji).
Na podstawie analizy istniejących rozwiązań VR przeznaczonych do interaktywnych szkoleń przemysłowych, a także na bazie doświadczeń własnych, zebranych w wyniku prac badawczych nad zastosowaniem robota jako elementu aktywnie symulującego obiekty cyfrowe, autor postawił następującą hipotezę badawczą:
Zastosowanie robota typu Delta w środowisku wirtualnym pozwoli dostarczyć bodźce dotykowe podczas interakcji z cyfrowymi obiektami a tym samym wpłynie na immersyjność
aplikacji VR do treningu zadań proceduralnych.
Spodziewane przez autora wyniki badań mają dać odpowiedź co do zasadności stosowania opracowanego systemu jako rozwiązania wspierającego szkolenia z zakresu prac wykonywanych na stanowisku produkcyjnym.
Strona | 74