Rozprawa doktorska

Politechnika Poznańska

Wydział Budowy Maszyn i Zarządzania Katedra Zarządzania i Inżynierii Produkcji

Rozprawa doktorska

Badanie interakcji dotykowej w rzeczywistos ci wirtualnej

z zastosowaniem robota typu Delta

mgr inż. Damian GRAJEWSKI

Promotor: prof. dr hab. inż. Adam HAMROL Promotor pomocniczy: dr inż. Filip GÓRSKI

Poznań 2017

Strona | 2

Spis treści

STRESZCZENIE ... 4

ABSTRACT ... 7

WYKAZ WAŻNIEJSZYCH OZNACZEŃ ... 10

1. Wprowadzenie ... 11

2. Przegląd literatury – aktualny stan wiedzy ... 15

2.1 Wstęp – Wirtualna Rzeczywistość i systemy VR ... 15

2.1.1 Definicje wirtualnej rzeczywistości ... 15

2.1.2 Komponenty systemu VR ... 16

2.1.3 Sprzęt VR do projekcji ... 17

2.1.4 Sprzęt VR do interakcji ... 18

2.1.5 Metodyka tworzenia aplikacji wirtualnej rzeczywistości ... 23

2.1.6 Przykładowy system VR ... 27

2.2 Przegląd rozwoju rozwiązań VR ... 28

2.2.1 Wprowadzenie ... 28

2.2.2 Pierwsza fala rozwoju – systemy profesjonalne ... 30

2.2.3 Druga fala rozwoju – systemy niskokosztowe ... 34

2.3 Zastosowania VR w inżynierii produkcji ... 37

2.3.1 Wprowadzenie ... 37

2.3.2 Projektowanie wyrobów ... 39

2.3.3 Symulacja procesów wytwarzania ... 40

2.3.4 Ergonomia ... 41

2.3.5 Edukacja i szkolenia ... 43

2.3.6 Szkolenia przemysłowe ... 45

2.4 Interakcja dotykowa z użytkownikiem w wirtualnej rzeczywistości ... 46

2.4.1 TUI - Dotykowe interfejsy użytkownika ... 46

2.4.2 Idea TUI w wirtualnej rzeczywistości ... 53

2.4.3 Podsumowanie ... 57

2.5 Interaktywne szkolenia przemysłowe w VR – istniejące podejścia i rozwiązania ... 58

2.5.1 Podejścia w tworzeniu interaktywnych systemów do szkoleń przemysłowych ... 58

2.5.2 Wirtualne symulacje do szkoleń przemysłowych – istniejące rozwiązania ... 61

2.5.3 Podsumowanie ... 66

2.6 Podsumowanie istniejącego stanu wiedzy ... 67

3. Cel pracy i problem badawczy ... 69

3.1 Cel pracy ... 69

3.2 Przesłanki do podjęcia problemu badawczego ... 71

3.3 Problem badawczy ... 73

Strona | 3

4. Metodyka badań ... 74

4.1 Cele badań eksperymentalnych ... 74

4.2 Plan prac badawczych ... 75

4.3 Koncepcja systemu do badań eksperymentalnych ... 77

4.4 Zastosowane zasoby i narzędzia ... 79

4.4.1 Sprzęt VR ... 79

4.4.2 Oprogramowanie VR ... 82

4.4.3 Robot typu Delta ... 86

4.5 Budowa systemu do badań interakcji dotykowej w rzeczywistości wirtualnej ... 89

4.5.1 Przygotowanie stanowiska badawczego ... 89

4.5.2 Opracowanie scenariuszy badawczych ... 91

4.5.3 Budowa modeli wirtualnych do symulacji ... 95

4.5.4 Wykonanie modeli fizycznych reprezentujących dane cyfrowe ... 96

4.5.5 Procedura implementacji modeli fizycznych w środowisku VR ... 98

4.5.6 Budowa aplikacji VR ... 100

4.6 Metoda integracji sprzętowej i programowej komponentów systemu VR do badań interakcji dotykowej ... 102

4.6.1 Konfiguracja interfejsu komunikacyjnego ... 102

4.6.2 Symulowanie obiektu cyfrowego przez końcówkę roboczą urządzenia dotykowego ... 103

4.7 Wstępne badania urządzenia dotykowego ... 105

5. Eksperymenty badawcze: przebieg i wyniki ... 110

5.1 Badanie interakcji dotykowej ... 110

5.2 Realizacja ręcznego zadania proceduralnego ... 115

5.3 Wyniki badań ... 118

5.3.1 Ocena stopnia immersji rozwiązania (badanie ankietowe) ... 118

5.3.2 Ocena stopnia skuteczności wirtualnego szkolenia ... 127

6. Podsumowanie i wnioski ... 131

6.1 Wnioski praktyczne ... 131

6.2 Wnioski ogólne ... 133

6.3 Kierunki dalszych prac ... 133

LITERATURA ... 135

SPIS RYSUNKÓW ... 141

SPIS TABEL ... 146

ZAŁĄCZNIK NR 1: BADANIE ANKIETOWE ... 147

ZAŁĄCZNIK NR 2: WYNIKI POMIARÓW (ZADANIE PROCEDURALNE) ... 150

Strona | 4

STRESZCZENIE

Rozprawa podejmuje problematykę efektywnego zastosowania metod i narzędzi wirtualnej rzeczywistości (ang. Virtual Reality - VR) do tworzenia interaktywnych symulacji szkoleniowych, zorientowanych na prace wykonywane na stanowisku produkcyjnym.

W wyniku przeprowadzonej analizy dotychczasowych rozwiązań VR stosowanych do szkoleń przemysłowych zauważono, że oczekiwany poziom skuteczności wirtualnego treningu można osiągnąć tylko poprzez zapewnienie odpowiedniej immersji (ang. immersion)¹ oraz interakcji dotykowej (ang. touch interaction)² zachodzącej pomiędzy użytkownikiem a elementami środowiska wirtualnego. Istniejące na rynku systemy VR dostarczają przydatne (z punktu widzenia szkoleń) bodźce dotykowe głównie w oparciu o manipulatory haptyczne³, które w ocenie autora mają znaczne ograniczenia sprzętowe (m.in. duże gabaryty, mały obszar roboczy, brak mobilności), a tym samym nie są w stanie zapewnić odpowiedniej swobody ruchów dla użytkownika. Co więcej, komercyjne rozwiązania w małym stopniu integrują immersyjne i haptyczne urządzenia, z równoczesnym zapewnieniem manipulacji fizycznymi reprezentacjami danych cyfrowych, celem zwiększenia realizmu symulacji. Dlatego też zasadne było podjęcie prac nad opracowaniem rozwiązania wspierającego badania interakcji dotykowej z użytkownikiem, na podstawie których będzie można analizować oraz interpretować jego polecenia i działania, wynikające wprost z manipulacji fizycznymi obiektami zintegrowanymi ze środowiskiem VR.

W pracy przedstawiono koncepcję, proces budowy oraz testy autorskiego systemu VR, bazującego na nowatorskim zastosowaniu robota typu Delta. Głównym zadaniem robota jest zachowanie zbliżone, ale alternatywne do funkcjonalności urządzeń haptycznych w zakresie symulowania kształtu wirtualnych obiektów. Przygotowane rozwiązanie integruje robota o równoległej strukturze kinematycznej z niskokosztowym sprzętem VR przeznaczonym do wizualizacji (hełm wizyjny) i śledzenia pozycji obiektów rzeczywistych (optyczny system śledzenia), a także zapewnia manipulację fizycznymi modelami (reprezentującymi dane cyfrowe). Koncepcja systemu zakłada jego zastosowanie do wirtualnego kursu

1 Immersja (ang. immersion) - proces „zanurzania” się użytkownika w wirtualnym świecie, związany z odcięciem się od bodźców pochodzących ze świata rzeczywistego. Aby podnieść poziom immersji, stosuje się tzw.

urządzenia immersyjne do projekcji (np. hełmy wizyjne - ang. Head Mounted Displays - HMD) lub interakcji (np.

systemy śledzenia) oraz urządzenia haptyczne [www.invr.pl].

2 Interakcja dotykowa w VR polega na dostarczeniu użytkownikowi odpowiednich bodźców, dzięki którym analizowane obiekty wirtualne będą namacalne (będzie można je chwycić, przesunąć itp.).

3 Technologia haptyczna (z greckiego haptikos – dotyk) pozwala użytkownikowi na interakcję z komputerem poprzez otrzymywanie dotykowych informacji zwrotnych (najczęściej w postaci wibracyjnego lub siłowego sprzężenia zwrotnego, generowanego przez efektor końcowy manipulatora haptycznego) [www.invr.pl].

Strona | 5 ukierunkowanego na nabycie kompetencji z zakresu wykonywania ręcznych zadań proceduralnych - jako odpowiedź na rosnące zapotrzebowanie na niskokosztowe systemy do szkoleń przemysłowych.

Celem pracy jest opracowanie nowego podejścia w budowie szkoleniowych systemów VR, które polega na wprowadzeniu do środowiska wirtualnego nowego elementu - tzw. aktywnego urządzenia dotykowego⁴ symulującego obiekty cyfrowe. Podejście wymaga opracowania metody integracji sprzętowej i programowej poszczególnych komponentów systemu VR, a także projektu i budowy demonstracyjnego stanowiska. W praktyce, na bazie opracowanej metody utworzono algorytm symulowania obiektów cyfrowych przez efektor końcowy robota typu Delta (na końcówce roboczej umieszczono obiekt fizyczny reprezentujący dane cyfrowe) oraz skonfigurowano interfejs komunikacyjny z systemami VR. Celem nadrzędnym prac związanych z integracją manipulatora z systemami VR było zapewnienie możliwości adaptacji do opracowanego rozwiązania także innych robotów (np. robota typu SCARA⁵).

Badania eksperymentalne dotyczyły interakcji dotykowej zachodzącej pomiędzy użytkownikiem a efektorem końcowym robota. Przygotowano interaktywną aplikację VR do symulacji opracowanych scenariuszy badawczych, w trakcie których uczestnik wirtualnej sceny wchodzi w interakcję z symulowanym obiektem, a zadaniem manipulatora typu Delta jest przemieszczanie się do pozycji umożliwiającej taką interakcję. Eksperymenty miały na celu sprawdzenie, na ile zapewnienie bodźca dotykowego wpływa na immersyjność⁶ rozwiązania.

Analiza wyników badań przyczyniła się także do wykrycia potencjalnych ograniczeń (sprzętowych lub programowych) opracowanego systemu oraz wyznaczenia kierunków dalszych badań.

Na przygotowanym stanowisku zrealizowano również scenariusz wirtualnego treningu z wybranego zadania proceduralnego. Celem testu było wykazanie, czy rozwiązanie może być stosowane do szkoleń zorientowanych na czynności wykonywane na stanowisku produkcyjnym. Cykliczne próby realizacji zadania proceduralnego przez grupy testowe

4 Biorąc pod uwagę sposób użytkowania robota typu Delta (zwanego także manipulatorem typu Delta), którego zadaniem było reprezentowanie kształtu (inaczej symulowanie) obiektów wirtualnych w trakcie interakcji dotykowej z użytkownikiem, w dalszej części pracy jest on alternatywnie nazywany aktywnym urządzeniem dotykowym.

5 Robot SCARA (ang. Selectively Compliant Assembly Robot Arm, tłum. selektywne podatne ramię robota montażowego). Robot posiada trzy osie równoległe, dwie o ruchu obrotowym i jedną o postępowym. Robot zaprojektowano z myślą o zadaniach montażowych [Honczarenko 2009].

6 Na potrzeby realizowanej pracy immersyjność rozumie się wyłącznie jako subiektywną ocenę użytkownika, związaną z odczuciem zanurzenia w wirtualnym środowisku i odcięciem się od bodźców pochodzących ze świata rzeczywistego. Ponieważ jest to obiektywnie niemierzalna cecha systemów VR, stopień immersji przygotowanego rozwiązania wyznaczono na podstawie ocen otrzymanych od osób testujących wirtualne środowisko (w skali 1-6, gdzie: 1 – źle: brak immersji, 6 – bardzo dobrze: immersja na poziomie znakomitym).

Strona | 6 pomogły wyznaczyć stopień skuteczności symulacji jako aplikacji szkoleniowej dla przyszłych operatorów wybranego stanowiska pracy. Stopień realizmu symulacji oraz poziom immersji w opracowanej aplikacji VR wyznaczono przy pomocy klasycznego badania ankietowego.

Praca składa się z części teoretycznej oraz praktycznej. Część teoretyczna rozprawy została podzielona na trzy rozdziały. Rozdział pierwszy to wprowadzenie, przedstawiające potrzebę opracowania nowego podejścia w tworzeniu interaktywnych symulacji szkoleniowych, uwzględniającego badania interakcji dotykowej. W rozdziale drugim przedstawiono główne założenia wirtualnej rzeczywistości, scharakteryzowano systemy VR oraz zaprezentowano zastosowania VR w inżynierii. Opisano także istniejące podejścia stosowane w tworzeniu wirtualnych symulacji do interaktywnych szkoleń przemysłowych. Analizując wady istniejących systemów VR, uzasadniono potrzebę opracowania nowego rozwiązania wspierającego dodatkowo badania interakcji dotykowej. Część teoretyczną rozprawy zakończono rozdziałem trzecim, wyznaczając cel pracy.

Część praktyczna składa się z trzech rozdziałów. W rozdziale czwartym zaprezentowano metodykę badań. Wyznaczono plan i cele eksperymentów badawczych, a także opisano główne założenia koncepcji systemu VR. Przedstawiono również zasoby (sprzęt i oprogramowanie) zastosowane do budowy stanowiska badawczego. Zaprezentowano opracowaną metodę integracji aktywnego urządzenia dotykowego z wybranymi systemami VR i modelami fizycznymi reprezentującymi dane cyfrowe. Na bazie metody opisano proces budowy systemu do badań interakcji dotykowej w wirtualnej rzeczywistości. W rozdziale piątym opisano przebieg eksperymentów badawczych. Zaprezentowano wyniki badań, na bazie których dokonano oceny możliwości zastosowania rozwiązania w interaktywnych symulacjach ręcznych zadań proceduralnych. W rozdziale ostatnim zawarto podsumowanie i wnioski z realizacji pracy oraz przedstawiono kierunki dalszych badań.

Strona | 7

ABSTRACT

The dissertation deals with the problem of effective use of Virtual Reality (VR) methods and tools to create interactive training simulations oriented at work at a production stand.

As a result of the analysis of existing VR solutions for industrial training, it was noted that the expected level of training performance can only be achieved by providing adequate immersion and touch interaction between the user and the virtual environment components for the need for direct control over the image being presented. Existing VR systems provide useful (from the training point of view) tactile stimuli mainly based on haptic manipulators, which, according to the author, have significant hardware limitations (e.g. large dimensions, small work area, lack of mobility), and thus they are not able to provide the freedom of movement for the user. In addition, commercial solutions integrate immersive and haptic devices to a small extent, while simultaneously providing physical manipulation of digital data representations to enhance the realism of the simulation. It is therefore reasonable to undertake work on a solution that will support user interaction studies, on the basis of which it will be possible to analyze and interpret its commands and actions resulting directly from physical manipulation of objects integrated with virtual environment (VE).

Doctoral thesis presents the concept, design process and testing of the new VR system based on the innovative application of the Delta robot. The main task of the manipulator is to maintain a functionality of haptic devices in the field of simulating the shape of virtual objects during interactive simulations in a similar but an alternative way. Prepared solution integrates robot with a parallel kinematics with low-cost VR devices for projection (Head Mounted Display) and real-object tracking (optical tracking) and also manages physical models representing digital data. The concept of the system implies applying it to a virtual training aimed at acquiring the competence to perform manual procedural tasks as a response to the growing demand for low-cost industrial training systems.

The aim of the work was to develop a new approach to the development of VR systems dedicated to training, which consists in introducing into the virtual environment a new element - an active touch device that simulates digital objects. The approach required the development of a hardware and software integration method for all components of the VR system, as well as the design of a demonstration stand. In practice, on the basis of the developed method, an algorithm for simulating digital objects by the end effector of a Delta robot was created (a physical object representing digital data was placed on the effector). Communication interface with VR systems was configured as well. The main purpose of the work involved

Strona | 8 integrating the manipulator with the Virtual Reality systems. It was important to provide the ability to adapt to the developed solution also other robots (e.g. SCARA robot).

Experimental research was concerned with the touch interaction between the user and the end effector of the robot. An interactive VR application has been prepared for the simulation of the developed test scenarios during which the participant of the virtual scene interacted with the simulated object and the manipulator task was to move to a location enabling such interaction. The experiments were aimed to see how the presence of a touch stimulus influences the immersion of the solution. Analysis of the obtained results also contributed to the detection of potential limitations (hardware or software) of the developed system and directions of further research.

The scenario of virtual training from the selected procedural task was also performed on an experimental test stand. The purpose of the test was to demonstrate whether the solution could be applied to work-oriented training at the production stand. Cyclical attempts to perform a procedural task by test groups have helped to determine the effectiveness of simulation as a training application for future operators of a selected workplace. The realism of the simulation and the level of immersion in the developed Virtual Reality application were determined using a survey.

The work consists of a theoretical and practical part. Theoretical part of the dissertation was divided into three chapters. Chapter One is an introduction of the need to develop a new approach to interactive training simulations that incorporate touch interaction study. Chapter two presents the main assumptions of VR, describing the characteristics of VR systems and the VR applications in engineering. Existing approaches and solutions used in development of virtual simulations for interactive industrial training are also described. When analyzing the faults of existing solutions, it was justified to develop a new solution that simultaneously supports touch-based testing. The theoretical part of the dissertation is completed by chapter three, setting the purpose of the work.

The practical part consists of three chapters. Chapter four presents the research methodology. The plan and objectives of the research experiments were determined and the main assumptions of the Virtual Reality system were described. The resources (hardware and software) used to built the experimental test stand were also presented. The developed method of integrating an active touch device with the selected Virtual Reality systems and physical models representing digital data is presented. The method of building a system for studying touch interaction in virtual reality is based on the method. Chapter five describes the conduction of research experiments. The results of the study were posted. On their basis, the possibility of

Strona | 9 applying the solution in interactive simulations of manual procedural tasks was evaluated. The final chapter summarizes and concludes the work and presents the directions of further research.

Strona | 10

WYKAZ WAŻNIEJSZYCH OZNACZEŃ

AM AR

Additive Manufacturing (wytwarzanie przyrostowe) Augmented Reality (rzeczywistość rozszerzona)

CAD Computer Aided Design (komputerowo wspomagane projektowanie) CAE Computer Aided Engineering (komputerowe wspomaganie obliczeń

inżynierskich) CAx

DOF FDM

FMD FoF GUI HCI

Computer Aided Technologies (techniki komputerowe w Inżynierii Produkcji)

Degrees of Freedom (stopnie swobody)

Fused Deposition Modelling (modelowanie uplastycznionym tworzywem sztucznym)

Face-Mounted Displays (wyświetlacze osobiste) Factories of the Future (fabryki przyszłości)

Graphical User Interface (graficzny interfejs użytkownika) Human-Computer Interaction (interakcja człowiek-komputer) HMD

IoT IP

Head Mounted Display (hełm wizyjny) Internet of Things (Internet rzeczy) Internet Protocol (protokół internetowy) PID

PMSM

RP TUI UDP

Proportional-Integral-Derivative controller (regulator proporcjonalno- całkująco-różniczkujący)

Permanent Magnet Synchronous Motor (silnik synchroniczny z magnesem stałym)

Rapid Prototyping (szybkie prototypowanie)

Tangible User Interface (dotykowy interfejs użytkownika) User Diagram Protocol (diagramowy protokół użytkownika) VE

VR

Virtual Environment (środowisko wirtualne) Virtual Reality (wirtualna rzeczywistość)

Strona | 11

1. Wprowadzenie

W dobie trwającej, czwartej rewolucji przemysłowej, zwanej Przemysłem 4.0 (ang.

Industry 4.0) ⁷, wiele przedsiębiorstw produkcyjnych dąży do wdrożenia jej głównych założeń, przede wszystkim w celu osiągnięcia przewagi konkurencyjnej [Krzyżanowski 2017]. Mimo iż Przemysł 4.0 nie jest bezpośrednio związany z rozwojem nowych technologii, a raczej stanowi istotny krok w kierunku digitalizacji, to i tak pośrednio stał się impulsem do efektywnego zastosowania procesów automatyzacji, przetwarzania i wymiany danych oraz technik wytwarzania. Dlatego też, obserwowany w ostatnich latach dynamiczny rozwój technologii wytwarzania przyrostowego (ang. Additive Manufacturing - AM) oraz technologii wirtualnych i haptycznych, został szybko zaadaptowany na potrzeby budowy inteligentnych fabryk przyszłości (ang. Factories of the Future - FoF).

Nowoczesne technologie wirtualne i haptyczne to rozwiązania wirtualnej rzeczywistości (ang. Virtual Reality – VR), które wspierają dziś wiele gałęzi przemysłu. W obszarze przemysłu zbrojeniowego można zaobserwować użycie VR jako grupy technik wspomagających prototypowanie nowych wyrobów (np. pojazdów wojskowych, broni). Środowiska wirtualne (ang. Virtual Environment – VE) stosuje się również do budowy interaktywnych aplikacji szkoleniowych z taktyki wojskowej, gdzie analizuje się sprawność bojową żołnierzy, reakcje na różne sytuacje na polu walki oraz śledzi się stan ich zdrowia. Systemy VR umożliwiają także zaawansowane symulacje warunków bojowych [Pająk i in. 2011, www.tatrc.org, www.systemstech.com].

W przemyśle medycznym rozwiązania VR znalazły swoje zastosowanie w dziedzinie inżynierii medycznej (m.in. prototypowanie wyrobów medycznych, wspomaganie projektowania infrastruktury medycznej) [Pezzementi i in. 2008]. Od kilku lat technologie wirtualne stosuje się także to budowy interaktywnych aplikacji edukacyjnych. Mowa tu zarówno o wirtualnych atlasach anatomicznych do przekazywania wiedzy ogólnej [Hamrol i in. 2013], ale także o wirtualnych prezentacjach metodyki zabiegów czy interaktywnych instrukcjach obsługi sprzętu medycznego, które służą do przekazywania wiedzy proceduralnej [Coles 2011, Zhang i in. 2012]. Zaawansowane systemy VR stosuje się

7 Koncepcja Przemysłu 4.0 polega na integracji systemów gromadzących, przetwarzających i wymieniających dane (przy pomocy tzw. chmur obliczeniowych) z inteligentnych maszyn komunikujących się z użytkownikami (przy pomocy zaawansowanej infrastruktury komunikacyjnej). Podstawą rozwiązań Przemysłu 4.0 są cyber-fizyczne systemy produkcji, skomunikowane w integralną sieć z tzw. Internetem Rzeczy (ang.

Internet of Things), Internetem usług (inteligentne sieci i logistyka) oraz Internetem ludzi (sieci społecznościowe) [Brettel i in. 2014, Cichy 2014].

Strona | 12 również do budowy specjalistycznych symulatorów chirurgicznych i trenażerów zabiegów [Färber i in. 2009, Panait i in. 2009, de Bruin i in. 2010 , Mafi i in. 2010, Ullrich i in. 2010], a także do rehabilitacji pacjentów (m.in. interaktywne aplikacje wspomagające terapie ruchowe) [Girone i in. 2000, Cameirao i in. 2012].

Analizując najważniejsze z punktu widzenia autora rozprawy obszary zastosowań, czyli budowę maszyn i inżynierię produkcji, rozwiązania wirtualnej rzeczywistości efektywnie wspierają przede wszystkim procesy projektowania wyrobów, procesów oraz stanowisk pracy.

Środowiska wirtualne umożliwiają wizualizację danych CAD (ang. Computer Aided Design) wyrobu w celu kształtowania, porównywania i optymalizacji konstrukcji, jeszcze przed jego wytworzeniem. Umożliwiają także poznanie środowisk, w których będą one eksploatowane [Whyte i in. 2000, Seth i in. 2005, Weiss i in. 2005]. Jeśli chodzi o wsparcie w zakresie projektowania procesów, techniki VR oferują narzędzia do symulacji, analiz i optymalizacji procesów wytwarzania i montażu [Ritchie i in. 2008, Grajewski i in. 2015a, Gonzalez-Badillo i in. 2013]. Z kolei analizując publikacje dotyczące wykorzystania zalet i możliwości VR w projektowaniu stanowisk pracy, można zauważyć, że technologie wirtualne coraz częściej znajdują zastosowanie w pracach badawczych z zakresu bezpieczeństwa i ergonomii [Januszka 2012, Grajewski i in. 2013, Kaklanis i in. 2013]. Spowodowane jest to dużymi możliwościami oferowanymi przez te techniki, przyczyniającymi się do poszerzenia zakresu badań z jednej strony, a także ograniczenia kosztów związanych z wytwarzaniem fizycznych prototypów takich stanowisk z drugiej.

Jednym z najbardziej dynamicznie rozwijających się obszarów zastosowań VR w inżynierii produkcji są interaktywne systemy do szkoleń przemysłowych. Jeszcze do niedawna sporym ograniczeniem dla rozwoju wirtualnych aplikacji szkoleniowych był koszt urządzeń VR (m.in. zaawansowane systemy stereoskopii, systemy śledzenia, urządzenia haptyczne), umożliwiających interakcję z immersyjnym środowiskiem. Istotny wzrost zainteresowania rozwiązaniami VR ze strony branży e-rozrywki, doprowadził jednak do wprowadzenia na rynek tańszych urządzeń, głównie niskokosztowych hełmów wizyjnych.

Dzięki temu technologie VR stały się bardziej dostępne, co miało też swoje przełożenie na pojawiające się na rynku rozwiązania w zakresie wirtualnych aplikacji szkoleniowych [Buń i in. 2017a].

Efektywne zastosowanie współczesnych narzędzi IT pozwala wygenerować środowiska wirtualne o bardzo dużej złożoności graficznej i logicznej, dzięki czemu immersyjne aplikacje szkoleniowe dostarczają użytkownikowi symulacje, w których można wchodzić w swobodną

Strona | 13 interakcję z obiektami cyfrowymi. Dodatkowymi czynnikami determinującymi stosowanie wirtualnych symulacji jako alternatywnych narzędzi szkoleniowych, są:

- bezpieczeństwo (w przypadkach, gdy szkolenie może narażać zdrowie i życie kursanta), - koszty organizacji szkolenia (w sytuacjach, kiedy przeprowadzenie szkolenia w normalnych warunkach wymaga dużych nakładów finansowych oraz czasu).

Analizując potencjał rozwiązań VR w zakresie interaktywnych systemów stosowanych do szkoleń przemysłowych, ze szczególnym uwzględnieniem interakcji dotykowej, jaka zachodzi pomiędzy użytkownikiem (osoby szkoloną) a elementami środowiska wirtualnego, można zaobserwować dwa podejścia w ich tworzeniu. Podejście immersyjne zakłada użycie systemów do stereoskopowej wizualizacji, co w połączeniu z systemami śledzenia zapewnia wysoki poziom immersji (ang. immersion), czyli „zanurzenia” użytkownika w świecie wirtualnym.

Minusem tego rozwiązania jest brak sygnału dotykowego. W podejściu immersyjnym coraz częściej stosuje się urządzenia do szybkiego prototypowania (ang. Rapid Prototyping – RP), dzięki którym można przygotować fizyczne reprezentacje modeli cyfrowych, które są niezbędne w trakcie symulacji wirtualnej (np. modele narzędzi ręcznych, panele sterujące) [Górski i in. 2013, Buń i in. 2017a]. Podnosi to rzecz jasna stopień immersji, ale wspomniany już brak bodźca dotykowego ogranicza interakcję z użytkownikiem. Oczekiwany stopień interakcji dotykowej zapewnia z kolei podejście haptyczne, które zakłada zastosowanie manipulatora z efektem tzw. siłowego sprzężenia zwrotnego (ang. force feedback). Urządzenie odpowiada za przekazywanie bodźca (np. w postaci wibracji) podczas kolizji z cyfrowym obiektem wirtualnej sceny. W tym podejściu także korzysta się z rozwiązań RP. Dla przykładu, przy użyciu technik szybkiego prototypowania można przygotować fizyczny model pistoletu zgrzewającego, który następnie nakłada się na końcówkę roboczą manipulatora w celu pogłębienia realizmu symulowanego procesu technologicznego [Górski i in. 2013, Grajewski i in. 2015a]. W podejściu haptycznym bardzo często rezygnuje się ze stosowania hełmu wizyjnego (ang. Head Mounted Display – HMD), przede wszystkim za sprawą ograniczeń sprzętowych urządzeń haptycznych (brak mobilności, mały zasięg pracy), co automatycznie wpływa na obniżenie poziomu immersji.

W wyniku przeprowadzonej analizy istniejących podejść w tworzeniu interaktywnych systemów do szkoleń przemysłowych zauważono, że o poziomie skuteczności wirtualnego treningu decydują immersja oraz interakcja dotykowa, dzięki którym osoba szkolona może sprawować kontrolę nad przedstawianym (w trakcie symulacji) obrazem. Co warte podkreślenia, komercyjne rozwiązania w małym stopniu integrują immersyjny i haptyczny

Strona | 14 sprzęt VR, z równoczesnym umożliwieniem manipulacji fizycznymi modelami (reprezentacjami danych cyfrowych). Interakcja dotykowa zachodząca pomiędzy użytkownikiem a cyfrowymi elementami wirtualnej symulacji z reguły ogranicza się do kontaktu dłoni z końcówką roboczą manipulatora haptycznego. Dostępne na rynku szkoleniowe systemy VR mają znaczne ograniczenia sprzętowe (m.in. duże gabaryty, mały obszar roboczy, brak mobilności), które w ocenie autora nie zapewniają odpowiedniej swobody ruchów dla użytkownika. Warto nadmienić, że koszt zakupu komercyjnych rozwiązań, a w szczególności urządzeń haptycznych jest wysoki (od kilkuset tys. do ponad 1 mln zł [www.invr.pl]), co w zasadniczy sposób hamuje powszechny dostęp do tych systemów.

W kontekście wymienionych wad i ograniczeń istniejących rozwiązań, a także na podstawie doświadczeń własnych autora⁸, wynikających z realizacji prac badawczych [Grajewski i in. 2013, Grajewski i in. 2015a, Grajewski i in. 2017], uzasadniona staje się potrzeba opracowania nowego podejścia zarówno w budowie szkoleniowego systemu VR, jak i w tworzeniu interaktywnej symulacji, która dodatkowo umożliwia badania interakcji dotykowych. Podejście polega na opracowaniu rozwiązania integrującego niskokosztowe urządzenia VR stosowane do wizualizacji i śledzenia pozycji obiektów rzeczywistych, z tzw.

aktywnym urządzeniem dotykowym, którego zadaniem jest symulowanie kształtu (alternatywa dla systemów haptycznych) wirtualnych modeli. Rolę takiego urządzenia, dzięki opracowaniu algorytmu symulowania obiektu cyfrowego przez końcówkę roboczą, odgrywa manipulator o równoległej strukturze kinematycznej (robot typu Delta). Całość koncepcji rozwiązania uzupełniają obiekty fizyczne (mające reprezentację cyfrową).

Koncepcja systemu zakłada jego zastosowanie do wirtualnego kursu ukierunkowanego na nabycie kompetencji z zakresu wykonywania ręcznych zadań proceduralnych - jako odpowiedź na rosnące zapotrzebowanie na niskokosztowe systemy do szkoleń przemysłowych.

Wymierne efekty pracy to uzupełnienie tzw. dotykowych interfejsów użytkownika (ang. Tangible User Interface - TUI)⁹ stosowanych w VR o nowe rozwiązanie, które umożliwia kontakt z symulowanym obiektem przy wsparciu aktywnego urządzenia dotykowego. Praca stanowi także poszerzenie aktualnego stanu wiedzy w obszarze zastosowania technologii wirtualnych i haptycznych w interaktywnych symulacjach szkoleń przemysłowych.

8 Autor rozprawy jest członkiem Laboratorium Wirtualnego Projektowania Katedry Zarządzania i Inżynierii Produkcji na Wydziale Budowy Maszyn i Zarządzania Politechniki Poznańskiej.

9 TUI - Tangible User Interface (dotykowy interfejs użytkownika) – interfejs użytkownika, przy wsparciu którego możliwa jest kontrola i sterowanie nad określonymi działaniami cyfrowych systemów z użyciem obiektów fizycznych [Ras i in. 2012].

Strona | 15

2. Przegląd literatury – aktualny stan wiedzy

2.1 Wstęp – Wirtualna Rzeczywistość i systemy VR

2.1.1 Definicje wirtualnej rzeczywistości

Nauka definiuje wirtualną rzeczywistość jako wykorzystanie technologii komputerowej do tworzenia efektu interaktywnego trójwymiarowego świata, w którym obiekty mają postać przestrzenną [Robles de la Torre 2008]. G.C. Burdea i P. Coiffet opisują wirtualną rzeczywistość jako „rozbudowany interfejs użytkownika, który pozwala na symulację w czasie rzeczywistym i interakcję za pośrednictwem wielu kanałów zmysłowych (przez obraz, dźwięk, dotyk, węch i smak)” [Burdea i Coiffet 2003, Pająk i in. 2011]. Z kolei według S. Brysona, VR to „użycie technologii informatycznych do tworzenia efektu interaktywnego trójwymiarowego świata, w którym każdy obiekt posiada sens (właściwość) obecności w tej przestrzeni” [Bryson 1999, Pająk i in. 2011].

Specjaliści dziedziny opisując kluczowe cechy wirtualnej rzeczywistości, z reguły posługują się tzw. trójkątem VR (rys. 2.1). Najważniejszą cechą VR jest interakcja (ang. interaction), czyli możliwość kontroli nad przedstawionym obrazem oraz sterowania obiektami, które znajdują się w wirtualnym świecie (np. zmiana ich stanu, wyglądu itp.) [Pająk i in. 2011].

Rys.2.1. Kluczowe cechy rzeczywistości wirtualnej [źródło: Burdea i Coiffet 2003]

Z kolei immersja (ang. immersion) to subiektywne odczucie bycia zanurzonym w świecie wirtualnym, związane z odcięciem się użytkownika od bodźców z otaczającego go świata rzeczywistego i zastąpienie ich kompatybilnymi bodźcami ze świata wirtualnego.

Stopień immersji w środowisku VR jest powiązany z wyobraźnią (ang. imagination)

Strona | 16 użytkownika, czyli umiejętnością konieczną do pełnego skorzystania z wirtualnej rzeczywistości. Jest to niemierzalna cecha VR, w dużym stopniu zależna od cech osobowych użytkownika. Poziom immersji zależy również od scenariusza symulacji i zastosowanych urządzeń peryferyjnych przeznaczonych do interakcji [Pająk i in. 2011].

2.1.2 Komponenty systemu VR

System wirtualnej rzeczywistości to układ złożony z oprogramowania służącego do generowania interaktywnej grafiki 3D, oraz specjalistycznego sprzętu elektronicznego zapewniającego interakcję oraz immersję na możliwie najwyższym poziomie (rys. 2.2) [Pająk i in. 2011].

Rys.2.2. Komponenty systemu VR [źródło: Pająk i in. 2011]

Sercem tego układu jest aplikacja VR, którą buduje się przy użyciu komercyjnych środowisk programistycznych (np. EON Studio, Unity 3D, Vizard, Quazar 3D, Unreal Engine, Autodesk VRED) lub narzędzi typu „open source” (np. VRJuggler [www.vrjuggler.org]).

Metodyka budowy przykładowej aplikacji wirtualnej zostanie przedstawiona w podrozdziale 2.1.5.

Jeśli chodzi o sprzęt VR, można dokonać podziału na urządzenia przeznaczone do projekcji (rozdział 2.1.3) oraz interakcji (rozdział 2.1.4).

Strona | 17

2.1.3 Sprzęt VR do projekcji

Rozwiązania sprzętowe stosowane do projekcji stereoskopowego¹⁰ obrazu stanowią pierwszą grupę urządzeń VR. Istnieją systemy do projekcji:

- osobistej (hełmy wizyjne, maski wizyjne), - zespołowej (ekrany, projektory, okulary 3D).

Podstawowym zadaniem tzw. wyświetlaczy osobistych (ang. personal displays) jest próba oszukania zmysłu wzroku, tak aby odbierany obraz był interpretowany jako posiadający głębię.

Do osiągnięcia tego celu konieczne jest równoczesne wyświetlenie (z reguły na dwóch różnych ekranach) dwóch, przesuniętych względem siebie obrazów według algorytmów, które zapewnią wygenerowanie wirtualnej sceny w taki sposób, aby mózg użytkownika był zdolny do nałożenia ich na siebie i zinterpretował je jako przestrzeń trójwymiarową. Tego rodzaju rozwiązania stosowane są w hełmach wizyjnych oraz maskach wizyjnych (ang. Face-Mounted Displays – FMD) (rys. 2.3) [Pająk i in. 2011].

Rys.2.3. Przykłady wyświetlaczy osobistych (po lewej hełm wizyjny, po prawej maska wizyjna) [źródło: www.nvisinc.com]

Standardowy hełm wizyjny składa się z zatem dwóch wyświetlaczy umiejscowionych przed oczami obserwatora, które zapewniają możliwość przestrzennego widzenia generowanego komputerowo obrazu. Wrażenie zanurzenia w wirtualnym świecie uzyskiwane jest dzięki temu, że ekrany hełmu znajdują się zawsze przed oczami użytkownika, niezależnie od ruchów jego głowy [Grabowski 2012]. Osoba testująca zyskuje możliwość przebywania w otaczającym ją immersyjnym środowisku. Może się obracać o dowolny kąt i jednocześnie przez cały czas widzieć obraz z perspektywy kierunku, z którego w danej chwili patrzy. Efekt ten jest zapewniony przez śledzenie orientacji głowy użytkownika, przez wbudowany lub zewnętrzny system śledzenia.

10 Stereoskopia – cecha widzenia dwuocznego polegająca na postrzeganiu trójwymiarowości przedmiotów i głębi obrazu. To także metoda otrzymywania obrazów dających wrażenie trójwymiarowości przedmiotów i ich przestrzennego rozmieszczenia [źródło: SJP PWN]

Strona | 18 Z kolei rozwiązania do projekcji zespołowej to najczęściej systemy emitujące obraz stereoskopowy z wykorzystaniem wielkopowierzchniowych ekranów oraz projektorów. Od strony technicznej, tego rodzaju systemy mają możliwość wyświetlania obrazu:

- na przemian na jednym ekranie projekcyjnym (stosuje się wtedy tzw. okulary aktywne), - równocześnie na specjalnych ekranach stereoskopowych (rys. 2.4), dzięki zastosowaniu specjalnych filtrów polaryzacyjnych, zainstalowanych na projektorach (stosuje się wtedy tzw. okulary pasywne).

Rys.2.4. Ekran projekcyjny dla obrazu stereoskopowego [źródło: www.vida.put.poznan.pl]

2.1.4 Sprzęt VR do interakcji

Do najważniejszych urządzeń interakcji należą:

1. Systemy śledzenia. Podstawowym zadaniem urządzeń tego typu jest określenie pozycji i orientacji określonego obiektu w przestrzeni roboczej środowiska wirtualnego.

Obecnie na rynku dostępnych jest wiele rozwiązań, które istotnie różnią się parametrami pracy oraz kosztami zakupu. Ze względu na zasadę działania systemów śledzenia, możliwy jest ich podział na [Buń i in. 2017a]:

- mechaniczne systemy śledzenia - zestaw czujników ułożonych w określonej strukturze kinematycznej [Zhaoliang i in. 2011]. Do grupy systemów tego typu zalicza się również żyroskopy oraz akcelerometry, które za pomocą różnego typu przetworników, dokonują pomiarów kątowych pozycji śledzonego obiektu.

- akustyczne systemy śledzenia - zestaw złożony z emiterów fal ultradźwiękowych (umieszczanych na śledzonym obiekcie) oraz czujników wykrywających te fale

Strona | 19 (umieszczonych w ustalonych punktach przestrzeni pomiarowej). Pozycja obiektu określana jest zatem na zasadzie obliczenia czasu pokonania odległości od obiektu śledzonego do czujnika przez falę ultradźwiękową [Welch i Foxlin 2002].

- elektromagnetyczne systemy śledzenia - zestaw trzech czujników magnetycznych umieszczonych prostopadle względem siebie, w jednej obudowie (najczęściej w postaci małego prostopadłościanu), którą można przytwierdzić do badanego obiektu. System dokonuje pomiaru orientacji czujników względem emitera pora, dzięki lokalnym wektorom pola magnetycznego generowanym przez te czujniki [Welch i Foxlin 2002]. Przykładem takiego rozwiązania jest system Polhemus Liberty, będący na wyposażeniu Laboratorium Wirtualnego Projektowania PP (rys. 2.5).

Rys.2.5. System Polhemus Liberty [źródło: www.vida.put.poznan.pl]

- optyczne systemy śledzenia – zestaw złożony z urządzenia do emisji i rejestracji światła podczerwonego, kamery rejestrującej światło widzialne, oraz znaczników (markerów), umieszczonych na śledzonym obiekcie, służących do odbijania światła. Na rynku istnieją rozwiązania działające bez konieczności użycia markerów (np. system Kinect firmy Microsoft), w których cyfrowa kamera wykrywa sylwetkę użytkownika, a detektor podczerwieni jest odpowiedzialny za ocenę jego odległości od urządzenia.

Systemy, które śledzą położenie obiektu w oparciu o światło podczerwone, które emituje pojedyncza dioda, lub promieni odbitych przez jeden marker, mogą określić jedynie położenie obiektu, bez jego nachylenia względem układu współrzędnych przyjętego na potrzeby pomiarów. Dlatego też konieczne jest rozmieszczenie większej liczby markerów (aktywnych¹¹ lub pasywnych¹²), w celu śledzenia ruchów liniowych (we wszystkich trzech osiach) oraz obrotów obiektu względem każdej z osi. W tym

11 Markery aktywne emitują promieniowanie świetlne.

12 Markery pasywne odbijają promieniowanie świetlne.

Strona | 20 przypadku niezbędnym wymogiem jest stała pozycja między markerami na badanym obiekcie w czasie trwania symulacji (nie można zmieniać pozycji przyklejonych markerów). Przykładem takiego rozwiązania jest system PST-55, przy użyciu którego przeprowadzono eksperymenty badawcze na potrzeby niniejszej rozprawy.

2. Systemy rozpoznawania gestów. Są to urządzenia mające najczęściej postać specjalnej rękawicy, wyposażonej w zestaw czujników (jeden lub więcej na każdy palec) śledzących i rejestrujących położenie i zgięcia palców. Użytkownik wykonuje szereg gestów, które przy pomocy określonych algorytmów są rozpoznawalne przez system, a następnie zamieniane na dedykowane polecenia w wirtualnej symulacji. Przykładowo, zaciśnięta pięść może być gestem użytym do przenoszenia wirtualnych obiektów, wyciągnięty palec do wciskania przycisków, a uchwyt z wykorzystaniem kciuka i palca wskazującego, do operowania wirtualnym narzędziem. Urządzeniem tego typu jest rękawica DataGlove firmy 5DT (rys. 2.6).

Rys.2.6. Rękawica 5DT [źródło: www.5dt.com]

3. Systemy haptyczne (dotykowe). Typowe rozwiązania tego typu to zestawy złożone z wieloprzegubowego ramienia dotykowego, zwanego potocznie manipulatorem haptycznym¹³, oraz jednostki komputerowej z odpowiednim oprogramowaniem [Pająk i in. 2011]. Urządzenie składa się z podstawy oraz przegubowo połączonych sztywnych ramion. Cały układ daje możliwość generowania obrotowych (kątowych) przemieszczeń ramion względem sześciu osi. Każdy z przegubów ramienia dotykowego wyposażony jest w zestaw czujników, rejestrujących kierunek, wartość i prędkość

13 Manipulator haptyczny – układ N ramion połączonych przegubami, zakończony efektorem końcowym. Wartość N określa liczbę stopni swobody (ang. Degree of Freedom – DOF) manipulatora. Położenie efektora w kartezjańskim układzie współrzędnych (bazą jest podstawa manipulatora), jest wynikiem przeliczenia współrzędnych wewnętrznych (wartości kątowych) przegubów podczas rozwiązywania zadania prostego kinematyki. Przeguby mogą być połączone w układzie szeregowym (tzw. otwarty łańcuch kinematyczny) oraz równoległym (tzw. zamknięty łańcuch kinematyczny) [Szymański i in. 2013].

Strona | 21 przemieszczeń kątowych, a co najważniejsze, wartość siły przyłożonej przez użytkownika. Dane te są wysyłane do systemu sterującego działaniem manipulatora, a następnie przetwarzane i wysyłane z powrotem do ramienia, generując w przegubach siłę zwrotną, odczuwalną przez użytkownika [Wyleżoł 2009]. Schemat wymiany danych pomiędzy manipulatorem haptycznym a użytkownikiem przedstawiono na rysunku 2.7.

Rys.2.7. Schemat wymiany danych między urządzeniem haptycznym a użytkownikiem [źródło: Górski i in. 2013]

Zaawansowane ramiona dotykowe dają możliwość odwzorowania faktury symulowanej powierzchni (np. chropowatość), ale także i właściwości sprężystych i plastycznych wirtualnego obiektu. Przykładem takiego urządzenia jest Phantom Premium firmy SensAble (rys. 2.8).

Rys. 2.8. Ramię manipulatora haptycznego SensAble Phantom Premium 3.0/6DOF [źródło: www.vida.put.poznan.pl]

Strona | 22 4. Rękawice z siłowym sprzężeniem zwrotnym. Są to hybrydowe rozwiązania łączące

funkcjonalność ramion dotykowych i systemów rozpoznawania gestów. Zadaniem urządzeń tego typu jest generowanie i odwzorowanie sił działających na rękę i nadgarstek użytkownika podczas wirtualnej symulacji. Siłowniki umieszczone na każdym z palców generują siłowe sprzężenie zwrotne (np. w przypadku kolizji) podczas manipulacji małymi obiektami. Przykładem tego typu rozwiązania jest system CyberGrasp (rys. 2.9).

Rys. 2.9. Urządzenie CyberGrasp dostępne w Laboratorium Wirtualnego Projektowania PP [źródło: www.vida.put.poznan.pl]

Obok opisanych powyżej urządzeń do projekcji i interakcji, w zaawansowanych symulacjach wirtualnych zastosowanie znajdują także standardowe urządzenia peryferyjne, które służą do interakcji z użytkownikiem w trakcie codziennej eksploatacji komputera (np. klawiatura, mysz lub dżojstik). Warto jednak zaznaczyć, że ich zastosowanie obniża poziom zanurzenia, ponieważ nie zapewniają one bezpośredniej interakcji z wirtualnymi obiektami w naturalny dla człowieka sposób. Dodatkowo, użytkownik testujący aplikację wirtualną przy pomocy urządzeń peryferyjnych, musi nauczyć się m.in. rozkładu przycisków sterujących oraz ich przeznaczenia. Odpowiednio zaprogramowane urządzenia dedykowane do interakcji w symulacji wirtualnej (np. systemy śledzenia i rozpoznawania gestów) nie mają tych ograniczeń, ponieważ dzięki śledzeniu pozycji i orientacji części ciała użytkownika (rąk, ramion, głowy, nóg) oraz dzięki rozpoznawaniu gestów wykonywanych dłonią (zaciśnięta pięść, wyciągnięty palec itp.), możliwa jest interakcja w całkowicie naturalny sposób, poprzez wykonywanie odpowiednich ruchów. Z kolei urządzenia posiadające dodatkowo efekt siłowego sprzężenia zwrotnego jeszcze bardziej zwiększają stopień immersji aplikacji VR,

Strona | 23 gdyż oddziałują na zmysł dotyku użytkownika, pozwalając mu odczuwać siły, jakie działają na niego w świecie wirtualnym [Pająk i in. 2011].

Opisane powyżej rozwiązania sprzętowe zintegrowane z odpowiednim oprogramowaniem VR, są jedynie narzędziami znajdującymi swoje zastosowanie w procesie tworzenia aplikacji wirtualnej rzeczywistości. Co warte podkreślenia, efektywny proces twórczy prowadzący do budowy interaktywnego środowiska VR jest procesem pracochłonnym i wymagającym specjalistycznej wiedzy, dotyczącej zarówno dostępnych technik wirtualnej rzeczywistości, jak i zagadnień będących przedmiotem aplikacji (np. znajomość problematyki procesów montażu w budowie maszyn w przypadku budowy wirtualnego stanowiska montażowego) [Górski i in.

2013].

2.1.5 Metodyka tworzenia aplikacji wirtualnej rzeczywistości

Najważniejszym komponentem systemu wirtualnej rzeczywistości jest aplikacja VR, którą należy rozumieć jako zamkniętą (w sensie programistycznym, logistycznym i funkcjonalnym) całość, funkcjonującą jako program wykonywalny (wymagający wybranego systemu operacyjnego i korzystający z określonego sprzętu VR). Głównym zadaniem twórców aplikacji wirtualnych jest stworzenie interaktywnego, trójwymiarowego środowiska, które zapewni użytkownikowi immersję i realizm symulacji, a także interakcję z elementami cyfrowymi.

Dwa podstawowe typy aplikacji VR to aplikacje zorientowane na pojedynczy obiekt (najczęściej model wirtualny określonego wyrobu) oraz na środowisko (scenę). Podział rodzajów aplikacji przedstawiono na rysunku 2.10 [Górski i in. 2013]. Z punktu widzenia tematyki rozprawy, najważniejsze rodzaje zastosowań aplikacji VR to m.in. wirtualne symulacje działania maszyn i urządzeń [Ong i Nee 2004], wirtualne instrukcje obsługi montażu i demontażu komponentów i podzespołów [Weiss i in. 2008], wirtualne stanowiska pracy [Grajewski i in. 2013, Grajewski i in. 2015a], wirtualne symulacje szkoleń przemysłowych [Gupta i in. 1997, Jayram i in. 1997, McDermott i Bras 1999, Wan i in. 2004, Ritchie i in. 2008, Seth i in. 2008, Bhatti i in. 2008] oraz interaktywne konfiguratory produktów [Maleshkov i in. 2009, Górski i in. 2015a]. W zależności od fazy cyklu życia wyrobu, w której powstaje dedykowana aplikacja VR, może być ona stosowana m.in. do [Burdea i Coiffet 2003, Górski i in. 2013]:

- analiz i testów funkcjonalności produktu,

- szkoleń personelu (np. z zakresu budowy, użycia lub obsługi produktu) - wizualizacji produktu dla celów marketingowych.

Strona | 24 Rys.2.10. Podstawowe typy aplikacji VR [źródło: Górski i in. 2013]

Przygotowanie interaktywnej aplikacji VR jest procesem złożonym i czasochłonnym.

Podstawowe etapy tworzenia aplikacji wirtualnej przedstawiono na schemacie (rys. 2.11).

Rys.2.11. Etapy budowy aplikacji VR [źródło: Górski i in. 2013]

Strona | 25 Etap pierwszy poprzedzają prace związane z:

- wyborem sprzętu VR (w zależności od potrzeb, np. zapewnienie efektu siłowego sprzężenia zwrotnego lub pełnej immersji),

- wyborem oprogramowania VR (kryteria: koszt licencji, dostępność, łatwość programowania i obsługi, kompatybilność z wybranym sprzętem VR),

- przygotowaniem danych do aplikacji (modele 3D: wyrobów, przedmiotów, elementów infrastruktury, dane 2D: tekstury, grafiki interfejsu użytkownika, predefiniowane mapy oświetlenia i cieniowania).

Pierwszym krokiem w etapie przygotowania wizualizacji jest przeprowadzenie transferu danych cyfrowych (konwersja do postaci rozpoznawalnej przez dedykowane środowisko), najczęściej przy użyciu zewnętrznego oprogramowania zapewniającego integralność poszczególnych części modeli CAD 3D. Zaimportowanym modelom przypisuje się:

- odpowiednie tekstury (wzory graficzne 2D, rozmieszczane na obiekcie 3D w celu imitacji wyglądu materiału, faktury itp.),

- mapy normalne i mapy odbić (przypisywanie poszczególnych pikseli obrazu 3D do wierzchołków siatki 3D, w celu uzyskania bardziej realistycznego wyglądu obiektów), - tzw. właściwości materiałowe (zbiór cech opisujących wygląd danego obiektu w środowisku VR).

Określa się także skalę i położenie cyfrowych danych w wirtualnej scenie. Kolejne prace polegają na odpowiednim oświetleniu obiektów i dodaniu efektów cieniowania (m.in. na podstawie położenia obiektów oraz świateł rzucających cień). Ostatnim krokiem w etapie przygotowania wizualizacji jest opracowanie sposobu nawigacji w wirtualnej scenie (kontroli zmiany położenia kamery, np. kamera skierowana w punkt centralny lub tzw. kamera pierwszej osoby – tryb swobodny użytkownika).

Drugim, kluczowym etapem tworzenia aplikacji VR jest programowanie interakcji, czyli tzw. zachowań wirtualnych obiektów. Najczęściej są to określone ruchy, będące odpowiedzią na zdarzenie wygenerowane przez użytkownika (np. kliknięcie myszą, naciśnięcie przycisku na klawiaturze, wejście w zdefiniowany obszar kolizyjny) lub przez inny obiekt [Pająk i in. 2011]. Innymi przykładami zachowań obiektów są:

- dynamiczna zmiana geometrii lub zmiana wyglądu (np. inny kolor, tekstura, skala, przekroje),

- deformacje obiektów 3D (tzw. animacje z deformacją modelu), - kolizje (np. przez dodanie obiektów kolizyjnych).

Strona | 26 Programowanie określonych zachowań odbywa się przy użyciu metod programowania tradycyjnego (języki C++, VB, Python) lub wizualnego (z licznymi warunkami logicznymi do obsługi zdarzeń), polegającego na definiowaniu połączeń pomiędzy tzw. węzłami, wymieniającymi ze sobą dane różnego typu (rys. 2.12).

Rys. 2.12. Programowanie wizualne (na przykładzie środowiska Unreal Engine) [źródło: www.pm.put.poznan.pl]

Trzeci etap budowy aplikacji VR to prace związane z budową graficznego interfejsu użytkownika (ang. Graphical User Interface - GUI), który będzie współpracować z wybranymi urządzeniami interakcji. Mowa tu o rozwiązaniach opartych na:

- urządzeniach peryferyjnych (np. mysz i klawiatura),

- zaawansowanym sprzęcie elektronicznym (np. systemy śledzenia, systemy rozpoznawania gestów).

W mniej zaawansowanych symulacjach stosuje się klasyczny interfejs 2D, bazujący na przyciskach (tekstowych lub graficznych), suwakach i polach wyboru. Z kolei w aplikacjach o dużym stopniu złożoności, gdzie z założenia przewiduje się przemieszczanie się użytkownika w wirtualnym środowisku, korzysta się z możliwości interfejsu 3D, którego elementy mają postać animowanych brył przestrzennych (rys. 2.13).

Rys. 2.13. Porównanie elementów interfejsu 2D (po lewej) oraz 3D (po prawej) [źródło: Górski i in. 2013]

Strona | 27 Celem nadrzędnym w procesie tworzenia interfejsu użytkownika jest zawsze uzyskanie pożądanego stopnia intuicyjności i przejrzystości na potrzeby uruchamiania zdefiniowanych funkcji w środowisku wirtualnym [Górski in. 2013]. Ostatnim krokiem trzeciego etapu budowy aplikacji VR jest faza testowania, w której weryfikuje się:

- geometrię modeli 3D użytych w symulacji, - poprawność działania GUI,

- funkcjonalność aplikacji jako integralnej całości, - współpracę z określonym sprzętem VR.

2.1.6 Przykładowy system VR

Wygenerowane komputerowo środowisko ze stereoskopową wizualizacją jest podstawą każdego systemu VR. Interaktywna kontrola nad przedstawionym obrazem jest bardzo ważna, ponieważ daje poczucie obecności i bycia częścią wirtualnej sceny, nie z pozycji obserwatora, ale uczestnika symulacji. Interakcja umożliwia użytkownikowi sterowanie i manipulację wirtualnymi obiektami opracowanej sceny w czasie rzeczywistym [Robles de la Torre 2008].

Symulacja VR różni się zatem od tradycyjnej symulacji komputerowej stałą obecnością użytkownika w wirtualnym środowisku.

Przykład systemu wirtualnej rzeczywistości, w którym centralną postacią jest użytkownik, przedstawiono na rysunku 2.14.

Rys.2.14. Przykład systemu VR [źródło: Biocca i Delaney 1995]

Computer

Wifi

Oculus Rift

Laptop and battery Kinect

Strona | 28 Aby osiągnąć właściwy poziom immersji i interakcji, system VR powinien dostarczyć użytkownikowi jak najwięcej sygnałów zastępujących wrażenia zmysłowe pochodzące z prawdziwego świata (wzrok, dotyk, słuch). Sygnał wizyjny to głównie urządzenia do stereowizji, których celem jest wyświetlanie stereoskopowej wizualizacji. Za przekazywanie bodźców dotykowych odpowiedzialne są systemy haptyczne. Sygnał dźwiękowy to zaawansowane systemy emitujące dźwięk przestrzenny, które dodatkowo mogą być wspomagane generatorami zapachów czy generatorami ruchów powietrza. Użytkownik komunikuje się ze światem wirtualnym przez wykonywanie określonych gestów i ruchów, które są wykrywane i odpowiednio interpretowane przez systemy rozpoznawania gestów i systemy śledzenia. Interaktywna kontrola nad wyświetlanym obrazem wirtualnym odbywa się także poprzez wydawanie poleceń głosowych rejestrowanych przez systemy rozpoznawania mowy. W bardzo złożonych rozwiązaniach, szczególnie na potrzeby aplikacji medycznych, stosuje się czujniki monitorujące puls i temperaturę ciała użytkownika.

Przygotowany w ten sposób system VR może być podstawą do budowy interaktywnej, immersyjnej symulacji szkoleniowej m.in. z zakresu wykonywania czynności związanych z obsługą wirtualnego stanowiska pracy czy z wykonywania zadań proceduralnych.

Użytkownik otrzymuje rozwiązanie, dzięki któremu może wchodzić w interakcję i manipulować wirtualnym obiektem, czuć kolizję, a co najważniejsze, może konsekwentnie ćwiczyć wykonywanie zadań. Analizę dostępnych rozwiązań VR stosowanych do interaktywnych szkoleń przemysłowych przedstawiono w rozdziale 2.5.

2.2 Przegląd rozwoju rozwiązań VR

2.2.1 Wprowadzenie

Rozwój rozwiązań wirtualnej rzeczywistości można podzielić na dwa etapy. Pierwsza fala rozwoju nastąpiła w okresie od lat 50-tych XX wieku do początkowych lat XXI wieku i była ściśle związana z dynamicznym rozwojem komputeryzacji. Powstało wtedy wiele komercyjnych systemów VR, takich jak:

- hełmy wizyjne, - systemy CAVE,

- systemy rozpoznawania gestów, - urządzenia haptyczne.