Akwizycja gestów języka migowego

W procesie wizualizacji gestów języka migowego w przestrzeni 3D, należy uwzględnić fakt, że składają się one z odpowiednich układów rąk i dłoni w czasie. Układy te można projektować ręcznie, przy użyciu oprogramowania do tworzenia grafiki i animacji 3D101. Proces projektowania gestów jest jednak bardzo pracochłonny i czasochłonny, dając przy tym mierne rezultaty jeśli idzie o naturalizm gestów tworzonych w ten sposób. Innym rozwiązaniem jest akwizycja gestów języka migowego poprzez ich rejestrację. Istnieją co najmniej dwie metody automatycznego przechwytywania gestów:

− użycie systemu elektromechanicznego – egzoszkieletu102. Zawiera on zestaw czujników, które rejestrują wzajemne położenie względem siebie. Metoda może dawać mniej dokładne wyniki, przede wszystkim ze względu na zależności występujące między czujnikami – jedne czujniki są punktami odniesienia dla innych. Występuje zatem niebezpieczeństwo nakładania się błędu w położeniach czujników podczas rejestracji.

− wykorzystanie optycznego systemu motion capture. Jest to obecnie najczęściej wykorzystywana technika rejestracji ruchu. Umożliwia ona przechwytywanie ruchów aktora w przestrzeni, przy użyciu systemu kamer rejestrujących położenia sensorów zwanych markerami. Istnieją dwie odmiany systemów motion capture: aktywny i pasywny. W systemach aktywnych markery stanowią źródło światła. Dla systemów pasywnych źródłem światła są kamery, które emitują promienie podczerwone. Markery pokryte są specjalną substancją, odbijającą światło podczerwone. Zastosowanie odpowiedniego filtru optycznego sprawia, że dla kamer rejestrujących ruch widoczne są jedynie markery.

Rejestrację gestów języka migowego na potrzeby badań przeprowadzono przy wykorzystaniu pasywnego systemu wizyjnego SMART-E Motion Capture System firmy

BTS Bioengineering, który znajduje się w Instytucie Fizjoterapii Uniwersytetu

Rzeszowskiego. W skład systemu wchodzi: 1. Sprzęt:

• sześć kamer, wysyłających źródło światła podczerwonego,

• komputer PC,

• dwa huby łączące kamery z komputerem,

• platforma tensometryczna – umożliwiająca pomiar nacisku na podłoże,

• zestaw pasywnych markerów,

101 Taką drogę pozyskiwania gestów przyjęto na Politechnice Śląskiej w projekcie o nazwie THETOS.

• system czujników EMG umożliwiający pomiar aktywności mięśniowej. 2. Oprogramowanie:

• Smart Capture – służy do kalibracji systemu i rejestracji danych,

• Smart Tracker – pozwala na podgląd zarejestrowanych danych, umożliwia nadanie markerom identyfikatorów, oraz eksport danych,

• Smart Analyzer – narzędzie do analizy zarejestrowanych danych. Program nie jest używany na potrzeby pracy.

Prawidłowa rejestracja ruchu w systemie motion capture narzuca konieczność zachowania dużej dokładności przy rozmieszczaniu markerów na ciele osoby, która pokazuje gesty. Ważne jest, aby dla poszczególnych sesji nagraniowych były one umiejscawiane w tym samym miejscu i aby nie dochodziło w trakcie sesji do zmiany miejsca ich przytwierdzenia. Aby to osiągnąć, zaprojektowano i wykonano specjalny ubiór – czarną kamizelkę (zob. rys. poniżej). Wszyto w nią specjalne gumy, dzięki którym kamizelka przylega ciasno do ciała aktora i zapobiega przemieszczaniu się materiału w trakcie ruchu. Do gum wszyto mocowania markerów, co dodatkowo usztywniło miejsca w których będą one przytwierdzane. Wszystkie te zabiegi mają zapewnić jak najlepszą dokładność i jakość pozyskiwanych danych. Warto o to zadbać, gdyż staranne przygotowanie się do procesu animacji znacznie poprawia jakość animacji, eliminuje wiele błędów i skraca czas obróbki gestów, które nie wymagają już dalszej korekty.

Rysunek 37: Strój do rejestracji gestów języka migowego.

W procesie rozmieszczania markerów na ciele animatora należy trzymać się pewnych zasad:

− stosować minimalnie trzy markery na jeden segment,

− odległość pomiędzy dwoma markerami, nie powinna być mniejsza niż 5 cm,

− markery powinno się umieszczać w takich miejscach, aby były one przez cały czas widoczne przez co najmniej dwie kamery systemu,

− markery powinny być umieszczane jak najbliżej kości,

− należy unikać redundancji markerów.

Na rysunku 38A przedstawiono aktora pokazującego gesty języka migowego ubranego w kostium do rejestracji gestów. Markery na rysunku oznaczono etykietami, które są im nadawane w procesie identyfikacji. Przyjęte nazewnictwo identyfikuje każdy marker zaczynając od wielkiej litery "M", po której pojawia się liczba od 0 do 29.

W skład kostiumu oprócz kamizelki wchodzi również opaska rejestrująca ruch głowy, wyposażona w cztery markery, oraz przeznaczone do przechwytywania ruchów dłoni rękawice, z których każda ma po dwa markery. Liczba markerów w trakcie badań ulegała zmianie, w ramach prowadzonych testów zob. rys. 38B. Testy wykazały, że optymalna ich liczba wynosi 30.

Rysunek 38: A) rozmieszczenie markerów na ciele aktora, B) testowanie układu markerów w studiu motion capture.

Przed przystąpieniem do rejestracji należy dokonać kalibracji systemu przy użyciu programu Smart Capture. Kalibracja wykonywana jest wówczas, gdy zmieni się, choćby w niewielkim stopniu, położenie którejkolwiek z kamer. Jednak warto wykonywać kalibrację zawsze przed rozpoczęciem pracy z systemem. Poszczególne kalibracje mogą różnić się w niewielkim stopniu parametrami, które wpływać mogą na jakość nagrania. Do czynności związanych z wykonaniem kalibracji należą:

1. axes sequence – wyznaczenie globalnego układu odniesienia,

2. wand sequence – ograniczenie przestrzeni, w której mogą znajdować się markery podczas rejestracji,

3. oznaczenie położenia platform tensometrycznych.

Po procesie kalibracji system jest gotowy do rejestracji danych. Nagrywanie gestów odbywa się przy użyciu dwóch zsynchronizowanych ze sobą czasowo aplikacji: Smart

Capture oraz WorkshopToRegisterGesture (proces rejestracji gestów z użyciem aplikacji WorkshopToRegisterGesture opisano w podrozdz. 3.2.2.).

Proces akwizycji danych w technologii motion capature dostarcza surowych danych, które należy poddać obróbce. Korekta danych jest konieczna, gdyż często są one niekompletne. Przyczyną błędnego pozyskiwania danych lub nieciągłości podczas rejestracji jest zasłanianie pojedynczych markerów lub nawet całych ich grup przez różne części ciała w trakcie wykonywania animacji. Do korekty danych służą wykonane w tym celu specjalne algorytmy. Dokonują one identyfikacji i złączenia ścieżek markerów z wykorzystaniem algorytmu roju. Złączone ścieżki mogą zawierać nieciągłości w rejestrowanym sygnale, które podlegają w kolejnym kroku interpolacji liniowej. Ostatnim elementem poprawy jakości sygnału jest jego wygładzanie, co w rezultacie eliminuje drżenie modelu; w szczególności idzie tu o drżenie rąk w trakcie animacji. Jeżeli sygnał wymaga jeszcze korekty, można jej dokonać przy użyciu aplikacji do modelowania grafiki i animacji 3D103 lub powtórzyć nagranie gestu.

3.3.8. Import danych zarejestrowanych systemem motion