TUI - Dotykowe interfejsy użytkownika

Jeszcze do niedawna większość z podstawowych, naturalnych umiejętności poznawczych człowieka (np. dotyk, chwytanie, podnoszenie i przesuwanie), służących do interakcji z otaczającym światem fizycznym, nie była wykorzystywana do kontroli świata cyfrowego.

Dynamiczny rozwój nowoczesnych technologii komputerowych i urządzeń elektronicznych zdeterminował jednak potrzebę podjęcia prac nad opracowaniem interfejsów, przy pomocy których możliwe będą intuicyjna kontrola oraz sterowanie nad określonymi działaniami cyfrowych systemów bądź urządzeń.

Na przestrzeni ostatnich dwudziestu lat powstały innowacyjne formy interakcji oparte na gestach, ruchach ciała i dotyku. Zestaw interfejsów, które miały na celu dostarczyć wartość dodaną do procesu intuicyjnej i naturalnej kontroli dotykowej nad wirtualnym projektem

17 Autor rozprawy jako realizację ręcznego zadania proceduralnego rozumie wykonanie szeregu czynności prowadzących do osiągnięcia konkretnego celu (np. poprawnego umiejscowienia części w zespole), w określonej kolejności, według określonej procedury, oceniane przez czas i dokładność ich wykonania.

Strona | 47 nazwano roboczo dotykowymi interfejsami użytkownika - Tangible User Interface (TUI).

Termin ten po raz pierwszy został użyty przez B. Ullmera i H. Ishii’ego z MIT Media Lab (Stany Zjednoczone) w roku 1997. Naukowcy opracowali platformę metaDESK, przeznaczoną do prezentacji map graficznych 2D i 3D oraz planowania przestrzennego kampusu MIT.

Prototyp o roboczej nazwie Tangible Geospace złożony był z biurka (z przezroczystym blatem wykonanym ze szkła akrylowego), zestawu obiektywów i monitorów LCD oraz obiektów fizycznych (modeli głównych budynków kampusu, pełniących także rolę punktów orientacyjnych). Całość uzupełniał szereg czujników optycznych, elektromagnetycznych i mechanicznych (rys. 2.34). Założeniem rozwiązania metaDESK było planowanie przestrzeni kampusu na interaktywnej powierzchni stołu. Interakcja użytkownika z systemem cyfrowym była realizowana poprzez manipulację fizycznymi obiektami (ich pozycja była śledzona przez czujniki elektromagnetyczne), które reprezentowały modele wirtualne, a także kontrolę i sterowanie elementami graficznego interfejsu użytkownika (fizyczne artefakty reprezentowały podstawowe elementu GUI: ikony, okna menu, pola edycji, suwaki, przyciski itp.). Wizualizacja 3D planowanego fragmentu kampusu prezentowana była na wyświetlaczu umieszczonym na specjalnym ramieniu obrotowym [Ullmer i Ishii 1997].

Rys. 2.34. System metaDESK – komponenty systemu oraz reprezentacja fizycznych modeli GUI [źródło: Ullmer i Ishii 1997]

Prototypowy system metaDESK stał się punktem odniesienia dla dalszych prac rozwojowych nad dotykowymi interfejsami TUI, których celem było opracowanie nowych sposobów współdziałania użytkownika z systemem cyfrowym poprzez dostarczenie fizycznej, namacalnej reprezentacji informacji w nim zawartych. Efekt ten jest najczęściej osiągany

Strona | 48 poprzez uzupełnienie graficznego interfejsu użytkownika odpowiednimi modelami fizycznymi, dzięki którym interakcja człowiek - komputer (ang. Human-Computer Interaction – HCI) zostaje efektywnie wsparta dotykiem.

Większość rozwiązań TUI [Chang i in. 2002, Ishii 2006] bazuje na manipulacji sztywnymi, nieruchomymi obiektami (dotykowa reprezentacja danych) oraz na wizualizacji modeli wirtualnych (bezdotykowa reprezentacja danych). Kontrola i sterowanie funkcjami oraz ustawieniami określonej aplikacji (systemu) wynika natomiast z odpowiedniej interpretacji poleceń i działań manipulacyjnych ze strony użytkownika (rys.2.35).

Rys. 2.35. Idea Tangible User Intarfce – TUI [źródło: Ishii 2006]

Pojawiły się także rozwiązania [Pangaro i in. 2002, Rosenfeld i in. 2004, Weiss i in. 2010], w których fizyczne modele reprezentujące informacje cyfrowe poruszały się w sposób automatyczny. Urządzenie Actuated Workbench [Pangaro i in. 2002] wyposażono w zestaw indywidualnie sterowanych elektromagnesów, a ruch obiektów wykonanych z materiałów ferromagnetycznych, generowano z wykorzystywaniem sił magnetycznych (rys. 2.36).

Rys. 2.36. Urządzenie Actuated Workbench [źródło: Pangaro i in. 2002]

Naukowcy z RWTH Aachen University opracowali z kolei system Madgets, w którym podstawowe elementy interfejsu użytkownika miały postać magnetycznych widżetów, które automatycznie przemieszczały się po interaktywnym stole (rys. 2.37) [Weiss i in. 2010].

Strona | 49 Rys. 2.37. System Madgets - magnetyczne widżety [źródło: Weiss M. i in. 2010]

Najbardziej zaawansowanym systemem opartym na TUI jest Planar Manipulator Display - PMD, w którym na interaktywnej powierzchni przemieszczają się małe roboty mobilne (rys. 2.38) [Rosenfeld i in. 2004].

Rys. 2.38. Planar Manipulator Display [źródło: Rosenfeld i in. 2004]

Ideą prototypowych rozwiązań bazujących na TUI było, aby interfejs stał się dla użytkownika praktycznie niewidoczny, a czynności manipulacyjne charakteryzowały się swego rodzaju automatyzmem (chwytanie, podnoszenie i przesuwanie przedmiotów ćwiczy się przecież od dziecka). Dzięki temu można skoncentrować się właściwej treści a nie na obsłudze interfejsu.

W oparciu o główne założenia prezentowanych powyżej rozwiązań, powstały systemy komercyjne. Jednym z bardziej zaawansowanych, interaktywnych środowisk, w których swoje zastosowanie znalazły fizyczne obiekty reprezentujące informacje cyfrowe, jest platforma reacTABLE (rys. 2.39).

Strona | 50 Rys. 2.39. System reacTABLE [źródło: www.reactable.com]

Została ona zaprojektowana dla twórców muzyki elektronicznej jako urządzenie do kreowania unikalnych ścieżek dźwiękowych (elementy fizyczne reprezentowały dźwięki generowane przez elektrofony lub tradycyjne instrumenty akustyczne). System reacTABLE jest również wykorzystywany jako interaktywne narzędzie do nauki sygnałów i odkrywania świata muzyki, które można spotkać w muzeach, szkołach i ośrodkach naukowych. Platforma zbudowana jest z okrągłego stołu (na jego blacie od spodu wyświetlana jest treść graficzna przy pomocy projektora), zestawu komponentów do emisji i przetwarzania obrazu i dźwięku oraz kamery, która wykrywa i rejestruje położenie fizycznych obiektów (krążków, których powierzchnia dolna będąca w kontakcie z blatem stołu wyposażona jest w markery). Użytkownik może umieszczać obiekty na powierzchni stołu, obracać je i łączyć ze sobą, tworząc unikalną kompozycję z połączonych elementów (syntezatory, efekty i pętle dźwiękowe). Miejsce położenia krążka na powierzchni stołu jest automatycznie podświetlone, a obiekt zaczyna oddziaływać z innymi sąsiednimi przedmiotami, zależnie od ich położenia. Interakcje te są widoczne na powierzchni stołu, dając natychmiastowe informacje zwrotne o ich reaktywności, przekształcając muzykę w coś widocznego i namacalnego.

Innym rozwiązaniem komercyjnym jest platforma Mixed Reality Interface - MRI firmy KOMME®Z. MRI to interaktywne urządzenie złożone z dotykowego stołu oraz telewizora wykonanego w technologii LED. Wizualizacja dedykowanej aplikacji jest dostępna na ekranie, a poszczególne funkcje są wywoływane i sterowane przy pomocy gestów palcami (np.

stuknięcie, przyciśnięcie, przesunięcie, obrót, ściśnięcie i rozciągnięcie) oraz przy użyciu przedmiotów fizycznych. System MRI służy głównie do multimedialnej, interaktywnej prezentacji nowych projektów architektonicznych (budynków i wnętrz). Przykładowo, na stole dotykowym wyświetlany jest plan budynku (rozkład pomieszczeń) lub plan zagospodarowania terenu pod inwestycje, a użytkownik przy pomocy obiektu fizycznego (model kamery)

Strona | 51 przemieszcza się wewnątrz wirtualnego budynku lub zapoznaje się z wizualizacją projektowanego otoczenia (rys. 2.40).

Rys. 2.40. System MRI – wizualizacja projektów architektonicznych [źródło: www.3dsign.biz]

System MRI umożliwia zastosowanie większej liczby obiektów fizycznych, których gabaryty i geometria są reprezentacją modeli wirtualnych. Dzięki temu możliwa jest interakcja z obiektami cyfrowymi poprzez odpowiednią manipulację ich fizycznymi odpowiednikami (rys. 2.41).

Rys. 2.41. System MRI – interakcja z obiektami wirtualnymi poprzez manipulację fizycznymi odpowiednikami [źródło: www.3dsign.biz]

Potencjał interaktywnych stołów dotykowych został wykorzystany także w pracach badawczych Laboratorium Wirtualnego Projektowania PP. W ramach projektu realizowanego we współpracy z producentem autobusów miejskich, opracowano multimedialny konfigurator produktu z aktywnym udziałem użytkownika końcowego. Proces konfiguracji dotyczył wyboru poszczególnych wariantów elementów wewnętrznych autobusu (rodzaj foteli, próbki tkanin siedzeń). W praktyce, konfiguracja polegała na umieszczeniu na stole dotykowym fizycznych

Strona | 52 modeli siedzeń (wykonanych przy pomocy przyrostowej techniki wytwarzania FDM¹⁸) lub określonej próbki tkaniny (wyposażonej w kodowe markery IR). Było to możliwe dzięki zaimplementowaniu algorytmu rozpoznawania przedmiotów na interaktywnym stole dotykowym (rys. 2.42).

Rys. 2.42. Rozpoznawanie przedmiotów na stole dotykowym [źródło: www.pm.put.poznan.pl]

Korzyści wynikające z zastosowania TUI bardzo szybko docenili producenci sprzętu komputerowego i elektronicznego do użytku powszechnego. Wymiernym rezultatem ich prac stały się szeroko rozpowszechnione interfejsy dotykowe w urządzeniach mobilnych (smartfony, tablety, laptopy). Niewielu użytkowników, regularnie używających tego typu urządzenia, jest świadoma, że poprzez wykonywanie gestów palcami wchodzi się w interakcję dotykową z graficznymi elementami interfejsu, sterując i kontrolując określonymi funkcjami danej aplikacji lub poszczególnymi ustawieniami w urządzeniu.

Na rynku pojawiły się także niskokosztowe, interaktywne systemy do wspomagania decyzji, modelowania procesów biznesowych czy prezentacji produktów lub usług (rys. 2.43).

Mowa tu o multimedialnych stołach dotykowych z zaimplementowanym TUI, dzięki którym mamy do czynienia z interaktywną współpracą i komunikacją wewnątrz zespołu (burze mózgów) podczas twórczej pracy nad nowym projektem czy przedsięwzięciem [Schneider i in.

2011, Ras i in. 2012].

18 Fused Deposition Modelling - FDM (modelowanie uplastycznionym tworzywem sztucznym) to przyrostowa technika wytwarzania polegająca na nakładaniu na siebie kolejnych warstw podgrzanego, uplastycznionego materiału (w postaci drutu, np. z tworzywa ABS) przez specjalną głowicę dwudyszową (pozycjonowaną w dwóch osiach). Głowica na przemian nanosi na stół modelowy materiał budulcowy i podporowy (zgodnie z geometrią modelu). Cały proces realizowany jest w ogrzewanej komorze roboczej, w której utrzymywana jest odpowiednia temperatura (nieznacznie niższa od temperatury mięknięcia danego tworzywa sztucznego) [Pająk i in. 2011].

Strona | 53 Rys. 2.43. Interaktywny stół dotykowy MT55 Platform Multitouch Table [źródło:

www.ideum.com]

Warto nadmienić, że dzięki rozwojowi technologii haptycznych, interfejsy TUI poszerzono o możliwość otrzymania dodatkowego impulsu dotykowego w postaci pasywnego sprzężenia zwrotnego. W zaawansowanych systemach dotykowych wibracyjny sygnał zwrotny generowany jest przez manipulowane obiekty fizyczne. Z kolei w dotykowych urządzeniach mobilnych, odpowiedź sprzętowa na wykonany przez użytkownika gest (lub wywołanie określonej funkcji w aplikacji) polega na wibracji całego urządzenia (np. wibracja telefonu w trakcie nadchodzącego połączenia lub otrzymania wiadomości multimedialnej MMS).