Rozszerzona rzeczywistość w e-biznesie

MARIAN NIED WIEDZISKI Uniwersytet Łódzki

Streszczenie

W istniejących modelach e-biznesu wiĊkszoĞü stron internetowych udostĊpnia potencjalnemu klientowi tylko obrazki i ograniczoną informacjĊ o produkcie lub usłudze. Stąd czĊsto klient nie jest w stanie wyobraziü sobie czy produkt bĊdzie pa-sował do rzeczywistego otoczenia. Problem ten rozwiązuje rzeczywistoĞü rozszerzo-na, wymagająca komputera PC lub inteligentnego telefonu komórkowego i odpo-wiedniego oprogramowania. DziĊki temu klient moĪe umieszczaü trójwymiarowe wirtualne przedmioty w tym miejscu rzeczywistej (fizycznej) przestrzeni, w którym chciałby je mieü po zakupie lub uzyskiwaü informacje o sklepach, restauracjach i in-nych obiektach w czasie wĊdrówki po mieĞcie. Artykuł omawia podstawowe proble-my rzeczywistoĞci rozszerzonej oraz przykłady zastosowania jej w e-biznesie. Słowa kluczowe: Rozszerzona rzeczywisto , e-biznes

1. Wprowadzenie

W 1994 roku Paul Milgram i Fumio Kishino wprowadzili koncepcj Kontinuum Wirtualnoci (VC – Virtuality Continuum) [3]. Na jednym kocu umiecili wiat rzeczywisty (fizyczny), na drugim wiat wirtualny (wygenerowany przez komputer), pomidzy nimi znalazła si rzeczywi-sto mieszana łczca w jednym obrazie obiekty rzeczywiste i wirtualne. Od tego czy w obrazie przewaa rzeczywisto czy wirtualno zaley czy mamy do czynienia z rzeczywistoci rozsze-rzon o obiekty wirtualne (AR – Augmented Reality), czy z wirtualnoci rozszerozsze-rzon o obiekty rzeczywiste (AV – Augmented Virtuality).

Do niedawna AR była przede wszystkim tematem bada akademickich, natomiast nie było to pojcie ogólnie znane i nie były dostpne tanie komercyjne zastosowania. AR uywano do kosz-townych zastosowa militarnych, automatyki przemysłowej, parków tematycznych, telewizji sportowej. Wynikało to przede wszystkim z wysokich wymaga odnonie narzdzi programi-stycznych i sprztu. Tradycyjnie, obrazy AR s ogldane za porednictwem specjalnych okularów lub wywietlaczy montowanych na głowie (ang. HMD – head mounted display) i przetwarzane przez mobiln jednostk obliczeniow (rys. 1). Uytkownik ma moliwo interakcji z wirtualnym obiektem za pomoc myszy, rkawicy cyfrowej, pióra, przycisków lub specjalnie zaprojektowa-nych wizualzaprojektowa-nych markerów.

Komputery osobiste posiadaj obecnie odpowiednio due moce obliczeniowe i wyposaenie (kamera internetowa), aby mogły by na nich uruchamiane aplikacje AR stosowane w rónorod-nych dziedzinach, na przykład w medycynie, architekturze, komunikacji, szkolnictwie, sztuce, rozrywce, reklamie [1] i e-biznesie, w którym zastpuj tradycyjne sklepy internetowe [2]. Jest to moliwe take przy uyciu inteligentnych telefonów komórkowych z kamer [5]. Twórcy takich

aplikacji kieruj si załoeniem, e dla klienta istotne jest sprawdzenie czy produkt bdzie pasował do otoczenia, w którym si znajdzie. Dlatego wirtualny model produktu włczany jest do obrazu zarejestrowanego przez kamer.

W kolejnych czciach artykułu przedstawiona zostanie technologia AR, jej najpopularniejsze zastosowania w e-biznesie i obecne bariery. Urzdzenia typu HMD nale wprawdzie do tradycyj-nego sprztu AR, lecz barierami dla ich upowszechnienia s wysoka cena i słaba ergonomia. Uytkownik nie czuje si swobodnie w kasku na głowie. Dlatego w artykule przedstawione zostan technologie uywajce kamer internetowych i z kamerami w mobilnych telefonach.

Rys. 1. Zwiedzanie miasta przy uĪyciu okularów AR i komputera przenoĞnego w plecaku ródło: [4].

2. Technologia AR

Technologia AR posiada kilka kluczowych elementów:

• _{rozpoznawanie gdzie aktualnie znajduje si uytkownik, fizycznie lub wirtualnie, i na co} patrzy,

• akwizycja obrazu wiata rzeczywistego, • _{akwizycja danych ze wiata wirtualnego,}

• połczenie obu typów danych na jednym obrazie. 2.1. Markery i kamery

Marker jest obrazkiem wydrukowanym na papierze, umieszczanym tam gdzie chcemy zoba-czy przedmiot wirtualny. Zwykle marker jest czarno-biały, a jego dese wskazuje orientacj przedmiotu wirtualnego w rzeczywistej (fizycznej) przestrzeni (rys. 2). Markery mog by :

• nieruchome – wtedy obserwator musi by mobilny,

• _{ruchome – obserwator jest nieruchomy, zwykle siedzi przed komputerem i obracajc} mar-ker oglda przedmiot wirtualny z rónych stron.

Aby uycie markera miało sens, musi on by widoczny w polu widzenia kamery. Moe to by kamera internetowa komputera PC lub kamera inteligentnego telefonu komórkowego (SmartPho-ne). Oprogramowanie rozpoznaje kształt i orientacj markera w obrazie rejestrowanym przez kamer i w tym miejscu nakłada na obraz przedmiot wirtualny (rys. 2).

Rys. 2. Przykładowe markery (lewy) i zrzut ekranowy aplikacji ARBase działającej na komputerze PC z kamerą internetową (prawy); tor z jadącym samochodem (obiekt wirtualny) widoczny jest na

markerze ródło: K. Szczerba, Politechnika Łódzka.

2.2. Narzdzia programistyczne

Wraz z rozwojem technologii AR pojawiło si wiele programów narzdziowych, take zawie-rajcych funkcje rozpoznawania markerów w strumieniu danych video. Róni si one jzykami programowania, bibliotekami graficznymi, liczb rozpoznawanych markerów.

Najpierw były to biblioteki narzdziowe przeznaczone tylko na komputery PC. Najbardziej znany jest ARToolKit, napisany przez Hirokazu Kato (1999r) w jzyku C na platformy Windows, Linux i MacOs, który stał si wzorem dla innych projektów. Potem niektóre frameworki AR zaczły wspiera zarówno tworzenie aplikacji AR na komputery PC jak i na urzdzenia mobilne. Przykładem jest Studierstube 4 opracowany w Politechnice w Grazu, który umoliwiał przeniesie-nie istprzeniesie-niejcych aplikacji PC na mobilne telefony [6]. Niestety, takie rozwizaprzeniesie-nie tworzyło wolne i niestabilne oprogramowanie AR, co wynikało midzy innymi ze znacznie mniejszej pamici i dłuszego czasu dostpu do niej w urzdzeniach mobilnych. Aby poprawi parametry mobilnych aplikacji AR utworzono Studierstube ES, który uwzgldnia specyficzne wymagania urzdze mobilnych takie jak mała pami i asymetryczna technika klient-serwer. Umoliwiło to urucha-mianie aplikacji AR z czstotliwoci 20 ramek na sekund. Obecnie ten kierunek rozwoju narz-dzi programistycznych AR jest preferowany.

3. E-biznes wzbogacony o rzeczywisto
 rozszerzon 3.1. Internetowy sklep AR na platform PC

W architekturze klasycznego sklepu internetowego wystpuje strona domowa, strona wyboru towaru i strona potwierdzenia zakupu. Strona domowa prezentuje asortyment sklepu. Powinna posiada intuicyjny interfejs, aby uytkownik łatwo dotarł do szukanego towaru. Zadaniem strony wyboru towaru jest podanie jego ceny i specyfikacji. Strony te wywietlaj teksty i obrazki.

Na Uniwersytecie Kun Shan w Tajwanie powstał projekt sklepu internetowego AR, którego architektur rozszerzono o stron podglądu towaru i stron wydruku markera [2]. Uytkownik, który zapoznał si ze specyfikacj towaru, na stronie jego wyboru moe klikn na przycisk „Drukuj marker”, który przełczy go do okienka ustawie wydruku markera. Majc marker (rys. 3a) moe zobaczy jak wybrany towar bdzie si prezentował w pomieszczeniu, w którym si znajduje. Kliknicie na przycisk „Podgld” przełczy uytkownika do strony podgldu, na której powinien klikn migocc ikon kamery internetowej. Spowoduje to aktywacj kamery. Teraz naley połoy marker w miejscu przeznaczenia kupowanego towaru, wycelowa w niego kamer (rys. 3b) i klikn przycisk „przechwy ”. Spowoduje to przechwycenie obrazu z kamery, automa-tyczne obliczenie współrzdnych markera i precyzyjne nałoenie w tym miejscu wirtualnego modelu towaru (rys. 3c). Jeeli uytkownik uwaa, e produkt dobrze prezentuje si w jego domu, moe potwierdzi jego zakup klikajc przycisk „Potwierd”.

Interfejs wykonano w programie Flash, natomiast pozostałe funkcje aplikacji (tzn. przejcia midzy stronami i obsług AR) w programie Director i jego jzyku programowania Lingo.

c)

Rys. 3. Internetowy sklep AR sprzedający kopie obrazów: a) marker, b) uĪytkownik kieruje kamerĊ internetową na marker, c) na obrazie przechwyconym z kamery w miejscu markera nakładana jest

wirtualna trójwymiarowa ramka z wybranym obrazem Mony Lizy ródło: [2].

3.2. Internetowy sklep AR na mobilny telefon

W tradycyjnym modelu handlu online wystpuje jednokierunkowe liniowe powizanie mi-dzy elementami procesu, np. projektant → dostawca → konsument. Przykładowo projektanci dostarczaj dostawcom mebli usługi projektowe. Dostawcy oferuj konsumentom wyprodukowane meble i usług dostawy. Załómy, e klient przyjdzie do punktu sprzeday detalicznej, aby kupi stolik. Znalazł taki, który mu si spodobał, ale jego kolor nie pasuje do mebli w pokoju. Pyta wic sprzedawc o inny kolor i otrzymuje negatywn odpowied, poniewa w tym modelu handlu klient nie ma wpływu na projektowanie i produkcj mebli.

Rozwizaniem tego problemu moe by zaprojektowanie systemu informatycznego w oparciu o architektur zorientowan na usługi – SOA (ang. Service-Oriented Architecture), której serwisy, komunikuj si ze sob na zasadzie zapytanie-odpowied. Na uniwersytecie w Sydney powstał projekt o nazwie ARF-Shop, w którym zastosowano równie technologi AR [7]. Uytkownik powinien mie inteligentny telefon z zainstalowan aplikacj ARF-Shop i wydrukowany marker. Na ekranie telefonu wywietlany jest wirtualny mebel zgodnie z lokalizacj markera w pokoju (rys. 4). Klientka moe przej si po pokoju, aby zobaczy wirtualny mebel z rónych stron, lub przesun marker, aby zobaczy wirtualny mebel w innym miejscu. Aplikacja umoliwia równie zmian koloru, rozmiaru i stylu mebla poprzez operowanie mobilnym telefonem.

Rys. 4. Zakup mebli za poĞrednictwem e-biznesowego systemu ARF-Shop: klientka uĪywa go w domu posługując siĊ telefonem komórkowym i markerem wydrukowanym na papierze ródło: [7].

Rys. 5 przedstawia Framework ARF-Shop. Po stronie konsumenta komponent Kontroler do-starcza interfejs umoliwiajcy uytkownikowi sterowanie zdarzeniami takimi jak ogldanie wirtualnych mebli, komunikowanie si z projektantami itp. Poniej znajduje si seria komponen-tów realizujcych wyszukiwanie i ogldanie wirtualnych mebli. Komponent Przechwycenie współpracuje z kamer telefonu, aby przechwyci rejestrowany przez ni obraz oraz rozpozna w nim kształt i lokalizacj markera. Dziki komponentowi Rendering dane trójwymiarowego modelu mebla s przetwarzane na jego dwuwymiarowy obraz nakładany na obraz pokoju w miejscu markera. Komponent Komunikacja dostarcza konsumentowi kanały komunikacji z projektantami i dostawcami: werbalnej przez chat, przez obrazy wideo lub video konferencje. Komponent Audio/Video mógłby udostpnia zarówno komunikacj jak i przechwytywanie obrazu markera.

Serwisy projektanta i dostawcy zawieraj analogiczne komponenty: Komunikacja dostarcza kanały komunikacji, Kontroler – interfejs uytkownika. Komponent Kontener enkapsuluje seri serwisów charakterystycznych dla uczestnika procesu. W przypadku dostawcy s to zamówienia online i przekazywanie produktów do serwisu konsumenta, dostarczanie projektantom informacji o aktualnych materiałach i istniejcych modelach mebli. Komponent Procesor Informacji trans-portuje dane midzy systemem, konsumentem, projektantem, dostawc.

Komponent Security zawiera sub-komponenty koncentrujce si na bezpieczestwie płatno-ci, zabezpieczeniu danych osobowych uytkownika przed nieautoryzowanym uyciem i zabezpieczeniu praw autorskich.

Kontroler

Marker Rendering Przechwycenie Audio/Video Komunikacja K o n su m en t Komunikacja

Serwis kontenera Procesor Informacji Kontroler

Serwis projektanta

Komunikacja

Serwis kontenera Procesor Informacji Kontroler

Serwis projektanta

Serwis inteligencji

Rys. 5. Framework e-biznesowego systemu ARF-Shop ródło: [7].

3.3. Layar – przegldarka i platforma AR

Holenderska firma SPRXmobile uruchomiła pierwsz na wiecie przegldark AR o nazwie Layar, na telefony mobilne z systemem Android OS oraz iPhone 3GS. Telefon musi mie połcze-nie z Internetem, kamer, GPS i kompas. Dziki temu uytkownik moe w czasie rzeczywistym oglda na wywietlaczu telefonu cyfrow informacj naniesion na obraz zarejestrowany kamer. Moe to by informacja o pobliskich sklepach, restauracjach, mieszkaniach wystawionych na sprzeda. Pocztkowo przegldarka była dostpna tylko na terenie Holandii. Od sierpnia 2009 r. jest dostpna na całym wiecie. Obecnie korzysta z niej ponad 2000 organizacji.

Z reguły informacja dostarczana do telefonu ma form tekstow, czasem uzupełnion obraz-kiem, lecz moe mie równie form obiektu trójwymiarowego. Pochodzi z warstwy (ang. layer), która jest równowana stronom internetowym w normalnych przegldarkach. Warstwa składa si z trzech czci: definicji warstwy, listy punktów zainteresowania POI (ang. POI – Point of Inte-rest) znajdujcych si w polu widzenia i lokalizacji poszczególnych POI. Definicja warstwy jest jej kluczowym komponentem, poniewa dostarcza widzowi tytuł, ogólny widok warstwy, a take meta-tagi i lokalizacj serwisu webowego (hostingowego), w którym obsługiwane s dane.

Dane GPS Aplikacja Layar

Daj warstwy Daj warstwy

Daj punkty zainterso-wania Dane Layar Daj punkty zainterso-wania Daj punkty zainterso-wania Warstwa API serwisu Developer Tymczasowa strona internetowa Layar Flickr layar Flickr API

Rys. 6. Ideowy schemat działania systemu Layar AR ródło: [5].

Rys. 7. Przykładowe warstwy Layar: Seeda Launch (lewa) i Valentinian screen shot (prawa) Ideowy schemat działania Layar pokazuje Rys. 6. Najpierw serwisy lokacyjne telefonu (np. kompas i GPS) okrelaj, gdzie aktualnie jest uytkownik. Nastpnie system identyfikuje lokalny punkt zainteresowania i otrzymuje informacj o nim z rónych stron internetowych, takich jak Flickr – hostingowa strona fotograficzna, Wikipedia, itd. Tymczasowa strona internetowa Layar przesyła dane do telefonu i programu AR w celu ich wywietlenia.

API Layar umoliwia developerowi tworzenie nowych warstw. Aktualnie opublikowano 375 warstw, a ponad 1200 warstw jest przygotowywanych. Mona je podzieli na warstwy serwisowe dla marketingu i warstwy dla organizacji (rys. 7).

Przykładami warstw serwisowych s IN-N-Out i Voodoo. Pierwsza warstwa jest serwisem, który znajduje restauracje sieci hamburgerów w Kaliforni i udostpnia ich menu. Druga warstwa wspomaga festiwal Voodoo Rock w Nowym Orleanie. Pomaga sprawdzi czy dany artysta włanie wystpuje, znale jedzenie, napoje, pokój.

Przykładem warstw tworzonych dla organizacji s (rys. 7):

• Seeda Launch layer – utworzona jako element kampanii promocyjnej nowego singla SE-EDA – znanej japoskiej gwiazdy rap i hip-hop. W tygodniu poprzedzajcym wydanie płyty uytkownicy Layar mog posłucha jako pierwsi fragmentu utworu i zobaczy wia-domo video od SEEDA pod warunkiem, e znajd si odpowiednio blisko trzech głów-nych lokalizacji w Japonii (np. Tokyo Tower).

• Valentines screen shot layer – uytkownicy mog tworzy walentykowe fotoramki z obiektami 3D, a nastpnie wygra nagrod fundowan przez 15 restauracji i sklep inter-netowy chocolatestories.com, jeli wyl zrzut ekranu.

4. Podsumowanie i wnioski

W ostanich dwóch latach mona zaobserwowa znaczny wzrost zainteresowania AR. Mimo to wielu specjalistów z dziedziny AR i e-biznesu sdzi, e technologia ta nie upowszechni si z dnia na dzie. Zdaniem Scotta Smith, analityka z Changeist, firmy badania rynku, upowszechnienie AR wymaga odpowiedniej infrastruktury, włczajc w to zintegrowane bazy danych geograficznych, kontekstowych oraz inne rodzaje danych, które mona prezentowa na widokach fizycznego rodowiska [5]. Danych takich potrzebuj przegldarki AR takie jak opisana w artykule Layar i Wikitude firmy Mobilizy, oraz inne systemy tego typu stosujce mobilne telefony. Ogranicze-niem tych urzdze jest mały ekran i zbyt wysoka cena połcze internetowych.

Problemem jest równie brak standardów dla API i danych rzeczywistoci rozszerzonej. W zwizku z tym nie ma moliwoci przenoszenia aplikacji i danych midzy rónymi platforma-mi. Firma Mobilizy utworzyła podobny do HTML jzyk ARML (ang. Augmented Reality Markup Language), który mógłby sta si takim standardem.

Uywanie kamer i drukowanych markerów jako znaczników lokacji jest wprawdzie tanie, lecz ma szereg wad. Markery s due i musz by zawsze zwrócone do kamery, aby wzór markera był widoczny. Biblioteki narzdziowe nie maj dostatecznie dobrych algorytmów rozpoznawania, s czułe na refleksy wietlne, co dyskwalifikuje takie markery w zastosowaniach na zewntrz.

Mimo tych wad AR uwaana jest za jedn z najbardziej przyszłociowych technologii.

Bibliografia

[1] Chehimi F., Coulton P., Edwards R.: Augmented Reality 3D Interactive Advertisements on Smartphones, Sixth International Conference on the Management of Mobile Business (ICMB 2007).

[2] Chen A., Ya-Ling Huangb, Chien-Hsu Chenc, Kuang-Ching Taid: Visual Augmented Real-ity Interface for Table-top E-Bussiness. 7th International Conference on Computer-Aided Industrial Design and Conceptual Design (CAIDCD’06), 2006.

Trans-actions on Information and Systems, E77-D(12), pp. 1321–1329, 1994.

[4] Rosenblum L., Virtual and Augmented Reality 2020, IEEE Computer Graphics and Appli-cations, January/February 2000.

[5] Steven J. Vaughan-Nichols. Augmented Reality: No Longer a Novelty? IEEE Computer, December 2009.

[6] Wagner D. and Schmalstieg D.: Making Augmented Reality Practical on Moblie Phones, Part 1. Projects in VR. IEEE Computer Graphics and Applications, May/June 2009.

[7] Wang R. and Wang X.: Applying Service-Oriented Architecture into an Augmented Reality E-business. IEEE International Conference on e-Business Engineering, 2008.

AUGMENTED REALITY IN E-BUSSINESS Summary

In the existing e-business models, most of the web pages shows to the potential customer only pictures and the incomplete information about the product or service. Therefore, the client is not able to imagine if the product will suit to the real sur-rounding. This problem is solved by an augmented reality, which needs a PC com-puter or SmartPhone, and also adequate software. For that reason the client can put the 3D virtual objects in that place of real (physical) surrounding in which he would have them after buying, or to get the information about the shops, restaurants, and other objects during the wandering around the city. The article discuss basic prob-lems of augmented reality and also the examples of its usage in e-business.

Keywords: Augmented Reality, E-Bussiness

Maria Pietruszka Instytut Informatyki

Wydział Fizyki Technicznej, Informatyki i Matematyki Stosowanej Politechnika Łódzka

e-mail: piet@ics.p.lodz.pl Marian Niedwiedziski

Katedra Informatyki Ekonomicznej Wydział Ekonomiczno-Socjologiczny Uniwersytet Łódzki