dr inĪ. Janusz BĊdkowski mgr inĪ. Piotr Kowalski mgr inĪ. Paweá Musialik
prof. dr hab. inĪ. Andrzej Masáowski
Instytut Automatyki i Robotyki, Politechnika Warszawska
BADANIE SYSTEMU ROBOTÓW MOBILNYCH W APLIKACJI RISE
Referat przedstawia wyniki badaĔ rozproszonego systemu sterowania i nadzoro-wania grupy robotów mobilnych w zastosowaniu do aplikacji RISE (Risky Inte-rvention and Surveillance Environment). Przedstawiono schemat systemu z uwzglĊdnieniem rozproszonego modelu kognitywnego czáowieka nadzorującego oraz wspomagającego pracĊ tego systemu. Omówiono eksperymenty weryfikujące poprawnoĞü dziaáania zaimplementowanego systemu sterowania przeprowadzone w Ğrodowiskach INDOOR oraz OUTDOOR z udziaáem autonomicznych robotów mobilnych.
ANALYSIS OF THE MOBILE ROBOT SYSTEM IN RISE APPLICATION
The paper shows the result of the research related to the implementation of the distributed mobile multi robot inspection system dedicated to the RISE applica-tion (Risky Intervenapplica-tion and Surveillance Environment). The scheme of the system is presented with the focus on the distributed cognitive model of the human super-visor that supports the task execution by the system. The experiments that verify the correctness of the control system implementation are shown. They were per-formed in the INDOOR and OUTDOOR environments with the autonomous mo-bile robots.
1. WPROWADZENIE
Przedmiotem pracy badawczej by á mobilny, poáączony w sie ü, zroboty zowany sy stem inspekcy jno-interwencyjny.
a) b) c) d)
Rys. 1. Komponenty wielorobotowego mobilnego systemu inspekcyjno-interwencyjnego: a) przykáad mobilnej stacji dowodzenia, b) robot Hobo, c) robot Pioneer 3AT z systemem SARA, d) robot Pioneer 3DX
Gáównymi komponentami systemu, przedstawionymi na rys.1, są:
1. Mobilna stacja dowodzenia – jej zadaniem jest zebranie inform acji ze zdalnych urz ądzeĔ oraz prezentacja tych danych operatorowi system u robotów. Stacja wyposa Īona jest w urz ą-dzenia dotykowe HMI oraz oprogram owanie pozwalaj ące na efektywne zarz ądzanie grup ą robotów.
2. Robot zdalnie sterowany – w áaĞciwy robot inspekcyjno-interwencyjny wyposa Īony w ka-mery wideo, m anipulator wieloosiowy oraz system kom unikacyjny. Jego zastosowanie po-zwala czĊĞciowo wyeliminowaü potrzebĊ bezpoĞredniej interwencji cz áowieka w m iejscach, w których moĪe to byü groĨne dla jego zdrowia lub Īycia.
3. Robot autonomiczny – jego zadaniem jest inspekcja rejonu zagro Īenia. WyposaĪony jest w laserowy system pom iarowy um oĪliwiający trójwym iarową (3D) rekonstrukcj Ċ Ğrodowi-ska, kam erĊ wideo, sonary ultrad ĨwiĊkowe oraz urz ądzenia inform ące o orientacji robota. Dodatkowo, w zaleĪnoĞci od charakteru zastosowania, robot m oĪe byü wyposaĪony w senso-ry chemiczne lub kam erĊ termowizyjną. Pojedynczy robot jest elem entem systemu wieloro-botowego i jest wyposa Īony równieĪ w system lokalizacji oraz kom unikacji i Ğledzenia in-nych robotów.
2. IMPLEMENTACJA SYSTEMU STEROWANIA
Rys. 2 przedstawia schemat systemu robotów mobilnych poáączonych w sieü, poddany bada-niom poligonowym.
Rys. 2. Schemat inspekcyjno-interwencyjnego systemu robotów mobilnych poáączonych w sieü System inspekcyjno-interwencyjny zosta á zaim plementowany w rozproszonej architekturze CORBA. Jego zalet ą jest niezale ĪnoĞü od wykorzystywanego j Ċzyka program owania (C++/Java/Python) oraz systemu operacyjnego (GNU/GPL Linux, Mac OS X, MS Windows). Zaletą systemu jest równie Ī moĪliwoĞü integracji sprz Ċtu pochodzącego od ró Īnych dostawców. W szystkie zaim plementowane m oduáy s ą kom patybilne z CORBA, dzi Ċki czem u im -plementacja oprogramowania jest niezale Īna od sprz Ċtu, a tak Īe bezprzewodowa kom unika-cja jest transparentna dla dziaáających moduáów.
Schemat rozproszonego sterowania i nadzorowania robotów m obilnych jest przedsta-wiony na rys. 3. Mobilna stacja dowodzenia jest nadzorowana przez Kognitywnego Nadzorcy
Systemu Robotów (KNSR), autonom iczne roboty m obilne są nadzorowane przez Kognityw-nych Nadzorców Robota (KNRn) oraz zdalnie sterowany robot inspekcyjny jest nadzorowany przez Kognitywnego NadzorcĊ Robota Zdalnie Sterowanego (KNRZS).
Rys. 3. Schemat rozproszonego sterowania i nadzorowania robotów mobilnych (*SO – System Operacyjny)
W celu minimalizacji ryzyka utraty áącznoĞci pomiĊdzy komponentami rozproszonego systemu inspekcyjno-interwencyjnego zaproponowano wykorzystanie kognitywnego m odelu czáowieka nadzorującego system [5]. àączy on w sobie elementy scentralizowane z koncepcją systemu wieloagentowego.
Rys. 4. Schemat rozproszonego, wieloagentowego, kognitywnego, nadzorowania systemu
Rys. 4 przedstawia warstwĊ koncepcyjną takiego modelu. Architektura wieloagentowa opracowanego systemu skáada siĊ z trzech warstw. Pierwsza warstwa jest zarezerwowana dla najwyĪszego poziomu nadzorowania i z tego punktu widzenia najwa Īniejszego w hierarchii,
nazwanego Kognitywnym Nadzorc ą System u Robotów (KNSR). Podczas norm alnej pracy programy dziaáające w warstwie II są zaleĪne od warstwy I systemu. Od strony implementacji mamy wiĊc do czynienia z rozproszonym kognitywnym nadzorcą. W przypadku wystąpienia problemów z komunikacją pomiĊdzy warstwami I oraz II, agenty z warstwy II operuj ą w peá-ni autonom iczpeá-nie zgodpeá-nie z wzorcem system u wieloagentowego. Zak áada si Ċ bezawaryjn ą pracĊ i komunikacjĊ pomiĊdzy agentami warstwy II oraz III, dziĊki wykorzystaniu komunika-cji przewodowej Ethernet w ram ach jednego robota. W warstwie sprzĊtowej architektura ko-gnitywnego nadzorcy wygląda nastĊpująco:
a) KNSR zainstalowany jest w stacji dowodzenia,
b) Kognitywni Nadzorcy Robotów (KNR1, KNR2, …) znajduj ą siĊ na kom puterach pokáa-dowych robotów,
c) Kognitywny Nadzorca SO (KN SO1, KN SO2, …) jest interfejsem im plementowanym przez ka Īdy wykonywany program , zgodnie z regu áami OOP ( Object Oriented
Program-ming).
3. WERYFIKACJA SYSTEMU STEROWANIA I NADZOROWANIA
Weryfikacja systemu sterowania oraz nadzorowania zosta áa przeprowadzona podczas testów poligonowych w rzeczywistych akcjach inspekcyjno-interwencyjnych [5, 6, 7]. W ykonano równieĪ eksperymenty w technologii AR ( Augmented Reality – rzeczywistoĞci rozszerzonej). PoniĪej przedstawiono uzyskane wyniki.
3.1. Inspekcja w Ğrodowisku INDOOR z wykorzystaniem AR
Badany system, którego idea jest przedstawiona na rys. 5, sk áadaá siĊ z agentów wirtualnych oraz agentów rzeczywistych, wchodz ących ze sobą w interakcjĊ [3, 4]. Do sym ulacji rozsze-rzonej rzeczywisto Ğci zastosowano technologi Ċ gier kom puterowych NVIDIA PhysX. Pod-stawowym zaáoĪeniem opisywanego podejĞcia jest znajomoĞü pozycji kaĪdego agenta, dziĊki czemu fuzja danych rzeczywistych i wirtualnych jest m oĪliwa. Do lokalizacji globalnej rze-czywistego robota zosta áy wykorzystane algorytm y [1, 2] bazuj ące na laserowym system ie pomiarowym SICK 200 oraz odom etrii robota. Natom iast globalna pozycja sym ulowanych agentów jest obliczana w Ğrodowisku PhysX. Aby um oĪliwiü symulacjĊ laserowego systemu pomiarowego, trójwym iarowy m odel Ğrodowiska zosta á przeniesiony do form atu zgodnego z silnikiem fizyki. Celem eksperymentów byáa weryfikacja m oĪliwoĞci budowy Ğrodowiska 3D, które moĪe zostaü wykorzystane do celów nadzorowania [6, 7]. Mapa 3D zosta áa zbudo-wana podczas ruchu robota, a jej dok áadnoĞü jest zaleĪna od dokáadnoĞci wykorzystywanego algorytmu lokalizacji SLAM.
Rys. 5. Idea wykorzystania rozszerzonej rzeczywistoĞci
Na powyĪszym rysunku oznaczono:
1 – rzeczywisty robot wyposaĪony w laserowy system pomiarowy, 2 – rzeczywista przeszkoda,
3 – wirtualny robot,
4 – wirtualny robot wyposaĪony w symulowany laserowy system pomiarowy,
5 – wirtualny trójwymiarowy model przeszkód zbudowany na bazie rzeczywistych pomiarów dokonanych przez robota 1,
6 – rzeczywistoĞü rozszerzona o wirtualny model.
Pomiar z czujnika zawiera zarówno elementy rzeczywiste, jak i wirtualne.
a) b)
Rys. 6. Wizualizacja robota mobilnego w Ğrodowisku 3D
Na rys. 6a czerwonym kolorem oznaczono dane z kam er IFM, na zielono trójk ąty lokalnej mapy, na szaro zaznaczono zachowan ą mapĊ w Ğrodowisku PhysX. Na rys. 6b zobrazowano symulacjĊ wskazaĔ lasera na danych rzeczywistych. Rys. 6a przedstawia wizualizacj Ċ robota mobilnego z wyposaĪeniem (4 kamery IFM oraz laser SICK 1000) w Ğrodowisku 3D. Rys. 6b przedstawia symulacjĊ laserowego system u pomiarowego – obliczany i wizualizowany jest dystans pomiĊdzy robotem a wirtualnymi przeszkodami takimi jak zrekonstruowana mapa 3D czy wirtualny robot. Sym ulowany laserowy system pom iarowy wykorzystuje m echanizm przecinania siĊ promieni do obliczenia odlegáoĞci.
Wynikiem inspekcji Ğrodowiska INDOOR jest model w formacie PhysX przedstawio-ny na rys. 7a.
Na rys.7b przedstawiono stanowisko do badania sterowania robotam i zarówno rzeczywistymi jak i symulowanymi. Tu symulowany robot wirtualny jest widoczny w rzeczywistej kam erze robota autonomicznego.
Rys. 7a. Wynik inspekcji Ğrodowiska w postaci modelu 3D PhysX
3.2. Inspekcja w Ğrodowisku OUTDOOR
Podczas tego eksperymentu przetestowano system sterowania autonomicznego robota mobil-nego. Do lokalizacji wykorzystywano odom etriĊ robota. Dane z sonarów oraz laserowego systemu pom iarowego pos áuĪyáy do om ijania przeszkód, a laser um ieszczony wertykalnie, w poáączeniu z odometrią, pozwalaá na akwizycjĊ danych 3D. Celem tego eksperymentu byáo dostarczenie w czasie rzeczywistym modelu 3D Ğrodowiska robota do stacji dowodzenia. Po-zwoliáo to na dostarczenie m odelu do stacji bazowej oraz jego rekonstrukcj Ċ umoĪliwiająca poprawną interpretacjĊ sytuacji kryzysowej. Rys. 8 przedstawia HRI w stacji bazowej oraz rezultaty eksperymentów.
Rys. 8. Od lewej: HRI, widok z kamery zamontowanej na robocie, wizualizacja 3D samolotu
3.3. System wspomagający akcjĊ straĪy poĪarnej
Podczas üwiczeĔ w bazie wojskowej NATO w Beauvechain w Belgii w 2009 roku badano opracowany system mobilnej inspekcji. Zasymulowano konsekwencje wypadku lotniczego ze skaĪeniem chem icznym i ofiaram i w ludziach. Autonom iczny robot inspekcyjny zosta á wprowadzony do wnĊtrza hangaru i przeprowadziá seriĊ pomiarów na dystansie okoáo 20 me-trów (rys. 9 i 10). Robot dostarcza á danych o st ĊĪeniu substancji chemicznych, temperaturze w budynku oraz geom etryczny model 3D otoczenia. Dane wizualizowano w stacji dowodze-nia w postaci modelu trójwymiarowego widocznego na rys. 11.
NAUKA
Rys. 10. Robot autonomiczny w akcji
Rys. 11. Trójwymiarowy model wnĊtrza hangaru wizualizowany w stacji dowodzenia
3.4. Wielorobotowa inspekcja Ğrodowiska INDOOR
Celem przeprowadzonego eksperymentu byáa weryfikacja mobilnego systemu inspekcyjnego, skáadającego siĊ z dwóch ró Īnych robotów autonomicznych oraz stacji dowodzenia. Rys. 13 przedstawia wynik dziaáania algorytmu SLAM w badanym Ğrodowisku robotów. ZaáoĪono, Īe oba roboty (rys. 12 i 13) dysponuj ą niezale Īnym i wystarczaj ącym algorytm em lokalizacji oraz, Īe znane są pozycje początkowe obu robotów. DziĊki temu moĪliwe byáo umiejscowie-nie obu robotów na jednej, sumarycznej mapie w stacji dowodzenia.
Jeden z robotów, szybszy, wykorzystywany jako robot zwiadowczy wykonuje skanowanie oraz lokalizuje siĊ na utworzonej mapie (SLAM – rys. 14). Drugi, wiĊkszy i lepiej wyposaĪo-ny w uk áady sensoryczne generuje m apĊ 3D oraz dokonuje pom iaru st ĊĪeĔ chem iczwyposaĪo-nych i temperatury.
Rys. 12. Po lewej: SLAM – mapa 2D zbudowana przez robota zwiadowczego; po prawej: dwa wspóápracujące roboty
Rys. 13. Jednoczesna inspekcja Ğrodowiska INDOOR
4. PODSUMOWANIE
W referacie zaprezentowano wyniki bada Ĕ zwi ązanych z rozproszonym wielorobotowym systemem sterowania i nadzorowania dedykowanym dla aplikacji typu RISE. G áównym osią-gniĊciem jest tu im plementacja kognitywnego modelu czáowieka nadzorującego system. We-ryfikacja systemu sterowania oraz nadzorowania zosta áa przeprowadzona podczas testów po-ligonowych INDOOR i OUTDOOR, z wykorzystaniem robotów ró Īnych producentów, w rzeczywistych akcjach inspekcyjno-interwencyjnych. W ykonano równie Ī eksperym enty w technologii AR (Augmented Reality – rzeczywistoĞci rozszerzonej).
BIBLIOGRAFIA
[1] A. Howard. Multi-Robot Mapping using Manifold Representations. In: IEEE International Conference on Robotics and Automation. Proceedings New Orleans, Louisiana, Apr, 2004, s. 4198–4203
[2] A. Howard. Simple mapping utilities (pmap).
http://www-robotics.usc.edu/˜ahoward/pmap/index.html
[3] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, B. MacIntyre, Recent advances in augmented reality. In: Computer Graphics and Applications, IEEE 21 (6), Proceedings, 2001, s. 34–47.
[4] B. Giesler, T. Salb, P. Steinhaus, R. Dillmann, Using augmented reality to interact with an autonomous mobile platform. In: ICRA. IEEE (6), Proceedings, 2004, s 1009–1014.
[5] J. BĊdkowski, A. Masáowski.: Cognitive Theory – Based Approach for Inspection using Multi Mobile Robot Control. In: The 7th IARP International WS HUDEM’ 2008, AUC, Cairo. Proceedings, March, 2008, CD-ROM.
[6] J. BĊdkowski, A. Masáowski. NVIDIA CUDA application in the Cognitive Supervision and Control of the Multi Robot System. In: International Workshop on Robotics for Risky Interventions and Environmental Surveillance RISE’2009, Brussels. Proceedings, January 2009, CD-ROM.
[7] J. BĊdkowski, J. Piszczek, P. Kowalski, A. Masáowski. Improvement of the robotic system for disaster and hazardous threat management, In:14th IFAC International Conference on Me-thods and Models in Automation and Robotics. Proceedings, August, 2009 (CD-ROM).
