ZESZYTY NAUKOWE POLITECHNIKI ŚLĄSKIEJ Seria: AUTOMATYKA z. 150
2008 N r k o l. 1796
A le ksan de r N A W R A T , M a rc in J A S IŃ S K I P o lite c h n ik a Śląska
SZY BK IE PR Z E T W A R Z A N IE O BR A ZU W R O BO TY C E
Streszczenie.
K o m p u te ro w a analiza obrazów je s t zadaniem bardzo tru d n y m i czasochłonnym . M a to szczególne znaczenie w p rzyp ad ku a n a lizy obrazu w czasie rz e c z y w is ty m , g d y dane należy przetw arzać w tem pie k ilk u n a s tu bądź naw et k ilk u d z ie s ię c iu k la te k na sekundę. W y n ik m usi b yć w ta k im przypadku dostępny n ie m a l natychm iast. N in ie js z y referat przedstaw ia w y n ik i prac p ro w a d zo n ych nad a lg o ry tm a m i p o z w a la ją c y m i na w y iz o lo w a n ie oraz śledzenie o b ie ktu określonego k o lo ru w obrazie. O trzym ane re zu lta ty p o zw a la ją zastosować opracow ane a lg o ry tm y do przetw arzania obrazu w czasie rz e czyw istym .FA ST IM A G E PR O C E SSIN G IN R O BO TIC S
Sum m ary.
C om puter im age processing is considered to be v e ry hart and tim e consum ing task. I t is p a rtic u la rly m e a n in g fu l w h ile a na lyzin g images in real tim e speed - w hen new data comes in a dozen o r so fram es p er second. T h is paper show resu lt o f w o rk about a lg o rith m s that a llo w s to detect and w atch shape o f designed c o lo r in source im age. R esu lt that were gain are good enough to use this a lg o rith m in the real tim e im age processing.1. W stęp
W literaturze [1, 2, 3] odnaleźć m ożna w ie le p rz y k ła d ó w o pisują cych a lg o ry tm y filtr a c ji o brazó w statycznych. D a ją one bardzo dobre re zu lta ty, k tó re zostają niestety o kup io ne d łu g im czasem p otrzeb n ym na analizę oraz w y k o n a n ie sk o m p lik o w a n y c h o pe ra cji m atem atycznych. Podejście takie nie zdaje egzam inu w p rzypadku p rze tw arzan ia obrazu w czasie rz e czyw istym , gdzie w a ż n ie js z y od bezbłędnego przeprow adzenia filtr a c ji je s t czas, w k tó ry m sama operacja zostaje przeprow adzona.
Prace p row adzone w tej d zie d zin ie n ie są tak liczne ja k w p rzyp ad ku a n a lizy obrazów statycznych, ic h w y n ik i s ą je d n a k bardzo obiecujące [5, 6].
2. Z ałożenia opracow anego algorytm u
O pracow ana m etoda filtr a c ji obrazów p ozw ala na w y iz o lo w a n ie w obrazie b a rw n y m kszta łtu o o kre ślo n ym ko lo rze , o d p ow iad ają cym k o lo ro w i p rzyjęteg o w zorca. N adaje się ona doskonale do śledzenia położe nia oraz rozm iaru kształtu
190 A. Nawrat. M. Jasiński
o k o n k re tn y m ko lo rze , w yko rzysta n a m oże b yć zatem ja k o ź ró d ło danych dla a lg o ry tm ó w sterow ania o b ie k ta m i a u to n o m ic z n y m i. Jako że śledzony o b ie k t p o w in ie n zawsze sta no w ić je d e n s p ó jn y ksz ta łt w obrazie, opracow ana m etoda p o zw a la na p ozostaw ienie je d y n ie najw iększego spośród w y k ry ty c h ksz ta łtó w . W sz y s tk ie inne, ja k o nieistotne d la c e ló w sterow ania, zostają zignorow ane.
A lg o ry tm ( Rys. 1.) o pracow any w w y n ik u prze prow a dzo nych badań składa się z d w ó ch g łó w n y c h części:
1. F iltra c ja obrazu barw nego w celu p ozostaw ienia je d y n ie tych je g o obszarów , k tó ry c h k o lo r odp ow iad a k o lo ro w i p rzyję te g o w zorca;
2. E ty k ie to w a n ie o b ie k tó w obecnych w obrazie w ce lu nadania im u n ik a ln y c h id e n ty fik a to ró w , spraw dzenie ich ro z m ia ru oraz p ozostaw ienie w obrazie w y n ik o w y m je d y n ie najw iększego spośród nich.
Rys. 1. Opracowany algorytm jako źródło danych decyzyjnych dla algorytmu sterowania platformą jezdną
W ce lu przeprow adzenia pierw szego etapu filtr a c ji obraz poddany zostaje obróbce przez opraco w an y w ram ach tego p ro je k tu f i l t r p asm ow o -p rze pu sto w y. B a rw a reprezentowana je s t w ty m p rzyp a d ku w przestrzeni H S V . O braz pochodzący z każdego z ka n a łó w a na lizo w a n y je s t o ddzielnie. P iksel je s t p o zo sta w ia n y w obrazie, je ś li je g o w artość m ieści się w o k re ś lo n y m p rzedziale (w a rto ś c i z b y t m ałe oraz z b y t duże są usuwane). Pow stałe w ten sposób obrazy są progow ane w celu uzyskania ich reprezentacji b inarnej, a obraz w y n ik o w y pow staje przez w ym n o że n ie o d p ow iad ają cych sobie p ik s e li z kanału H przez p ikse le kanału S.
W celu za e tykie to w a n ia obrazu zastosow any został z m o d y fik o w a n y a lg o ry tm
„ b lo b d etection” . W p rzyp a d ku w y k ry c ia p ikse la o zadanej w arto ś c i (w ty m p rzyp ad ku operacje o d b y w a ją się na obrazie b in a rn y m - p o s z u k iw a n ą w a rto ś c ią je s t w ię c „ 1 ” ) należy sp ra w d zić, c z y p ikse l m a ju ż p rz yp o rzą d ko w a n ą etykietę. Jeśli n ie ma, a lg o ry tm sprawdza, cz y któ ry ś z sąsiadów a ktu a ln ie analizow anego p ik s e la m a etykietę. Jeśli tak, p ik s e l o trz y m u je etykietę identyczną, je ś li natom iast nie, oznacza to w y k ry c ie now ego kszta łtu - nadana zostaje m u w ów cza s zu pe łn ie now a etykieta, nieobecna jeszcze w obrazie.
G łó w n e operacje w y k o n y w a n e podczas filtr a c ji obrazu przedstaw ione z o sta ły na schem acie z ilu s tro w a n y m na Rys. 2.
Rys. 2. Główna część opracowanego algorytmu pozwalającego na wyselecjonowanie w obiekcie kształtu o określonej barwie
F iltra c ja przeprow adzana je s t w przestrzeni H S V . Zastosow anie takiego w łaśn ie sposobu reprezentacji k o lo ró w w obrazie p ozw a la na p e w n ą niezależność od w a ru n k ó w o św ie tle n io w y c h . D z ie je się tak, p oniew aż in fo rm a c ja o jasn ości (lu m in a n c ji) danego p iksela zapisana je s t w osobnym kanale i nie je s t ona pow iązana z k o lo re m (w p rzyp ad ku reprezentacji obrazu przestrzeni R G B zarów no k o lo r, ja k i lu m in a n c ja zapisane są w ty m sam ym kanale). R eprezentacja obrazu w przestrzeni H S V p ozw ala ponadto ła tw o separować obraz ze w zg lę d u na k o lo r (k tó ry zapisany je s t w kanale H ), ja k i je g o nasycenie (zapisane w kanale S). O peracje takie przeprow adzone w przestrzeni R G B są b ardzie j czasochłonne, w y m a g a ją b o w ie m a n a liz y w s z y s tk ic h 3 ka na łó w , w k tó ry c h zapisane są poszczególne składow e k o lo ró w .
192 A. Nawrat, M. Jasiński
3. Im plem entacja oraz przykład zastosow ania algorytm u
W ce lu p rzeprow adzenia testów d z ia łan ia a lg o ry tm u został on za im p le m en to w a n y w pro gram ie napisanym w ję z y k u Java. P rogram p o z w a la na filtra c ję obrazu z u ży c ie m opracow anego filtr a w celu w yse le k c jo n o w a n ia w obrazie b a rw n y m k szta łtu o zadanym ko lo rze . P aram etry f iltr a c ji zm ieniane są przez u ż y tk o w n ik a . O b ra z y pochodzące z pośrednich, k lu c z o w y c h s ta dió w filtr a c ji są w y ś w ie tla n e w celu u m o ż liw ie n ia lepszego dopasow ania w s p ó łc z y n n ik ó w filtra c y jn y c h (po dg ląd obrazów w y n ik o w y c h z każdego z ka n a łó w H S V osobno).
O p ra cow a ny p ro gram p o z w a la na sterow anie p ro stym robotem skonstruow anym w celu przetestow ania d z ia łan ia przedstaw ionego a lg o ry tm u w w arunkach n aturalnych. Rys. 3 p rzedstaw ia w id o k robota, k tó ry sko nstruo w an y został w celu przetestow ania d zia łan ia o praco w an ych a lg o ry tm ó w w w arun ka ch rzec z y w is ty c h .
Rys. 3. Robot zastosowany podczas testów algorytmu
O p racow any ro b o t o p a rty został w g łó w n e j m ierze na p la tfo rm ie Q W E R K . Jest to z in te g ro w a n y u kła d k o m p u te ro w y d zia ła ją cy pod k o n tro lą w bu do w an eg o w eń system u operacyjnego L in u x . Posiada on rozb u d o w a n y system p o rtó w I/O (an a lo g o w ych oraz c y fro w y c h ), m o ż liw o ś ć podłączenia do 16 se rw om e cha nizm ów oraz do 4 s iln ik ó w e le ktryczn ych . D w a gniazda U S B p o z w a la ją na podłączenie k a m e ry interne to w e j oraz anteny sieci b ezprzew odow ej. Spraw ia to, że p la tfo rm a ta nadaje się doskonale do sterow ania p ro s ty m i rob ota m i.
Rys. 4. Przykładowa architektura sieci łączącej komputer sterujący z układem QWERK
C echą charakterystyczną zastosow ania opisanej p la tfo rm y je s t konieczność przeprow adzenia w s z y s tk ic h o b lic z e ń m atem atycznych zw iąza nych z przetw arzaniem obrazu na kom puterze PC. Jak pokazano na R ys.4, u k ła d Q W E R K d zia ła pod k o n tro lą ko m p ute ra PC, z k tó ry m połączenie n aw iązyw an e je s t przez sieć loka lną . Dane
Szybkie przetwarzanie obrazu 121
w iz y jn e pochodzące z ka m e ry są transm itow ane przez sieć do kom putera, k tó ry na ich podstaw ie w yzna cza sterow anie d la robota. R ozw iązanie ta kie charakteryzuje się w ystę po w a nie m p e w n ych opóźnień na lin ii Q W E R K - kom puter, są one je d n a k akceptow alne, je ś li w z ią ć pod uwagę prostotę im p le m e n ta c ji (a p lika cja sterująca p la tfo rm ą Q W E R K m oże b yć tw orzona w Javie i w y k o n y w a n a po stronie kom putera PC ) oraz fa k t, że rozw iąza nie tw orzone b y ło je d y n ie do c e ló w testow ych.
Ź ró d łe m danych w iz y jn y c h b y ła kamera internetow a L o g ite c h Q u ickC a m S T X pracująca w ro z d z ie lc z o ś c i 320x240 p ik s e li. Podłączona do Q W E R K a i zam ocowana na stałe do robota przesyłała ona obraz tego, co zn ajdo w ało się bezpośrednio przed n im .
N apęd s ta n o w iły d w a s iln ik i elektryczne E M G 3 0 fir m y R ob otE lectro nics zasilane napięciem 12 V , o m aksym alnej p rę dko ści o b ro to w e j 170 o b ro tó w na m inutę.
W sz y s tk ie te elem enty p rzytw ie rd zo n e zostały do zaprojektow anego i w ycięte go w ty m celu p o d w o z ia a lu m in io w e g o . R ozw iązanie takie, m im o sw ojej prostoty, z a p e w n iło m o ż liw o ś ć szybkiego m ontażu oraz dem ontażu robota. Podczas p ro je k to w a n ia p o d w o z ia p rze w id zian o m iejsce na dodatkow e elem enty (takie ja k c z u jn ik i), co p o z w o li w p rzyszłości na ła tw ą rozbudow ę ko n s tru k c ji.
4. W yniki testów
T esty w y k a z a ły p ra w id ło w e działanie a lg o ry tm u w w arunkach rz e czyw istych (bez zastosow ania sztucznego tła, na k tó ry m o b ie k t w y ra ź n ie się odcina). A lg o ry tm p ra w id ło w o separow ał ksz ta łty o o kre ślo n ym kolorze. W przypadkach n ie je d n o znacznych (w k tó ry c h w y k ry to w ięce j n iż jed en kszta łt o k o lo rz e odp ow iad ają cym w z o rc o w i) w obrazie w y n ik o w y m pozostaw iany b y ł je d y n ie n a jw ię k s z y z nich. W y n ik testu p rze d sta w io n y został na Rys. 5.
Czas przetw arzania je d n e j k la tk i obrazu nie przekraczał podczas testów 500 m ilis e k u n d . Średni czas przetw arzania k la tk i obrazu w y n o s ił ok. 150 m ilise ku n d . O trzym an e re z u lta ty p o z w a la ją na zastosowanie opisanych f iltr ó w do rozpoznaw ania obrazu w czasie rzec z y w is ty m . O brazy otrzym ane w ten sposób m ogą b yć obrazam i w e jś c io w y m i d la a lg o ry tm ó w sterow ania o b ie k ta m i a u to n o m ic z n y m i, podążającym i za o kre ślo n ym w zo rce m barw n ym .
b )
---
Rys. 5. Wyniki testów separowania kształtu o określonym kolorze w obrazach statycznych:
a) widok z karnety, b) obraz wynikowy filtr a c ji (pozostawiony został jedynie największy spośród wykrytych zielonych obiektów).
Jako że o pracow any a lg o ry tm p ozw ala na zaetykietow anie w szystkich w y k ry ty c h w obrazie elem entów , m o ż liw e je s t ich późniejsze rozróżnienie. U m o ż liw ia
194 A. Nawrat. M. Jasiński
to zastosow anie a lg o ry tm u do ta k ic h zadań, ja k k o m p u te ro w e rozpoznaw anie pism a.
Jak pokazano na Rys. 6 c z e rw o n y napis został p ra w id ło w o w y k ry ty . Jako że każda lite ra oznaczona je s t w ła sn ą e tykietą, m o ż liw e je s t zastosow anie a lg o ry tm ó w p o ró w n u ją c y c h ksz ta łt w y k ry ty c h o b ie k tó w (lite r) z w z o rc e m danej lite ry w celu odczyta nia całego w y k ry te g o napisu.
a)
b)Rys. 6. Przykład zastosowania algorytmu
-wybywanie kolorowego tekstu: a) obraz oryginalny, b) obraz przetworzony (każdy obiekt w przefiltrowanym obrazie oznaczony jest osobną etykietą)
Rys.
7.Wyniki testów obiektu w warunkach rzeczywistych - przykład podążania za wykrytą drogą: a) warunki, w. jakich przeprowadzano testy, b) obraz przesyłany z kamery zamontowanej na robocie, c) wynik filtracji - droga, za którą robot powinien podążać.
Przeprow adzone testy w y k a z a ły , że a lg o ry tm separuje k o lo ry na ty le dobrze, że m o ż liw e je s t je g o zastosow anie w ce lu sterow ania o b ie k ta m i a u to n o m ic z n y m i.
D o św iad czen ie polegające na za prog ra m ow an iu robota w ten sposób, aby podążał on za w y k ry tą drogą, za koń czyło się sukcesem. P rz y k ła d o w e obrazy z p rze prow a dzo nych testów zilu stro w a n e zostały na R ys. 7.
S zyb kie przetw arzanie obrazu ...____________________________________________ iq s
S w o b o d n y dostęp do p aram etró w filtra c y jn y c h (które m ogą b yć zm ieniane podczas dzia łan ia a lg o ry tm u ) u m o ż liw ia w y b ó r k o lo ru d ro gi, po ja k ie j porusza się o b ie kt. Jak pokazano na Rys. 8, opracow any a lg o ry tm doskonale sprawdza się p rzy w y s z u k iw a n iu d ro g i na skrzyżow an iach składających się z ró ż n o k o lo ro w y c h lin ii.
a)
. fi
w
¿¿Sr
m!
\
b)
>
C) ’<h
:£Ę§
Rys. 8. Sposób odnajdywania przez obiekt drogi na różnokolorowym skrzyżowaniu:
a) sytuacja testowa, b) wynik fdtracji mającej na celu odnalezienie czerwonej linii, c) wynik poszukiwania linii niebieskiej, d) wynik poszukiwania linii zielonej.
Zastosow anie d o d atko w ych, w chodzących w skład opracow anego a lg o rytm u f ilt r ó w p o z w o liło b y na w y e lim in o w a n ie z obrazu zbędnych szum ów oraz w yszukanie n a jbliższeg o o d cin ka d ro g i będącego sp ójnym kształtem , ja k pokazano na Rys. 9.
Rys. 9. Efekt zastosowanie dodatkowego zestawu fdtrów: a) obraz przed zastosowaniem filtrów, b) obraz po zastosowaniu filtrów -pozostawiono jedynie najbliższy fragment
drogi stanowiący spójną całość.
5. Podsum ow anie
O p ra cow a ny a lg o ry tm doskonale nadaje się do przetw arzania obrazu w celu w y iz o lo w a n ia w n im o b ie k tó w o o kre ślo n ym ko lo rze . Przygotow ane w ten sposób obrazy s ta n o w ią d o b ry p u n k t w y jś c io w y d la a lg o ry tm ó w p ozw ala ją cych na sterow anie o b ie k ta m i b e z z a ło g o w y m i podążającym i za o k re ś lo n y m w zorcem barw nym .
Im ple m e ntacja a lg o ry tm u w Javie pociąga za sobą znaczne n akład y o b licze n io w e oraz p a m ię cio w e (co w y n ik a bezpośrednio ze s p e c y fik i ję z y k a ). M im o to w c h w ili
196 A. Nawrat. M. Jasiński
obecnej p ro gram je s t w stanie przerabiać ok. 3 k la tk i na sekundę. Jak w y n ik a z testów p o ró w n a w c z y c h prędkości ję z y k ó w 4, zastosow anie ję z y k a p ro g ra m o w a n ia n iskie go p o zio m u (takie go ja k C lu b C + + ) p o z w o liło b y przyspieszyć o b lic z e n ia p ię c io k ro tn ie .
Zastosow anie filtr a c ji w przestrzeni H S V p o zw a la zachow ać pew ną n ie w ra ż liw o ś ć a lg o ry tm u na zm ienne w a ru n k i o św ie tle n io w e .
B IB L IO G R A F IA
1. T ad eu siew icz R ., K o ro ch o d a P.: K o m p u te ro w a analiza i przetw arzanie obrazów . W y d a w n ic tw o F un da cji Postępu T e le k o m u n ik a c ji, K ra k ó w 1997.
2. Z ie liń s k i T .: C y fro w e przetw arzanie sygnałów . W y d a w n ic tw a K o m u n ik a c ji i Łączn ości, W arszaw a 2005.
3. Z a w a d a -T o m k ie w ic z A .: K o m p u te ro w a analiza i przetw arzanie O brazów . W y d a w n ic tw o U czeln ia ne P o lite c h n ik i K o s z a liń s k ie j, K o s z a lin 2005.
4. h ttp ://v e rify .s ta n fo rd .e d u /u li/ja v a _ c p p .h tm l - m a te ria ły u n iw e rsyte tu S tanford dotyczące p orów n an ia p rę dko ści ję z y k ó w p ro g ra m o w a n ia (Java/C ++).
5. IE E E C om pu te r S ociety: A R ea l-tim e Im age R e c o g n itio n System fo r T in y A uto no m o u s M o b ile Robots. W a sh in gton , D C , U S A 2005.
6. Y o u J., Bhattaharya P., H u n g e n a h a lly S.: R e a l-tim e o bject re c o g n itio n : h ie ra rch ica l im age m a tch in g in aparallel v irtu a l m achine e nviro n m e nt. Pattern R e co gn ition , 1998.
Recenzent: P rof. zw . d r hab. inż. M a re k K u rz y ń s k i
A bstract
T h is a rtic le describes a lg o rith m that a llo w s to select shape o f d efin ed c o lo r fro m image. W h e n a ll objects o f sp ecified c o lo r are detected in the im age it is possible to label it. T he n each labeled shape can be measured to o b ta in its size and p o s itio n (represented as a center o f its g ra v ity ). A fte r a ll this operations filte re d im age contains o n ly one object - the biggest one fro m set o f objects w itc h c o lo r is s im ila r to the c o lo r o f pattern.
T o select p ixe ls w itc h c o lo r is s im ila r to sp ecified pattern o rig in a l im age is filte re d u sin g band-pass H S V filte r. B y representation o f im age in H S V c o lo r m odel this so lu tio n is q uite independent fro m lig h t c o n d itio n because c o lo r o f p ix e l is represented in one channel and its value (lu m in a n c e ) in another. I t is faster than processing im age in R G B c o lo r m odel because there is o n ly need to analyze one channel o f im age.
