A rtur BAL
Politechnika Śląska
PO SZU K IW A N IE O D PO W IE D N IO ŚC I E L E M E N T Ó W O BR A ZÓ W W D ZIED Z IN IE GRAFÓW*
Streszczenie. W pracy przedstaw iono idee nowych, w ykorzystujących infor
m acje o strukturze, m etod poszukiw ania odpow icdniości elem entów obrazów.
Poszukiw anie odpow iedniości elem entów obrazów sprow adzono do zadania ustalenia niedokładnej odpow iedniości odpow iednio zdefiniow anych grafów. Do ustalenia ich odpow iedniości zastosow ano zm odyfikow aną m etodę poszukiw ania odpow iedniości grafów przez poszukiw anie klik. Jako przykład zastosow ania prezentow anych m etod przedstaw iono ich w ykorzystanie w zadaniu poszuki
w ania stereokorespondencji.
M A TC H IN G OF IM AG E E LE M EN T S IN G RAPH DO M A IN
Sum m ary. In this paper the ideas o f novel m ethods for finding correspondence o f im age elem ents, using structural infonnation, are presented. Task o f m atching image elem ents is reduced to the problem o f inexact graph m atching. For solving this problem m odified m ethod o f finding graph m atching by clique finding is used. A s an exam ple o f practical usage o f the described m ethods, their application in problem o f stereom atching is presented
1. W prow adzenie
Do najw ażniejszych i najintensyw niej badanych problem ów w idzenia m aszynow ego należy problem poszukiw ania odpow iedniości elem entów obrazów [4, 7], Znaczenie tego zagadnienia wynika z praktycznego znaczenia rzeczyw istych zadań, jak ie są rozw iązyw ane poprzez jeg o rozw iązanie - zadaniam i tym i są m.in.:
rozpoznaw anie obiektów , klasyfikacja, poszukiw anie w zorca, ustalanie stereo
korespondencji, przeszukiw anie obrazow ych baz danych. N ajbardziej ogólnym zadaniem spośród w ym ienionych je s t poszukiw anie stereokorespondencji, je st to rów nież jedn o z najtrudniejszych zadań w idzenia m aszynow ego. N a przykładzie rozwiązania tego zadania w pracy opisane zostały dw ie m etody poszukiw ania odpow iedniości elem entów obrazów.
" Praca finansowana ze środków BK-208/RAul/2006.
130 A. Bal
Rys. 1. Przykładow a stereopara K oiytarz - a) obraz lewy, b) obraz praw y Celem poszukiw ania stereokorespondencji je s t określenie odpow iedniości elem entów należących do pary obrazów O, i 0 2, tw orzących tzw. stereoparę (rys. 1).
Elem enty obrazów O, i O , odpow iadają sobie, jeśli są rzutem tego sam ego elem entu sceny 3D (tzn. np. punktu, krawędzi, obszaru) na płaszczyzny tych obrazów [3], Poniew aż obrazy tw orzące parę stereo pozyskiw ane s ą z różnych punktów przestrzeni otaczającej analizow aną scenę 3D, pom iędzy obrazam i O, i 0 2 zachodzą różnice, które um ożliw iają rekonstrukcję części relacji przestrzennych w ystępujących w tej scenie na podstaw ie dw uw ym iarow ych obrazów O, i 0 2. Z drugiej strony obecność tych różnic pow oduje, że ustalenie stereokorespondencji je s t bardzo trudnym zadaniem . Poszukiw anie odpow iedniości utrudnione je s t rów nież poprzez brak w iedzy o tym, które elem enty jednego obrazu m ają swoje odpow iedniki w drugim obrazie - brak wzajem nej odpow iedniości m oże być skutkiem np. różnego stopnia w zajem nego przesłania się elem entów sceny w ich rzutach na płaszczyzny obrazów.
2. N ieiteracyjna m etoda poszukiw ania odpow iedniości elem entów obrazów Poszukiw anie odpow iedniości elem entów obrazów za p om o cą dowolnej m etody m ożna sprowadzić do dwóch etapów: /) określenia cech opisujących elem enty obrazów i ich pozyskania z obrazów oraz ii) poszukiw ania elem entów sobie odpow ie- dających na podstaw ie odpow iednio zdefiniow anej m iary oceny podobieństw a tych cech. N a jakość uzyskiw anych wyników istotny w pływ m a zm ienność w ybranych cech w zależności od położenia kam ery. N a podstaw ie różnych dośw iadczeń m ożna stw ierdzić, że do cech stosunkow o odpornych na zakłócenia w ystępujące w w yniku procesu akwizycji obrazów stereo należą cechy strukturalne rozum iane tu jak o opis w ybranych relacji zachodzących m iędzy w ybranym i elem entam i poszczególnych obrazów. Stosow anie cech strukturalnych do poszukiw ania odpow iedniości elem entów w ym aga określenia rodzaju elem entów , których odpow iedniość będzie poszukiw ana, podania cech, jakie b ęd ą stosow ane oraz podania sposobu określenia na ich podstaw ie odpow iedniości tych elem entów.
W pracy jak o analizow ane elem enty w ybrane zostały ob szaiy oj i o j , otrzym ane w efekcie segm entacji obrazów O, i O , — otrzym ane obszary tw orzą parę obrazów G, = j o ' j i O, - {oj }. Kolejnym krokiem je s t utw orzenie m odeli obrazów O, i O, w postaci pary grafów atiybutow ych (sieci) G, i G2. G rafy te zaw ierają inform acje o w ybranych cechach elem entów (tj. obszarów oj i o ) ) i cechach w ybranych relacji zachodzących m iędzy p arą obszarów [ olk , o\ ) , gdzie I = {1,2} jest num erem obrazu. Takie podejście, tj. przejście z dziedziny obrazów O, i 0 2 w dziedzinę grafów G, i G, pozw ala na w ykorzystanie do poszukiw ania elem entów obrazów m etod poszukiw ania odpow iedniości grafów i tym sam ym sprow adzenie problem u poszukiw ania odpow iedniości elem entów obrazów do zadania poszukiw ania odpow iedniości gra fów ([1 ,2 ]). Zasadniczym problem em przy takim podejściu jest brak efektyw nych m etod poszukiw ania odpow iedniości grafów w przypadku obecności zakłóceń w prow adzających m iędzy G, i G, różnice zarów no ilościowe (przejaw iające się zam ianą wartości cech przypisanych elem entom tych grafów), ja k i jakościow e (pow odujące zróżnicow anie struktur grafów ). W ystępow anie takich zakłóceń w przypadku w ielu rzeczyw istych zadań, w tym także zadania stereokorespondencji, je s t cech ą typową.
Ciekaw e podejście do poszukiw ania odpow iedniości pary dow olnych grafów Ga i Gfi zostało opisane przez G. Leviego w pracy [6]. Poszukiw anie odpow iedniości grafów zostało w niej sprow adzone do zadania poszukiw ania, w odpow iednio zdefiniow anym grafie skojarzeniow ym GA , najw iększej kliki (podgrafu p ełnego o najw iększej liczbie wierzchołków). W ad ą tej m etody je s t m ożliw ość jej stosow ania tylko, gdy: i) nie w ystępują różnice wartości cech odpow iadających sobie elem entów oraz ii) ustalenie odpow iedniość w ierzchołków pociąga za sobą identyczność ich w zajem nych relacji. Poszukiw ana je st zatem tylko dokładna odpow iedniość grafów.
N a potrzeby zadania poszukiw ania odpow iedniości elem entów obrazów, w ychodząc od idei algorytm u Leviego opracow ano algorytm poszukiw ania odpow iedniości grafów G, i G2 poprzez poszukiw anie kliki optym alnej:
q„P,
= a r S m i n . [ A (<?)]. (1)W nowej m etodzie zm ieniono zasadę tw orzenia GA na podstaw ie Ga i Gp ~ GA je st tutaj grafem atrybutow ym o w artościach Aj i A? przypisanych, odpowiednio, do jego w ierzchołków vf i kraw ędzi e... U tw orzenie kliki q w GA zw iązane jest z kosztem :
M h “ E , „ A r + Z , . , A f . (2)
R ozw iązanie zadania poszukiw ane je st w śród tych klik GA , które należą do zbioru:
Q = {d - Vw l ? | > | ? | | A ( ? ) < o o a A ( ę ) < coj , (3) gdzie l^l jest liczbą w ierzchołków tw orzących d an ą klikę; q , q c G A. Zastosow ane rozw iązania pozw alają na poszukiw anie tzw. niedokładnej odpow iedniości grafów, tzn. takiej odpow iedniości, w której nie obow iązują ograniczenia m etody dokładnej.
132 A. Bal
O pisany powyżej sposób reprezentacji struktur obrazów w raz z m etodą poszukiw ania odpow iedniości grafów poprzez poszukiw anie qopl tw orzą nieiteracyjną metodą poszukiw ania odpow iedniości elem entów obrazów ([1, 2]).
d) Rys. 2. Porów nanie w yników poszukiw ania odpow iedniości obszarów dla stereopary
K orytarz - w naw iasach podano najw iększą liczbę par obszarów, dla których została określona odpow iedniość daną m etodą: a, b) m etoda nieiteracyjna (32 pary obszarów ), c, d) m etoda w ieloetapow a (75 p ar obszarów). O dpow ia
dające sobie obszary m ają tą sam ą barw ę oraz ten sam num er
3. W ieloetapow a m etoda poszukiw ania odpow iedniości elem entów obrazów
Znalezienie qopl w ym aga spraw dzenia, w ogólnym przypadku,
o ( ' » . » ) = z ; ; (' ' )c . <4) klik m ożliw ych do utw orzenia w grafie GA ; m = | G, | i n = |G2| liczba w ierzchołków grafów w ejściow ych rów na liczbie obszarów (elem entów ) w yróżnionych w O, i 0 2 .
W praktyce oznacza to niem ożność rozw iązania zadań poszukiw ania odpow iedniości elem entów obrazów ju ż dla kilkudziesięciu elem entów w yróżnionych w obrazach.
Proces segm entacji obrazów m oże być prow adzony z różną dokładnością - zauw ażenie tego faktu legło u podstaw opracow ania w ieloetapow ej m etody poszukiw ania odpow iedniości elem entów obrazów [2], Dokładność procesu segm entacji to zdolność podziału obrazu na obszary, tak by obszary te zachow ały inform ację o określonej w ielkości szczegółach w ystępujących w danym obrazie.
Niech oznacza parę obrazów będących w ynikiem segm entacji obrazów O, i 0 2 z poziom em dokładności h e { l,...,H } (rosnący num er h oznacza w zrost dokładności), a o/* oznacza i-ty obszar w yróżniony w obrazie O , na poziom ie
h . Jeżeli segm entacja będzie prow adzona w taki sposób, by spełniony był warunek:
n) -'eo?-1 ° ‘ — °J
to m ożliw e je st rekurencyjne stosow anie w iedzy o odpow iedniości obszarów na poziom ie h do poszukiw ania odpow iedniości obszarów na poziom ie h + 1.
Tak realizow ana m etoda w ieloetapow a, w celu znalezienia rozw iązania dla tego sam ego poziom u dokładności segm entacji, w porów naniu z m eto d ą nieiteracyjną w ym aga znacznie m niejszego nakładu obliczeniow ego. Przykładow y algorytm segm entacji spełniający w arunek (5) przedstaw iony został w [2]. Porów nanie w yników poszukiw ania odpow iedniości obszarów m eto dą nieiteracyjną i m etodą w ieloetapow ą przedstaw iono na rys. 2 .
4. Podsum ow anie
Przeprow adzone testy potw ierdzają słuszność decyzji o w ykorzystaniu struktury w procesie poszukiw ania odpowiedniości. W stosunku do sytuacji, gdy taka infonnacja nie je st stosowana, uzyskano znaczną popraw ę jakości otrzym yw anych w yników przy rów noczesnym skróceniu czasu obliczeń. Istotną zaletą opisanych m etod je st rów nież m ożliw ość zastosow ania do poszukiw ania odpow iedniości elem entów obrazów odpowiednio zdefiniow anych, szybkich, dedykow anych algorytm ów poszukiw ania klik. W przypadku innych m etod poszukiw ania niedokładnej odpowiedniości grafów, np. w m etodzie edycji grafów ([5, 7]), dostępne są jedynie algorytm y niededykow ane. Z aletą prezentow anych m etod je st także łatw ość ich dostosow ania do potrzeb w ynikających z konkretnego zadania poszukiw ania odpow iedniości. W tym celu w ystarczy określić elem enty, których odpow iedniość m a być poszukiw ana oraz podać cechy, które zostaną w tym celu w ykorzystane.
Dokładność uzyskiw anych rozw iązań poszukiw ania odpow iedniości zależy w znacznym stopniu od jakości segm entacji obrazów - z tego pow odu popraw a w yników segm entacji będzie jednym z głów nych kierunków dalszych badań.
N iezależnie od zawansowania stosowanej m etody segm entacji jej w yniki zaw sze m ogą być obarczone błędam i, które wpływać m ogą na w yniki poszukiw ania odpow iedniości. W celu rozw iązania tego problem u podjęta zostanie próba opracow ania odpornych m etod poszukiw ania odpow iedniości elem entów obrazów.
134 A. Bal
LITERATU RA
1. Bal A.: Poszukiw anie odpow iedniości elem entów obrazów z w ykorzystaniem niedokładnej odpow iedniości grafów. Zeszyty N aukow e Politechniki Śląskiej n r 1581, s. A utom atyka z. 138, G liw ice 2003.
2. Bal A.: W yznaczanie odpow iedniości elem entów obrazów z w ykorzystaniem inform acji o ich strukturze. Rozpraw a doktorska, Gliwice 2005.
3. C yganek B.: K om puterow e przetw arzanie obrazów trójw ym iarow ych. A kadem icka Oficyna W ydaw nicza EXIT, W arszaw a 2002.
4. D uda R. O., Hart P. E.: P attem classification and scene analysis. John W iley
& Sons, Inc., 1973.
5. Lladós J.: Com bining Graph M atching and H ough Transform for H and-D raw n Graphical Docum ent Analysis: A plication to A rchitectural D raw ings. R ozpraw a doktorska, U niversität A utónom a de B arcelona, U niversité de Paris 8, 1997.
6 . Levi G.: A note on the derivation o f m axim al com m on subgraphs o f two directed or undirected graphs, In Calcolo, volum e 9, 1972, p. 341-352
7. Schalkoff R. J.: Pattem Recognition: Statistical, Structural and N eural A pproaches.
John W iley & Sons, Inc., 1992.
Recenzent: Prof. dr hab. inż. M arek K urzyński A b s tra c t
M atching o f im age elem ents plays pivotal role in com puter vision dom ain. In this paper two novel m ethods for finding correspondence o f im age elem ents, using structural inform ation, are presented. In both o f them, task o f m atching elem ents o f pair o f input images, O, and O , , is reduced to a problem o f inexact m atching o f graphs G, and G ,, where G, represents elem ents o f im age O ,. Inexact graph m atching problem is solved by using novel m ethod in w hich this problem is reduced to a problem o f finding an optimal clique qopt in association graph GA . Those two stages form the first o f the described m ethod, that is non iterative m ethod.
Image regions obtained from segm entation o f input im ages are those elem ents for which the correspondence in this w ork is searched. Because o f high com putation com plexity o f non iterative m ethod, in the second m ethod the idea o f using m ultilevel segm entation algorithm is explored. I f the segm entation algorithm which fulfills a condition (5) is used, then the inform ation about m atching regions on level h can be used for finding correspondence o f regions on the level h+ 1; bigger h represents m ore detailed segm entation. In (5), o '* is the region / selected in the im age O , at the hth level o f segm entation. The usage o f iterative m ethod significantly reduces com putation com plexity o f im age elem ents m atching problem .
