Wyznaczanie ruchu endoskopu

Zakładaj ˛ac uproszczony model dróg oddechowych, estymacja ruchu mo˙ze by´c podzielona na trzy etapy: wyznaczenie rozbłysku na karinie (punktu fiksacji), oszacowanie k ˛ata obrotu ka-mery oraz przesuni˛ecia wzdłu˙z ´scian drzewa oskrzelowego. Na rysunku 4.7 przedstawiono dwa obrazy z wirtualnej bronchoskopii (otrzymane z wykorzystaniem opracowanego modelu za-biegu bronchofiberoskopii) oraz wynik działania algorytmu estymacji ruchu endoskopu. Na zaprezentowanych obrazach wirtualna kamera została przesuni˛eta w kierunku rozwidlenia oraz obrócona o k ˛at 6°. Otrzymane wektory ruchu zostały przeskalowane, w celu poprawienia czytelno´sci rysunku. Opis działania algorytmu znajduje si˛e w dalszej cz˛e´sci rozdziału.

(a) (b) (c)

Rysunek 4.7: Wynik estymacji ruchu: (a-b) dwa obrazy wirtualnej bronchoskopii oraz (c) otrzy-mane cz ˛astkowe wektory ruchu dla 12 fragmentów tchawicy (—), obliczony wektor ruchu (—) oraz znacznik obrotu (—)

Rozbłysk na karinie stanowi dobry punkt odniesienia dla transformacji pikseli obrazu do biegunowego układu współrz˛ednych. ´Sledzenie tego punktu nie jest kosztowne obliczeniowo, poniewa˙z opiera si˛e na znalezieniu pikseli o maksymalnej jasno´sci w ograniczonym obszarze. Zakładaj ˛ac mał ˛a dynamik˛e zmian kierunku patrzenia kamery endoskopu, ´sledzenie rozbłysku mo˙zna zrealizowa´c za pomoc ˛a przestrzennego okna przesuwanego wraz ze zmian ˛a pozycji roz-błysku w kolejnych klatka filmu. W pracy (Twardowski i inni, 2006) zaproponowano u˙zycie okna Gaussa: W (x, y) = exp · − ¹ D2¡(x − xc)²+ (y − yc)²¢ ¸ , (4.19)

gdzie D jest szeroko´sci ˛a okna, za´s {x_c, y_c} to współrz˛edne pikselowe aktualnego rozbłysku. Ko-lejny punkt fiksacji wyznaczany jest natomiast z nast˛epuj ˛acej zale˙zno´sci:

{xc, yc} = max

x,y £I (x, y) ·W (x, y))¤, (4.20)

gdzie I jest obrazem z endoskopu, za´s W zastosowanym oknem. Z przeprowadzonych testów wynika, ˙ze tak prosta metoda ´sledzenia rozbłysku jest stabilna przy jednoczesnej du˙zej wydaj-no´sci.

K ˛at obrotu kamery wyznaczany jest na podstawie analizy otoczenia punktu fiksacji. Rysu-nek 4.8 przedstawia zasad˛e działania algorytmu estymacji obrotu endoskopu. Punkty obrazu nale˙z ˛ace do najbli˙zszego otoczenia punktu fiksacji s ˛a transformowane do biegunowego układu współrz˛ednych o współrz˛ednych (r,φ), gdzie biegunem jest wyznaczony punkt rozbłysku.

Ob-rót kamery endoskopu objawia si˛e w takim układzie współrz˛ednych jako przesuni˛ecie w osiφ,

które wykrywane jest poprzez korelowanie tak przygotowanych fragmentów kolejnych ramek obrazu.

Rysunek 4.8: Zasada działania algorytmu do szacowania obrotu endoskopu: dla obrazów z dwóch chwil czasowych, otoczenie rozbłysku zostaje przetransformowane do biegunowego układu współrz˛ednych, tak otrzymane obrazy s ˛a korelowane w kierunku osi φ a uzyskana

współrz˛edna maksimum współczynnika korelacji okre´sla k ˛at obrotu

Przesuni˛ecie kamery wzgl˛edem ´scian drzewa oskrzelowego jest równie˙z wyznaczane po-przez korelacj˛e fragmentów oryginalnego obrazu po zmianie układu współrz˛ednych na biegu-nowy, jednak w tym przypadku korelowane s ˛a fragmenty znajduj ˛ace si˛e dalej od punktu fiksa-cji. Zakres korelowanych obrazów zale˙zy od minimalnej i maksymalnej odległo´sci z rejestro-wanej w polu widzenia kamery (równania (4.17) i (4.18)). Analizowany obszar ma wi˛ec kształt „obwarzanka”, który zostaje „rozwini˛ety” w wyniku przej´scia do biegunowego układu współ-rz˛ednych. Zasada działania algorytmu została przedstawiona na rysunku 4.9. Współrz˛edne za-znaczonych punktów zostały wyliczone na podstawie przyj˛etego rurowego modelu otoczenia. Kolorem zielonym zaznaczono jeden wycinek, na podstawie którego wyznaczony jest wektor przesuni˛ecia fragmentu ´scian.

Rysunek 4.9: Zasada działania algorytmu szacowania przesuni˛ecia endoskopu: dla obrazów z dwóch chwil czasowych, obraz ´scian drzewa oskrzelowego zostaje przetransformowany do biegunowego układu współrz˛ednych (r,φ), tak otrzymane obrazy dzielony s ˛a na fragmenty

(zielone ramki), które s ˛a korelowane ze sob ˛a w celu okre´slenia przesuni˛ecia ´scian

W przypadku ruchu post˛epowego kamery wzdłu˙z ´scian tchawicy, ruch ten objawia si˛e jako przesuni˛ecie obrazu ´scian w osi r biegunowego układu współrz˛ednych. W celu poprawy sku-teczno´sci działania algorytmu, „rozwini˛ety” obraz ´scian drzewa oskrzelowego dzielony jest na

k mniejszych fragmentów, które s ˛a nast˛epnie korelowane z odpowiadaj ˛acymi im fragmentami obrazu poprzedniej ramki (rysunek 4.9). Podział obrazu na k fragmentów umo˙zliwia lokaln ˛a analiz˛e ruchu post˛epowego w zadanej liczbie kierunków. Matematyczny opis wyznaczania przesuni˛ecia ma posta´c:

νk= max

ν corr£I_pn,1(r_n,φk), I_pn,2(r_n,φk)¤ , (4.21) gdzie: Ipns ˛a składowymi rotacji i przesuni˛ecia wyliczonymi dla fragmentów obrazu w układzie polarnym, po uwzgl˛ednieniu korekcji perspektywy, aφk jest zakresem k ˛atów w k kierunkach.

Wyznaczenie k ˛ata obrotu polega na korelowaniu obrazów w osiφ, za´s ruchu post˛epowego

w osi r biegunowego układu współrz˛ednych. W obu przypadkach do obliczenia przesuni˛ecia stosowana była unormowana wersja korelacji. Rysunek 4.10 przedstawia obliczone warto´sci unormowanej korelacji obrazów przedstawionych na rysunkach 4.8 i 4.9. W przypadku estyma-cji obrotu, maksymalna warto´s´c współczynnika korelaestyma-cji została wyznaczona dla przesuni˛ecia 6 pikseli (rysunek 4.10a). Poniewa˙z rozmiar korelowanego fragmentu w osiφ wynosił 360

pik-seli, przesuni˛ecie o 6 pikseli odpowiada obrotowi o 6°, co jest zgodne z warto´sci ˛a zadan ˛a. Zaprezentowane na rysunku 4.10b współczynniki unormowanej korelacji odpowiadaj ˛a dwunastu fragmentom jednakowej wielko´sci, na które zostały podzielone obrazy z rysunku 4.9. Mo˙zna zauwa˙zy´c, ˙ze dla kolejnych fragmentów wyznaczone maksymalne warto´sci kore-lacji osi ˛agane s ˛a dla ró˙znych warto´sci przesuni˛ecia. Oznacza to, ˙ze ró˙zne fragmenty obrazu ´scian drzewa oskrzelowego przesuwały si˛e z ró˙zn ˛a pr˛edko´sci ˛a. Uzyskane, dla poszczególnych fragmentów obrazów, wektory ruchu przedstawiono na rysunku 4.7c. Poniewa˙z ró˙znice mi˛e-dzy poszczególnymi obrazami s ˛a niewielkie, wektory ruchu byłyby niewidoczne na rysunku.

(a) (b)

Rysunek 4.10: Współczynniki korelacji: (a) otrzymane przy wyznaczaniu obrotu (rysunek 4.8) oraz (b) otrzymane przy wyznaczaniu przesuni˛ecia (rysunek 4.9)

Dlatego zostały one przeskalowane. Bior ˛ac pod uwag˛e skomplikowany kształt drzewa oskrze-lowego, przedstawionego na analizowanych obrazach wirtualnej bronchoskopii, wyznaczone ró˙zne przesuni˛ecie fragmentów ´scian mo˙zna uzna´c za poprawne.

Ostatecznie, wektor przesuni˛ecia ko ´ncówki endoskopu obliczany jest jako ´srednia geome-tryczna wektorów cz ˛astkowych. Dodatkowo, ´srednia arytmetyczna wektorów cz ˛astkowych ru-chu umo˙zliwia obliczenie przesuni˛ecia endoskopu w płaszczy´znie obrazu, b˛ed ˛acej skutkiem ruchu „w bok” lub ugi˛ecia (obrotu) ko ´ncówki endoskopu.