Implementacja wirtualnego modelu kamery

Wirtualny model kamery endoskopu został zaimplementowany z wykorzystaniem biblioteki VTK i opiera si˛e o model kamery otworkowej, która dokonuje przekształcenia perspektywicz-nego bez wprowadzania zniekształce ´n geometrycznych obrazu. Z tego wzgl˛edu, konieczne stało si˛e uzupełnienie tego modelu o zjawiska charakterystyczne dla kamery endoskopowej (Socha i inni, 2009): zniekształcenia obrazu spowodowane szerokok ˛atn ˛a optyk ˛a, rozmycie ob-razu spowodowane sko ´nczon ˛a gł˛ebi ˛a ostro´sci oraz rozmycie spowodowane gwałtownym ru-chem. Przykłady tego typu zjawisk zaprezentowano na rysunku 3.20.

W przypadku endoskopów rozmyte s ˛a obiekty le˙z ˛ace najbli˙zej soczewki. Efekt rozmycia obrazu mo˙ze by´c równie˙z wywołany przez gwałtowne ruchy ko ´ncówki endoskopu przy rela-tywnie długim czasie akwizycji obrazu. Wymienione zjawiska stanowi ˛a nieodzowny element rzeczywistych obrazów endoskopowych i powinny by´c uwzgl˛ednione w obrazach wirtualnych, generowanych na potrzeby szkolenia.

Za kontrol˛e parametrów wirtualnej kamery odpowiada klasa vtkCamera. Parametry ze-wn˛etrzne modelu kamery (wektor translacji oraz macierz rotacji) mog ˛a by´c zadawane zarówno bezpo´srednio, jak i po´srednio przez wskazanie punktu skupienia (ang. focal point). Ogniskowa sterowana jest w sposób po´sredni, poprzez podanie k ˛ata widzenia wirtualnej kamery. Do-datkowo, wirtualna kamera ma mo˙zliwo´s´c okre´slenia przedniej i tylnej płaszczyzny odci˛ecia

(a) (b)

Rysunek 3.20: Przykłady rozmycia rzeczywistego obrazu z endoskopu spowodowane: (a) sko ´ n-czon ˛a gł˛ebi ˛a ostro´sci oraz (b) ruchem ko ´ncówki

(ang. clipping plane). Rozdzielczo´s´c wirtualnej kamery zale˙zy od nastaw klasy

vtkRenderWin-dow. Dystorsje obrazu oraz rozmycia zostały osi ˛agni˛ete z wykorzystaniem dodatkowych filtrów umieszczonych w strumieniu wizualizacji.

Dystorsja obrazu. Obraz z endoskopu charakteryzuje si˛e zniekształceniami beczkowymi, które mo˙zna modelowa´c wielomianem. Implementacja zniekształce ´n geometrii obrazów wir-tualnych wymaga wykonania kosztownych obliczeniowo operacji interpolacji. Z tego wzgl˛edu zdecydowano si˛e wykorzysta´c moc obliczeniow ˛a karty graficznej. Wygenerowany obraz wirtu-alnej endoskopii (bez zniekształce ´n) traktowany jest jako tekstura, która nast˛epnie jest nakła-dana na płaszczyzn˛e rozpi˛et ˛a na regularnej siatce punktów. Poło˙zenie punktów opisuje znie-kształcenie wprowadzane przez optyk˛e endoskopu. Przykłady wirtualnych obrazów przed i po uwzgl˛ednieniu zniekształce ´n przedstawiono na rysunku 3.21. Ze wzgl˛edu na lepsz ˛a czytelno´s´c, wszystkie wizualizacje wirtualnej bronchoskopii przedstawiaj ˛a jedynie kraw˛edzie ł ˛acz ˛ace po-szczególne wierzchołki zrekonstruowanej powierzchni tchawicy.

Rysunek 3.21: Symulowane zniekształcenia obrazu: (a) obraz oryginalny, (b) zniekształcenia beczkowe oraz (c) poduszkowe

Mo˙zliwa jest równie˙z inna metoda wprowadzania zniekształce ´n, polegaj ˛aca na bezpo´sred-niej modyfikacji przestrzennej siatki trójk ˛atów, tworz ˛acych powierzchni˛e przed jej narysowa-niem. Zamiast przesuwa´c piksele na wygenerowanym obrazie deformowana jest cała bryła. Współrz˛edne wierzchołków przesuwane s ˛a prostopadle do osi kamery i uwzgl˛edniaj ˛a odle-gło´s´c od kamery oraz odleodle-gło´s´c wierzchołka od prostej wyznaczanej przez współrz˛edne wirtu-alnej kamery i ´srodek zniekształce ´n. Konieczne jest przeliczenie nowych przesuni˛e´c wszystkich wierzchołków przy ka˙zdej zmianie pozycji kamery. Ze wzgl˛edu na bardzo du˙z ˛a liczb˛e wierz-chołków wyst˛epuj ˛acych w rekonstruowanych modelach drzewa oskrzelowego, metoda ta za-implemetowana z wykorzystaniem jedynie biblioteki VTK okazała si˛e zbyt wolna, by mogła by´c zastosowana w systemach działaj ˛acych interaktywnie.

Rozmycie obrazu. Ograniczona ilo´s´c ´swiatła o´swietlaj ˛acego przestrze ´n przed endoskopem powoduje konieczno´s´c stosowania długich czasów akwizycji obrazu. Długie na´swietlanie sen-sora ma równie˙z pozytywny wpływ na jako´s´c obrazu – powoduje ograniczenie szumów w obra-zie. Z drugiej strony, podczas ruchu ko ´ncówki endoskopu obraz zostaje rozmyty (rysunek 3.20). Rozmycie spowodowane ruchem mo˙ze by´c dobrze symulowane poprzez akumulacj˛e wielu obrazów. Dla ka˙zdego obrazu obliczana jest nowa pozycja przestrzenna kamery, uwzgl˛ednia-j ˛aca przesuni˛ecie oraz obrót i wynikaj ˛aca z ruchu mi˛edzy dwoma pozycjami w przestrzeni. Pozycje te wyznaczaj ˛a pocz ˛atek oraz koniec symulowanej akwizycji obrazu. Takie podej´scie jest zgodne z rzeczywistym ´zródłem powstawania zniekształce ´n – w sko ´nczonym czasie, ko-niecznym do zarejestrowania obrazu, nast˛epuje przesuni˛ecie kamery. Je˙zeli przesuni˛ecie jest niewielkie, efekt rozmycia jest niewidoczny. Na jako´s´c modelowanego rozmycia ma znacz ˛acy wpływ liczba akumulowanych obrazów. Liczba ta mo˙ze by´c dobierana w sposób adaptacyjny, np. na podstawie odległo´sci jak ˛a ma pokona´c kamera. Na rysunku 3.22 przedstawiono wyniki działania algorytmu akumulacji obrazów, który umo˙zliwia symulacj˛e rozmycia obrazu spowo-dowanego ruchem ko ´ncówki endoskopu oraz długiego czasu akwizycji obrazu (ang. motion

blur).

Drugim powodem wyst˛epowania rozmycia na obrazach endoskopowych jest sko ´nczona gł˛ebia ostro´sci. Gł˛ebi˛e ostro´sci definiuje si˛e jako zakres odległo´sci, w którym postrzegany obraz nie jest rozmyty. Z fizycznego punktu widzenia w torze optycznym istnieje tylko jeden punkt, w którym obraz jest ostry (skupiany). Obraz poza ogniskiem nie jest punktem, a jego kształt definiowany jest przez tzw. kr ˛a˙zek rozmycia. Ze wzgl˛edu na sko ´nczon ˛a przestrzenn ˛a rozdziel-czo´s´c sensorów optycznych, istnieje pewien obszar wokół punktu skupienia równie˙z postrze-gany jako ostry. W tym obszarze kr ˛a˙zek rozmycia jest mniejszy ni˙z wymiar detektora i dlatego postrzegany jest jako punkt.

Na zakres gł˛ebi ostro´sci maj ˛a wpływ takie parametry jak: długo´s´c ogniskowej, wielko´s´c przesłony czy odległo´s´c, na któr ˛a ustalona jest ostro´s´c. W endoskopach mo˙zna spodziewa´c si˛e układów optycznych o krótkiej ogniskowej (soczewka szerokok ˛atna). Przesłona nie jest w nich regulowana i ustalona jest na jedn ˛a warto´s´c, która wynika zazwyczaj z konstrukcji. Stosowany ´swiatłowód optyczny ma sko ´nczon ˛a ´srednic˛e i mo˙ze zosta´c potraktowany jako przesłona. Rów-nie˙z ostro´s´c ustalona jest na jedn ˛a odległo´s´c, zazwyczaj dobran ˛a do konkretnych zastosowa ´n. Z przeprowadzonych obserwacji rzeczywistych obrazów pochodz ˛acych z wideobronchofibe-roskopu mo˙zna wnioskowa´c, ˙ze najbardziej prawdopodobnym zakresem ostro´sci jest warto´s´c od kilku milimetrów do kilkunastu centymetrów. Taki przedział dobrany jest do wymiarów ob-serwowanych struktur drzewa oskrzelowego.

(a) (b)

Rysunek 3.22: Wyniki symulacji rozmycia obrazu spowodowanego szybkim ruchem (ang.

mo-tion blur) ko ´ncówki endoskopu: (a) obraz oryginalny oraz (b) obraz z dodanym efektem roz-mycia przy ruchu „na wprost”

• poprzez akumulacj˛e wielokrotnie generowanych obrazów, dla których kamera jest prze-mieszczana o niewielk ˛a odległo´s´c wokół zadanej pozycji, co przy du˙zej liczbie sumowa-nych obrazów symuluje rzeczywisty kr ˛a˙zek rozmycia,

• na drodze modyfikacji pikseli jednokrotnie wygenerowanego obrazu z uwzgl˛ednieniem ich odległo´sci od płaszczyzny obrazu.

Przykład obrazu wirtualnego z zasymulowanym efektem sko ´nczonej gł˛ebi ostro´sci toru optycznego przedstawiono na rysunku 3.23. Dla ka˙zdego u˙zytego obrazu, kamera jest obra-cana wokół punktu skupienia promieni ´swietlnych tzw. focal point, umieszczonego przed ka-mer ˛a. Punkt ten wyznacza kierunek „patrzenia” wirtualnej kamery i mo˙ze by´c wykorzystany do okre´slania punktu ostro´sci. W przypadku akumulowania obrazów niezb˛edne jest równie˙z okre´slenie liczy obrazów oraz maksymalnej odległo´sci, o jak ˛a b˛edzie przesuwana kamera. Przy niewielkim rozmyciu obrazu wystarcza kilkana´scie obrazów. Do uzyskania naturalnego rozmy-cia dla bardzo w ˛askiej gł˛ebi ostro´sci, niezb˛edna jest akumulacja kilkudziesi˛eciu obrazów, co nie pozostaje bez wpływu na wydajno´s´c generowania kompletnego obrazu.