7. Proponowana technika rzutowania punktów zapewniająca ciągłość obiektów
7.2. Opis zaproponowanej techniki
7.2.1. Algorytm rzutowania zapewniającego ciągłość obiektów
W pierwszym kroku trzy sąsiadujące z sobą (tworzące trójkąt) punkty są rzutowane z rzeczywistej mapy głębi zgodnie z (1.3). W wyniku rzutowania otrzymywane są pozycje trzech punktów w pośrednim widoku wirtualnym: ( , ), ( , ) i ( , ) wraz z odpowiadającymi im wartościami głębi: , i .
W drugim kroku sprawdzana jest głębia rzutowanych punktów. Jeżeli wartości głębi poszczególnych punktów w widoku rzeczywistym znacząco się różniły (punkty reprezentowały różne obiekty sceny), pomiędzy tymi punktami nie jest zachowywana ciągłość. Tym samym, punkty te są przetwarzane w typowy sposób, opisany w rozdziale 5.2. W przeciwnym wypadku, w celu zachowania ciągłości pomiędzy punktami, wykonywany jest krok trzeci.
W trzecim kroku zaproponowanego algorytmu wyznaczany jest prostokątny obszar ograniczający w mapie głębi odpowiadającej pośredniemu widokowi wirtualnemu:
B
A B C A C
D E F E F
D
B B
A B C A C A C
D E F E F E F
D D
min( , , ) , max( , , ) ,
min( , , ) , max( , , ) .
W czwartym kroku dla wszystkich punktów ( , ) spełniających warunki:
∈ ˄ ∈ , ˄ ∈ ˄ ∈ ,
sprawdza się, czy punkt znajduje się wewnątrz trójkąta o wierzchołkach ( , ), ( , ) i ( , ).
Sprawdzenie to dokonywane jest poprzez porównanie trzech iloczynów wektorowych:
, , .
Na rysunku 7.4 powyższe iloczyny zostały przedstawione w sposób graficzny. Liniami ciągłymi oznaczono wektory , i , liniami przerywanymi: , i , a kropkowanymi: , i . Wektory , i są prostopadłe do płaszczyzny analizowanego obrazu, a ich zwrot zależy od tego, czy punkt znajduje się wewnątrz trójkąta .
Jeżeli wektory , i mają ten sam zwrot, punkt znajduje się wewnątrz analizowanego trójkąta, a więc wartość głębi tego zostanie wyznaczona na podstawie wartości głębi w wierzchołkach trójkąta.
A
B
Sposób sprawdzania, czy punkt znajduje się wewnątrz trójkąta ; (A) jeżeli punkt jest wewnątrz trójkąta , wektory , i mają ten sam zwrot,
(B) jeżeli punkt jest poza trójkątem , jeden z wektorów , lub ma przeciwny zwrot do dwóch pozostałych
W piątym, ostatnim kroku, wyznaczana jest wartość głębi dla wszystkich punktów znajdujących się wewnątrz przerzutowanego trójkąta. Głębia punktów znajdujących się wewnątrz
trójkąta powinna zmieniać się w sposób płynny. Z tego powodu, wartość głębi punktu estymowana jest jako średnia ważona głębi trzech wierzchołków trójkąta.
7.2.2. P
RZYKŁAD DZIAŁANIAW przykładzie zaprezentowanym na rysunku 7.3 do wirtualnej mapy głębi rzutowane jest 6 punktów widoku rzeczywistego, oznaczonych literami A – F. Wartość głębi w tych punktach i parametry kamer spowodowały, iż punkty, które w rzeczywistej mapie głębi były zgrupowane i tworzyły spójny obszar, w mapie wirtualnej zostały rozmieszczone rzadziej. W przypadku typowego, niezależnego rzutowania poszczególnych punktów (rysunek 7.3A), pomiędzy punktami A – F nie została przerzutowana żadna informacja, a więc w widoku wirtualnym powstała nieciągłość.
W zaproponowanym podejściu punkty grupowane są w trójki zawierające sąsiednie punkty rzeczywistej mapy głębi, kolejno ABD, BDE, BCE i CEF, oznaczone na rysunku kolorowymi trójkątami. Po przerzutowaniu wierzchołków każdego z trójkątów sprawdzane jest, które z punktów wirtualnej mapy głębi znajdują się wewnątrz danego trójkąta (4 punkty zaznaczone na niebiesko w przypadku trójkąta ABD, 2 zielone punkty dla trójkąta BDE i 1 punkt oznaczony kolorem niebieskim dla trójkąta BCE). Następnie wartość głębi dla każdego punktu leżącego wewnątrz trójkąta estymowana jest na podstawie wartości głębi w trzech wierzchołkach trójkąta i odległości między wierzchołkami trójkąta i analizowanego punktu.
W przypadku, gdy trzy tworzące trójkąt punkty charakteryzują się znacząco różną głębią (a więc reprezentują różne obiekty sceny), wymuszenie ciągłości w widoku wirtualnym byłoby błędne.
W takim przypadku w proponowanej technice punkty rzutowane są w sposób typowy, niezależny.
7.3. W
YNIKI EKSPERYMENTALNENa rysunkach 7.5 i 7.6 porównano widoki wirtualne zsyntezowane w sposób typowy (z niezależnym rzutowaniem punktów) z widokami zsyntezowanymi przy zastosowaniu zaproponowanej techniki rzutowania punktów zapewniającej ciągłość obiektów.
Jak pokazano na rysunkach 7.5 i 7.6, rzutowanie trójkątami, poprzez zapewnienie ciągłości obiektów w syntezowanym widoku, umożliwia poprawne przerzutowanie obiektów nawet z silnie oddalonych widoków rzeczywistych (w przypadku sekwencji BBB Butterfly i BBB Flowers kąt między osiami optycznymi kamery 06 i 84 wynosi 39 stopni, kąt między osiami optycznymi skrajnych kamer dla sekwencji Ballet i Breakdancers wynosi 30 stopni.
A C
B D
Porównanie niezależnego rzutowania punktów (A, B) i rzutowania zapewniającego ciągłość obiektów (C, D); sekwencje BBB Butterfly (A, C) i BBB Flowers (B, D), synteza z widoku 06 do 84
A C
B D
Porównanie niezależnego rzutowania punktów (A, B) i rzutowania zapewniającego ciągłość obiektów (C, D); sekwencje Ballet (A, C) i Breakdancers (B, D), synteza z widoku 0 do widoku 7
A C
B D
Wirtualne wejście w scenę, sekwencja BBB Flowers – synteza widoku z kamery skierowanej jak kamera 45, ale umieszczonej znacznie bliżej sceny (za pierwszoplanowymi kwiatami); porównanie syntezy przy niezależnym
rzutowaniu punktów (A, B) i rzutowaniu zapewniającym ciągłość obiektów (C, D)
W przypadku niepoprawnych wartości mapy głębi może się zdarzyć, iż punkty, pomiędzy którymi w widoku wirtualnym powinna zostać zachowana ciągłość, pozostaną niepołączone. Taki efekt pokazany został na rysunku 7.6C i 7.6D, gdzie dla pewnych obszarów ściany czy podłogi w widoku wirtualnym pojawiają się nieciągłości. Takiego problemu nie ma dla sekwencji z poprawnie wyznaczonymi mapami głębi (rysunek 7.5C i 7.5D).
Rzutowanie zapewniające ciągłość obiektów doskonale sprawdza się w jeszcze jednym przypadku – podczas wirtualnego „podejścia” do sceny, a więc w momencie, gdy użytkownik zbliża się do zarejestrowanych obiektów. Taki scenariusz przedstawiono na rysunkach 7.7 i 7.8.
W przypadku widoku syntezowanego dla sekwencji BBB Flowers zapewnienie ciągłości obiektów pozwoliło na zachowanie kształtu widocznych kwiatów czy też poprawne odwzorowanie króliczego futra. Dla sekwencji Poznan_Fencing2 niezależne rzutowanie punktów uniemożliwia poprawny odbiór sekwencji. Rzutowanie zapewniające ciągłość obiektów, nie dość, że pozwala na odwzorowanie sylwetki szermierza, umożliwia poprawną syntezę takich szczegółów, jak napisy na jego stroju.
A C
B D
Wirtualne zbliżenie się do sceny, sekwencja Poznan_Fencing2 – synteza widoku z kamery skierowanej jak kamera 4, ale umieszczonej znacznie bliżej sceny; porównanie syntezy przy niezależnym rzutowaniu punktów (A, B)
i rzutowaniu zapewniającym ciągłość obiektów (C, D)
W przypadku typowego scenariusza, gdy widz wirtualnie przemieszcza się pomiędzy rzeczywistymi widokami, rzutowanie zapewniające ciągłość obiektów również poprawia jakość syntezowanych widoków, jednakże poprawa ta nie jest wyraźna.
7.3.1. O
BIEKTYWNY POMIAR JAKOŚCIW celu pokazania wpływu zaproponowanej techniki na jakość syntezowanych widoków przeprowadzono eksperyment. Dla każdej sekwencji testowej przeprowadzono syntezę widoków wirtualnych przy zastosowaniu niezależnego rzutowania punktów i rzutowania zapewniającego ciągłość obiektów.
Aby umożliwić obiektywny pomiar jakości, widoki wirtualne syntezowane były w pozycji widoków rzeczywistych (rysunek 3.1). Wyniki zaprezentowano w tabeli 7.1, przedstawiając wartości
uśrednione dla wszystkich widoków (wartości dla poszczególnych widoków zaprezentowano w aneksie A3).
Tabela 7.1. Porównanie jakości widoków wirtualnych dla niezależnego rzutowania punktów i rzutowania zapewniającego ciągłość obiektów; wartości uśrednione dla wszystkich widoków
Sekwencja
Poznan_Blocks2 31,58 31,62 0,861 0,861
Poznan_Fencing2 30,67 30,69 0,881 0,880
Poznan_Service2 25,43 25,48 0,816 0,816
Ballet 30,04 30,09 0,854 0,853
Breakdancers 31,62 31,63 0,846 0,846
Soccer Arc 21,14 21,21 0,756 0,755
Soccer Linear 34,23 34,28 0,906 0,906
Poznan_Carpark 33,85 33,88 0,932 0,932
Poznan_Street 35,71 35,72 0,937 0,937
Średnio 29,80 29,95 0,870 0,870
Dla każdej sekwencji testowej pogrubiono najlepszą otrzymaną jakość. Średnia poprawa jakości wyniosła 0,15 dB, przy czym zauważyć należy, iż dla syntetycznych sekwencji testowych, a więc sekwencji z poprawnymi mapami głębi, korzyść płynąca z rzutowania zapewniającego ciągłość obiektów jest większa – dla sekwencji BBB Butterfly wartość PSNR dla widoku wirtualnego zsyntezowanego przy użyciu rzutowania zapewniającego ciągłość obiektów jest o ponad 1 dB większa.
Zaprezentowane w tabeli 7.1 wyniki pokazują, iż zaproponowana technika rzutowania punktów z zachowaniem ciągłości obiektów poprawia jakość syntezowanych widoków, jednakże poprawa jakości nie jest duża. Przeprowadzony eksperyment nie pokazuje jednak różnicy jakości dla najbardziej typowego zastosowania opracowanej techniki, a więc wirtualnego zbliżenia się widza do sceny.
Niestety, dla żadnej sekwencji testowej nie są dostępne widoki odniesienia dla takiego przypadku, a więc niemożliwa jest estymacja jakości obiektywnej tak syntezowanych widoków wirtualnych.
7.3.2. S
UBIEKTYWNY POMIAR JAKOŚCIW celu zmierzenia jakości w przypadku wirtualnego zbliżania się do sceny przeprowadzono testy subiektywne. W prezentowanych uczestnikom testów sekwencjach, wirtualna pozycja widza zmieniała się – w 10 sekund widz trzykrotnie przybliżał się do zarejestrowanej sceny, zaczynając od pozycji centralnej rzeczywistej kamery systemu wielokamerowego i poruszając się wzdłuż jej osi optycznej. Wynik przeprowadzonych testów zaprezentowano na rys. 7.9.
Poprawa mierzonej w sposób subiektywny jakości syntezowanych widoków przy zastosowaniu niezależnego rzutowania punktów i zaproponowanej techniki rzutowania zapewniającego ciągłość obiektów;
dla każdej sekwencji oznaczono 95% przedział ufności; wartości dodatnie oznaczają, że jakość widoków syntezowanych przy użyciu MVS jest lepsza, niż w przypadku VSRS
Jak pokazano, zaproponowana technika rzutowania punktów zapewniająca ciągłość obiektów pozwala na znaczącą poprawę jakości subiektywnej syntezowanych widoków w przypadku wirtualnego zbliżania się do zarejestrowanej sceny. Dla wszystkich dwunastu sekwencji testowych osiągnięta poprawa jakości jest statystycznie istotna.
0 0.5 1 1.5 2 2.5 3
Poprawa jakościmierzonej subiektywnie spowodowana rzutowaniem zapewniającym ciągłość obiektów