PREDYKCJA PRZEMIESZCZEŃ PRZY KODOWANIU SEKWENCJI WIELOWIDOKOWYCH Z WYKORZYSTANIEM KODERA SKALOWALNEGO AVC

Krzysztof Klimaszewski Politechnika Poznańska,

Katedra Telekomunikacji Multimedialnej i Mikroelektroniki ul. Polanka 3, 60-965 Poznań

kklima@et.put.poznan.pl

PREDYKCJA PRZEMIESZCZEŃ PRZY KODOWANIU SEKWENCJI

WIELOWIDOKOWYCH Z WYKORZYSTANIEM KODERA

SKALOWALNEGO AVC

ulepszenia predykcji przemieszczeń przy kompresji sekwencji wielowidokowych oraz wykorzystująca tę ideę modyfikacja kodera AVC. Przy użyciu zmodyfikowanego kodera przeprowadzone zostały próby kodowania sekwencji wielowidokowych, wyniki których zamieszczone są w dalszej części artykułu.

1.WSTĘP

Duży postęp, jaki dokonał się na przestrzeni kilku ostatnich lat w dziedzinie przetwarzania sekwencji wizyjnych umożliwił budowanie i wykorzystywanie systemów, w których daną scenę rejestruje nie jedna czy dwie kamery, lecz całe zespoły złożone z kilkunastu a nawet kilkudziesięciu synchronizowanych kamer. Systemy takie umożliwiają swobodny i realizowany w czasie rzeczywistym wybór punktu obserwacji sceny przez widza. Daje to możliwość stworzenia telewizji swobodnego punktu widzenia (FTV) – punkt obserwacji sceny jest wybierany przez użytkownika, scena może być obserwowana pod różnymi kątami. Możliwe jest również stworzenie trójwymiarowego obrazu sceny, czy to przy pomocy metod i urządzeń znanych ze stereowizji, czy też znacznie bardziej złożonych wyświetlaczy trójwymiarowych. Działanie tego typu układów wymaga przesyłania do odbiorcy widoków z wielu kamer jednocześnie.

Z pewnością jednym z największych problemów stojących przed twórcami tego typu systemów jest kwestia przesłania potrzebnych danych do odbiorcy. Przesłany musi być bowiem równolegle obraz z wielu kamer. Jak wielkim jest to wyzwaniem pokazuje choćby najprostszy przykład – przy założeniu, że rozsądnej jakości obraz telewizyjny wymaga prędkości transmisji około 1 – 2 Mb/s przy zastosowaniu nowoczesnych koderów typu AVC, to przesłanie sygnału z 8 kamer będzie wymagało przy niezależnym kodowaniu (simulcast) 8 – 16 Mb/s. A należy mieć na uwadze, że buduje się również systemy złożone ze 100 kamer [10]. Wobec tak dużych ilości danych, konieczne wydaje się opracowanie standardu kompresji, który umożliwiłby realizację transmisji sekwencji wielowidokowych za pomocą istniejących technologii dostępu. Jedną z propozycji jest wprowadzenie odpowiednich modyfikacji do opracowanego standardu kompresji AVC.

2. KOMPRESJA WIELOWIDOKOWA – STAN PRAC

Wśród gremiów zajmujących się standaryzacją metod kompresji poczesne miejsce zajmuje grupa robocza MPEG, działająca w ramach ISO, której dotychczasowe działania doprowadziły do powstania licznych standardów przetwarzania treści multimedialnych. W czerwcu 2005 roku na spotkaniu MPEG w Poznaniu ogłoszony został początek prac standaryzacyjnych dotyczących kodowania wielowidokowego [2]. Na podstawie porównania efektywności różnych propozycji [3], wyłoniona została najbardziej obiecująca metoda kompresji wielowidokowej [4][1], wykorzystująca koder skalowalny. Zakłada ona wprowadzenie jako obrazów referencyjnych kodera AVC obrazów pochodzących nie tylko z innych chwil czasu z tej samej kamery, lecz również z innych kamer z tej samej chwili czasu. Schemat konkretnych odniesień przedstawiony jest, za [1], na rys. 2. Osiągnięte wyniki przedstawione zostały natomiast na rys. 1.

Rys. 1. Wykres zależności PSNR od przepływności dla kodowania wielowidokowego (dane pochodzą z [1])

Bazując na metodzie opisanej w [1] wiele ośrodków badawczych podjęło prace zmierzające do zwiększenia wydajności kompresji [5]. Wśród propozycji znajdują się próby zmiany widoku nadrzędnego, czyli takiego, którego dekodowanie nie

2006

różni się w żaden sposób od dekodowania strumienia AVC dla pojedynczej kamery (na rys. 2 widokiem nadrzędnym jest pierwszy – przedstawiony w górnym rzędzie). Zmiana taka owocuje zmniejszeniem złożoności procesu dekodowania i poprawą jakości dekodowanych sekwencji. Rozważana jest także kompensacja zmian oświetlenia dla obrazów pochodzących z różnych kamer, predykcja

międzywidokowa posiłkująca się interpolacją sąsiednich widoków oraz predykcja wektorów przemieszczeń.

W artykule zaprezentowana została metoda predykcji wektorów przemieszczeń w kompresji sekwencji wielowidokowych, która to kompresja w dalszej części określana jest skrótowym terminem „kompresja wielowidokowa”. I0 B1 B1 P0 B3 b4 b4 B3 B2 B3 B3 B2 P0 B1 P0 P0 B3 b4 B3 B3 B2 B3 B2 B2 B1 B2 B2 B1 B1 B2 B1 B1 B3 b4 b4 B3 B3 b4 B3 B3 I0 B1 B1 P0 P0 B1 P0 P0 B3 b4 b4 B3 B2 B3 B3 B2 B3 b4 B3 B3 B2 B3 B2 B2 B3 b4 b4 B3 B3 b4 B3 B3

Rys. 2. Struktura ramek referencyjnych (z lewej) i kolejność ich kodowania (z prawej) dla kodera wielowidokowego według [1]

3. KOMPENSACJA PRZEMIESZCZENIA A KOMPENSACJA RUCHU

Kodowanie wielowidokowe różni się od standardowego – jednowidokowego, tym, że poza predykcją i kompensacją ruchu pomiędzy obrazami z kolejnych chwil czasu, występuje konieczność predykcji i kompensacji przemieszczeń między obrazami z różnych kamer, pochodzącymi z tej samej chwili czasu. Przesunięcia rozumiane są tu jako różnica pozycji obiektów na obrazach z kolejnych kamer. W przeciwieństwie do ruchu obiektów sceny, którego nie można dokładnie przewidzieć, przesunięcie jest całkowicie uzależnione od geometrycznych zależności w scenie. Predykcja przesunięć może być zatem dokładniejsza, jeśli tylko znanych jest kilka parametrów sceny i zespołu kamer.

W przykładzie z rys. 3, scena obserwowana jest za pomocą trzech ustawionych w jednej linii kamer. W tym przypadku można dokładnie wyliczyć położenie (Δ) rogu przedmiotu w obrazach z kolejnych kamer, znając długość ogniskowej kamer (f), ich odległość od przedmiotu (d) oraz odstępy między kamerami (Dk – nie muszą być jednakowe). Potrzebna jest jeszcze znajomość położenia obiektu w obrazie z dowolnej kamery. Za pomocą wzorów wynikających z podobieństwa trójkątów

(1) można wyznaczyć przemieszczenia (Di-j) w obrazach z kolejnych kamer.

(2)

Różnice pomiędzy położeniami obiektów w obrazach sąsiednich kamer, czyli przesunięcia Di-j można zatem z

łatwością określić na podstawie wzorów:

(3)

Przy równym odstępie między kamerami dowolny element sceny przemieszcza się zatem o stałą odległość przy zmianie kamery na sąsiednią.

Wobec faktu, że parametry takie jak ogniskowa kamer i ich wzajemne odległości są dostępne i mogą być bez problemów podawane do wiadomości kodera i dekodera, zagadnienie predykcji przesunięć wydaje się być sprawą bardzo prostą. Problemem jest jednak to, że odległości obiektu od kamer, zwanej głębią – d nie są bezpośrednio dostępne. Można je wyliczyć, używając znanych metod ich wyznaczania. Problemem pozostaje zapewnienie możliwości odtworzenia wartości predykcji przeprowadzonej przez koder w dekoderze. Dekoder musi dysponować odpowiednimi danymi – w tym przypadku konieczne jest, aby mapa głębi była do dyspozycji dekodera. Przesyłanie mapy głębi wiąże się z dodatkowymi danymi do przesłania, jednak należy wziąć pod uwagę fakt, że mapa głębi może być przedstawiona jako obraz w skali szarości, pozbawiony złożonych tekstur, zatem dobrze poddający się kompresji. Istotnym powodem, dla którego warto się zainteresować opracowaniem odrębnej metody predykcji dla przemieszczeń jest też fakt, iż używana standardowo predykcja medianowa, czyli predykcja działająca na

D

=

A

B

d

⋅f =

D

d

⋅f

D

=

C

−B

_d

⋅f =

D

d

⋅f

D

=

A

C

d

⋅f =

2

⋅D

d

⋅f









Rys. 3. Przemieszczenia w systemie z trzema równo odległymi kamerami podstawie danych z sąsiednich makrobloków z tego

samego obrazu, nie działa zbyt dobrze na granicy obiektów. Ilustruje to rys. 4. Przedstawia on wartości bezwzględne błędu predykcji składowej poziomej wektora przemieszczenia przy predykcji medianowej.

Rys. 4. Obraz z kamery (u góry) i wartość bezwzględna błędu predykcji wektora przesunięcia (na dole). Im jaśniejszy punkt, tym większa wartość błędu. Użyte były

tylko bloki 16 x 16 punktów.

4. PREDYKCJA PRZEMIESZCZEŃ

Gdy znane są wartości głębi punktów obrazu odpowiadających konkretnym obiektom oraz parametry

systemu kamer, możliwe jest dokładne wyznaczenie pozycji tych obiektów na kolejnych obrazach, pochodzących z różnych kamer lecz z tej samej chwili czasu. Oszacowanie mapy głębi jest dość łatwe w przypadku, gdy kamery ustawione są w linii prostej, a ich osie optyczne są równoległe. Można wtedy wyznaczyć mapę głębi na podstawie blokowego poszukiwania odpowiadających sobie fragmentów dwu obrazów pochodzących z tej samej chwili czasu lecz różnych kamer. Warto zauważyć, że dokładnie taką samą operację przeprowadza moduł estymacji ruchu w koderze – poszukuje fragmentu obrazu odniesienia, dla którego różnica (choćby w sensie wartości bezwzględnej lub kwadratowej różnic) między nim a aktualnym fragmentem przetwarzanej ramki jest minimalizowana. Jeśli kamery nie są przechylone – osie poziome obrazów są równoległe do osi ustawienia kamer, a obraz odniesienia jest obrazem z sąsiedniej kamery i pochodzącym z tej samej chwili czasu co przetwarzany obraz, to wartości poziome wektorów ustalonych przez moduł estymacji ruchu w koderze tworzą mapę głębi. Po stronie dekodera odtwarzana jest również mapa głębi – dekoder zna wartości wektorów przesunięć w zdekodowanym obrazie, zatem bez żadnych dodatkowych informacji może stworzyć identyczną mapę głębi.

W praktyce przedstawione założenia co do ustawień kamer są trudne do osiągnięcia, stąd zachodzi potrzeba przeprowadzenia procesu rektyfikacji (korekcji) sekwencji przed ich przetwarzaniem.

5. ALGORYTM PREDYKCJI PRZEMIESZCZEŃ

W kompresji wielowidokowej zachodzi potrzeba kompresji następujących po sobie obrazów z różnych kamer i tej samej chwili czasu, jak to przedstawiono na

OBIEKT f A B C Δ3 d Δ1 Dk Dk Δ2 płaszczyzna obrazu

I

II

III

rys. 5. Kompresja obrazu o numerze „i” jest standardową kompresją wewnątrzobrazową, kompresja obrazu „i+1” jest natomiast kompresją z użyciem predykcji i kompensacji przemieszczeń. Kompresując ramkę „i+1”, koder poszukuje w ramce odniesienia „i” fragmentów odpowiadających fragmentom obrazu „i+1”, przypisując fragmentom obrazu „i+1” odpowiednie wektory przemieszczeń. Równocześnie możliwe jest stworzenie, przy pomocy składowych poziomych wektorów przemieszczeń, mapy głębi dla obrazu „i+1”. Predykcja przesunięć dla kolejnych obrazów, czyli „i+2”, „i+3” może już wykorzystywać tę mapę głębi.

Rys. 5. Fragment schematu kompresji wielowidokowej Przy kompresji obrazu „i+2” i kolejnych, predykcja medianowa może być zatem zastąpiona przez predykcję bazującą na mapach głębi obrazów referencyjnych. Działanie predykcji polega na wyszukiwaniu w mapie głębi aktualnego obrazu odniesienia obszaru o głębi spełniającej podane dalej warunki.

Jeśli aktualnie przetwarzany makroblok ma współrzędne (X,Y), to poszukiwanie odbywa się w mapie głębi obrazu odniesienia na następującej zasadzie – przeszukiwany jest pas mapy głębi od pozycji (X,Y) do pozycji (MaxX,Y), gdzie MaxX jest maksymalną wartością współrzędnej X dla danej sekwencji. Jeśli kamera o najniższym numerze jest ustawiona na lewym (patrząc w kierunku, w którym skierowane są kamery) brzegu systemu kamer, a kolejne kamery oznaczane są kolejnymi numerami, to poszukiwany jest fragment mapy głębi spełniający równanie

(4) gdzie G(x,y) jest znormalizowaną wartością głębi dla współrzędnych (x,y), a jest współczynnikiem wynikającym z odległości między kamerami, natomiast

b założonym z góry współczynnikiem wyznaczającym

margines pokrywania się makrobloków. Dla równo odległych od siebie kamer a równa się różnicy indeksów kamer, z których pochodzą obraz aktualny i obraz odniesienia.

Poszukiwany fragment mapy głębi odpowiadać powinien fragmentowi obrazu odniesienia, zawierającemu obraz obiektu, który dla aktualnie kompresowanego obrazu znajduje się w pozycji aktualnego makrobloku. Zatem wartość G(i,Y) wyznaczona ze wzoru (4) może być przewidywaną

wartością przemiesczenia dla aktualnego makrobloku. Wartość wektora przemieszczenia ma składową pionową równą wartości składowej pionowej wektora z predykcji medianowej dla tego makrobloku. Poszukiwana jest wartość i, która daje największą wartość G(i,Y). Warunek wartości maksymalnej jest wprowadzony aby odnaleźć fragment obrazu odniesienia na którym widoczny jest obiekt położony najbliżej zespołu kamer, czyli taki, który zasłoni pozostałe obiekty sceny przy zmianie widoku.

6. IMPLEMENTACJA ALGORYTMU

Koder kompresuje pierwszy obraz sekwencji wewnątrzobrazowo, drugi obraz kompresowany jest z użyciem poprzedniego jako ramki odniesienia. Predykcja przemieszczeń dla drugiego obrazu przeprowadzana jest jedynie za pomocą algorytmu medianowego. Przeszukiwanie w algorytmie estymacji przemieszczenia przeprowadzane jest jedynie w stronę rosnących wartości współrzędnej poziomej. Po zakodowaniu drugiego i każdego kolejnego obrazu, składowe poziome wektorów przemieszczeń wszystkich makrobloków w obrazie, po podzieleniu przez odległość między kamerą, z której pochodzi aktualny obraz a obrazem odniesienia dla makrobloku, zapisywane są do oddzielnej tablicy. Każdy element takiej tablicy reprezentuje fragment o wielkości 4 x 4 punkty, który jest najmniejszym blokiem w standardzie AVC. Wartości przemieszczeń wyznaczane są z dokładnością do 0,25 punkta. W przypadku, gdy dany makroblok jest kodowany wewnątrzobrazowo, wartość wpisywana do tablicy wynosi zero.

Wszystkie kolejne obrazy kodowane są z użyciem predykcji bazującej na opisanym wcześniej algorytmie.

7. WYNIKI

W celu wyznaczenia osiągów algorytmu zmodyfikowany został koder skalarny AVC w wersji JSVM 6 [6]. Wprowadzona została alternatywna metoda predykcji, oparta na opisanej powyżej. Badanie algorytmu zostało przeprowadzone przy użyciu różnych sekwencji testowych [2]. W dalszej części prezentowane są jedynie wyniki dla sekwencji „Ballroom” [7], gdyż wyniki dla wszystkich sekwencji są zbliżone. Sekwencja „Ballroom” stworzona została przy użyciu 8 kamer ustawionych wzdłuż jednej linii. Sekwencja poddana została korekcji, zatem osie optyczne kamer są równoległe do siebie, a zarazem prostopadłe do linii ustawienia kamer. Odległość między kamerami jest jednakowa. Do testów użyta została sekwencja składająca się z 8 obrazów, będących obrazami z kolejnych kamer, pochodzącymi z tej samej chwili czasu.

W przypadku sekwencji „Ballroom”, predykcja przemieszczenia dla makrobloku realizowana jest według wzoru (4), przy współczynniku a równym różnicy numerów kamer: aktualnej i kamery, z której pochodzi obraz będący aktualnym obrazem referencyjnym.

W celu przyspieszenia obliczeń, kompresowane były kolejne 4 obrazy sekwencji testowej.

max

i≤MaxXGi , Y :G i ,Y − a⋅i− X ≤b I P P P czas widok obraz i obraz i+1 obraz i+2 obraz i+3

Wykorzystywane były podziały makrobloku na bloki o wymiarach 16 x 16, 8 x 8, 8 x 4, 4 x 8, 4 x 4 punkty. Makrobloki mogły być kodowane jako typu I lub P. Przy kodowaniu makrobloku porównywane były wartości predykcji medianowej i proponowanej. Jeśli predykcja wykorzystująca mapy głębi dawała wynik bliższy oszacowanemu przez moduł estymacji przesunięcia niż predykcja medianowa, do strumienia wyjściowego zapisywana była wartość predykcji wyznaczona przez opisywany algorytm. W przeciwnym przypadku wykorzystywano wartości predykcji medianowej. Porównanie dokonywane było już po wykonaniu

procedur poszukujących ostateczny wektor przemieszczenia. Takie rozwiązanie uniemożliwia wprawdzie poprawne zdekodowanie strumienia (dekoder nie wie, która z dwóch metod predykcji była użyta przez koder), lecz pozwala na zorientowanie się, na ile użyteczna jest proponowana metoda. Makrobloki typu

skip wykorzystywały zawsze predykcję medianową.

Testowana była również wydajność kompresji gdy jedynym algorytmem predykcji był proponowany algorytm.

Uzyskane wyniki przedstawione są w tabeli 1.

Tabela 1. Porównanie wyników dla różnych algorytmów predykcji

Współczynniki b QP Fragment sekwencji Tylko predykcja medianowa Proponowana predykcja (gdy lepsza) i predykcja

medianowa

Tylko proponowana predykcja

długość

pliku [Bajty] PSNR [dB] długość pliku [Bajty] PSNR [dB] długość pliku [Bajty] PSNR [dB]

1 31 1 46021 35,86 46002 35,86 46001 35,84 2 46602 36,04 46590 36,04 46719 36,02 3 45106 35,76 45089 35,76 45254 35,75 4 48110 36,30 48093 36,30 48176 36,29 2 31 1 46021 35,86 46005 35,87 46023 35,83 2 46602 36,04 46580 36,04 46770 36,02 3 45106 35,76 45088 35,76 45320 35,74 4 48110 36,30 48136 36,30 48159 36,28 2 45 1 6435 27,24 6427 27,25 6419 27,22 2 6966 27,40 6959 27,40 6971 27,39 3 5798 27,08 5786 27,08 5828 27,07 4 7760 27,65 7780 27,66 7789 27,65

Makrobloki, których wartości przesunięcia przewidywane są lepiej przy wykorzystaniu predykcji z użyciem map głębi zaznaczone zostały na rys. 6. Zmniejszeniu uległ przede wszystkim błąd predykcji na granicy obiektów, jednak średnia wartość błędu wzrosła.

Rys. 6. Porównanie predykcji. Obszary obrazu, dla których predykcja z użyciem map głębi daje lepsze rezultaty niż predykcja medianowa są zaznaczone jako

jaśniejsze. Użyte były tylko bloki 16 x 16.

8. WNIOSKI

Przeprowadzone eksperymenty pokazują, że zysk wynikający z wprowadzenia nowej metody predykcji przesunięć w obecnej wersji jest zbyt mały, aby dało się tę metodę wykorzystać w praktyce. Ewentualna sygnalizacja typu predykcji wprowadziłaby wzrost ilości koniecznych do przesłania bitów przewyższający zyski z lepszej predykcji wektora przesunięcia.

Wykonane już wcześniej analizy [8,9] pokazują, że w przypadku proponowanego schematu ramek odniesienia prawie zawsze najczęściej wybieraną ramką jest ramka poprzedzająca aktualnie kompresowaną o jedną chwilę czasu i pochodząca z tej samej kamery. Świadczy to o bardzo dużej korelacji między obrazami z tej samej kamery i bezpośrednio po sobie następujących chwil czasu. Wybór ramek z sąsiednich kamer jest dokonywany rzadziej – korelacja między zawartością ramek z sąsiednich kamer okazuje się być mniejsza niż korelacja w czasie z jednej kamery. Nie można zatem spodziewać się po proponowanej tu metodzie znaczącej poprawy wydajności kompresji. Uzyskane wyniki wskazują jednak, że predykcja wykorzystująca mapy

głębi może dać pewną poprawę wydajności kompresji, pod warunkiem, że zostanie dopracowana. W toku dalszych prac należy sprawdzić, czy wprowadzenie dodatkowych ograniczeń spowoduje wzrost efektywności kompresji wykorzystującej wyłącznie predykcję bazującą na mapie głębi. Należy równeż przetestować różne kombinacje parametrów kompresji.

Zaletą proponowanej, nowej metody jest możliwość jej wykorzystania niezależnie od metody kompresji sąsiadujących makrobloków – w przypadku predykcji medianowej nie można wykorzystać wartości przesunięcia sąsiedniego bloku, jeśli jest on kodowany wewnątrzobrazowo lub z użyciem innego obrazu odniesienia.

PODZIĘKOWANIA

Praca, której wyniki zostały przedstawione w artykule wykonana została przy wsparciu środków Funduszu na rzecz Nauki Polskiej.

LITERATURA

[1] ISO/IEC JTC1/SC29/WG11, Multiview Coding

using AVC, Dokument M12945, Bangkok,

Tajlandia, Styczeń 2006

[2] ISO/IEC JTC1/SC29/WG11, Call for Proposals on

Multi-view Video Coding , Dokument N7327,

Poznań, Polska, Lipiec 2005

[3] ISO/IEC JTC1/SC29/WG11, Subjective test results

for the CfP on Multi-view Video Coding,

Dokument N7779, Bangkok, Tajlandia, Styczeń 2006

[4] ISO/IEC JTC1/SC29/WG11, AHG on 3DAV

Coding, Dokument M12727, Bangkok, Tajlandia,

Styczeń 2006

[5] ISO/IEC JTC1/SC29/WG11, Description of Core

Experiments in MVC, Dokument N7798, Bangkok,

Tajlandia, Styczeń 2006

[6] ITU-T i ISO/IEC JTC1, JSVM 6 Software, Dokument JVT-S203, Genewa, Szwajcaria, Kwiecień 2006.

[7] ISO/IEC JTC1/SC29/WG11, Multiview Video Test

Sequences from MERL, Dokument M12077,

Busan, Korea, Kwiecień 2005

[8] ISO/IEC JTC1/SC29/WG11, Statistical Analysis of

Temporal and Spatial Block Matching for Multi-View Sequences, Dokument M11546, Hong Kong,

Chiny, Styczeń 2005

[9] ISO/IEC JTC1/SC29/WG11, Statistical Evaluation

of Spatiotemporal Prediction for MVC, Dokument

M12301, Poznań, Polska, Lipiec 2005

[10] ISO/IEC JTC1/SC29/WG11, Test Sequences for

Call for Proposals on Multiview Video Coding,