Badanie algorytmów modelowania tła w obrazach z kamer monitoringu

KATEDRA SYSTEMÓW MULTIMEDIALNYCH

Przetwarzanie dźwięków i obrazów

Ćwiczenie nr : 3

Badanie algorytmów modelowania tła w obrazach z kamer monitoringu

Opracowanie: mgr inż. Damian Ellwart

1 Wprowadzenie

Systemy monitoringu są współcześnie powszechną metodą dozoru. Pozwalają na ciągłą obserwację jak i archiwizację zarejestrowanych obrazów wideo. W przypadku rozbudowanych systemów problemem jednak staje się ich obsługa. Obserwacja wielu monitorów przy odpowiednim poziomie skupienia przez długie godziny jest praktycznie niemożliwa. Z powodu zmęczenia osób obsługujących taki system, może dojść do sytuacji przeoczenia zdarzeń istotnych ze względu na bezpieczeństwo. Między innymi z tego powodu, popularna stała się tematyka automatyzacji systemów monitoringu poprzez wprowadzenie algorytmów analizy wideo. Typowo, wprowadzenie inteligencji do takiego systemu, polega na zaimplementowaniu trzech głównych bloków przedstawionych na rysunku 1.

Rys. 1. Ogólny schemat przetwarzania obrazu w celu wykrywania zagrożeń

W rzeczywistości schemat przetwarzania w takim systemie jest znacznie bardziej rozbudowany i zawiera dodatkowo moduły pozwalające na śledzenie obiektów, analizę ich cech, a nawet rozpoznawanie w obrazach z różnych kamer.

Zalety i możliwości inteligentnych systemów monitoringu są szerokie. Należy jednak pamiętać, iż wprowadzenie inteligencji do systemów monitoringu jest tylko narzędziem

pomocniczym i systemu takiego nie należy traktować jako w pełni zautomatyzowanego tworu.

2 Detekcja obiektów

Tematyką niniejszego laboratorium jest zapoznanie się z modułem detekcji obiektów. Istnieje kilka grup metod pozwalających na detekcję w nagraniach wideo obiektów dynamicznych. Jedna z popularnych metod oparta jest na algorytmach przepływu optycznego (ang. optical flow). Jej działanie polega na obliczaniu gradientu, który jest podstawą do określenia charakterystyki ruchu w analizowanej scenie. Pomimo dużej dokładności analizy, algorytmy takie cechuje duża złożoność obliczeniowa. Z tego powodu częstszym wyborem staje się metoda oparta na modelowaniu tła. Jej idea jest prosta. Znając wygląd tła i porównując go z aktualną klatką obrazu z kamery można znaleźć różnice, charakteryzujące dynamiczne obszary, które kojarzyć można z ruchomymi obiektami (rys. 2).

Rys. 2. Zestaw obrazów ilustrujący detekcję obiektów w oparciu o modelowanie tła. Od lewej: model tła, klatka obrazu z kamery, wykryte dynamiczne obszary.

Problemem w takiej sytuacji staje się znalezienie obrazu odpowiadającego modelowi tła. Najprostsza metoda znalezienia modelu, to wybór klatki obrazu, w której poza elementami statycznymi, nie znajdują się inne obiekty. W rzeczywistych rozwiązaniach podejście takie stosuje się rzadko, ze względu na duże ograniczenia związane z brakiem adaptacji takiego modelu. Scena obserwowana okiem kamery ulega zmianie. Główną przyczyną tych wariancji są zmiany oświetlenia. Model tła powinien uwzględniać tego typu zmiany. Prosta metoda, spełniająca ten warunek, polega na sumowaniu kolejnych klatek obrazu wideo z zadanym współczynnikiem .

( ) (

x

y

)

M

( )

x

y

I

( )

x

y

M

,

=

1

−

µ

⋅

,

+

µ

⋅

,

gdzie Mn-1(x,y) to model tła w klatce n-1, I(x,y) oznacza aktualnie przetwarzaną klatkę

ustalenie odpowiedniego stopnia adaptacji wyznaczanego modelu. Typowo, model tła w takim przypadku inicjalizuję się pierwszą klatką obrazu z analizowanego nagrania.

Inny sposób modelowania tła, nosi nazwę Gaussian Mixture Model (GMM) i wywodzi się z grupy metod statystycznych. Stanowi on jedną z najbardziej popularnych metod stosowanych w zagadnieniu detekcji obiektów.

Krzywa Gaussa (wzór 2) może efektywnie opisywać wartości przyjmowane przez poszczególne piksele obrazu.

(

)

σ

σ

µ

η

=

e

X

2

1

,

,

gdzie Xt reprezentuje wartość danego punktu obrazu, a µt i σt to wartość średnia oraz odchylenie standardowe krzywej.

Ogromną zaletą tego modelu jest brak „ostrych” granic definiujących przynależność danego piksela do modelu tła. Jak wynika z wzoru 2, do opisu pojedynczej krzywej Gaussa konieczne są dwa parametry: wartość średnia i wariancja. Adaptacja tych parametrów w opisywanej metodzie zachodzi z wykorzystaniem relacji przedstawionych wzorami 3 i 4.

(

)

=

−

ρ

⋅

µ

+

ρ

⋅

X

µ

1

(

)

(

) (

)

ρ

σ

ρ

X

µ

X

µ

σ

=

−

⋅

+

⋅

−

−

₁

( )

Zazwyczaj, przynależność wartości piksela do modelującej go krzywej określana jest jako zakres 2.5 wariancji od wartości średniej. Najczęściej jednak, pojedyncza krzywa Gaussa nie jest wystarczająca do efektywnego zamodelowania statycznego charakteru analizowanej sceny. Dlatego też, w praktycznych zastosowaniach najczęściej wykorzystuje się od 3 do 5 takich krzywych.

Rys. 3. Histogram wartości przyjmowanych przez pojedynczy punkt obrazu i aproksymujące go trzy krzywe Gaussa

Rysunek 3 ilustruje histogram wartości konkretnego punktu obrazu, który z dużym podobieństwem scharakteryzować można wykorzystując zestaw krzywych Gaussa. Obserwując przedstawiony histogram, można zauważyć, że najczęściej pojawiającymi się wartościami, są wartości opisywane przez dwie pierwsze krzywe. Stąd też kandydatem do modelu tła dla tego konkretnego piksela, będzie wartość średnia charakteryzująca jedną z nich.

Ze względu na mnogość zastosowanych krzywych, konieczne jest określenie tej wiodącej, aktualnie opisującej piksel tła. Realizowane jest to, poprzez przypisanie każdej z krzywych określonej wagi.

(

)

k,

=

1

−

α

⋅

ω

+

α

⋅

M

ω

gdzie ω jest wagą analizowanej krzywej, α współczynnikiem adaptacji wag, a Mk.t jest wartością binarna równą 1 w przypadku dopasowania wartości piksela do aktualnej krzywej;

( )

∈

α .

3 Zadania do wykonania

Przed przystąpieniem do realizowania kolejnych ćwiczeń należy pobrać odpowiednie pliki znajdujące się na stronie www.sound.eti.pg.gda.pl w sekcji „Instrukcje do zajęć”. Przygotowane na potrzeby niniejszego ćwiczenia nagrania, znajdują się w lokalizacji C:\PDiO\cw6. Przed rozpoczęciem zadań należy pliki te skopiować do własnego tymczasowego folderu, który po zakończeniu zajęć powinien zostać usunięty.

3.1 Wykorzystując aplikacje VirtualDub, z plików nagranie1.avi oraz nagranie2.avi wybrać klatkę z nagrania, będącą kandydatem do modelu tła.

należy określić położenie tej klatki poprzez odpowiednie ustawienie markerów (u dołu okna). Następnie wywołując polecenie „File->Export->Image sequence” wybrać docelowy format i lokalizację zapisu.

Wskazówka: W przypadku braku odpowiedniej klatki w nagraniu, można posłużyć się aplikacją graficzną w celu złożenia dwóch lub więcej obrazów na potrzeby uzyskania jak najlepszego modelu tła..

3.2 Edytując skrypt main.m, zainicjalizować model tła wybranym obrazem.

Następnie przetworzyć oba nagrania uruchamiając niniejszy skrypt. Obejrzeć wyniki i zanotować spostrzeżenia.

Wskazówka: W celu inicjalizacji modelu tła, przygotowaną wcześniej klatką, należy wykorzystać funkcję matlaba o nazwie ‘imread’. Funkcja ta, jako parametr przyjmuje ścieżkę dostępu do pliku.

Wskazówka: Dokładny opis wybranej funkcji matlaba wraz z przykładami można uzyskać przez wpisanie w oknie poleceń ‘help nazwa_funkcji’.

3.3 Edytując skrypt main.m, stworzyć model tła będący średnią kolejnych klatek

obrazu (zgodnie z wzorem 1). Inicjalizacja modelu tła powinna być wykonana wykorzystując pierwszą klatkę nagrania. Uruchomić analizę plików

nagranie1.avi oraz nagranie2.avi, dla trzech wybranych wartości parametru µ.

Zanotować uwagi.

Wskazówka: W celu zainicjalizowania modelu tła pierwszą klatką nagrania, można wykorzystać funkcję ‘aviread’, która jako parametry przyjmuje ścieżkę dostępu do wczytywanego pliku (filename) oraz numer klatki. Uwaga! Wczytana klatka zapisana jest w strukturze. Dane obrazu zapisane są w polu ‘.cdata’.

3.4 Dla dowolnie wybranego nagrania i optymalnej wartości parametru µ,

sprawdzić zmiany detekcji obiektów, dla 2 wartości parametru

prog_binaryzacji (domyślnie 25/255).

3.5 Wykorzystując metodę modelowania tła zawartą w aplikacji ‘GMM.exe’

dokonać przetwarzania plików nagranie3.avi oraz nagranie4.avi z

domyślnymi parametrami.

Wskazówka: Podczas uruchamiania aplikacji pojawia się monit o wybranie wykorzystywanego kodeka. Należy tu zaznaczyć pozycję ffdshow i w trakcie pierwszego uruchomiania sprawdzić, czy po wciśnięciu ‘Konfiguruj’ wybrany kodek to Xvid.

3.6 Przetworzyć ponownie te same nagrania, dwukrotnie zmieniając wartość

(0.0005), uruchomić algorytm również dwukrotnie zmieniając wartość parametru learning.

Wskazówka: Parametry uruchamianego algorytmu zapisane są w piku ‘config.ini’

4 Opracowanie

4.1 Opisać wyniki otrzymane w kolejnych etapach wykonywanych zadań

laboratoryjnych (do opisów dołączyć pojedyncze klatki obrazu będące wynikami przetwarzania).

4.2 W jakich sytuacjach model tła testowany w punkcie 3.2 może mieć praktyczne

zastosowanie?

4.3 Jak zachowuje się model tła z punktu 3.3 dla wysokich i niskich wartości

współczynnika nauki?

4.4 Jaka jest zaleta metody modelowania zastosowana w punkcie 3.3 względem

testowanej w punkcie 3.2?

4.5 Jak zachowywałyby się obie metody w przypadku pojazdu zaparkowanego w

obrębie obserwowanego kadru?

4.6 Jakie różnice w wynikach detekcji można zaobserwować w punkcie 3.5? 4.7 Zaprezentować wyniki i skomentować uzyskiwane różnice w przypadku

wybranych parametrów algorytmu w punkcie 3.7. Jaki jest skutek ustawienia zbyt wysokiej wartości parametru learning?

4.8 Na podstawie obserwacji przetworzonych nagrań, opisać występujące

problemy utrudniające dokładną detekcje ruchomych obiektów.

4.9 Wymień inne znane zastosowania algorytmów modelowania tła i detekcji