Śledzenie sylwetki

Podobnie jak metody śledzenia jądra, śledzenie sylwetki obiektu stanowi realizację procesu reprezentacji i lokalizacji obiektów. W przypadku obiektów o skomplikowanych kształtach (np. sylwetek ludzi), opisywanie ich za pomocą prostych kształtów geometrycznych (prostokąt, elipsa) może być zbyt mało dokładne. W takich przypadkach lepiej sprawdzają się metody oparte na śledzeniu całej sylwetki. Polegają one na znalezieniu w ramce bieżącej położenia obiektu na podstawie jego modelu wygenerowanego w oparciu o ramki poprzednie. Model ten może być w formie histogramu koloru, krawędzi obiektu lub jego konturów. Metody śledzenia sylwetki można podzielić na dwie grupy: dopasowywanie kształtu i śledzenie konturu. Pierwsza grupa dotyczy poszukiwania określonej sylwetki obiektu w bieżącej ramce. W ramach metod z drugiej grupy śledzenia konturu odbywa się poprzez ewolucyjne przemieszczaniu konturu obiektu na jego nową pozycję w bieżącej ramce.

3.2.3.1 Dopasowywanie kształtu

Dopasowywanie kształtu obiektu do bieżącej ramki obrazu może być przeprowadzone podobnie, jak w przypadku algorytmów bazujących na dopasowaniu wzorca (podrozdział 3.2.2.1). Poszukiwanie obiektu w bieżącej ramce odbywa się poprzez obliczenie podobieństwa obiektu do modelu wygenerowanego na podstawie sylwetki obiektu w ramce poprzedniej. Zakłada się, że sylwetka może ulec jedynie przesunięciu, wobec czego zmiany wielkości i obrót nie są uwzględnianie w sposób jawny. Model obiektu jest reinicjalizowany dla każdej ramki tak, aby uwzględnić potencjalne modyfikacje wyglądu obiektu wynikające z jego obrotu, zmiany kształtu lub zmian oświetlenia. Przykładem realizacji takiego algorytmu jest użycie modelu obiektu bazującego na krawędziach i zastosowanie metryki Hausdorffa [104] do wyznaczenia płaszczyzny korelacji, w której minimalne wartości są wybierane jako nowa pozycja obiektu [113]. Odległość Hausdorffa przyjmuje w tym przypadku duże wartości w sytuacji braku dopasowania krawędzi, wobec czego usunięcie tych krawędzi (tożsamych np. z nogami i rękoma idącego człowieka) poprawia jakość procesu śledzenia. Podobne podejście opisano w literaturze [155], gdzie odległość Hausdorffa została wykorzystana do weryfikacji estymowanej trajektorii ruchu obiektu, uzyskanej za pomocą przepływu optycznego.

Inną metodą dopasowywania kształtu jest znalezienie odpowiadających sobie regionów wyznaczonych w dwóch sąsiednich ramkach obrazu. Proces ten jest analogiczny do zagadnienia śledzenia prostych kształtów geometrycznych (podrozdział 3.2.1), różnice dotyczą innej reprezentacji śledzonego obiektu. Detekcja sylwetek obiektów w porównywanych ramkach obrazu odbywa się zwykle metodami odejmowania tła (podrozdział 3.1.5). Następnie dopasowywanie znalezionych kształtów do siebie odbywa się poprzez obliczenie miar podobieństwa między modelami wyglądu obiektu skojarzonymi z każdym kształtem, opartych na histogramach krawędzi lub koloru, konturze obiektu, jego krawędziach lub kombinacji wszystkich tych cech [100][132]. Jako miara podobieństwa stosowana jest korelacja wzajemna, odległość Bhattacharya lub dywergencja Kullbacka-Leiblera [132].

W przeciwieństwie do poszukiwania odpowiadających sobie sylwetek w dwóch sąsiednich ramkach obrazu, możliwe jest znalezienie trajektorii ruchu obiektu poprzez wyznaczenie dominującego wektora ruchu pikseli wewnątrz konturów obiektu. W tym celu można posłużyć się transformacją Hougha w dziedzinie prędkości zastosowaną do

sylwetek obiektów w sąsiednich ramkach [207], znalezionych np. metodami odejmowania tła. Na tej podstawie uzyskuje się reprezentację czterowymiarową obrazu, w którym z każdą współrzędną piksela skojarzony jest ruch w kierunkach poziomym i pionowym.

Taka reprezentacja zawiera informację o dominujących składowych ruchu obszarów w obrazie oraz ich podobieństwo w takim sensie, że zastosowanie operacji progowania pozwoli uzyskać obszary obrazu o podobnej charakterystyce ruchu. Podejście takie, w porównaniu z dopasowaniem kształtu na podstawie jego wyglądu, jest mniej wrażliwe na zmiany wyglądu obiektów, wynikające np. z jego obrotu.

3.2.3.2 Śledzenie konturu

Algorytmy bazujące na śledzeniu konturu w sposób iteracyjny modyfikują kontur obiektu znaleziony w poprzedniej ramce tak, aby odpowiadał on położeniu tego obiektu w ramce bieżącej. Podejście to wymaga, aby sylwetki obiektów w sąsiednich ramkach się na siebie nakładały. Istnieją dwa podejścia do zagadnienia śledzenia konturu. Pierwsze z nich wykorzystuje modele przestrzeni stanu do reprezentowania kształtu konturu i jego ruchu, drugie bezpośrednio przekształca kontur poprzez minimalizację określonej funkcji energii konturu, np. metodami gradientowymi.

Modele przestrzeni stanu

Stan śledzonego obiektu definiowany jest przy użyciu jego kształtu i parametrów ruchu konturu. Stan jest uaktualniany w każdej ramce obrazu tak, aby maksymalizować prawdopodobieństwo a posteriori dopasowania konturu. Zależy ono od poprzedniego stanu oraz bieżącego podobieństwa, które zwykle jest definiowane z wykorzystaniem odległości konturu od wykrytych krawędzi.

W praktycznych implementacjach stosuje się różne mechanizmy do modelowania stanu obiektu. W pracy [240] stan obiektu zdefiniowany jest poprzez dynamikę punktów kontrolnych, które poruszają się zgodnie z modelem sprężyny charakteryzowanej parametrem sztywności. Predykcja stanu następuje z wykorzystaniem filtru Kalmana.

Innym sposobem jest modelowanie stanu za pomocą funkcji sklejanej reprezentującej kształt i afinicznych parametrów ruchu [117]. W tym przypadku stan jest uaktualniany za pomocą filtru cząsteczkowego. Po rozszerzeniu procedury próbkowania filtru cząsteczkowego o zasadę wyłączności możliwa jest również obsługa wzajemnego przesłaniania się dwóch obiektów. Wg tej zasady, jeśli dana cecha należy do obu obiektów, to wówczas zalicza się ona tylko do obiektu zasłaniającego.

Możliwe jest również zastosowanie ukrytych modeli Markowa HMM (ang. Hidden Markov Models) do modelowania stanu obiektu [32]. W tym przypadku kontur obiektu aproksymowany jest za pomocą elipsy. Każdy węzeł konturu jest powiązany z jednym HMM, a stan każdego HMM jest określony przez punkty leżące na prostej normalnej w stosunku do konturu. Bieżący stan konturu aproksymowany jest za pomocą algorytmu Viterbiego [249] na podstawie podobieństwa obserwacji konturu oraz prawdopodobieństwa zmiany stanu wyznaczonego za pomocą metody JPDAF (podrozdział 3.2.1.2).

Opisane w tym rozdziale metody bazują na jawnej reprezentacji konturu obiektu, która nie umożliwia zmian w topologii, takich jak: łączenie lub rozdzielanie się obszarów.

Bezpośrednia minimalizacja energii konturu

Wymienionej powyżej wady pozbawione są metody bazujące na minimalizacji energii konturu, w których kontur reprezentowany jest w sposób niejawny jako siatka przestrzenna. W siatce tej wartości bezwzględne punktów oznaczają odległość od konturu, a znak determinuje lokalizację jako wewnątrz lub na zewnątrz obiektu. Należące do tej grupy metody są analogiczne do metod detekcji obiektów za pomocą segmentacji, przedstawionych w rozdziale 3.1.2. Minimalizacja energii następuje albo metodami zachłannego poszukiwania albo gradientowymi [174]. Energia konturu definiowana jest w postaci czasowej jako gradient (przepływ optyczny) [10][44][166] albo jako statystyki wyglądu wygenerowane na podstawie obiektu oraz obszarów tła [197][259].

3.2.4 Podsumowanie

Przedstawione w powyższych rozdziałach metody śledzenia obiektów ruchomych charakteryzuje ogromna różnorodność podejścia do tego zagadnienia, która rzutuje na możliwość ich wykorzystania w konkretnych zastosowaniach. Ponadto powszechne jest stosowanie rozwiązań połączonych, w których użyte są metody należące do różnych kategorii. W tab. 3.2 przedstawiono porównanie metod śledzenia ruchomych obiektów pod kątem ich zastosowania w monitorowaniu ruchu drogowego.

Ze względu na praktyczną dowolność wyglądu i kształtu obiektów poruszających się w polu widzenia kamer monitoringu (ludzie, pojazdy itp.), wybrana metoda śledzenia obiektów musi być uniwersalna (niezależna od konkretnego typu obiektu) oraz nie może wymagać wcześniejszego treningu na w celu uzyskania skutecznego śledzenia. Z tego powodu nie nadają się do tego celu metody bazujące na aktywnych modelach kształtu i

algorytmach uczących się. Ponadto, w typowych scenariuszach monitoringu wizyjnego mamy do czynienia z obiektami, które można modelować z dużą dokładnością jako bryły sztywne (pojazdy) i których rozmiary są małe w porównaniu z wielkością ramki obrazu, wobec czego można pominąć zmiany wyglądu obiektu wynikające z pozy i fazy ruchu (ludzie). Z tego założenia wynika praktyczna nieprzydatność metod z kategorii śledzenia sylwetki, których dokładność działania byłaby utrudniona ze względu na zwykle dość niską rozdzielczość obrazów poszczególnych obiektów, a związana z określaniem kształtu obiektu moc obliczeniowa, bardzo cenna w aplikacjach działających w czasie rzeczywistym, byłaby w praktyce marnowana.

Tab. 3.2 Porównanie metod śledzenia obiektów ruchomych

Kategoria Metoda

* – w większości metod, choć istnieją rozwiązania, które posiadają przeciwną własność c – częściowo

Z powyższej analizy wynika, że do śledzenia obiektów w systemie monitoringu należy zastosować metody bazujące na śledzeniu kształtów oraz bazujące na dopasowaniu wzorców i cech wyglądów. Metody deterministyczne są najprostsze w swej implementacji, nie uwzględniają jednak niepewności danych pomiarowych. Z tego względu zdecydowanie lepsze wydają się być algorytmy statystyczne. Najpopularniejsze z nich (filtr Kalman i filtr cząsteczkowy) są jednak przystosowane do śledzenia tylko pojedynczego obiektu, w związku z tym niezbędne jest dodanie dodatkowej warstwy analizy pozwalającej rozwiązywać konflikty śledzenia. Takie własności mają algorytmy śledzenia w oparciu o wzorce i cechy wyglądu obiektów, jednak ich wadą jest konieczność inicjacji procesu śledzenia, która zwykle może być przeprowadzona w oparciu o wyniki detekcji ruchomych obiektów w bieżącej ramce.