Algorytmy ekstrakcji obiektów poł ˛ aczonych - segmen- segmen-tacja obiekt-obiekt

Wyra´zna ró ˙znica temperatur w obrazowaniu termicznym znacznie upraszcza seg-mentacj˛e obiekt-tło. Bardzo cz˛esto jednak istnieje potrzeba dokładniejszej segmen-tacji, np. oddzielenie obiektu od innych cz˛e´sci pierwszego planu lub rozró ˙znie-nie poszczególnych osobników. W przypadku analizy nagra ´n testów socjalnych zwierz ˛at do´swiadczalnych jednym z najwi˛ekszych problemów, z którymi musi si˛e zmierzy´c algorytm detekcji i ´sledzenia obiektu jest zasłoni˛ecie obiektu przez inny lub „zł ˛aczenie” si˛e obiektów podobnych. Zasłoni˛ecie obiektu wyst˛epuje w momen-cie, gdy widok ´sledzonego obiektu zostanie przysłoni˛ety przez inny obiekt. Zł ˛ acze-nie natomiast jest wynikiem wyst ˛apienia podobnego (strukturalnie, kolorystycznie itp.) obiektu w bardzo bliskiej odległo´sci. Uło ˙zenie kamery nad scen ˛a obserwacji pozwala wyeliminowa´c przypadki całkowitego zasłoni˛ecia obiektów. Du ˙zym prob-lemem wci ˛a ˙z jednak pozostaje moment poł ˛aczenia si˛e obiektów cz˛esto wyst˛epuj ˛acy w tym przypadku z cz˛e´sciowym zasłoni˛eciem wynikaj ˛acym z faktu, i ˙z gryzonie wchodz ˛a jeden na drugiego (rys.5.6).

Pobrano z mostwiedzy.pl

RYS. 5.6. Przykład zł ˛aczenia obiektów

Moment kontaktu osobników jest w przypadku analizy zachowa ´n socjalnych bardzo wa ˙znym elementem, w którym to mo ˙zna zaobserwowa´c charakterystyczne zachowania agresywne lub defensywne. Z tego powodu pomini˛ecie go w analizie pozbawia wielu cennych danych.

Poni ˙zej przedstawiono popularne algorytmy segmentacji, jakie mog ˛a by´c przy-datne podczas segmentacji typu obiekt-obiekt.

5.3.1. Algorytm działów wodnych (wododziałów)

Algorytm działów wodnych (tzw. watershed) jest metod ˛a segmentacji obrazu two-rz ˛ac ˛a zamkni˛ete regiony reprezentuj ˛ace obszary [127], [144], [97]. Działa na zasadzie analogicznej do tworzenia si˛e zlewisk terenu geograficznego. Jako wysoko´s´c obrazu przyjmuje si˛e najcz˛e´sciej jego intensywno´s´c lub amplitud˛e gradientu intensywno´sci.

Obszary o małej wysoko´sci stanowi ˛a lokalne doliny, a obszary o du ˙zej wysoko´sci - wzniesienia. Obszary o najwi˛ekszej wysoko´sci przedstawiaj ˛a kraw˛edzie - tzw.

wododziały. Ka ˙zdy region jest „zalewany” do pewnej granicy (wododziału) - pik-sele znajduj ˛ace si˛e wewn ˛atrz pikseli granicznych tworz ˛a region. Cz˛est ˛a wad ˛a tego algorytmu jest zbyt szczegółowa segmentacja, co widoczne jest na rys. 5.7. Obraz oryginalny został podzielony na podobszary, z którego ka ˙zdy został oznaczony inn ˛a etykiet ˛a (kolorem).

(A) (B)

RYS. 5.7. Działanie algorytmu działów wodnych: a) obraz orygi-nalny, b) algorytm działów wodnych wykonany na obrazie

oryginal-nym

W celu ograniczenia liczby obszarów stosowane s ˛a ró ˙zne techniki wst˛epnego przetwarzania obrazu, m. in. rozmycie, u´srednianie, zastosowanie innych punktów pocz ˛atkowych (tzw. seed) czy transformacja odległo´sciowa. Wpływ rozmycia na wynik algorytmu działów wodnych jest przedstawiony na rys.5.8.

Pobrano z mostwiedzy.pl

5.3. Algorytmy ekstrakcji obiektów poł ˛aczonych - segmentacja obiekt-obiekt 49

(A) (B)

RYS. 5.8. Działanie filtracji oraz algorytmu działów wodnych: a) ory-ginalny obraz rozmyty poprzez zastosowanie filtru o masce o rozmi-arze 5x5 pikseli i warto´sci ka ˙zdego jej elementu wynosz ˛acej 1/25, b)

algorytm działów wodnych wykonany na obrazie rozmytym

Rys. 5.7 i5.8 przedstawiaj ˛a obszary otrzymane w wyniku zastosowania algo-rytmu Fernanda Meyera, opisanego w pracy [97], dla s ˛asiedztwa N8. Ka ˙zdy z otrzy-manych regionów otrzymał etykiet˛e przedstawion ˛a kolorem na rysunkach. Region pierwszy (lewy górny róg obrazu) otrzymał etykiet˛e = 1, przedstawion ˛a kolorem ciemno-niebieskim, ostatni region (prawy dolny róg) - etykiet˛e = 256, przedstaw-ion ˛a kolorem ˙zółtym.

Porównuj ˛ac wyniki z rys.5.7oraz5.8mo ˙zna zaobserwowa´c zmniejszenie liczby obszarów wykrytych przez algorytm działów wodnych. Nie wyodr˛ebnione zostały jednak granice obiektów.

Inn ˛a metod ˛a zmniejszenia liczby segmentów jest poł ˛aczenie metody działów wodnych z bardziej ogólnymi algorytmami, wykrywaj ˛acymi mniej szczegółów.

Zhao i Zhuang w swojej pracy [153] poł ˛aczyli algorytm aktywnych konturów (Snake) z algorytmem działów wodnych. Podobny algorytm nazwany WaterBalloons za-proponował w 2008 roku Dagher i Tom [33]. Natomiast Rafał Petryniak w swo-jej pracy doktorskiej [110] stworzył algorytm detekcji niejednorodnych obiektów w oparciu o algorytm działów wodnych oraz algorytm Canny. W pracy [75] za-proponowano dodanie do algorytmu działów wodnych markerów oznaczaj ˛acych minima transformacji odległo´sciowej. Wynik segmentacji obrazu termograficznego szczurów dla takiego algorytmu przedstawiony jest na rys. 5.9b. Rys. 5.9c i5.9d prezentuj ˛a odpowiednio działanie metody działów wodnych z markerami opartymi na regionach najni ˙zszych gradientów oraz segmentacj˛e Felzenszwalb’a. ˙Zadna z metod nie wyznacza jednoznacznie granic zwierz ˛at.

Segmentacja obiektów, które w znacznym stopniu nachodz ˛a na siebie oraz s ˛a do siebie podobne, nie jest łatwa i wi˛ekszo´s´c standardowych metod analizy obrazu zawodzi. Dlatego w ostatnim czasie prace badawcze dotycz ˛ace segmentacji skupiły si˛e na metodach opartych na gł˛ebokim uczeniu, które zapewniaj ˛a lepsze, ni ˙z metody standardowe, wyniki w wielu zagadnieniach widzenia komputerowego. Techniki te mo ˙zna podzieli´c na dwa podej´scia:

1. segmentacj˛e semantyczn ˛a oraz 2. segmentacj˛e instancji.

Pobrano z mostwiedzy.pl

(A) (B) (C) (D) RYS. 5.9. Wyniki segmentacji (a) obrazu oryginalnego przy u ˙zy-ciu: b) algorytmu działów wodnych z markerami opartymi na re-gionach najni ˙zszych gradientów, c) algorytmu działów wodnych z markerami opartymi na transformacji odległo´sciowej d) segmentacja

Felzenszwalb’a

5.3.2. Segmentacja semantyczna

Segmentacja semantyczna to taki podział obrazu na podobszary, w którym ka ˙zdy piksel przypisany jest do okre´slonej klasy na podstawie swojej etykiety. Okre´slenie etykiety ka ˙zdego piksela jest wynikiem zastosowania metody segmentacji. Piksele maj ˛ace takie same etykiety tworz ˛a segmenty okre´slonej klasy bez rozró ˙znienia in-stancji. Oznacza to, ˙ze wszystkie obiekty (instancje) tej samej klasy b˛ed ˛a posiadały jednakow ˛a etykiet˛e. Jednym z najcz˛e´sciej stosowanych oraz najbardziej wydajnych algorytmów segmentacji semantycznej jest U-Net.

Został on wprowadzony w 2015 roku przez F. Ronnenberga, P. Fishera i T. Broxa w pracy [120] do segmentacji obrazów medycznych. Sie´c U-Net jest oparta na modelu enkoder-dekoder (rys. 5.10), gdzie ´scie ˙zki kompresji (zbocze opadaj ˛ace) i dekom-presji (zbocze narastaj ˛ace) s ˛a mniej lub bardziej symetryczne i tworz ˛a architektur˛e w kształcie litery U. ´Scie ˙zka kompresji jest zgodna z typow ˛a architektur ˛a sieci splo-towej z powtarzanymi: dwoma splotami i ReLU (rektyfikowana jednostka liniowa -strzałki granatowe na rys. 5.10), nast˛epnie operacj ˛a max pooling (strzałka czer-wona). Cz˛e´s´c dekompresji składa si˛e ze splotu (strzałka zielona), konkatenacji z odpowiedni ˛a map ˛a cech ze ´scie ˙zki kompresji (strzałka szara), dwóch splotów i ReLU.

W ostatniej warstwie zastosowano splot 1x1 (strzałka niebieska), aby odwzorowa´c wektor cech na ˙z ˛adan ˛a liczb˛e klas. Architektura auto-enkodera, który na ka ˙zdym etapie ´scie ˙zki kompresji wyodr˛ebnia cechy, a nast˛epnie przekazuje je do odpowied-niej ´scie ˙zki dekompresji, poprawia jako´s´c ko ´ncowego wyniku [34]. Kolejn ˛a zalet ˛a U-Net jest wymóg niewielkiej liczby obrazów treningowych dzi˛eki zastosowaniu augmentacji danych przed treningiem. Augmentacja to proces generacji przeksz-tałconych obrazów na podstawie posiadanej bazy danych, czyli tworzenie obrazów poprzez np. translacje lub rotacje zaobserwowanych przypadków.

Sie´c jest równie ˙z w stanie nauczy´c si˛e rozdzielania poł ˛aczonych obiektów tej samej klasy. Funkcja optymalizowana podczas treningu jest oparta na entropii krzy ˙zowej.

Pobrano z mostwiedzy.pl

5.3. Algorytmy ekstrakcji obiektów poł ˛aczonych - segmentacja obiekt-obiekt 51

RYS. 5.10. Architektura U-Net, na podstawie [120]

V-Net jest jedn ˛a z wielu architektur opart ˛a na architekturze U-Net. Został przed-stawiony w 2016 roku w artykule [98]. Inspiracj ˛a dla autorów był nie tylko model U-Net, ale tak ˙ze architektura sieci koniunkcyjnej VGG i jej lustrzanego odpowied-nika [103], a tak ˙ze trzy w pełni splotowe gł˛ebokie sieci neuronowe wytrenowane do segmentacji semantycznej [128]. V-Net jest równie ˙z w pełni splotow ˛a sieci ˛a neu-ronow ˛a, w której operacje ł ˛aczenia (ang. pooling) zostały zast ˛apione przez splot.

Proponowana funkcja kosztu optymalizowana podczas treningu jest oparta na współ-czynniku dice.

5.3.3. Segmentacja instancji

Segmentacja instancji jest jednym z najtrudniejszych zada ´n przetwarzania obrazu.

W odró ˙znieniu od segmentacji semantycznej, pozwala na rozró ˙znienie obiektów tej samej klasy. Rys.5.11przedstawia ró ˙znice pomi˛edzy segmentacj ˛a semantyczn ˛a (rys.

5.11a) a segmentacj ˛a instancji (rys.5.11b) na obrazach gryzoni.

Algorytmy segmentacji instancji klasyfikuj ˛a i lokalizuj ˛a obwiedni˛e ka ˙zdego obi-ektu, jednocze´snie precyzyjnie segmentuj ˛ac ka ˙zde wyst ˛apienie. Oba te podzadania mo ˙zna wykona´c jako jedno- lub dwuetapowy proces wykrywania.

Wi˛ekszo´s´c dwuetapowych metod przyjmuje paradygmat "znajd´z-potem-segmentuj"

(detect-then-segment). Na pocz ˛atku wykonywana jest detekcja obiektów a ich poło ˙ze-nie oznaczane jest poprzez prostok ˛aty (box). Nast˛epnym krokiem jest segmentacja ka ˙zdego z wykrytych obiektów dzi˛eki wcze´sniej okre´slonym prostok ˛atom. Chocia ˙z metody dwuetapowe wykazuj ˛a bardzo dobre wyniki, osi ˛agaj ˛a to kosztem czasu i zasobów sprz˛etowych.

Jednoetapowe metody upraszczaj ˛a cał ˛a procedur˛e poprzez usuni˛ecie prostok ˛atów

Pobrano z mostwiedzy.pl

(A) (B)

RYS. 5.11. Ró ˙znice pomi˛edzy segmentacj ˛a a) semantyczn ˛a a b) seg-mentacj ˛a instancji

definiowanych w pierwszym etapie, jednak nie s ˛a w stanie uzyska´c tak