Identyfikacja obiektów

Przedstawione w poprzednim rozdziale parametry, opisujące wielkość i kształt obiektów widocznych na obrazie, wykorzystywane są do odrzucenia zakłóceń i pozostawienia tylko tych obiektów, które mogą być obrazami szukanych otworów. Ponieważ otwory mają stały rozmiar a zdjęcia wykonywane są na stałej wysokości względem powierzchni sita, takie parametry jak powierzchnia figury S⁽ⁱ⁾ czy najkrótsza D⁽ⁱ⁾_min i najdłuższa Dmax⁽ⁱ⁾

przekątna, powinny mieć mniej więcej stałą wartość, niezależnie od orientacji otworu na obrazie. Poprzez zdefiniowanie dopuszczalnego zakresu wartości tych parametrów, odfiltrowywane są wszystkie zbyt małe lub zbyt duże obiekty. W tym celu definiujemy parametry: (S)_min, (S)_max, (D_min)min, (D_min)max, (D_max)min i (D_max)max.

Zakłócenia w postaci małych plam widoczne są między innymi na rysunkach 5.9 i 5.10. Źródłem zakłóceń obrazu mogą być: zabrudzenia i rysy na powierzchni sita, zabrudzenia pochodzące od spawów sąsiednich otworów, same spawy sąsiednich otworów lub nierównomierne oświetlenie sceny. Wymienione zakłócenia są zazwyczaj znacznie mniejsze od powierzchni otworów, są więc łatwe do usunięcia.

Innym typem zakłóceń są obiekty zajmujące dużą część powierzchni obrazu, po-chodzące od tła na którym znajduje się spawany wymiennik ciepła (najczęściej jest to obudowa w której umieszcza się wymiennik ciepła lub część widocznej podłogi). Tego typu obiekty widoczne są na rysunkach 5.11 i 5.13, gdzie czarne plamy pochodzące od tła są znacznie większe niż plamy odpowiadające samym otworom. Tego typu zakłócenia również są łatwe do usunięcia. Ważne jest, aby podczas segmentacji obrazu prawidłowo oddzielić powierzchnię należącą do otworu od powierzchni należącej do innych obiektów.

Zdarza się, że zakłócenia mają rozmiary mieszczące się w zakresie przypisanym obiektom, klasyfikowanym jako otwory. Zastosowanie rozmiaru figury oraz długości naj-krótszej i najdłuższej przekątnej do klasyfikacji obiektów staje się niewystarczające. Sy-tuacja taka występuje, gdy sito jest częściowo pospawane i zabrudzenia pochodzące od sąsiednich spawów zajmują całkiem sporą powierzchnię. W takich przypadkach stoso-wane są współczynniki kształtu R⁽ⁱ⁾c i R⁽ⁱ⁾z , które są niezależne od rozmiaru i orientacji otworu. W celu przedstawienia ich właściwości, obliczono je dla obiektów przedstawio-nych na rysunku 5.27. Widzimy sześć różprzedstawio-nych grup kształtów. W każdej grupie znajduje

a) b)

Rysunek 5.27: Przykładowe obrazy dla których testowana była niezmienniczość współ-czynników kształtów R_ci R_z. a) obiekty w kształcie zaokrąglonego prostokąta; b) obiek-ty w kształcie latawca; c) obiekobiek-ty w kształcie koła; d) obiekobiek-ty w kształcie kwadratu;

e) obiekty w kształcie prostokąta o proporcji boków 2 : 1; f) obiekty w kształcie prosto-kąta o proporcji boków 3 : 1.

się osiem obiektów o różnym rozmiarze i orientacji kątowej. Obiekty znajdujące się w grupie pierwszej zostały wygenerowane na podstawie zdjęcia rzeczywistego otworu po usunięciu otoczki związanej z rurką i krawędzią sita. Druga grupa również zawiera obiek-ty wygenerowane na podstawie zdjęcia prawdziwego otworu. Tym razem rurka i krawędź sita nie zostały usunięte. W obu przypadkach zdjęcie otworu zostało obrócone i wyska-lowane tak, aby sprawdzić niezmienniczość zastosowanych współczynników kształtu od

rozmiaru i orientacji obiektu. Pozostale cztery grupy obiektów wygenerowane zostały sztucznie i zawierają odpowiednio: koła, kwadraty, prostokąty o współczynniku długości boków 2 : 1 oraz prostokąty o współczynniku długości boków 3 : 1. Wartości średnie i odchylenie standardowe współczynników R⁽ⁱ⁾c i R⁽ⁱ⁾z podane są w tablicy 5.1.

grupa a grupa b grupa c grupa d grupa e grupa f R⁽ⁱ⁾c 0,1719 0,0189 0,0000 0,0000 0,0147 0,0457 σ_R(i)

c 0,0185 0,0018 0,0000 0,0000 0,0005 0,0017 min(R⁽ⁱ⁾c ) 0,1328 0,0158 0,0000 0,0000 0,0139 0,0439 max(R⁽ⁱ⁾c ) 0,1900 0,0212 0,0000 0,0000 0,0156 0,0481

R⁽ⁱ⁾z 2,38 1,68 1,11 1,38 1,48 1,73

σ_R(i)

z 0,09 0,09 0,01 0,11 0,12 0,12

min(R⁽ⁱ⁾z ) 2,17 1,50 1,10 1,20 1,38 1,62 max(R⁽ⁱ⁾z ) 2,47 1,77 1,11 1,47 1,62 1,91 Tabela 5.1: Współczynniki kształtu R⁽ⁱ⁾c i R⁽ⁱ⁾z obiektów z rysunku 5.27.

Ponieważ estymata długości obwodu obiektu obarczona jest stałą wartością błędu (wyznaczona długość obwodu jest nieco krótsza od rzeczywistej długości), dla obiektów w kształcie koła otrzymujemy R⁽ⁱ⁾z ≈ 1, 1 (spodziewana wartość wynosi 1). Tym niemniej wyznaczone dla podanych przykładów współczynniki kształtu zachowują się stabilnie podczas zmiany rozmiaru i orientacji obrazu obiektu, dzięki czemu są wykorzystywane do ich identyfikacji.

Na rysunku 5.28 przedstawiono wykres położenia punktów, określonych przez war-tości współczynników R⁽ⁱ⁾c i R⁽ⁱ⁾z , dla wszystkich przedstawionych obiektów. Widzimy na nim, że poszczególne grupy obiektów skupiają się w swoim obszarze przestrzeni.

Jedynie punkty należące do otworów w kształcie latawca (grupa B), zajmują przestrzeń mniej więcej pokrywającą się z przestrzenią zajmowaną przez punkty należące do grupy prostokątów o proporcji długości boków 2 : 1. Wynika to stąd, że przedstawione współ-czynnik kształtu dobrze nadają się do odróżnienia obiektów wydłużonych od obiektów zwartych. Dużo gorzej natomiast wychodzi odróżnianie od siebie obiektów z zaokrą-glonymi narożnikami od obiektów z ostrymi narożnikami (np. prostokątów o tej samej proporcji długości boków). Z przedstawionego rozkładu wartości współczynników R⁽ⁱ⁾c i R⁽ⁱ⁾z wynika, że wymienione współczynniki mogą być z powodzeniem wykorzystywane do identyfikacji obiektów. W tym celu zdefiniowano wartości graniczne (Rc)min, (Rc)max, (R_z)_min i (R_z)_max, w których powinny mieścić się wartości współczynników R⁽ⁱ⁾c i R⁽ⁱ⁾z , aby dany obiekt mógł zostać zaklasyfikowany jako otwór.

Na rysunku 5.13 (strona 69) przedstawiono wynik identyfikacji plam na obrazie.

Poziom jasności pikseli oznacza przynależność pikseli do danego obiektu (jest to ob-raz JI(x, y) będący wynikiem przeprowadzenia indeksacji obrazu). Okręgi oznaczają wielkość koła o powierzchni reprezentowanej figury (promień okręgu równy jest R⁽ⁱ⁾).

Wewnątrz okręgu znajduje się odcinek reprezentujący znalezioną figurę. Orientacja od-cinka jest zgodna z wyznaczoną orientacją figury, natomiast jego długość jest równa Dmax⁽ⁱ⁾ − D⁽ⁱ⁾min. Kolorem czerwonym oznaczone są odrzucone obiekty, natomiast kolorem zielonym oznaczone są obiekty zaklasyfikowane jako znalezione otwory. Obiekty zbyt ma-łe lub zbyt duże (zakłócenie pochodzące od tła, widoczne na dole zdjęcia), ze względu na zachowanie czytelności obrazu, nie są oznaczone czerwonymi okręgami. Na rysunku 5.13b widzimy efekt zastosowania morfologicznej operacji otwarcia, dzięki której znaj-dujące się w górnej części zdjęcia obrazy otworów zostały rozdzielone, umożliwiając ich prawidłowe rozpoznanie.

Rc

Rz

Rysunek 5.28: Rozkład wartości współczynników kształtu R⁽ⁱ⁾c i R⁽ⁱ⁾z dla obiektów przed-stawionych na rysunku 5.27.

Wieloletnie doświadczenie w użytkowaniu przedstawionego systemu wizyjnego po-kazuje, że opisane podejście do identyfikacji otworów na obrazie jest wystarczające.

Nie oznacza to jednak, że podczas identyfikacji otworów uzyskuje się 100% skuteczność.

Ponieważ na etapie rozpoznania pojedynczego otworu (przed spawaniem) szukany obiekt znajduje się w centralnej części obrazu oraz jest obiektem dominującym, staje się sto-sunkowo łatwym celem do identyfikacji. Większym problemem jest rozdzielenie obrazów dwóch sąsiednich otworów na dwa oddzielne obiekty, gdy mamy do czynienia z sitem o dużej gęstości otworów (sąsiednie otwory leżą bardzo blisko siebie) oraz gdy są już one pospawane. Podczas wstępnego rozpoznawania sita otrzymane zdjęcia są nieostre oraz widoczna jest na nich większa liczba otworów. Odległość między otworami wyda-je się mniejsza i może dojść do połączenia ze sobą obrazów niektórych, sąsiadujących ze sobą otworów. Dzięki implementacji odpowiedniego algorytmu dopasowania wzorca sita¹⁰ do znalezionych otworów, pojedyncze błędy w klasyfikacji otworów nie prowadzą do niewłaściwego rozpoznania sita. Niezawodność dopasowania w dużej mierze zależy od rozkładu przestrzennego otworów na sicie.

10Pod pojęciem wzorca sita rozumiany jest wzorcowy rozkład otworów w spawanym wymienniku ciepła. Wzorzec otworu zawiera informacje o położeniu i orientacji kątowej wszystkich otworów.

Rozdział 6

Zaawansowane przetwarzanie obrazu

Głównym zadaniem postawionym przed prezentowanym systemem wizyjnym jest wy-znaczenie trajektorii palnika, realizującej spawanie widocznego na obrazie otworu (spa-wanie rurki w otworze do powierzchni sita). W tym rozdziale przedstawione są algoryt-my przetwarzania obrazu, mające na celu precyzyjne określenie położenia i orientacji otworu, pozwalające na wygenerowanie odpowiedniej trajektorii palnika. Przedstawione w rozdziale 5 algorytmy służą do wstępnej lokalizacji otworów widocznych na obrazie.

Proces ten obejmuje etap filtrowania obrazu, lokalnego progowania obrazu, indeksa-cji oraz identyfikaindeksa-cji mającej na celu selekcję znalezionych na obrazie obiektów, które potencjalnie mogą być obrazami otworów. Selekcja znalezionych obiektów ma na ce-lu odróżnienie właściwych otworów od artefaktów, będących wynikiem obecności na obrazie niejednorodnego tła lub krawędzi płyty wymiennika ciepła.

Zgodnie z rozważaniami przedstawionymi w rozdziałach 5.10 i 5.11, identyfikacja otworu polega na porównaniu wyznaczonych wartości opisujących go parametrów z wartościami dopuszczalnymi. Warunek, który obiekt musi spełnić aby został zaklasyfi-kowany jako otwór ma postać:

W⁽ⁱ⁾= przekątną, najdłuższą przekątną, niecentryczność i zwartość i-tego obiektu, (S)min, (S)_max, (D_min)_min, (D_min)_max, (D_max)_min, (D_max)_max, (R_c)_min, (R_c)_max, (R_z)_min i (R_z)_max wyznaczają dopuszczalny zakres parametrów obrazu otworu, W⁽ⁱ⁾ oznacza binarny wynik testu przeprowadzonego dla i-tego obiektu. W⁽ⁱ⁾ = true, dla obiektu leżącego najbliżej środka obrazu, oznacza prawidłowe wykrycie spawanego otworu.

Wybierany jest obiekt leżący najbliżej środka obrazu ponieważ podczas wykony-wania zdjęcia, kamera ustawiona jest nad analizowanym otworem. Wymienione etapy nazywane są wstępnym rozpoznawaniem otworu, a ich rezultatem jest informacja o po-łożeniu i orientacji otworu na obrazie oraz położenie końców odcinka reprezentującego znaleziony obiekt - szkielet obiektu (rozdział 5.10.3).

W celu ułatwienia zrozumienia opisanych w tym rozdziale algorytmów, na rysun-ku 6.1 przedstawiono wykorzystywane w tej pracy nazewnictwo dotyczące najczęściej pojawiających się pojęć związanych z występującymi na obrazie elementami.

spoina pochodząca z sąsiedniego otworu ręcznie wykonany spaw mocujący rurkę do sita odblask wewnątrz rurki

powierzchnia sita (jasny obszar wokół otworu) szkielet obiektu - odcinek reprezentujący znaleziony otwór

szczelina między rurką a powierzchnią sita (ciemny obszar)

górna powierzchnia rurki (jasny obszar) wnętrze rurki (ciemna powierzchnia obrazu)

Rysunek 6.1: Pojęcia wykorzystywane podczas opisywania algorytmów rozpoznawania otworów.

6.1 Adaptacyjny dobór parametrów progowania obrazu

Czasem zdarza się, że w wyniku występujących zakłóceń (najczęściej w postaci pospa-wanych obok otworów), lokalne progowanie metodą Bernsena nie zakończy się sukcesem.

Plama reprezentująca szukany otwór zlewa się z plamami odpowiadającymi sąsiednim otworom. Otrzymujemy obiekt o powierzchni przekraczającej dopuszczalny zakres i zna-leziona plama jest odrzucana. Proponowana modyfikacja algorytmu wstępnej lokalizacji otworu polega na wprowadzeniu pętli, w której modyfikowana jest wartość parametru α_B, występującego w równaniu 5.11, jeśli szukany otwór nie zostanie znaleziony. Lokal-ny poziom progowania obrazu (określoLokal-ny przez wartość parametru α_B) zmieniany jest raz w górę raz w dół, przy czym cały czas powiększa się moduł różnicy między aktualną wartością parametru α_B a jego wartością początkową¹. Gdy otwór zostanie znaleziony, uruchamiana jest dalsza część procedury przetwarzania obrazu.

Wewnątrz każdej pętli realizowane są następujące operacje: filtracja obrazu, lokalne progowanie, indeksacja obrazu, wyznaczenie wartości parametrów opisujących znale-zione obiekty, selekcja znalezionych obiektów oraz sprawdzenie, czy znaleziony został obiekt który znajduje się w pobliżu środka obrazu i spełnia narzucone ograniczenia (od-powiedni rozmiar: S⁽ⁱ⁾, D⁽ⁱ⁾_min, D⁽ⁱ⁾maxoraz wartości współczynników kształtu R⁽ⁱ⁾c i R⁽ⁱ⁾z ).

Jeżeli taki obiekt został znaleziony, wychodzimy z pętli, jeśli nie, sprawdzamy, czy nie można skleić ze sobą znalezionych obiektów w celu otrzymania właściwego obrazu otwo-ru (rozdz. 6.2). Przeprowadzenie ostatniej operacji nie zawsze jest konieczne. Jeśli otwór wciąż nie został znaleziony, zmieniana jest wartość parametru α_B i pętla wykonywana jest ponownie. Ustalona jest maksymalna liczba iteracji pętli modyfikującej parametr αB przez co zakres zmian parametru ograniczony jest do pewnego przedziału.