Wyniki testów działania algorytmu poszukiwania otworu za pomocą wzorca struktural-nego (opisastruktural-nego w rozdziale 6.3.2) przedstawiono dla danych uzyskanych z serii C (2213 zdjęć)[22]. W przypadku wszystkich zarejestrowanych zdjęć przeprowadzono najpierw wstępne poszukiwanie otworu (opisane w rozdziale 5). Krzywe odpowiadające tej serii danych oznaczone są symbolem Sw.
Poszukiwano otwory na obrazie za pomocą dopasowania wzorca strukturalnego do obrazu oryginalnegoJ(x, y) oraz obrazu JT(x, y), będącego wynikiem progowania obra-zu J(x, y). W celu przetestowania działania modyfikacji algorytmu Hooke’a-Jeevesa w obu wymienionych przypadkach dwukrotnie szukano minimum funkcji celu przyjmując dwa różne punkty startowe. Przy pierwszym podejściu poszukiwania rozpoczynano od położenia i orientacji wstępnie znalezionego otworu (seria danych Sw). W drugim po-dejściu zakładano, że nic nie wiemy o położeniu otworu i poszukiwania rozpoczynały się od położenia otworu w środku obrazu przy zerowej orientacji kątowej. We wszystkich przypadkach poszukiwania przeprowadzano przy pomocy oryginalnej i zmodyfikowanej metody Hooke’a-Jeevesa. Poszczególne wykresy znajdujące się na rysunkach 7.12, 7.13, 7.14 i 7.15 oznaczone są następująco: SA,B,C (np. SH,o,w), gdzie
• A = H - oznacza oryginalną metodę Hooke’a-Jeevesa
• A = zH - oznacza zmodyfikowaną metodę Hooke’a-Jeevesa
• B = o - dopasowanie wzorca strukturalnego do obrazu J(x, y)
• B = p - dopasowanie wzorca strukturalnego do obrazu JT(x, y)
• C = w - punktem startowym poszukiwań jest wstępnie znaleziony otwór
• C = z - punktem startowym poszukiwań jest środek obrazu
Wykresy odpowiadające seriom danych SH,o,w, SzH,o,w, SH,p,w i SzH,p,w przedstawione są na rysunkach 7.12 i 7.13. Wykresy dla serii SH,o,z, SzH,o,z, SH,p,z i SzH,p,z pokazane są na rysunkach 7.14 i 7.15. Wyniki liczbowe podane są w tabelach 7.5 i 7.6.
seria Dw σDw max(Dw) Lw σLw max(|Lw|) czas Tabela 7.5: Porównanie wartości średnich, odchylenia standardowego oraz wartości mak-symalnych wskaźników Dw i Lw dla różnych serii danych. Średni czas przetwarzania wyznaczono na komputerze z procesorem i5 M 540, 2.53GHz.
seria
SH,o,z 2,45 mm 9,93 mm 302,26 556,21 2770,19 44,7 %
SH,p,w 0,51 mm 2,96 mm 0,65 3,68 68,32 91,6 %
SH,p,z 2,19 mm 9,74 mm 293,21 563,36 2613,50 64,0 %
SzH,o,w 0,36 mm 1,55 mm 0,14 0,51 8,89 98,6 %
SzH,o,z 0,42 mm 9,93 mm 7,49 114,75 2770,19 95,9 %
SzH,p,w 0,47 mm 2,96 mm 0,46 3,10 68,32 94,8%
SzH,p,z 0,58 mm 9,93 mm 16,57 160,95 2770,19 93,3 %
Tabela 7.6: Porównanie wartości średniej i maksymalnej wskaźnikaQdmax oraz wartości średniej, odchylenia standardowego i wartości maksymalnej kryterium ocenyQJmax dla różnych serii danych. W ostatniej kolumnie umieszczono informację, jaka część otworów została prawidłowo rozpoznana na etapie wstępnego rozpoznania obrazu - na podstawie wartości kryteriumQJmax.
Na rysunku 7.12 przedstawiono wyniki poszukiwań otworu dla przypadku, w któ-rym punktem startowym minimalizacji funkcji celu jest wstępnie znalezione położenie otworu. Na rysunkach 7.12a i 7.12b widzimy histogramy odpowiednio odległości środ-ka znalezionego otworu od środśrod-ka otworu referencyjnego (Dw) oraz błędu wyznaczenia orientacji kątowej (Lw). Na wykresie 7.12a, histogram dla serii danych Sw jest najniższy w porównaniu z histogramami otrzymanymi dla innych serii, nieco bardziej spłaszczony i przesunięty w kierunku większych błędów lokalizacji otworu. Oznacza to, że staty-stycznie, poszukiwanie otworu za pomocą wzorca strukturalnego poprawia jakość dopa-sowania. Możemy również zauważyć, że dopasowanie wzorca strukturalnego do obrazu oryginalnegoJ(x, y) pozwala uzyskać dokładniejszą lokalizację otworu niż w przypadku dopasowania wzorca strukturalnego do obrazu przetworzonegoJT(x, y). Podobne zależ-ności możemy zaobserwować na rysunku 7.12b. Potwierdzenie wysuniętych wniosków znajdujemy w tabeli 7.6. Modyfikacja algorytmu Hooke’a-Jeevesa nieznacznie
popra-a)
b)
c)
SzH,o,w
SH,o,w
SzH,p,w
SH,p,w
Sw
SH,p,w
SzH,o,w
SH,o,w
SzH,p,w
SH,p,w
SzH,p,w
Sw
SzH,p,w
SH,p,w
Sw
SzH,o,w
SH,o,w
SzH,p,w
SH,p,w
Sw
wartość graniczna kryteriumQJmax
powyżej której zakładamy, że otwór nie został prawidłowo rozpoznany
Rysunek 7.12: Wyniki poszukiwania otworu za pomocą wzorca strukturalnego dla punk-tu startowego algorytmu Hooke’a-Jeevesa odpowiadającego położeniu otworu, znalezio-nego w wyniku przeprowadzenia segmentacji obrazu. a) odległość znalezioznalezio-nego otworu od otworu referencyjnego (Dw); b) różnica orientacji kątowej względem orientacji kąto-wej otworu referencyjnego (Lw); c) kryterium jakości dopasowaniaQJmax.
a)
b)
SzH,o,w
SH,o,w
SzH,p,w
SH,p,w
SH,o,w
SzH,o,w
Rysunek 7.13: Poszukiwanie otworu za pomocą wzorca strukturalnego, początkiem po-szukiwań jest położenie wstępnie znalezionego otworu. a) wartość kryterium dopasowa-nia wzorca strukturalnego; b) czas dopasowadopasowa-nia wzorca strukturalnego.
wiła precyzję lokalizacji otworu na obrazie. Wynika to stąd, że punktem startowym minimalizacji funkcji celu było położenie wstępnie znalezionego otworu. Poszukiwania rozpoczynały się w pobliżu minimum globalnego. Modyfikacja algorytmu okazała swoją przydatność w nielicznych przypadkach, w których wstępne poszukiwanie otworu się nie powiodło.
Rysunek 7.12c przedstawia dystrybuantę oceny jakości rozpoznania zdjęcia (QJmax).
Podczas wyznaczania wartości kryterium przyjęto stały rozmiar wzorca otworu10. Z przed-stawionego wykresu oraz danych umieszczonych w tabeli 7.6 wynika, że dokładność lokalizacji otworu podczas wstępnego rozpoznania obrazu, na podstawie współczynni-ków kształtu - seria Sw, jest niewystarczająca do wygenerowania trajektorii narzędzia robota. Jedynie 83,2% otworów zostało zlokalizowanych z wystarczającą dokładnością.
Wynika to stąd, że różnego rodzaju przypadki w postaci np. zabrudzonej powierzchni sita, zabrudzonej górnej powierzchni rurki itp. powodują, że otrzymane obrazy obiektów znalezionych na zdjęciu nie do końca odpowiadające obrazowi wnętrza rurki. Wyzna-czony środek ciężkości oraz orientacja kątowa obiektu będzie więc znacznie odbiegała
10Rozmiar wzorca otworu zmieniany jest podczas dopasowywania wzorca otworu do znalezionych punktów krawędziowych. W tym przypadku mamy do czynienia z wstępną lokalizacją otworu na obrazie.
od położenia i orientacji otworu referencyjnego.
W przypadku rozpoznawania wzorca strukturalnego otrzymywana dokładność loka-lizacji otworów jest znacznie wyższa. Dla przykładu średnia wartość wskaźnikaDw dla serii danych SzH,o,w wynosi 0,25 mm natomiast dla serii danych Sw wynosi 0,46 mm.
Pomimo zwiększenia precyzji lokalizacji otworu, otrzymywana dokładność wciąż jest niewystarczająca. W najlepszym przypadku 98,6% znalezionych otworów zlokalizowa-nych zostało z akceptowalną dokładnością. Można wyróżnić dwie główne przyczyny:
pierwsza wynika z niezbyt dużej rozdzielczości wzorca strukturalnego otworu, druga przyczyna związana jest z tym, że gdy górna powierzchnia rurki jest ciemniejsza na jed-nym z końców otworu, końcowe położenie wzorca strukturalnego może być przesunięte wzdłuż otworu. Równie istotną sprawą jest to, że w obu przypadkach dopasowujemy się do środka obrazu wnętrza rurki a nie do krawędzi otworu (krawędzi sita). W przypadku gdy mamy szeroką szczelinę między zewnętrzną krawędzią rurki a krawędzią otworu, odległość pomiędzy środkiem otworu a środkiem rurki może być na tyle duża, że zna-lezione położenie otworu uznane zostanie jako błędne (przykłady takich zdjęć można znaleźć na rysunkach: 4.8a, 5.19a, 6.9 i 6.17a).
Na rysunku 7.13 przedstawiono rozkład statystyczny otrzymywanych wartości kry-terium oceny dopasowania wzorca strukturalnego oraz czas dopasowania wyrażony w milisekundach. Na wykresie przedstawiającym wartość kryterium dopasowania wyraź-nie można zauważyć oddzielne maksima dotyczące dopasowania wzorca strukturalne-go do obrazu oryginalnestrukturalne-go J(x, y) i obrazu przetworzonego JT(x, y). Zastosowanie w tym przypadku modyfikacji algorytmu poszukiwania minimum funkcji nie ma wpływu na kształt otrzymywanych rozkładów (wykresy dla serii SH,o,w i SzH,o,w oraz SH,p,w i SzH,p,w pokrywają się).
Rysunek 7.13b zawiera histogram czasu dopasowania wzorca strukturalnego do obra-zu oryginalnego dla podstawowej i rozszerzonej wersji algorytmu Hooke’a-Jeevesa. Czas dopasowania wzorca wynosi od kilku do kilkunastu milisekund. W przypadku zmody-fikowanej wersji algorytmu jest on około dwa razy dłuższy. Na histogramie dla serii SzH,o,w wyraźnie widzimy kilka regularnie powtarzających się maksimów. Odległości między sąsiednimi maksimami ujawniają czas realizacji pojedynczego epizodu dodatko-wego poszukiwania minimum funkcji (próba ‘wypchnięcia’ algorytmu Hooke’a-Jeevesa z minimum lokalnego). Czas wykonania pojedynczego cyklu dodatkowych poszukiwań jest stały. Testy wykonane dla dziesięciu otworów pokazały, że w trakcie poszukiwania minimum globalnego, wykonywanych jest od 5 do 8 prób wyjścia z minimum lokalnego (średnia 6,4) z średnim czasem pojedynczego epizodu na poziomie 1,2 ms.
Ponieważ w poprzednich próbach algorytm Hooke’a-Jeevesa startował z położenia otworu wyznaczonego na podstawie analizy plam powstałych w wyniku segmentacji obrazu, w większości przypadków poszukiwania rozpoczynały się w pobliżu minimum globalnego i miały na celu przede wszystkim poprawienie dokładności wyznaczenia poło-żenia i orientacji otworu. W celu przetestowania wprowadzonej modyfikacji algorytmu Hooke’a-Jeevesa dopasowywano wzorzec strukturalny otworu do zdjęcia rozpoczyna-jąc minimalizację funkcji celu od środka obrazu. Na histogramach przedstawionych na rysunkach 7.14 i 7.15 widzimy wyraźny wpływ proponowanej modyfikacji algorytmu Hooke’a-Jeevesa na niezawodność lokalizacji otworu. W przypadku zastosowania ory-ginalnego algorytmu minimalizacji funkcji celu, poszukiwania bardzo często kończyły się w minimach lokalnych oddalonych od właściwego rozwiązania. Na rysunku 7.14a (kryterium Dw) jest to widoczne w przedziale od 0,8 mm do 2,7 mm dla serii danych SH,o,z oraz SH,p,z. Zwiększenie wysokości histogramów dla większych zakresów błędów powoduje automatycznie zmniejszenie wysokości histogramu dla niewielkich odległości, oznaczających prawidłową lokalizację otworu. Dlatego też dla serii danych SzH,o,z oraz SzH,p,z widzimy dużo wyższe wartości histogramów dla odległości w przedziale od 0 mm do 0,8 mm. Podobną relację obserwujemy na wykresie 7.14b przedstawiającym histo-gram wskaźnika Qdmax. Ponieważ w przypadku serii danych SH,o,z i SH,p,z mamy do
a)
b)
c)
SzH,o,z
SzH,p,z
SH,p,z
SH,o,z
SH,o,z
SH,p,z
SzH,o,z
SzH,p,z
SH,p,z
SH,o,z
SH,o,z
SH,p,z
SzH,o,z
SzH,p,z SH,p,z
SH,o,z
SH,o,z
SH,p,z
Rysunek 7.14: Wyniki poszukiwania otworu za pomocą wzorca strukturalnego dla punk-tu startowego algorytmu Hooke’a-Jeevesa odpowiadającego położeniu otworu w środku obrazu i zerowej orientacji kątowej. a) odległość znalezionego otworu od otworu referen-cyjnego (Dw); b) maksymalna odległość trajektorii do krawędzi referencyjnej (Qdmax);
c) kryterium jakości dopasowania QJmax.
a)
b)
SzH,o,z
SH,o,z
SzH,p,z
SH,p,z
SzH,o,z
SzH,o,z
SzH,p,z
SH,o,z
SH,p,z
SH,o,z
SH,p,z
SzH,p,z
SH,o,z
SzH,o,z
Rysunek 7.15: Wyniki poszukiwania otworu za pomocą wzorca strukturalnego dla punk-tu startowego algorytmu Hooke’a-Jeevesa odpowiadającego położeniu otworu w środku obrazu i zerowej orientacji kątowej. a) różnica orientacji kątowej względem orientacji kątowej otworu referencyjnego (Lw); b) dystrybuanta wskaźnikaLw.
czynienia z dużą liczbą zdjęć dla których wskaźnik Qdmax przyjmuje wartości znacz-nie większe od 0,8 mm, występuje duży odsetek odrzuconych rozpoznań oraz kryterium QJmaxprzyjmuje wartości znacznie większe od 1. Jest to doskonale widoczne na rysunku 7.14c przedstawiającym dystrybuantę kryterium oceny QJmax.
Rysunek 7.15 przedstawia histogram oraz dystrybuantę wskaźnika Lw. Ponieważ histogram przedstawiony jest dla niewielkich odchyleń kątowych, orientacje kątowe od-powiadające niewłaściwemu rozpoznaniu otworu nie są przedstawione. W przypadku serii SH,o,z i SH,p,z widzimy wyraźne zmniejszenie wysokości histogramów w porówna-niu do serii SzH,o,z i SzH,p,z. Niewidoczne na histogramie błędne rozpoznania otworu widoczne są na przedstawionym przebiegu dystrybuanty wskaźnikaLw.
Uwzględniając otrzymane rezultaty, w systemie wizyjnym uruchomionym na stano-wisku produkcyjnym, domyślny punkt startowy poszukiwań związany jest ze wstępnie znalezionym otworem. Gdy wstępne poszukiwanie otworu nie kończy się powodzeniem, minimalizacja funkcji celu rozpoczyna się od punktu znajdującego się w środku obrazu i domyślnej orientacji otworu (nie musi być to orientacja zerowa).
Podczas wstępnego przetwarzania obrazu wykorzystywane są dodatkowe
mechani-zmy zwiększające niezawodność znalezienia otworu na obrazie. Pierwszym z nich jest adaptacyjny dobór parametru αBwystępującego w lokalnym progowaniu obrazu. Adap-tacyjne progowanie obrazu zostało opisane w rozdziale 6.1. Drugim mechanizmem jest sklejanie otworów, które opisane jest w rozdziale 6.2. Badanie wpływu wymienionych mechanizmów na niezawodność lokalizacji otworu zostało przeprowadzone na próbce 2345 zdjęć znajdujących się w serii danych H. Ponieważ dla tych zdjęć nie ustalono położenia otworów referencyjnych, seria danych H nie została wymieniona w tabeli 7.2.
W serii tej występują zdjęcia otworów podłużnych, spawanych metodą TIG. Ponieważ na większości z nich widoczne są odblaski występujące wewnątrz rurek i pochodzące od oświetlacza umieszczonego na końcówce robota, seria danych idealnie nadaje się do testowania mechanizmu sklejania otworów. Dla różnych ustawień wstępnego przetwarza-nia obrazu zapamiętywana jest jedynie informacja czy poszukiwanie otworu zakończyło się sukcesem. Z powodu braku otworu referencyjnego, dokładność lokalizacji otworu nie jest badana. Otrzymane wyniki przedstawione są w tabeli 7.7.
liczba rozpoznanych współczynnik otworów wykrycia otworów
opis seria H seria C seria H seria C
samo rozpoznanie plam 2175 2175 66,7% 98,3%
adaptacyjne progowanie 1749 2213 74,6% 100%
sklejanie znalezionych plam 2319 2201 98,9% 99,5%
progowanie obrazu + sklejanie plam 2342 2213 99,9% 100%
dopasowanie wzorca strukturalnego 2335 2211 99,6% 99,9%
pełne wstępne poszukiwanie otworów 2345 2213 100% 100%
Tabela 7.7: Porównanie liczby znalezionych otworów dla różnych trybów wstępnego szukania otworu na obrazie. Dane dla serii H i C zawierających odpowiednio 2345 i 2213 zdjęć. We wszystkich przypadkach wpierw poszukiwany jest otwór na podstawie wartości współczynników kształtów obiektów, znalezionych w wyniku segmentacji obrazu.
Jako poziom referencyjny na początku umieszczono skuteczność lokalizacji otworów jedynie na podstawie przeprowadzenia segmentacji obrazu oraz badania współczynni-ków kształtów znalezionych plam. Nie stosowano żadnych dodatkowych mechanizmów zwiększających niezawodność lokalizacji otworu. Otrzymany wynik na poziomie 66,7%
pokazuje, że wstępne rozpoznanie otworów dla tej serii zdjęć jest dużym wyzwaniem.
Dodanie kolejnych mechanizmów zwiększających niezawodność wstępnego rozpoznania otworu pozwala znacząco zwiększyć odsetek znalezionych otworów.
Otrzymane wyniki są właściwe jedynie dla zdjęć z serii H. Dla przykładu, wyniki otrzymane dla serii zdjęć C pokazują dużo wyższą niezawodność wstępnej lokalizacji otworów. Obecnie preferowane jest wykorzystanie minimum dwóch oświetlaczy stacjo-narnych w postaci płaskich paneli ledowych, które równomiernie oświetlają całą po-wierzchnię spawanego sita. W takim przypadku wnętrze rurki jest oświetlone w niewiel-kim stopniu, dzięki czemu na otrzymanych obrazach odblaski pochodzące od wgnieceń rurki są na tyle słabe, że nie przeszkadzają w prawidłowym wykonaniu segmentacji obrazu. Jeżeli tak się jednak zdarzy, automatyczne dobranie parametru αB lokalnego progowania obrazu pozwala właściwie zlokalizować otwór.