System wizyjny sterujący zrobotyzowanym stanowiskiem spawania otworów

(1)

Piotr Fiertek

System wizyjny sterujący

zrobotyzowanym stanowiskiem spawania otworów

Rozprawa doktorska

Promotor:

prof. dr hab. inż. Maciej Niedźwiecki Wydział Elektroniki, Telekomunikacji

i Informatyki Politechnika Gdańska

Gdańsk, 2015

(2)

Chciałbym podziękować Panu Tamaszowi Siemieńczukowi, prezesowi zarządu firmy AIC S.A.

bez którego wizji i osobistego zaangażowania opisywany w niniejszej pracy system nie mógłby powstać.

Dziękuję również całemu zespołowi działu Robo3DVision za życzliwość, wsparcie merytoryczne i wspaniałą atmosferę pracy.

Dziękuję mojemu Promotorowi prof. dr hab. inż. Maciejowi Niedźwieckiemu za długie godziny spędzone nad lekturą pracy, życzliwość oraz niezwykłą cierpliwość i wyrozumiałość.

Dziękuję całej mojej Rodzinie i Przyjaciołom za to, że zawsze mnie wspierali gdy ich potrzebowałem.

(3)

Spis treści

Wstęp 5

Cel i teza rozprawy . . . 5

Przegląd treści rozprawy . . . 6

1 Spis symboli i skrótów 8 2 Wprowadzenie 13 3 Przegląd systemów wizyjnych w zrobotyzowanych systemach spawalniczych 18 3.1 Środowiska programistyczne wspomagające tworzenie systemów wizyjnych 20 3.2 Systemy wizyjne sterujące zrobotyzowanymi stanowiskami spawalniczymi 22 3.3 Spawanie rurka-sito . . . 27

4 Budowa i działanie systemu wizyjnego 32 4.1 Budowa systemu wizyjnego . . . 32

4.2 Rozpoznawanie spawanego sita . . . 36

4.3 Rozpoznawanie lokalne otworu i wyznaczanie trajektorii palnika . . . 41

4.4 Dopasowanie geometrii stożka do znalezionych punktów powierzchni sita 45 5 Wstępne przetwarzanie obrazu 51 5.1 Założenia . . . 51

5.2 Filtr medianowy . . . 52

5.3 Wyrównywanie histogramu . . . 53

5.4 Liniowe filtry uśredniające . . . 53

5.5 Segmentacja obrazu - progowanie . . . 54

5.5.1 Progowanie globalne . . . 55

5.5.2 Progowanie lokalne . . . 59

5.6 Filtr Medianowy . . . 67

5.7 Morfologiczna operacja otwarcia . . . 68

5.8 Indeksacja obrazu . . . 70

5.9 Wypełnienie konturów poszczególnych obiektów . . . 74

5.10 Wyznaczenie parametrów poszczególnych obiektów na obrazie . . . 77

5.10.1 Obwód obiektu . . . 79

5.10.2 Długość najdłuższej i najkrótszej przekątnej obiektu . . . 83

5.10.3 Odcinek reprezentujący znaleziony obiekt . . . 84

5.11 Identyfikacja obiektów . . . 85

6 Zaawansowane przetwarzanie obrazu 89 6.1 Adaptacyjny dobór parametrów progowania obrazu . . . 90

6.2 Rekonstrukcja obrazu otworu . . . 90

6.2.1 Łączenie znalezionych obiektów na obrazie . . . 92

6.2.2 Kryterium wyboru kolejnych obiektów . . . 94

6.2.3 Łączenie ze sobą dwóch obiektów . . . 95

(4)

6.2.4 Podsumowanie rekonstrukcji obrazu otworu . . . 99

6.3 Wyznaczenie krawędzi otworu . . . 100

6.3.1 Przekroje obrazu . . . 100

6.3.2 Dopasowanie wzorca strukturalnego . . . 106

6.3.3 Wyznaczenie punktów krawędzi otworu . . . 113

6.4 Dopasowanie wzorca otworu do znalezionych punktów . . . 137

6.4.1 Wzorzec otworu . . . 137

6.4.2 Kryterium jakości dopasowania otworu . . . 139

6.4.3 Minimalizacja funkcji kryterium . . . 141

7 Wyniki 143 7.1 Kryterium oceny rozpoznania zdjęcia . . . 146

7.2 Dostępne dane . . . 151

7.3 Wizualizacja danych statystycznych . . . 156

7.4 Wstępne przetwarzanie obrazu - parametry obiektów . . . 159

7.5 Wyniki rozpoznawania wzorca strukturalnego . . . 162

7.6 Wstępne i dokładne określenie położenia otworu na obrazie . . . 169

7.7 Skalowanie wzorca otworu . . . 172

7.8 Ponowne przekroje obrazu oraz wyznaczanie dokładnego położenia punk- tów krawędziowych . . . 187

8 Podsumowanie 201

A Metoda Hooke’a-Jeevesa 207

(5)

Wstęp

Niniejsza praca doktorska koncentruje się na opisie technik przetwarzania sygnału wizyjnego, wykorzystywanych w systemie sterującym zrobotyzowanym stanowiskiem spawalniczym, realizującym spawanie gęsto upakowanych rurek do sita wymiennika ciepła.

W przypadku opisanego w pracy systemu wizyjnego, otrzymany z kamery obraz jest wykorzystywany do precyzyjnego wyznaczenia położenia otworu (z rurką w środku) na powierzchni sita, przed rozpoczęciem procedury spawania. Informacja o odległo- ści obiektu od kamery otrzymywana jest dzięki zastosowaniu triangulacyjnego czujnika odległości. Wykorzystanie kamery 3D nie jest w tym przypadku konieczne. Głównym wyzwaniem przy opracowywaniu systemu wizyjnego jest konieczność zapewnienia nieza- wodnego wykrycia otworu i precyzyjnego określenia jego położenia. Ze względu na licznie występujące zakłócenia, jest to wymaganie niezwykle trudne do spełnienia. Poprzez za- kłócenia obrazu rozumiane są między innymi różnego rodzaju zabrudzenia występujące na powierzchni sita bądź górnej powierzchni rurki, nierównomierne oświetlenie sceny, oraz odblaski występujące wewnątrz rurki lub pochodzące od jej wgnieceń. Dodatkowo trzeba się liczyć z tym, że krawędź widocznego na obrazie otworu może być częściowo zniszczona z powodu obecności sąsiednich spoin. Położenie krawędzi w takich miejscach nie może być wyznaczone bezpośrednio z obrazu lecz jest estymowane na podstawie znajomości kształtu wzorca otworu, dopasowanego do znalezionych, zachowanych frag- mentów krawędzi otworu.

Cel i teza rozprawy

Tradycyjne techniki przetwarzania sygnału wizyjnego nie są w stanie zapewnić zado- walającej dokładności lokalizacji otworu na obrazie. Są one wykorzystywane jedynie do wyznaczenia przybliżonego położenia otworu. Celem niniejszej rozprawy jest przedsta- wienie technik rozpoznawania otworu zapewniających jego precyzyjną lokalizację po- mimo występujących, specyficznych zakłóceń. Choć przedstawione algorytmy powstały w celu rozwiązania problemu zautomatyzowanego spawania wymienników ciepła, mogą być one z powodzeniem wykorzystane do rozwiązania innych, podobnych problemów.

Otrzymane wyniki badań pozwoliły na postawienie następującej tezy rozprawy:

Zastosowanie dedykowanych technik przetwarzania obrazu pozwala na pre- cyzyjną lokalizację spawanych otworów mimo obecności licznych zakłóceń i zniekształceń pojawiających się w trakcie spawania. Aby uzasadnić przyjętą tezę określono następujące główne cele rozprawy:

• Opracowanie algorytmów zapewniających niezawodne wyszukanie na obrazie in- teresującego nas otworu.

• Opracowanie algorytmu dopasowania wzorca strukturalnego otworu do obrazu otrzymanego z kamery, co zapewnia zwiększenie dokładności wstępnej lokalizacji otworu na obrazie.

• Opracowanie mechanizmów generowania obrazu pomocniczego, składającego się z przekrojów obrazu, co umożliwia wyznaczenie położenia punktów leżących na krawędzi otworu.

(6)

• Opracowanie algorytmów przetwarzania obrazu pomocniczego, zapewniających wykrycie wewnętrznej i zewnętrznej krawędzi rurki oraz krawędzi sita na otrzymanym obrazie pomocniczym.

• Opracowanie algorytmów pozwalających wybrać spośród hipotetycznych punktów krawędziowych właściwe punkty krawędzi otworu, a następnie dopasować do nich wzorzec szukanego otworu.

• Przebadanie opracowanych algorytmów zarówno pod względem dokładności loka- lizacji otworu jak i niezawodności jego rozpoznania.

Poza szczegółowym opisaniem wymienionych wyżej algorytmów, w rozprawie przedstawiono podstawowe algorytmy przetwarzania obrazu (filtry rozmywające, filtry gra- dientowe, algorytmy progowania i segmentacji obrazu, morfologiczne operacje dylatacji i erozji, algorytmy identyfikacji obiektów na podstawie wyznaczonych współczynników kształtu) w odniesieniu do specyficzych uwarunkowań pojawiających się podczas rozpoznawania otworów sit wymienników ciepła.

Na oryginalny wkład autora składa się kilka zaproponowanych rozwiązań. W rozdziale 6.1 opisano mechanizm adaptacyjnego doboru parametrów progowania obrazu, polegający na wprowadzeniu sprzężenia zwrotnego od informacji o sukcesie lub porażce wstępnej lokalizacji otworu¹. Choć w pracy poświęcono mu niewiele miejsca, rozwiązanie to zwiększyło odsetek prawidłowo zlokalizowanych otworów (na wstępnym etapie przetwarzania obrazu) do blisko 100%. Zasługującym na uwagę rozwiązaniem jest opisany w rozdziale 6.2 algorytm rekonstrukcji obrazu otworu na podstawie jego oddzielnych fragmentów wyodrębnionych w wyniku segmentacji obrazu. Ważnym elementem opisywanego algorytmu jest łączenie dwóch sąsiadujących obiektów za pomocą operacji dylatacji i erozji w buforze pomocniczym i przeniesienie wyniku operacji z powrotem do obrazu źródłowego, dzięki czemu uzyskuje się scalenie badanych obszarów bez in- gerencji w kształt obszarów sąsiednich. Kolejnym innowacyjnym elementem niniejszej pracy jest złożony mechanizm wyznaczania położenia punktów krawędziowych otworu, opisany w rozdziale 6.3.3. W przeciwieństwie do tradycyjnych rozwiązań, w których za- kłada się, że krawędzie są dobrze widoczne na obrazie i wystarczające jest znalezienie miejsca w którym obszar ciemny przechodzi w jasny lub obszar jasny przechodzi w ciemny, mamy do czynienia z całym wachlarzem różnych utrudnień, powodujących, że takie uproszczone podejście prowadzi do wielu fałszywych wykryć krawędzi, a tym samym do błędnej lokalizacji otworu. W pracy zaproponowano szereg metod poprawiających niezawodność lokalizacji punktów krawędziowych, takich jak kryteria wyboru właściwej krawędzi, szukanie punktów krawędziowych na obrazie pomocniczym, łączenie znalezionych punktów krawędzi w linie i wybieranie linii reprezentujących krawędź otworu oraz wykonanie ponownych przekrojów obrazu na podstawie wzorca otworu dopasowanego do wcześniej znalezionych punktów krawędziowych. Na koniec należy zaznaczyć, że w celu przeprowadzenia oceny przedstawionych algorytmów przetwarzania obrazu, uwzględniającej specyfikę procesu spawania, opracowano autorskie kryterium oceny ja- kości rozpoznania otworu, które zostało opisane w rozdziale 7.1. Powyższe kryterium z powodzeniem może być wykorzystane w innych pokrewnych dziedzinach, dotyczących metod rozpoznawania otworów lub lokalizacji rowka spawalniczego.

Przegląd treści rozprawy

Struktura rozprawy jest następująca: W rozdziale drugim opisano problem, który poja- wił się w firmie AIC S.A. w Gdyni i zainicjował powstanie projektu mającego na celu

1Pod pojęciem wstępnej lokalizacji otworu kryją się następujące operacje przetwarzania obrazu:

filtracja, progowanie i segmentacja obrazu, wyznaczenie parametrów znalezionych obiektów oraz ich klasyfikacja (rozdz. 5), rekonstrukcja obrazu otworu (rozdz. 6.2) oraz dopasowanie wzorca strukturalnego otworu do otrzymanego z kamery zdjęcia (rozdz. 6.3.2).

(7)

zintegrowanie robota spawającego wymienniki ciepła z systemem wizyjnym. Przedsta- wiona jest budowa zrobotyzowanego stanowiska spawalniczego oraz jego struktura po zintegrowaniu stanowiska z systemem wizyjnym oraz laserowym czujnikiem odległości.

W rozdziale trzecim przedstawiono krótki przegląd systemów wizyjnych współpracu- jących z robotami spawalniczymi, spotykanych w przemyśle oraz technik identyfikacji szukanych na obrazie obiektów. Rozdział czwarty zawiera szczegółowy opis budowy systemu sterowania stanowiskiem spawalniczym, z naciskiem na systemy zbierania informacji o otoczeniu robota. Rozdział piąty poświęcony jest opisowi zaimplemento- wanych, podstawowych technik przetwarzania i rozpoznawania obrazu, pozwalających uzyskać informacje na temat położenia spawanych detali w otoczeniu robota. W rozdziale szóstym przedstawiono opis algorytmów przetwarzania obrazu wykorzystywanych w opisywanym systemie wizyjnym. Rozdział siódmy zawiera opis procedury testowania przedstawionych algorytmów oraz otrzymane wyniki liczbowe. Na koniec, w rozdziale ósmym, przedstawiono podsumowanie uzyskanych wyników oraz określono dalsze moż- liwości rozwoju opracowanego systemu.

(8)

Rozdział 1

Spis symboli i skrótów

Skrót Opis Strona

R Układ współrzędnych robota: układ bazowy związany z podstawą robota lub zdefiniowany przez użytkownika

s. 37

Kk Układ współrzędnych kamery, gdzie k jest numerem zdjęcia s. 37

RKk Układ współrzędnych kamery zdefiniowany w układzie współrzęd- nym robota, gdzie k jest numerem zdjęcia

s. 37

S Układ współrzędnych stożka s. 46

RPi Lokalny układ współrzędnych otworu zdefiniowany w układzie współrzędnym robota, gdzie i jest numerem otworu

s. 49

J Układ współrzędnych obrazu s. 37

Ws Układ współrzędnych wzorca sita s. 39

W Układ współrzędnych wzorca otworu s. 137

JP_oi^k Punkty reprezentujące położenie znalezionych otworów, k jest nu- merem zdjęcia a i numerem otworu znalezionego na k-tym zdjęciu

s. 37

RP_oi^k Punkty reprezentujące położenie znalezionych otworów w układzie robotaR, k - numer zdjęcia, i - numer otworu na k tym zdjęciu

s. 39

RP_oi Punkty reprezentujące położenie znalezionych otworów w układzie współrzędnych robota, gdzie i jest numerem otworu.

s. 39

WsQi Otwory tworzące wzorzec sita, gdzie i jest numerem otworu. s. 39 Xg WektorXg = [x_g, y_g, α_g, k_{xy g}]^T przechowujący parametry trans-

formacji położenia otworów wzorca sita z lokalnego układu współ- rzędnych wzorcaWsdo układu robotaR

s. 40 (4.1)

X_{g opt} Wektor transformacji wzorca sita dla którego funkcja kryterium Jg(·) przyjmuje wartość minimalną

s. 40 (4.1)

J_g(·) Kryterium Jg(Xg,^RP_oi,^W^sQ_i) określające stopień dopasowania wzorca sita^W^sQ_i do znalezionych otworów^RP_oi

s. 41 (4.2)

D_g(·) Minimalna odległość punktu od wzorca sita s. 41 (4.4)

RS_i Punkty leżące na powierzchni sita, służące do wyznaczaniu poło- żenia spawanego sita w układzieR, i jest numerem punktu

s. 40

N_s Rozmiar zbioru punktów^RS_i s. 40

Xs Wektor przechowujący parametry modelu stożka s. 45 (4.5) Xs_opt Wektor przechowujący parametry modelu stożka dla którego funk-

cja kryterium Jsk(·) przyjmuje wartość minimalną

s. 47 (4.10)

Js(·) Kryterium Js(Xs,^RSi) dopasowania geometrii stożka do punktów

RSi.

s. 45 (4.6)

J^′_s(·) Zmodyfikowane kryterium Js(·) dopasowania geometrii stożka do punktów^RSi

s. 47 (4.8)

(9)

Skrót Opis Strona J_sk(·) Zmodyfikowane kryterium J^′s(·) dopasowania geometrii stożka do

punktów^RS_i

s. 47 (4.9)

Ds(·) Odległość punktu od powierzchni stożka s. 46 TRS Macierz transformacji określająca położenie i orientację układu

współrzędnych stożkaS w układzie robota R

s. 48

TRK Macierz transformacji określająca położenie i orientację układu współrzędnych kameryK w układzie robota R

s. 48

TSK Macierz transformacji określająca przejście z układu współrzęd- nych kameryK do układu współrzędnych stożka S

s. 48 (4.12)

TRPi Macierz transformacji określająca położenie lokalnego układu współrzędnych otworu w układzie robota R, gdzie i jest nume- rem otworu w sicie.

s. 49 (4.15)

J (x, y) Funkcja jasności punktu na obrazie s. 51 (5.1) p(x, y) Piksel obrazu (położenie punktu oraz poziom jasności) s. 52

Jm Maksymalna jasność piksela obrazu s. 51

Sx, Sy Rozdzielczość obrazu w osi x i y s. 52

J_i Jasność pikseli obrazu s. 56

H(Ji) Histogram s. 56 (5.4)

O(x, y) Dowolny obraz s. 52 (5.2)

J(x, y) Oryginalny obraz otrzymany z kamery s. 52

JT(x, y) Obraz będący wynikiem progowania obrazu s. 56 (5.3)

JB(x, y) Obraz binarny s. 70

JI(x, y) Obraz otrzymany w wyniku przeprowadzenia indeksacji obrazu s. 70 JI_buf(x, y) Obraz pomocniczy wykorzystywany przy sklejaniu obiektów zna-

lezionych na obrazie

s. 99 (6.6)

JP(x, y) Obraz pomocniczy otrzymany z przekrojów obrazu s. 102 (6.11)

Jwz(n, m) Obraz wzorca strukturalnego otworu s. 106

τ Wartość progu binaryzacji obrazu s. 56

h(J_i) Rzędne histogramu s. 57 (5.5)

H(Ji) Histogram obrazu s. 56 (5.4)

G(x, y) Moduł gradientu jasności pikseli obrazu s. 59 (5.8) Gx(x, y) Składnik gradientu jasności pikseli obrazu w osi x s. 59 (5.9) Gy(x, y) Składnik gradientu jasności pikseli obrazu w osi y s. 59 (5.9) τ (x, y) Lokalna wartość progu binaryzacji s. 59 (5.11) αB Parametr lokalnego progowania metodą Bernsena s. 59 (5.11) αJ Parametr lokalnego progowania metodą Bernsena s. 61 (5.12) τ_sr(x, y) Średnia wartość poziomu progowania w okolicy punktu (x, y) s. 63 (5.13) τr(x, y) Moduł różnicy między lokalną wartością progu a średnią wartością

poziomu progowania w okolicy punktu (x, y)

s. 63 (5.14)

lob Liczba znalezionych na obrazie obiektów s. 71

TI(i) Tablica sklejeń wykorzystywana przy indeksacji obrazu s. 71 X⁽ⁱ⁾ i-ty obiekt znaleziony w wyniku przeprowadzenia segmentacji ob-

razu, gdzie i∈ {1, . . . , lob}

s. 77

X⁽ⁱ⁾(x, y) Zbiór pikseli składających się na obraz i-tego obiektu s. 77 (5.27)

S⁽ⁱ⁾ Powierzchnia i-tego obiektu s. 77 (5.28)

R⁽ⁱ⁾ Długość promienia okręgu o polu powierzchni S⁽ⁱ⁾i-tego obiektu s. 78 (5.29)

R⁽ⁱ⁾c Niecentryczność i-tego obiektu s. 79 (5.33)

(10)

Skrót Opis Strona

R⁽ⁱ⁾z Zwartość i-tego obiektu s. 79 (5.34)

O⁽ⁱ⁾ Obwód i-tego obiektu s. 80 (5.41)

R⁽ⁱ⁾_min Długość najkrótszej przekątnej i-tego obiektu s. 83 (5.43) R⁽ⁱ⁾max Długość najdłuższej przekątnej i-tego obiektu s. 83 (5.43) D⁽ⁱ⁾(θd) Długość przekątnej i-tego obiektu, przechodzącej przez jego śro-

dek i orientacji kątowej θ_d

s. 83 (5.44)

θ⁽ⁱ⁾ Orientacja kątowa i-tego obiektu s. 84 (5.46)

P_A⁽ⁱ⁾, P_B⁽ⁱ⁾ Punkty definiujące odcinek reprezentujący i-ty obiekt s. 84 (5.48) Po⁽ⁱ⁾= (x⁽ⁱ⁾, y⁽ⁱ⁾) Środek ciężkości i-tego obiektu s. 78 (5.30) x⁽ⁱ⁾_min, x⁽ⁱ⁾max, y⁽ⁱ⁾_min, y⁽ⁱ⁾max Zakres zmienności położenia pikseli i-tego obiektu s. 78 (S)min, (S)max Dopuszczalny zakres zmienności parametru S⁽ⁱ⁾ s. 85 (Dmin)min, (Dmin)max Dopuszczalny zakres zmienności parametru D_min⁽ⁱ⁾ s. 85 (Dmax)min, (Dmax)max Dopuszczalny zakres zmienności parametru Dmax⁽ⁱ⁾ s. 85 (R_c)_min, (R_c)_max Dopuszczalny zakres zmienności parametru R⁽ⁱ⁾c s. 87 (R_z)_min, (R_z)_max Dopuszczalny zakres zmienności parametru R⁽ⁱ⁾z s. 87 W⁽ⁱ⁾ Wynik testu określającego, czy znaleziony na obrazie obiekt może

zostać zaklasyfikowany jako znaleziony otwór

s. 89 (6.1)

k_xw, k_{y w} Współczynniki skalujące rozmiar wzorca strukturalnego otworu s. 106 (x_w, y_w) Położenie na obrazie wzorca strukturalnego otworu s. 107 α_w Orientacja kątowa wzorca strukturalnego otworu s. 107 Jw(·) Kryterium J_w(xw, yw, αw) dopasowania wzorca strukturalnego

otworu do obrazu źródłowego J(x, y) w punkcie (xw, y_w) i przy orientacji kątowej wzorca α_w

s. 107 (6.13)

J_nm(·) Składnik kryterium J_w(·) związany z pikselem (n,m) bitmapy wzorca otworuJwz(n, m)

s. 107 (6.17)

Wk k-ty przekrój obrazu, jednowymiarowa tablica jasności pikseli ob- razu oryginalnegoJ(x, y)

s. 101 (6.10)

Nk Długość k-tego przekroju obrazu, wszystkie przekroje mają dłu- gośćN - rozmiar tablicy Wk

s. 101

Np Liczba przekrojów z których składa się obraz pomocniczyJP(x, y) s. 101

JPk JPk= (^JxPk,^JyPk) - punkt początkowy k-tego przekroju obrazu. s. 101

fk Orientacja kątowa k-tego przekroju obrazu s. 101

Pk(·) Funkcja przeliczająca położenie punktu z jednowymiarowego układu współrzędnych k-tego przekroju obrazu Wk na dwuwy- miarowy układ współrzędnych obrazuJ(x, y)

s. 101 (6.9)

JPkr_k JPkr_k = (xkr_k, ykr_k) punkt krawędziowy w układzie współrzęd- nychJ, wyznaczony na podstawie k-tego przekroju obrazu Wk

s. 114

JP_kr^⋆

k Prawdopodobny punkt krawędziowy w układzie współrzędnych obrazu, wyznaczony na podstawie k-tego przekroju obrazu Wk

s. 119

kP_kr_k Położenie punktu krawędziowego w k-tym przekroju obrazu Wk s. 114

kP_kr^⋆

k Położenie prawdopodobnego punktu krawędziowego w k-tym przekroju obrazu Wk

s. 119

PPkr_k Położenie punktu krawędziowego w lokalnym układzie współrzęd- nych otworu, wyznaczonego na podstawie k-tego przekroju obrazu

s. 140

PP_kr^⋆

k Położenie prawdopodobnego punktu krawędziowego w lokalnym układzie współrzędnych otworu, wyznaczonego na podstawie k- tego przekroju obrazu Wk

s. 140

(11)

Skrót Opis Strona

JPkr^′_k,^JP_kr^⋆′

k Zredukowane zbiory punktów krawędziowych s. 142 Nkr, Nkr^⋆ Liczebność zbiorów punktów^JPkr_k i^JP_kr^⋆

k

ϱP_↑min, ϱP_↑max Dopuszczalne położenie pierwszej krawędzi narastającej w przekroju obrazu (krawędź wnętrza rurki)

s. 114

ϱ_{gr min}, ϱ_{gr max} Dopuszczalna odległość między pierwszą i druga krawędzią narastającą (wnętrze rurki i krawędź sita)

s. 114

ϱgr Domyślna grubość ściany rurki, rozumiana jako odległość między wewnętrzną krawędzią rurki a krawędzią sita

s. 114

ϱs Minimalna długość białego obszaru znajdująca się za drugą kra- wędzią narastającą przekroju (za krawędzią sita)

s. 114

J_↑(x, y) Wyjście filtru wykrywającego narastające zbocze na obrazie po- mocniczymJP(x, y)

s. 122 (6.23)

J_↓(x, y) Wyjście filtru wykrywającego opadające zbocze na obrazie pomoc- niczymJP(x, y)

s. 122 (6.23)

JP↑(x, y) Obraz będący wynikiem zastosowania filtru J_↑(x, y) wykrywają- cego zbocze narastające na obrazie pomocniczymJP(x, y)

s. 123

JP↓(x, y) Obraz będący wynikiem zastosowania filtru J_↓(x, y) wykrywają- cego zbocze opadające na obrazie pomocniczymJP(x, y)

s. 123

JP_T↑(x, y) Obraz będący wynikiem progowania obrazuJP↑(x, y) s. 124 JP_T↓(x, y) Obraz będący wynikiem progowania obrazuJP↓(x, y) s. 124

kP_↓l,^kP_↑l Położenie środka krawędzi opadającej i narastającej, gdzie l jest numerem krawędzi w k-tym przekroju obrazu

s. 114

kP_↑l_p,^kP_↑l_k Początek i koniec krawędzi narastającej, gdzie l jest numerem krawędzi w k-tym przekroju obrazu

s. 124

kP_↓l_p,^kP_↓l_k Początek i koniec krawędzi opadającej, gdzie l jest numerem krawędzi w k-tym przekroju obrazu

s. 124

kP_⇑l,^kP_⇓l Położenie narastającej i opadającej krawędzi k-tego przekroju ob- razu z uwzględnieniem pominiętych krawędzi, l jest numerem kra- wędzi od początku przekroju obrazu

s. 133

Li i-ta linia utworzona z znalezionych na obrazie pomocniczym JP(x, y) krawędzi, i = 1,· · · , NL

s. 128

NL Liczba znalezionych linii s. 128

iLk Tablica definiująca linię, gdzie i jest numerem linii s. 128

iLP,ⁱLK Indeksy w tablicy przekrojów obrazu, oznaczające początek i koniec linii

s. 128

WW_i Zbiór punktów tworzących wzorzec otworu (kształt otworu), zdefi- niowanych w układzie współrzędnychW, i jest numerem punktu.

s. 137

N_w Liczba odcinków z których utworzony jest wzorzec otworu s. 137 Xw WektorXw = [

xw, yw, αw, k_xw, k_{y w}]T

przechowujący parametry transformacji położenia punktów wzorca otworu z lokalnego ukła- du współrzędnych wzorcaW na układ współrzędnych obrazu J

s. 137 (6.24)

Xw_opt WektorXwdla którego kryterium Jo(·) dopasowania wzorca otwo- ru do punktów krawędziowych przyjmuje wartość minimalną

s. 139

xw, yx, αw położenie i orientacja kątowa wzorca otworu w układzie współ- rzędnych obrazu

s. 137 (6.24)

k_xw, k_{y w} Współczynniki zmiany rozmiaru wzorca otworu s. 137 (6.24) Vo(·) Funkcja transponująca położenie i-tego punktu wzorca z lokalnego

układu współrzędnychW na układ współrzędnych obrazu J

s. 138 (6.25)

J_o(·) Kryterium Jo(Xw,^JP_kr_k,^JP_kr^⋆

k,^WW_i) wykorzystywane przy dopa- sowywaniu wzorca otworu do punktów krawędziowych

s. 139 (6.26)

(12)

Skrót Opis Strona Do(·) Do

(Xw,^JP ,^WWi

)- odległość punktu obrazu^JP od wzorca otworu dla wektora transformacji wzorcaXw

s. 139

ϱw⋆ Współczynnik, występujący w kryterium Do(·), określający zmniejszoną wagę wpływu punktów^JP_kr^⋆

k na wynik dopasowania

s. 139

ϱ_w_s Parametr, występujący w kryterium Do(·), związany z karą za zmianę rozmiaru wzorca otworu

s. 139

P_T_i Punkty wygenerowanej trajektorii narzędzia, i ={1, . . . , NT} s. 146 N_T Liczba punktów trajektorii narzędzia robota s. 146 d_T_i Odległość punktu trajektorii od krawędzi otworu referencyjnego s. 146 JD(dT_i) Funkcja określająca karę za odchyłkę punktu trajektorii od kra-

wędzi otworu referencyjnego

s. 150 (7.1)

Dmin,Dmax Parametry określające dopuszczalne odchylenie wyznaczonej trajektorii od trajektorii referencyjnej

s. 150

Zmin,Zmax Parametry definiujące obszar w którym funkcjaJD(·) przyj- muje wartość zerową

s. 150

QJmax,Q^′_J_max Kryterium oceny jakości rozpoznania otworu na obrazie, war- tość najgorszego przypadku funkcji karyJD(dT_i)

s. 150 (7.2)

QJD,Q^′_J_D Kryterium oceny jakości rozpoznania otworu na obrazie, wartość średnia funkcji karyJD(dT_i)

s. 150 (7.3)

Dw,Dd Odległość między środkiem otworu referencyjnego a środkiem znalezionego otworu, wstępna i dokładna lokalizacja otworu

s. 150

Lw,Ld Różnica orientacji kątowej otworu referencyjnego i znalezionego otworu, wstępna i dokładna lokalizacja otworu

s. 151

Qd_Ti Średnie położenie punktów trajektorii względem krawędzi otworu referencyjnego

s. 151 (7.4)

Q_|d_Ti_| Średni moduł położenia (odległość) punktów trajektorii względem krawędzi otworu referencyjnego

s. 151 (7.4)

Qdmax Maksymalna odległość punktów trajektorii od krawędzi otworu referencyjnego

s. 151 (7.4)

QD_o Średnie położenie punktów krawędziowych ^RPkr_k, ^RP_kr^⋆

k wzglę- dem krawędzi znalezionego otworu

s. 151 (7.5)

QD_r Średnie położenie punktów krawędziowych ^RPkr_k, ^RP_kr^⋆

k wzglę- dem krawędzi otworu referencyjnego

s. 151 (7.6)

Qσ_Dr Odchylenie standardowe położenia punktów krawędziowych względem krawędzi otworu referencyjnego

s. 151 (7.7)

do, so Długość i szerokość znalezionego otworu s. 151 d_r, sr Długość i szerokość otworu referencyjnego s. 151 W_i(x) Wielomian służący do otrzymania gładkich krzywych opisujących

kształty histogramów wskaźników jakości rozpoznania otworów

s. 159

H_f(i) Ciąg aproksymujący kształt histogramu s. 159 (7.9)

(13)

Rozdział 2

Wprowadzenie

Specyfika opisywanego w tej pracy systemu wizyjnego różni się od typowych rozwią- zań systemów wizyjnych, stosowanych w zrobotyzowanych stanowiskach spawalniczych.

Prace nad powstaniem systemu wizyjnego zostały rozpoczęte w lutym 2006 roku w firmie AIC S.A.¹ w Gdyni, zajmującej się produkcją szerokiej gamy wymienników ciepła [19], [21]. Ponieważ pierwsze prace wdrożeniowe zakończyły się sukcesem, w ramach struktury organizacyjnej firmy AIC S.A. utworzony został dział R3D²(Robo3DVision), w którym prace nad rozwojem systemu są kontynuowane do dnia dzisiejszego. Poza ciągłym testowaniem i udoskonalaniem pierwszej wersji aplikacji (Adaptive Vision Sys- tem I ), rozwijana jest druga wersja systemu, której robocza nazwa brzmi Adaptive Vision System II.

Wersja pierwsza systemu dedykowana jest ściśle do spawania różnych modeli wy- mienników ciepła. Natomiast wersja druga tworzy zintegrowany, elastyczny system ob- sługujący roboty firmy ABB, Mitsubishi i Kawasaki³, systemy pozyskiwania informacji o otoczeniu robota w postaci kamer oraz laserowych czujników odległości oraz obsługujący synchronizację z nowoczesną spawarką firmy Fronius. Z punktu widzenia użytkownika systemu, możliwe jest zdefiniowanie dowolnego programu sterującego robotem w postaci skryptu edytowanego bezpośrednio w zaprojektowanej przez zespół R3D aplikacji. Nowa wersja systemu wizyjnego jest wciąż rozwijana, niemniej została już pomyślnie zaimple- mentowana w kilku aplikacjach (w ramach wewnętrznych potrzeb firmy AIC S.A.).

Proces produkcji wymiennika ciepła składa się z wielu etapów. Opisywany system wizyjny służy jedynie do obsługi jednego lecz kluczowego etapu produkcji, polegającego na spawaniu rurek do sita wymiennika ciepła. Na rysunku 2.1 przedstawiony jest schemat budowy typowych rurowych wymienników ciepła produkowanych w firmie AIC S.A..

Niezależnie od przeznaczenia wymiennika ciepła, zasada jego działania polega na wy- muszeniu przepływu dwóch czynników roboczych obok siebie (wody, glikolu, oleju lub gazu - np. spalin w przypadku wymienników kondensacyjnych), w których jeden czynnik będzie oddawał ciepło a drugi przejmował ciepło. Podczas wymiany ciepła nie może nastąpić bezpośredni kontakt pomiędzy czynnikami roboczymi.

Wymiennik ciepła typu B, przedstawiony na rysunku 2.1 jest urządzeniem prze- pływowym, przeciwprądowym z przepływem wody grzejnej w rurkach, a wody ogrze- wanej w przestrzeni międzyrurowej płaszcza. Powierzchnię wymiany ciepła tworzy pęk rur tworzących wężownicę grzejną. Pakiet wężownicy jest zakończony dwoma ścianami sitowymi umieszczonymi wewnątrz płaszcza wymiennika. Wężownica wymiennika jest wykonana z rur karbowanych. Wymienniki stanowią nierozbieralną konstrukcję spawaną i są zbudowane z wysokostopowej stali. Zostały zaprojektowane głównie do stosowania w instalacjach ogrzewania wody basenowej, mogą być jednak również wykorzystywane

1Oficjalna strona firmy AIC S.A.: www.myaic.com

2Oficjalna strona działu R3D: www.r3dvision.com

3W tym celu opracowano wspólny protokół komunikacji, oparty na interfejsie Ethernet i zaimple- mentowany w językach natywnych poszczególnych robotów.

(14)

wymiennik serii PG

wymiennik serii B dmuchawa

płyta palnika komora spalania

kanały spalin miska na skroplony gaz

rurki

otwory w sicie sito

sito rurki płaszcz

K1 K2

K3

K4

Rysunek 2.1: Budowa typowego wymiennika ciepła. Przekroje wymienników ciepła oraz zdjęcie sita i rurek wymiennika ciepła PG pochodzą z dokumentacji/folderów wymien- ników typu PG (PG line) oraz typu B (Advanced B Series Stainless Steel - 316L), dostępnych na stronie www.myaic.com.

w instalacjach: technologicznych, klimatyzacyjnych, w których czynnikiem roboczym będzie woda, glikol lub olej. Na rysunku symbolom K1, K2, K3 i K4 odpowiadają odpowiednio: wlot czynnika grzewczego, wylot czynnika ogrzewanego, wlot czynnika ogrzewanego i wylot czynnika grzewczego.

Przedstawione na rysunku 2.1 wymienniki ciepła typu PG są wykorzystywane w ko- tłach kondensacyjnych. Kocioł kondensacyjny to urządzenie odzyskujące część energii cieplnej, która w kotłach tradycyjnych tracona jest wraz z parą wodną. Podstawowym elementem każdego kotła jest wymiennik ciepła. W kotłach kondensacyjnych są albo dwa niezależne wymienniki albo jeden dwustopniowy (w przypadku dwóch wymienni- ków ciepła, kondensacja spalin następuje w drugim wymienniku). W konwencjonalnych kotłach niskotemperaturowych powierzchnie wymiany ciepła zaprojektowane są tak, by uniemożliwiać kondensację spalin w kotle. W kotłach kondensacyjnych natomiast, powierzchnia wymiany ciepła skonstruowana jest tak, by spaliny i kondensat przepływały w tym samym kierunku, w dół. W wyniku tego procesu woda płynąca w płaszczu i przestrzeni między rurkami, ogrzewa się, a para wodna zawarta w spalinach wykrapla się na wewnętrznych ściankach rurek wymiennika ciepła w postaci kondensatu (czyli wody z rozpuszczonymi w niej toksycznymi związkami, które powstały w procesie spalania).

Strumień spalin i strumień wody grzewczej prowadzi się przeciwprądowo, by wykorzy- stać niską temperaturę wody napływającej z powrotu do maksymalnego schłodzenia odpływających z kotła spalin. Osiąga się w ten sposób ciągły efekt samooczyszczania i zapobiega zatężanie się kondensatu. Rurki wymienników PG są punktowo ściskane w celu wymuszenia turbulentnego przepływu gazu. Linia wymienników PG składa się z siedmiu różnym modeli, różniących się wielkością (między innymi liczbą rurek - po- wierzchnią wymiany ciepła) i mocą wymienników ciepła od 16 do 120kW.

W ramach procesu produkcji wymienników ciepła, zadaniem przedstawionego zrobotyzowanego systemu produkcyjnego jest spawanie kilkudziesięciu rurek do okrągłego

(15)

lub prostokątnego sita z wyciętymi za pomocą lasera otworami. Sito może być płaskie lub może mieć kształt stożka (np. w przypadku wymienników serii PG). Odpowiednio przycięte rurki są ręcznie wkładane do otworów i wstępnie przyspawane (widoczne na rysunku 2.2b szczepy). Tak przygotowany element wędruje na zrobotyzowane stanowisko spawalnicze, gdzie jest spawany metodą TIG lub za pomocą głowicy laserowej.

Kształt, rozmiar i liczba otworów w płycie znacząco różnią się w zależności od aktualnie spawanego modelu wymiennika ciepła. Na rysunku 2.2 przedstawiono część spawanych typów wymienników ciepła. Z punktu widzenia rozkładu otworów na sicie, możemy spotkać się z przypadkami w których otwory wydają się być losowo rozmieszczone na powierzchni sita (rys. 2.2a,b), są ustawione w równych rzędach (rys. 2.2c,d) lub roz- chodzą się promieniście od środka sita (rys. 2.1). W punktu widzenia kształtu otworu, najczęściej spotykamy otwory okrągłe, w kształcie prostokąta z zaokrąglonymi rogami oraz w kształcie latawca.

a) b)

c) d)

Rysunek 2.2: Zdjęcia przykładowych wymienników ciepła spawanych przez zrobotyzowane stanowisko spawalnicze. a,b) otwory w kształcie prostokątów z zaokrąglonymi rogami; c) otwory okrągłe; d) otwory w kształcie latawca.

Na początku próbowano zrealizować spawanie rurek do sita bez systemu wizyjnego.

Przygotowanie procesu spawania każdego typu wymiennika ciepła polegało na ręcznym wskazaniu położenia środka każdego otworu i na tej podstawie generowane były tra- jektorie narzędzia robota. Pojawił się problem polegający na przesuwaniu się otworów w spawanej płycie w wyniku termicznego rozszerzania się metalu pod wpływem dzia- łania wysokiej temperatury, pojawiającej się podczas spawania. Po wyspawaniu kilku otworów, robot nie trafiał w kolejne z wymaganą dokładnością. Próbowano rozwiązać

(16)

a)

b) c)

Rysunek 2.3: a) Maszyna do precyzyjnego pozycjonowania wymienników ciepła; b) przy- rząd mocujący wymienniki serii B; c) Zdjęcie głowicy robota z pierwszą wersją systemu wizyjnego - pierwsza wersja systemu nie uwzględniała zbierania informacji o położeniu płyty za pomocą czujnika odległości.

problem budując kosztowne urządzenie do precyzyjnego pozycjonowania sita wymiennika ciepła (rys. 2.3a), w którym spawana płyta trzymana była przez ściśle przylegającą, grubą stalową obręcz. Zastosowane rozwiązanie nie przyniosło jednak zadowalających efektów oraz dodatkowo posiadało szereg wad:

1. Budowa kosztownego i niewygodnego w eksploatacji urządzenia do precyzyjnego pozycjonowania spawanych płyt dla każdego typu wymiennika ciepła.

(17)

2. Kosztowna integracja zrobotyzowanego stanowiska z automatyczną linią produk- cyjną: detale muszą być zdejmowane z linii produkcyjnej i umieszczane w specjal- nym urządzeniu, a po zakończeniu spawania z powrotem wrócić na linię produk- cyjną. Ze względu na wymaganą dokładność pozycjonowania względem układu współrzędnych robota, koszt takiej maszyny może być znaczny.

3. Długi czas przezbrajania produkcji: dla każdego typu wymiennika ciepła należy ręcznie wprowadzić trajektorię robota, a następnie sprawdzić, czy przesunięcie otworów mieści się w wymaganym zakresie.

Trudności udało się pokonać dopiero po zastosowaniu systemu wizyjnego, którego zadaniem jest wyznaczenie dokładnego położenia otworu i wygenerowanie odpowiedniej trajektorii palnika robota. Na rysunku 2.3c przedstawiono pierwszą postać systemu wizyjnego, opartego na kamerze DMK 31BF03 z interfejsem Fire Wire.

Proces spawania wymiennika ciepła składa się z dwóch etapów. W etapie pierwszym, wykorzystując informacje pochodzące z systemu wizyjnego oraz z laserowego czujnika odległości, wyznaczana jest geometria sita (kształt i położenie sita w przestrzeni robo- czej) oraz rozmieszczenie spawanych otworów. Na tym etapie, wyznaczany jest lokalny układ odniesienia każdego otworu względem globalnego układu współrzędnych robota.

Dane te są następnie przesyłane do robota.

W etapie drugim, polegającym na rozpoznaniu i spawaniu poszczególnych otworów, dla każdego otworu sita wykonywane jest zdjęcie, a następnie na otrzymanym obrazie wyznaczane są punkty należące do jego krawędzi. Znalezione punkty porównywane są z wzorcem otworu, na podstawie którego generowana jest trajektoria palnika. Dodatko- wo do robota przesyłane są cztery punkty pomiaru wysokości. Po zmierzeniu położenia czterech punktów na powierzchni sita, wyznaczane jest lokalne położenie płaszczyzny otworu i następuje przeliczenie wyznaczonej trajektorii na płaszczyznę otworu. Na koniec trajektoria przesyłana jest do robota i wykonywane jest spawanie otworu.

Zastosowanie systemu wizyjnego do sterowania zrobotyzowanym stanowiskiem pro- dukcyjnym pozwoliło znacznie skrócić czas przygotowania stanowiska do spawania oraz spowodowało wyeliminowanie z procesu kosztownych urządzeń pozycjonujących. Gdyby nie konieczność zapewnienia odpowiedniej osłony gazowej podczas spawania, wymusza- jącej umieszczenie wymiennika w obudowie zatrzymującej gaz⁴, możliwe byłoby spawanie wymienników ciepła postawionych bezpośrednio na podłodze hali produkcyjnej.

W rozdziale 4 przedstawiono budowę i działanie systemu wizyjnego. Rozdział 5 opi- suje podstawowe algorytmy przetwarzania obrazu służące do wstępnej lokalizacji otwo- rów. Rozdział 6 zawiera opis algorytmów przetwarzania obrazu, służących do znalezie- nia punktów należących do krawędzi otworu, do których następnie dopasowywany jest wzorzec otworu. Na koniec w rozdziale 7 przedstawiono otrzymane rezultaty działania opisanych algorytmów przetwarzania obrazu.

4Gaz podawany jest od strony przestrzeni między rurkami - wnętrze płaszcza wymiennika ciepła.

(18)

Rozdział 3

Przegląd systemów wizyjnych w zrobotyzowanych systemach

spawalniczych

Nieustanne dążenie do zwiększania elastyczności zrobotyzowanych stanowisk produk- cyjnych wymusza wyposażenie robota w szereg czujników służących do rozpoznania otaczającego go środowiska i wypracowania inteligentnej reakcji na zaistniałe zdarze- nia. W tym celu roboty wyposaża się między innymi w czujniki odległości, czujniki dotykowe oraz czujniki siły. Choć ich wykorzystanie zwiększa wydajność robota, nie po- zwalają one na otrzymanie w krótkim czasie takiej ilości informacji, jaka jest osiągalna dzięki zastosowaniu techniki wizyjnej. Widzenie robotów polega na wydobyciu, identyfikacji oraz interpretacji informacji uzyskanej z obrazów trójwymiarowej sceny [29]. Wraz z czujnikami odległości, systemy wizyjne należą do bezdotykowych systemów pomiaro- wych, dzięki czemu zdobywanie informacji o otoczeniu robota jest dużo bezpieczniejsze niż w przypadku zastosowania czujników dotykowych. Systemy takie umożliwiają loka- lizację i rozpoznawanie obiektów w przestrzeni trójwymiarowej za pomocą jednej lub większej liczby kamer (stereowizja) lub przy zastosowaniu oświetlenia strukturalnego (kamery 3D). Z punktu widzenia mobilności kamer, systemy wizyjne możemy podzielić na takie, w których położenie kamery jest stałe (kamera zamontowana nad stanowiskiem roboczym) lub zmienne (kamera zamontowana na ramieniu robota). W drugim przypadku bardzo istotnym zagadnieniem jest kalibracja systemu wizyjnego.

Systemy wizyjne mogą być dedykowane do wykonywania konkretnego zadania bądź mogą być systemami ogólnego przeznaczenia. W drugim przypadku możemy wykorzy- stać specjalistyczne oprogramowanie uruchamiane na komputerze klasy PC lub też wy- korzystać tak zwaną inteligentną kamerę (ang. smart camera), integrującą w jednej kompaktowej obudowie matrycę kamery, optykę oraz jednostkę obliczeniową. Inteligent- na kamera wyznacza położenie i parametry interesujących nas obiektów, a następnie przesyła wyznaczone wielkości do robota przemysłowego, który może np. pobrać zloka- lizowany obiekt.

Najczęstsze obszary zastosowań systemów wizyjnych w działach związanych z prze- mysłem to: inspekcja i weryfikacja produktów (69%); produkcja (procesy dyskretne) (68%); produkcja (procesy ciągłe) (62%); pomiary geometryczne (61%); systemy paku- jące (57%); rozpoznawanie znaków (52%); zliczanie produktów (49%); robotyka(40%);

kontrola ruchu (38%); diagnostyka, testowanie, utrzymanie ruchu (33%); sprzęt drukują- cy, procesy sieciowe Web (22%); sterowanie maszyn, sprzęt CNC (20%); kontrola, dozór i akwizycja danych (20%); ciągłe przetwarzanie produktów (12%); sprzęt do przenosze- nia produktów lub elementów (windy, dźwigi, wyciągarki) (12%) oraz inne (3%) (źró- dło: Badania Control Engineering oraz Reed Corporate Research i ankieta APA) [39].

Powyższe liczby nie sumują się do 100%, gdyż poszczególne obszary zastosowań syste-

(19)

mów wizyjnych nakładają się na siebie.

Głównym obszarem zastosowania systemów wizyjnych w przemyśle jest weryfikacja i kontrola jakości produktów. W systemach tych wykonywane są między innymi takie operacje jak sprawdzanie poprawności nadruków, sprawdzanie kształtów i wymiarów obiektów, pomiar powierzchni obiektów, pomiar kąta obrotu obiektów, odczytywanie znaków ASCII (OCR), weryfikacja znaków (OCV), kontrola zgodności ze wzorcem, pomiar jasności, klasyfikacja obiektów, rozpoznawanie koloru, sprawdzanie kodów kresko- wych oraz sprawdzanie kodów 2D. Systemy wizyjne stosowane są między innymi w następujących gałęziach przemysłu¹:

• Przemysł spożywczy: kontrola daty przydatności do spożycia, kontrola czystości opakowań przed napełnieniem, kontrola napełnienia opakowań, pozycjonowanie opakowań bez konieczności użycia markerów, kontrola prawidłowego zamknięcia opakowań.

• przemysł kosmetyczny: kontrola położenia etykiet, kontrola oznaczeń produktów, kontrola ułożenia opakowań, orientacja opakowań, korków, pompek itp.

• przemysł farmaceutyczny: weryfikacja napełnienia blistrów.

• przemysł samochodowy: sprawdzanie położenia i obecność elementów po monta- żu, pozycjonowanie robotów, kontrola nałożenia past uszczelniających, kontrola wykonania otworów, kontrola obecności uszczelek przed montażem, odczytywanie kolorowych oznaczeń.

• przemysł maszynowy: kontrola wizualna powierzchni po obróbce mechanicznej, kontrola kształtu elementów, bezdotykowy pomiar wymiarów taśm, przewodów.

• przemysł elektroniczny: kontrola obecności i położenia elementów, weryfikacja działania wskaźników, kontrola zawartości opakowań, pozycjonowanie, kontrola jakości wyświetlaczy.

Wykorzystanie systemów wizyjnych pozwala na wykrycie wad produktów w początko- wym etapie ich wytwarzania i na bieżącą eliminację z procesu technologicznego wyrobów wadliwych, przez co ogranicza się straty na dalszych etapach tego procesu.

Również w robotyce coraz częściej wykorzystywane są systemy wizyjne. Typowe ich wykorzystanie ma na celu lokalizację analizowanych obiektów w przestrzeni dwu- lub trójwymiarowej [67], [73]. Robot po rozpoznaniu obiektu i określeniu jego położenia przenosi obiekt w przeznaczone dla niego miejsce (paletyzacja, różnego rodzaju zadania montażowe). Aplikacje, w których wykorzystywane są systemy wizyjne obejmują takie zagadnienia jak przenoszenie materiałów, spawanie [76], operacje obróbki skrawa- niem, czynności lakiernicze, automatyczny montaż części, kontrolę jakości i identyfikację części. Kolejnymi zadaniami, podczas realizacji których korzysta się z systemów wizyjnych są: załadunek/rozładunek pras, maszyn przetwórczych, stojaków, skrzyń, palet, kontenerów; montaż szyb, dachów, nadwozi, kokpitów; tankowanie pojazdów stacjonarnych oraz w ruchu; montaż kół pojazdów stacjonarnych oraz w ruchu; sortowanie elementów losowo rozłożonych na podajniku taśmowym; pomiary cech obiektów dwu- i trójwymiarowych oraz ich identyfikacja i klasyfikacja; rozpoznawanie wzorców; kontrola ułożenia elementów na płytce drukowanej (przed procesem lutowania) oraz kontrola gotowego zespołu; trójwymiarowa rekonstrukcja analizowanych obiektów; monito- rowanie kolizji; sterowanie robotów frezujących, szlifujących, malujących, spawających, tnących laserowo itp.; sterowanie systemami nadruku i etykietowania; pozycjonowanie w systemach transportowych; sterowanie urządzeniami pakującymi; sterowanie w aplikacjach spawania, klejenia, uszczelniania; sterowanie robotami nitującymi; sterowanie dźwigami transportowymi; sterowanie procesami kucia, tłoczenia; nawigacja i sterowanie maszynami i robotami rolniczymi itp. Dzięki systemom wizyjnym roboty mobilne

1http://systemy-wizyjne.pl/pl,systemy-wizyjne-zastosowania