Z E SZ YT Y NAUKOWE POLITECHNIKI ŚL ĄSKIEJ S e r i a : A U TO MA TY KA z. 64
________ 1982 Nr kol. 736
Ryszard S. CHORAS
Instytut Tele ko mu ni ka cj i 1 Elektrotechniki ATR Bydgoszcz
SY ST EM W I Z Y O N Y RO BO TA PR ZEMYSŁOWEGO
S t r e s z c z e n i e . W referacie przedstawiono system wi zy jn y robota przemysłowego umożliwiający rozpoznawanie różnych złożonych części m a szynowych'i pomiar pewnych parametrów tych cz ęś ci .Prezentowany sy- aem realizuje to w dwóch etapach i w pierwszym wykrywa proste cechy o b iektów obrazu, które są kluczem do rozpoznania obiektów, w drugim w y krywa złołone cechy obiektów, wy ko rz ys tu ję c informację o cechach poprzednich oraz dokonuje identyfikacji ob iektów obrazu.
1. WSTĘP
Ogólna zasada pracy robota przedstawiona została na rys. 1. Kamera te
lewizyjna przekazuje informację do ma szyny cyfrowej, która traktując Ją jako dane wejściowe, wy pr ac ow uj e opia o- brazu znajdującego się w polu widzenia kamery. Opis ten jest przetwarzany przez sp ecjallatyozne programy, umożliwiające znalezienie na Jego podstawie równania, zapewniającego prawidłowy ruch m e ch an ic z
nego manipulatora.
Można wyróżnić dwa sp os ob y wy korzy
stania informacji wizyjnej.
Pierwszy polega na w s t ę pn ym pr ze tw a
rzaniu danych o obrazie, doprowadzanych z kamery. Po wy pr ac ow an iu opisu o b ra zu rozpoczyna eię proces sterowania,w trak
cie którego sprzężenie robota z pr ze
strzenią roboczą (wizualne) jest pr ze r
wane i robot pracuje "na ślepo".
□rugi sposób polega na stałym sp rz ęż e
niu z otoczeniem, tak że można korygować ruch manipulatora zgodnie z informacją wizualną. W większ oś ci przypadków, ze wz ględu na fakt, że sposoby i algo
rytmy przetwarzania informacji wizualnej są trudne i sk omplikowane oraz że szybkość maszyn cyfrowych Jest niedostateczna, żaby realizować proces operacyjnego przetwarzania tej informacji, stosuje się sposób pierwszy.
n B M C
ĄLfrOWH/ h u & w m r L A f lO H A H lĄ IH fO B H A C ji 1 s t f r o o a h a
w a n n ą
r& H A F IU H C j) H Ü 0 1 E H
i _ _ r - _ — T - Ą?AM7I/SA
STElOUAMtĄ * s t m ¡ j A
M A N lp U L A T Ü
KAHOłl Z 3 :
■ff MANIPULATOR
©
ROZPOZNAWANE
OBitKTY Rys. 1. Ogólna zasada pracy
robota
Syatea wi zyjny robota pr ze mysłowego opis yw an y w tym referacie Jaat roz
w i ąz an ie m pewnego aspektu pr ze twarzania obrazów, polegającego głównie na rozpoznawaniu złożonych części maszynowych. Dest to nie tylko intereeują- cy temat z dziedziny au to matycznego pr ze twarzania obrazu, le cz takie pró
bie* mający ważne znaczenie praktyczno. Sy st em wi zy jn y robota przeaysło- wego *a rozpoznawać złożone części maszynowe 1 zastępie zdolność rozpozna
wania syetenu w z ro ko we go człowieka. W dalszej częóci referatu części Ma
szynowe znajdująca się w polu wi dz en ia k a me ry nazywać bę dziemy obiektani.
Referat Jest rozwinięciom w c z e śn ie js zy ch prac z dziedziny rozpoznawania złożonych części Maszynowych [i, 2].
Proponowany system składa się z trzech gł ównych uk ładów 1
- układu analizującego obraz z n aj du ję cy się w polu widzenia kanary, - układu strukturalnego modelu obiektu,
- układu an alizy wy dz ie lo ny ch cech obiektu.
Układ analizy obrazu wydz ie la pewne cechy, które nogę być w prosty s p o
sób znalezione w obrazie i które służę jako klucz do rozpoznawania w e j
ściowego obiektu. Wy korzystując tę poczętkowę informację o obiekcie.układ analizators obrazu rozpoznaje złożone ob i e k t y w następujących etapach:
i) wybór, apośród licznego zbioru, podobnych do obiektu modeli po przez analizę podobieństwa Między wydzieloną informację i modelami obiektu,
ii) analiza struktury wybranych mo de li i podjęcia decyzji o wy borze cech pozwalających na rozpoznanie za ich pomocę następnych sp ośród zbioru cech opisujących w sposób heurystyczny wybrane modele.
Układ analizujący określa również, które z wydz ie lo ny ch cech będą w y korzystane i obszar, który trzeba pr ze sz uk ać w celu wykrycia dalszych cech, wy ko rz ys tu ją c strukturalne model* i położenie cech Już od na le zi on yc h. An a
liza tych cech przeprowadzana Jest przez.in dy wi du al ne układy analizy cech, pr zy czym Jeden układ stosowany Jest do cech Jedmago typu.
2. S Y ST EM ROZPOZNAWANIA
Na rys. 2 przedstawiono system w i zy jn y robota. Obiekty sę położone do
w o ln ie w obrazie. Ola uproszczenia bę dzieny przyjmować, że żaden z obie k
tów nie styka się z innymi obie k
tami (obiekty nia mają części wspól
nych). Założenie to nie Jest rygo
rystyczne. Sy gn ał z kanary Jest próbkowany, a następnie kwantowany na 6 4 pozioay za pomocę przetworni
ka an al og owo-cyfrowego (A/D).
Możliwe są dwa rodzaje pracy pr zy próbkowaniu obrazuj pierwszy A/C
u L . - — -j ł
/<=> C O / j & n t M j
Ht*
Rys« 2. Syatea wi zyjny robota
System wizyjny robota przemysłowego 185
to dokładne próbkowanie wy br an eg o fragmentu obrazu, drugi to zgrubne próbkowanie obrazu. Przy obu rodzajach prac y otrzymujemy obra z wymiaru
128 x 128 el ementów,który Jest prze
chowywany w pamięci buforowej. Na rys,3 przeds ta wi on y Jest układ blo
kowy systemu rozpoznawania.
Ponieważ ob iekty aę dowolnie po
łożone w obrazie, pi erwszy krok w procesie rozpoznawania, to us ta la
nie położenia każdego ob ie kt u. Ws tę p
nie przetwarzamy wejściowe dane o obrazie i w y kr yw am y linie z e w n ę t r z ne ob ie kt ów w ob razie,tj.linie k o n
turowe. Dokładne określenie linii konturowych nie jost konieczne do ustalenia położenia obiektu w obra
zie. Za pu nk ty linii zewnętrznych obiektu (linii konturowych) przyjmowane 8Q pu nk ty posiadajęce w a r t oś ci ja sk ra wo śc i przekraczające określony próg G. Wa rtość G określana Jest na podstawie histogramu Jaskrawości w s zy st
kich punktów obrazu - zazwyczaj przyjmowana Jest średnia wa rtość ja sk ra
wośc i obrazu lub też najniższa wa rtość Ja sk rawości po pierwszym "max" hi
stogramu. Dalsze przetwarzanie obrazu ma na celu otrzymanie dodatkowych informacji o obiektach obrazu, takich jak dokładne linie konturowe obiek
tów i ich rozmiary oraz uzyskanie we tępnej kl as yf ik ac ji obiektu, w celu wy dz ielenia dokładnych linii ko nt urowych obiektu, ni ek ie dy bardzo sk om pl i
kowanych, stosujemy wariant dokładnego pr ób kowania obrazu i w y ko rz ys tu je
my podobne pr oc ed ur y do st os ow an yc h poprzednio. Główna różnice polega na tym. Za do określenia progu G stos uj em y histogram Jaskrawości pewnych lokalnych obszarów o wymiarach 16 x 16 e l em en tó w za wi erających Ju ż frag
me n t y linii konturowych. Lo ka ln y hist og ra m umożliwia wy kr yc ie bardziej precyzyjnych i sk omplikowanych linii konturowych obiektu poprzez adapta
cję dynamicznego progu do wari an cj i Jaskrawości tła i obiektu.
Po wy dz ie la ni u linii konturowych obliczane aę takie parametry obiektów, jaki rozmiar, wspó łc zy nn ik kształtu, szerokość obiektu, ws pó łr zę dn e środ
ka obiektu, odległość linii konturowych od środka obiektu przy ok re śl o
nych kętach. Wł aś ciwości i parametry otrz ym an e w w y n i k u przetwarzania wej
ściowego obrazu sę porównywane z prze ch ow yw an ym i parametrami mo deli 1 . i ■ l,...,n j w celu pr zeprowadzania wstępnej klasyfikacji obiektu. Model
i obiekt będę podobne. Jeżeli od po wi ed ni o ws zy st ki e parametry różnię alg co do w a r t o ś c i bezwzględnej od siebie o mniej niż pewien próg (dla każde
go parametru ustalany oddzielnie).
Na rys. 4 przedstawiono diagram st ru k t u r y modelu ^ M ^ i « l , . . . , n j . Po- nlaważ każdy obiekt z n aj du ję cy się w polu w i d z e n i a ka me ry może być oglę- dany od s t r o n y różnych Jego płaszczyzn, dla każdego oblaktu ma my szereg Rys. 3. Układ bl okowy sy stemu roz
poznawania
modeli w zależności od płaszczyzny, od której oglądany jest obiekt,Przyj
mujemy jednolite strukturę każdego modelu , zawierającą nazwę obiektu, nazwę płaszczyzny, od której oglę-
moei£ dany jest obiekt, listę cech
\ «, Hi Kn j o l,...,n,}, gdzie n Jest licz-
■ y - ■ - • LK55T
C s
■i
bę cech w modelu Cechy sę kla- f,., 6; f,,-n ayfikowane na dwa zbiory, nazwane iSo I-HS£m.| " H I "ł* H | H U zbiorami cech rozpoznawania i iden
tyfikacji, Zbiór cech rozpoznawa
nia Jest stosowany przy rozpozna
waniu lub klasyfikacji obiektu,Po
nieważ niekonieczne jest sprawdze- Rya. 4. Diagram struktury modelu M± nie wszystkich cech obiektu w celu
rozpoznania go, model jest dosta
tecznie dobrza opisany przez zbiór cach do rozpoznawania, które umożliwia
ją odróżnienie jego kształtu od kształtów innych obiektów. Zbiór cech do identyfikacji zawiera cechy, które nie sę ważne w procesie rozpoznawania obiektu, ale sę konieczne do całkowitej identyfikacji obiektu. Jak n p . : położenie małych otworów, specyficznych wyfezowań itp. i które sę umie-f-
szczone na liście cech po cechach rozpoznawania.
Z każdę cechę F związana jest cecha typu, lista atrybutów, lista parametrów i tzw. współczynnik poprawności R, Obiekty opisywane sę przez cechy omówione wyżej i w [4]. Lista parametrów jest określona tylko dla wewnętrznych cech obiektów i określa przestrzenne położenie obiektu we współrzędnych biegunowych. Pierwszym parametrem określającym położenie o- biektu jest parametr określający położenie środka obiektu.
Cechy wydzielone z obrazu wejściowego sę pamiętape i na ich podstawie tworzy się opis obrazu wejściowego o strukturze podobnej do struktury o- pisu modelu. Oeżeli oznaczymy m-tą cechę obiektu wydzieloną z obrazu wej
ściowego przez F^ i j-tą cechę modelu przez F^ , to cechy te sę podobne, jeżeli mają:
i ) taki sam typ cechy,
ii) podobna wartości atrybutów, iv) podobne wartości parametrów.
• Atrybuty Fm i F ^ oznaczymy przez { Arak'ł k " 1 ..."} 1 { A ijk*
k » l,...,nj, gdzie n jest liczbą atrybutów związaną z (jażdą cechą.Wte- dy I Aok “ A ijk I < A k dla k = gdżJ.e Aj^ je3t pewną stałą o- kreślonę ,a priori dla każdego atrybutu każdej cechy typu, jest miarą podo
bieństwa.
Analogicznie, jeżeli parametry F^ i F są określone odpowiednio Pr202 { rmk * ®mk' k “ 1 n } 1 { rijk* ®ijk* k " 1 ... "}' 9d2iS n jest liczbą parametrów związanych z każdę cechę, to sę one podobne,jeżeli:
System wizyjny robota przemysłowego 187
rmk ~ rijk < r mk ®ijkl < e c
dla k = 1, gdzie r ,
,n,
9 ijk - ® M ' gdzie 0c sę stałymi określonymi a priori i ® ij|<
8^ - kęt przesunięcia pomi ęd zy obiektem i modelem
Wybór modelu obrazu (obiektu) Jest przeprowadzany w układzie an aliza
tora różnicowego w na at ęp uj ęc y aposóbi
i) analizator różnicowy wytw ar za tablicę różnic, na podstawie której można ocenić podobieństwo między bieżęcę informację otrzymanę od obiektu wejściowego i modelami obiaktów,
ii) an al iz at or różnicowy sprawdza cachy opisane w modelu pod wz gl ęd em podobieństwa do cech obiektu Ff. Dla tych modeli, które nie posiadaję cech podobnych do F', wartość ws pó łc zy nn ik a R zwięzana z F' jest wpisywana do tablicy różnic,
iv) analizator różnicowy kontroluje tablicę różnic i wybiera ten model,dla którego różnice sę mniejsze od wcześ- jżagŁ I" niej określonej stałej C.
*tZiT„»«i»«*
¡¡¡wg i
ritł we (/6TAl£MiC fttM W
X
HyKUUMP co c h w u v onui
ust- osssxu______
Rys,
—^ T C T C O lO t W T F im c l i I
5. Bl okowy diagram pracy analizatora obrazu
Po wyborze modelu obiektu analizator obrazu, którego głównę częścię Jest ana
lizator różnicowy, kontroluje proces w y dzielania we wn ętrznych cech obiektu (zgodnie z listę cech opisanych w w y b r a nym modelu), wy korzystujęc strukturalne modele ob iektów i bieżęcę informację o obiekcie.
Na rys. 5 przedstawiono blokowy dia
gram prac y analizatora obrazu.
3. ZAKOŃCZENIE
P r ez entowany system wi zy jn y robota może służyć do rozpoznawania różnych złożonych części maszynowych i pomiaru pewnych parametrów tych części.
Ideę jego pracy można sprowadzić do dwóch krokówt w pierwszym wy krywa p r o
ste cochy obiektów obrazu, w drugim wy kr yw a 1 sprawdza bardziej złożone cechy obiektów, wy ko rz ys tu ję c informację o cechach wcześniej wykr yt yc h 1 rozpoznanych. Umożliwia to znacznę redukcję czasu koniecznego do rozpozna
nia i identyfikacji obiektu.
Możliwe Jest rozszerzenia i rozbudowanie systemu w i zy jn eg o robota do tzw. cystemu uczęcego się, mogęcego generować modela nowych ob iektów przy udziale człowieka-operatora.
LITERA TU RA
£lj EDIR I M., UNO T. ot all» A prototype intelligent robot that assembles objects from plan drawings, IEEE Trane. on Computers vol. C-20, ss.
161-170, Fab. 1971.
£2] Y A C H I D A M , , TSUOI S.t A v e rs at il e machine vision system for complex
industrial parts, IEEE Tran*, on Computers vol. C - 2 6 ,s e.8 8 2 - 8 9 4 , sept.
1977.
[3] OU OA R.O., HART P.E.: Pattern classifications and scene analysis, NY:
Wiley, 1973.
[4J CHORAŚ R.S.t Pr ze twarzanie inform ac ji graficznej w syst em ie wizyjny»
robota przemysłowego. Mat. 3 KKADPP 1982.
Recenzent: Prof. dr ini. He nryk KOWALOWSKI
Wp ły nę ło do Re da kc ji 15.05.1982 r.
CHCTEM A 3 P H T E lb H O rO BOCHPHHTHH ItPOMHÜUlEHHOrO P O B O SA
F e a » M e
B e r a i i e n p s A O s a B z e s a c H C z e M a 3p x r e j i i > H o r o b o c u p h h t x h n p o u u m j i e u H o r o p o6o - z a , c n o c o Ó H o r o o n o s H a s a z b o Ö i . e * x u h B e c z ą H3M e p e H H .s H e x o T o p t o t n a p a u e i p o B B Z H X o Ö b s A o b . U p e A J i o x e H H a s o a c z e i t a p e a z H3y e z s t o b Ą B y x a i a n a z : b n e p B o s n p H S B o A H Z c a o n p e z e x e H x e n p o c x u x n p H3H a K0B o6b6k t o b , o6p a3 K o x o p u x e i a H O B U T c a H C x o A H o ö H H $ o p a a u , H e l t a j u o n o3u a B a h x s o Ö B e K i o B , B T o p o f i - 3a x J i m a e T C H b B u ^ e - J tC H B H C Z0X H U Z H p B3H a K0B X X A0H T H (J )H X a iłH H o f i t e K T O B ,
MACHINE VI SI ON S Y S T E M FOR INDUST RI AL ROBOT
S u m m e r y
This paper describes a v e rs at il e machine vision sy st em that can recog
nize Industrial parte and me asure the ne ce ss ar y parameters. T h e eysten proposed consists of two ma j o r components: a scene an alyzer and structu
ral models of objects. T h e scene analyzer proposes the most promising stra
tegy recognizing the objacte.
