Identyfikacja i lokalizacja obiektów w systemie wizyjnym robota przemysłowego

ZESZYTY NAUKOWE POLITECHNIKI ŚLĄSKIE J S e ria » AUTOMATYKA s . 75

...mi

H r kol, 811

Ryszard S. Choraś

Instytut Te le k omunikacji 1 El ek t rotechniki AIR Bydgoszcz

IDENTYFIKACJA I LOKAL I ZA CJ A O B IEKTÓW W SYSTEMIE WIZ Y JN YM ROBOTA PRZEMYSŁOWEGO

Streszczenie. W pracy omówiono podstawowe założenia 1 wymagania*

które powinien spełniać system wizyjny rohota przemysłowego 1 przed­

stawiono schemat blok ow y systemu wizyjnego spełniającego te wymaga­

nia. P rooes przetwarzania obrazu w systemie wizyjnym robota przemys­

łowego przedstawiono omawiając operacje realizowane przez poszczegól­

ne bloki. Przedstawiono wnioski.

1. Wstęp

Potencjalne z a st osowania ro b o t ó w wyposażonych w systemy wizyjne /tzw.

robotów inteligentnych/ są bardzo szerokie m.ln. badanie kosmosu, głębin morskich, z as to sowania przemysłowe. Prooes przetwarzania obrazu w systemie wizyjnym r o b o t a m oż n a podzielić n a : przetwarzanie informacji wizualnej, segmentacja, opis, rozpozna wa ni e i interpretaoja. Inform ac ja w izualna jest przetwarzana w sygnał e l ektryczny przez czujniki wizyjne. Najbardziej roz­

powszechnionymi są k a m e r y widlkonowe i matryce diodowe. Sygnał wizyjny jest próbkowany, k wa nt o wa ny i przesyłany do k om putera w postaci 64 x 64 do 512 x 512 elementowej ma ci e rz y liczb. Zwiększenie ilości punktów macierzy obrazu, oraz liczb y poziomów jaskrawości decydująco w p ły w a na koszt i szybkość działania systemu. Syst em wizy jn y może wykorzystywać jedną lub parę kamer.

Większość s y stemów wykorzystuje pojedynczą kamerę, para kamer daje dużo wię­

cej informacji o scenie. O br a zy otrzymane z dwu k amer mogą być wykorzystane niezależnie l u b mo gą być stosowane w koniunkcjl do otrzymania pary atcreo- obrazów. V systemach stereo-obrazowyoh, obrazy z dwóch kamer ustawionych w dwóch różnych punktach są analizowane w celu uzyskania niezbędnej infor­

macji o scenie. Jeżeli położenie kamery i kąt w idzenia są znane mogą być obliczone trójwymiarowe współrzędne punktu w scenie.

Innym w a ż n ym c zynnikiem jest oświetlenie sceny. Sposób oświetlenia Jest często nie akce pt ow a ny ponieważ uzyskuje się w rezultacie obraz o małym kontraście, odb ic i a itp. Dobre oświetlenie sceny to takle^fte uzyskiwany przetworzony obraz Jest min i ma ln y / w sennie ilości bitów/ przy czym wszys t­

kie szczegóły są uwidocznione.

CzęBto czujniki wizyjne r ea lizują również, zakres przetwarzania wstępnego obrazu^np. geom et r yc zn ą korekcję, restaurację itp.

192 R.S. Chorai

Segmen ta c ja jest p rocesem dzielenia o b razu n a oddzielne części lub obidc ,ty. Je s t to dziedzina aktywnych badań, bardzo w a ż n a gdyś jest pierwszym k r o k ie m p rzetwarzania w praktycznych systemach wizyjnych. A lg o rytmy segmen­

tacji wyko rz ys t aj ą zasadę: po do bieństwa i braku ciągłości . Pierwsze wykorzy­

stują pojęcie wa rtości progowej i n a tej podstawie tw orzą obszary, drugie r ea lizują operacje w y kr yw a ni a krawędzi obiektów.

Opis w systemie wiz yj ny m r o b o t a po lega n a w yd z ie l e n i u cech obiektu wy­

k orzys ty w an yc h w prooesie rozpoznawania. W pr zypadku idealnym, cechy powin­

n y hyc niezależne od po ło ż en ia obiektu, orientacji i zawierać informację jednoznacznie i de ntyfikującą obiekt.

Rozpoznawanie jest pr ocesem p o ds ta wo w ym id e nt yfikującym k a ż d y wydzielony obiekt w scenie i w yz n ac z a j ą c y m etykietę d la każdego obiektu. Rozpoznawanie może być dzielone n a dwie główne kategorie: decyzyjno-teoretyczne i struk­

turalne.

I n t e rp re t ac ja poleg a n a porównaniu r oz po znanego o b i e kt u z m o d e l e m /para­

metrami/ i w y c i ąg ni ęc i u wni os kó v { co do dalszego procesu rozpoznawania.

I nf or ma c ja w y d z i e l o n a z ob razu jest w y k o r z y s t y w a n a do sterow an i a trajekto­

r i ą ruohu, adaptacyjnej korekcji pozycji, Bterow an i a man i pu la to r em itp.

H a podstawie powyższego krótkiego omó wi e ni a systemu wizyjnego robota m oż em y sformułować w y m a g a n i a które powinien spełniać taki system. Są one następujące:

- układ zobr az o wa ni a mus i zapewniać uzyskanie obra zu sceny zawierającego wszystkie szczegóły, jednak bez e f e kt ów ubocznych,

- algorytmy w y d z i e l a n i a o bi e k t ó w w obrazie m u s z ą być efektywne, prostej o małej złożoności o h l i o z e n i o w B j ,

- l i st a cech w y d zi e lo ny ch z obiektu musi być op ty ma l na tj. minimalna ilo^c cech zape wn ia j ąc a jednoznaczną id entyfikację ob ie kt ów sceny,

- proces r o z p o z n a w a n i a musi być prosty, um oż li wi a ją cy rozpoznawanie akonc:?

nego zbioru o b i e k t ó w obrazu,

- opis mode lu prosty, możliwość tzw. proce su uczenia, - re al i z a c j a h a r d w e r o w a prosta, m a ł y koazt,

- praca w czasie rzeczywistym.

2. S y s te m w i zy jn y r o b o t a pr ze m ysłowego

U kład b l o k o w y systemu r o b o t a inteligentnego przedstawiono n a rys.1.

ro z po zn aw a ni a i lokalizacji ozęśoi ma szynowych w y m a g a n a jest realizacja Bzeregn funkcji /częściowo omówi on yc h wyżej/ pr ze d stawionych n a scheoscis b lokowym n a rya.2.

O m ó w i m y poszczególne operacje reali zo wa n e w systemie w i z yj n ym robota przemysłowego. K a m e r a typu TP-K 16 w y p o s a ż o n a w lampę typu wldikon umożli­

w i a uzyskanie sygnału o brazowego od po wi adającego standardowi telewizyjBeS"

Identyflkaoja 1 lokalizacja obiektów. 193

Sygnał z k a m e r y doprowadzany jest n a wejście przetwornika A/C o przetwarza­

niu ró w noległym o następujących parametrach: częstotliwość próbkowania ok.

3 HHz, ilośó poziomów jaskrawodoi 16. H a wyjściu przetwornika A/C jedna U n i a ohrazu reprez en to w an a jest przez 128 próbekf z których kaśda przedsta­

wiona jest 4-m a hitami. U zy s ku je my cyfrowy obraz 128 x 128 elementowy, z ogólną l i czbą b i t ó w wy no sz ą cą 128 z 128 x 4 " 65 536 bit/obraz. Pojemność pamięci R A H /panięei obrazu/ jest identyczna.

Rys.1. Układ blok ow y systemu r ob ot a Inteligentnego

Rys.2. Funkcje realizowane w systemie wizyjnym robota

194 R.S. Choraó

Operację w y dz i el en ia ko n t u r ó w obi e kt ów ob razu r ea l iz uj em y wykorzystując operator Sobela, kt ó ry jest n ie l in i o w y m o peratorem w y dz i el aj ąc y m zmiany jas­

krawości. D ef i ni u j e m y go Jako;

ex “ [e + K f +i] - [«+ + g] '

e „ “ ja + X b + c ] - jg+ K h + i] j gdzie e x i e^. są sygnałami zmian jaskrawości w k i e ru nk u r. i y.

W s p ó łc zy nn i k K jeBt zwykle przy jm o wa ny jako 2, leoz war to ść ta w y n i k a głów­

nie z intuicji.

Wi e lk oś ć sygnału zmian jaskrawości o kr eślamy przez

s - / 4 + 4 / tó w

Kąt n a ch yl e n i a w e k t o r a g ra dientu ok r eś la my Jako

CC - aro tg e ^ e y /3/

Obraz B jest o b r az e m o różny c h p oz i omach jaskrawości. Realiz u ją c operacji k wa nt ow a ni a ob razu uzysk uj em y obraz konturowy, b i n a r n y C/i,j/ wykorzystywa­

n y n a dalszych etapach prz e tw ar za n ia w systemie w i z y jn ym robota.

B i n a rn y obraz k o n t u ro wy d o p ro wa d za ny jest jednocześnie do wejść bloków strukturalnego r o z po z na wa ni a i anal i zy oraz oblicz an ia param et ró w obraza i enali z at or a różnicowego. St ru k turalne m e t o d y r oz p oz n a w a n i a i analizy ob razu w systemie w i z y j n y m r o bo ta omówiono w

P o d s ta wo wy m i parametrami o b i ek t ów obliczanymi d l a celów rozpoznawania i i d e n t y fi ke cJ i są: r o zm i ar obiektu, współrzędne ś ro dk a obiektu, odległość po między śro dk ie m obi ek tu i l i n i ą k o n t u r o w ą o b l i cz an a dla kątów

0 “ 8^ r k ąt 6 L - w s k a z u j ą c y o ile stopni obrócony jest obiekt wejściowj w s to su n k u do m o d e l u H^. Pl ow eb a rt r e p r ez en t uj ąc y operacje obliczania para­

m et ró w i a n a li zy różnicowej p rzedstawiono n a r y s . 3.

R y s . 3. Op eracje oblicz an i a pa r am et ró w obi ek tu i a n al iz y różnicowej

Identyfikacja 1 l ok allzaoja ob ie k t ó w . . 195

lastępnymi parametrami n a liście aą:

-rozmiar obiektu, określany jeko ogólna liczb a punktów obiektu, czyli ob­

szaru ograniczonego liniami konturowymi [l >3] ,

-współrzędne środka ciężkości definiowane jak w [ t ,3] ,

-obraz kon tu ro w y zawierający linie konturowe w pamięci komputera r eprezen­

towany przez zbiór współrzędnych punktów konturowych /i,j/.

K a ż d y puńkt / i,j/ będzie przedstawiany w przestrzeni H ougha /przestrzeni parametrów/. K aż d y punkt /l,j/ będzie transformowany w krzywą na płaszczyź­

nie ( 6 3 ) określoną równaniem

-S “ i c o s 0 + j s i n 0

jeżeli punkty / i 1 . ^ / » / i g » j g / » • • • le i^ na Jednej prostej /tworzą odcinek linii konturowej/, to w przestrzeni H o ug ha m oż n a znaleźć taki punkt /3-l, Q ± / , te wszystkie krzywe o równan ia ch

ifc c o s 0 + j^ sin 0 - S k « 1 . — n /5/

które są obrazami punktu /i^,J^/ przecinają się.

M o ż n a więc prosty odcinek linii konturowej przedstawić w przestrzeni Houg­

h a w postaci punktu o współrzędnych / 3 j , 6 ^ / , ry s. 4.

Ś r o d ki em układu współrz ęd ny c h Jest punkt / i 0 ,J0/.

Również linie konturowe m o d e l u są przedstawione w przestrzeni Hougha przez / Ą m i /• r y s . 5 przedstawiono przykładowe położenie danych o li­

niach konturowych obiektu i mode l u w przestrzeni Hougha. Jeżeli dane dla każdej linii konturowej znajdują aię wewnątrz elipsy błędów to przyjmuje się, że obiekt od po wiada modelowi.

Współrzędne średnic otwo r ów są przedstawione w przestrzeni Hougha w postaci krzywej / 4 /. Jeżeli ma k sy ma ln a odległość pomiędzy krzywymi w przestrzeni Hougha, reprezentującymi współrzędne średnic otworów obiektu i modelu nie przekracza pewnej stałej, przyjmuje Bię ,że położenia otworów są zgodne.

Linia k o n ­ turowa

obrazu

p rz es tr z eń Hougha

___

Rya.4. Odcin ek linii konturowej R y s . 5. Dane o obiekcie i modelu w przestrzeni Houg ha w przestrzeni Hougha

196 R . ■?. Choraś

3. Uw a gi koiicowe

Id e nt yf ik a cj a i l o k al iz ac j a obiektów, w proponowanym systemie wizyjnym robota' przemysłowego, realiz o wa na jest dwutorowo co umożliwia uzyskanie mi-*

n im &lnych cz asów roz po zn aw a ni a i identyfikacji obiektów, jak również w znacr n y a stopniu z większa poprawność rozpoznawania. Część proponowanych paramet­

r ó w wy zn ac z an a je3t w trakcie procesu otrzymywania ob razu ko nturowego co ma w p ł y w n a skrócenie czasu rozpoznawania. D w a podstawowe w a r i a n t y pracy syste­

m u wi zy jnego r o b o t a są następujące: a/ dwa tory pracują jednocześnie, b/

wy k or zy st y wa ny jest tor r o z p oz na w an ia strukturalnego n a to miast tor analiza­

tora r óż nicowego wy k or zy st y wa ny jest z c hwilą otrzy m an ia sygnału z toru roz­

po z na ni a strukturalnego o t ym że obiekt jest akceptowany. Istnieje możliwość p ra cy systemu wizyjnego r ob ot a w innych wariantach.

L ISERA 3 DR A

5]. Choraś R . S . : Przetwar z an ie informacji graficznej w systemie wizyjnym r o b o t a przemysłowego, 2. Hauk. Polit. Śląskiej, A u to ma t y k a z.64,str.189

■*"200, 1982,

[2]. Choraś R.S.: S tr ukturalne .metody anal iz y o b r a zó w w systemie wizyjnym r o b o t a przemysłowego, Hat. I V K Ł A D F P 1984,

[3]• Choraś B.S.: Image processing system for lnduBtrial robots, Image and T i s l o n Compatlng,no.1 ,Peb. yol.2, str.31'r33,1984.

R ecenz e nt : P r o f . d r ha b. in ż . A n t o n i W o ź n i a k W p ł y n ę ł o do Re da k c j i do 3 0 . 0 3 . 1 9 3 itr»

HJJEHTOffiiKAllHfl OELEKTOB B CHCTEME 3PHTEILH0n) BOCIIPKHTM IIPOM M E- Horo POEOTA ■

P e a

e

B cTaTŁe n p e^ cT asjien a c u c T e m spHTejiŁHoro

npoManuiHHHoro p o ó o T a, IIpeRCTaBJieHa npofijteiia odpaĆOTKH o<5pa3a , npHBeneHH

Birfflc- JieHM napaMeTDOB oóieKTOB. Hami

BaTeKaunne H3 npeRCTaBJieHHHX p£

c y a u e H H fi h o ii h t o b.

Identyfikac.ja i lokalizac.la obiektov?

IDENTIFICATION AND LOCALISATION A VARIETY OF PLANTS,IN A 'MACHINE VISION SYSTEM

S u m m a r y

This paper presents essential assumptions and requirement of a machi­

ne vision system. Digital image processing operations in a machine vision system are presented in a detailed manner. Finally the coneludings re­

marks are discussed.