Z E S Z Y T Y N A U K O W E PO LITECHN IKI ŚLĄSKIEJ Seria: A U T O M A T Y K A z. 119
________1996 N r kol. 1339
H en ry k PA LU S Politechnika Śląska
P R Z E S T R Z E Ń B A R W IH S W Z A S T O S O W A N IU DO R O Z P O Z N A W A N IA O B IE K T Ó W
S treszczen ie. B arw na wizja kom puterow a m oże odgryw ać istotną rolę w szeroko rozum ianej robotyzacji i kontroli wizyjnej obiektów w procesach przem ysłow ych. W artykule przedstaw iono wady i zalety przestrzeni barw IHS, ja k rów nież osobliw ości transform acji RG B/IH S. Trzy przykłady progow ania w przestrzeni IH S ilustrują jej p rzydatność w procesach segmentacji obrazów i rozpoznaw ania obiektów.
IH S C O L O U R S P A C E USED F O R O B J E C T R E C O G N IT IO N
S u m m a ry . T he colour com puter vision can play an im portant role in robotics in its broad m eaning and visual inspection o f industrial processes. In the paper th e advantages and disadvantages o f IHS colour space and the singularities o f R G B/IH S transform ation are presented. T hree examples o f thresholding illustrate the IHS space usefulness in im age segm entation and object recognition processes.
1. W p row ad zen ie
Jednym z w ażniejszych aspektów widzenia jest postrzeganie barwy. C złow iek p ostrzega barw ę obiektów w swoim otoczeniu nie poprzez analizę składow ych R G B, ani ich różnic (teo ria barw przeciwstawnych), ale za pom ocą pojęć takich, jak: odcień H, nasycenie S i intensyw ność I. Pierwszy zw rócił na to uw agę H.L.Helm holtz, a w 1905 r. am erykański m alarz A .H .M unsell zaproponow ał system opisu i klasyfikacji barw oparty na wyżej w ym ienionych pojęciach percepcyjnych. Jest on najczęściej dzisiaj stosow anym system em porządkującym barw y ([colour ordering system).
O d c ie ń H jest to w rażenie odpowiadające barwie w potocznym sensie tego słow a i zw iązane bezpośrednio z długością fali dominującej bodźca barw ow ego, np. zielony liść m a zielony odcień. Poszczególne odcienie tw orzą zamknięte koło barw od czerw onej przez p o m a ra ń c z o w ą ż ó łtą z ielo n ą niebieską fioletow ą purpurow ą i z pow rotem do czerw onej.
N a sy cen ie S w yraża w zględną czystość barwy, tj. brak bieli w barw ie i jest
najw iększe d la barw czystych. Przykładow o dla żywej barw y czerw onej: S = l, a dla bladej barw y czerw onej (różow a): S=0,5. D la barw achrom atycznych: S=0.
In te n sy w n o ść I określa stopień podobieństw a danej barw y do barw y białej (m aksym alna intensyw ność) i z drugiej strony do barwy czarnej ( m inim alna intensyw ność).
W najprostszym przypadku intensyw ność je st reprezentow ana przez średnią arytm etyczną składow ych R ,G i B, a niekiedy m a znaną z telewizji kolorowej postać lum inancji będącej su m ą w ażo n ą składow ych R, G i B:
Y = 0,30R + 0,59G + 0.11B (1)
W latach siedem dziesiątych zaczęto stosow ać taki, zorientow any percepcyjnie i koncepcyjnie podobny do system u M unsella, opis barw do różnych zagadnień szeroko rozum ianego p rzetw arzania obrazów : od w izji kom puterow ej (przestrzenie barw: HSI, L H S) po grafikę k o m p u tero w ą (m odele barw: H LS, HSV, GHLS). W dalszej części pracy przyjęto w sp ó ln ą dla tych przestrzeni barw nazw ę IMS. N ależy pam iętać, że przestrzenie barw IH S, choć bardziej intuicyjnie n iż R G B , opisują psychologiczne atrybuty barw y (intensyw ność, odcień i nasycenie), s ą jed n ak tylko ich zgrubną aproksym acją. Przez pojęcie przestrzeń barw (m odel barw ) rozum ie się najczęściej trójw ym iarowy m odel geom etryczny służący do opisu barw zdefiniow any poprzez: zastosow ane składow e barw , w ybrany układ w spółrzędnych i p rzy jętą m etrykę (odległość barw ).
R y s .l. B ryła barw w przestrzeni IHS Fig. 1. C olour solid in IHS colour space
Przestrzeń b arw IHS w zastosow aniu do rozpoznaw ania obiektów 183
Jeżeli składow e IH S zostaną przyporządkow ane osiom układu w spółrzędnych w alcow ych, to p o w stałą bryłę barw najczęściej przedstaw ia się w postaci 2 jednakow ych stożków złożonych podstaw am i. Zm iany intensyw ności m ają m iejsce w zdłuż osi bryły, zm iany odcienia w zdłuż obw odu odpow iedniego przekroju poprzecznego bryły, a zm iany nasycenia w zdłuż prom ienia od osi do pow ierzchni bryły, przy czym najw iększe nasycenie w ystępuje dla barw o średniej intensyw ności.
W literaturze nie da się znaleźć jednej międzynarodow ej norm y na transform ację z przestrzeni RG B do IH S i odw rotnie [7]. W pracy [8] podjęto próbę porów nania 4 najczęściej stosow anych w wizji i grafice kom puterow ej wersji bezpośrednich transform acji R G B /IH S.
Poniżej d la ilustracji przedstaw iono najbardziej „klasyczną” wersję J.M . T enebaum a z 1974 r.
w p o s ta c i z z a p is e m odcienia za pom ocą funkcji arctg [13].
j (R + G + B)
3 (2)
jeżeli R =G =B , to H - nieokreślone (kolor achrom atyczny), w przeciw nym razie jeśli R >B i G > B (B jest m in), to
H = ^ + arctg G - R ) (3)
(G - B) + (R - B)
w przeciw nym razie jeśli G > R (R jest m in), to
H = 7t + arctg V 3 ( B - G )
(4)
( B - R ) + ( G - R )
w przeciw nym razie (G jest min)
H = T + arctg
V I ( R - B )
(5) (R - G) + (B - G)
S = 1 3 m in {R ,G ,B )
(R + G + B) (6)
2. O sob liw ości transform acji R G B/IH S i w łaściw ości przestrzeni IH S
Z pow yższych nieliniow ych w zorów transform acyjnych w ynika, że wzory' na H i S w y k azu ją nieusuw alne osobliw ości (singularities), których istnienie m oże być przyczyną niestabilności obliczeniow ej. Łatw o zauw ażyć, że odcień je st nieokreślony w zd łu ż całej osi barw achrom atycznych, tzn. dla R=G =B, a nasycenie dla barwy czarnej: R =G =B = 0. Gdy m ianow nik w e w zorach (3-5) dąży do zera, to odcień staje się niestabilny obliczeniow o.
O znacza to, że zm iana w artości R,G, B o 1 poziom m oże w yw ołać niew spółm iernie dużą zm ianę w artości H i S. Punkty odw zorow ane z przestrzeni RGB w IH S nie w ystępują w niej rów nom iernie (zagęszczenia i luki) [3].
Z kołow ej natury skali odcieniowej w ynika, że 2 barw y czerw one o bardzo zbliżonych odcieniach m o g ą m ieć zupełnie różne w artości H, np. 5° i 355°. Problem dotyczy barw y, dla której przyjęto w artość H =0; zw ykle je s t to barw a czerw ona. U trudnia to niektóre operacje, np. w yznaczanie średniego odcienia dla w ybranego obszaru, bo zw ykłe uśrednianie arytm etyczne wyżej w ym ienionych w artości H prow adzi do otrzym ania barw y o odcieniu 11=180°, czyli turkusow ej (cyari). W pracy [5] zaproponow ano prosty sposób u n ik an ia tego błędu. Z a p o m o cą funkcji trygonom etrycznych przechodzi się od w artości kątów odpow iadających uśrednianym odcieniom do wartości w spółrzędnych kartezjańskich (x,y), uśrednia się oddzielnie w artości x i oddzielnie w artości y, po czym z ich w artościam i średnim i „w raca się” na skalę kątow ą wyznaczając w artość średnią odcienia. Punkty ach rom atyczne ze w zględu na nieokreśloność odcienia s ą pom ijane przy uśrednianiu. Bardziej
Przestrzeń barw IH S w zastosow aniu do rozpoznaw ania obiektów 185
m atem atycznie w yrafinow ana, rekurencyjna m etoda w yznaczania w artości średniej i w ariancji odcienia zo stała przedstaw iona w [2],
P rzestrzeń IH S, m im o sw ego zorientow ania na postrzeganie barw przez człow ieka, nie je s t percepcyjnie rów nom ierna. O znacza to, że zm iana odcienia H o np. 10° m oże w yw ołać w iększą percepcyjnie zm ianę w niektórych częściach koła barw niż w innych. Przestrzeń ta zaw iera ró w n ież inne uproszczenia w porów naniu z ludzką percepcją barw y. Przykładow o całkow icie nasycone barw y o różnych odcieniach nie m ają w rzeczyw istości tej samej w artości intensyw ności (jasności), ja k to m a m iejsce w przypadku m odeli H SV (V = l) i HLS (L=0,5), np. żółty je s t zaw sze jaśniejszy niż niebieski.
P om im o w ym ienionych pow yżej w ad przestrzeń IHS m a rów nież liczne zalety. M ożna do nich zaliczy ć oddzielenie inform acji achrom atycznej od informacji chrom atycznej. O biekty achrom atyczne m o g ą być opisyw ane za pom ocą intensyw ności I (H je s t nieokreślone) i separow ane o d obiektów chrom atycznych za pom ocą nasycenia (S=0). Poniew aż składow e IH S o d p o w iad ają ludzkiem u intuicyjnem u rozum ieniu barw y, dlatego m o g ą być stosow ane do nazyw ania barw w bazie w iedzy, co pozw ala stosow ać w iedzę deklaratyw ną (ram y, reguły produkcji itp.) w analizie obrazów barwnych.
Szczególne znaczenie dla zastosow ań m a [2,12]:
• niezm ienniczość odcienia ze w zględu na zm ianę natężenia ośw ietlenia:
H ( R ,G ,B ) = H (k R ,k G ,k B ) (7)
■ niezm ienniczość nasycenia ze w zględu na zm ianę natężenia ośw ietlenia:
S (R ,G ,B ) = S (k R ,k G ,k B ) (8)
• n iezm ienniczość odcienia ze w zględu na zmianę nasycenia:
H ( R ,G ,B ) = H (R + a ,G + a ,B + a) (9)
gdzie: k > 0 a (k R ,k G ,k B ) e [0,255] oraz V a, (R + a ,G + a ,B + a) e [0,255]
C złow iek posiada zdolność rozpoznaw ania barw y niezależnie od zm ian param etrów ośw ietlenia (natężenia, barw y itd.). D w ie pierw sze zależności dow odzą, że przestrzeń IHS
opisuje barw ę w sposób zbliżony do człow ieka, rów nież jeżeli chodzi o niew rażliw ość na zm iany natężenia ośw ietlenia. O statnia zależność odpow iada zjaw isku niezm ienności odcienia podczas zm niejszania się nasycenia w wyniku dodaw ania bieli do barw y.
P raw dziw ość pow yższych w zorów m ożna łatw o spraw dzić korzystając ze w zorów na odcień i nasycenie w transform acji R G B/IH S (3-6). W realizacji praktycznej niezm ienniczość je s t spełniona dopóty, dopóki w artości RGB pozyskiw ane przez system w izyjny le ż ą w jeg o zakresie przetw arzania, tj. nie w ystępuje obcinanie sygnału (clipping).
3. IH S w rozpoznaw aniu obiektów
Z astosow anie barw y w system ach rozpoznaw ania obiektów w ynika głów nie z następujących pow odów :
• w iększość system ów w izyjnych w organizm ach żyw ych potrafi rozróżniać w ięcej barw niż poziom ów szarości,
• dla sceny znajdującej się w zm iennych w arunkach ośw ietleniow ych cechy barw ne m o g ą być m niej w rażliw e na ich zmianę niż cechy intensyw nościow e,
• barw a m oże być je d y n ą cechą pozw alającą rozróżniać jednakow o ośw ietlone obiekty barw ne nie różniące się ani kształtem , ani rozm iaram i.
R olę barw y w poszczególnych etapach rozpoznaw ania obiektów przedstaw iono szerzej w pracach [8,10,11]. Przydatność przestrzeni IHS w procesach segm entacji obrazu i rozpoznaw ania obiektów w ynika z faktu, że granice obiektów s ą bardziej skorelow ane z różnicam i w odcieniu niż w intensyw ności.
‘O '</}
o 260 c 200 160 V) 100
c 50
0) 0
c
Intensywność 24 barw z koła barw
—*
r
10 15
Numer barwy
Rys.2. Intensyw ność (poziom szarości) 24 próbek z koła barw Fig.2. T he intensivity (grey level) o f 24 sam ples from colour circle
Przestrzeń b arw IH S w zastosow aniu do rozpoznaw ania obiektów XQZ
Z drugiej strony w artość odcienia je s t mało w rażliw a na w ystępujące w obrazie odblyski (highlights), cienie i zm iany orientacji pow ierzchni obiektów (shading) [12], W ynika stąd, że odcień i nasycenie m o g ą odgryw ać istotną rolę w rozpoznaw aniu obiektów. Intensyw ność m a dużo m niejsze znaczenie. W e w czesnej fazie rozw oju barw nej w izji kom puterow ej próbow ano rozpoznaw ać obiekty barw ne na podstaw ie intensyw ności []). R ozróżnialność barw na skali poziom ów szarości je s t słaba, co ilustruje poniższy w ykres [6], który przedstaw ia intensyw ność próbek barw z 24-e!em entowego koła barw. W idać, że praw ie dla każdej barw y z k o ła barw istnieje na nim barw a o zbliżonej intensyw ności.
3.1. Detekcja obiektu o znanej barwie metodą progowania oknowego
D y sponując obrazem barw nym o składow ych IHS m ożna przeprow adzić p ro g o w a n ie o k n o w e (w indow thresholding) na każdej składow ej, na parze składow ych np. na płaszczyźnie H -S, czy w całej przestrzeni IHS. Znając zakres odcienia obiektu, otrzym uje się w w y n ik u progow ania oknow ego na kole odcieni obraz binarny przedstaw iający sylw etkę obiektu.
Poniżej przedstaw iono przykład progow ania obrazu przedstaw iającego żółty obiekt na ciem nym (czarnym ) tle (rys.3a). H istogram II dla takiego obrazu zaw iera „słupki” rozłożone na całej skali odcieniow ej, chociaż m ożna było oczekiwać jednego „słupka” w okolicach H =60° (odcień żółty) (rys.3b). P rzyczyną są piksle tła, które w rzeczyw istości w w yniku niedokładnego zbalansow ania czerni i szarości w system ie w izyjnym s ą pikslam i o bardzo różnych odcieniach (pełna skala) i niskim nasyceniu. Dlatego zgodnie z su g estią zaw artą w [4] do budow y histogram u H użyto piksli, których nasycenie przekracza pew ien próg. Przyjęto S > = 0,20. W ynik (rys. 3c) odpow iada oczekiwaniom . Ostateczny rezultat binaryzacji obrazu barw nego w oparciu o próg oknow y w yznaczony przez histogram odcieniow y pokazano na rys. 3d.
791
R ys.3. Progow anie oknow e obrazu odcieniow ego: a) m onochrom atyczna w ersja obrazu barw nego, b) histogram odcieniow y, c) „popraw iony” histogram odcieniow y, d) o b raz barw ny
po binaryzacji
Fig.3. W indow thresholding o f the hue im age: a) grey-level version o f colour im age, b) hue histogram , c) „corrected” hue histogram , d) colour im age after binarisation
Z najom ość zakresu odcienia i nasycenia dla obiektu pozw ala na bardziej niezaw odne progow anie oknow e na płaszczyźnie H-S. W ielokrotne stosow anie progow ania służy rozpoznaw aniu kolejnych obiektów o różnych barwach. N iew rażliw ość odcienia i nasycenia na zm iany natężenia ośw ietlenia sceny i orientacji pow ierzchni obiektów zw iększa praktyczną przydatność m etody. N a rys.4a pokazano obraz sceny złożonej z 2 obiektów : żółtego i niebieskiego. R zuty klasterów reprezentujących te obiekty w przestrzeni IHS na płaszczyznę H -S (rys.4b) s ą rozłączne, co decyduje o praw idłow ej detekcji tych obiektów w obrazie.
a) b)
Rys.4. P rogow anie oknow e na płaszczyźnie H -S: a) m onochrom atyczna w ersja obrazu barw nego, b) rzuty klasterów reprezentujących obiekty na płaszczyznę H -S Fig.4. W indow thresholding on the H-S plane: a) grey-level version o f colour im age, b)
projections o f clusters representing objects on H -S plane
Przestrzeń b arw IH S w zastosow aniu do rozpoznaw ania obiektów
3.2. Rozpoznawanie obiektów jednobarwnych
D ysponując inform acją o barw ie tła sceny, m ożna znacznie uprościć etap segm entacji, przy założeniu że obiekty m ają barwy chrom atyczne i różne od barwy tła. I tak segm entację m ożna sprow adzić do progow ania histogram u I (tło ciem niejsze niż obiekty), progow ania histo g ram ó w I o raz S (tło jaśniejsze niż obiekty) lub pełnego progow ania w przestrzeni IHS.
W tym ostatnim przypadku program m usi dysponow ać składow ym i IHS tła. Segm entacja pozw ala oddzielić piksle należące do segm entów (obiektów ) od piksli należących do tla.
R ozpoznaw anie obiektów jednobarw nych m oże nastąpić na podstaw ie ccch kształtow ych segm entu i odcienia uśrednionego w sąsiedztw ie środka ciężkości każdego segm entu (obiektu) [5].
i
f j
c) d)
R ys.5. R ozpoznaw anie obiektów w w yniku progow ania histogram u I, w yznaczania średniego o dcienia i cech kształtow ych: a) m onochrom atyczna w ersja obrazu barw nego, b) histogram 1,
c) obraz barw ny po binaryzacji, d) średnie odcienie rozpoznanych obiektów Fig.5. O bject recognition based on intensity histogram thresholding and average hue and shape features calculating: a) grey-level version o f colour im age, b) intensity histogram , c)
colour im age after binarisation, d) average hues o f recognised objects
N a rys.5a przedstaw iono następującą scenę: na ciem nozielonym tle zn ajd u ją się 4 obiekty (1 -pom arańczow y, 2-jasnoróżow y, 3-jasnoniebieski, 4-żólty). Poniew aż intensyw ność
tła je s t zdecydow anie niższa niż intensyw ność obiektów, to zastosow ano progow anie histogram u intensyw ności (rys.5b). W w yniku binaryzacji i etykietow ania (labeling) otrzym ano o braz przedstaw iony na rys. 5c. Ostatecznego rozpoznaw ania obiektów dokonano w yznaczając średnie w artości H, co przedstaw iono na kole odcieni (rys.5d).
4. P od su m ow an ie i kierunki dalszych badań
N ie istnieje je d n a optym alna przestrzeń barw. R ów nież w procesie rozpoznaw ania obiektów na podstaw ie barw y m ożna korzystać z różnych przestrzeni barw . Intuicyjność przestrzeni IHS pozw ala na efektywne w ykorzystanie progow ania histogram ów poszczególnych je j składow ych do segm entacji obrazów i rozpoznaw ania obiektów . W dalszych badaniach należy ocenić przydatność najnow szych, aproksym ujących rów nom ierność p ercepcyjną wersji przestrzeni IHS (przestrzeń H V C , T ek lIV C firm y T ektronix) w procesie rozpoznaw ania obiektów. W ażne zadanie m oże stanow ić określenie, ja k duży w pływ na niezm ienniczość składow ych HS w zględem zm ian ośw ietlenia i w yniki rozpoznaw ania m a kalibracja kolorym etryczna system u w izyjnego.
L IT ER A TU R A
1. C hen M .J., M ilgram D.L.: Binary C olor Vision. Proc. o f 2nd 1C on R oV iSeC , S tuttgart 1982, pp.293-306.
2. C revier D.: C om puting statistical properties o f hue distributions for im age analysis.
SPIE vol.2055, Intelligent R obots and C om puter V ision XII, 1993, pp.613-623.
3. Frey H.: D igitale B ildverarbeitung in Farbräumen. Technische U niversität M ünchen, praca doktorska, 1988.
4. G ong Y ., Sakauchi M .: D etection o f Regions M atching Specified C hrom atic Features.
C om puter V ision and Im age U nderstanding, vol.61, no.2, 1995, pp.263-269.
5. K ocot G.: R ozpoznaw anie obiektów w system ie barwnej w izji kom puterow ej. Instytut A utom atyki Politechniki Śląskiej, praca dyplom ow a, G liw ice 1995 (praca nie publikow ana).
6. P alus H.: T w orzenie skali barw w system ie w izji kom puterow ej do odczytu w ielobarw nego rysunku m ozaikowego. Instytut A utom atyki Politechniki Śląskiej, praca doktorska, G liw ice 1990 (praca nie publikowana).
7. P alus H .: C olour Spaces in C om puter Vision. M achine G RA PH ICS and V ISIO N , v o l.l, no.3, 1992, p p .543-554.
8. Palus H ., B ereska D.: Segm entacja obrazów w przestrzeni IHS: problem przenoszenia inform acji kształtow ej. Prace IPI PA N, z.772. W arszaw a 1995.
Przestrzeń barw IH S w zastosow aniu do rozpoznaw ania obiektów 191
9. Palus H ., B ereska D.: T he com parison betw een transform ations from RGB colour space to IH S colour space, used for object recognition. Proc. o f the 5th Int. Conf. on Im age Processing an d its A pplications, Edinburgh 1995, pp.825-827.
10. P alus H .: B arw a w rozpoznaw aniu obiektów przez system w izyjny robota przem ysłow ego. Zeszyty N aukow e Politechniki Śląskiej, Seria A utom atyka, z.116, G liw ice 1995, ss. 117-127.
11. P alus H .: F arbe in der O bjekterkennung: V ersuch der System atisierung und ein B eispiel.
R ehrm ann V. /cd./, 1. W orkshop Farbbildverarbeitung, Fachberichte Infonnatik 15/95, U niversität K oblenz - Landau, 1995, pp. 17-20.
12. P erez F., K och C.: Tow ard C olor Image Segm entation in A nalog VLSI: A lgorithm and H ardw are. International Journal o f Com puter Vision, vol. 12, n o .l, 1994, pp. 17-42.
13. T enenbaum J.M ., G arvey T.D., Wcyl S., W olf H.C.: A n Interactive Facility for Scene A nalysis Research. Stanford Research Institute, AI Centre, Technical N ote 87, January 1974.
Recenzent: Doc. d r hab. inż. A dam M rózek W płynęło do redakcji do 30.06.1996 r.
A bstract
T he p aper presents an idea o f using IHS colour space for colour-based object recognition. A lthough m ost often the shape-based (geom etrical, topological) features arc used for object recognition, the colour features also arc crucial for recognition o f objects in visual im ages. T he colour com puter vision can play an im portant role in robotics in its broad m eaning and visual inspection o f industrial processes.
D ifferent co lo u r spaces (colour m odels, colour coordinate system s) are used for representing o f colours. In the perception process man easily recognises basic attributes o f colour: intensity (brightness, lightness) 1, hue H and saturation S. IHS colour space is the one w ith com ponents m uch less correlated than the com ponents o f RGB colour space. A nother im portant advantage o f the IHS space is good com patibility w ith the hum an's intuition. The advantages and disadvantages o f IHS colour space and the singularities o f R G B /IH S transform ation are presented. T he aim o f applying IHS space m ay be separation o f chrom atic colours from achrom atic colours using S values. Som etim es, instead o f perform ing a 3—featurc (R G B ) based segm entation, only one feature (H) m ay be used, saving tim e. The H and S attributes, particularly useful for recognition, describe a colour object in the w ay independent o f intensity changes.
F o r typical scenes the usefulness o f window thresholding o f 1-, H- and S- histogram s is show n. In segm entation stage the know ledge about colour o f background can be used. T he solutions o f hue averaging problem are presented.
F inally the conclusion is presented considering advantages o f using IHS colour space for object recognition. T he directions o f further investigations in this field are outlined.
