ZESZYTY N A U K O W E P O LITEC H N IK I ŚLĄSKIEJ Seria: TRA N SPO RT z. 46
2002 N r kol. 1571
Wiesław PAM UŁA
W ŁASNOŚCI TR A N SFO R M A T Y FALKOW EJ DLA K O M PR ESJI DANYCH Z W ID E O R EJESTR A TO R A ZDARZEŃ D R O G O W YCH
Streszczenie. Zaproponow ano w ykorzystanie transform aty falkowej obliczanej po krzywej Hilberta, poprow adzonej na zarejestrow anym obrazie, dla kom presji danych obrazowych.
Bieg krzywej grupuje lokalnie piksele obrazu w spom agając aproksym ację pojazdów na obra
zie. Obliczenie w spółczynników jednow ym iarow ej transform aty falkowej w ym aga mniejszej około 30% liczby operacji przetw arzania i nadaje się do im plem entacji z użyciem m ikro
kontrolerów.
PROPERTIES OF WAVELET TRANSFORMS FOR COMPRESSING DATA FROM A VIDEORECORDER OF TRAFFIC INCIDENTS
Summary. A n algorithm is proposed to incorporate H ilbert scan o f im age data and a wavelet transform , factorized into lifting steps, to process video traffic data, w hich is suit
able for on site m icrocontroler im plem entation. Scanning an image, in space filling curve or
der, brings together pixels that are highly correlated. This scan - a vector o f the image, repre
sents clustered pixels, w hich m ay be m ore effectively transformed. A pplying a 1-dim ensional wavelet transform requires a sm aller num ber o f processing steps.
1. WSTĘP
Poszukiw anie efektyw nej m etody kom presji danych obrazowych koncentruje się na optymalizacji m etod opartych na transform atach falkow ych [2], A plikacje w łączone do sys
temów przekazu danych z kam er m onitorujących ruch drogowy m uszą działać w czasie rze
czywistym. Jednocześnie kom presja pow inna być zaim plem entow ana z w ykorzystaniem do
stępnych na stanow iskach obserw acji środków przetw arzania, którymi są m ikrokontrolery sprawnie realizujące jed y n ie operacje całkow itoliczbow e.
2. K RZY W E W Y PE ŁN IA JĄ C E PR ZESTR ZEŃ
Krzywe w ypełniające przestrzeń są odw zorow aniam i odcinka na zadaną 2-w ym iarow ą powierzchnię. K rzyw a przebiega w szystkie punkty tej pow ierzchni. Pierw sze takie krzywe zaproponowali Peano i H ilbert w końcu X IX w ieku [7]. Sąsiednie punkty krzywej odpow ia
dają sąsiednim w sensie otoczenia dw uw ym iarowego. Przeglądanie obrazu po takiej krzywej odpow iada zatem analizie kolejnych otoczeń, gdzie w artości pikseli m o g ą być silnie pow ią
zane ze sobą. P rzykładem szeroko znanym w ykorzystania korelacji m iędzy pikselam i może być segm entacja obrazu z w ykorzystaniem drzew czwórkowych, będąca podstaw ą wielu słownikow ych m etod kom presji danych obrazowych.
156 W.Pamuła
Krzywe w ypełniające przestrzeń stosowane są w algorytm ach cieniow ania dla drukarek i wyświetlaczy LCD, dając bezkierunkow e przejścia m iędzy odcieniami lub elim inując uciąż
liwe dla oka schodkow e zm iany kolorów [6].
Znane m etody kom presji słownikowej w ykorzystują podział obrazu na fragmenty i indywidualne dla każdego fragm entu dopasowanie w pisów ze słownika. Zawartość fragmentów analizow ana je s t po krzyw ych H ilberta [2].
Proponuje się odw zorow anie całego obrazu w krzyw ą w ypełniającą przestrzeń i przetw arzanie pełnego obrazu zam iast jego fragmentów. Kolejne kroki algorytm u operować będą na jednow ym iarow ej reprezentacji obrazu.
W ektor obrazu konstruuje się przez przepisanie zaw artości bufora obrazu w kolejności punktów krzywej w ypełniającej przestrzeń.
p ( i) = P ( a ( li ) ,a ( 0 ,i) ) (1)
gdzie:
P(i j ) - b ufor obrazu, p(i) - w ektor obrazu, a(j,i) - tablica adresów.
K olejność określona je st przez tabelę adresów. D la ułatw ienia im plem entacji zastosowano krzyw ą H ilberta i przyjęto do przetw arzania kw adratowe fragmenty obrazów z kamery o rozm iarach 2" pikseli.
W przypadku prostokątnych obrazów m ożna zastosow ać uogólnioną krzyw ą ghil, mur- ray lub zm odyfikow aną Peano, które posiadają podobne własności, różniąc się sposobem ge
neracji kolejnych punktów pokrycia pow ierzchni [3].
3. CA ŁK O W ITO LICZBO W E T R A N SFO R M A TY FALKO W E
Obliczanie w spółczynników całkow itoliczbow ej transform aty falkowej je st oparte na tzw
„podnoszeniu” (lifting), które polega na iteracyjnym wyliczaniu w artości współczynników aktualnego pasm a rozdzielczości na podstaw ie kom binacji liniowej w spółczynników niższych rozdzielczości [1], Wyniki obliczeń zaokrągla się. Pierw szym i współczynnikam i s ą wartości pikseli obrazu. Transform ata je st odw racalna, co oznacza, że m ożna odtw orzyć obraz bez strat [4].
Przeprow adzono badanie w łasności kilku transform at całkowitołiczbow ych. Wybrano transform aty z ułam kow ym i w spółczynnikam i, które łatwo m ożna obliczać z użyciem sprzętu zawierającego m ikrokontrolery.
Obrazy zdarzeń drogowych zaw ierają obiekty o ograniczonym zakresie rozmiarów. Jed
nocześnie obiekty te m o g ą być aproksym ow ane przez prostopadłościany lub ich złożenia.
W ystarczającą reprezentację falkow ą takich obiektów uzyskuje się z wykorzystaniem syme
trycznych falek o niew ielkiej liczbie m om entów znikających.
K om itet norm alizacyjny JPEG 2000 po w ieloletnich badaniach przyjął falkę (5,3) jako podstawę bezstratnych m etod kom presji w now ym standardzie [9], Jest to k olejną wskazów
ką, która pozw ala dalej ograniczyć zbiór transform at falkowych uw zględnianych w bada
niach.
D la ilustracji zasady obliczania transform atę falkow ą H aara m ożna przedstaw ić za pomo
cą następujących kroków “podnoszenia” (lifting steps):
W łasności transform aty falkowej dla kom presji danych z w ideorejestratora 157
^1,1 ^0,21+1 S 0,2/
d,
(
2)
gdzie:
d n, i - w spółczynniki różnicow e n-tego poziom u rozdzielczości (subpasm a), s n, i - w spółczynniki n-tego poziom u rozdzielczości (subpasma).
Inne konstrukcje w ym ieniono w tablicy 1.
C ałkow itoliczbow e transform aty falkowe
Tablica 1
N azw a Lifting steps Uw agi
D(2 ,2) dl,i = So,2i + l - L(So,2i + S o , 2 i + 2 ) / 2 + 1/2J
S i . i = sD,2i - L(di,j-i + d u )/4 + I /2J
sym etryczne biortogonalne D(4,4) dl.j = So,2i+l - L9 (So,2i + So,2i+2)/16 - (So,2i-2 + So,2i+4)/16 + 1/2J
Si, i = S o, 2i - L9(di,i_i +di,i)/32 - (di,j.2 +di,i+i)/32+ 1/2J
sym etryczne biortogonalne
4. K O M PR ESJA D A N Y C H O B R A ZO W Y C H
Zaim plem entow ano algorytm y transform aty falkowej jednow ym iarow ej po krzywej Hil- berta i klasycznej dw uw ym iarow ej za pom ocą pakietu m atem atycznego M atlab. P rzeprow a
dzono badania spraw ności kom presji dla zbioru reprezentatyw nych obrazów zdarzeń drogo
wych.
N ie podjęto prób realizacji kom pletnego algorytm u kom presji, uznając cechy zbioru otrzym anych w spółczynników z a m iarę zdolności kom presowania. Przyjęto śred n ią w ażoną entropię E zapisu w spółczynników dla przeprow adzania porów nań ilościowych. W iększa wartość entropii oznacza, że zapis w ym aga większej liczby bitów, stąd w spółczynnik kom pre
sji będzie mniejszy.
£ = ( 3 )
gdzie:
Pi - znorm alizow ana w artość w spółczynnika i-tego subpasma, s — rozm iar subpasm a.
Entropia uśredniana je st dla każdego subpasm a w spółczynników, aby uw zględnić ich różne w łasności statystyczne.
Rysunek 1 prezentuje w ybrane reprezentatyw ne klatki obrazów poddanych kompresji.
Użyto kilkaset obrazów przedstaw iających trzy grupy sytuacji drogowych:
- ruch uliczny, - ruch autostradowy, - zjazdy.
Zbadano dw ie m etody redukcji entropii zapisu transform aty obrazu przez usuwanie w spółczynników oraz przez zm niejszenie liczby różnych wartości w spółczynników . W yko
rzystano tylko operacje oparte na odcinaniu progow ym i redukcji liczby poziom ów kw anto
wania. Obie operacje łatw o realizow ane są przez mikrokontrolery.
158 W. Pamuła
R y s .l. O brazy sytuacji drogowych poddaw ane kom presji F ig .l. Road traffic test im ages
Wykonano usunięcie w spółczynników d, dla pasm o największych rozdzielczościach.
W spółczynniki te reprezentują szczegóły obrazu. Obiekty na zrekonstruowanych obrazach posiadały zam azane brzegi. D yskw alifikuje to tę m etodę w zastosow aniach rejestrow ania zda
rzeń drogowych.
N astępnie usunięto w spółczynniki, których wartości nie mieściły się w zakresie odchyle
nia standardowego od w artości średniej. Podobnie ja k w poprzedniej próbie zam azane zostały kontury obiektów, a dodatkowo odtw orzone obiekty były zniekształcone.
Przeprowadzono próby z kom binacjam i usuw ania szczegółów w różnych subpasmach i zaw ężania zakresu w artości w spółczynników , jednak żadna z prób nie przyniosła wyróżnia
jących j ą efektów redukcji entropii zapisu.
Zbadano różne sposoby kw antow ania wartości współczynników. N iew ielka liczba do
puszczalnych w artości uzyskanych przez procedury próbkow ania wym aga mniejszej liczby bitów dla rozróżnienia. Zm niejszanie liczby poziom ów kw antowania prowadzi do powstawa
nia łat na zrekonstruow anym obrazie. Zachow ane zostają kontury obiektów.
Każda redukcja lub m odyfikacja wartości współczynników prowadzi do zniekształceń w rekonstruow anych obrazach. D la ułatw ienia przeprow adzenia porównań przyjęto jako od
niesienie poziom zniekształceń wyrażany m iarą PSN R równy 30dB. Tablica 2. podsumowuje wyniki kom presow ania.
Tablica 2 W ażona entropia zapisu w spółczynników transform at obrazów zdarzeń drogowych
Sytuacja drogowa
R ekonstrukcja bezstratna PSN R = 30dB
H aar 0 (2 ,2 ) D(4,4) haar D(2,2) D(4,4)
H ilb e rt 2 -w y m H ilb e rt 2 -w y m H ilb e rt 2 -w y m H ilb e rt 2 -w y m H ilb e rt 2 -w y m H ilb e rt 2-w ym
1. u lic a lt:,i 5,34 5,21 5,30 4,71 5,29 4,54 1,82 1,85 1,66 0,77 1,75 0,96 2. ulica2liJ 5,53 5,47 5,51 5,25 5,51 5,20 2,13 2,06 2,19 1,49 2,16 1,48 3. u lic a 3 ^ 5,07 4,88 4,90 3,82 4,90 3,82 1,97 1,59 1,87 1,41 1,44 0,68 4. au tl 5,20 5,11 5,12 4,80 5,11 4,79 1,66 1,57 1,77 1,11 1,72 1,09 5. aut2 5,00 4,88 4,94 4,51 4,93 4,48 1,47 1,35 1,60 0,67 1,38 0,80 6. aut3 5,26 5,12 5,18 4,69 5,16 4,64 1,86 1,80 1,83 1,00 1,77 0,96 7. zjazd 1 5,30 5,16 5,34 4,87 5,34 4,84 1,93 1,80 1,77 1,17 1,78 1,12 8. zjazd2 5,48 5,35 5,48 5,00 5,47 4,96 1,93 2,00 1,93 1,12 1,92 1,23 9. zjazd3 5,16 5,05 5,19 4,76 5,19 4,72 1,63 1,72 1,60 1,05 1,60 1,03 wartości średnie 5,26 5,14 5,22 4,71 5,21 4,67 1,82 1,75 1,8 1,09 1,72 1,04
W przypadku bezstratnej rekonstrukcji dw uwym iarowe transform aty m ają średnio o 2- 12% m niejszą entropię zapisu od poprow adzonych po krzywej Hilberta. Wyniki bardzo zależą od zawartości obrazu, transform ata D (4,4) daje najkrótszy zapis.
W łasności transform aty falkowej dla kom presji danych z w ideorejestratora 159
R ekonstrukcje o gorszej jakości, chociaż oceniane przez użytkownika jako bardzo dobre, m ają entropię zapisu transform aty około 4-krotnie m niejszą i przew aga dwuwymiarowej transformaty w zrasta w podobnym stopniu, szczególnie dla obrazów o niewielkiej liczbie obiektów.
O bliczanie transform aty po krzywej wypełniającej przestrzeń daje dw ukrotnie m niejsze rozrzuty w artości w porów naniu z dw uw ym iarow ą transform atą. D ośw iadczenia z redukcją liczby poziom ów kw antow ania w skazują na kolejną zaletę wektorowej m etody liczenia trans
formaty. Gdy liczba poziom ów kw antow ania w spółczynników m aleje, odtw arzane obrazy na podstawie transform aty dw uw ym iarow ej zaw ierają rozm yte obiekty, a w przypadku je d n o wymiarowej transform aty obiekty są aproksym ow ane prostokątami.
K olejne klatki na rysunku 2 przedstaw iają zrekonstruow ane obrazy o malejącej jakości od 24 dB do 12 dB co 3dB PSN R. G órny w iersz zaw iera obrazy zrekonstruow ane na podstaw ie transform aty dw uw ym iarow ej.
Rys.2. Pogorszenie ja k o ści rekonstruow anych obrazów w funkcji zm niejszającej się liczby poziom ów kw antow ania w artości w spółczynników transform aty
Fig.2. D eterioration o f im age quality w ith the low ering o f the num ber o f quantization levels o f transform coefficients
5. W Y M A G A NIA O BLICZEN IO W E
Sprzętowa, z użyciem m ikrokontrolerów , im plem entacja obliczeń transform at w ymaga optymalizacji sposobu w yliczania i liczby operacji. W m iejsce m nożeń, dzieleń i liczb zm ien
noprzecinkow ych należy zastosow ać przesunięcia, sum ow ania i liczby całkowite.
W przypadku kw adratow ego obrazu o rozm iarze 2" ■ 2" pikseli dla każdego subpasm a jednowym iarow ej transform aty liczba w spółczynników m aleje dw ukrotnie. Liczba operacji
wymaganych do w yliczenia w szystkich w spółczynników wynosi:
N v = p p < = p . 2 > " ( l Ą + ... + ^ ) (4)
N v a p - 2 2"*' (5)
p - liczba operacji arytm etyczno-logicznych dla w yliczenia w spółczynnika, 2n - liczba subpasm .
160 W. Pamuła
W przypadku dw uw ym iarow ej transform aty dane obrazow e przetw arzane s ą wierszami, a następnie kolum nam i. U zyskuje się ciąg ćwiartek, które podlegają przeliczaniu. W sumie liczba operacji wynosi:
Pr, Pc, p - liczba operacji arytm etyczno-logicznych dla wyliczenia współczynnika, n - liczba subpasm.
6. W NIOSKI
Przedstaw ione w yniki badań św iadczą o korzystnym dla zw iększenia stopnia kompresji zastosow aniu obliczania transform aty falkowej po krzywej wypełniającej przestrzeń w porów naniu do tradycyjnej dwuw ym iarow ej transform aty falkowej.
W spółczynniki obliczone po krzywej zachow ują kontury obiektów. Obliczenie transfor
m aty całego obrazu w ym aga 1/3 mniej operacji, co je st cenną cechą w przypadku realizacji kom presji w czasie rzeczyw istym za p om ocą mikrokontrolera.
M ożna sądzić, że uzupełnienie algorytm u obliczania transform aty jednowymiarowej o kodow anie słow nikow e, uzyskanych współczynników, pozw oli dodatkow o zwiększyć sto
pień kom presji. W artości punktów obrazu klasy „zdarzenia drogow e” przetw arzane w trybie otoczenie po otoczeniu pow inny zostać odw zorow ane przez niew ielką liczbę zm iennych re
prezentujących skupiska pikseli o różnych cechach odpowiadających obiektom na obrazie, w w iększości przypadków pojazdom.
1. Calderbank A. R., D aubechies I., Sweldens W., Yeo B. -L.:W avelet Transform s that M ap Integers to Integers. Technical Report. D epartm ent o f M athem atics, Princeton Uni
versity 1996.
2. Salom on R.: D ata C om pression. The C om plete Reference. 2nd Edition. Springer- Verlag, Berlin, H eidelberg, N ew York 2000.
3. Skarbek W.: M etody reprezentacji obrazów cyfrowych. A kadem icka Oficyna Wydaw
nicza PLJ, W arszawa 1993.
4. D aubechies I., Sw eldens W.: Factoring w avelet transform s into lifting steps. Technical Report. B ell Laboratories, Lucent Technologies 1996.
5. R eference traffic im age sequences, w w w .n-nnagel.de.
6. Daubechies I., Sw eldens W.: Factoring w avelet transform s into lifting steps. Technical Report. B ell Laboratories, Lucent Technologies 1996.
7. Watkins C.D., Sadun A., M arenka S.: M odem Image Processing. A cadem ic Press Inc.
(
6)
(7)
L ite ra tu r a
1993.
W łasności transform aty falkow ej dla kom presji danych z w ideorejestratora . 161
8. Peitgen H. -O., Jurgens H., Saupe D.: Fractals for the Classroom . Part 1. Introduction to Fractals and Chaos. Springer-Verlag, Berlin, Heidelberg, N ew York 1992.
9. JPEG 2000 standard IE C 15444.
Recenzent: D r hab. inż. D ariusz.B adura, prof. US
Abstract
A n algorithm is proposed to incorporate H ilbert scan o f im age data and a w avelet trans
form, factorized into lifting steps, to process video traffic data, w hich is suitable for on site m icrocontroler im plem entation. Scanning an im age, in space filling curve order, brings to
gether pixels that are highly correlated. This scan - a vector o f the image, represents clustered pixels, w hich m ay be m ore effectively transform ed. A pplying a 1-dim ensional w avelet trans
form requires a sm aller n u m b er o f processing steps.
Presented research results show that w avelet transform s on space filling curves offer an advantage over traditional tw o dim ensional w avelet com putations. H igh com pression ratios in the case o f hilbert scan preserves object boundaries.
Vector scan attains low er dispersion o f coefficient values for a given class o f im ages and 1/3 less num ber o f com puting operations.
No coding o f the results w as carried out. Coding m ay reveal further advantages as H ilbert scan tends to cluster spacially correlated pixels and thus their transform coefficients. These clusters m ay constitute tem plate code entries in som e dictionary based coder.
