Integracja danych teledetekcyjnych pochodzących z różnych sensorów - propozycja kompleksowej oceny scalonych obrazów
The integration of remote sensing data acquired with various sensors – a proposal of merged image assessment.
Tomasz Pirowski
Akademia Górniczo-Hutnicza w Krakowie Wydział Geodezji Górniczej i Inżynierii Środowiska
Zakład Fotogrametrii i Informatyki Teledetekcyjnej
Abstrakt: Artykuł przedstawia propozycję kompleksowej oceny obrazów syntetycznych
otrzymywanych różnymi metodami na drodze integracji danych wielospektralnych i panchromatycznych. W pierwszej części dokonano przeglądu stosowanych dotychczas rozwiązań formalnych, graficznych i wizualnych.
Zestawienie to uzupełniono o odpowiednie odwołania literaturowe, a formuły matematyczne zostały opracowane w ujednoliconej formie.
Wśród metod formalnych wskazano najbardziej przydatne wskaźniki statystyczne, w tym wskaźniki syntetyczne, który w ogólny sposób charakteryzują zestaw scalonych obrazów. Na ich podstawie sformułowano metodę tzw. „diagramu wyników”, która pozwala na równoczesną analizę zmienności i współzależności dwóch parametrów, a to uczytelnienia informacji (AIL) i zniekształcenia tematycznego (nQ).
Zaproponowano metodę wizualną opartą o odrębną punktację walorów przestrzennych i spektralnych, co zapewniło relatywnie dużą obiektywność oceniania. Efektem końcowym jest macierzowe pogrupowanie obrazów wg ich podobieństwa i przydatności do fotointerpretacji.
W obu podejściach - formalnym i wizualnym – uzyskano możliwość uniwersalnej selekcji scalonych obrazów do zbioru rozwiązań najlepszych. W części końcowej podjęto dyskusję na temat stopnia zgodności oceny formalnej i wizualnej.
Abstract: The article presents an attempt to assess merged images obtained with the use of different methods of integrating multispectral and panchromatic data. The first part of the article is a review of current formal, graphic and visual assessment approaches. The bibliography on the above methods has been listed and the symbols used in mathematic formulas have been unified.
In the formal methods there have been appointed the most useful statistic indices. Among these there are synthetic indices to characterise a given set of merged images. The diagram of results method is based on the above indices. It analyses simultaneously changes and correlations between two parameters. All this helps with the interpretability of information (AIL) and thematic distortion (nQ).
A visual method based on different valuation of spatial and spectral properties was proposed. It assured relatively objective assessment. The final result is the grouping of images according to their concordance and usefulness in photo interpretation.
In both, formal and visual approaches there has been established a universal ability to select the merged images in order to choose the most useful merging method for a particular task. An attempt to compare the level of concordance between formal and visual assessment is shown in the last part of the article.
1. Wstęp
Od początku pozyskiwania teledetekcyjnych danych z pułapu satelitarnego występuje różnica w terenowej rozdzielczości przestrzennej obrazów rejestrowanych w trybie wielospektralnym i panchromatycznym a mianowicie: rozdzielczość przestrzenna kanału panchromatycznego jest wielokrotnie wyższa niż kanałów spektralnych. Wynika to z bariery technologiczno-konstrukcyjnej będącej konsekwencją samej natury zdalnej rejestracji odbitego promieniowania. Konstruowane sensory - kosztem poszerzenia zakresu długości fal rejestrowanego promieniowania elektromagnetycznego - podwyższają zdolność przestrzenną generowanego obrazu. I odwrotnie: zawężenie pozyskiwanego sygnału do wąskiego pasma promieniowania jest możliwe do osiągnięcia tylko kosztem rezygnacji
z wysokich rozdzielczości. Wynika to z faktu, że wymiar terenowy chwilowego pola widzenia (IFOV), reprezentowany na obrazie cyfrowym przez pojedynczy piksel, musi być na tyle duży, aby zapewnić wymagany poziom luminacji rejestrowanej przez sensor przy wymaganym minimalnym stosunku sygnału do szumu (Mróz, 2001).
Pogodzenie dwóch postulatów, a to: wysokiej rozdzielczości przestrzennej oraz wysokiej rozdzielczości spektralnej obrazów teledetekcyjnych prowadzi do konstruowania platform satelitarnych, z których równocześnie, bądź zamiennie rejestruje się oba typy obrazów: wielospektralne o niższej oraz panchromatyczne o wyższej rozdzielczości. Pomimo wciąż zmieniających się przestrzennych i spektralnych możliwości pozyskiwania danych proporcja tych dwóch rodzajów zobrazowań utrzymuje się w granicach od około 2:1 do 5:1 na korzyść obrazów panchromatycznych (rys. 1). Dotyczy to zarówno rejestracji sensorów z satelitów starszej generacji (np. systemy SPOT i LANDSAT z lat 80- tych), jak i obecnych (np. LANDSAT 7, SPOT 5, IRS) w tym satelitów nowej generacji (IKONOS, QUICKBIRD).
Z tego powodu już u progu rozwoju teledetekcji satelitarnej powstała idea integracji obrazów rejestrowanych za pomocą sensorów o wysokiej rozdzielczości spektralnej i relatywnie niskiej rozdzielczości przestrzennej z obrazami panchromatycznymi o wielokrotnie wyższej rozdzielczości przestrzennej. W literaturze techniki realizujące to zadanie noszą nazwę fuzji, integracji czy scalania (ang. merging, image data fusion, band sharpening), a proces ten odbywa się na poziomie piksela.
Oznacza to łączenie na niskim poziomie przetwarzania – w odniesieniu do zmierzonych parametrów fizycznych. Obrazy wejściowe poddawane są wstępnemu przetwarzaniu, a produktem jest syntetyczny obraz, na którym jest prowadzona dalsza analiza informacji. Wyższe poziomy integracji – decyzyjny bądź obiektowy - są zazwyczaj wykorzystywane przy łączeniu innych zestawów danych (nie tylko obrazowych) np. obrazów multitemporalnych czy symultanicznych obrazów wielospektralnych zarejestrowanych z różnych platform satelitarnych (Pohl i Genderen, 1998; Pirowski 2004).
EROS
NOAA
MSS
TM XS
IRS
IKONOS IRS
XP
IKONOS
1 km 80 m 30 m 25 m 5 m 10 m 20 m 4 m 2 m
1960 1970 1980 1990 2000 rok
RBV JERS
QuickBird
QuickBird
1 m
EROS EROS
NOAA NOAA
MSS MSS
TM TM
XS XS
IRS LISS
IKONOS IKONOS IRS
1C,1D XP
XP
IKONOS IKONOS
rozdzielczość przestrzenna
1 km 80 m 30 m 25 m 5 m 10 m 20 m 4 m 2 m
1960 1970 1980 1990 2000 rok
JERS RBV JERS
RBV
QuickBird QUICKBIRD
QuickBird QUICKBIRD
1 m
LANDSAT
SPOT
IRS
Rys. 1. Rozdzielczość przestrzenna wybranych multispektralnych i panchromatycznych danych satelitarnych. Spatial resolution of the chosen multispectral and panchromatic satellite data.
Łączenie informacji obrazowej należy rozpatrywać w wielu aspektach. Dlatego dla wyboru optymalnej technologii, prowadzącej do maksymalnego zwiększenia wzrostu informacji, należy odpowiedzieć na kilka istotnych pytań (Pohl i Genderen, 1998):
- jaki jest cel stawiany przez użytkownika, do czego mają być wykorzystane obrazy?
- jakie typy danych lub ich kombinacja będą optymalne dla rozwiązania określonego zagadnienia?
- jaki jest najlepszy poziom i algorytm połączenia informacji z posiadanych danych?
- jaki jest niezbędny zakres wstępnego przetworzenia danych?
Najważniejsza jest odpowiedź na pierwsze ze stawianych pytań. Determinuje ona bowiem wybór danych dla rozwiązania zagadnienia, a te – w powiązaniu z określonym kryterium oceny końcowego produktu – wpływają na wybór poziomu, a następnie algorytmu łączenia danych.
W większości przypadków zarówno wybór techniki łączenia danych, jak i ustalenie kryteriów oceny końcowego produktu wymagają testowania.
W niniejszej publikacji właśnie temu ostatniemu zagadnieniu poświęcono szczególną uwagę, przedstawiając propozycję kompleksowej oceny obrazów uzyskiwanych w procesie łączenia danych na poziomie piksela. Bo chociaż do dnia dzisiejszego opracowano szereg zaawansowanych algorytmów integracji danych teledetekcyjnych, to jednak nie wszystkie spełniają naczelny postulat, w myśl którego zabieg scalania nie powinien redukować ani zanadto zniekształcać informacji spektralnej (Mularz, 2001). Zatem opracowanie kompleksowej, a zarazem jak najbardziej uniwersalnej metody oceny jest niezwykle przydatne dla kontroli otrzymywanych syntetycznych obrazów, a przez to umożliwia wybór optymalnej techniki integracji danych dla konkretnego zagadnienia.
2. Metody oceny wyników integracji – state of the art
Ocena jakości syntetycznych obrazów spektralnych opiera się o zgodne założenie, że spektralne zniekształcenie obrazu po integracji powinno być możliwie niskie przy maksymalnym możliwym wprowadzeniu informacji przestrzennej (Chavez i in., 1991; Munechika, 1993; Wald i in., 1997). Próby porównywania jakości syntetycznych produktów podejmowane były przez różnych autorów. Literaturowy przegląd pozwala wydzielić trzy główne grupy ocen: wizualne, graficzne i formalne.
2.1. Metody wizualne
Opierają się na wizualnej fotointerpretacji produktów lub półproduktów procedur scalania danych. Były pierwszymi wykorzystywanymi do oceny integracji danych (Chavez, 1986, Hallada i Cox, 1983). Kompozycje barwne – oparte o obrazy syntetyczne i oryginalne – są ze sobą nawzajem porównywane. Ocena walorów tematycznych (zachowania wejściowej informacji spektralnej) oraz
stopnia czytelności szczegółów przebiega jednocześnie, a wyniki są komentowane w sposób opisowy.
W niektórych przypadkach – gdy celem scalania jest wyłącznie wzmocnienie walorów fotointerpretacynych - jest to jedyne zastosowane kryterium akceptacji wyników (Welch i Ehlers, 1987). Niekiedy autorzy oceniają lub kontrolują wizualnie półprodukty scalania np. obrazy jasności procedur transformacji PCA (analiza składowych głównych) lub IHS (przestrzeń kolorów jasność- odcień-nasycenie) lub obrazy różnic (Chavez i in., 1991). Najczęściej waloryzacja wizualna jest używana jako jeden z elementów oceny obok używanego innego aparatu pomiarowego np.
graficznego i/lub formalnego (Chavez i in., 1991; Cliché i in. 1985; Hill i in., 1999; Mróz, 2001;
Raptis i in., 1998; Rigol i Chica-Olmo, 1998; Steinnocher, 1999; Aiazzi i in., 1999; Ranchin i Wald, 2000, Terretez, 1997; Vaughan i Oune., 1998).
Pojawiają się próby sformalizowania oceny wizualnej, głównie ze względu na rosnącą ilość porównywanych ze sobą obrazów oraz dywersyfikację kryterium oceny (zachowanie oryginalnej informacji tematycznej przestaje być jedynym kryterium). Np. oceny wizualne oparte o punktacje kompozycji barwnych w kontekście uzyskania użyteczności dla konkretnego celu prezentują Mularz i in. (2000a, 2000b). Garguet-Duport i in. (1996) oceniają użyteczność odrębnie dla wybranych kategorii terenu. Pellemans i in. (1993) wykonują waloryzacje w oparciu o zespół niezależnie oceniających doświadczonych fotointerpretatorów, a wynikiem końcowym są średnie z przyznanych punktów.
Vrabel (1996) proponuje wizualną metodę określania „efektywnej rozdzielczości terenowej”
piksela obrazu scalonego. Wykorzystuje logarytmiczną zależność pomiędzy wielkością terenową piksela, a oceną użyteczności obrazu (NEL/IAD, 1994). W oparciu o uzyskane wyniki formułuje ogólne zasady obliczeń wymagające jedynie podania wejściowych rozdzielczości obrazów scalanych.
Temat ten został rozwinięty w rozdziale 2.3.
2.2. Metody graficzne
Należą do nich różnorodne porównania graficzne wykonywane w oparciu o parametry i dane uzyskane z obrazów syntetycznych. Do takich analiz należą np.: krzywe spektralne, profile spektralne, porównanie histogramów gęstości optycznej obrazów, analiza na wykresach zmian wartości parametrów statystycznych.
Krzywe spektralne wykreślane są w oparciu o wskazane niewielkie obszary reprezentujące wybrane rodzaje pokrycia terenu. Próbka odpowiedzi spektralnych dla danego obiektu jest uśredniana.
Porównanie oryginalnych krzywych z uzyskanymi na obrazach scalonych stanowi podstawę do określenia stopnia zniekształcenia informacji spektralnej na poszczególnych typach użytkowania (Chavez i in., 1991; Zhang, 1999; Garguet-Duport i in., 1996).
Zhang (1999) proponuje wykonywać profile spektralne poprzez wybrane fragmenty sceny.
Obrazy scalone pozbawione znaczących zniekształceń posiadają profile o większych amplitudach i
lokalnych skokach wartości jasności w stosunku do kształtu oryginalnego, ale nie są to zmiany istotne.
Duże różnice przebiegu krzywych w stosunku do oryginałów wskazują na wysokie zniekształcenie spektralne obrazów.
Analiza kształtu histogramu obrazu pozwala wstępnie ocenić skalę zmian częstości występowania jasności pikseli na obrazie. Jest graficzną metodą określenia zachowania średniej jasności spektralnej sceny i wariancji danych na obrazie (Carper i in., 1990; Hill i in. 1999; Mróz, 2001; Garguet-Duport i in., 1996). Rezultaty liczbowe można otrzymać stosując podejścia formalne.
W metodach, gdzie poprzez zmianę parametrów (np. wag, wielkości okna filtracji) można otrzymać zestaw różnej jakości obrazów syntetycznych, zachodzi w pewnych przypadkach potrzeba śledzenia zmian parametrów formalnych w postaci graficznych wykresów lub zestawień. Taka prezentacja wyników, szczególnie pomiędzy duża ilością danych, ułatwia wzajemne porównania, poszukiwanie współzależności czy określenie granicznych parametrów dla użyteczności obrazów.
Przykładem tego typu zestawień są prace Béthune i in. (1997, 1998).
2.3. Metody formalne
Poprzez obliczenie parametrów statystycznych otrzymuje się formalną charakterystykę informacji zawartej na obrazie. Zaproponowano szereg narzędzi do oceny jakości scalanych danych pod względem walorów spektralnych i przestrzennych. Opierają się one o analizę pojedynczych obrazów syntetycznych w relacji do oryginalnych wyciągów spektralnych i obrazu panchromatycznego.
Dokonywane są próby ustalenia metodologii oceny spektralnej wyników scalania (Wald i in., 1997; Wald, 2000) oraz opracowania syntetycznej oceny działania metody (Munechika i in., 1993;
Ranchin i Wald, 2000; Wald, 2000; Mularz i in., 2000a, 2000b). Celem jest uzyskanie jednego parametru, którego działanie byłoby uniwersalne dla różnych zestawów scalanych danych (niezależne np. od ilości obrazów, rozdzielczości, kalibracji sensora), a przy tym proste do interpretacji i oceny jakości spektralnej scalonego zestawu danych.
2.3.1. Parametry wykorzystywane do oceny zniekształcenia spektralnego
Analiza formalna zniekształcenia spektralnego pojedynczych obrazów bazuje na operowaniu na wartościach jasności pikseli (WJP). Stosuje się trzy generalne rozwiązania:
- obliczanie wprost zależności pomiędzy obrazami scalonymi a oryginalnymi
(np. korelacje, różnice, średni błąd kwadratowy pomiędzy jasnością odpowiadających sobie pikseli porównywanych obrazów itd.);
- odrębne opracowanie charakterystyki obrazu scalonego i oryginalnego, a następnie porównanie zgodności ich parametrów (np. entropia obrazu, wariancja, średnia jasność sceny itd.);
- utworzenie obrazu różnic pomiędzy zarejestrowanym obrazem oryginalnym i utworzonym z niego obrazem syntetycznym, a następnie opracowanie jego charakterystyki (np. średnia jasność, wariancja, ilość pikseli równa zero itd.).
Poniżej zestawiono używane miary parametryczne wraz z krótkimi komentarzami i odwołaniami literaturowymi.
a) współczynnik korelacji (r) pomiędzy obrazem oryginalnym (MS) a scalonym (F)
∑ ∑ [[MS(x, y, b) – MS m n sr(b))] * [F (x, y, b)] – Fsr(b)]]
rMSF (b) = (1)
[∑ ∑ [MS(x, y, b) – MSsr(b)]2 * ∑ ∑ [F (x, y, b)] – Fsr(b)]2]1/2
i j
m n m n i j i j
MSsr(b) = ∑ ∑ MS(x, y, b) / [n*m] (2)
n m
x=1 y= 1
Fsr(b) = ∑ ∑ F(x, y, b) / [n*m] (3)
n m
x=1 y= 1
Gdzie: MS (x, y, b) – obraz spektralny w rozdzielczości obrazu panchromatycznego, zmultiplikowane piksele;
F (x, y, b) – syntetyczny obraz spektralny po fuzji;
Fsr(b), MSsr(b) – średnia wartość jasności pikseli na obrazie;
b – identyfikacja kanału spektralnego;
n, m – ilość kolumn i wierszy obrazu o rozdzielczości przestrzennej równej obrazowi panchromatycznemu.
Jest to najpopularniejszy i jeden z pierwszych używanych parametrów (Carper i in., 1990;
Shettigara, 1992; Prinz i in., 1997; Terratez, 1997; Béthune i in., 1997; Rigol i Chica-Olmo, 1998;
Raptis i in., 1998; Bretschneider i Kao, 2000; Mularz, 2001). Wielkość (r) wskazuje na siłę związku informacji zawartych na nowym obrazie ze swoim oryginałem. Idealna wartość wynosi r=1 (nie dochodzi do utraty informacji spektralnej na scalonym obrazie). Wadą parametru jest brak kontroli nad średnią jasnością sceny obrazu - występujące różnice pomiędzy średnią jasnością obrazu scalonego a oryginału nie wpływają na wartość (r).
b) różnica średniej jasności scen porównywanych obrazów
RJ (b) = Fsr(b) - MSsr(b) (4)
c) średnia bezwzględna różnica jasności odpowiadających sobie pikseli porównywanych obrazów (Garguet-Duport, 1996; Zhou i in., 1998):
RJB (b) = ∑ ∑ | F(x, y, b) – MS(x, y, b) | / [n * m] (5)
d) relatywna średnia różnica jasności odpowiadających sobie pikseli na porównywanych obrazach – tzw. Deviation Index - DI (Béthune i in., 1997, 1998):
DI (b) = ∑ ∑ [ | F(x, y, b) – MS(x, y, b) | / MS(x, y, b)] / [n * m] (6)
n m
x=1 y=1
n m
e) różnica wariancji obrazów (Shettigara, 1992; Garguet-Duport, 1996):
RW (b) = | ∑ ∑ [F(x,y,b)–Fsr(b)]2/[n*m]- ∑ ∑ [MS(x,y,b)–MSsr(b)]2 /[n*m] | (7)
x=1 y=1
n m n m x=1 y=1 x=1 y=1
f) średni błąd kwadratowy RMS jasności pikseli obrazu po fuzji w stosunku do odpowiadającym im jasności pikseli oryginalnych (Munechika i in., 1993):
RMS (b) = [ ∑ ∑ [ F(x, y, b) – MS(x, y, b) ]2 / [n * m] ]1/2 (8)
n m x=1 y=1
h) entropia obrazu (Liao i in., 1998; Béthune i in., 1997):
E (b) = - ∑ P ( i ) * log2 P (i) (9)
w i=1
Gdzie: P ( i ) – prawdopodobieństwo wystąpienia na obrazie piksela o jasności na poziomie i.
Często wykorzystuje się tzw. obraz różnic powstały w wyniku odejmowania od siebie WJP obrazu syntetycznego i obrazu oryginalnego (10). Na takim obrazie oblicza się średnią jasność (11) i odchylenie standardowe (12). Następnie, w oparciu o te wartości, oblicza się RMS dla obrazu syntetycznego (13).
OR (x, y, b) = F(x, y, b) – MS (x, y, b) (10)
g) średnia jasność obrazu różnic - alternatywa droga obliczenia RJ (b) ze wzoru (4):
ORsr(b) = ∑ ∑ OR (x, y, b) / [n*m] (11)
n m x=1 y=1
h) odchylenie standardowe:
δ OR (b) = [ ∑ ∑ [ OR (x, y, b) – ORsr(b) > ]2 / [n * m] ]1/2 (12)
n m x=1 y=1
Wtedy wzór (8) można zastąpić:
RMS (b) = [ ORsr(b)2 + δ OR(b)2 ]1/2 (13)
Operowanie obrazami różnic jest najczęściej spotykaną metodą pomiarową w procesie integracji. Standardowo używanym parametrem jest RMS oraz ilość pikseli równych 0 (lub zbliżonych do 0, przyjmuje się pewien próg) wyrażona w procentach wszystkich pikseli obrazu.
Ta wielkość jest liczbą pikseli na nowym obrazie syntetycznym, która nie uległa w ogóle zmianie spektralnej (dla przyjętego progu 0) lub uległa zmianie uznanej za nieistotną (jeśli przyjmuje się próg większy od 0).
Niekiedy dla uniezależnienia się od jednostek i współczynników kalibracji sensora podaje się obliczone parametry średniej różnicy jasności obrazu RJ(b) (14) oraz RMS(b) (15) w postaci względnej tj. obliczonej w stosunku do średniej jasności sceny oryginalnej (Ranchin i Wald, 1997;
Raptis i in., 1998; Wald i in., 2000):
ORsr% (b) = RJ% (b) = 100 * ORsr(b) / MSsr(b) (14)
RMS%(b) = 100 * RMS (b) / MSsr(b) (15)
Podejście prowadzące do uporządkowanej oceny jakości procedur scalania danych przedstawiają Wald i in. (1997), Ranchin i Wald (2000), Wald (2000). Proponują zastosować do oceny następujące wytyczne:
- obraz syntetyczny, ponownie zdegradowany do oryginalnej rozdzielczości, powinien być możliwie identyczny z oryginalnym;
- obraz syntetyczny powinien być możliwie identyczny z obrazem, jaki dostarczałby odpowiadający mu sensor o rozdzielczości równej syntetycznemu obrazowi;
- wielospektralny, syntetyczny zestaw zobrazowań powinien być możliwie identyczny z zestawem obrazów wielospektalnych, które dostarczałby odpowiadający im sensor skanujący w rozdzielczości równej syntetycznym obrazom.
Realizację pierwszych dwóch wytycznych autorzy prowadzą za pomocą klasycznych rozwiązań (10), (14), (15) (o ile dla drugiej wytycznej dysponuje się odpowiednimi danymi). Trzecie rozwiązanie wymaga opracowania metody, która pozwali ocenić łącznie nie jeden kanał, ale ich zestaw. Wald (2000) dowodzi o potrzebie przyjęcia jednej wartości opisującej syntetycznie jakość scalonych obrazów, gdyż analiza szeregu otrzymywanych parametrów z pojedynczych kanałów jest
nieefektywna i trudna do uogólnienia dla przeciętnego użytkownika. Wald zakłada, że nowa miara powinna spełniać trzy wymagania:
- niezależności od jednostek i współczynników kalibracji instrumentu sensora;
- niezależności od ilości kanałów spektralnych (warunek konieczny żeby porównać obrazy syntetyczne otrzymane z różnych sensorów, o różnej liczbie kanałów);
- niezależności od krotności wzrostu rozdzielczości przestrzennej (stosunku rozdzielczości obrazu panchromatycznego do rozdzielczości obrazu spektralnego).
Próbę skonstruowania tego typu jednostki podjął wcześniej Munechika (1993). Podał wzór na obliczanie tzw. błędu całkowitego metody (Total Error) sumując z wszystkich kanałów błędy kwadratowe odchyłek pomiędzy obrazem po fuzji a oryginałem:
TE (k) =
Σ
RMS (b) (16)k b=1
Ten wzór nie spełnia żadnego z postawionych warunków, a szczególnie pierwszego. Ranchin i Wald (2000) przedstawili parametr RASE (Relative Average Spactral Error) określający średni względny błąd spektralny dla dowolnej ilości kanałów:
RASE% = 100 / Msr(b) * [ 1/k
Σ
RMS (b)2]1/2 (17)k
b=1
Msr (k) = 1 / k ∑ MSsr(b) (18)
k b=1
Gdzie: Msr (k) – średnia jasność sceny dla k obrazów.
RASE jest wyrażone w [%] i charakteryzuje średnie wyniki uzyskiwane daną metodą. Spełnia warunek pierwszy i drugi. Takie podejście zastosowali m.in. Mularz i in. (2000a). Wald (2000) rozwija to rozwiązanie do tzw. new Quantity spełniającego wszystkie trzy warunki:
nQoryg% = 100 * Pr / MSr * [ 1/k
Σ
RMS (b)2 / MSsr(b)2 ]1/2 (19)k
b=1
Gdzie: Pr, MSr – rozdzielczość łączonych zobrazowań.
2.3.2. Parametry wykorzystywane do oceny wzmocnienia przestrzennego
W przeciwieństwie do szeregu parametrów określających zniekształcenie spektralne, funkcjonuje bardzo ograniczona ilość formalnych propozycji pomiaru wzmocnienia przestrzennego scalonych obrazów. Zhou i in. (1998) wręcz twierdzą, że „nie znaleźli w dostępnej im literaturze metod szacowania jakości przestrzennej, poza metodami wizualnymi”. Powyższe zastrzeżenie autorów pada pomimo tego, że funkcjonuje od dawna w literaturze współczynnik korelacji (r) jako miara
zgodności obrazu panchromatycznego z obrazem scalonym (20) (Carper i in., 1990; Chavez i in., 1991; Terratez, 1997; Prinz i in., 1997; Bretschneider i Kao, 2000; Vaughan i Oune, 1998; Rigol i Chica-Olmo, 1998; Wiemker i in., 1998). Jest on interpretowany jako wskaźnik zakresu wprowadzenia informacji przestrzennej do obrazu spektralnego. Im wyższy współczynnik (r), tym większa ilość informacji przestrzennej znajduje się na obrazie. Wadą tego podejścia jest fakt, że na wartość parametru wpływa nie tylko zgodność informacji przestrzennej, lecz również zgodność informacji tematycznej.
∑ ∑ [[P(x, y) – Psr)] * [F (x, y, b)] – Fsr(b)]]
m n
rPF (b) = (20)
[∑ ∑ [P(x, y) – Psr]2 * ∑ ∑ [F (x, y, b)] – Fsr(b)]2]1/2
Psr = ∑ ∑ P(x, y) / [n*m] (21)
Gdzie: Psr – średnia wartość jasności pikseli na obrazie PAN.
Było by
Wady tej unikają Zhou i in. (1998) stosując filtrację górnoprzepustową w oknie 3x3 na obu obrazach: panchromatycznym i syntetycznym. Dopiero przefiltrowane dane są ze sobą korelowane. W metodzie tej czyni się założenie, że filtracja górnoprzepustowa pozbawia obrazy informacji tematycznej a pozostawia przestrzenną. Innymi słowy, dane przestrzenne unikalne dla obrazu panchromatycznego są skoncentrowane w wysokich częstotliwościach. Zhou i in. wykorzystują do przetwarzania laplasjan zdefiniowany za pomocą maski 3x3 (22).
-1 -1 -1
HPF3x3(i, j) = -1 +8 -1 (22)
-1 -1 -1
i j m n m n
i j i j
x=1 y= 1 n m
Taka filtracja ma bezkierunkowy charakter i jej wynikiem jest wykrycie i podkreślanie na obrazie wszystkich krawędzi i konturów obiektów niezależnie od kierunków ich przebiegu (Tadeusiewicz i Korohoda, 1997). Krawędzie - pozbawione walorów spektralnych – są porównywane ze sobą poprzez określenie wzajemnej ich korelacji (rHP3) (23) (24) (25). Im wyższa jest wartość bezwzględna (r), tym więcej informacji przestrzennej ze zobrazowania panchromatycznego zostało
„załadowane” do kanałów spektralnych. Współczynnik ten wykorzystali w badaniach m.in. Li J.
(2000) oraz Bretschneider i Kao (2000). Wzory (24) i (25) są przykładem konwolucji (splotem funkcji) dyskretnej. Wzór (23) dla obliczenia (r) przyjmuje uproszczoną formę w stosunku do (20), ponieważ obrazy po filtracji górnoprzepustowej posiadają średnią WJP równą zero.
m n
∑ ∑ [PHP3x3(x, y) * FHP3x3(x, y, b)]
rHPF3x3 (b) = i j (23) [∑ ∑ PHP m n m n 3x3(x, y)2 * ∑ ∑ FHP3x3(x, y, b)2]1/2
i j i j
PHP3x3(x,y) = ∑ ∑ P (x + i, y + j) * HPF3x3(i, j) (24)
1 1
i=-1 j=-1
FHP3x3(x,y,b) = ∑ ∑ F (x + i, y + j, b) * HPF3x3(i, j) (25)
1 1
i=-1 j=-1
Gdzie: PHP3x3(x, y) – wynik filtracji górnoprzepustowej obrazu panchromatycznego w oknie 3x3;
FHP3x3(x,y,b) – wynik filtracji górnoprzepustowej syntetycznego obrazu spektralnego w oknie 3x3;
Vrabel (1996, 2000) proponuje metodę określania jakości przestrzennej zobrazowań łączącą rozwiązania analityczne z fotointerpretacją. Podstawą metody jest określanie efektywnej rozdzielczości terenowej piksela obrazu scalonego poprzez punktację w skali 0-100 (0 - obraz po integracji jest tak samo użyteczny jak przed, 100 – obraz po integracji jest użyteczny tak jak hipotetyczny prawdziwy obraz w podwyższonej rozdzielczości). Następnie przeprowadzane jest oszacowanie z wykorzystaniem opracowanej przez NEL/IAD (1994) zależności pomiędzy jakością obrazu a terenową wielkością piksela:
Fre = MSr * ( MSr / Pr )u/100 (26)
Gdzie: MSr – terenowa rozdzielczość piksela obrazu spektralnego;
Pr – terenowa rozdzielczość piksela obrazu PAN;
Fre – efektywna terenowa rozdzielczość piksela obrazu po integracji;
u – „użyteczność” obrazu scalonego oceniana wizualnie w skali 0-100;
Vrabel przeprowadził testy na wielu różnych kombinacjach danych. Punktację walorów przeprowadzał zespół doświadczonych fotointerpretatorów, a wzajemna zgodność ich ocen była analizowana metodami statystycznymi. W oparciu o uzyskane wyniki Vrabel podał wzory (27) i - wg niego dokładniejszy - (28) opracowane dla kombinacji danych o wielkości pikseli w granicach 5 m – 30 m. Formuły pozwalają określić w przybliżeniu wartość Fre bez uciekania się do żmudnej procedury oceny wizualnej:
Fre1 = MSr –0,94 * ( MSr - Pr ) (27)
Fre2 = 1,103 * Pr – 0.004 * Pr2 + 0,001 * MSr2 + 0,37 (28)
Nie znaleziono w literaturze prób opracowania syntetycznego parametru określania wzmocnienia informacji przestrzennej na zestawie zobrazowań, który pozwalałby - w analogiczny sposób jak wskaźniki TE (16), RASE (17) czy nQ (19) dla informacji spektralnej - scharakteryzować w uogólniony sposób przeciętne uczytelnienie uzyskiwane daną metodą.
3. Propozycja kompleksowej oceny obrazów scalonych
Poniżej przedstawiono próbę opracowania uniwersalnych kryteriów oceny formalnej i oceny wizualnej produktów obrazowych, jakie można otrzymać stosując różnego rodzaju algorytmy integracji. Przy ocenie formalnej podstawowym założeniem było dokonanie prawidłowej selekcji wskaźników, aby na podstawie wybranych móc scharakteryzować w sposób syntetyczny jakość zestawu danych obrazowych zarówno pod kątem zniekształcenia spektralnego (ocena tematyczna), jak i pod kątem wzmocnienia szczegółami obrazów (ocena przestrzenna). W drugim kroku dokonano próby skojarzenia obu wybranych parametrów celem wskazania zbioru najkorzystniejszych wyników spośród uzyskiwanych z dowolnej ilości metod integracji.
Z kolei dla proponowanej metodyki oceny wizualnej przygotowano odpowiedni klucz fotointerpretacyjny, który w sposób możliwie obiektywny pozwala na niezależną ocenę właściwości przestrzennych i tematycznych kompozycji barwnych, a przez to pozwala wybrać metody scalania, które w obu tych kategoriach uzyskują wysokie noty.
3.1. Diagram wyników
W wyniku testów za najlepszy wskaźnik do syntetycznej oceny obrazów pod względem tematycznym wybrano nQoryg% (19). Badania prowadzono na jednym zestawie multisensorycznych danych (TM i IRS-PAN), dlatego też uproszczono oryginalną postać parametru (19) do formuły (29) rezygnując we wzorze z ilorazu rozdzielczości przestrzennej łączonych obrazów.
nQ% = 100 * [ 1/k Σ RMS (b) k 2 / MSsr(b)2 ]1/2 (29)
b=1
Wielkość nQ jest wyrażona w [%] dla dowolnej ilości kanałów (np. całej metody bądź kompozycji barwnej). Jest odporna na błędy związane z kalibracją i zmianą jednostek. Proporcje występowania błędu spektralnego w kanałach nie są obojętne dla wartości końcowej parametru - ta wada występowała w przypadku RASE (18) - ponieważ RMS dla danego kanału bezpośrednio we wzorze się odnosi się do jego średniej jasności.
Dla przykładu: przy identycznej sumie błędów RMS dla rozważanego zestawu syntetycznych obrazów (ustalony parametr TE ze wzoru (16)) najniższe wartości nQ wystąpią, gdy błędy w kanałach będą rozłożone proporcjonalne do ich średniej odpowiedzi spektralnej. Parametr RASE nie ulegnie zmianie bez względu na rozkład błędów, nawet w skrajnym przypadku, gdy zniekształcenie będzie posiadał tylko jeden kanał. Natomiast oba parametry (RASE i nQ) będą reagować, gdy przy ustalonym TE kanały będą miały wyższe średnie jasności sceny (relatywne błędy spektralne będą maleć). Duża wrażliwość parametru nQ jest korzystna, ponieważ zapewnia zarówno prostotę i uniwersalność oceny (wartość parametru wyrażono w %) jak i reaguje na duże dysproporcje w obciążaniu błędami kanałów w rozpatrywanym zestawie danych obrazowych.
W celu określenia ilości informacji przestrzennej zawartej na obrazach scalonych wykorzystano propozycję Zhuo i in. (1998) – rHPF3x3(b) (23). Wskaźnik rHPF3x3(b) jest czuły na zgodność krawędzi (szczegółów) zawartych na obrazie panchromatycznym z zawartymi na scalonym wyciągu spektralnym. Dla lepszej interpretacji jego wartości przyjęto rozwiązanie o stosowaniu wartości R2 (współczynnika determinacji korelacji) i wyrażeniu go w [%] (30). Wtedy wartość parametru IL% można interpretować jako stopień obecności krawędzi na scalonym obrazie spektralnym w stosunku do znajdujących się w kanale panchromatycznym:
IL%(b) = 100% * rHP3(b)2 (30)
Zaproponowano syntetyczny parametr określający średnie wzmocnienie przestrzenne dla KB lub dla pełnego zestawu kanałów. Jest on oparty o średnią arytmetyczną współczynników IL% (31).
AIL% = 1/k Σ IL%(b) (31)
k b=1
Dzięki powyższym parametrom nQ% i AIL% możliwe jest opracowanie czytelnych rankingów opartych o pojedyncze kryteria jakości przestrzennej i spektralnej obrazów scalonych różnymi metodami. Jest to pierwsza wskazówka dla wnioskowania na temat ich przydatności (bądź nie). Tego typu podejście, jednak oparte o inne wskaźniki, stosują m. in. Béthune i in. (1998), Zhou i in. (1998), Bretschneider i Kao (2000), Mularz i in. (2000b), Ranchin i Wald (2000). Analizy tego typu są wystarczające dla formalnego oszacowania charakteru działania danej metody. Wielkość wskaźnika dla konkretnego produktu scalania, porównana do pozostałych wyników, daje orientację, co do skali i rozpiętości występujących wartości wskaźników opisujących błędy spektralne lub wzmocnienie przestrzenne. Co istotniejsze, prowadzi też do ustalenia względnej pozycji w zestawieniu z pozostałymi obrazami. W konsekwencji pozwala ocenić daną metodę scalania na tle innych rozwiązań. W zależności od użytego wskaźnika ocena może przebiegać na różnym stopniu
szczegółowości oraz dotyczyć stopnia wzmocnienia przestrzennego bądź stopnia zniekształcenia oryginalnej informacji tematycznej. Dla przykładu oparta o RMS (8) pozwala analizować pojedyncze kanały spektralne, oparta o nQ% (29) – kompozycje barwne lub pełne zestawy danych spektralnych.
Wydaje się, że często formułowane, w oparciu o fragmentaryczne porównania (jak wyżej przedstawione rankingi nQ% i AIL%), wnioski o przewadze i/lub większej przydatności jednych rozwiązań nad innymi są zbyt pochopne. W badaniach prezentowanych w publikacjach odczuwa się przede wszystkim brak odniesienia do stopnia wzmocnienia przestrzennego obrazów, a w takim przypadku jedynym kryterium formalnym pozostaje stopień zachowania oryginalnej informacji tematycznej. W oparciu o takie kryteria formułowali oceny m.in. Béthune i in. (1997), Terrettez (1997), Hill i in. (1999), Ranchin i Wald, (2000), Wald (2000). W mniejszości występują badania, gdzie ocena formalna dotyczy zarówno wzmocnienia przestrzennego obrazów, jak i zmian w informacji spektralnej. Tego typu rankingi metod – jednakże prowadzone odrębnie dla obu charakterystyk obrazów (spektralnych i tematycznych) - ujęli w swoich badaniach np. Vaughan i Oune, (1998), Zhou (1998), Bretschneider i Kao (2000), Mularz i in. (2000a, 2000b). Ogólny zarzut, jaki można postawić takim podejściom, to brak uniwersalności oraz zazwyczaj ograniczona ilość metod i algorytmów scalania poddawana testom.
Właściwa selekcja danych powinna opierać się o porównania uwzględniające w sposób spójny wzajemne zależności skali zniekształcania informacji spektralnej do uzyskiwanej skali wzmacniania przestrzennego. W badaniach literaturowych brak tego typu podejść, dlatego autor opracował metodę, która realizuje powyższy postulat kompleksowej deszyfracji charakterystyk produktów scalania.
Stanowi ona próbę formalnego wskazania optymalnych metod scalania, co w dziedzinie integracji obrazów jest pionierskim podejściem. Metoda ta została nazwana jako „diagram wyników” z uwagi na swoją postać formalno-graficzną.
Przy studiowaniu par wartości wskaźników formalnych – nQ% i AIL%,, nasuwa się wniosek, że łączy je pewna współzależność, powtarzająca się dla produktów otrzymanych różnymi metodami scalania, a mianowicie wzrost wzmocnienia przestrzennego obrazu idzie w parze ze zwiększeniem zniekształcenia spektralnego – i odwrotnie. Właściwe byłoby wskazanie metody, która charakteryzowałaby się najlepszą relacją wzmocnienia przestrzennego do zniekształcenia spektralnego. Niemożliwe jest jednak wskazanie jednego rozwiązania, a jedynie metody relatywnie najlepsze dla konkretnego poziomu wzmocnienia przestrzennego bądź zniekształcenia spektralnego, ponieważ oba wskaźniki nie są ze sobą wprost porównywalne. Wyznaczenie takiego zbioru rozwiązań ze wszystkich dostępnych możliwe jest właśnie dzięki użyciu „diagramu wyników”. Metoda ta została uznana przez autora za najbardziej precyzyjną i miarodajną - alternatywne próby waloryzacji poszczególnych parametrów formalnych, a następnie łączna ich punktacja zbyt upraszczały wyniki i wprowadzały niejednoznaczność w ich interpretacji.
Na pojedynczym diagramie wyników umieszcza się punkty reprezentujące pary wskaźników formalnych uzyskanych dla wybranej KB (trypletu kanałów) lub pełnego zestawu kanałów. Rys. 2 przedstawia przykładowy układ punktów reprezentujący wyniki scalania uzyskane przy pomocy trzydziestu testowanych metod. Obszary zakreskowane dzielą wynikowe zestawy obrazów na charakteryzujące się wzajemnym podobieństwem wartości jednego ze wskaźników: niskiego nQ%
i/lub wysokiego AIL%. Te kombinacje wartości parametrów posłużyły do wyznaczenia 4.
charakterystycznych stref na diagramie: „A”, „B”, „C” i „D”. Strefa „C” wyznacza wyniki o najlepszej relacji obu wskaźników formalnych: na obrazach po fuzji relatywnie wysokie wzmocnienie przestrzenne jest uzyskiwane kosztem stosunkowo niewielkiego zniekształcenia spektralnego. Z kolei zestawy obrazów ze strefy „A” charakteryzują się niskim zniekształceniem spektralnym oraz niskim uczytelnieniem. Natomiast w strefie „B” lokują się wyniki o dużym wzmocnieniu przestrzennym osiąganym kosztem dużego zniekształcenia tematycznego. Dla pozostałych obrazów (strefa „D”) zanotowano bardzo niekorzystne relacje wskaźników nQ% i AIL% (zniekształcenie spektralne jest bardzo wysokie, a wzrost uczytelnienia niewielki), co dyskwalifikuje metody ich scalania.
65 70 75 80 85 90 95 100
5 7 9 11 13 15 17 19
nQ [%]
AIL [%]
21
A
B
D C
IHS IHS-HPF
PRAD
HPF
Rys. 2. Metoda diagramu wyników. Wyznaczenie zbioru najkorzystniejszych wyników. The method of the diagram of results. Determining the best integration results.
Graficzna analiza relacji wzajemnego położenia punktów pozwala na precyzyjne określenie zbioru rozwiązań o najkorzystniejszych relacjach formalnych parametrów nQ% i AIL% (lub odpowiednio RMS i IL% w przypadku analizy pojedynczych kanałów). Wyznacza go krzywa (przerywana biała linia) łącząca punkty leżące na zewnątrz całego zestawu rozwiązań: od niskiego wzmocnienia przestrzennego, aż do wysokiego, przy możliwie niskim do osiągnięcia zniekształceniu spektralnym. Przesuwając się po wyznaczonej krzywej otrzymuje się kolejne zestawy scalonych danych o różnych charakterystykach formalnych.. Wraz ze wzrostem ilości ładowanej informacji przestrzennej rośnie zniekształcenie spektralne syntetycznych produktów obrazowych. Cechą wspólną
najkorzystniejszych rozwiązań jest to, że nie istnieją żadne inne, dla których notowano by lepszą formalną zależność skali wzmocnienia przestrzennego do zniekształcenia spektralnego. Innymi słowy:
wszystkie pozostałe metody mogą zostać zastąpione przynajmniej jednym alternatywnym rozwiązaniem leżącym na wyznaczonej krzywej. Taka zamiana jednego zestawu scalonych obrazów na drugi poprawia przynajmniej jeden ze wskaźników formalnych przy niezmienionym drugim, a z reguły oba ulegają poprawie. Wtedy stosunek pomiędzy ilością informacji przestrzennej a zniekształceniem spektralnym jest lepszy niż wcześniej. Taka konstatacja dotycząca całego zbioru rozwiązań pozwala na wykluczenie części metod pod względem formalnym. Zmiana metody integracji jest najbardziej pożądana w przypadku, gdy wynik scalania reprezentowany przez punkt leży daleko od wyznaczonej krzywej. Na rysunku 2. przykładowo przedstawiono za pomocą strzałek pozytywny skutek rezygnacji ze standardu scalania - metody IHS (opartej o transformację do przestrzeni barw IHS) leżącej na granicy strefy „D”(!), na rzecz rozwiązania HPF (metoda oparta o filtrację górnoprzepustową w oknie 9x9) leżącego w strefie „B”, na krzywej najkorzystniejszych rozwiązań lub na rzecz autorskiej propozycji IHS-HPF (metoda mieszana) leżącej w strefie „C”.
W pierwszym przypadku następuje poprawa obu parametrów (nQ% o około 2%, AIL% o około 10%), w drugim – tylko zniekształcenia spektralnego nQ%, ale za to w bardzo dużym stopniu (o około 6%).
Ponieważ metoda IHS-HPF nie leży na wyznaczonej krzywej, można ją zastąpić kolejną metodą (np.
propozycją PRAD opartą o właściwości teksturalne obrazu), aczkolwiek poprawa parametrów nie będzie już tak znacząca. Selekcja tego typu i rezygnacja z części metod może być wykonana w przekroju pojedynczych kanałów, różnych kompozycji barwnych lub generalnie, w oparciu o uśrednione wyniki z całego zestawu scalonych obrazów. W wyniku dostaje się nie jedno, lecz zbiór najlepszych możliwych rozwiązań, a ostateczny wybór jest uzależniony od konkretnych potrzeb użytkownika i jego oczekiwań, co do zachowania informacji tematycznej bądź wzbogacenia obrazów w szczegóły.
Podsumowując: wykorzystanie zaproponowanego narzędzia – diagramu wyników – pozwala, w oparciu o formalne procedury wyeliminować metody charakteryzujące się niekorzystnymi zależnościami AIL% i nQ% (cała strefa „D”, częściowo „A” i „B”), co byłoby praktycznie niemożliwe do zrealizowania przez odrębne analizy oparte na pojedynczych wskaźnikach. To podejście umożliwia również wskazanie zbioru teoretycznie najkorzystniejszych rozwiązań i w jego obrębie dokonanie podziału na grupy produktów o zbliżonych cechach (na rys. 2. zilustrowano to prostokątami i elipsą).
3.2. Klucz fotointerpretacyjny
Ranking walorów interpretacyjnych przeprowadzono w oparciu o technikę punktacji kompozycji barwnych. Tego typu podejście zastosowali m. in. Mularz (2001) oraz Pellemans i in.
(1993). W odróżnieniu od poprzedników poszukiwano rozwiązań pozwalających na obiektywną ocenę dużej ilości danych tak, aby określić ogólną przydatność interpretacyjną kompozycji barwnych (KB)
po fuzji, a następnie je uszeregować. Okazało się, że taka próba jest skazana na niepowodzenie, ponieważ walory KB są z reguły zbyt trudne do jednoznacznej oceny. Dlatego zamiast przeprowadzenia pojedynczego, syntetycznego rankingu zastąpiono to rozwiązaniem prowadzącym do pogrupowania metod wg pewnych charakterystycznych cech wizualnych. Tego typu analiza umożliwia sformułowanie wniosków dotyczących skuteczności stosowania metod scalania dla określonych celów. Dla realizacji powyższych zamierzeń zdecydowano się na odrębną ocenę walorów wizualnych związanych z informacją tematyczną oraz odrębną związaną ze stopniem uczytelnienia obrazów. W obu przypadkach dokonano dalszych podziałów i punktowano poszczególne elementy/cechy obrazów według ustalonych kryteriów (tabela 1. – walory tematyczne, tabela 2. – wzmocnienie przestrzenne). Rozbicie oceny na kilka części składowych umożliwiło szeregowanie metod według różnych aspektów oraz dokonywanie stopniowej syntezy wyników, aż do próby całościowej waloryzacji. Takie podejście zapewniło też możliwie wysoką obiektywność ocen.
Tabela 1. Kryteria oceny wizualnej metod pod kątem zachowania informacji spektralnej. Visual assessment criteria for spectral information preservation
S1
Ogólna charakterystyka spektralna sceny (ocena prowadzona w małej skali):ocena głównych kategorii pokrycia terenu i dużych obszarów Punkty 1 zachowana informacja spektralna, jasność sceny i kontrast zbliżone do oryginału 5 2 niewielkie zmiany spektralne lub niewielka zmiana jasności sceny
lub degradacja barw 4
3 zniekształcenie spektralne lub zmiana jasności sceny lub duża degradacja barw lub równoczesne wystąpienie niekorzystnych efektów wymienionych w pkt. 2.
3 4 duże zniekształcenie spektralne lub równoczesne wystąpienie niekorzystnych
efektów wymienionych w pkt. 3. 2
5 drastyczne zniekształcenie spektralne lub równoczesne wystąpienie
niekorzystnych efektów wymienionych w pkt. 4. 1
S2
Szczegółowa charakterystyka spektralna (ocena prowadzona w dużej skali):ocena zachowywania informacji spektralnej na szczegółach i małych obiektach 6 zachowywana informacja spektralna w kontekście otoczenia 4 7 niewielkie zmiany spektralne nie prowadzące do utraty rozróżnialności obiektu
od otoczenia, degradacja na małych obiektach informacji spektralnej
3 8 zniekształcenie spektralne małych obiektów prowadzące do obniżenia walorów
obrazu, artefakty (pojawianie się fałszywych obiektów barwnych), obwódki wokół obiektów lub duża degradacja informacji spektralnej na małych obiektach
2
9 usuwanie informacji spektralnej z małych obiektów prowadzące nawet do usunięcia obiektów ze sceny, pojawianie się dużej ilości artefaktów
1
Przy waloryzacji KB w aspekcie ogólnej charakterystyki spektralnej sceny (tab. 1., wskaźnik S1) kierowano się zasadą wierności spektralnej w stosunku do oryginału. Zgodnie z nią nie były punktowane korzystne dla wizualnej interpretacji zniekształcenie tematyczne (kolorystyczne), np.
zwiększające kontrast czy podkreślające różnorodność pewnych elementów sceny. Podstawą oceny był test porównawczy wzmocnionej przestrzennie KB z obrazem referencyjnym – KB opartą na danych oryginalnych, sprzed integracji. Ocena walorów interpretacyjnych KB bez tego typu odniesienia do wzorca jest dyskusyjna.
Dla oceny zachowania informacji spektralnej na małych obiektach (S2) analizowano szczegółowo obraz w dużej skali. Przykład na rys. 3c przedstawia analizę kompleksu sportowego o wyraźnie zgeometryzowanych obiektach o różnej odpowiedzi spektralnej. Informacja przestrzenna dominuje nad spektralną po fuzji metodą LMM21 (metoda oparta o lokalne charakterystyki międzykanałowe), co prowadzi do utraty zróżnicowania spektralnego pomiędzy obiektami (S2 = 2 pkt.). IHS jest przykładem formuły, która lokalnie, na określonych obiektach lub strefach obrazu wprowadza zniekształcenie tematyczne (przykład obiektu zmieniającego oryginalną barwę został wskazany na KB, S2 = 3 pkt.). W specyficznych okolicznościach, gdy obiekty są niewielkie i rozróżnialne tylko ze względu na cechy spektralne a nie geometryczne, może dojść do całkowitej ich utraty po scaleniu obrazów. Tego typu sytuację przedstawiono na rys. 3d dla obrazu po integracji metodą LMM21 (z powodu tej wady nastąpiła zmiana wartości S2 z początkowej 2 na 1 pkt.).
Tabela 2. Kryteria oceny wizualnej metod pod kątem wzrostu czytelności i podkreślenia konturów. Visual assessment criteria for interpretability and edges enhacement
P1 Charakterystyka wzmocnienia przestrzennego sceny Punkty
1 bardzo wysokie uczytelnienie 5
2 wysokie uczytelnienie 4
3 przeciętne uczytelnienie 3
4 niskie uczytelnienie 2
5 brak uczytelnienia lub bardzo niskie 1
P2 Obszar o wysokim kontraście – podkreślanie konturów elementów
6 wysokie uszczegółowienie 2
7 przeciętne uszczegółowienie 1
8 brak uszczegółowienia 0
P3 Obszar o niskim kontraście – obecność szumów
9 brak lub niewielka, nie utrudniająca interpretacji 2
10 widoczna, w niewielkim stopniu wpływająca na interpretację 1
11 duża, utrudniająca interpretację 0
Przy analizie wzrostu czytelności degradowano kompozycje barwne do postaci obrazów panchromatycznych, aby wykluczyć wpływ walorów barwnych na ocenę. Analiza była prowadzona w dużej skali dla każdej z trzech składowych oceny (tab. 2. - P1, P2, P3). Przeciętne uczytelnienie obrazu (P1) było waloryzowane w różnych partiach obrazu. Przykład 3e ilustruje rozpiętość poziomu wzmocnienia uzyskiwanego dla różnych metod integracji. Dla oceny podkreślania konturów na strefach o wysokim kontraście (P2) jako pola testowe użyto wielkopowierzchniowe tereny przemysłowe, handlowe i komunikacyjne oraz obszary, na których prowadzono duże inwestycje budowlane (rys. 3f). Dla takich obiektów rejestrowana oryginalna odpowiedź spektralna charakteryzowała się skrajnymi wartościami (duży kontrast z otoczeniem - jednolite strefy o bardzo niskiej lub bardzo wysokiej jaskrawości). Trzecim ocenianym elementem (P3) na obrazach po fuzji była obecność szumów związana z prążkowaniem kanału panchromatycznego IRS-PAN.
a) Dane oryginalne. Original data
Fragmenty sceny testowej wybrane dla zilustrowania sposobu postępowania przy waloryzacji interpretacyjnej obrazów po fuzji
P3
b) Ocena S1 - ogólna charakterystyka spektralna. S1 value – general spectral characteristics
c) Ocena S2 - szczegółowa charakterystyka spektralna. S2 value – detailed spectral characteristics
d) Ocena S2 - szczegółowa charakterystyka spektralna sceny cd.
S2 value – detailed spectral characteristics (continuation).
e) Ocena P1 - charakterystyka wzmocnienia przestrzennego sceny.
P1 value – spatial enhacement characteristics
f) Ocena P2 - podkreślanie konturów elementów na obszarach o wysokim kontraście.
P2 value – edge enhacement in high contrast area.
g) Ocena P3 – obecność szumów na obszarach o niskim kontraście.
P3 value - edge enhacement in low contrast area.
IHS (2/5) IHS-HPF09 LMM21 (4/5) SK (2/5)
Punktacja walorów wg kryteriów zawartych w tabelach 1 i 2.
Druga liczba – maksymalna możliwa ilość punktów.
KB174– IRS-PAN
oryg. TM IHS (3/4) IHS-HPF09 LMM21 (2/4)
Niewielki obiekt rozpoznawany na obrazie przez odmienną od otoczenia informację tematyczną. Eliminacja obiektu obniża ocenę S2 do 1pkt.
(dla metody LMM21 oznacza to zmianę oceny z 2 pkt. do 1 pkt.)
Obiekt, na którym dochodzi do zmian pierwotnej informacji tematycznej:
zniekształcenia (IHS) lub degradacji (LMM21)
oryg. TM IHS (3/4) LMM21 (1/4)
LMM21 (5/5)
IHS-HPF09 SK (1/5)
IHS-HPF09 LMM21 (1/2) SK (0/2)
IHS-HPF09 LMM21 (0/2)
Progowanie obrazu w celu detekcji szumów na obszarach o niskim kontraście
Rys. 3. Ocena wizualna metod integracji. Fragmenty testowanego obszaru w KB 174. Przykładowe wyniki 4 metod scalania. Visual assessment of integration methods. Composit image (bands 174). Example results for 4 fusion methods (IHS, LMM-local mean matching, SK-band replacement, IHS-HPF.
To niekorzystne zjawisko wystąpiło z różną intensywnością w zależności od KB i wykorzystanej metody integracji obrazów. Związane z szumami obniżenie czytelności obrazów oceniono na obszarach o niskim kontraście, na których efekt ten ulegał wyeksponowaniu (rys. 3g).
Dla syntetycznego podziału metod według ich walorów interpretacyjnych zgeneralizowano skale ocen do dwóch głównych: punktacji zachowania walorów tematycznych WT (32) oraz punktacji walorów przestrzennych WP (33). Dalsza synteza wyników do pojedynczego rankingu opartego o łączną punktację WT i WP mijała się z celem, ponieważ doprowadziłaby do niejednoznaczności wyników. Na przykład metody o wysokich walorach tematycznych i niskim uczytelnieniu zajmowałyby równorzędne pozycje z metodami charakteryzującymi się odwrotnymi relacjami obu powyższych walorów.
WT = S1 + S2 (32)
WP = P1 + P2/2 + P3/2 (33)
Zaproponowano macierzowy układ pogrupowania przydatności metod oparty o zadeklarowane przedziały punktacji dla WT i WP. W ten sposób zostało wyodrębnionych 9. grup metod o podobnej charakterystyce scalonych obrazów, z których cztery wskazano jako przydatne do wizualnej interpretacji. Analizę tą metodą przeprowadza się odrębnie dla każdej z testowanych KB.
Dla końcowego, syntetycznego zestawienia możliwe jest uśrednienie wyniki WT i WP z wszystkich testowanych KB.
Metody, które uznano za nieprzydatne to takie, dla których WT < 7 pkt. i/lub WP < 4,5 pkt. Te graniczne wartości zostały przyjęte po analizie możliwych do wystąpienia kombinacji cech obrazów i odzwierciedlających je ocen (S1, S2, P1, P2, P3). Dla walorów tematycznych tak niska punktacja oznacza KB, która charakteryzuje się dużym ogólnym zniekształceniem spektralnym sceny (S1 ≤ 2 pkt.) lub niższym (S1 > 2pkt.), ale przy dużych wadach tematycznych drobnych elementów (S2 < 3 pkt.). Dla wzmocnienia przestrzennego wyniki WT < 4,5 pkt. oznaczają, że kompozycja barwna posiada co najwyżej przeciętne uczytelnienie (P1 ≤ 3 pkt.), ewentualnie wysokie (P1 = 4 pkt.), ale z wadami (nie wzmacnia obiektów kontrastowych i równocześnie wprowadza duże szumy – odpowiednio P2 = 0 pkt. i P3 = 0 pkt.). Krótką charakterystykę czterech grup wskazanych jako przydatne oraz przyjęte przedziały punktacji dla wartości WT i WP zawiera tabela 3.
Przydatność obrazów z grupy „A” do wizualnej interpretacji jest najwyższa z wszystkich testowanych. Uzyskiwane uczytelnienie obrazów jest wysokie a informacja spektralna wizualnie nie odbiega od wzorca sprzed fuzji. W pozostałych grupach notuje się wady związane ze zbyt małym wzmocnieniem przestrzennym (grupa „C”), niewielkim zniekształceniem tematycznym (grupa „B”) lub obie te wady jednocześnie (grupa „D”).
Tabela 3. Zestawienie wydzielonych charakterystyk dla KB na podstawie oceny wizualnej. Assessment key for colour composit images based on visual evaluation v
WT - Walory tematyczne, punktacja wg (32)
Pkt. 9 7-8
WP Walory przestrzenne,
6-7 GRUPA „A”
* KB o wysokim uszczegółowieniu lub średnim (w tym na obszarach jasnych) przy braku szumów;
* brak zniekształcenia spektralnego zarówno dla całej sceny jak i dla małych obiektów
GRUPA „B”
* KB o wysokim uszczegółowieniu lub średnim (w tym na obszarach jasnych) przy braku szumów;
* niewielkie lub średnie zniekształcenie lub degradacja informacji spektralnej na całej scenie lub na małych obiektach punktacja
wg (33) 4,5-5,5 GRUPA „C”
* KB o średnim uszczegółowieniu z możliwością wystąpienia szumów oraz braku informacji na obszarach jasnych;
* brak zniekształcenia spektralnego zarówno dla całej sceny jak i dla małych obiektów
GRUPA „D”
* KB o średnim uszczegółowieniu z możliwością wystąpienia szumów oraz braku informacji na obszarach jasnych;
* niewielkie lub średnie zniekształcenie lub degradacja informacji spektralnej na całej scenie lub na małych obiektach
4. Konkluzje
Syntetyczne wskaźniki nQ% i AIL% – wraz z opracowaną autorską metodę „diagramu wyników” - z powodzeniem mogą być stosowane do ogólnej oceny działania metod. Podstawową zaletą stosowania „diagramu wyników” jest możliwość wydzielenia z całego zbioru metod i algorytmów tej części, dla której relacje wzmocnienia przestrzennego do zniekształcenia spektralnego są najlepsze. W tak wyselekcjonowanym
zbiorze rozwiązań
dużo łatwiejsze jest wskazanie metody najlepszej dla rozwiązania konkretnego problemu, dla którego jest przeprowadzane scalanie danych.Opracowana metoda wizualnej oceny charakteryzuje się relatywnie dużą obiektywnością.
Zaproponowany macierzowy układ pogrupowania metod zapewnia określenie przydatności w oparciu o walory tematyczne i przestrzenne kompozycji barwnych.
Przeprowadzona waloryzacja wizualna koresponduje tylko ze wskaźnikami formalnymi związanymi z oceną uczytelnienia obrazów (AIL%). Oznacza to, że parametr AIL% może być traktowany jako wstępny indykator przydatności interpretacyjnej metod pod kątem uczytelnienia treści obrazu. Natomiast wartość średniego błędu spektralnego nQ% pozwala określić w przybliżeniu przydatność danych do dalszego ich przetwarzania numerycznego, natomiast nie determinuje przydatności dla celów interpretacyjnych. I odwrotnie: pomimo notowanych dobrych walorów
interpretacyjnych, obraz może cechować – niedostrzegalne w analizie wizualnej - wysokie zniekształcenie tematyczne.
Nie opracowano uniwersalnej metody integracji danych i nie należy oczekiwać, że to nastąpi.
Nie można bowiem otrzymać scalonych obrazów o wysokim uczytelnieniu, a przy tym pozbawionych zniekształcenia spektralnego. Badania prowadzone przez autora wykazały, że te dwie cechy obrazów otrzymanych na drodze fuzji są z sobą powiązane, a ich relacja zależy przede wszystkim od wyboru metody scalania. Kluczowe jest wskazanie rozwiązań, które kosztem mniejszego zniekształcenia informacji tematycznej dadzą większe uczytelnienie. W obliczu dużej ilości algorytmów oraz różnorodnych zestawów danych poddawanych integracji jest to zadanie niezwykle trudne i czasochłonne. Wydaje się, że zaproponowana kompleksowa ocena stanowić może przydatne narzędzie do prawidłowej selekcji tego typu i do wyboru trafnej metody integracji, tak, aby syntetyczny produkt obrazowy miał jak najwyższą przydatność dla rozwiązania postawionego problemu.
Bibliografia
1. Aiazzi B., Alparone L., Baronti S., Pippi I., 1999, Fusion of 18 m MOMS-2P and 30 m Landsat TM multispectral data by the generalized laplacian pyramid, International Archives of
Photogrammetry and Remote Sensing, vol. 32;
2. Béthune S., Muller F., Donnay J. P., 1997, Adaptive intensity matching filters: a new tool for multi-resolution data fusion, AGARD conference proceedings 595, Multi-Sensor Systems and Data Fusion for Telecommunications, Remote Sensing and Radar, Lisbon-Portugal;
3. Béthune S., Muller F., Donnay J. P., 1998, Fusion of multispectral and panchromatic images by local mean and variance matching filtering techniques, Fusion of Earth Data, Sophia Antipolis;
4. Bretschneider T., Kao O., 2000, Image fusion in remote sensing, Proceedings of the 1st Online Symposium of Electronic Engineers;
5. Carper T. J., Lillesand T. M., Kiefer R. W., 1990, The use of intensity-hue-saturation transformations for Merging SPOT panchromatic and multispectral image data, Photogrammetric Engineering and Remote Sensing, Vol. 56, No. 4;
6. Chavez P. S., Jr., 1986, Digital Merging of Landsat TM and digitized NHAP data for 1:24,000- scale image mapping, Photogrammetric Engineering and Remote Sensing, Vol. 52, No. 10;
7. Chavez P. S., Jr., S. C. Sides, J. A. Anderson, 1991, Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic,
Photogrammetric Engineering and Remote Sensing, Vol. 57, No. 3;
8. Cliché G., F. Bonn, P. Teillet, 1985, Integration of the SPOT panchromatic channel into its multispectral mode for image sharpness enhancement, Photogrammetric Engineering and Remote Sensing, Vol. 51, No. 3;
9. Garguet-Duport B., J. Girel, J. M. Chassery, G. Pautou, 1996, The use of multiresolution analysis and wavelets transform for merging SPOT panchromatic and multispectral image data,
Photogrammetric Engineering & Remote Sensing, Vol. 62;
10. Hallada W. A., Cox S., 1983, Image sharpening for mixed spatial and spectral resolution satellite systems, Proc. Of the 17th International Symposium on Remote Sensing of Environment;
11. Hill J., C. Diemer, O. Stöver, Th. Udelhoven, 1999, A local correlation approach for the fusion of remote sensing data with different spatial resolutions in forestry applications, International Archives of Photogrammetry and Remote Sensing, Vol. 32;
12. Li J., 2000, Spatial quality evaluation of fusion of different resolution images, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Amsterdam;
13. Liao Y., T. Wang, W. Zheng, 1998, Quality analysis of synthesized high resolution multispectral imagery, Asian Conference on Remote Sensing, Manila;
14. Mróz M., 2001, Podwyższenie rozdzielczości przestrzennej obrazów wielospektralnych Landsat 7 ETM+ przy wykorzystaniu właściwych teksturalnych i radiometrycznych kanału
panchromatycznego, Archiwum Fotogrametrii, Kartografii i Teledetekcji, Vol. 11, 2001;
15. Mularz S., 2001, Teledetekcyjny monitoring środowiska kopalń odkrywkowych, w: Nowoczesne technologie w geodezji i inżynierii środowiska, Konferencja naukowa z okazji jubileuszu 50-lecia Wydziału Geodezji Górniczej i Inżynierii Środowiska, Kraków 2001;
16. Mularz S., Drzewiecki W., Pirowski T., 2000, Merging Landsat TM images and airborne
photographs for monitoring of open-cast mine area, XIX Kongres ISPRS, International Archives of Photogrammetry and Remote Sensing, Amsterdam;
17. Mularz S., Drzewiecki W., Pirowski T., 2000, Thematic information content assessment of aerial and satellite data fusion, - Cadastre, Photogrammetry, Geoinformatics – Modern Technologies and Development Perspectives. Proceedings of 2-nd International Conference, Lviv, National University „Lvivska Polytechnica”;
18. Munechika C. K., Warnick J. S., Salvaggio C., Schott J. R., 1993, Resolution enhancement of multispectral image data to improve clasification accuracy, Photogrammetric Engineering &
Remote Sensing, Vol. 59;
19. NEL, National Exploitation Laboratory, 1994, General Image Quality Equation User’s Guide, Version 3;
20. Pellemans A. H. J. M., Jordans R. W. L., Allewijn R., 1993, Merging multispectral and panchromatic SPOT images with respect to the radiometric properties of the sensor, Photogrammetric Engineering & Remote Sensing, Vol. 59;
21. Pirowski T., 2004, Integracja obrazów satelitarnych o różnej rozdzielczości, w: Katalog wystawców X międzynarodowych targów GEA - materiały szkoleniowe, Kraków;
22. Pohl C., Genderen J. L. Van, 1998, Multisensor image fusion in remote sensing: concepts, methods and applications, Int. J. Remote Sensing, Vol. 19;
23. Prinz B., Wiemker R., Spitzer H., 1997, Simulation of high resolution satellite imagery from multispectral airborne scanner imagery for accuracy assessment of fusion algorithms, Sensors and Mapping from Space, Hannower;
24. Ranchin T., Wald L., 2000, Fusion of high spatial and spectral resolution images: the ARSIS concept and its implementation, Photogrammetric Engineering & Remote Sensing, Vol. 66;
25. Raptis V. S., Vaughan R. A., Ranchin T., Wald L., 1998, An assessment of different data fusion methods for the classification of an urban environment, Fusion of Earth Data, Sophia Antipolis, France;
26. Rigol J. P., Chica-Olmo M., 1998, Merging remote-sensing images for geological-environmental mapping: application to the Cabo de Gata-Níjar Natural Park, Spain, Environmental Geology 34;
27. Shettigara V. K., 1992, A generalized component substitution technique for spatial enhancement of multispectral images using a higher resolution data set, Photogrammetric Engineering &
Remote Sensing, Vol. 58;
28. Steinnocher K., 1999, Adaptive fusion of multisource raster data applying filter techniques, International Archives of Photogrammetry and Remote Sensing, vol. 32;
29. Tadeusiewicz R., P. Korohoda, 1997, Komputerowa analiza i przetwarzanie obrazów, Wydawnictwo Postępu Telekomunikacji, Kraków;
30. Terrettaz P., 1997, Comparison of different methods to merge SPOT P and XS data. Evaluation in an urban area, Proceedings of the 17th ERSeL Symposium on Future trends in remote sensing, Denmark;
31. Vaughan R., O. Oune, 1998, The fusion of TM, SPOT, IRS and KFA data for urban change detection in Tripoli, Fusion of Earth Data, Sophia Antipolis, France;
32. Vrabel J., 1996, Multispectral imagery band sharpening study, Photogrammetric Engineering &
Remote Sensing, Vol. 62;
