8. Weryfikacja map błędów i odchylenia standardowego NMT
8.3. NMT LIDAR jako powierzchnia referencyjna
Jednym ze sposobów określenia przestrzennej dokładności NMT jest wykorzystanie mapy błędu (por. podrozdział 3.1.1). W tym celu konieczne jest posiadanie modelu, który można uznać za rzeczywiste odzwierciedlenie terenu. Takie założenie spełnia para modeli LPIS oraz ISOK. Ich dokładności wysokościowe, zgodnie ze specyfikacją, wynoszą odpowiednio 0.60 m oraz 0.06 m. Oznacza to, że model ISOK można uznać jako rzeczywistą, prawdziwą powierzchnię terenu w stosunku do NMT LPIS. Różnica tych modeli staje się zatem wzorcem (Rys.16), do którego można odnieść wyniki analiz uzyskane poszczególnymi metodami zaprezentowanymi w rozdziale 7. Z uwagi na stosunkowo małą rozdzielczość danych źródłowych z jakich powstał model LPIS, niektóre metody przestrzennej estymacji dokładności (np. metoda Krausa i innych (2006)) zachowują się w sposób nieprzewidywalny na granicy obszaru testowego. Przejawia się to występowaniem skrajnych, mało prawdopodobnych wartości błędu lub brakiem danych (NODATA). Z tego też względu, aby zapewnić jednolitość porównania poszczególnych procedur zdecydowano się zredukować rozmiar wszystkich map błedów i odchylenia standardowego obcinając 10 skrajnych pikseli. Skutkuje to zmniejszeniem obszaru badań o 50 m z każdej ze stron. W wyniku tego zabiegu zasięg modelu LPIS obejmuje swoim zakresem 965 m na 965 m zamiast 1065 m na 1065 m (por. podrozdział 5.1).
Tradycyjnie pierwszą metodą jaką zweryfikowano była procedura opracowana przez zespół badawczy pod przewodnictwem Krausa (Kraus i inni, 2006). Wykorzystano ten sam zestaw wariantów jaki użyto podczas weryfikacji opartej o drugi zbiór danych referencyjnych GPS (podrozdział 7.1). Otrzymane rezultaty zestawiono w Tab. 41, a w formie wykresu rozrzutu na Rys.71. Najlepszy wynik osiągnął wariant 3a, analogicznie jak w podrozdziale 7.1. Wykres rozrzutu, również przedstawia się w podobny sposób (por. Rys.30). Na Rys.70 przedstawiono różnicę między mapą odchylenia standardowego a wartością bezwzględną rzeczywistego błędu modelu LPIS. Przeszacowanie dokładności ma miejsce głównie w rejonach występowania linii nieciągłości oraz na obszarach wydzielonych (por. Rys.19). Wynika stąd wniosek, że procedura ta w zbyt małym stopniu uwzględnia występowanie i przebieg linii nieciągłości. Obszary wydzielone położone są głównie na terenach zalesionych. Ze względu na fakt, iż pomiar fotogrametryczny jest w tych miejscach mocno utrudniony, dokładność NMT jest tam o wiele niższa.
119
Tab. 41. Porównanie wariantów map odchylenia standardowego wykonanych metodą Krausa i innych (2006) dla NMT LPIS z wykorzystaniem NMT ISOK jako powierzchni referencyjnej Wariant parametrów Wartości μ [m] Wynik (μ) σ [m] Wynik (σ)
Liczba punktów n Wynik (n) Suma Wyników 1 k=12, q=1, s=0.60 -0.2730 1 0.5857 1 10698 85 87 2 k=8, q=1, s=0.60 -0.2488 5 0.5854 1 12228 97 103 3 k=4, q=1, s=0.60 -0.1429 24 0.5893 0 18461 147 171 3a k=4, q=1, s=0.60, ME = -0.35 -0.0632 39 0.5446 8 23515 187 234 4 k=12, q=0, s=0.60 -0.2770 0 0.5853 1 10400 83 84 5 k=8, q=0, s=0.60 -0.2487 5 0.5858 1 12209 97 103 6 k=4, q=0, s=0.60 -0.1678 20 0.5885 0 17136 137 156
Rys.70. Obraz różnicy między odchyleniem standardowym uzyskanym metodą Krausa i innych (2006) dla wariantu 3a a wartością bezwzględną rzeczywistego błędu modelu LPIS obliczonego
120
Rys.71. Wykres rozrzutu dla poszczególnych wariantów map odchylenia standardowego wykonanych metodą Krausa i innych (2006) dla NMT LPIS z wykorzystaniem NMT ISOK jako
powierzchni referencyjnej. Liczby przy punktach odpowiadają numerom wariantów z Tab. 41. W przypadku metody Carlisle’a (2002, 2005) weryfikację również przeprowadzono o ten sam zestaw wariantów co w podrozdziale 7.2. Ponownie najlepsze rezultaty osiągnął wariant 3 wykorzystujący mapę uśrednionego błędu (E20) oraz mapę odchylenia standardowego (ESD) co widać w Tab. 42. Na Rys.72 graficznie przedstawiono w postaci wykresu rozrzutu zależności pomiędzy poszczególnymi wariantami. Analizując różnicę między mapą uśrednionego błędu (E20) oraz błędem rzeczywistym (Rys.73) można zauważyć, że skrajne wartości dodatnie lub ujemne występują na obszarach wydzielonych oraz w miejscach występowania linii nieciągłości. W wielu miejscach w przypadku obydwu obrazów różnicowych wartości skrajne są oddalone od zera o więcej niż 1 m. Przede wszystkim wynika to z niskiej rozdzielczości danych źródłowych, z których powstał model LPIS. Powoduje to duży stopień generalizacji rzeźby terenu co skutkuje pominięciem mniejszych form. Podobnie sytuacja przedstawia się na obrazie różnicy między odchyleniem standardowym (ESD) a wartością bezwzględną różnicy błędu rzeczywistego i uśrednionego błędu (E20) (Rys.74).
Rys.72. Wykres rozrzutu dla poszczególnych wariantów wykonanych metodą Carlisle’a (2002, 2005) dla NMT LPIS z wykorzystaniem NMT ISOK jako powierzchni referencyjnej.
121
Rys.73. Obraz różnicy między mapą uśrednionego błędu (E20) wygenerowaną metodą Carlisle’a (2002, 2005) oraz mapą błędu rzeczywistego modelu LPIS obliczoną przy pomocy NMT ISOK
Rys.74. Obraz różnicy między odchyleniem standardowym (ESD) uzyskanym metodą Carlisle’a (2002, 2005) dla wariantu 3 a wartością bezwzględną rzeczywistego błędu modelu LPIS obliczonego przy pomocy NMT ISOK pomniejszonego o mapę uśrednionego błędu (E20)
122
Tab. 42. Porównanie wariantów map błędów oraz odchylenia standardowego wykonanych metodą Carlisle’a (2002, 2005) dla NMT LPIS z wykorzystaniem NMT ISOK jako powierzchni
referencyjnej
Wariant Wykorzystane mapy μ [m] Wynik (μ) σ [m] Wynik (σ)
Liczba punktów n Wynik (n) Suma Wyników 1 ESD -0.1435 32 0.4325 20 13591 108 160 2 E, ESD -0.0916 38 0.4266 21 16279 130 189 3 E20, ESD -0.0132 48 0.3461 36 18751 149 234 4 E20SD -0.3937 0 0.5390 0 2213 18 18 5 E, E20SD -0.3419 7 0.5308 2 3195 25 34 6 E20, E20SD -0.2634 17 0.3522 35 3783 30 81
Kolejną metodą, którą poddano analizie było podejście geostatystyczne (Monte Carlo). W zasadzie wyniki (Tab. 43) nie odbiegają od tych, które otrzymano podczas wyboru najlepszego wariantu w oparciu o drugi zbiór danych referencyjnych GPS (por. Tab. 21 – podrozdział 7.3). Z uwagi na błąd systematyczny modelu LPIS, najlepsze rezultaty osiągane są po uprzednim poprawieniu modelu przy pomocy mapy błędów (E). Na Rys.75 przedstawiono obraz jej różnicy z mapą rzeczywistego błędu. Można zauważyć, że nie różni się ona znacząco od odpowiadającego obrazu uzyskanego z poprzedniej metody (Rys.73). Ponownie skrajne wartości różnic znajdują się na obszarach wydzielonych oraz w miejscach występowania linii nieciągłości. Przewagę podejścia geostatystycznego można natomiast zaobserwować na Rys.76, który przedstawia różnicę między odchyleniem standardowym (ESD) a wartością bezwzględną różnicy rzeczywistego błędu i mapy błędu (E). Metoda Monte Carlo nie posiada tendencji do niedoszacowywania dokładności. Przejawia się to brakiem wysokich wartości dodatnich na Rys.76.
Rys.75. Obraz różnicy między mapą błędu (E) wygenerowaną metodą Monte Carlo oraz mapą błędu rzeczywistego modelu LPIS obliczoną przy pomocy NMT ISOK
123
Rys.76. Obraz różnicy między odchyleniem standardowym (ESD) uzyskanym metodą Monte Carlo a wartością bezwzględną rzeczywistego błędu modelu LPIS obliczonego przy pomocy NMT ISOK
pomniejszonego o mapę błędu (E)
Tab. 43. Porównanie wariantów map błędów oraz odchylenia standardowego wykonanych metodą Monte Carlo dla NMT LPIS z wykorzystaniem NMT ISOK jako powierzchni referencyjnej Wariant Liczba symulacji, wykorzystane mapy μ [m] Wynik (μ) σ [m] Wynik (σ) Liczba punktów n Wynik (n) Suma Wyników 1 100, ESD -0.1325 0 0.5842 0 19388 155 155 2 100, E, ESD -0.0360 36 0.5523 5 25850 206 248
Ostatnią metodą, którą wykorzystano do przeprowadzenia estymacji przestrzennej dokładności NMT LPIS było podejście opierające się o wzór empiryczny (33) wyprowadzony przez Krausa (za Kraus, 2004; cytowanym przez Karel i Kraus, 2006). Metoda ta jest najprostszą do zastosowania spośród wszystkich wymienionych w niniejszym podrozdziale jednak ma tendencję do przeszacowywania odchylenia standardowego, zwłaszcza na terenach o większym nachyleniu. Podobnie jak w przypadku pozostałych przebadanych metod obszary wydzielone mają przeszacowaną dokładność. Przetestowano dwa warianty różniące się tym, czy NMT LPIS pozbawiono średniego błędu systematycznego. Lepsze rezultaty uzyskano usuwając wpływ tego błędu z modelu, ale różnica jest niewielka. Wyniki zestawiono w Tab. 44, natomiast obraz różnicy między uzyskaną mapą odchylenia standardowego (ESD) a wartością bezwzględną błędu rzeczywistego pomniejszonego o średni błąd systematyczny zilustrowano na Rys.77.
124
Tab. 44. Porównanie wariantów map odchylenia standardowego wykonanych za pomocą wzoru empirycznego (33) dla NMT LPIS z wykorzystaniem NMT ISOK jako powierzchni
referencyjnej
Wariant Wykorzystane dane μ [m] Wynik (μ) σ [m] Wynik (σ)
Liczba punktów n Wynik (n) Suma Wyników 1 ESD 0.0708 26 0.5335 0 26970 215 241 1a ESD, ME = -0.35 m 0.1505 0 0.5016 6 29841 238 244
Rys.77. Obraz różnicy między odchyleniem standardowym (ESD) uzyskanym za przy użyciu wzoru empirycznego (33) a wartością bezwzględną rzeczywistego błędu modelu LPIS pozbawionego
średniego błędu systematycznego (ME = -0.35 m) obliczonego przy pomocy NMT ISOK Podsumowując niniejszy podrozdział wybrano najlepszy wariant dla każdej metody i zestawiono je w jednej tabeli, celem wybrania tej, która uzyskała najlepszy rezultat (Tab. 45). Otrzymane wyniki są bardzo zbliżone do tych, które uzyskano w przypadku weryfikacji opartej o drugi zbiór danych referencyjnych GPS (por. podrozdział 8.1). Dla każdej z zastosowanych metod estymacji najlepszy wynik uzyskał ten sam wariant. Drobna różnica wystąpiła jedynie w kolejności poszczególnych metod. Dla zbioru referencyjnego GPS najlepsza okazała się metoda geostatystyczna, natomiast w przypadku zastosowania NMT ISOK jako rzeczywistej powierzchni terenu palmę pierwszeństwa otrzymała metoda opierająca się o wzór empiryczny (33). Różnica jednak nie jest zbyt znacząca. Wyniki przedstawiono również graficznie w formie wykresu rozrzutu na Rys.78.
Na Rys.79 przedstawiono dwa histogramy obrazujące w sposób graficzny rozkład różnic między mapą błędów rzeczywistych obliczonych z użyciem NMT ISOK jako powierzchni referencynej oraz odpowiednio mapą uśrednionego błędu (E20) otrzymaną metodą Carlisle’a (2002, 2005) i mapą błędu (E) pochodzącą z metody Monte Carlo. W celu lepszego porównania naniesiono
125
również krzywą Gaussa rozkładu normalnego o parametrach obliczonych na podstawie tych różnic. Zauważyć można, że oba wykresy są do siebie bardzo zbliżone, jednakże metodą Carlisle’a (2002, 2005) wykazuje większą koncentrację różnic w okolicy wartości pożądanej równej 0.
Tab. 45. Porównanie poszczególnych metod estymacji przestrzennego rozkładu błędu dla NMT LPIS z wykorzystaniem NMT ISOK jako powierzchni referencyjnej
L.p. Wykorzystane dane μ [m] Wynik (μ) σ [m] Wynik (σ)
Liczba punktów n Wynik (n) Suma Wyników 1 Kraus, wariant 3a -0.0632 29 0.5446 1 23515 187 218 2 Carlisle, wariant 3 -0.0132 46 0.3461 37 18751 149 232 3 Geostatystyka, wariant 2 -0.0360 38 0.5523 0 25850 206 244 4 Empiryczny, wariant 1a 0.1505 0 0.5016 9 29841 238 247
Rys.78. Porównanie poszczególnych metod estymacji przestrzennego rozkładu błędu w formie wykresu rozrzutu. Numery przy punktach odpowiadają L.p. z Tab. 45.
Rys.79. Histogramy różnic między mapami błędu uzyskanymi poszczególnymi metodami a błędem rzeczywistym
126