Założenia projektowe

Hierarchiczny model opisu podpisów odręcznych oparty o struktury i języki grafowe szczegółowo omawiany w poprzednich rozdziałach, stanowi podstawę do konstrukcji sys-temu rozpoznawania obrazów charakteryzujących się wariantowością kształtów w tym w szczególności będących tematem niniejszej pracy podpisów odręcznych. Wynika to z fak-tu, iż spełnia on wszystkie istotne warunki nakładane przez problem analizy tego typu struktur (podpisów) a mianowicie:

 Konieczność uchwycenia cech globalnych i lokalnych podpisu: zapewnia to dwu-poziomowa (hierarchiczna) struktura grafowa (por. rozdz. 4) oparta na atrybutowa-nych grafach IE,

 Efektywne obliczeniowo schematy porównywania podpisów: gwarantuje to oparcie nowych grafowych języków na probabilistycznych gramatykach klasy ETPL(k), dzięki czemu uzyskano wielomianowy stopień złożoności obliczeniowej dla pro-blemu analizy synataktycznej (por. rozdz. 5.3 i 5.4),

 Automatyczne generowanie bazy wiedzy (język formalny) opisującej wzorce: uzy-skane poprzez zdefiniowanie mechanizmów wnioskowania gramatycznego dla lo-sowych grafów IE i gramatyk probabilistycznych klasy ETPL(k) (por. rozdz. 5.1 i 5.2).

ROZDZIAŁ 6:OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH 137 Schemat funkcjonalny zaproponowanego prototypowego systemu jest przedstawiony na rys. 6.1. W jego działaniu można wyróżnić dwie fazy: on-line i off-line.

Pierwsza z nich jest odpowiedzialna za automatyczne konstruowanie wiedzy (w postaci języka formalnego), która będzie następnie sterować pracą systemu w czasie anali-zy i weryfikacji podpisów. Ta faza wykonywana jest jeden raz dla każdego zbioru wzor-cowych podpisów, a odpowiednie produkcje gramatyk(i) są przechowywane w pamięci do wielokrotnego wykorzystania.

Faza druga dotyczy właściwego procesu weryfikacji, gdzie badany podpis odręczny jest wprowadzany do systemu, konstruowana jest jego reprezentacja grafowa (hierarchicz-na) a następnie podejmowana decyzja o przynależności bądź nie do języka formalnego opisującego dopuszczalne warianty podpisu.

Poniżej zostaną omówione podstawowe zagadnienia koncepcyjno-konstrukcyjne związane z działaniem tego systemu. Rozpoczynając od fazy off-line, czyli etapu uczenia się i bu-dowania wiedzy przez system, można wyróżnić następujące kroki niezbędne do jej wyko-nania zgodnie ze schematem funkcjonalnym z rys. 6.1:

 rejestracja obrazów wzorcowych podpisów odręcznych – przetwarzanie odbywa się poza systemem z wykorzystaniem dostępnych metod konwersji podpisu utrwa-lonego na dokumencie papierowym na postać cyfrową (obraz wieloodcieniowy) m.in. skanowanie. Ze względu na wymaganą dokładność odwzorowania szczegó-łów obrazu wymagana jest minimalna rozdzielczość wykorzystywanego urządzenia optycznego rzędu 300⁶⁴ dpi. Ilość elementów ciągu uczącego w postaci próbek podpisów zapisanych w postaci cyfrowej nie może być zbyt mała, gdyż powinna gwarantować reprezentację wszystkich wariantów podpisu wykorzystywanych przez daną osobę w praktyce. W testach prowadzonych na potrzeby niniejszych ba-dań już liczebność rzędu kilkunastu próbek na osobę dawała w miarę zadowalające rezultaty.

64 Dla potrzeb niniejszej pracy do uzyskiwania cyfrowej postaci obrazów podpisów wykorzystywany był stacjonarny skaner płaski o maksymalnej rozdzielczości rzędu 2400x1200 dpi.

ROZDZIAŁ 6:OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH 138 Przetwarzanie wstępne Segmentacja (dekompozycja) na grafemy Opis cech lokalnych grafemów Analiza syntaktyczna (parsing) Obraz do rozpoznania Generacja reguł hierarchicznego języka losowego I poziomu

N-elementowy ciąg uczący (obrazy wzorcowe, próbki)

Klasyfikacja (rozpoznanie

obrazu)

aIE grafy

OFF_LINE: Generowanie bazy wzorców sterującej rozpoznawaniem ON-LINE: Rozpoznawanie/Weryfikacja

Opis cech globalnych

HIE graf

Generowanie reprezentacji strukturalnej

HIE graf +

skojarzone aIE grafy

Generowanie reprezentacji strukturalnej Obraz #1 Obraz #N HIE graf + aIE grafy HIE graf + aIE grafy Generacja jednolitej reprezentacji statystycznej HrIE grafy +

skojarzone arIE grafy

Generacja reguł języka losowego II poziomu gramatyki TLswETPL(k) + skojarzone gramatyki ac-swETPL(k) Wnioskowanie gramatyczne losowe

arIE grafy _ac-swETPL(k) ^gramatyki

ROZDZIAŁ 6:OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH 139

 przetwarzanie wstępne – w związku z prototypowym charakterem projektowanej aplikacji przyjęto założenie, iż pozyskiwane są „czyste” obrazy podpisów tzn. nie zawierające dodatkowych zaburzeń tła np. fragmentów pieczątek firmowych lub innych elementów dokumentu. Celem tego etapu jest zamiana obrazu wieloodcie-nowego otrzymanego na wejściu systemu na reprezentację w postaci szkielektu ob-razu (zob. rys. 6.2).

(a) (b)

(c) (d)

Rysunek 6.2. Etapy wstępnej obróbki obrazów podpisów: (a) obraz oryginalny wieloodcieniowy

(8 bitów na piksel), (b) obraz po binaryzacji, (c) szkielet obrazu po operacji ścieniania, (d) przykład defektu w postaci nieciągłości struktury linii szkieletu.

W tym celu wykonywane są podstawowe czynności związane z binaryzacją obrazu i usunięciem elementów o charakterze szumów ([148] [150] Wstępna filtracja jest dokonywana poprzez filtry dolnoprzepustowe i medianowe. Proces binaryzacji wy-korzystuje metodę Otsu z automatycznym wyznaczaniem progu ([105]), natomiast procedura szkieletyzacji wykorzystuje algorytm ścieniania zaproponowany w pracy Zhanga i Suena ([168]). Dodatkowo, jeśli na tym etapie zostaną wykryte potencjal-ne nieciągłości linii szkieletu (zob. rys. 6.2d i 6.3), możliwy jest powrót do obrazu binarnego i uruchomienie na nim selektywnego algorytmu rekonstrukcji linii (Shi i Govindaraju, [141]). Z otrzymanego szkieletu wynikowego usuwane są również elementy (linie) o zbyt małym rozmiarze, które mogą niekorzystnie wpływać na znaczącą kompikację struktury szkieletu i utrudniać analizę porównawczą.

ROZDZIAŁ 6:OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH 140

(a) (b)

(c) (d)

Rysunek 6.3. Poprawa jakości szkieletu obrazu na przykładzie fragmentu podpisu z rys. 6.2d: (a,c)

obraz binarny i odpowiadający mu szkielet z widocznymi nieciągłościami struktury, (b,d) obraz bi-narny i odpowiadający mu szkielet po rekonstrukcji i korekcie linii.

 segmentacja obrazu – etap ten jest kluczowy z punktu widzenia dalszego budowa-nia i analizy reprezentacji grafowej podpisu. Proces segmentacji jest realizowany na obrazie szkieletu podpisu w dwóch płaszczyznach, globalnej i lokalnej. Na po-ziomie globalnym wydzielane są spójne strukturalnie fragmenty podpisów na pod-stawie indeksacji pikseli metodą rozrostu obszarów (ang. region growing, [150]). Kryterium homogeniczności stanowi relacja bezpośredniego stykania się pikseli. Zwykle na obrazie podpisu można wyróżnić od kilku do kilkunastu takich fragmen-tów (por. rys. 6.4) odseparowanych od siebie. Na poziomie lokalnym w obrębie po-jedynczego fragmentu (grafemu) wyodrębniane są składowe pierwotne obrazu w postaci krzywych zawartych pomiędzy końcami oraz punktami krzyżowania się li-nii szkieletu (por. rys. 6.4). Dla każdej składowej pierwotnej obliczany jest także parametryczny opis kształtu oparty o momenty Zernike’a (por. rozdz. 4.1). Na tym etapie dla składowych lokalnych i globalnych wyznaczane są również ich wzajem-ne położenia, w postaci relacji topologicznych, wykorzystywawzajem-ne w dalszej kolejno-ści do konstrukcji reprezentacji grafowej.

Rysunek 6.4. Reguły segmentacji szkieletu podpisu na poziomie globalnym (grafemy) i lokalnym

ROZDZIAŁ 6:OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH 141

 budowa reprezentacji strukturalnej dla pojedynczego podpisu – dla wszystkich wzorców podpisów konstruowane są reprezentacje grafowe w warstwie globalnej (hierarchicznej) i lokalnej, szczegóły tego kroku opisane są obszernie w rozdz. 4.2 i 4.3. W warstwie lokalnej w oparciu o wzajemne położenie składowych pierwot-nych tworzących poszczególne grafemy rozpinane są opisujące je OS grafy. Na-stępnie dla każdego grafemu grafy te są konwertowane do postaci atrybutowanych grafów IE, z wbudowaną parametryczną informacją wykorzystującą momenty Zer-nike’a. W dalszej kolejności dla każdego podpisu konstruowane są hierarchiczne grafy IE reprezentujące przestrzenne ułożenie grafemów. W wierzchołkach tych grafów enkapsulowane są struktury grafowe reprezentujące warstwę lokalną. W tej fazie konstruowania reprezentacji mamy do czynienia z grafami deterministyczny-mi na obydwu poziomach opisu.

 budowa jednolitej reprezentacji statystycznej – na tym etapie dokonuje się automa-tycznego grupowania kolekcji struktur grafowych strukturalnie izomorficznych (wykazujących podobieństwo strukturalne) zarówno na poziomie globalnym (hie-rarchicznym, I poziomu) jak i lokalnym (II poziomu). Następnie dla każdej kolekcji grafów, system przepisujący dokonuje konwersji na opis losowy, jednocześnie określając informacje statystyczne odnoszące się do prawdopodobieństwa wystę-powania poszczególnych wariantów struktury – szczegółowy opis tego kroku znaj-duje się w rozdz. 4.4. W efekcie z wejściowego N-elementowego zbioru determini-stycznych hierarchicznych grafów IE reprezentujących sygnatury wzorcowe, otrzymujemy zbiór o znacznie zredukowanej liczebności opisany za pomocą loso-wych hierarchicznych grafów IE. Reprezentacja w postaci grafów losoloso-wych jest stosowana na obydwu poziomach struktury hierarchicznej.

 wnioskowanie gramatyczne – na podstawie jednolitej reprezentacji statystycznej w postaci kolekcji losowych hierarchicznych grafów HrIE oraz skojarzonych z nimi losowych atrybutowanych grafów arIE tworzone są w sposób automatyczny reguły gramatyk klasy ETPL(k), oznaczanych odpowiednio jako TLsETPL(k) i ac-swETPL(k). Grafy są traktowane jako pozytywne próbki języka. Dla każdego grafu losowego konstruowana jest jedna gramatyka zgodnie z opisem w rozdz. 5.2 – dzięki temu otrzymywana liczba reguł jest stosunkowo mało liczna (łatwiej jest

ROZDZIAŁ 6:OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH 142 wykorzystywać w analizie syntaktycznej kilka mniejszych zbiorów produkcji niż jeden bardzo liczny) a złożoność obliczeniowa algorytmu wnioskowania wielomia-nowa. Należy też wziąć pod uwagę istniejące ograniczenia a mianowicie, że nie dla każdego zbioru grafów IE można skonstruować jednolity język65

klasy ETPL(k) ([50]). Po zakończeniu tego etapu zbiór gramatyk ETPL(k) stanowi podstawę dzia-łania analizatora syntaktycznego (parsera) wykorzystywanego w fazie on-line.

Po realizacji fazy off-line system można uznać za nauczony i może on pracować w try-bie właściwej analizy rozpoznawczej nowych wzorców oznaczonym na modelu, jako tryb on-line. W tym trybie można dokonywać weryfikacji⁶⁶ podpisów/sygnatur pod kątem ich poprawności, czyli odnosząc to do stosowanego w pracy podejścia syntaktycznego, pod kątem przynależności do języka formalnego (lub zbioru języków formalnych) reprezentu-jącego wzorce sygnatur. Faza on-line składa się w dużej części z analogicznych kroków jak faza off-line z zastrzeżeniem, iż są one stosowane do pojedynczego obrazu podpisu, a nie zbioru podpisów wzorcowych. Poniżej przedstawiono ich wykaz wraz z opisem różnic lub dodatkowych kroków tam, gdzie one występują.

 rejestracja obrazu badanego podpisu odręcznego  przetwarzanie wstępne

 segmentacja obrazu

 budowa reprezentacji strukturalnej dla podpisu

Wszystkie w/w operacje są analogiczne jak w przypadku wcześniej opisanej fazy off-line z zastrzeżeniem, iż dotyczą pojedynczego obrazu podpisu. Efeketem jest otrzymanie opisu struktury podpisu odręcznego w postaci grafu hierarchicznego HIE oraz skojarzonych z nim atrybutowanych grafów aIE.

 analiza syntaktyczna – struktura grafowa HIE wraz ze skojarzonymi z nią grafami aIE (reprezentująca badany podpis) jest poddawana procesowi badania przynależ-ności do języka generowanego przez dostępne w systemie gramatyki TLsETPL(k) i skojarzone z nimi gramatyki ac-swETPL(k) (reprezentujące dopuszczalne warianty oryginalnego podpisu). Dzięki oparciu języka formalnego o grafy IE złożoność

65 Wynika to między innymi z ograniczeń nałożonych na aksjomat gramatyki i związanych w dziedziczeniem przez gramatyki klasy ETPL(k) własności do gramatyk TLP.

66 Powtarzając fazę off-line wielokrotnie można zebrać opisy syntaktyczne w postaci języków formalnych opisujących wiele wzorcowych zbiorów sygnatur co umożliwia w łatwy sposób na zastosowanie tego modelu także w procesie identyfikacji autora podpisu.

ROZDZIAŁ 6:OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH 143 liczeniowa algorytmu analizy syntaktycznej jest wielomianowa. Szczegóły budowy analizatora syntaktycznego są przedstawione w rozdz. 5.3 i 5.4. Ostatecznym efek-tem na tym etapie jest uzyskanie informacji o przynależności bądź nie badanego słowa (podpisu) do języka formalnego, co w konsekwencji oznacza uznanie podpi-su za poprawny lub sfałszowany.