Index of /rozprawy2/10347

Pełen tekst

(1)AKADEMIA GÓRNICZO-HUTNICZA im. Stanisława Staszica w Krakowie. Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki. mgr inż. Marcin Piekarczyk. PROBABILISTYCZNE GRAMATYKI GRAFOWE W ROZPOZNAWANIU I STATYCZNEJ ANALIZIE PODPISÓW ODRĘCZNYCH. ROZPRAWA DOKTORSKA. Promotor Prof. dr hab. Marek R. Ogiela. Kraków 2011.

(2) Niniejszą Pracę dedykuję mojej babci Ludwice i mamie Zofii za ich trud i poświęcenie.. Chciałbym wyrazić podziękowanie wszystkim osobom, które udzieliły mi wsparcia w czasie tworzenia tej pracy a w szczególności Panu Profesorowi Markowi Ogieli, promotorowi pracy, za inspirację do podjęcia badań, opiekę naukową oraz cenne dyskusje i uwagi.. Marcin Piekarczyk.

(3) SPIS TREŚCI. 3. Spis treści. 1 WSTĘP .......................................................................................................................................................... 4 2 GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW ...................................... 15 2.1 KLASYFIKACJA GRAMATYK GRAFOWYCH .............................................................................................. 15 2.2 GRAFOWE GRAMATYKI OBRAZOWE KLASY ETPL(K) I PROBABILISTYCZNE IE GRAFY ........................... 19 2.3 ANALIZA STRUKTURALNA I WNIOSKOWANIE GRAMATYCZNE ................................................................ 27 3 BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH ........................................ 29 3.1 PODPIS JAKO OBRAZ PODLEGAJĄCY ANALIZIE ROZPOZNAWCZEJ ........................................................... 29 3.2 CHARAKTERYSTYKA PRZESTRZENI CECH............................................................................................... 32 3.3 ANALIZA STATYCZNA I DYNAMICZNA PODPISÓW................................................................................... 36 4 MODEL REPREZENTACJI SYGNATUR ODRĘCZNYCH Z WYKORZYSTANIEM TECHNIK GRAFOWYCH .............................................................................................................................................. 42 4.1 PARAMETRYCZNY OPIS LOKALNYCH CECH PODPISU .............................................................................. 42 4.2 REPREZENTACJA OBIEKTÓW ZA POMOCĄ ATRYBUTOWANYCH IE GRAFÓW ........................................... 48 4.3 REPREZENTACJA PODPISÓW JAKO SCEN Z WYKORZYSTANIEM GRAFÓW HIERARCHICZNYCH ................. 54 4.4 REPREZENTACJA KOLEKCJI SYGNATUR W POSTACI LOSOWYCH GRAFÓW HIERARCHICZNYCH ............... 61 5 ROZPOZNAWANIE PODPISÓW W OPARCIU O BAZĘ WZORCÓW ........................................... 69 5.1 MODEL ANALIZY SKŁADNIOWEJ GRAFÓW IE DLA PROBABILISTYCZNYCH GRAMATYK GRAFOWYCH KLASY ETPL(K) .......................................................................................................................................... 69 5.2 KOMPLEKSOWA ANALIZA SCEN W OPARCIU O GRAFY HIERARCHICZNE .................................................. 93 5.3 KONSTRUOWANIE STATYSTYCZNEJ GRAMATYKI ETPL(K) .................................................................. 104 5.4 WNIOSKOWANIE GRAMATYKI HIERARCHICZNEJ TLSW ETPL(N,K) NA PODSTAWIE IE GRAFÓW BADANYCH CECH ....................................................................................................................................... 131 6 OPIS IMPLEMENTACJI SYSTEMU DO GRAFOWEJ ANALIZY PODPISÓW ODRĘCZNYCH ....................................................................................................................................................................... 136 6.1 ZAŁOŻENIA PROJEKTOWE .................................................................................................................... 136 6.2 IMPLEMENTACJA APLIKACJI HSANALYZER ......................................................................................... 143 6.3 ILUSTRACJA DZIAŁANIA APLIKACJI ...................................................................................................... 144 6.4 WYNIKI EKSPERYMENTALNE ............................................................................................................... 148 7 PODSUMOWANIE .................................................................................................................................. 159 7.1 WYKAZANIE TEZY BADAWCZEJ ........................................................................................................... 159 7.2 NAJWAŻNIEJSZE OSIĄGNIĘCIA NAUKOWE ............................................................................................ 159 7.3 KIERUNKI BADAŃ ................................................................................................................................ 161 LITERATURA ............................................................................................................................................ 163 DODATEK A: WYBRANE POJĘCIA Z DZIEDZINY JĘZYKÓW GRAFOWYCH ......................... 172 DODATEK B: STATYSTYCZNE GRAMATYKI GRAFOWE KLASY ETPL(K)............................. 182.

(4) ROZDZIAŁ 1: W STĘP. 4. 1 Wstęp Od dziesięcioleci naukowcy próbują wyposażyć maszyny, a w szczególności komputery w zdolności zbliżone do ludzkich w zakresie analizy, rozpoznawania i rozumienia różnego rodzaju sygnałów i danych, w tym również obrazów. Działania badawcze z tym związane są domeną dyscyplin związanych z systemami wizyjnymi oraz rozpoznawaniem obrazów (ang. computer vision) [26], [148]. Jednym z obszarów wciąż stanowiących w tym kontekście duże wyzwanie dla badaczy, są zadania związane z automatyczną weryfikacją podpisów odręcznych (ang. Handwritten Signatures Veryfication, HSV). Jest to dziedzina wymagająca wysokiej specjalizacji, ale równocześnie bardzo interdyscyplinarnego podejścia w prowadzonych pracach badawczych [121]. Realizacja precyzyjnie określonego celu jakim jest odróżnienie prawidłowych podpisów (ang. genuine signature) od lepszej lub gorszej jakości fałszerstw (ang. forgery handwritten signature) wymaga znajomości wielu zagadnień związanych z takimi dziedzinami jak biometria [149], psychomotoryka, percepcja wizualna człowieka [26], przetwarzanie (ang. image processing) [114], [150] i rozpoznawanie obrazów (ang. pattern recognition) [56], [69], [85], [147], reprezentacja wiedzy, uczenie maszynowe (ang. machine learning) czy wreszcie aspekty kryminalistycznej (ang. forensic) [40], [83] i grafologicznej analizy pisma. Podstawowym założeniem leżącym u podstaw analizy pisma odręcznego jest stwierdzenie, że pismo każdego człowieka posiada indywidualne i niepowtarzalne cechy. Aspekt ten może być rozważany w dwóch płaszczyznach. W sensie biometrycznym jako, że cechy podpisu stanowią wzorzec jednoznacznie identyfikujący konkretnego człowieka oraz w aspekcie procesu składania podpisu, gdyż każde dwie sygnatury1 wytworzone przez tą samą osobę będą się w pewnym stopniu różnić tzw. wielowariantowość (zmienność cech) podpisów2. Ta druga cecha wynika bezpośrednio z własności psychomotorycznych osoby. 1. Znak lub napis rozpoznawczy mający znaczenie podpisu; w niniejszym opracowaniu używany jako synonim określenia 'podpis odręczny'. 2. Wskaźnik niestabilności cech określa częstość z jaką w badanym zbiorze próbek pisma rozpatrywana cecha graficzna przyjmuje wartości będące poza tzw. utrwalonym wzorcem (wartością występującą w zbiorze próbek najczęściej) [95] . W Polsce badania na temat zmienności cech pisma odręcznego prowadzone są m.in. w Instytucie Ekspertyz Sądowych im. Prof. Dra Jana Sehna w Krakowie..

(5) ROZDZIAŁ 1: W STĘP. 5. dokonującej aktu podpisywania oraz własności innych elementów otoczenia, w którym ten akt podpisu jest dokonywany np. rodzaju urządzenia piszącego czy rodzaju papieru. W warstwie graficznej podpisy odręczne charakteryzują się bardzo dużą różnorodnością form i to nawet wśród ludzi z tego samego kręgu kulturowego, posługujących się tym samym językiem. Jak zauważają Brault i Plamondon w [10] część sygnatur jest złożona i skomplikowana, ale pojawiają się także proste i stosunkowo łatwe do podrobienia. Niektóre osoby podpisują się po prostu swoim imieniem lub nazwiskiem, a podpisy innych mogą być kompletnie niezwiązane z tymi elementami. Co ciekawe mimo wysokiego stopnia skomplikowania tego typu danych, eksperci zajmujący się analizą pisma odręcznego są w stanie z bardzo wysoką skutecznością wykrywać fałszerstwa, a paradoksalnie dużo większe problemy sprawia im weryfikacja prawdziwych sygnatur. Jak wskazuje się w [64], aż 25% prawdziwych (ang. genuine) podpisów jest odrzucane przez wykwalifikowanych ekspertów podczas, gdy bezbłędnie wykrywają oni wszystkie przypadki fałszerstwa. Natomiast w przypadku osób niewytrenowanych w analizie tego typu danych procent akceptacji fałszywek może dochodzić nawet do 50%. Pokazuje to z jak wyrafinowanym i trudnym problemem rozpoznawania mamy do czynienia. Należy również zauważyć, iż pośród innych znanych cech biometrycznych człowieka jak wzorzec linii papilarnych i siatkówki oka, geometria dłoni, rysy twarzy czy charakterystyka głosu - podpisy odręczne (ang. handwritten signatures) są jednym z najbardziej powszechnych sposobów potwierdzania tożsamości od starożytności, aż do czasów współczesnych. W krajowym i międzynarodowym obiegu znajdują się miliony dokumentów zawierających podpisy odręczne. Wszelkiego rodzaju umowy cywilnoprawne jak i znaczna część transakcji finansowych (np. wystawianie czeków, płatności kartami kredytowymi) wymaga potwierdzania tożsamości w postaci złożenia własnoręcznego podpisu. Ze względu na masową skalę tego typu czynności istnieje zapotrzebowanie zarówno ze strony ogólnie pojętego sektora bankowego jak i instytucji związanych z organami ścigania na technologie i systemy umożliwiające automatyzację procesu weryfikacji podpisów. Weryfikacja jest tu rozumiana jako zbadanie w kategoriach prawdy i fałszu tezy o przynależności danej.

(6) ROZDZIAŁ 1: W STĘP. 6. realizacji3 podpisu do klasy podpisów należących do wskazanej osoby. Organy ścigania są również zainteresowane systemami umożliwiającymi identyfikację osoby na podstawie jej sygnatury, czyli wskazanie klasy do jakiej należy dany podpis. Jest to w pewnym sensie uogólnienie zadania weryfikacji. Tego typu technologie są bardzo poszukiwane również ze względu na możliwości zastosowania w systemach zabezpieczeń oraz ochrony informacji, która w dobie społeczeństwa informacyjnego (opartego na wiedzy) jest niewątpliwie bardzo wartościowym towarem. Widać więc, iż istnieje szeroki obszar ich praktycznych zastosowań. W kategoriach jakościowych zadanie rozpoznawania podpisów odręcznych możemy powiązać z dwoma grupami technik, które odnoszą się do sposobu pozyskiwania danych do analizy. W literaturze mówi się o metodach analizy off-line i on-line lub inaczej odpowiednio o analizie statycznej i dynamicznej. Metody statyczne (ang. off-line signature verification) odnoszą się do analizy wyłącznie kształtu (rysunku) podpisu pozyskanego bezpośrednio z dokumentu źródłowego, na którym ów podpis został złożony. Akwizycja tego typu danych odbywa się najczęściej poprzez cyfrowe urządzenia do rejestracji obrazu np. skaner optyczny, aparat czy kamerę cyfrową. Podejście dynamiczne (ang. on-line signature verification) bazuje na danych otrzymywanych bezpośrednio w trakcie procesu składania podpisu. Można powiedzieć, że mamy tu do czynienia niejako z „obserwacją” podpisu podczas jego tworzenia. W efekcie otrzymujemy do analizy zarówno jego charakterystykę wizualną (obraz w przestrzeni dwuwymiarowej) jak i dodatkowe dane charakteryzujące cechy biomotoryczne osoby, która się podpisuje m.in. dynamikę 4 (zmiany szybkości i kierunku ruchu), siłę nacisku czy sposób trzymania pióra (kąt nachylenia w stosunku do podłoża). Z reguły rejestracja tego typu danych jest realizowana poprzez wykorzystanie dedykowanych stanowisk, przeznaczonych do rejestrowania parametrów dynamicznych sygnatury, wyposażonych w specjalizowane graficzne tablety [107].. 3. Taka pojedyncza realizacja podpisu jest często w literaturze określana mianem 'tokenu'. W przypadku, gdy mamy do czynienia tylko ze statycznym obrazem podpisu (warstwą graficzną) bez charakterystyk dynamicznych można też używać pojęcia 'token x-y'.. 4. W ogólnym przypadku rodzaj i ilość rejestrowanych parametrów dynamicznych zależy od stopnia złożoności stanowiska pomiarowego.

(7) ROZDZIAŁ 1: W STĘP. 7. Statyczne podejście do analizy tego typu danych jest uważane za zdecydowanie trudniejsze niż analiza dynamiczna [145]. Wiąże się to głownie z ilością informacji (danych) jaką dysponujemy podczas procesu rozpoznawania. Oczywiście znacząco większa i bardziej wszechstronna ilość danych jest do dyspozycji w systemach on-line. Przy proponowaniu konkretnych rozwiązań szczególną uwagę należy zwrócić na ich wiarygodność, efektywność i przydatność w praktyce (odpowiednio niski poziom błędów, por. rozdz. 3). W literaturze opisany jest szereg technik, które mogą być wykorzystane do analizy i rozpoznawania obrazów w ogólności [147], [56] a tym samym także w obszarze analizy podpisów odręcznych. Pod względem stosowanej metodyki można je podzielić na dwie główne grupy metod: statystyczne (decyzyjno-teoretyczne) oraz syntaktyczne (strukturalne) jak to przedstawiono na rysunku 1.1. Metody (techniki) rozpoznawania obrazów. Metody statystyczne (decyzyjno-teoretyczne). Metody syntaktyczne (strukturalne). Systemy Bayesowskie. Dopasowywanie wzorców. Sieci neuronowe. Analiza języków formalnych. Systemy rozmyte. Analiza języków ciągowych. Analiza języków drzewowych Metody minimalnoodległościowe Analiza języków grafowych. Rysunek 1.1 Ogólny podział metod rozpoznawania obrazów (obszary będące przedmiotem rozważań niniejszej pracy zostały wyróżnione za pomocą obramowania).. Metody decyzyjno-teoretyczne (ang. decision-theoretic pattern recognition, statistical pattern recognition) [17], [32], [29], [59], [69], [85] charakteryzują się tym, iż obraz jest reprezentowany przez pewien zbiór (wektor) cech. Cechy te, jako charakterystyczne miary.

(8) ROZDZIAŁ 1: W STĘP. 8. identyfikujące jednoznacznie konkretny obraz, wyznaczane są na podstawie pewnej puli obrazów wzorcowych (ciąg uczący). Obraz stanowi niejako punkt w wielowymiarowej przestrzeni cech. Proces rozpoznawania polega w tym przypadku na podziale tej przestrzeni na klasy i każdorazowym przyporządkowaniu badanego obrazu do jednej z wybranych klas. Do tego typu technik należą metody minimalno-odległościowe (wykorzystujące metryki), sieci neuronowe, metody uwzględniające zbiory rozmyte czy klasyfikatory Bayesowskie (probabilistyczne). Drugą grupę technik stanowią metody strukturalne (ang. syntactic pattern recognition, structural analysis) [14], [58], [110], [147]. Są one szczególnie przydatne w przypadku obrazów o dużej złożoności, posiadających strukturę hierarchiczną, których analiza technikami statystycznymi jest mało skuteczna. Idea tego podejścia opiera się na rozpatrywaniu złożonego obrazu (sceny) jako pewnej struktury hierarchicznej składającej się z prostszych elementów (podobrazów). Podobrazy te można rozkładać (dzielić) na jeszcze prostsze elementy, aż do momentu, gdy uzyskane składowe dają się efektywnie rozpoznawać (identyfikować) za pomocą technik decyzyjno-teoretycznych. Takie proste elementy obrazu noszą nazwę składowych pierwotnych (ang. picture primitives). W tej grupie technik można wyróżnić metody oparte o dopasowywanie wzorców (ang. template matching) oraz o analizę języków formalnych ciągowych, drzewowych lub grafowych (ang. formal languages). Metody te wykorzystywane są szczególnie w tych zastosowaniach, gdzie techniki decyzyjno-teoretyczne okazują się mało skuteczne. Można tu wskazać między innymi takie obszary jak rozpoznawanie twarzy [169] i odcisków palców (systemy biometryczne), identyfikacja ideogramów5 (na przykład pismo chińskie, japońskie6) [58], medycyna [151], [152], [101], elektronika [6], mechanika [148], [103] czy fizyka [75]. W literaturze można spotkać również pewne zmodyfikowane warianty tego ogólnego podziału. I tak w [143] autor proponuje podział na metody statystyczne (decyzyjno-. 5. Ideogram to umowny znak graficzny wyrażający określoną treść bez użycia liter (łac. idea - prawzór; gr. idea - kształt, wyobrażenie, gr. grámma - litera, pismo). W przeszłości ideogramy były używane w charakterze pisma w starożytnym Egipcie, obecnie w niektórych krajach azjatyckich np. Chiny i w Japonii.. 6. Do zapisu języka japońskiego używa się znaków chińskich nazywanych kanji (dosł. „znaki Hanów”). Dokładne określenie ilości znaków kanji jest trudne, ocenia się, że może ich być nawet ponad 50 tys. w tym wiele znaków bardzo rzadko używanych. Oficjalny podstawowy zestaw (1991 r.) będący w powszechnym użyciu to 2229 znaków [68] ..

(9) ROZDZIAŁ 1: W STĘP. 9. teoretyczne), syntaktyczne (strukturalne) oraz dodatkowo techniki wykorzystujące sieci neuronowe (ang. neural networks), natomiast w [20] autor dzieli metody rozpoznawania obrazów na metody dopasowywania wzorców (ang. template matching techniques), metody statystyczne (ang. statistical techniques) i metody strukturalne (ang. structural techniques). Metody syntaktyczne (lingwistyczne) realizują proces rozpoznawania poprzez budowanie analogii pomiędzy strukturą analizowanego obrazu a składnią pewnego języka formalnego (ang. formal language). Obraz podlegający rozpoznawaniu jest traktowany jako słowo lub zdanie należące do tego języka natomiast składowe pierwotne są literami alfabetu. Zdania są generowane na podstawie ściśle zdefiniowanej gramatyki (ang. formal grammar). Pozwala to na przechowywanie dużej ilości wzorców w postaci niewielkiej ilości składowych pierwotnych i reguł gramatyki. Biorąc pod uwagę typ reprezentacji struktury badanego obrazu (łańcuch, drzewo, graf) można dokonać podziału tych metod na trzy grupy: . metody ciągowe, m. in. prace [3], [4], [51], [57], [60], [70], [71], [74], [75], [88], [98], [100], [109], [113], [136], [137], [146], [156], [154], [163],. . metody drzewowe, m. in. prace [7], [15], [16], [90], [91], [92], [126], [138],. . metody grafowe, m. in. prace [11], [43], [44], [45], [48], [50], [52], [84], [111], [139], [142], [143], [159].. Historycznie najwcześniej powstałą grupą są metody ciągowe, które opierają się na opisie obiektu za pomocą łańcucha reprezentującego składowe pierwotne. Jedyną formą relacji mogącą zachodzić pomiędzy elementami takiego ciągu jest relacja konkatenacji [58], [147] (doklejania kolejnych elementów). Nadają się one do rozpoznawania prostych obrazów złożonych z pojedynczych obiektów. Do najbardziej znanych przykładów języków ciągowych można zaliczyć języki oparte na kodach łańcuchowych Freemana (ang. Freeman chain codes) [54], [55], języki opisu obrazów Shawa (ang. picture description language, PDL) [136] czy języki opisu cech kształtów Jakubowskiego (ang. shape feature description language, SFDL) [70], [71]..

(10) ROZDZIAŁ 1: W STĘP. 10. Metody drzewowe bazują na teorii języków i automatów drzewowych. Drzewo jako struktura o znacznie większej złożoności niż ciąg wymaga zastosowania bardziej skomplikowanych metod analizy syntaktycznej. Przegląd teorii związanej z ta dziedziną lingwistyki matematycznej można znaleźć m. in. w pracach [22] i [58].W rozpoznawaniu obrazów wykorzystuje się najczęściej automat typu deterministycznego (DF) analizujący strukturę drzewa od liści do korzenia (ang. Deterministic Frontier-to-root recognizer, bottom-up), definiowany dla ekspansywnej gramatyki drzewowej. Metody wykorzystujące ten automat mogą się opierać się albo o drzewa EDT (ang. Edge-labelled Directed Tree) o skierowanych i zaetykietownych krawędziach albo o drzewa proste T, których krawędzie są pozbawione etykiet i nieskierowane. Podejście pierwsze może być zastosowane do analizy sceny, drugie jest wykorzystywane w analizie tekstur [46]. Trzecia klasa metod wykorzystuje gramatyki grafowe. Formalizm ten charakteryzuje się największą mocą opisową spośród omawianych technik [46], co powoduje, iż jest powszechnie i chętnie stosowany do opisu obrazów dwu- i trójwymiarowych [73]. Jednak w obszarze rozpoznawania obrazów efektywne stosowanie języków grafowych jest w praktyce znacznie ograniczone. Wiąże się to z trudnościami związanymi ze złożonością obliczeniową problemu analizy syntaktycznej (parsingu). W ogólnym przypadku problem badania izomorfizmu grafów jak również bezpośrednio z nim związany problem rozstrzygalności7 języków grafowych (ang. membership problem) jest NP-zupełny8 [9]. Wynika to poniekąd z samej natury grafów, które, w porównaniu do struktur opartych na łańcuchach czy drzewach, są strukturami zarówno bardziej skomplikowanymi jak i wysoce nieupo-. 7. Problem jest rozstrzygalny, jeśli istnieje metoda umożliwiająca rozwiązanie tego problemu w skończonej liczbie kroków lub też jeśli istnieje algorytm przyjmujący jako wejście wystąpienie tego problemu i rozstrzygający czy odpowiedzią na to wystąpienie jest TAK czy NIE [65] . Bezpośrednio w odniesieniu do języków formalnych można posłużyć się definicją zamieszczoną w [23] : „Język L jest rozstrzygalny w czasie wielomianowym za pomocą algorytmu A, jeśli dla dowolnego słowa x  {0,1}* długości n algorytm rozstrzyga przynależność x do L w czasie O(nk) dla pewnej stałej k”.. 8. Dla problemów z klasy NP (ang. Nondeterministic Polynomial) nie istnieją znane deterministyczne rozwiązania oparte na algorytmach o złożoności wielomianowej, czyli w ujęciu informatycznym są to problemy trudne obliczeniowo (trudno rozwiązywalne). Problem NP-zupełny (ang. NPC, NP-complex) to problem, który należy do klasy NP oraz dowolny inny problem należący do NPC może być do niego zredukowany w czasie wielomianowym. Problemy tego typu traktuje się jako najtrudniejsze z punktu widzenia wielomianowej rozwiązywalności. Rozwiązanie jednego problemu klasy NPC implikuje rozwiązywalność wszystkich problemów klasy NP..

(11) ROZDZIAŁ 1: W STĘP. 11. rządkowanymi9. Szczegółową dyskusję na temat parsingu języków grafowych można znaleźć na przykład w pracy [50].. Klasyfikacja (rozpoznanie obrazu). Obraz do rozpoznania. Strukturalna reprezentacja obrazu. Przetwarzanie wstępne. Segmentacja (dekompozycja). Rozpoznanie składowych pierwotnych i relacji między nimi. Analiza syntaktyczna (parsing). Gramatyka (opis języka) Ciąg uczący (strukturalne reprezentacje obrazów wzorcowych, próbek). Wnioskowanie gramatyczne. Rysunek 1.2 Schemat typowego systemu syntaktycznego rozpoznawania (klasyfikacji) obrazów.. Rysunek 1.2 ilustruje ogólną strukturę systemu syntaktycznego rozpoznawania obrazów [58]. Proces rozpoznawania jest realizowany dwuetapowo, najpierw poprzez fazę analizy (wnioskowania) a następnie poprzez właściwą fazę rozpoznawania. Etap analizy koncentruje się na utworzeniu odpowiedniej reprezentacji wiedzy, niezbędnej do skutecznej pracy algorytmu rozpoznającego, budowanej na podstawie pewnego ciągu obrazów wzorcowych. W przypadku metod syntaktycznych wiedza ta przechowywana jest w postaci języka formalnego L a ściślej w postaci reguł gramatyki G opisującej język L(G). Konstrukcja takiego zbioru reguł na podstawie pewnej liczby próbek (wzorców) może odbywać się z udziałem człowieka (manualnie) lub w sposób zautomatyzowany z wykorzystaniem mechanizmów wnioskowania gramatycznego (ang. grammatical. 9. W przypadku łańcuchów sama ich struktura definiuje porządek liniowy, natomiast w przypadku drzew mamy również określony pewien (przynajmniej częściowy) porządek..

(12) ROZDZIAŁ 1: W STĘP. 12. inference). Na tym etapie powinien być również skonstruowany analizator syntaktyczny (parser) odpowiedni dla rozważanej gramatyki G. W fazie rozpoznawania dokonuje się natomiast właściwy proces oceny i klasyfikacji nieznanego obrazu pojawiającego się na wejściu. Proces ten można podzielić na kilka etapów: . przetwarzanie wstępne (ang. preprocessing), które obejmuje kodowanie, aproksymację, filtrację (eliminację zakłóceń) i wzmacnianie,. . utworzenie strukturalnej reprezentacji obrazu, której celem jest wydobycie istotnej informacji z obrazu poprzez wykorzystanie technik segmentacji, identyfikacji składowych pierwotnych a następnie określenia wzajemnych relacji pomiędzy nimi,. . analizę syntaktyczną, czyli proces badania kwestii przynależności danego słowa (w postaci łańcucha, drzewa lub grafu) reprezentującego analizowany obraz do pewnego języka formalnego.. Metody wykorzystywane w fazie przetwarzania wstępnego oraz na etapie segmentacji należą do obszaru badań określanego ogólnie jako przetwarzanie obrazu10 (ang. image processing). Obszerną analizę technik i metod możliwych do zastosowania na tym etapie można znaleźć między innymi w takich opracowaniach jak [114], [132], [150]. Inspiracją do zajęcia się problematyką analizy statycznej podpisów odręcznych były zainteresowania autora dotyczące systemów identyfikacji i weryfikacji opierających się wzorcach biometrycznych. Proces analizy kryminalistycznej dokumentów przechowywanych w formie papierowej i podpisywanych odręcznie jest do dzisiaj wykonywany w sposób mało zautomatyzowany. Główną część pracy wykonują tu ludzie – eksperci wyspecjalizowani w analizie tego typu danych (biegli w dziedzinie identyfikacyjnych badań pisma). Mimo znacznego postępu w dziedzinie technik i metod rozpoznawania obrazu komputer nadal jest w większości przypadków wykorzystywany jedynie jako pomocnicze narzędzie wspomagające analizę. Jest więc ciągle miejsce na prowadzenie badań i proponowanie 10. Terminem przetwarzanie obrazów określa się tą grupę metod (technik), w których zarówno dane wejściowe jak i wyjściowe mają postać obrazów [114] ..

(13) ROZDZIAŁ 1: W STĘP. 13. rozwiązań, które mogą usprawniać ten proces szczególnie w kierunku coraz większej automatyzacji i niezawodności. Niektóre inne wzorce biometryczne doczekały się już tego typu rozwiązań. Przykładem może tutaj być analiza daktyloskopijna (ang. dactyloscopy) czyli proces analizy porównawczej linii papilarnych (ang. fingerprints), który jest już obecnie wysoce zautomatyzowany. Bardzo różne metody mogą być zastosowane do rozpoznawania i analizy grafizmu11 podpisów. Zaproponowane w niniejszej pracy podejście syntaktyczne z wykorzystaniem gramatyk grafowych posiada z pewnością bardzo duży potencjał opisowy. Jak wskazywano wcześniej, jednym z jego mankamentów jest jednak wysoki stopień złożoności obliczeniowej procedur analizy składniowej tego typu struktur. Dlatego też proponuje się zastosowanie do tego celu gramatyk klasy ETPL(k) opartych na grafach IE oraz losowych grafach IE [143] . Dla tej klasy gramatyk są zdefiniowane efektywne algorytmy analizy syntaktycznej o złożoności wielomianowej. Badania prowadzone przez autora dały na tyle obiecujące wyniki, iż wskazywały na możliwości praktycznego zastosowania tych formalizmów do analizy rozpoznawczej sygnatur odręcznych. Część wyników badań została zamieszczona w pracach [108] i [115]. Opierając się na przedstawionych argumentach i wynikach badań postanowiono określić następującą tezę badawczą: Możliwe jest zdefiniowanie nowych lingwistycznych formalizmów w postaci gramatyk grafowych klasy ETPL(k), bazujących na statystycznych IE grafach oraz grafach hierarchicznych, które pozwalają na jednoznaczną identyfikację zadanych wzorców sygnatur odręcznych.. Wykazanie takiej tezy będzie polegało na realizacji następujących etapów badawczych: 1. zdefiniowaniu strukturalnej reprezentacji graficznej warstwy podpisów (por. rozdz. 4) z wykorzystaniem grafów hierarchicznych opartych na IE grafach,. 11. Mianem grafizmu określa się zespół cech graficznych pisma (podpisu) [83] . W niniejszej pracy zamienne jest używane również pojęcie warstwa graficzna podpisu..

(14) ROZDZIAŁ 1: W STĘP. 14. 2. zdefiniowaniu strukturalnej reprezentacji informacji o dopuszczalnych zmianach w strukturze wzorcowych sygnatur (por. rozdz. 4 i 5.4) z wykorzystaniem grafów hierarchicznych opartych na losowych grafach IE. 3. opracowaniu także modelu analizy składniowej grafów IE dla probabilistycznych gramatyk grafowych klasy ETPL(k) (por. rozdz. 5.3). Dla potrzeb procesu rozpoznawania zaproponowano także mechanizm wnioskowania reguł syntaktycznych nieznanej gramatyki statystycznej ETPL(k) na podstawie ograniczonej liczby próbek podpisu (por. rozdz. 5.2). Realizacja wymienionych etapów pozwoli na opracowanie nowej metodologii wykorzystania metod strukturalnych (opartych na językach grafowych) do zadań analizy statycznych sygnatur odręcznych. Opracowane w ten sposób metody będą stanowiły nowe rozwiązania w dziedzinie komputerowego rozpoznawania i analizy sygnatur odręcznych. Jak wykazały przeprowadzone przez autora rozprawy badania literaturowe, grafowe metody syntaktyczne nie były wcześniej wykorzystywane w takim celu badawczym, co może powodować, że niniejsza praca ma znamiona nowatorskiej koncepcji naukowej..

(15) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 15. 2 Grafowe formalizmy syntaktycznej analizy obrazów W niniejszym rozdziale zostaną przedstawione podstawowe informacje odnoszące się do gramatyk grafowych i ich wykorzystania w rozpoznawaniu obrazów. Zaprezentowany zostanie zarówno ich rozwój jak i obecnie stosowane formalizmy, ze szczególnym uwzględnieniem gramatyk klasy ETPL(k). W przypadku tych ostatnich omówiona zostanie zarówno podstawowa koncepcja parsingu jak i budowa grafów klasy IE, generowanych przez te gramatyki. W ramach tego rozdziału przedstawiona zostanie również problematyka reprezentacji i analizy obrazów zniekształconych, w tym m.in. przez losowe IE grafy. Opisane zostaną także podstawowe kwestie związane z automatycznym wnioskowaniem reguł gramatyki w przypadku struktur grafowych i związane z tym trudności. Wiele istotnych informacji dotyczących takich rodzajów gramatyk można znaleźć także w [43], [44], [45], [46], [47], [48], [50], [52], [142], [143].. 2.1 Klasyfikacja gramatyk grafowych Problematyka gramatyk grafowych12 zajmowała badaczy już od późnych lat sześćdziesiątych XX wieku. Pierwszy formalny model automatu, jaki można tutaj przywołać, został zaproponowany w 1968 roku przez Bluma i Hewitta [8]. Jednak pomimo dużego znaczenia problemu (szczególnie w kontekście aplikacyjnym) na przełomie ostatnich 40 lat opracowano stosunkowo niewiele algorytmów pozwalających na efektywną analizę syntaktyczną tego typu struktur. W pierwszym okresie badania były związane z gramatykami pajęczynowymi (ang. web grammars) zaproponowanymi przez Rosenfelda i Pfaltza [112]. Rosenfeld i Milgram [131] zdefiniowali model automatu formalnego dla tej klasy języków w 1972 roku, natomiast parser został skonstruowany w 1977 roku przez Brayera [12]. W 1978 roku pojawiły się dwie kolejne propozycje algorytmów analizy syntaktycznej. Jedna to praca Francka [53] definiująca algorytm parsingu dla gramatyk Ehriga-Schneidera [33]. W drugiej Dell Vigna i Ghezzi [27] opisali konstrukcję parsera dla gramatyk grafowych. 12. Dyskusja literaturowa została oparta ma przeglądowej pracy prof. Mariusza Flasińskiego [50] oraz przygotowanej na jej podstawie dyskusji literaturowej w pracy Marusza Barana [6] ..

(16) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 16. opartych na modelu Pratta [123]. Na początku lat osiemdziesiątych prowadzone były również intensywne prace nad teorią złożoności obliczeniowej problemu analizy syntaktycznej języków grafowych. Zaowocowało to opublikowaniem przez Brandenburga [9] i Turana [157] serii twierdzeń o NP-zupełności problemu parsingu dla nietrywialnych klas gramatyk grafowych. W 1983 roku Fu i Shi zdefiniowali parser dla opracowanych przez siebie ekspansywnych gramatyk grafowych [139]. Moc dyskryminacyjna tych gramatyk okazała się na tyle duża, że można je było z powodzeniem wykorzystywać do efektywnej analizy obrazów w praktyce. Następnie w roku 1988 Lautemann opisał schemat analizy syntaktycznej dla gramatyk hyper-krawędziowych [86] charakteryzujący się wielomianową złożonością obliczeniową, a Flasiński zdefiniował parser [43] dla wprowadzonej przez siebie podklasy ETL(1) (ang. Embedding Transformation-preserved Linear graph grammar) gramatyk klasy edNLC (ang. edgelabeled directed Node-Label Controlled graph grammars) [72]. Rok 1990 przyniósł niezależnie opublikowane propozycje rozwiązań dotyczących analizy syntaktycznej dla tzw. gramatyk plexowych [39] opracowane przez Bunkego i Hallera [13] oraz Penga, Yamamoto i Aoki [111]. Niestety opracowywane w latach osiemdziesiątych rozwiązania nie przyniosły znaczącej poprawy jeśli chodzi o efektywność analizy syntaktycznej języków grafowych w stosunku do tego co oferowały ekspansywne gramatyki grafowe. Różne były tego przyczyny. Proponowane metody albo charakteryzowały się zbyt dużą złożonością obliczeniową parsingu (niewielomianową)13, albo odnosiły się do klas gramatyk, na które nakładano bardzo duże ograniczenia formalne, co powodowało znaczne utrudnienia w ich praktycznym stosowaniu14. Istotny krok naprzód został uczyniony dopiero na przełomie lat osiemdziesiątych i dziewięćdziesiątych. Prace Flasińskiego nad modelem parsingu dla nietrywialnych klas gramatyk edNLC [44], [45] doprowadziły w konsekwencji w 1993 roku do skonstruowania gramatyki ETPL(k) (ang. Embedding Transformation-preserved Productionordered k-Left nodes unambiguous graph grammar) [48] o stosunkowo dużej mocy opisowej i opracowania algorytmu parsingu o złożoności wielomianowej – rzędu O(n2) – dla. 13. Wymierne znaczenie aplikacyjne mają takie metody, które są efektywne obliczeniowo, czyli algorytmy o wielomianowej złożoności obliczeniowej.. 14. Ograniczenia formalne nakładane na gramatyki pozwalają znacznie uprościć proces analizy syntaktycznej, ale z drugiej strony powodują powstawanie tzw. trywialnych podklas gramatyk grafowych lub też silnie ograniczają moc dyskryminacyjno-opisową języka, jak np. w przypadku gramatyk ETL(1) [43] ..

(17) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 17. tej gramatyki. Wkrótce to rozwiązanie stało się standardem w zakresie efektywnej analizy struktur grafowych (por. przeglądowa praca Tanaki [155]). Szczegółowa charakterystyka formalna tego modelu znalazła się w opublikowanej kilka lat później pracy Flasińskiego w Theoretical Computer Science [50]. Model ten sprawdził się w wielu zastosowaniach praktycznych zarówno w systemach CAD/CAM [49] jak i w obszarze rozpoznawania obrazów [99], [164] (w tym rozpoznawania liter pisma ręcznego) czy [6] (analizie obwodów drukowanych). W tym samym 1998 roku Flasiński i Skomorowski opisali także rodzinę probabilistycznych gramatyk grafowych klasy ETPL(k) (ang. stochastic ETPL(k) graph grammar) [52] opartych na zdefiniowanych wcześniej przez Skomorowskiego losowych grafach IE (ang. random IE graph) [142], które stanowiły rozwinięcie grafów IE w kierunku reprezentacji obrazów ze zniekształceniami. Te właśnie formalizmy będą wykorzystywane w niniejszej pracy do tworzenia reprezentacji i prowadzenia statycznej analizy podpisów odręcznych. Opierając się na taksonomii wprowadzonej przez Rozenberga można przedstawić schemat klasyfikacji gramatyk grafowych w oparciu o trzy kluczowe elementy: . sposób prowadzenia wywodu: o. gramatyki sterowane krawędziowo (hyper-krawędziowe), wierzchołkowo (NLC) lub ze sterowaniem wierzchołkowo-krawędziowym (SC15),. o . wywód prowadzony sekwencyjnie (NLC, SC) lub równolegle (NLCp, SCp). kształt generowanych grafów: gramatyki pajęczynowe, gramatyki pleksowe, gramatyki oparte na grafach o zaetykietowanych krawędziach (eNLC, eSC, eNLCp, eSCp), gramatyki oparte na grafach o zaetykietowanych i skierowanych krawędziach (edNLC, edNLCp, edSC). . kształt produkcji: przykładem mogą być ekspansywne gramatyki grafowe, gdzie prawa strona produkcji musi być drzewem lub gramatyki TLP (ang. Two-Level. 15. Oznaczenia gramatyk zgodnie z systematyką wprowadzoną przez Rozenberga w pracy [73] . SC (ang. Stencil Controlled embedding) i NLC (ang. Node-Label Controlled embedding) określają mechanizm jaki jest używany do osadzania produkcji w grafie w czasie wywodu, d (ang. directed) wykorzystanie grafów o skierowanych krawędziach, e (ang. edge-labeled) wykorzystanie grafów o zaetykietowanych krawędziach, p (ang. parallel) możliwość prowadzenia równoległego wywodu..

(18) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 18. Production), gdzie prawa strona produkcji może być grafem maksymalnie dwupoziomowym (por. definicja A.11 w dodatku A) Mówiąc o różnych rodzajach gramatyk grafowych i ich przydatności w praktycznych zastosowaniach należy mieć na uwadze niezwykle istotną cechę dotyczącą trudności wykonywania analizy syntaktycznej. Problem parsingu języków grafowych jest tutaj dużo bardziej skomplikowany niż w przypadku języków opartych na ciągach czy drzewach. W pracy [50] wskazuje się na kilka przyczyn tego stanu rzeczy. Po pierwsze każdy proces analizy syntaktycznej zakłada powtarzający się w trakcie całego wywodu schemat polegający na identyfikacji „uchwytu” (ang. handle) w badanej strukturze, a następnie zastąpieniu go prawą stroną produkcji wybranej spośród wszystkich produkcji zdefiniowanych dla danej gramatyki. Jako, że grafy z samej definicji są strukturami nie posiadającymi jakiegoś ściśle ustalonego porządku, to określenie produkcji właściwej do wybrania na konkretnym etapie sprowadza się w konsekwencji do problemu badania izomorfizmu grafów. Problem ten jest w ogólnym przypadku NP-zupełny jak to zostało wskazane wcześniej w tym rozdziale podczas dyskusji literaturowej. Drugi aspekt powodujący trudności związany jest z samym procesem stosowania produkcji. W trakcie procesu analizy syntaktycznej mechanizm przepisujący (ang. rewriting system) nie tylko zastępuje element występujący po lewej stronie produkcji przez treść strony prawej, ale dokonuje również pewnej modyfikacji kontekstu czyli krawędzi przylegających do osadzanego grafu. Wykorzystuje się w tym celu tzw. transformacje osadzenia (ang. embedding transformation). Samo zastosowanie takiej transformacji może powodować zmiany już wcześniej zaakceptowanych na danym etapie wywodu fragmentów grafu np. poprzez zmianę etykiet krawędzi lub zmianę kierunku. Należy się również liczyć z problemem braku determinizmu wywodu wynikającego z pseudo-kontekstowego charakteru gramatyk grafowych szczególnie przy uwzględnieniu bardzo dużej dynamiki transformacji osadzenia. Brak jest w ogólnym przypadku gwarancji, że różna kolejność zastosowanych produkcji doprowadzi do tego samego ostatecznego wyniku wywodu..

(19) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 19. W praktyce, aby uzyskać efektywne obliczeniowo języki grafowe nakłada się na istniejące klasy gramatyk16 ograniczenia zmierzające do uproszczenia procesu analizy syntaktycznej. W ten sposób zostały zdefiniowane m.in. również gramatyki ETPL(k) jako podklasa gramatyk Rozenberga edNLC. Restrykcje mogą dotyczyć samej postaci grafu poddawanego procesowi wywodu. Wprowadza się porządek liniowy lub przynajmniej częściowe uporządkowanie w zbiorze wierzchołków grafu albo też określa relacje poprzedzania wierzchołków co powinno prowadzić do osiągnięcia wielomianowej złożoności procesu analizy. Ponadto, aby ograniczyć kontekstowy charakter gramatyk grafowych nakłada się pewne strukturalne ograniczania na kształt prawej strony produkcji (co pośrednio wpływa na transformacje osadzenia) lub bezpośrednio na samą postać transformacji osadzenia. W całym tym procesie należy jednak mieć cały czas na uwadze, aby wprowadzone ograniczenia, usprawniające mechanizm analizy syntaktycznej, nie osłabiły w zbyt dużym stopniu mocy dyskryminacyjno-opisowej konstruowanego formalizmu.. 2.2 Grafowe gramatyki obrazowe klasy ETPL(k) i probabilistyczne IE grafy Podstawą języków grafowych wykorzystywanych do analizy i rozpoznawania obrazów w niniejszej pracy są grafy IE (definicja A.7 w dodatku A). Stanowią one podklasę grafów typu EDG (definicja A.1), na które nałożono pewne ograniczenia pozwalające na uproszczenie procesu badania izomorficzności struktur grafowych. Przypisanie wierzchołkom indeksów pozwoliło na wprowadzenie liniowego uporządkowania w definiowanym grafie. Grafy te pozwalają na jednoznaczną reprezentację scen bez zniekształceń. Zarówno wierzchołki jak i skierowane krawędzie grafu są etykietowane.. 16. Można również rozważać konstrukcję całkowicie nowych typów gramatyk grafowych jednak takie rozwiązanie jest rzadziej spotykane..

(20) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 20. p. y. r x. p < r < s < t < u < v < x < y. s v u. t. Rysunek 2.1 Przykładowy uporządkowany zbiór etykiet krawędziowych definiujących relacje przestrzenne pomiędzy wierzchołkami grafu.. Przykładowa scena wraz z opisującym ją grafem IE jest przedstawiona na rys. 2.2. Wierzchołki grafu reprezentują składowe pierwotne natomiast krawędzie grafu odnoszą się do relacji przestrzennych między składowymi sceny. Relacje te są oznaczane zgodnie z uporządkowanym zbiorem etykiet kierunkowych pokazanym na rys. 2.1. Każdy wierzchołek grafu jest ponadto opatrzony indeksem dla określenia liniowego uporządkowania (zgodnie z przeszukiwaniem grafu wszerz).. a). b) d d 2. r a. u. 1. a. t s. c 3. c. d 4. d. Rysunek 2.2 Scena (a) i jej reprezentacja (b) za pomocą IE grafu.. Do generowania języków bazujących na grafach IE stosuje się gramatyki klasy ETPL(k) (definicja A.18). Jak już wspomniano wcześniej w rozdziale 2.1 gramatyki te stanowią podklasę gramatyk edNLC (definicja A.2). Powstały poprzez nałożenie szeregu ograniczeń na klasę gramatyk edNLC w taki sposób, aby zapewnić wysoką efektywność analizy syntaktycznej, nie tracąc przy tym znacząco na mocy opisowej całego formalizmu. Każde kolejne ograniczenia dodawane do gramatyki edNLC powodowały powstawanie nowych podklas gramatyk, aż do finalnej klasy ETPL(k) (por. rys. 2.3)..

(21) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 21. edNLC > TLP > cTLP > cTLPO > PL(k) > ETPL(k). Rysunek 2.3 Ilustracja procesu konstruowania gramatyki ETPL(k).. Poniżej zostały krótko scharakteryzowane ograniczenia wprowadzanie dla kolejnych klas gramatyk17: . TLP (definicja A.11) - prawa strona produkcji musi być ograniczona do maksymalnie dwupoziomowego grafu. Poziomy w grafie wyznacza się zgodnie z definicją A.10,. . closed TLP (definicja A.12) – na każdym etapie wywodu gramatycznego musi powstawać prawidłowy graf IE,. . closed TLPO (ang. TLP Ordered) (definicja A.13) – wymagana stosowania regularnego wywodu lewostronnego, czyli: o. na każdym etapie wywodu, produkcja jest stosowana do wierzchołka nieterminalnego o najmniejszym indeksie, w zapisie ciągowym w postaci opisu charakterystycznego (definicja A.8) oznaczałoby to po prostu skrajną lewą etykietę nieterminalną,. o. w trakcie wywodu nie mogą się zmieniać indeksy wierzchołków grafu, wierzchołek o indeksie 1 prawej strony produkcji zastępuje analizowany nieterminal, natomiast pozostałe wierzchołki prawej strony produkcji (o ile istnieją) są dopisywane na końcu opisu charakterystycznego grafu w kolejności wyznaczonej przez ich indeksy,. . PL(k) (definicja A.16) – wprowadza warunek jednoznaczności wywodu, uzyskanie w trakcie regularnego lewostronnego wywodu izomorfizmu grafów dla kelementowego zbioru następników danego wierzchołka musi gwarantować zgodność wszystkich jego następników18,. 17. Dyskusja własności i mechanizmów parsingu dla gramatyk klasy ETPL(k) przygotowana w oparciu o prace [6] [46] ,[47] , [48] . Pełna lista definicji odnoszących się do deterministycznych gramatyk grafowych EPTL(k) i grafów IE jest zebrana w Dodatku A. 18 Jest to warunek podobny jak dla gramatyk ciągowych klasy LL(k) [48] ..

(22) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW . 22. ETPL(k) (definicja A.18) – transformacje osadzenia nie mogą zmieniać struktury opisu charakterystycznego wierzchołków terminalnych (już wywiedzionych), podczas osadzania prawej strony produkcji w miejsce nieterminala wszystkie krawędzie wchodzące do nieterminala muszą być zamienione w relacji 1-1 na krawędzie wchodzące do prawej strony produkcji.. Gramatyki ETPL(k) mogą służyć do analizy takich scen, które dają się reprezentować przez grafy IE. Nie stanowi to jednak dużego problemu ze względu na bardzo dużą moc opisową tego typu grafów i w konsekwencji możliwość zastosowania do szerokiego spektrum obrazów. Opisany w [48] algorytm analizy syntaktycznej dla tej klasy gramatyk posiada złożoność obliczeniową rzędu O(n2), gdzie n oznacza ilość wierzchołków w analizowanym grafie. Jest to, więc wysoce efektywna procedura. Zastosowany mechanizm parsingu opiera się na metodzie generacyjnej (ang. top-down) niewykorzystującej nawrotów. W celu ilustracji jego działania zostaną poniżej wprowadzone niezbędne oznaczenia, opisy procedur oraz samego algorytmu analizy syntaktycznej. Algorytm parsingu dla gramatyk ETPL(k) Niech zamieszczone poniżej symbole oznaczają odpowiednio: . G  (VG , EG , , ,G ) – analizowany graf IE,. . H  (VH , EH , , ,H ) – graf IE wywiedziony podczas parsingu,. . Z – aksjomat gramatyki,. . Li – lista potencjalnie kontekstowo identycznych krawędzi dochodzących do wierzchołka o indeksie i,. . S – zbiór TTLN określony w danym kroku wywodu,. . H (i ) – etykieta wierzchołka należącego do grafu H i mającego indeks i,. . n – liczba wierzchołków w grafie G.. Ponadto zakłada się istnienie następujących procedur i funkcji wykorzystywanych przez parser [48]:.

(23) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW . MAXIND(H) – zwraca liczbę wierzchołków w grafie H,. . DEFk-TL(G, i, m, E) – w zmiennej E umieszcza graf k-TL(G, i, m),. . GIVETTLN(A) – zwraca zbiór TTLN dla nieterminala A,. . CHOOSEPROD(E, S, k). 23. o. wybiera ze zbioru S wszystkie grafy hi, które zawierają się w grafie E,. o. spośród wybranych grafów hi znajduje maksymalny graf hm,. o. do zmiennej k zapisuje numer produkcji związanej z wybranym grafem hm lub 0 jeśli taki graf nie istnieje. . PRODUCTION(H, i, k) – stosuje produkcję o numerze k do wierzchołka o indeksie i należącego do grafu H,. . CONID(G, H, i) – sprawdza czy wierzchołki o indeksie i grafów G i H są kontekstowo identyczne, zwraca wartości prawda/fałsz,. . PCOIND(G, H, i, err) – sprawdza czy wierzchołki o indeksie i grafów G i H są potencjalnie kontekstowo identyczne, jeśli tak to uzupełnione zostają odpowiednie listy Lq o pary (i, λ), dla każdegj potencjalnie kontekstowej krawędzi (i, λ, q),. . CHECK(Li, H, err) – sprawdza czy krawędzie z listy Li znajdują się w grafie H, jeśli tak to są usuwane z listy.. Proces analizy syntaktycznej rozpoczyna się od grafu startowego, czyli aksjomatu gramatyki. Główna pętla algorytmu (por. rys. 2.4) wykona się dokładnie tyle razy ile jest wierzchołków w analizowanym grafie. Jeśli na dowolnym etapie wywodu zmienna err przyjmie wartość różną od zera (oznacza to brak akceptacji danego wierzchołka) kolejne kroki algorytmu zostaną wykonane na pusto i graf zostanie odrzucony, jako nienależący do języka generowanego przez gramatykę..

(24) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 24. H:=Z; err:=0; for i:=1 to n do if err=0 then begin if фH(i) is a nonterminal node then begin m:=MAXIND(H)+1; DEFK-TL(G,i,m,E); S:=GIVETTLN(фH(i)); CHOOSEPROD(E,S,k); if k=0 then err:=1 else PRODUCTION(H,i,k); end; if not COIND(G,H,i) then PCOIND(G,H,i,err); CHECK(Li,H,err); end;. Rysunek 2.4 Algorytm parsingu dla gramatyk grafowych klasy ETPL(k).. Jeśli natomiast zmienna err ma wartość 0 to dla każdego wierzchołka nieterminalnego grafu H zostanie wyznaczony k-TL graf (definicja A.14) dla odpowiadającego mu wierzchołka terminalnego z grafu G oraz ustalony zbiór TTLN (definicja A.20) dla analizowanego nieterminala. Następnie zostanie wybrana produkcja k odpowiednia do zastosowania dla wskazanego k-TL grafu. Wybór produkcji jest jednoznaczny ze względu na własności gramatyki ETPL(k) (problem ten był poruszany we wcześniejszej części rozdziału). Następnym krokiem jest zastosowanie wybranej produkcji do analizowanego nieterminalnego wierzchołka o indeksie i grafu H. W przypadku nie znalezienia produkcji do zmiennej err wpisywany jest kod błędu co spowoduje w dalszej kolejności brak akceptacji grafu. Następnie sprawdzana jest kontekstowa identyczność wierzchołków o indeksie i grafów G i H. W razie jej braku testowana jest potencjalna kontekstowa identyczność i modyfikowane listy przechowujące informacje o potencjalnie kontekstowych krawędziach. Ostatnim elementem jest zweryfikowanie czy wszystkie potencjalnie kontekstowe krawędzie dochodzące do wierzchołka o indeksie i badanego grafu H zostały z sukcesem wywiedzione. Jeśli po zakończeniu ostatniego przebiegu pętli zmienna err zawiera nadal 0 przyjmuje się, iż procedura analizy syntaktycznej zakończyła się sukcesem i poddawany analizie graf należy do języka..

(25) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 25. Gramatyki ETPL(k) opierające się na deterministycznych grafach IE pozwalają analizować obrazy, które są jednoznaczne. Czasami jednak ze względu na specyfikę analizowanych obrazów musimy uwzględnić możliwość opisu scen niejednoznacznych np. obrazów zniekształconych. Przykładem mogą być obrazy sygnatur odręcznych, których to właśnie dotyczy niniejsza praca. Do opisu i reprezentacji tego typu obrazów (tj. w postaci sygnatur odręcznych) można wykorzystać tzw. losowe grafy IE19 (ang. random IE graphs) (definicja B.1). Zostały one wprowadzone w 1996 przez Skomorowskiego [142] i stanowią probabilistyczne rozwinięcie wprowadzonych wcześniej deterministycznych grafów IE. Dla ilustracji sposobu konstruowania losowych grafów IE zostanie wykorzystana scena z rys. 2.2, którą możemy uznać za scenę bez zniekształceń (obraz podstawowy). Rysunek 2.5 przedstawia natomiast dwie sceny, które uległy pewnemu zaburzeniu (zniekształceniu) w stosunku do obrazu oryginalnego. a). b) c c 2. r a. g1 =. u. 1. a. t s. a. d. 3. 4. d. a. c). d) d d 2. r a. g2 = a. a. u. a. 1. 4. r. t c c. 3. Rysunek 2.5 Przykładowe możliwe zniekształcenia sceny z rys. 2.2: a) wariant pierwszy zniekształcenia sceny, b) odpowiadający temu wariantowi IE graf g 1 reprezentujący tę scenę, c) wariant drugi zniekszałcenia sceny, d) reprezentacja sceny w postaci IE grafu g2 dla wariantu drugiego. 19. Innym sposobem jest stosowanie parsingu z korekcją błędów (ang. error-correcting parsing), w którym wykorzystuje się tzw. produkcje błędu (por. [58] ). Definicję tego formalizmu dla gramatyk klasy ETPL(k) można znaleźć w pracy [47] a przykłady praktycznego wykorzystania w rozpoznawaniu obrazów w pracach [153] , [164] ..

(26) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 26. Zniekształcenia mogą być efektem błędów na etapie wstępnego przetwarzania obrazu bądź wynikać z jakiejś naturalnej zmienności tej sceny. Z wspomnianych ilustracji widać, że zmiany dotyczą zarówno składowych pierwotnych (etykiety wierzchołkowe) jak i relacji przestrzennych (etykiety krawędziowe). Losowy graf IE opisujący takie przypadki zmienności sceny ( z rysunku 2.5) jest przedstawiony na rys. 2.6.. {r(1.0)}. a(1.0). c(0.33) d(0.67) 2. {u(1.0)}. 1. {t(1.0)} a(0.33) c(0.67) 3. {r(0.33),s(0.67)}. a(0.33) d(0.67) 4. Rysunek 2.6 Losowy graf IE opisujący scenę z rys. 2.2 i jej możliwe zniekształcenia z rys. 2.5.. Widać, że zarówno wierzchołki jak i krawędzie mogą mieć przypisane zbiory etykiet wraz ze ściśle określonym prawdopodobieństwem występowania konkretnego symbolu. Z każdego grafu losowego możemy wygenerować pewną liczbę tzw. grafów wynikowych (ang. outcome) (definicja B.2) poprzez wybranie jednej z możliwych etykiet dla każdego wierzchołka i każdej krawędzi. Warta podkreślenia jest pewna zdolność grafów losowych do uogólniania reprezentowanych scen. Jak łatwo zauważyć z grafu przedstawionego na rys. 2.6 można otrzymać nie tylko grafy wynikowe identyczne z opisującymi pojedyncze zniekształcenia sceny grafami g, g1 i g2 (z rys 2.5), ale tez kilka innych grafów reprezentujących nie występujące wcześniej sceny. Należy jednak mieć świadomość, że losowe grafy IE mogą reprezentować jedynie takie zniekształcenia scen, które nie zaburzają samej struktury opisujących je IE grafów. Jeśli zniekształcenie analizowanego obrazu wykracza poza zmianę etykiet wierzchołków lub krawędzi grafu bazowego (wzorcowego) nie jest możliwe przedstawienie go w postaci20 pojedynczego grafu losowego. W niniejszej pracy problem ten rozwiązano wykorzystując probabilistyczne gramatyki grafowe [52] pozwalające na generowanie całej rodziny grafów losowych reprezentujących nawet w dalekim stopniu. 20. Można tu polemizować czy tak daleko idąca zmiana grafu jest jeszcze zniekształceniem czy jest to już raczej deformacja struktury. W trakcie badań związanych w tematyką niniejszej rozprawy autor rozważał wprowadzenie do formalizmu grafów losowych reprezentacji tzw. elementów „pustych” odpowiadających nieistniejącym wierzchołkom lub krawędziom. Nie pozwoliło to jednak na pełne rozwiązanie problemu (por. dyskusja w rozdziale 4)..

(27) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 27. różniące się między sobą strukturalne reprezentacje scen ze zniekształceniami (por. rozdział 5).. 2.3 Analiza strukturalna i wnioskowanie gramatyczne Jak to zasygnalizowano we wstępnej części pracy, integralną częścią systemu rozpoznawania obrazów bazującego na metodyce syntaktycznej jest proces budowania wiedzy o strukturze scen poddawanych następnie klasyfikacji. Dla kategorii metod lingwistycznych wiedza jest reprezentowana w postaci reguł gramatyki G, która pozwala na wygenerowanie języka L(G) opisującego dopuszczalne struktury scen. Samo budowanie gramatyki może się odbywać w sposób arbitralny przez eksperta (projektanta systemu rozpoznającego) lub w sposób automatyczny. To drugie podejście określane w literaturze mianem wnioskowania gramatycznego (ang. grammatical inference) ma szereg zalet i jest znacznie wygodniejsze szczególnie w przypadku dużej liczby obrazów wzorcowych. Arbitralne definiowanie reguł gramatyki jest również dalece nieskuteczne jeśli system ma być wielokrotnie wykorzystywany z różnymi zbiorami danych wzorcowych.. Z formalnego punktu widzenia problem wnioskowania gramatycznego polega na automatycznym konstruowaniu gramatyki G na podstawie skończonego zbioru wzorców (próbek) Pt [46]. Ze względu na budowę zbioru próbek można wskazać dwa możliwe sposoby wnioskowania oparte na: . skończonym zbiorze wzorców należących do języka (przykłady pozytywne) Pt  ,. . skończonym zbiorze wzorców należących do języka (przykłady pozytywne) Pt  oraz dodatkowo skończonym zbiorze wzorców nie należących do języka (przykłady negatywne) Pt  .. Problem wnioskowania nieznanych reguł gramatyki na podstawie próbek języka jest niestety dużo bardziej złożony niż sam proces analizy syntaktycznej. Nawet dla najsłabszego w sensie opisowym formalizmu, jakim są języki ciągowe tylko klasa języków regularnych doczekała się jak na razie pełnego rozwiązania tej kwestii [58]. W przypadku znacznie bardziej skomplikowanych gramatyk grafowych jedynie kilka algorytmów zostało zaproponowanych dla formalizmów dających się efektywnie zastosować w praktyce..

(28) ROZDZIAŁ 2: GRAFOWE FORMALIZMY SYNTAKTYCZNEJ ANALIZY OBRAZÓW. 28. Można tu wskazać gramatyki pajęczynowe (algorytm Winstona [161]), gramatyki ekspansywne (algorytm Shi i Fu [139]) oraz gramatyki macierzowe (algorytm Wanga i Dai [160]). Pierwsze dwa algorytmy pozwalają na wnioskowanie produkcji jedynie na podstawie jednego grafu wzorcowego (jednoelementowy zbiór próbek) co znacznie ogranicza możliwości ich wykorzystania w praktyce [47]. Do tej grupy rozwiązań dołączyć należy także zaproponowany przez Flasińskiego model wnioskowania dla gramatyk ETPL(k). Flasiński zdefiniował mechanizm wnioskowania reguł gramatyki dla przypadku pojedynczego grafu IE, a następnie na tej podstawie rozszerzył model na przypadek skończonego zbioru próbek. Algorytm bazuje na metodzie generacyjnej, a każdy wierzchołek jest wywodzony pośrednio (z wykorzystaniem nieterminala). Wykorzystywany jest pozytywny zbór przykładów języka. W przypadku wieloelementowego zbioru próbek wyznaczane są produkcje gramatyki dla kolejnych grafów należących do zbioru, przy czym, jeśli jest taka możliwość dokonuje się na bieżąco procesu unifikacji produkcji (wykorzystywania produkcji wcześniej skonstruowanych). Efektywność obliczeniowa algorytmu jest rzędu O(m2∙n2) przy założeniu, iż m oznacza liczebność zbioru grafów wzorcowych, a n maksymalną liczbę wierzchołków w grafie. Jak widać efektywność czasowa jest tutaj dużo gorsza niż w przypadku algorytmów analizy syntaktycznej. Nie stanowi to jednak dużego problemu, gdyż konstruowanie wiedzy dla systemu rozpoznającego jest zwykle wykonywane jednorazowo przed właściwym uruchomieniem procesu rozpoznawania w trybie off-line), kiedy nie są jeszcze tak istotne ścisłe uwarunkowania czasowe. Dokładny opis algorytmu wraz ze szczegółową dyskusją problemu można znaleźć w pracy [47]..

(29) ROZDZIAŁ 3: BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH. 29. 3 Biometryczne techniki analizy podpisów odręcznych W ramach tego rozdziału przedstawiona zostanie krótka charakterystyka rodzaju i typu obrazów podlegających procesowi rozpoznawania. W pierwszej części aspekt ten zostanie potraktowany z perspektywy pismoznawstwa kryminalistycznego. Następnie wskazane zostaną te cechy podpisów, które są istotne z punktu widzenia efektywnych metod weryfikacji i identyfikacji tego typu danych. Dalsza część rozdziału poświęcona będzie omówieniu statycznego i dynamicznego sposobu podejścia do analizy z uwzględnieniem występujących w literaturze przedmiotu przykładów proponowanych rozwiązań.. 3.1 Podpis jako obraz podlegający analizie rozpoznawczej W biometrii wyróżnia się dwie grupy cech, które mogą być wykorzystane do jednoznacznej identyfikacji człowieka. Do pierwszej z nich zaliczamy cechy anatomiczne, czyli związane z fizyczną budową ciała ludzkiego, takie jak: linie papilarne, wzór siatkówki oka, struktura dłoni, kształt twarzy, ust czy nawet małżowin usznych. Drugą grupę stanowią te cechy, które opisują zachowanie człowieka tzw. cechy behawioralne, czyli charakterystyka głosu, sposób chodzenia, gestykulacji czy wreszcie charakter pisma21. Większość cech behawioralnych podlega ewolucji i można je wykorzystać, jako pełnowartościowy materiał badawczy dopiero na etapie trwałego ich ugruntowania. W przypadku pisma proces personalizacji rozpoczyna się już na bardzo wczesnym etapie życia człowieka i trwa co najmniej kilkanaście lat. Pierwsze odrębności można dostrzec już w szkole podstawowej i od tego okresu cechy graficzne pisma stopniowo ewoluują [83]. Jest to związane z potrzebą coraz szybszego pisania i wymuszaniem w związku z tym tzw. ekonomii ruchu przez aparat biomotoryczny człowieka, co objawia się w automatyzacji procesu kreślenia stopniowo coraz większej liczby zespołów literowych oraz pojawianiem się w piśmie skrótów i uproszczeń. Od momentu ukończenia nauki pismo stabilizuje się i staje się trwałym nawykiem. Stabilizacja dotyczy zarówno grafizmu (konstrukcji znaków i sposobu ich wiązania). 21. Podpis jest traktowany jako szczególny przypadek bardzo krótkiej formy pisma nadający się do analizy rozpoznawczej pod kątem jednoznacznej identyfikacji autora..

(30) ROZDZIAŁ 3: BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH. 30. jak i innych cech językowych, treściowych i technicznych. Co bardzo ważne trwałość cech pisma nie oznacza niezmienności, ale występujące wahania są na akceptowalnym poziomie. W wieku podeszłym następują pewne zmiany związane z obniżeniem się sprawności psychoruchowej człowieka, a polegają one m.in. na zwiększaniu się znaków i odległości między nimi (osłabienie wzroku), pogorszenie płynności linii (drżenie linii tzw. tremor) czy zmniejszenie czytelności22 (por. rysunek 3.1). a). b). c). d). Rysunek 3.1 Fragmenty podpisów osób w wieku: a) 40 lat, b) 60 lat, c) 67 lat i d) 85 lat ilustrujące proces zmian pisma (podpisu) związanych z pogarszaniem się sprawności fizycznej.. Można wskazać następujące warstwy pisma podlegające badaniu podczas analizy kryminalistycznej [83]: . warstwa graficzna – grafizm (widzialne cechy graficzne),. . warstwa językowa – odnosząca się do właściwości użytego języka (styl, słownictwo, składnia),. . warstwa treści – związana z treścią (zawartością informacyjną przekazywanego komunikatu),. . warstwa techniczna – obejmuje cechy podłoża, cechy materiału kryjącego i cechy użytego narzędzia.. Ponadto w badaniach pismoznawczych rozróżnia się autora i wykonawcę danego fragmentu pisma. Przez wykonawcę23 rozumie się osobę wykonującą psychofizyczną czynność pisania. Ma ona wpływ na grafizm i warstwę techniczną pisma. Natomiast autor oznacza osobę odpowiedzialną za stworzenie treści i języka pisma. W przypadku, gdy osoba wykonawcy danego fragmentu pisma nie jest tożsama z jego autorem stwierdza się wy-. 22. Powstaje w wyniku słabszego nacisku narzędzia pisarskiego na podłoże. Może utrudniać proces wstępnego przetwarzania. 23. Zamieszczone definicje zostały podane za [83] ..

(31) ROZDZIAŁ 3: BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH. 31. stąpienie fałszerstwa. Podstawą kryminalistycznej analizy zarówno pisma jak i podpisów są tzw. badania porównawcze24 (ang. comparative research) , których celem jest właśnie wskazanie konkretnego wykonawcy na podstawie indywidualnych cech danego fragmentu pisma. W literaturze przedmiotu [40], wyróżnia się następujące rodzaje podpisów25: . podpis pełnobrzmiący – „kompozycja graficzna sporządzona pismem ręcznym, rejestrująca za pomocą liter dosłowne brzmienie imienia i nazwiska”,. . podpis skrócony – „kompozycja graficzna sporządzona pismem ręcznym, w zasadzie czytelna, rejestrująca w sposób ścisły za pomocą liter częściowe brzmienie imienia i nazwiska lub jeden z tych członów”,. . parafa - „kompozycja graficzna sporządzona pismem ręcznym, z reguły nieczytelna, pod względem literowym luźno i skrótowo nawiązująca do podpisu pełnobrzmiącego lub do jego inicjałów”,. . monogram - „znak graficzny czytelny, wykształcony i sporządzony w sposób naturalny pismem ręcznym, przedstawiający początkową literę imienia i nazwiska albo też kompozycję obydwóch tych liter”.. Przykładowy zbiór takich form można zobaczyć na rys. 3.2. W praktyce używana są wszystkie formy podpisów. Pierwowzorem jest, dla wszystkich rodzajów podpisów, podpis pełnobrzmiący, który podlega ewolucji w czasie życia człowieka w kierunku zwiększania stopnia automatyzacji kreślenia, skracania oraz coraz większej nieczytelności. Należy jednakże zauważyć, iż dla celów rozpoznawania trzeba dysponować podpisem o wysokiej wartości identyfikacyjnej, która jest niezbędna do jednoznacznego wskazania bądź potwierdzenia osoby wykonawcy. W przypadku niektórych rodzajów podpisów, w szczegól-. 24. 25. Jest to jedna z podstawowych metod naukowych (obok indukcji i dedukcji). Polega na analizie cech badanych przedmiotów i zjawisk pod katem ustalenia różnic i podobieństw.. Definicje przytoczone za [40] .Taki sam podział jest także stosowany w Katalogu graficznych cech pisma ręcznego (http://www.prawo.amu.edu.pl/uploads/slownik/aneks.htm#KGCPR), opracowanym przez zespół pismoznawców działający w ramach Jesiennej Szkoły Empirycznych Badań Pisma, pod patronatem IES w Krakowie, w latach 1984-1989..

(32) ROZDZIAŁ 3: BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH. 32. ności paraf zapisywanych w bardzo skróconej formie, możemy nie dysponować materiałem pozwalającym na wyciąganie jakichkolwiek kategorycznych wniosków. Z tego też względu w bardzo wielu przypadkach wymagane jest składanie na oficjalnych dokumentach tzw. podpisu czytelnego26 co zabezpiecza odpowiedniej jakości materiał porównawczy.. a). c). b). d). Rysunek 3.2 Przykłady różnych kategorii podpisów: a) podpis pełnobrzmiący, b) monogram, c) podpis uproszczony27, d) parafa (bardzo uproszczona, niska wartość identyfikacyjna).. 3.2 Charakterystyka przestrzeni cech Istotą procesu rozpoznawania obrazów (w tym przypadku sygnatur odręcznych) lub, mówiąc bardziej precyzyjnie, rozpoznawania wzorców jest określenie przynależności lub nieprzynależności danego typu obiektu lub zjawiska do pewnej kategorii (klasy) [147]. Decyzja ta jest podejmowana na podstawie znajomości klasyfikacji elementów ciągu uczącego bez posiadania przez system dodatkowej wiedzy na temat zasad, reguł poprawnej klasyfikacji. W praktyce, ze względu na złożoność obiektów (zjawisk) poddawanych analizie rozpoznawczej, system otrzymuje do dyspozycji ciąg zawierający ograniczoną liczbę przykładowych obiektów natomiast, w trakcie pracy (rozpoznawania), musi wnioskować i wyrokować o wszystkich obiektach, jakie pojawią się na jego wejściu [147]. Jako, że obiekty, które są poddawane procesowi rozpoznawania mogą mieć bardzo różny charakter 26. Podpis czytelny jest tutaj rozumiany jako pewna meta-kategoria obejmująca swym zakresem podpis pełnobrzmiący i formy podpisu skróconego. 27 Autograf Beniamina Franklina jednego z Ojców Założycieli Stanów Zjednoczonych Ameryki, współautora Deklaracji Niepodległości oraz konstytucji. Obraz dostępny w zasobach Wikipedia Commons jednego z projektów Fundacji Wikimedia na zasadach licencji public domain (http://commons.wikimedia.org)..

(33) ROZDZIAŁ 3: BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH. 33. na pierwszym etapie jest zawsze dokonywane przekształcenie polegające na pomiarze i określeniu cech opisujących rozpoznawane obiekty [26], [147]. Cechy te określają w sposób ilościowy pewne mierzalne własności obiektu pozwalające na zbudowanie jego jednoznacznej charakterystyki. Dobór cech, które należy mierzyć zależy od typu i rodzaju rozpoznawanych obiektów. W przypadku podpisów odręcznych cechy mierzalne istotne z punktu widzenia analizy rozpoznawczej zostały przedstawione w tabeli 3.1 ([24], [25], [122], [145]). Tabela 3.1 Zestawienie cech uwzględnianych w analizie i rozpoznawaniu sygnatur odręcznych. Obraz podpisu (cechy statyczne).  współrzędne punktów obrazu [x,y],  jasność punktów (ang. intensity) [i]. Obraz podpisywania (cechy dynamiczne).  położenie pióra28 (ang. pentip position) w czasie:. x(t ), y(t ) , –. prędkość (ang. pentip velocity): 1. v(t )  [( dxdt( t ) )2  ( dydt( t ) )2 ]2 , –. przyspieszenie (ang. pentip acceleration):. a (t ) . dv( t ) dt. ,.  nacisk pióra (ang. pressure),  orientacja pióra (ang. angle functions), –. kąt elewacji (ang. elevation angle, altitude),. –. kąt azymutu (ang. azimuth angle),.  czas składania podpisu: T.. Przedstawione w tabeli 3.1 cechy dynamiczne charakteryzują zmienność procesu składania podpisu w czasie. Do ich uzyskania niezbędne jest dedykowane środowisko pomiarowe ze specjalnym tabletem sprzężnym z elektronicznym urządzeniem piszącym (por. opis w [107]). Otrzymany obraz podpisywania jest zapisem obserwacji w czasie rzeczywistym cech biomotorycznych osoby konstruującej obraz sygnatury niejako w czasie i prze28. Pod pojęciem pióro należy rozumieć w ogólności dowolne narzędzie pisarskie umożliwiające złożenie podpisu na wybranym podłożu (np. pióro, długopis, ołówek, pisak). W przypadku podłoża specjalnego typu np. elektronicznego tabletu (ang. digitizing tablet, electronic pad) stosuje się dedykowane do tego celu urządzenia tzw. pióra elektroniczne (ang. electronic pen)..

(34) ROZDZIAŁ 3: BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH. 34. strzeni. Wiedza o zmienności poszczególnych cech jest przechowywana w postaci wektorów, w których wartości są ułożone w kolejności odpowiadającej następstwu czasowemu. Wykorzystywanie tego rodzaju cech w systemach rozpoznawczych jest cechą charakterystyczną metod dynamicznej analizy podpisów (ang. on-line/dynamic signature recognition) [122], które są dokładnie omówione w rozdziale 3.3. Przykładowy zestaw charakterystyk przedstawiony jest na rysunku 3.3. Dla celów prezentacji został użyty token (podpis) opisany za pomocą 5-wymiarowej przestrzeni cech ( x, y, p, , ) , gdzie kolejne wektory reprezentują odpowiednio współrzędne x i y, nacisk, kąt azymutu i kąt elewacji. W celu lepszej ilustracji na rysunku 3.3a został dodatkowo przedstawiony przybliżony kształt sygnatury w postaci rzutu 5-wymiarowego tokena na płaszczyznę x-y.. a). b). Rzut 6-wymiarowego tokena na x–y. Nacisk. 7500. 900. 7000. 800. 6500. 700. 600. 500 5500. p. Y(t). 6000. 400 5000 300 4500 200 4000 100 3500. 0 0. 2000. 4000. c). 6000 X(t). 8000. 10000. 12000. 0. 0,2. 0,4. 0,6. d). Współrzędna X. 0,8. 1 t. 1,2. 1,4. 1,6. 1,8. 2. Współrzędna Y. 12000. 7500. 7000 10000 6500 8000. Y. X. 6000. 6000. 5500. 5000 4000 4500 2000 4000. 0. 3500 0. 0,2. 0,4. 0,6. 0,8. e). 1 t. 1,2. 1,4. 1,6. 1,8. 2. 0. 0,2. 0,4. 0,6. 0,8. f). Azymut. 1 t. 1,2. 1,4. 1,6. 1,8. 2. Elewacja. 135. 70. 68 130 66 125. 64. 62. θ. Ф. 120. 60. 115 58. 56. 110. 54 105 52 100. 50 0. 0,2. 0,4. 0,6. 0,8. 1 t. 1,2. 1,4. 1,6. 1,8. 2. 0. 0,2. 0,4. 0,6. 0,8. 1 t. 1,2. 1,4. 1,6. 1,8. 2. Rysunek 3.3 Obraz podpisywania (charakterystyki dynamiczne): a) obraz podpisu (rzut na płaszczyznę x-y), b) nacisk, c) współrzędna x, d) współrzędna y, e) kąt azymutu i f) kąt elewacji (opracowanie własne na podstawie materiałów SVC200429). 29. SVC2004 to międzynarodowy konkurs (ang. First International Signature Verification Competition) mający na celu wyłonienie najbardziej efektywnego algorytmu weryfikacji podpisów odręcznych opierającego się na danych dynamicznych zorganizowany przez Hong Kong University of Science and Technology, podczas konferencji międzynarodowej ICBA 2004 (ang. First International Conference on Biometric Authentication) http://www.cse.ust.hk/svc2004/..

(35) ROZDZIAŁ 3: BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH. 35. Cechy statyczne uzyskiwane są na drodze przetworzenia rysunku podpisu złożonego na dokumencie na postać elektroniczną. Wykorzystuje się w tym celu skanowanie (por. rys. 3.4) lub innego rodzaju techniki obrazowania cyfrowego (aparat, kamera, itp.) pozwalające na uzyskanie elektronicznego zapisu obrazu o dużej rozdzielczości. Konstruowanie i weryfikacja metod rozpoznawania podpisów opierających się na badaniu tego typu cech określa się mianem statycznej analizy podpisów (ang. static/off-line signature analysis) [122].. a). c). b). d). Rysunek 3.4 Przykłady obrazów podpisów uzyskanych poprzez skanowanie na postać cyfrową: a-b) dokumenty oryginalne (dodatkowe elementy wprowadzające zaburzenia, zniekształcenia), c-d) podpisy do celów testowych (czyste tło).. W zależności od sposobu opisu jasności punktów stanowiących statyczny obraz sygnatury wyróżnia się obrazy kolorowe lub w odcieniach szarości. Dodatkową trudność w przypadku wykorzystywania tego typu danych stanowi konieczność obróbki wstępnej obrazów pozyskanych z dokumentów oryginalnych (np. czeków, faktur, itp.) w celu usunięcia wszelkich elementów tła mogących zaburzać właściwy rysunek podpisu (por. rys. 3.4ab). Ze stosowanymi w praktyce rozwiązaniami opracowanymi w tym zakresie można się zapoznać m.in. w pracach [30], [82], [133]..