Charakterystyka przestrzeni cech

Istotą procesu rozpoznawania obrazów (w tym przypadku sygnatur odręcznych) lub, mó-wiąc bardziej precyzyjnie, rozpoznawania wzorców jest określenie przynależności lub nie-przynależności danego typu obiektu lub zjawiska do pewnej kategorii (klasy) [147]. Decy-zja ta jest podejmowana na podstawie znajomości klasyfikacji elementów ciągu uczącego bez posiadania przez system dodatkowej wiedzy na temat zasad, reguł poprawnej klasyfi-kacji. W praktyce, ze względu na złożoność obiektów (zjawisk) poddawanych analizie rozpoznawczej, system otrzymuje do dyspozycji ciąg zawierający ograniczoną liczbę przykładowych obiektów natomiast, w trakcie pracy (rozpoznawania), musi wnioskować i wyrokować o wszystkich obiektach, jakie pojawią się na jego wejściu [147]. Jako, że obiekty, które są poddawane procesowi rozpoznawania mogą mieć bardzo różny charakter

26 Podpis czytelny jest tutaj rozumiany jako pewna meta-kategoria obejmująca swym zakresem podpis peł-nobrzmiący i formy podpisu skróconego.

27 Autograf Beniamina Franklina jednego z Ojców Założycieli Stanów Zjednoczonych Ameryki, współautora Deklaracji Niepodległości oraz konstytucji. Obraz dostępny w zasobach Wikipedia Commons jednego z pro-jektów Fundacji Wikimedia na zasadach licencji public domain (http://commons.wikimedia.org).

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 33 na pierwszym etapie jest zawsze dokonywane przekształcenie polegające na pomiarze i określeniu cech opisujących rozpoznawane obiekty [26], [147]. Cechy te określają w spo-sób ilościowy pewne mierzalne własności obiektu pozwalające na zbudowanie jego jedno-znacznej charakterystyki. Dobór cech, które należy mierzyć zależy od typu i rodzaju roz-poznawanych obiektów. W przypadku podpisów odręcznych cechy mierzalne istotne z punktu widzenia analizy rozpoznawczej zostały przedstawione w tabeli 3.1 ([24], [25], [122], [145]).

Tabela 3.1 Zestawienie cech uwzględnianych w analizie i rozpoznawaniu sygnatur odręcznych.

Obraz podpisu (cechy statyczne) Obraz podpisywania (cechy dynamiczne)

 współrzędne punktów obrazu [x,y],  jasność punktów (ang. intensity) [i]

 położenie pióra28

(ang. pentip position) w czasie:

) ( ), (t y t

x ,

– prędkość (ang. pentip velocity): 2 1 ] ) ( ) [( ) (t ^dx_dt^{(t) 2 dy}_dt^{(t) 2} v   ,

– przyspieszenie (ang. pentip acceleration):

dt t dv

t

a( ) ⁽⁾,  nacisk pióra (ang. pressure),

 orientacja pióra (ang. angle functions), – kąt elewacji (ang. elevation angle,

altitude),

– kąt azymutu (ang. azimuth angle),  czas składania podpisu: T.

Przedstawione w tabeli 3.1 cechy dynamiczne charakteryzują zmienność procesu skła-dania podpisu w czasie. Do ich uzyskania niezbędne jest dedykowane środowisko pomia-rowe ze specjalnym tabletem sprzężnym z elektronicznym urządzeniem piszącym (por. opis w [107]). Otrzymany obraz podpisywania jest zapisem obserwacji w czasie rzeczywi-stym cech biomotorycznych osoby konstruującej obraz sygnatury niejako w czasie i

28

Pod pojęciem pióro należy rozumieć w ogólności dowolne narzędzie pisarskie umożliwiające złożenie podpisu na wybranym podłożu (np. pióro, długopis, ołówek, pisak). W przypadku podłoża specjalnego typu np. elektronicznego tabletu (ang. digitizing tablet, electronic pad) stosuje się dedykowane do tego celu urzą-dzenia tzw. pióra elektroniczne (ang. electronic pen).

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 34 strzeni. Wiedza o zmienności poszczególnych cech jest przechowywana w postaci wekto-rów, w których wartości są ułożone w kolejności odpowiadającej następstwu czasowemu. Wykorzystywanie tego rodzaju cech w systemach rozpoznawczych jest cechą charaktery-styczną metod dynamicznej analizy podpisów (ang. on-line/dynamic signature recogni-tion) [122], które są dokładnie omówione w rozdziale 3.3. Przykładowy zestaw charaktery-styk przedstawiony jest na rysunku 3.3. Dla celów prezentacji został użyty token (podpis) opisany za pomocą 5-wymiarowej przestrzeni cech (x,y,p,,), gdzie kolejne wektory reprezentują odpowiednio współrzędne x i y, nacisk, kąt azymutu i kąt elewacji. W celu lepszej ilustracji na rysunku 3.3a został dodatkowo przedstawiony przybliżony kształt sy-gnatury w postaci rzutu 5-wymiarowego tokena na płaszczyznę x-y.

Rysunek 3.3 Obraz podpisywania (charakterystyki dynamiczne): a) obraz podpisu (rzut na płaszczyznę x-y),

b) nacisk, c) współrzędna x, d) współrzędna y, e) kąt azymutu i f) kąt elewacji (opracowanie własne na pod-stawie materiałów SVC200429

).

29 SVC2004 to międzynarodowy konkurs (ang. First International Signature Verification Competition) mają-cy na celu wyłonienie najbardziej efektywnego algorytmu weryfikacji podpisów odręcznych opierającego się na danych dynamicznych zorganizowany przez Hong Kong University of Science and Technology, podczas konferencji międzynarodowej ICBA 2004 (ang. First International Conference on Biometric Authentication) http://www.cse.ust.hk/svc2004/.

a) b)

d) c)

Rzut 6-wymiarowego tokena na x–y

3500 4000 4500 5000 5500 6000 6500 7000 7500 0 2000 4000 6000 8000 10000 12000 X(t) Y (t) Nacisk 0 100 200 300 400 500 600 700 800 900 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 t p Współrzędna X 0 2000 4000 6000 8000 10000 12000 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 t X Współrzędna Y 3500 4000 4500 5000 5500 6000 6500 7000 7500 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 t Y f) e) Azymut 100 105 110 115 120 125 130 135 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 t Ф Elewacja 50 52 54 56 58 60 62 64 66 68 70 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 t θ

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 35

Cechy statyczne uzyskiwane są na drodze przetworzenia rysunku podpisu złożonego na dokumencie na postać elektroniczną. Wykorzystuje się w tym celu skanowanie (por. rys. 3.4) lub innego rodzaju techniki obrazowania cyfrowego (aparat, kamera, itp.) pozwa-lające na uzyskanie elektronicznego zapisu obrazu o dużej rozdzielczości. Konstruowanie i weryfikacja metod rozpoznawania podpisów opierających się na badaniu tego typu cech określa się mianem statycznej analizy podpisów (ang. static/off-line signature analysis) [122].

a) b)

d) c)

Rysunek 3.4 Przykłady obrazów podpisów uzyskanych poprzez skanowanie na postać cyfrową: a-b)

doku-menty oryginalne (dodatkowe eledoku-menty wprowadzające zaburzenia, zniekształcenia), c-d) podpisy do celów testowych (czyste tło).

W zależności od sposobu opisu jasności punktów stanowiących statyczny obraz sygna-tury wyróżnia się obrazy kolorowe lub w odcieniach szarości. Dodatkową trudność w przypadku wykorzystywania tego typu danych stanowi konieczność obróbki wstępnej ob-razów pozyskanych z dokumentów oryginalnych (np. czeków, faktur, itp.) w celu usunię-cia wszelkich elementów tła mogących zaburzać właściwy rysunek podpisu (por. rys. 3.4a-b). Ze stosowanymi w praktyce rozwiązaniami opracowanymi w tym zakresie można się zapoznać m.in. w pracach [30], [82], [133].

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 36

3.3 Analiza statyczna i dynamiczna podpisów

Zadaniem systemów weryfikacji podpisów odręcznych jest klasyfikacja sygnatur na praw-dziwe i fałszywe (falsyfikaty). W zależności od jakości i sposobu podrabiania oryginal-nych podpisów można wyróżnić następujące klasy fałszerstw na jakie napotykają systemy rozpoznawcze:

 wysokiej jakości (ang. skilled forgery) – kiedy fałszerz ma nieograniczony dostęp do próbek pisma, nie jest ograniczony czasowo i może nauczyć się bardzo dokładnie imi-tować oryginalny podpis,

 proste (ang. simple, casual forgery) – kiedy fałszerzowi znane jest imię i nazwisko auto-ra podpisu, ale nie ma dostępu do oryginalnych próbek pisma i tym samym różnice w kształcie i stylu podpisu są wyraźnie widoczne,

 losowe (ang. random, zero-effort forgery) – dowolna sygnatura innej osoby niezwiązanej z autorem oryginalnego podpisu.

Czasami wyróżnia się jeszcze dodatkowo klasę fałszerstw bardzo wysokiej jakości (ang. high skilled forgery) lub oznacza się fałszerstwa wysokiej jakości jako amatorskie i profe-sjonalne. W tym drugim przypadku chodzi o jawne zaznaczenie faktu, iż operacji dokonu-je osoba o bardzo wysokich kwalifikacjach np. zajmująca się zawodowo analizą pisma, która wykorzystuje swoją wiedzę i doświadczenie w celu wygenerowania sygnatury jako-ściowo bardzo zbliżonej do oryginału. Różnice pomiędzy poszczególnymi rodzajami fał-szywych podpisów ilustruje rysunek 3.5.

a) b)

d) c)

Rysunek 3.5 Rodzaje fałszywych podpisów a) podpis oryginalny (ang. genuine), b) fałszerstwo wysokiej

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 37 Parametryczna ocena systemów rozpoznawczych w zakresie ich zdolności do efektyw-nej i skuteczefektyw-nej weryfikacji prawdziwości poddawanych analizie podpisów odręcznych opiera się na określeniu poziomu występowania błędów I i II typu zdefiniowanych nastę-pująco [122]:

 typ I: występuje, kiedy algorytm odrzuca prawdziwą (autentyczną) sygnaturę, traktując ją tym samym jak sfałszowaną,

 typ II: występuje, kiedy algorytm akceptuje fałszywą sygnaturę przyjmując ją ja-ko autentyczną.

Informacja na ten temat jest przedstawiana w formie parametrycznej w postaci współ-czynników FRR30

(ang. False Rejection Rate) i FAR³¹ (ang. False Acceptance Rate) cha-rakteryzujących wiarygodność (dokładność) danego systemu rozpoznawczego w katego-riach oceny ilościowej prawdopodobieństwa występowania odpowiednio błędów I i II typu w procesie weryfikacji. Współczynniki te oblicza się zgodnie z formułami analitycznymi przedstawionymi we wzorach 3.1 i 3.2: % 100   G G T R FRR (3.1) gdzie: G

R - całkowita liczba prawdziwych sygnatur, które zostały odrzucone przez system,

G

T - całkowita liczba prawdziwych sygnatur, które były poddawane weryfikacji,

% 100   F F T A FAR (3.2) gdzie: F

A - całkowita liczba fałszywych sygnatur, które zostały zaakceptowane,

F

T - całkowita liczba fałszywych sygnatur, które były poddane weryfikacji.

Należy przy tym mieć na uwadze fakt, iż dla konkretnego systemu rozpoznawczego zwiększanie dokładności rozpoznawania (minimalizacja FAR) powoduje zwykle wzrost współczynnika FRR [122]. Analogicznie zachodzi również podobna relacja w drugim kie-runku. Poziom błędów dla którego wskaźniki FAR i FRR są na równym poziomie określa

30 Alternatywne określenie FMR (ang. False Match Rate). 31 Alternatywna określenie FNMR (ang. False Non-Match Rate).

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 38 się w literaturze symbolem EER32

(ang. Equal Error Rate). Współczynnik ten pozwala na porównywanie efektywności i dokładności różnych algorytmów. Czasem stosuje się rów-nież uproszczoną miarę w postaci błędu AER (ang. Average Error Rate) obliczanego jako średnia arytmetyczna współczynników FAR i FRR.

W procesie analizy i weryfikacji podpisów odręcznych wykorzystuje się różnorodne metody i techniki opracowane dla potrzeb rozpoznawania obrazów m.in.:

 analiza dynamiczna (on-line): dopasowywanie wzorców33

[38], [41], [80], [97], [124], sieci neuronowe [25], [106], , HMM [31], [42], [79], [104], [162], SVM [61], metody minimalno-odległościowe³⁴ [89], [130],

 analiza statyczna (off-line): dopasowywanie wzorców [1] ,[18], [20], [21], [28], [37], [62], sieci neuronowe [5], [67], [78], [125] , HMM [20], [34], [76], systemy rozmyte [125], [158], SVM [77], [93], metody grafowe (syntaktyczne) [19], me-tody minimalno-odległościowe [35], [36], [96], [135], [140].

Dostępnych jest również szereg prac przeglądowych z tego zakresu. Jeśli chodzi o roz-wiązania wykorzystujące statyczne podejście do analizy podpisów odręcznych (co jest przedmiotem niniejszej pracy) to należy tu wymienić takie istotne opracowania jak Pla-mondon-Lorette (1989) [120], Leclerc-Plamondon (1994) [87], Plamondon-Srihari (2000) [122] oraz Sabourin-Plamondon-Lorette (1992) [134], Hou-Ye-Wang (2004) [66], Radhi-ka-Venkatesha-Sekhar (2008) [127] czy w pewnym zakresie Gupta-McCabe (1998) [63]. Zestawienie wybranych algorytmów weryfikacji podpisów odręcznych przedstawiono w tabeli 3.2 (analiza dynamiczna) i tabeli 3.3 (analiza statyczna). Jak można zauważyć sys-temy on-line cechują się znacznie lepszymi niż syssys-temy off-line parametrami w zakresie

32 Alternatywne określenie CMR (ang. Crossover Error Rate). W praktyce manipulując parametrami algo-rytmów rozpoznawczych można w pewnym zakresie zmieniać wskaźniki FAR i FRR (zwiększając FRR i zmniejszając tym samym FAR lub odwrotnie). Powstała w ten sposób charakterystyka przedstawiająca w sposób wizualny zmienność tych dwóch powiązanych wzajemnie wielkości określana jest mianem ROC (ang. Receiver Operating Characteristic, Relative Operating Characteristic). Punkt na tej charakterystyce, w którym wielkości FAR i FRR są równe określany jest jako EER.

33

Najczęściej wykorzystywaną techniką w tym kontekście jest dynamiczne marszczenie czasu DTW (ang. Dynamic Time Warping). Dotyczy to zarówno podejścia dynamicznego jak i statycznego.

34 W literaturze metody minimalno-odległościowe określane są mianem SDC (ang. Simple Distance Classi-fier) lub MDC (ang. Minumum Distance ClassiClassi-fier).

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 39 dokładności i precyzji co jest bezpośrednio związane ze specyfiką danych wejściowych35

z jakich korzysta się w obu przypadkach (por. rozdz. 3.2).

Tabela 3.2 Zestawienie wybranych algorytmów analizy dynamicznej (on-line) podpisów odręcznych wraz z

informacją na temat ich dokładności.

Autor (rok) FAR/FRR [%] Metoda Dodatkowe informacje A. Czajka, A. Pacut [25] (2002) 8.33%/11.11% 0.0%/11.11% Radialne NN³⁶ (RCE) Sigmoidalne NN Kholmatov, Yanikoglu³⁷ [80] (2005)

1.4% (AER) DTW³⁸ 619 sygnatur/94 osoby

Schimke, Vielhauer, Dittmann [140] (2004)

4%/0% SDC 1376 sygnatur/41 osób

Tabela 3.3 Zestawienie wybranych algorytmów analizy statycznej(off-line) podpisów odręcznych wraz z

informacją na temat ich dokładności.

Autor (rok) FAR/FRR (AER, EER) Metoda Dodatkowe informacje

Kaewkongka [78] (1999) 4.76% (AER) NN 70 sygnatur³⁹

Fang, Leung [37] (2003) 23.5% / 22.1% DTW 1320 sygnatur/55 osób oraz 1320 fałszywych sygna-tur od 12 fałszerzy

Justino, Bortolozzi, Sabourin [77] (2004) 13% (AER) 19% (AER) HMM SVM 100 osób

Coetzer [20] (2005) 12.2% (EER) HMM 4800 sygnatur/ 51 osób

35

Dane do analizy reprezentowane w postaci jednowymiarowej (1D) serii danych uporządkowanych wzglę-dem czasu niosących informację o parametrach dynamicznych wynikających z biomechaniki ręki/dłoni (trudnych do podrobienia).

36 Sieci neuronowe (ang. Neural Networks, NN)

37 Algorytm ten został z powodzeniem zastosowany przez autorów w konkursie SVC2004 ogłoszonym w ramach konferencji ICBA2004 i zajął pierwsze miejsce. Przeciwko zestawowi wysokiej jakości podrobio-nych sygnatur uzyskał dokładność rzędu 2.8%.

38 Dynamiczne marszczenie czasu (ang. Dynamic Time Warping).

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 40

Agam, Suresh [1] (2007) 30% / 0% DTW 76x5 sygnatur/76 osób

Piyush Shanker, Rajagopalan [119] (2007)

(0; 20)% / 25% (random, skilled)

DTW (modified) 100 osób

Podczas oceny systemów rozpoznawania (weryfikacji, identyfikacji) wykorzystuje się testowe bazy podpisów. Od parametrów takiej bazy zależy wiarygodność uzyskiwanych wyników eksperymentalnych. Wysokiej jakości zbiór danych testowych dla potrzeb anali-zy podpisów odręcznych powinien spełniać następujące kryteria:

 duża liczebność sygnatur (zarówno wzorcowych jak i sfałszowanych),  podpisy zebrane od możliwie wielu różnych osób,

 pełna reprezentacja fałszywych sygnatur (losowe, proste oraz wysokiej jakości).

Oprócz wymienionych warunków należy również zadbać o właściwy przebieg procesu tworzenia takiej bazy o ile konstruujemy ją we własnym zakresie. W tym kontekście szczególnie ważne jest zapewnienie, aby podpisy wzorcowe składane przez konkretną osobę nie były ze sobą skorelowane czasowo – odpowiedni odstęp czasowy pomiędzy po-szczególnymi realizacjami sygnatur. Jeśli chodzi o reprezentację zbioru fałszywych sygna-tur to pozyskanie falsyfikatów losowych i prostych nie stanowi większego problemu. Jako pierwsze z nich traktowane są podpisy testowe innych osób. Fałszywe sygnatury typu pro-stego imitujące podpis danej osoby są natomiast konstruowane przez inne osoby składające podpisy wzorcowe. Problemów może jedynie nastręczać wykonanie imitacji wysokiej ja-kości.

Można również skorzystać z dostępnych i gotowych baz sygnatur wysokiej jakości. Ba-zy takie są tworzone przez różne zespoły badawcze i udostępniane na określonych warun-kach dla celów naukowych. Poniżej znajduje się lista tego typu zbiorów zawierających podpisy odręczne wraz z adnotacjami na temat warunków korzystania i rodzaju danych:

 Signature Verification Competition 2004 Database

Sygnatury on-line, 80 osób (20 sygnatur wzorcowych + 20 imitacji) Podpisy w wersji europejskiej i kanji (chińskie)

ROZDZIAŁ 3:BIOMETRYCZNE TECHNIKI ANALIZY PODPISÓW ODRĘCZNYCH 41

 MCYT Online and Offline Signature Database

100 osób (on-line), 75 osób (off-line), wymagana umowa licencyjna. http://atvs.ii.uam.es/bbdd_EN.html

 Caltech Signature Database

Sygnatury on-line - dane uzyskane z kamery.

http://www.vision.caltech.edu/mariomu/research.html  Offline GPDS signature database

160 osób (24 sygnatury wzorcowe + 30 imitacji), wymagana umowa licencyjna. http://www.gpds.ulpgc.es/download/

 HIT-MW Chinese Signature database 780 osób, Wymagany wniosek i autoryzacja

http://hitmwdb.googlepages.com/writeridentification

W ramach niniejszej pracy dla potrzeb badawczych oraz oceny parametrycznej propo-nowanych rozwiązań została utworzona dedykowana baza sygnatur testowych. Podpisy zostały zebrane od grupy anonimowych osób (ochotników). Każda osoba zrealizowała 24 podpisy wzorcowe. Dodatkowo dla każdego rodzaju wzorca z bazy wykonane zostały próbki fałszerstw prostych i wysokiej, jakości. Imitacje oryginalnych sygnatur były wyko-nywane wzajemnie przez ochotników oraz przez autora pracy. Każdy ochotnik wykonał dwa fałszerstwa proste i dwa wysokiej jakości dla losowo wybranych podpisów. Oprócz tego autor pracy zrealizował po dwie imitacje wysokiej jakości dla każdego podpisu z ba-zy. W każdym przypadku osoba imitująca sygnaturę w wysokiej jakości miała dostęp do puli podpisów wzorcowych i wystarczający czas na ćwiczenia i trening podpisu. Przy fał-szerstwach prostych znane było nazwisko, ale bez możliwości wglądu w kształty podpisów wzorcowych dla danej osoby. Razem uzyskano bazę sygnatur testowych o liczebności 300 podpisów dla 10 różnych wariantów (szczegółowe dane są również dostępne w rozdz. 6).

ROZDZIAŁ 4:MODEL REPREZENTACJI SYGNATUR ODRĘCZNYCH ... 42

4 Model reprezentacji sygnatur odręcznych z wykorzystaniem