Celem pracy było skonstruowanie metody rozpoznawania układu dłoni (ang. hand posture) na obrazie, opartej na modelu parsingu języków grafowych. Metodę przystosowano do obrazów układów dłoni Polskiego Języka Miganego (PJM), który jest podstawowym środkiem komunikacji osób głuchych i niedosłyszących z osobami spoza tego środowiska. Badana metoda klasyfikacji obrazów charakteryzuje się niższą złożonością obliczeniową i większą uniwersalnością od używanego dotychczas podejścia bazującego na reprezentacji grafowej dłoni w procesie rozpoznawaniu obrazów - dopasowania grafów (ang. graph-matching). Ta właściwość predestynuje ją do zastosowania w systemach wizyjnych w celu rozpoznawania układów dłoni w czasie rzeczywistym.
Rozpoznawanie układu dłoni w prezentowanej metodzie przebiega w następujących etapach.
1. Obraz wejściowy podlega wstępnemu przetwarzaniu, w wyniku którego wyznaczany jest zbiór punktów charakterystycznych obrazu.
2. Budowana jest grafowa reprezentacja obrazu dłoni, w postaci umożliwiającej zastosowanie efektywnego algorytmu analizy syntaktycznej.
3. W procesie parsingu stworzonej reprezentacji grafowej rozpoznawany jest układ dłoni na obrazie.
W trakcie prac badawczych dowiedziono potrzeby rozszerzenia znanego z literatury formalnego modelu opartego na gramatykach grafowych klasy ETPL(k) i wprowadzono stosowne definicje. Zaprojektowana metoda została zaimplementowana. Następnie przeprowadzono serię eksperymentów weryfikujących jej skuteczność na zbiorze obrazów dłoni w układach występujących w Polskim Języku Miganym.
Hand image recognition using ETPL(k) graph grammars in vision systems for sign language analysis.
The aim of the dissertation was to create a method for hand posture recognition on an image, based on the parsing model of graph languages. The method has been adapted to images representing hand postures of Polish Sign Language, which is a main means of communication between the hearing impaired and people from outside of this group. The method of image classification described in the dissertation is of lower computational complexity and higher flexibility than graph matching - an approach to hand image recognition based on its graph representation that is widely used in many applications. The abovementioned features makes the method interesting in the context of real-time hand posture recognition.
The image recognition process in the method described consists of the following three steps.
The recognition process of hand postures consists of three main phases.
1. Preprocessing of the hand image is conducted in order to identify a set of its characteristic points.
2. A graph representation of the image is built in a way that effective syntactic analysis algorithm can be used.
3. The hand posture on the image is recognized during the parsing process of the image representation.
A need to extend the well known formal model based on ETPL(k) graph grammars has been proved during the research. The abovementioned method was implemented in a form of a recognition system. A series of experiments was conducted to verify its effectiveness for Polish Sign Language hand postures.
