Rozprawa dotyczy opracowania metody rozpoznawania słów i pojedynczych zdań polskiego języka migowego (systemu językowo-migowego SJM) na podstawie analizy sekwencji wizyjnych. Podejście polega na wykorzystaniu modelowania gestów za pomocą jednostek mniejszych niż słowa (zwanych cheremami). Przypomina to modelowanie za pomocą fonemów w przypadku języka mówionego. Ponieważ nie wiadomo dokładnie, co w wypowiedzi przedstawianej za pomocą gestów stanowi odpowiedniki fonemów, zaproponowana metoda ich wyodrębnienia opiera się na analizie danych. Polega na określeniu sposobu segmentacji szeregów czasowych reprezentujących wypowiedzi, by powstałe fragmenty - traktowane jako poszukiwane cheremy - tworzyły jednorodne grupy. Punkty podziału wyznaczano jako rozwiązanie zadania optymalizacji, znajdowane z wykorzystaniem ewolucyjnej procedury. W pracy położono nacisk na ocenę wpływu metod określania podobieństwa między cheremami, metod grupowania i oceny klastrów, technik optymalizacji oraz typu klasyfikatora na skuteczność rozpoznawania. Metody wyznaczania cheremów, modelowania i rozpoznawania wyrażeń SJM zostały pozytywnie zweryfikowane na podstawie licznych, wielostronnych badań z wykorzystaniem obszernej bazy danych. Część aplikacyjna nawiązuje do zagadnień interakcji człowiek-maszyna ukierunkowanych na interpretację przez komputer gestów wykonywanych rękami.
“Using clustering of time series for video-based recognition of signed expressions” The thesis concerns the development of methods to recognise words and sentences in Polish Sign Language (PSL). The PSL expressions are modeled with subunits, which is similar to modeling speech by means of phonemes. Because of general lack of knowledge of how to break down signs into subunits, the approach is based on the analysis of video sequences. The procedure consists in partitioning time series of feature vectors obtained from video material into subsequences which form homogeneous clusters. The cut points are determined by an evolutionary optimization procedure based on quality assessment of the resulting clusters. In this work the emphasis is put on assessing the impact of methods for determining similarity between subunits, clustering and cluster validation techniques, as well as optimization algorithms and classifier types on recognition rate. Methods for determination of subunits, and modelling and recognition of PSL expressions have been positively verified on the basis of comprehensive experiments using a large database. Practical issues of the work are related to human-machine interaction oriented to automatic recognition of hand gestures.
