Analiza zawartości nielingwistycznej sygnałów mowy
Niniejsza praca łączy różne aspekty analizy informacji para- i nielingwistycznej zawartej w sygnale mowy: form i treści, które wykraczają poza zawartość słowną. Sposób mówienia został zbadany pod kątem takich funkcji, jak sygnalizowanie granic fraz, zdań, akcentów, czy też ekspresji stanów mówcy - emocji i nastawienia. Kluczowym celem przeprowadzonych prac była automatyzacja rozpoznawania poszczególnych aspektów profilu mówcy przy użyciu algorytmów uczenia maszynowego. Pierwsza część pracy zawiera opis podłoża teoretycznego paralingwistyki, z uwzględnieniem definicji, taksonomii oraz przeglądem literatury. W części eksperymentalnej, autorka poszukuje parametrów akustycznych, modeli i metod opisu barwy głosu i sposobu mówienia, w tym struktury czasowej mowy (pauzy, akcenty, cechy segmentalne, prozodia). Dalsza część poświęcona jest ekstrakcji informacji wysokopoziomej o stanie i cechach mówcy. Dla tego zastosowania, zaadaptowano i zoptymalizowano algorytmy znane z innych gałęzi technologii mowy, m.in. analizę falkową oraz falkowo-Fourierowską. Opracowane zostały modele i algorytmy dla automatycznego rozpoznawania emocji i nastawienia mówcy. Rezultaty pracy są stosowane dla celów innych systemów technologii mowy lub mogą być wykorzystane jako osobne narzędzia. W zakresie języka polskiego, praca wnosi ewidencje dotyczące polskich fonemów, związków cech akustycznych z interpunkcją, jak również natury akcentu w polskim języku mówionym.
Analysis of non-linguistic content of speech signals
This work combines various aspects of non-linguistic information conveyed in speech signal - the form and the content of speech that lays beyond linguistic message. The way we speak was investigated in terms of different functions - starting from paralinguistic aspects like accents or sentence boundaries, ending with non- linguistic information like speaker emotions or attitude. The crucial aim of research was the automatization of detection of different aspects of speaker profile by machine learning methods.
First, the author looks for acoustic parameters, models and methods that describe voice and speaking style. Temporal structure of speech (including pauses, accents, phonemic variations, prosody) and voice quality are measured and analyzed quantitatively and qualitatively. Then, problems of extraction of high-level information (speaker state and traits) are explored. The state-of-the-art methods were adapted and optimized to the purposes of the study and some new parameterization techniques were introduced, using Wavelet Transform and Wavelet-Fourier Transform. The results of the research are applied in other speech technology systems or can be used for separate tools. The thesis contributes also to the Polish phonology and phonetics field by bringing new evidence of phones properties and nature of accents in Polish spoken
