Dwięk w multimediach

Dwięk w

multimediach

Ryszard Gubrynowicz

Ryszard.Gubrynowicz@pjwstk.edu.pl

Wykład 7 ₁

Jak stany emocjonalne znajdują swoje odbicie

w mowie ?

2

3

happy sad

angry

interested bored

Interpretacja aktorska

Funkcje emocjonalne cech prozodycznych

Słuchacz na ogół kontroluje w wypowiedzi swój stan emocjonalny. W jego wyrażeniu posługuje się przede wszystkim tempem mówienia,

głośnością, wprowadzaniem dodatkowych pauz, przedłużaniem niektórych dźwięków, a także

modulowaniem melodii. W wypowiedziach

nacechowanych emocjonalnie wahania melodii są znacznie większe, niż w wypowiedziach o

charakterze neutralnym. Neutralne – 3-4 tony, z dużym ładunkiem emocjonalnym - > 1 oktawy.

4

5

Przykład opozycji szczęśliwy –

smutny w konturze melodycznym

Przykład opozycji szczęśliwy – gniewny w konturze melodycznym

6

Przykład z dialogu typu HMIHY – How may I help you ?

Very Frustrated

Somewhat Frustrated

7

Trudności w określaniu emocji

Nadanie wypowiedzi określonego typu emocji jest zadaniem bardzo złożonym. Osoby

określające typ wypowiedzi pod względem emocji rzadko są zgodne w swych ocenach, z wyjątkiem krańcowych, lub wyraźnie

kontrastowych typów emocji

Słuchacze w swojej ocenie głównie opierają się na cechach prozodycznych, zwłaszcza na

iloczasach i stylizowanym przebiegu F0.

8

9

Interkorelacje między emocjami

Emotion sad angry bored frust anxs friend conf happy inter encour

sad ^{0.44 0.44 0.26 0.22 -0.27 -0.32 -0.42 -0.32 -0.33}

angry ^{0.70 0.21 -0.41 -0.37 -0.09 -0.32}

bored ^{0.14 -0.14 -0.28 -0.17 -0.32 -0.42 -0.27}

frustrated ^{0.32 -0.43 -0.09 -0.47 -0.16 -0.39}

anxious ^{-0.14 -0.25 -0.17 -0.14}

friendly ^{0.44 0.77 0.59 0.75}

confident ^{0.45 0.51}

happy ^{0.58 0.73}

interested ^0.62

encouraging

(p < 0.001)

Cechy emocji w sygnale mowy

 Prozodia nie uwzględnia jakości głosu, która może również nieść informację o stanie

emocjonalnym osoby mówiącej (chrypka, krzyk, szept itp.) czy stylu mówienia (hyperartykulacja, wstawianie wydłużonych pauz…)

 Wydaje się, że cechy akustyczne emocji mogą być specyficzne dla języka

 Trudności w jednoznacznym określaniu emocji w sygnale mowy – często niesie równolegle szereg emocji jednocześnie, o podobnym charakterze

10

11

Emocje w płaszczyźnie subiektywnej

12

Strach/złość

-zwiększona prędkość i głośność wypowiedzi

-podwyższone F0

-zwiększony zakres F0 -zaburzony rytm mowy

-dokładniejsza artykulacja -zwiększona energia w zakresie wyższych

częstotliwości

Smutek/odprężenie

-zmniejszona prędkość i głośność wypowiedzi

-obniżone F0

-zmniejszony zakres F0 -wyrównany rytm mowy, płynna mowa

-niedokładna artykulacja -obniżona energia w

zakresie wyższych częstotliwości

Emocje kontrastowe w płaszczyźnie

akustycznej

13

Miary akustyczne emocji

F0: zakres zmian, wartość średnia, nachylenie

konturu (w górę/w dół), kształt konturu na sylabach akcentowanych

Struktura harmoniczna sygnału: udział szumów przydechowych, laryngalizacja (zwężone impulsy krtaniowe, duża zmienność okresu tonu

krtaniowego)

Jasność brzmienia: stosunek energii w górnym zakresie częstotliwości do energii w dolnym

zakresie

Głośność: zakres zmian, wartość średnia, kontur, plozji

Iloczasy: pauz, wyrazów, samogłoska/spółgłoska,

14

Wpływ emocji na głos i mowę

15

Cechy mowy emocjonalnej

Udział cech mowy w detekcji stanu emocjonalnego - radość

16

F0 _śred :+50%

Zakres zmian F0 :+100%

Tempo : +30%

Jakość głosu = normalny lub napięty, wskaźnik rozchylenia warg F1/F2:+10%

Dla języka niemieckiego

Cechy istotne w detekcji stanu emocjonalnego – złość

17

Dla języka BE F0 _śred :+10 Hz

Zakres zmian F0 : 9 półtonów

Zmiana tempa mowy: +30 słów/min Głośność: +6 dB

Jakość głosu: laryngalizacja (+78%)

Inne: wzrost F0 na akcentowanych sylabach zależnie od stopnia emocji - 10,20 i 40%

(podkreślona)

Cechy istotne w detekcji stanu emocjonalnego – smutek

18

F0 _śred : „0” linia odniesienia - „-1”, końcowe obniżenie, co najmniej „-5”

Zakres zmian F0 : „-1 -5”

Zmiana tempa mowy : „-10”, pauzy niezbyt długie

„+5”, wahania (pauzy) „+10”

Głośność: „-5”

Jakość głosu: przydechowy „+10”, jasność „-9”

Inne: podniesienie częstotliwości na sylabie akcentowanej „+1”, dokładność artykulacji „-5”

Wg skali oceny subiektywnej – język AE

Cechy istotne w detekcji stanu emocjonalnego – zdziwienie

19

Wg skali oceny subiektywnej – język AE F0 _śred : „0” linia odniesienia - „-8”

Zakres zmian F0 : „+8”, skokowe zmiany konturu melodycznego

Zmiana tempa mowy : „+4”, pauzy wydłużone „-510”

Głośność: „+5”

Jakość głosu: jasność „-3”

Ranking cech akustycznych emocji

Cecha akustyczna SFFS-Rank Single Perf.

F0, maksymalne nachylenie 1 31.5

FO, standardowe odchylenie odległości

między przeciwstawnymi sobie punktami 2 23.0

F0, wartość średnia 3 25.6

Sygnał, gęstość przejść przez zero 4 16.9

F0, odchylenie standardowe 5 27.6

Iloczas pauz, wartość średnia 6 17.5

Iloczas głosek dźwięcznych, wartość średnia 7 18.5

Energia, średnia czasu opadania 8 17.8

Energia, średnia odległość między

przeciwstawnymi sobie punktami 9 19.0

Energia, średnia czasu narastania 10 17.6 ₂₀

SFFS- Sekwencyjna selekcja podzbioru cech

Synteza mowy emocjonalnej

http://emosamples.syntheticspeech.de/#big4 21

Mechanizm percepcji dźwięków

22

23

Układ akustyczny Układ akustyczny odbiornik

odbiornik - - ośrodek ośrodek - - źródło źródło

Narząd słuchu Narząd słuchu

W systemie percepcji dźwięków można wyróżnić 2 zasadnicze – układ peryferyjny słuchu i układ

nerwowy tego narządu poprzez który dokonywane jest przetwarzanie bodźców na wyższych piętrach układu nerwowego (w mózgu). W narządzie słuchu dokonywane jest przetwarzanie zmian ciśnienia

akustycznego na rozkład drgań na błonie podstawnej, który jest przekształcany na

odpowiednie serie impulsów pobudzających nerw słuchowy. Informacje o odbieranych sygnałach

docierających do narządu słuch są ekstrahowane

na różnych poziomach układu nerwowego. ²⁴

Anatomia narządu słuchu

25

Zasadnicze elementy Zasadnicze elementy

narządu słuchu narządu słuchu

26

Schemat funkcjonalny organu słuchu

27

Charakterystyka częstotliwościowa ucha zewnętrznego

Charakterystyka małżowiny – kąt 45 ⁰ 28

Ucho środkowe (przekrój)

1 – młoteczek 2 – kowadełko 3 – strzemiączko

4 – błona bębenkowa 5 – okienko okrągłe 6 – trąbka

Eustachiusza (łączy z częścią gardłowo-

nosową)

29

Ucho środkowe (od wewnątrz)

1 – młoteczek, 2 – jego ścięgno 3 – kowadełko, 4 – jego ścięgno

6 – stopa strzemiączka, 5 – mięsień strzemiączka

7 – błona bębenkowa

Układ kosteczek słuchowych (1,3,6) jest układem mechanicznym

dopasowującym drgania w

powietrzu do drgań w płynie którym jest wypełnione ucho wewnętrzne.

Bez tego układu 98% energii akustycznej

uległoby odbiciu. ³⁰

31

Funkcje kosteczek słuchowych

 swoistego rodzaju układ przekładni mechanicznej

dopasowujący drgania w powietrzu do drgań w cieczy.

Zamienia duży ruch tłoka o dużej powierzchni (błona bębenkowa) na mały ruch tłoka o małej powierzchni

(podstawa strzemiączka w okienku owalnym). Wzmocnienie siły wynosi 27 razy. Transmisja dźwięków jest

najskuteczniejsza w przedziale częstotliwości 500-4000 Hz.

 układ zabezpieczający – powyżej 90 dB (<1-2 kHz), następuje wzrost napięcia mięśni usztywniających układ kosteczek, w wyniku czego następuje ograniczenie przepływu energii

akustycznej (odruch strzemiączkowy). Odruch ten jest zbyt wolny by chronić ucho przed hałasem impulsowym, np.

wystrzał z broni palnej, gwałtowne pęknięcie ABS. ³²

Jak działa ucho środkowe ?

Strzemiączko jest tłokiem umieszczonym w ścianie kostnej ucha wewnętrznego (w okienku owalnym).

Tłok pobudza do drgań nieściśliwą ciecz wypełniającą przestrzenie ucha wewnętrznego.

Niska częstotliwość fali docierającej do ucha

Wysoka częstotliwość fali docierającej do ucha

33

Praca układu kosteczek ucha środkowego

34

Wzmocnienie w uchu środkowym

35

Występują tu dwa efekty – efekt wzmocnienia tłokowego (S ₁ /S ₂ ) ≈ 20 . S ₁ = 0.6 cm ²

Efekt dźwigni (kosteczki) - d1/d2=1.3

Łączne wzmocnienie = 26 (28 dB)

Charakterystyka transmitancji ucha środkowego

36

Funkcje transmitancji ucha zewnętrznego i środkowego

Zewnętrzny przewód słuchowy (o długości 2-3 cm, średnica 1 cm) ma skomplikowaną geometrię, co powoduje, że w jego charakterystyce transmitancji występuje szereg rezonansów (ok. 6) w zakresie od 3 do 12 kHz. Małżowina uszna wspomaga

kierunkowe słyszenie dźwięków.

Funkcja transmitancji ucha środkowego ma jeden dominujący rezonans w pobliżu 1 kHz. Razem, obie części narządu słuchu kształtują

częstotliwościową charakterystykę czułości słuchu z szerokim maksimum położonym w pobliżu 3 kHz.

37

Porównanie charakterystyki czułości słuchu z łączną charakterystyką ucha

zewnętrznego i środkowego

Ucho wewnętrzne działa jak swoistego rodzaju detektor 38

poziomu o stałym poziomie detekcji

Budowa ślimaka

Ślimak płodu (5 mies) – 2,5 zwojów o – okienko owalne, r – okienko okrągłe (struktura kostna usunięta)

1 – kanał ślimakowy, 2 – schody 5 mm

przedsionka 3 – schody bębenka, 4 – zwój nerwowy

5 – nerw słuchowy ³⁹

40

41

Basilar membrane: it moves according to the pressure wave

induced by the movement of the eardrum on the oval

window

Auditory nerve axons

VIII cranial nerve

The organ of Corti

inner outer

Two groups of hair cells: 1 row of Inner Hair Cells (IHC)and 3 rows of

Outer Hair Cells (OHC)

IHC connect to 90-95% of afferent

auditory fibers OHC are mostly efferent: top-down

information modulates their response Hair cells have stereocilia or “hairs” at

their top. Their height increases progressively along the cell. The

longest is called “kinocilium”

Hair cells

1. Movement of basilar membrane

3. Receptor potential. Depolarization because of the entry of Potassium ions (K+) and subsequent

entry of Calcium ions (Ca++) 4. Synaptic vesicles release a neurotransmitter (glutamate), triggering the nervous impulse 2. Hair cell movement: increasing

tension opens the ionic channels in the hair cells. An ionic

exchange happens

Dynamics of hair cells

Pobudzanie ^ślimaka

Długość membrany podstawnej – ~35mm

45

Drgania membrany podstawnej

Przebieg sinusoidalny niskiej częstotliwości

Przebieg sinusoidalny o wysokiej częstotliwości Membrana tu drga niemal

na całej swej długości

Tu membrana drga tylko

do określonego miejsca ⁴⁶

Rozkład drgań na membranie podstawnej – 100 Hz

47

Rozkład drgań na membranie podstawnej – 400 Hz

48

Rozkład drgań na membranie podstawnej – 1200 Hz

49

Rozkład drgań na membranie podstawnej – 4800 Hz

50

Drgania membrany podstawnej przy pobudzeniu tonem sinusoidalnym

Dźwięki o różnych częstotliwościach wywołują

maksymalny ruch membrany w jej różnych miejscach.

W ten sposób powstaje przełożenie częstotliwości dźwięku na miejsce i dalej na odpowiednio

zróżnicowanej odpowiedzi neuronów.

podstawa osklepek

51

Pobudzanie membrany podstawnej przez dźwięk złożony

52

Przekrój zwoju ślimaka

53

Przekrój zwoju ślimakowego

4 – błona Reisnera, 5 – membrana podstawna, 6 – błona pokrywkowa

Organ Cortiego

Schody przedsionka

Schody bębenka

54

Schemat organu Cortiego

1- wewnętrzne

komórki rzęskowe 2- zewnętrzne

komórki rzęskowe 3- tunel Cortiego

4- membrana podstawna 5- błona

siateczkowata 6- błona pokrywkowa 7- komórki Deitersa 8- przestrzeń Nuela 9- komórki Hensena

Drgający ruch struktur organu Cortiego wywołuje pobudzenie neuronów, co powoduje, że słyszymy

dźwięk ⁵⁵

Blona podstawna Odśrodkowe

nerwy słuchowe ^mózg

Zewnętrzne k. rz.

Wewnętrzne k. rz.

Organ Cortiego i włókna nerwowe

Graeme Clark

The Bionic Ear Institute

56

Płyny w ślimaku

3 zwoje ślimaka są wypełnione płynami – endolimfą i

perylimfą. Mają one zasadnicze

znaczenie dla

działania komórek rzęskowych, które wytwarzają impulsy elektryczne

Różnice w składzie jonowym endolimfy i perylimfy powoduje powstanie między nimi różnicy napięć około

80 mV. ⁵⁷

Komórki rzęskowe zewnętrzne i wewnętrzne

zewnętrzne wewnętrzne

W ślimaku jest 3 500 wewnętrznych komórek

rzęskowych i 12 000 zewnętrznych. Jest to znikoma ilość w porównaniu z receptorami narządu wzroku

58

Funkcje komórek rzęskowych

59

Komórki rzęskowe wewnętrzne są przymocowane do

doprowadzających włókien nerwu ślimakowego i ich funkcją jako „rzeczywistych komórek słuchowych” jest zamiana

informacji akustycznej na sygnały nerwowe. Komórki rzęskowe zewnętrzne są w przeważającym stopniu stymulowane przez włókna odprowadzające nerwu

ślimakowego i często są opisywane jako „silnik” ślimakowego wzmacniacza. Ich zadaniem jest spowodowanie, aby

maksymalne uwypuklenie błony podstawnej było bardziej wyraźne tak, aby komórki rzęskowe wewnętrzne to

zarejestrowały. Tak więc komórki rzęskowe zewnętrzne służą jedynie do tego by wzmocnić wędrującą falę, podczas gdy

komórki rzęskowe wewnętrzne zamieniają bodźce

mechaniczne na potencjał bioelektryczny.

Efekt współdziałania zewnętrznych i wewnętrznych komórek rzęskowych

60

Tylko dzięki współdziałaniu i wzajemnym oddziaływaniu komórek rzęskowych

wewnętrznych i zewnętrznych ucho posiada tak niski próg słyszenia (= podwyższenie amplitudy wędrującej fali) i taką czułość w rozróżnianiu

częstotliwości(=strome przesunięcie wędrującej

fali).

Uszkodzona komórka rzęskowa zewnętrzna

zewnętrzne wewnętrzne

Uszkodzona komórka rz.

61

Przestrzenny rozkład drgań w błonie podstawnej

62

osklepek podstawa

Okienko owalne

Kierunek rozchodzenia się fali bieżącej

Rozkład komórek rzęskowych na błonie podstawnej

type 1 type 2

Ton oto py

Nerwy słuchowe w uchu wewnętrznym

Błona siateczkowata Błona siateczkowata

Wise et al, The Bionic Ear Institute, 2003.

20 µm

Ludzki włos

60 µm 60 µm

Spiralny zwój nerwowy

Zewnętrzne k.rz.

Wewnętrzne k.rz.

64

65

Mechaniczne i elektryczne własności komórek rzęskowych

Przy podstawie (bliżej okienka owalnego) komórki

rzęskowe rozmieszczone wzdłuż błony podstawnej są odpowiednio dostrojone częstotliwościowo elektrycznie jak i mechanicznie. Rzęski przy okienku owalnym są krótsze i sztywniejsze, te bardziej oddalone są dłuższe i bardziej elastyczne. Jednocześnie własności

komórek rzęskowych, decydujące o częstotliwości wyładowań elektrycznych własnych, są zgodne z rozmieszczeniem komórek wzdłuż membrany

podstawnej. Częstotliwość wyładowań jest zgodna z

rozkładem rezonansów błony podstawnej. A każdy

neuron ma swoją „częstotliwość charakterystyczną”.

Schemat działania organu Cortiego

66

Rzęski zaczynają wychylać się w dwie strony (wychylenie czubków – 0.3 nm). W tym samym czasie dochodzi do zamykania się i otwierania kanałów jonowych . Dzięki nim z endolimfy ślimaka do wnętrza rzęsek napływają jony potasu. W ten sposób zostają wywołane chwilowe zmiany potencjału. Na zmiany te reagują

zakończenia komórek nerwowych, które powstałe pobudzenie przekazują dalej do

wyższych pięter układu słuchowego.

67

68

Rozkłady drgań na błony

podstawnej w funkcji częstotliwości

f= 1000 Hz

f= 8000 Hz

f= 1000 Hz i 8000 Hz

Poziom => głośny cichy

69

Synchronizacja fazowa

Komórki rzęskowe rozmieszczone wzdłuż błony podstawnej są odpowiednio dostrojone

częstotliwościowo elektrycznie, jak i mechanicznie.

Synchronizacja fazowa

Odpowiedź neuronu słuchowego na dźwięki o niskiej częstotliwości

Odpowiedź pozostaje zsynchronizowana dla dużego zakresu intensywności ⁷¹

Synchronizacja fazy z

pobudzeniem sinusoidalnym

Dla częstotliwości < 5 kHz, impulsy nerwowe

pojawiają się z określoną fazą zgodnie z cyklem sygnału pobudzającego. Wyładowania te nie

pojawiają się w każdym cyklu pobudzenia.

Jednakże odległość między pojedynczymi

impulsami może wynosić 2,3 lub więcej cykli.

72

73

Schemat synchronizacji pobudzeń

Schemat pobudzenia

neuronu

Zsynchronizowana odpowiedź słuchowa

• Włókna nerwowe synchronizują swoją

odpowiedź w celu jej wyostrzenia w zakresie niskich częstotliwości i wygładzenia obwiedni w zakresie wysokich częstotliwości

• Synchroniczność odgrywa istotną rolę w procesie lokalizacji źródeł dźwięków

74

Zakres dynamiczny słyszenia

• Im większa jest liczba impulsów/s tym większe wrażenie głośności

• Im większa jest liczba pobudzonych zakończeń

nerwowych, tym dźwięk jest odbierany jako głośniejszy ⁷⁵

Częstotliwościowa czułość słuchu

Pomiar dla pojedynczego nerwu. Charakterystyka jest

symetryczna w skali log f. ⁷⁶

Odpowiedź włókna nerwowego na 2 tony

77

Pojawienie się tonu w strefie zakreskowanej powoduje

zmniejszenie się liczby impulsów odpowiadającej tonowi

testowemu, co zwiększa lokalny kontrast częstotliwości.

Częstotliwościowa zależność poziomu progowego włókien nerwowych

Szerokość pasma zależy od częstotliwości środkowej . 78

Częstotliwościowe zakresy odpowiedzi są asymetryczne.

79

Membrana podstawna – rozkład częstotliwości

Od osklepka

(szczytu) w kierunku podstawy błony

podstawnej rozkład miejsc pobudzeń zmienia się

proporcjonalnie do logarytmu

częstotliwości

80

Membrana podstawna – rozkład częstotliwości pobudzeń

Znaczna część długości błony podstawnej reaguje na niższy zakres częstotliwości (zakres F1 w mowie), przy czym

większość odpowiedzi neuronów jest w zakresie poniżej środkowych

częstotliwości (2-3 kHz).

Słuch, mowa w korze mózgowej

81

Ośrodek Wernickego – słuchowy ośrodek mowy

Obszar Broca – okolica ruchowa mowy

Kodowanie częstotliwości w mózgu

20 kHz 10 kHz

5 kHz

2 5 10 20

2 kHz

Graeme Clark The Bionic Ear Institute

słuchowe pole

ślimak ⁸²

83

Implant ślimakowy – część zewnętrzna

1. mikrofon 2. przewód doprowadzający 3. procesor mowy 4 cewka odbiorcza 5. cewka odbiorcza wysyłająca poprzez skórę sygnały FM do implantowanego odbiornika

pobudzającego 6. odbiornik pobudzający 7. elektrody pobudzające zakończenia nerwu słuchowego w ślimaku

8. nerw słuchowy ⁸⁴

Implant ślimakowy – część wewnętrzna

85

Elektrody implantu ślimakowego

86

Wymiary elektrod

0.3mm 0.3mm 0.45mm

0.45mm

87

Procedura SPEAK

Widmo chwilowe 20-kanałowy zestaw

filtrów pasmowych Sygnał mowy

/a/

Powierzchnia elektrod

podstawa osklepek

6 maksymalnych napięć

88

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 -6

-4 -2 0 2 4 6

8 Waveform of Original Sound

Time (sec)

A m p lit u d e

TextEnd

Time

F re q u e n cy

TextEnd

Spectrogram of Original Sound

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5

0 2000 4000 6000 8000

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5

-1 -0.5 0 0.5 1 1.5

2 x 10

Simulated waveform

Time (sec)

A m p lit u d e

TextEnd

Time

F re q u e n cy

TextEnd

Spectrogram of simulated waveform

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5

0 2000 4000 6000 8000

From herrick_uedamodel/script_demo1:

best 6 of 16 channels, 250 Hz pulserate, 16 kHz sampling H/U filterbank

Symulacja działania implantu ślimakowego

89

Wpływ liczby kanałów pobudzających na zrozumiałość mowy

1 2 4 8 16

90