KATEDRA SYSTEMÓW MULTIMEDIALNYCH
LABORATORIUM AKUSTYKI MUZYCZNEJ
Ćwiczenie Nr 2:
ANALIZA DŹWIĘKÓW INSTRUMENTÓW MUZYCZNYCH
1. PODSTAWY TEORETYCZNE
Analiza czasowo-częstotliwościowa jest podstawową metodą uzyskiwania informacji o strukturze i zmienności dźwięku muzycznego. Analiza czasowa pozwala zbadać zmienność amplitudy dźwięku w czasie. Wykres wyników takiej analizy przedstawia chwilowe wartości sygnału w funkcji czasu. Połączone „szczyty” wykresu tworzą obwiednię sygnału, która dostarcza informacji o zmienności energii dźwięku (czyli jego głośności). Analiza
częstotliwościowa jest przeprowadzana dla wybranego bloku wartości (próbek) sygnału,
typowo poprzez obliczenie transformaty Fouriera dla tego bloku. Pozwala ona uzyskać informację o strukturze widmowej wybranego fragmentu sygnału. Dźwięki muzyczne mają zwykle strukturę widmową w postaci wielotonu harmonicznego, przy czym pierwszy prążek tego wielotonu w większości przypadków definiuje częstotliwość podstawową, a więc i
wysokość dźwięku. Wynik analizy częstotliwościowej przedstawia się w formie wykresu
amplitudy lub (częściej) poziomu sygnału w decybelach w funkcji częstotliwości (w skali liniowej lub logarytmicznej).
Dźwięk muzyczny jest dynamiczny – jego struktura widmowa zmienia się w czasie. Dlatego też analiza częstotliwościowa wyznaczona dla jednego wybranego punktu w czasie nie daje pełni informacji o sygnale. Należy zbadać widmo sygnału w każdym punkcie czasu. Analiza czasowo-częstotliwościowa łączy w sobie wyniki analizy widmowej dla bloków próbek sygnału pokrywających cały czas trwania dźwięku, często z zakładkowaniem bloków analizy. Wynik analizy przedstawia się często w postaci spektrogramu, na którym oś pozioma reprezentuje czas, oś pionowa – częstotliwość, a poziom składowych widmowych jest przedstawiany za pomocą odcieni szarości lub kolorów (jak na mapie fizycznej). Przekrój pionowy takiego wykresu w wybranym punkcie czasu odpowiada wynikowi analizy częstotliwościowej dla wybranego bloku próbek. Alternatywnym sposobem prezentacji wyników analizy czasowo-częstotliwościowej jest wykres trójwymiarowy typu waterfall, na którym poziom sygnału jest przedstawiany na osi z.
W analizie czasowej dźwięku muzycznego wyróżnia się stan ustalony oraz stany nieustalone, czyli transjenty. Podstawowe dwa transjenty to faza narastania (ataku) oraz wybrzmiewania. Charakteryzują się one zmianami obwiedni (odpowiednio jej zwiększaniem lub zmniejszaniem) oraz dużymi zmianami struktury widmowej, obejmującymi stopniowe budowanie lub zanikanie składowych o różnych częstotliwościach oraz zaburzenia harmoniczności widma. W stanie ustalonym widmo dźwięku jest stabilne, co nie znaczy że jest ono niezmienne – jego modyfikacje mogą wynikać z samej budowy instrumentu (np. naturalne wibrato, czyli modulacja częstotliwości) lub ze sposobu gry na instrumencie przez muzyka, czyli z artykulacji. Aby wyznaczyć czas trwania stanów nieustalonych, należy wziąć pod uwagę nie tylko zmiany obwiedni, ale również zmiany widma sygnału, np. na wykresie sonogramu.
Analiza widmowa sygnału jest przeprowadzana przy użyciu transformacji Fouriera, z czym wiążą się istotne problemy związane z rozmiarem i rodzajem okna analizy. Transformata jest obliczana dla bloku próbek, a rozmiar tego bloku wyznacza rozdzielczość analizy częstotliwościowej. W uproszczeniu, dla okna o rozmiarze n próbek, każda wartość częstotliwości jest przypisywana do jednego z n/2 przedziałów. Mały rozmiar okna może powodować, że dwie różne częstotliwości zostaną umieszczone w tym samym przedziale i nie będzie możliwe ich rozróżnienie. Zwiększenie rozmiaru okna analizy zwiększa rozdzielczość częstotliwości, ale w tym samym czasie maleje rozdzielczość czasowa, tzn. dłuższy odcinek czasowy dźwięku jest reprezentowany przez ten sam wynik analizy. Tracimy więc możliwość analizy krótkotrwałych zdarzeń. Metoda analizy Fouriera nie jest w stanie zapewnić
Akustyka Muzyczna, Ćwiczenie 2 – Analiza dźwięków instrumentów muzycznych
2
jednocześnie dużej rozdzielczości w dziedzinie czasu i częstotliwości, dlatego też stosowane są inne metody analizy, np. analiza falkowa (wavelet), które nie posiadają tych ograniczeń.
Transformacja Fouriera ma zastosowanie do sygnałów okresowych. W przypadku dźwięków muzycznych warunek ten nie jest spełniony. Wykonanie transformacji wprost na bloku próbek (czyli zastosowanie okna prostokątnego) wprowadzi zniekształcenia wyniku analizy, ponieważ, oknu prostokątnemu w dziedzinie czasu odpowiada funkcja sin(x)/x w dziedzinie częstotliwości. Aby zmniejszyć zniekształcenia wyników analizy, blok przetwarzanych próbek mnożony jest przez funkcję okna czasowego. Typowo stosowane rozdaje okien to: Hamminga, Hanna, Blackmana oraz Blackmana-Harrisa.
Jak wynika z powyższych rozważań, nie istnieje optymalny, uniwersalny wybór rozmiaru okna analizy i funkcji ważącej (rodzaju okna) pozwalający uzyskać najbardziej czytelne wyniki. Parametry te należy dobrać do charakteru sygnału i wymagań co do analizy (np. czy bardziej zależy nam na rozdzielczości czasowej czy częstotliwościowej).
2. OPIS PROGRAMU SONIC VISUALISER
Program Sonic Visualiser to darmowe narzędzie wyspecjalizowane w analizie dźwięków muzycznych. Oprócz podstawowych metod analizy czasowo-częstotliwościowej dostarcza ono wiele zaawansowanych metod analizy, jak np. śledzenie częstotliwości podstawowej czy analiza falkowa. Program dostępny jest na stronie internetowej: www.sonicvisualiser.org.
Po wczytaniu pliku dźwiękowego (File > Open) pojawia się wykres czasowy sygnału. Dwa pokrętła w prawym dolnym rogu okna służą do powiększania osi czasu lub amplitudy. Przeciągając myszką po wykresie można przesuwać kursor na skali czasu. Aby otworzyć nową analizę, np. widmową, należy z menu Pane wybrać żądaną opcję. Np. Add Spectrum powoduje dodanie wykresu chwilowego widma, Add Spectrogram – wykresu spektrogramu. W przypadku dźwięku stereofonicznego należy wybrać kanał poddawany analizie. Wszystkie wykresy są sprzężone ze sobą, a więc przeciąganie myszką na wykresie czasowym powoduje przesuwanie kursora na innych wykresach oraz uaktualnianie np. wykresu chwilowego widma. Opcje w menu Layer pełnią taką samą funkcję jak w menu Pane, z tym że wynik analizy jest nakładany na bieżący wykres jako nowa warstwa.
Funkcjonalność programu może być rozszerzana za pomocą wtyczek w formacie VAMP. Dodatkowe analizy są zawarte w menu Transform. Wynik analizy jest umieszczany w bieżącym oknie, warto więc dodać najpierw nowe, puste okno, za pomocą opcji Pane > Add New Pane.
Przesuwanie kursora myszy nad wykresem powoduje wyświetlanie informacji o sygnale w miejscu kursora, np. poziomu widma dla danej częstotliwości. Pomocnicze funkcje programu dostępne są na pasku narzędziowym: odtwarzanie dźwięku, zaznaczanie fragmentu do analizy, pomiar różnicy wartości, itp. Do zapisania wykresu do pliku graficznego służy opcja File >
Export Image File.
3. ZADANIA DO WYKONANIA
Baza nagrań dźwięków muzycznych znajduje się w katalogu D:\Akustyka Muzyczna\Instrumenty, lub w innym miejscu podanym przez prowadzącego. Opis zawartości
bazy znajduje się w załączniku. Zadanie 1
Otworzyć program Sonic Visualiser. Wczytać do niego nagranie instrumentu muzycznego o małej wysokości dźwięku, np. tuby basowej z oktawy 2. Dodać okno analizy czasowej tylko dla jednego z kanałów (Pane > Add Waveform), a poprzednie okno zamknąć. Ustawić powiększenie tak aby cały sygnał był dobrze widoczny. Przeanalizować obwiednię sygnału, oszacować i zanotować czas trwania faz ataku i wybrzmiewania. Opisać zmienność obwiedni w stanie ustalonym.
Zadanie 2
Dodać okno analizy częstotliwościowej (Spectrum) dla tego samego kanału. W zakładce nr 2 (na prawo od wykresu) ustawić Bins na Lines, Window na 4096. Przeciągając myszką po wykresie czasowym zaobserwować i zanotować jak zmienia się widmo chwilowe. Zwrócić szczególną uwagę na stany transjentowe.
Akustyka Muzyczna, Ćwiczenie 2 – Analiza dźwięków instrumentów muzycznych 3 Ustawić kursor w stanie ustalonym dźwięku. Otworzyć okno File > Preferences. W zakładce Analysis wybierać różne okna analizy, zatwierdzać przyciskiem Apply. Zaobserwować i zanotować jak zmienia się wygląd widma dla okien kolejno: Rectangular, Hann, Hamming,
Blackman, Blackman-Harris. Wybrać i podać rodzaj okna dający najbardziej czytelny wynik.
Dla wybranego okna zmieniać rozmiar okna analizy i obserwować zmiany wykresu (uwaga: duży rozmiar okna może skutecznie „przytkać” program). Zanotować spostrzeżenia, podać minimalny rozmiar okna pozwalający rozróżnić poszczególne składowe harmoniczne. Wybrać i podać rozmiar okna optymalny do celów analizy (biorąc pod uwagę czytelność wykresu, czas analizy i rozdzielczość czasową).
Za pomocą kursora pomierzyć na wykresie widmowym i podać częstotliwość podstawową (w stanie ustalonym)
Zadanie 3
Dodać wykres spektrogramu (Spectrogram). Ustawić powiększenie i rozmiar okna analizy tak aby dobrze zobrazować zmienność widma. Za pomocą „niebieskiego” pokrętła w wierszu
Scale okna opcji wykresu (zakładka 3) wyregulować „wzmocnienie” spektrogramu. Można
wybrać też inny schemat kolorów (Colour).
Przeanalizować i opisać strukturę widmową dźwięku w stanie ustalonym i w stanach transjentowych (liczbę składowych, ich poziomy, zmienność częstotliwości i poziomu). Analizując zmienność widma, wyznaczyć stan ustalony i stany transjentowe. Pomierzyć i podać czas trwania transjentów, porównać z estymacją z zadania 1, skomentować ewentualne różnice.
Zadanie 4
Wczytać do programu i zanalizować dwa dźwięki tego samego instrumentu i z tą samą artykulacją, różniące się jedynie wysokością (np. dwie oktawy różnicy). Można w tym celu otworzyć drugą kopię programu na drugim monitorze, należy tylko uważać aby ustawienia analizy były takie same. Dokonać analizy obu dźwięków, porównać i opisać obwiednię, widmo statyczne i zmienność widma obu dźwięków. Skomentować czy poza różnymi częstotliwościami prążków są inne różnice, jeśli tak – podać ich możliwe przyczyny.
Zadanie 5
Wykonać analizę dwóch dźwięków dwóch różnych instrumentów: jednego strunowego i jednego dętego, o tej samej wysokości i artykulacji. Pomierzyć czasy trwania transjentów. Przeanalizować i opisać obwiednię oraz dynamiczne widmo obu dźwięków. Porównać wyniki analizy. Na tej podstawie wymienić czynniki, które sprawiają że dwa dźwięki o tej samej wysokości różnią się brzmieniem.
Zadanie 6
Wykonać analizę kilku dźwięków wybranego instrumentu, o tej samej wysokości, ale różniących się artykulacją, w tym te zawierające efekty wibrato i tremolo. Odsłuchać i opisać brzmienie dźwięku dla każdego sposobu artykulacji. Wykonując analizę czasowo-częstotliwościową, zaobserwować i opisać wpływ każdego ze sposobów artykulacji na strukturę dźwięku.
Podsumowanie
Wymienić i omówić jakie informacje o dźwięku muzycznym najłatwiej jest odczytać z każdego z wykresów: czasowego, widmowego i spektrogramu (czyli do czego nadaje się każdy z wyników analizy). Czy sam spektrogram jest wystarczający? Uzasadnić odpowiedź.
Akustyka Muzyczna, Ćwiczenie 2 – Analiza dźwięków instrumentów muzycznych
4
ZAŁĄCZNIK
OPIS BAZY NAGRAŃ INSTRUMENTÓW MUZYCZNYCH Wykonanie bazy: Maciej Madej
Katalog dźwięków instrumentów muzycznych jest zbiorem próbek brzmień 16 instrumentów muzycznych. Każdy z dźwięków jest zapisany jako osobny plik, którego nazwa opisuje rodzaj użytego instrumentu, artykulacji i dynamiki według następujących zasad:
a) pierwsze dwie cyfry oznaczają numer instrumentu (01 ÷ 16)
b) kolejne trzy litery oznaczają wysokość dźwięku według standardu ASA, przy czym symbol "#" oznacza podwyższenie dźwięku o pół tonu (A_0 ÷ C_8)
c) szósta litera oznacza użytą dynamikę: o p (piano)
o m (mezzoforte - średniogłośno) o f (forte - głośno)
d) ostatnie dwie litery oznaczają rodzaj użytej artykulacji: o nl - non legato o s1 - pojedyncze staccato o s2 - podwójne staccato o pt - portato o pz - pizzicato o mt - martelé o vb - vibrato o fr - frullato o gl - glissando
o tr - tremolo (gęste vibrato) o cr - crescendo
o sr - sordino (z tłumikiem) o dv - détaché vibrato o ds - détaché sordino
Nagrania zostały dokonane w Katedrze Inżynierii Dźwięku Wydziału Elektroniki, Telekomunikacji i Informatyki Politechniki Gdańskiej. Nagrań dokonano w technice dwuśladowej z użyciem mikrofonów o różnych charakterystykach kierunkowych: kardioidalnej - kanał lewy (Neumann KM84), wszechkierunkowej - kanał prawy (Neumann KM83).
Przy obróbce plików nie wykorzystano strojenia (pitch shiftingu), dlatego niektóre z nich wykazują nieczystości intonacyjne.
Spis nagranych instrumentów: 1. Obój 2. Rożek angielski 3. Klarnet B 4. Fagot 5. Trąbka B 6. Waltornia 7. Puzon tenorowyi 8. Puzon basowy 9. Tuba F 10. Tuba B 11. Saksofon sopranowy 12. Saksofon altowy 13. Saksofon barytonowy 14. Skrzypce 15. Altówka 16. Wiolonczela
