2003
Poznañskie Warsztaty TelekomunikacyjnePoznañ 11-12 grudnia 2003 Stefan BrachmaĔski
Instytut Telekomunikacji i Akustyki Politechnika Wrocławska
50-370 Wrocław, WybrzeĪe WyspiaĔskiego 27 stefan.brachmanski@pwr.wroc.pl
AUTOMATYZACJA METOD OCENY JAKO
ĝCI OBRAZÓW I MOWY
Streszczenie: W pracy omówiono zalecane przezInternational Telecommunication Union (ITU) najczĊĞciej stosowane metody oceny jakoĞci obrazu oraz mowy. Przedstawiono komputerowe stanowisko laboratoryjne do subiektywnej i obiektywnej oceny jakoĞci obrazów nieruchomych oraz subiektywnej oceny jakoĞci mowy metodą ACR (Absolute Category Rating) oraz DCR (Degradation Category Rating).
1.WSTĉP
Rozwijające siĊ współczeĞnie społeczeĔstwo informacyjne wymaga usług telekomunikacyjnych, pozwalających na zintegrowane uĪycie dĨwiĊku, obrazu oraz danych w jednymĞrodowisku telekomunikacyjnym.
Przesyłając sygnały multimedialne (m.in. obraz, mowa) na odległoĞü wykorzystuje siĊ Ğrodki techniczne o ograniczonych moĪliwoĞciach. Transmisja obrazów oraz mowy z wykorzystaniem urządzeĔ analogowych moĪe powodowaü m.in. zmniejszenie dynamiki sygnału (zmniejsza siĊ odstĊp sygnału od szumu), zniekształcenia czĊstotliwoĞciowe sygnału. Natomiast dla sygnału cyfrowego najwiĊksze zniekształcenia związane są z zastosowaną metodą kompresji, bez której nie byłoby moĪliwe powstanie systemów komunikacji multimedialnej. Kompresja jest potrzebna nie tylko do transmisji obrazów czy mowy, ale równieĪ do zwiĊkszenia efektywnoĞci multimedialnych baz danych. Sygnały multimedialne mogą byü poddane kompresji z róĪnym współczynnikiem kompresji czyli stosunkiem długoĞci oryginalnego łaĔcucha danych do długoĞci łaĔcucha danych po kompresji. Osiągana wartoĞü współczynnika kompresji zaleĪy od bardzo wielu czynników, np. od treĞci obrazu, mowy lub sekwencji wizyjnej. ZwiĊkszenie współczynnika kompresji, a tym samym zmniejszeniu strumienia pociąga za sobą pogorszenie siĊ jakoĞci sygnału multimedialnego (obrazu, mowy) odtwarzanego w dekoderze. Kontrola jakoĞci sygnału poddanego kompresji jak równieĪ testowanie nowych rozwiązaĔ kompresji multimedialnych sygnałów cyfrowych moĪe byü realizowana na podstawie pomiarów subiektywnych, bądĨ obiektywnych [1 - 9].
2. SUBIEKTYWNA OCENA JAKOĝCI OBRAZÓW
Subiektywna ocena jakoĞci obrazu, zalecana przez International Telecommunication Union ITU-R [4, 5], polega na uĞrednieniu ocen podanych przez widzów biorących udział w pomiarze. Prezentacja obrazów moĪe
odbywaü siĊ metodą wymuszenia pojedynczego lub podwójnego.
W metodzie pojedynczego wymuszenia obserwator ocenia badany obraz bez porównywania go z obrazem wzorcowym. Obrazy prezentowane są w sekwencji obraz badany – obraz szary. Czas ekspozycji obrazu ocenianego wynosi 10s, a szarego 5s.
W metodzie podwójnego wymuszenia prezentacja obrazów realizowana jest w dwóch wariantach.
Wariant I. Obraz wzorcowy lub sekwencja obrazów oraz obraz oceniany lub ich sekwencja prezentowane są tylko jeden raz (rys. 1a).
Wariant II. Obraz wzorcowy lub ich sekwencja oraz obraz oceniany lub sekwencja tych obrazów przedstawiane są dwukrotnie (rys. 1b).
Wariant II, który jest bardziej czasochłonny niĪ wariant I, moĪe byü stosowany wówczas jeĪeli Īądana jest bardzo dokładna dyskryminacja lub oceniana jest sekwencja obrazów ruchomych.
W obu wariantach czas ekspozycji obrazu wzorcowego (T1) i ocenianego (T3) wynosi 10s. Obrazy wzorcowy i badany rozdzielone są obrazem szarym (T2), wyĞwietlanym przez 3s. Ocena musi byü podana przed upływem czasu przeznaczonego na ocenĊ (T4) i wynoszącego od 5 do 11 s [4].
a)
b)
Rys. 1. Prezentacja obrazów podczas pomiarów jakoĞci obrazów. Poszczególne fazy prezentacji oznaczają: T1 - 10s – obraz wzorcowy, T2 - 3s - obraz szary, T3 - 10s - obraz oceniany, T4 – 5-11s – obraz szary
T1 T2 T3 T4
Ocena
T1 T2 T3 T2 T1 T2 T3 T4
Oceny dokonuje grupa obserwatorów złoĪona z co najmniej 15 osób nie bĊdących ekspertami. WłaĞciwa sesja pomiarowa rozpoczyna siĊ - po krótkim, trwającym 30 min treningu - od sekwencji piĊciu prezentacji mających na celu stabilizacjĊ opinii obserwatorów. Ocena tych sekwencji nie jest brana pod uwagĊ w obliczeniach koĔcowych. W trakcie trwania sesji dokonuje siĊ prezentacji obrazów lub sekwencji obrazów stosownie do wybranego wariantu. Po kaĪdej prezentacji obserwatorzy dokonują oceny w piĊciostopniowej skali jakoĞci. ITU-R zaleca stosowanie dwóch skal (Tab. 1):
1. skalĊ jakoĞci, 2. skalĊ degradacji
Tab.1 Skale ocen obrazu zalecane przez ITU-R [4].
PiĊciostopniowa skala jakoĞci degradacji Obraz: 5 - bardzo dobry 4 - dobry 3 - dostateczny 2 - mierny, słaby 1 - zły, niedostateczny Pogorszenie: 5 – niezauwaĪalne
4 – zauwaĪalne, lecz niedokuczliwe 3 – lekko dokuczliwe
2 – dokuczliwe 1 – bardzo dokuczliwe
Ocena moĪe byü równieĪ podawana na skali ciągłej, co pozwala uniknąü wpływu zaokrąglania ocen na wartoĞü Ğrednią liczoną
3. SUBIEKTYWNA OCENA JAKOĝCI MOWY
Obecnie, najczĊĞciej stosowaną metodą oceny jakoĞci mowy oprócz pomiaru wyrazistoĞci logatomowej jest metoda ACR (Absolute Category Rating) lub metoda DCR (Degradation Category Rating) [6].
Metoda ACR (Absolute Category Rating) jest zalecana przez International Telecommunication Union (ITU) do oceny jakoĞci transmisji sygnału mowy w analogowych i cyfrowych kanałach telekomunikacyj-nych oraz systemów kodowania mowy. W tej metodzie wykorzystywane są listy testowe złoĪone z prostych, krótkich, nie związanych z sobą semantycznie zdaĔ. Lista podzielona jest na grupy złoĪone z piĊciu zdaĔ. Zdania nie powinny byü zbyt krótkie, jak równieĪ zbyt długie; powinny trwaü 2-3s. Materiał testowy powinien byü odpowiednio przygotowany i zarejestrowany. Mówca powinien wypowiadaü zdania płynnie; nie moĪe mieü Īadnych wad wymowy (np. jąkanie siĊ, seplenienie, itp.). PoniewaĪ głosy mĊski i ĪeĔski charakteryzują siĊ odmiennymi właĞciwoĞciami, w pomiarach powinny byü uwzglĊdnione obydwa typy głosów. Wyniki otrzymane dla głosów mĊskich i ĪeĔskich powinny byü oceniane oddzielnie; uĞredniaü moĪna je tylko wówczas, gdy nie róĪnią siĊ istotnie. Celem ograniczenia wpływu indywidualnych cech głosu mówcy na otrzymany wynik, powinno siĊ przeprowadzaü pomiaru z udziałem kilku mówców.
Odsłuch przeprowadzany jest w pomieszczeniu o objĊtoĞci 30-120m3i czasie pogłosu mniejszym niĪ 0.5s (najlepiej w przedziale 0.2-0.3s). Poziom szumów w
pomieszczeniu nie powinien przekraczaü 30dBA. Zaleca siĊ wykonanie pomiaru poziomu hałasu, co najmniej dwukrotnie, tzn. na początku i koĔcu pomiarów. JeĪeli pomiĊdzy wynikami pomiarów wystĊpuje znaczna róĪnica, wówczas prowadzący odsłuchy musi oceniü, jaki wpływ moĪe mieü to na wynik eksperymentu.
EkipĊ odsłuchową stanowią osoby wybrane losowo spoĞród populacji uĪytkowników telefonów, przy czym nie mogą to byü:
- osoby związane z pracami dotyczącymi oceny działania systemów telefonicznych lub kodowania mowy,
- osoby biorące udział w jakichkolwiek pomiarach subiektywnych w ciągu ostatnich szeĞciu miesiĊcy,
- osoby, które wczeĞniej słyszały listy uĪywane w eksperymencie.
Przed rozpoczĊciem pomiarów słuchacze zapoznają siĊ z instrukcją objaĞniającą eksperyment, w tym ze sposobem dokonywania oceny materiału dĨwiĊkowego. Prowadzący pomiary ma do wyboru trzy róĪne skale ocen zalecane przez ITU (tab.2):
a) skala jakoĞci odsłuchu, b) skala wysiłku słuchowego c) skala preferowanej głoĞnoĞci
OcenaĞrednia obliczana jest dla kaĪdego badanego warunku transmisji mowy oraz dla kaĪdej skali ocen, jako wynik uĞrednienia po słuchaczach i mówcach. Ocena wyników dokonywana jest w oparciu o analizĊ wariancyjną.
Alternatywnym rozwiązaniem dla metody ACR, która nie daje satysfakcjonującej dokładnoĞci przy rozróĪnianiu systemów o wysokiej jakoĞci jest metoda DCR (Degradation Category Rating) [6].
Pomiar polega na porównaniu wzorcowego systemu o wysokiej jakoĞci z badanym, okreĞlając stopieĔ degradacji jakoĞci sygnału w piĊciopunktowej skali (od „niesłyszalnego” do „bardzo dokuczliwego”). Metoda jest stosowana głównie do optymalizacji systemów przy małych zmianach jakoĞci transmisji mowy, spowodowanych np. stosowaniem cyfrowych algorytmów kodowania.
Materiał testowy wykorzystywany w metodzie DCR jest taki sam jak w metodzie ACR, jedynie inny jest sposób prezentacji. Próbki mowy, czyli róĪne zdania, są wybierane z wiĊkszej, zrównowaĪonej listy testowej, a nastĊpnie prezentowane słuchaczom w pojedynczych parach (A - B) lub powtarzających siĊ parach (A - B - A - B), gdzie A jest wzorcową próbką oryginalną, natomiast B jest badaną próbką. KaĪda para poddawana jest odrĊbnej ocenie. Wskazane jest zastosowanie kilku „par zerowych” (A - A) w celu jakoĞciowego sprawdzenia dokładnoĞci i czułoĞci ocen podawanych przez uczestników eksperymentu. Próbki A i B powinny byü oddzielone 0,5-1 s. przerwą. Dla testów z powtarzalną procedurą (A- B - A - B) przerwa pomiĊdzy dwiema parami powinna wynosiü 1-1,5 s. Słuchacze dokonują oceny w piĊciostopniowej skali pogorszenia jakoĞci, oceniając stopieĔ degradacji jakoĞci drugiego zdania wzglĊdem pierwszego z transmitowanej pary.
Tab. 2. Skale ocen zalecane przez ITU-T [6]
PiĊciostopniowa skala
jakoĞci wysiłku słuchowego preferowanej głoĞnoĞci JakoĞü mowy: 5 - doskonała 4 - dobra 3 - dostateczna 2 - mierna 1 - niedostateczna
Wysiłek potrzebny do zrozumienia tekstu:
5 - Rozumienie mowy bez najmniejszego natĊĪenia uwagi. 4 - Rozumienie mowy bez trudnoĞci z lekkim natĊĪeniem uwagi. 3 - Rozumienie mowy z umiarkowanym natĊĪeniem uwagi. 2 - Rozumienie mowy z duĪym natĊĪeniem uwagi. 1 - Brak moĪliwoĞci pełnego rozumienia mowy.
Preferowana głoĞnoĞü:
5 - DuĪo głoĞniejsza niĪ optymalna 4 - GłoĞniejsza niĪ optymalna 3 - Optymalna
2 - Cichsza niĪ optymalna 1 - Zbyt cicha
Wymagania dotyczące warunków nagrania, prowadzenia odsłuchów, doboru ekipy odsłuchowej oraz właĞciwoĞci akustycznych pomieszczenia odsłuchowego są takie same jak dla metody ACR.
Przed rozpoczĊciem pomiarów słuchacze zapoznają siĊ z instrukcją objaĞniającą eksperyment, a prowadzący badania dodatkowo wyjaĞnia sposób dokonywania oceny w jedynej obowiązującej w tej metodzie skali, mianowicie skali degradacji jakoĞci.
4. KOMPUTEROWE STANOWISKO DO
OCENY JAKOĝCI OBRAZÓW
System pomiarowy do oceny jakoĞci obrazów, którym zarządza program napisany w jĊzyku C++ [7], umoĪliwia wykonanie:
- pomiarów subiektywnych metodą pojedynczego i podwójnego wymuszenia
- pomiarów obiektywnych – obliczenie wartoĞci PSNR (peak signal-to-noise ratio) i NMSE (normalized mean square error),
- kompresji wczytanych obrazków.
Po uruchomieniu programu naleĪy wczytaü pliki przeznaczone do oceny oraz dokonaü wyboru rodzaju pomiarów (subiektywne lub obiektywne) i metody oceny (wymuszenie pojedyncze lub podwójne). W głównym oknie dialogowym podawane są podstawowe parametry (format, rozmiar, wielkoĞü) wczytanych obrazków. Obrazki prezentowane są widzom stosownie do wybranego wariantu wymuszenia. KaĪdy uczestnik sesji pomiarowej podaje swoją ocenĊ korzystając z ciągłej skali ocen. (Rys. 2)
Rys. 2. Okno dialogowe oceny obrazka przez widza.
Po wykonaniu zaplanowanych pomiarów pojawia siĊ okno raportu, w którym wyĞwietlone są uzyskane wyniki. JeĪeli program wykorzystywany był do przetestowania technik kompresji obrazu, to podawane są równieĪ informacje o rodzaju wybranej kompresji, rozmiarze pliku, wielkoĞci obrazka, stopniu kompresji, itp. Raport moĪe byü równieĪ zapisany w postaci pliku tekstowego niesformatowanego.
5. KOMPUTEROWE STANOWISKO DO OCENY JAKOĝCI MOWY
Komputerowym systemem pomiarowym do oceny jakoĞci mowy zarządza program napisany w jĊzyku programowania Delphi v.5.0, który po skompilowaniu zajmuje 558 KB. Minimalna konfiguracja sprzĊtowa: komputer klasy PC 486 DX4 100 MHz, 16 MB RAM, karta dĨwiĊkowa (np. Sound Blaster), Windows 95. Układ pomiarowy przedstawiony jest na rys.3 [1].
Po uruchomieniu programu naleĪy wybraü numer słuchacza (1 -15) biorącego udział w eksperymencie, a nastĊpnie w menu Opcje listy (1-100), liczbĊ grup w liĞcie (5 lub 10) oraz liczbĊ zdaĔ w grupie (3-5). Po ustaleniu powyĪszych warunków w menu Skala ocen ustala siĊ skalĊ, według której słuchacz bĊdzie oceniał zdania.
Po naciĞniĊciu przycisku Start słuchaczowi eksponowane są zdania w grupach po 5 zdaĔ. Słuchacz podaje ocenĊ grupy zdaĔ w skali piĊciostopniowej. Po ocenie wszystkich grup zdaĔ z zadanej listy program oblicza Ğrednią ocenĊ dla danego słuchacza i danego warunku transmisji mowy. Zdania odtwarzane przez program wybierane są losowo w grupach, natomiast grupy z list wybierane są po kolei. Słuchacze na podanie oceny mają trzy sekundy. W przypadku, gdy słuchacz nie poda swojej oceny w ciągu trzech sekund program automatycznie wybierze najniĪszą ocenĊ, czyli 1. Po przeprowadzenie pomiarów dla wszystkich słuchaczy oraz zaplanowanych róĪnych warunków transmisji sygnału mowy (np. róĪne stosunki sygnał/szum, róĪne techniki kodowania), z menu programu moĪna wybraü opcjĊ ĝrednia, dziĊki której program obliczy Ğrednie oceny jakoĞci sygnału mowy dla wszystkich słuchaczy.
Rys. 3. Schemat blokowy systemu do pomiaru jakoĞci mowy .
6. PODSUMOWANIE
Zaprezentowane systemy do oceny jakoĞci obrazów i mowy stanowią nie tylko narzĊdzie do badaĔ ale takĪe pomoc dydaktyczną do üwiczeĔ laboratoryjnych. Przeprowadzone pomiary testowe z wykorzystaniem omówionych systemów, w szczególnoĞci do oceny jakoĞci mowy wykazały ich uniwersalnoĞü, łatwoĞü obsługi oraz skrócenie czasu trwania pomiarów subiektywnych [1, 2, 7].
Wadą zaprezentowanych metod subiektywnych jest brak precyzji w zdefiniowaniu zadania dla grupy odsłuchowej (róĪne skale jakoĞciowe) i naturalna niezdolnoĞü słuchaczy do stabilnej i powtarzalnej oceny w skali punktowej takiej cechy, jak „jakoĞü mowy” czy „jakoĞü obrazu”. Jest tu, wiĊc konieczne wykonanie pomiaru dla licznej ekipy widzów lub słuchaczy, staranne przeszkolenie i trenowanie ekipy.
SPIS LITERATURY
[1] S. BrachmaĔski, Ocena jakoĞci transmisji mowy
subiektywną metodą ACR (Absolute Category Rating), Krajowe Sympozjum Telekomunikacji, tom
B, Bydgoszcz 2001
[2] S. BrachmaĔski, VoIP – ocena jakoĞci transmisji
mowy metodą ACR i DCR, Przegląd
Telekomuni-kacyjny i WiadomoĞci Telekomunikacyjne, nr 8-9, str. 424-427, 2003
[3] M. DomaĔski, Zaawansowane techniki kompresji
obrazów i sekwencji wizyjnych, Politechnika PoznaĔska 2000,
[4] ITU-R, Recommendation BT.500-11, Methodology
for subjective assessment of the quality of television pictures, 2003
[5] ITU-T, Recommendation BT.710-3, Subjective assessment for image quality in high-definition television, 1997,
[6] ITU-T Recommendation P.800, Method for subjective determination of transmission quality,
1996
[7] R. Miłosierny, Stanowisko laboratoryjne do symu-lacji wybranych metod kompresji obrazów, Praca dyplomowa, Wrocław 2003,
[8] Z.Wang, L.Lu, A.C. Bovik, Video Quality Assessment Based on Structural Distortion
Measurement, Signal Processing: Image
Communication, vol.19, no 1, 2004, http://live.ece.utexas.edu/publications
[9] Z.Wang, A.C.Bovik, H.R.Sheikh, E.P.Simoncelli, Image Quality Assessment: From Error Measurement to Structural Similarity, IEEE Trans. on Image Processing, vol.13, no.1, 2004, http://live.ece.utexas.edu/publications
