0. 8 0. 9 1. 0
liczba wyst pie pary w korpusie
skumulowana liczba par pozytywna negatywna neutralna/brak opinii
Rysunek 7.2: Rozkład liczby par (sformułowanie, aspekt) o liczbie wystąpień nie większej niż dana wartość w rozbiciu na pary przypisane przez adnotatorów do różnych klas. Źródło: opraco-wanie własne
system ma do dyspozycji na etapie nauki.
7.2 Eksperyment 2. Wykorzystanie skonstruowanego leksykonu
w analizie wydźwięku
Celem eksperymentu było określenie z jaką trafnością możliwe jest przeprowadzenie analizy wy-dźwięku z wykorzystaniem leksykonów uzyskanych w wyniku zastosowania metod opisanych w sekcji 7.1. Jako dane wejściowe do eksperymentu posiadano trzy leksykony, gdzie każdy został wygenerowany z wykorzystaniem jednej z analizowanych metod. Dla metod wykorzystujących uczenie maszynowe, leksykon generowano stopniowo, w trakcie przeprowadzania dziesięciokrotnej
krzyżowej walidacji. Dla każdego z otrzymanych leksykonów, na jego podstawie, dla posiadanej kolekcji fraz usiłowano automatycznie zidentyfikować opinię, jaką recenzent wyrażał o pewnym aspekcie, którego nazwa pojawiła się w danej frazie.
7.2.1 Przebieg eksperymentu i wykorzystane dane
Eksperyment został przeprowadzony na korpusie recenzji telefonów komórkowych z portalu cokupic. pl. W trakcie eksperymentu wykorzystano inny korpus niż w poprzednim eksperymencie, ze względu na fakt, że wówczas analiza wydźwięku byłaby przeprowadzona na tych samych danych, z wykorzystaniem których wygenerowano leksykon sformułowań służących do wyrażania opinii, co prowadziłoby do przekładań w uzyskanych wynikach. Pobrano więc wszystkie recenzje z te-go portalu z roku 2011 (było ich w sumie 6909) i przeprowadzono na nich ekstrakcję regułową według opisu w sekcji 6.4.2, tj. przeprowadzono ekstrakcję regułową połączoną z filtrowaniem z wykorzystaniem stop listy i fazą filtrowania z wykorzystaniem uczenia maszynowego, dokładnie jak opisano to w poprzednim rozdziale. W ten sposób otrzymano 5462 fraz. Następnie odrzucono te frazy, w których występowały pary (sformułowanie, aspekt), których nie było w posiadanych leksykonach. W rezultacie otrzymano 4300 fraz.
W tym miejscu, wprowadzono dodatkowe ograniczenie odnośnie danych, na których ekspery-ment miał być przeprowadzony. Jak wykazano w sekcji 7.1.5, różnice pomiędzy poszczególnymi leksykonami miały miejsce przede wszystkim w podzbiorze par, które miały niewielką liczbę wystąpień w analizowanym korpusie. W związku z tym, aby dokładniej przeanalizować różnice działania analizowanych metod w tym podzbiorze, zawężono dane wykorzystywane w ekspery-mencie do fraz, gdzie występowały takie właśnie rzadko występujące pary. Jako rzadko wystę-pujące przyjęto pary wystęwystę-pujące mniej niż 5 razy. Po odrzuceniu fraz z częściej występującymi parami posiadana kolekcja liczyła 1021 fraz. Spośród nich losowo wybrano 472 frazy i na nich przeprowadzono eksperyment.
Do wyekstrahowanych fraz przypisywano wydźwięk z wykorzystaniem posiadanych leksyko-nów. Każda fraza miała przypisaną parę (sformułowanie, aspekt ), na podstawie której dana fraza została wyekstrahowana. Wydźwięk przypisywano poprzez wyszukiwanie w odpowiednim leksy-konie danej pary i określanie, jaka polarność jest do niej w leksyleksy-konie przypisana. Jak zaznaczo-no w sekcji 6.4.2, dla potrzeb eksperymentu odrzucazaznaczo-no wszystkie frazy, w których potencjalnie mógł być zmieniony sens danego sformułowania (czyli takie, gdzie np. występowała negacja w niewielkiej odległości przed daną parą), w związku z czym nie było konieczne przeprowadzanie
dodatkowych wnioskowań.
Poprawność analizy wydźwięku przeprowadzonej z wykorzystaniem poszczególnych leksyko-nów określono poprzez porównanie otrzymanych wyników z tym, w jaki sposób analogiczne zada-nie zostało wykonane przez ludzi. W tym celu, posiadany korpus fraz został zaadnotowany przez dwóch ekspertów, którzy przypisywali do każdej frazy odpowiednią opinię, zgodnie ze wskazów-kami adnotacji zawartymi w załączniku F na stronie 198. Adnotatorzy zgodnie ocenili około 88% fraz, zaś pozostałe frazy zostały ponownie przeanalizowane przez jednego z adnotatorów, który przeprowadzał dodatkową analizę i na tej podstawie przypisywał finalną opinię. W ten sposób uzyskano finalną adnotację, w której do 332 fraz przypisano opinię pozytywną, do 60 negatywną, a 80 uznano jako wyrażające opinię neutralną lub niewyrażające żadnej opinii o danym aspekcie.
7.2.2 Otrzymane wyniki i ich interpretacja
Wyniki ewaluacji analizy wydźwięku z wykorzystaniem leksykonów otrzymanych na podstawie poszczególnych analizowanych metod zaprezentowano w tabeli 7.6 na stronie 154. Ponownie wy-korzystano statystyki precyzji, pełności i miary F dla poszczególnych klas, do których mogły być przypisywane frazy. Zaprezentowano również wartości statystyki F uśrednione dla wszystkich klas (F1) oraz tylko dla klas pozytywna i negatywna (F1P N) z wagami odpowiadającymi liczebności poszczególnych klas.
Otrzymane wyniki, co do rzędu wielkości poszczególnych statystyk, zgadzały się z rezultatami zaprezentowanymi w tabeli 7.3. Najlepsze wyniki, zarówno zgodnie z miarą F1, jak i F1P N, uzy-skano za pomocą metody proponowanej w rozprawie. Na podstawie analizy uzyskanych danych stwierdzono, że główną siłą prezentowanej metody był korzystny stosunek precyzji do pełności. Nie we wszystkich statystykach proponowana metoda miała najwyższe wartości, jednak w takich przypadkach zawsze były one niewiele gorsze od metody, dla której wartość danej statystyki by-ła najwyższa. Aby to dokby-ładniej ukazać, obliczono wariant miary F z wartością β ustaloną na 0,5 (F0,5), która kładzie dwukrotnie większy nacisk na precyzję od miary F1. Miara ta powinna być stosowana w sytuacjach, gdy kluczowe jest uzyskanie wysokiej precyzji, przy jednoczesnym akceptowalnym poziomie pełności. Otrzymane rezultaty wykazały, że w takiej sytuacji metoda proponowana w rozprawie byłaby bezkonkurencyjna i otrzymałaby najwyższą wartość dla każdej z klas.
Przeprowadzony eksperyment wykazał, że leksykon wygenerowany za pomocą proponowanej metody pozwala na otrzymanie dokładniejszych wyników analizy wydźwięku niż przyjęte metody
bazowe w przypadku fraz o niewielkiej liczbie wystąpień, dla których istniejące metody często nie posiadają wystarczającej ilości danych do właściwego przeprowadzenia wnioskowań.