W eksperymentach zaprezentowanych w rozdziale posłużono się danymi opisanymi w sekcji 4.3.2, możliwymi do zastosowania w drugim wariancie proponowanej metody. W sekcji opisano metodę nauki polarności sformułowań używanych do wyrażania opinii o różnych aspektach telefonów ko-mórkowych z wykorzystaniem korpusu pobranego z portalu cokupic.pl. W podsekcjach poniżej opisano przyjęte cele poszczególnych eksperymentów oraz omówiono wykorzystane dane.
Należy zaznaczyć, że eksperymenty opisane w rozdziale były przeprowadzone na danych, których nie można traktować jako próbki reprezentującej całą populację recenzji konsumenckich publikowanych w Internecie. Opisane eksperymenty miały wykazać, że istnieją przypadki, dla których zaproponowana metoda może poprawić wyniki identyfikacji polarności.
5.2.1 Cele eksperymentów
Zaplanowano trzy eksperymenty, mające za zadanie analizę przykładowych, pozyskanych przez autora z Internetu, danych dla przetestowania proponowanego podejścia. Celem eksperymentów było formalne wykazanie, że proponowana metoda może pozwolić na uzyskanie oczekiwanych rezultatów. Przeprowadzono następujące eksperymenty:
1. Eksperyment mający na celu określenie podobieństwa informacji zawartej w wypowiedzi tekstowej do tej zamieszczonej na liście zalet i wad w ramach pojedynczych recenzji. Isto-tą eksperymentu było sprawdzenie, w jakim stopniu nadane przez recenzentów zalety i wady mogą służyć jako wskazówki w procesie identyfikacji polarności (na zasadach zgod-nych z ideą nadzorowania odległego). Dodatkowo przeanalizowano, czy występują przypad-ki sprzecznych informacji występujących w obu częściach recenzji. Eksperyment opisano w sekcji 5.3.
2. Eksperyment, w trakcie którego badano hipotezę, że produkty i usługi są postrzegane przez recenzentów w pewien spójny, określony sposób. Miał on wykluczyć możliwość, że opinie recenzentów o produktach są na tyle niespójne, że nie jest możliwe przeprowadzanie wnio-skowań na podsumowaniach wielu recenzji pojedynczego produktu czy usługi. Eksperyment polegał na badaniu tego, czy podsumowania opinii o tym samym produkcie, ale wygene-rowane na podstawie różnych jego recenzji, są do siebie podobne. Eksperyment opisano w sekcji 5.4.
3. Eksperyment mający na celu określenie, na ile podsumowania opinii o tym samym produk-cie, wyrażone w postaci wypowiedzi tekstowych oraz w postaci list zalet i wad, są do siebie podobne. Eksperyment opisano w sekcji 5.5.
5.2.2 Posiadane dane i procedura ich przygotowania
Eksperymenty przeprowadzono z wykorzystaniem korpusu recenzji telefonów komórkowych, po-branego ze strony cokupic.pl w dniu 1 lutego 2013. Korpus składał się m.in. z recenzji wyra-żonych za pomocą wypowiedzi tekstowej (tekstu w języku naturalnym) i list zalet i wad. Pełen korpus liczył 77.936 recenzji, które dotyczyły 1858 produktów. Średnio jeden produkt posiadał 41,946 recenzji, zaś kwartylami liczby recenzji nadanych poszczególnym produktom są:
• pierwszy kwartyl – 4 recenzje,
• drugi kwartyl (mediana) – 11 recenzji, • trzeci kwartyl – 34 recenzji,
• czwarty kwartyl (najwyższa wartość) – 2552 recenzji.
W posiadanych recenzjach, produkty są oceniane jednocześnie za pomocą tekstu w języku naturalnym, jak i listy zalet i wad. Możliwe zalety i wady są ustalone dla danej kategorii, tj. użytkownik nie opisuje zalet i wad, lecz wybiera je z zaproponowanej mu listy, jak to zaprezen-towano na rysunku 5.2. Dodatkowo, każdej zalecie odpowiada wada (zalety i wady dotyczą tych samych aspektów). Listy zalet i wad, przygotowane zgodnie z opisanym formatem, mogą stanowić strukturalizowaną kolekcję, możliwą do wykorzystania w przetwarzaniu wypowiedzi tekstowych zgodnie z założeniami nadzorowania odległego.
W korpusie produkty (telefony komórkowe) oceniane były za pomocą 23 możliwych zalet i wad. Każda z tych zalet i wad odnosiła się do pewnego aspektu produktu. Przed przystąpieniem do eksperymentu, na podstawie analizy list zalet i wad zdefiniowano 22 aspekty i do każdego z nich przypisano oceniające je zalety i wady (w jednym przypadku postanowiono przypisać do jednego aspektu dwie możliwe zalety i dwie możliwe wady ze względu na trudność rozgraniczenia znaczeniowego pomiędzy nimi; były to „łatwość obsługi” i „łatwość użycia”).
Część recenzji wyrażonych w postaci tekstu w języku naturalnym została ręcznie zaadnoto-wana. Były to recenzje losowej próby 16 modeli telefonów komórkowych (w sumie 216 recenzji).
Rysunek 5.2: Zrzut ekranu z portalu cokupic.pl prezentujący fragmenty listy zalet i wad, za pomocą której recenzenci mogą wyrażać swoje opinie o produktach z kategorii „Telefony komór-kowe”. Źródło: cokupic.pl. Dostęp: 30 kwietnia 2014
Produkty zostały wylosowane z populacji ograniczonej w ten sposób, że brano pod uwagę wy-łącznie produkty o liczbie recenzji nie większej niż 34. Było to spowodowane tym, że istniało ryzyko wylosowania produktu o bardzo dużej liczbie recenzji (przykładowo, przekraczającej 100 recenzji), w wyniku czego proces adnotacji byłby bardzo czasochłonny. W związku z tym, podję-to decyzję o odrzuceniu z populacji jednej czwartej produktów z największą liczbą recenzji (jak wspomniano, 34 recenzje to trzeci kwartyl rozkładu liczby produktów względem liczby recenzji). Dodatkowo, wprowadzono też ograniczenie dolne, tj. losowano produkty z co najmniej 5 recenzja-mi. Tak ograniczona populacja wynosiła 10.271 recenzji 731 produktów. Wnioskowania przepro-wadzane na podstawie tak wylosowanych próbek będą dotyczyły tylko części populacji, z której przeprowadzono losowanie. Rozmiar próbki wybrano arbitralnie, biorąc pod uwagę przewidywaną czasochłonność zadania. Jej wielkość jest jednak porównywalna do próbek wykorzystywanych w podobnych badaniach z zakresu analizy języka naturalnego.
Adnotacja polegała na czytaniu przez adnotatora recenzji tekstowych i przypisywaniu do nich zalet i wad z zadanej puli na podstawie informacji zawartej tylko w tekście (lista zalet i wad nadana przez recenzenta była przed adnotatorem zakryta). Adnotacja była przeprowadzona zgodnie ze zdefiniowanymi wskazówkami adnotacji, opisanymi w załączniku A na stronie 177. Proces adnotacji został przeprowadzony dwukrotnie, tj. te same dokumenty były dwukrotnie adnotowane przez tego samego adnotatora w dużym odstępie czasu (tj. ponad miesiąc) pomiędzy obydwoma podejściami do adnotacji, w celu zapewnienia jak najbardziej obiektywnych adnotacji. Ponieważ dysponowano dwoma zestawami adnotacji dla dokumentów, w których, z wzgledu na bogactwo języka nauralnego i niejednoznaczność wypowiedzi mogły występować
niejedno-znaczności, konieczne było ich połączenie w celu utworzenia tzw. złotego standardu, który byłby uznany jako obowiązujący zestaw adnotacji dla dokumentów. Podjęto decyzję o przygotowaniu dwóch takich zestawów:
• zestaw adnotacji, w którym dla każdego dokumentu adnotacjami jest suma zbiorów adno-tacji z obu łączonych zestawów,
• zestaw adnotacji, będący dla każdego dokumentu iloczynem adnotacji dla tego dokumentu z obu łączonych zestawów.
Liczebności przygotowanych w ten sposób danych zaprezentowano w tabeli 5.1.
Źródło Liczba zalet Liczba wad Razem
listy zalet/wad 860 399 1259
adnotacje tekstowe (suma) 501 297 798
adnotacje tekstowe (iloczyn) 362 214 576
Tabela 5.1: Statystyki korpusu zaadnotowanych recenzji. Dwa dolne wiersze prezentują sta-tystyki dotyczące dwóch wariantów złotego standardu adnotacji: będącego wynikiem sumy lub iloczynu adnotacji z dwóch łączonych zestawów. Źródło: opracowanie własne