Do ewaluacji metody będzie wykorzystany współczynnik Kappa Cohena, który może ocenić sto-pień zgodności (rzetelności) pomiędzy dwoma sędziami. W tym przypadku w roli sędziów będą występowali eksperci (jako pierwszy) oraz model jakości (jako drugi), zbudowany w ramach roz-prawy. Z próby w 6095 artykułów zostało wyeliminowano 68 przypadków (co stanowi ok. 1% próby), gdzie eksperci nie mieli wystarczającego poziomu zgodności. W związku z tym, do ana-lizy wybrano 6027 artykułów, gdzie dla każdego przypadku co najmniej 3 z 5 ekspertów wybrali tą samą wersję językową jako najlepszą.
Tabela 11.4 przedstawia liczbę najlepszych wersji językowych nadanych przez model w wer-sji podstawowej oraz przez ekspertów do obliczenia współczynnika Kappa Cohena
Tabela 11.4. Liczba najlepszych wersji językowych nadanych przez model w wersji podstawo-wej oraz przez ekspertów do obliczenia współczynnika Kappa Cohena.
Model podstawowy EN PL RU UK Suma Eksperci EN 2425 36 87 13 2561 PL 5 972 2 3 982 RU 133 15 1298 216 1662 UK 29 3 49 741 822 Suma 2592 1026 1436 973 6027
Źródło: Obliczenia własne oraz na podstawie danych od ekspertów.
Wartość współczynnika Kappa Cohena w tym przypadku wynosi 0,8603. Ta wartość wska-zuje na bardzo dobrą zgodność pomiędzy ocenami ekspertów oraz modelem jakości, zapropo-nowanym w rozprawie.
Tabela 11.5 przedstawia liczbę najlepszych wersji językowych nadanych przez model w wer-sji rozszerzonej oraz przez ekspertów do obliczenia współczynnika Kappa Cohena
Tabela 11.5. Liczba najlepszych wersji językowych nadanych przez model w wersji rozszerzo-nej oraz przez ekspertów do obliczenia współczynnika Kappa Cohena.
Model rozszerzony EN PL RU UK Suma Eksperci EN 2500 3 57 1 2561 PL 12 968 0 2 982 RU 93 1 1424 144 1662 UK 3 1 25 793 822 Suma 2608 973 1506 940 6027
Źródło: Obliczenia własne oraz na podstawie danych od ekspertów.
Wartość współczynnika Kappa Cohena w tym przypadku wynosi 0,9189. Zatem można wnioskować, że model rozszerzony jest bardziej precyzyjny niż model podstawowy również na innych danych uczących, które nie były brane pod uwagę podczas budowania modelu.
11.6 Podsumowanie
W niniejszym rozdziale został przedstawiony sposób weryfikacji metody zaproponowanej w roz-prawie. W szczególności zostało opisane narzędzie WikiBest, które umożliwia zbieranie infor-macji przez Internet od ekspertów na temat porównania jakości danych w infoboksach Wikipe-dii w różnych językach.
Ewaluacja pokazała wysoki stopień zgodności ekspertów w procesie oceny jakości infobok-sów w rożnych wersjach językowych. Największą zgodność ocen eksperckich z modelem jakości infoboksów można uzyskać przy stosowaniu wersji rozszerzonej modelu, które oprócz miar in-foboksów zawiera również miary artykułów Wikipedii. W tym przypadku osiągnięto wartość 0,9189 współczynnika Kappa Cohena, co pokazuje wysoką korelację pomiędzy ocenami eks-pertów a opracowanym w ramach rozprawy modelem oceny jakości infoboksów.
Rozdział 12
Podsumowanie
Przedmiotem prezentowanej rozprawy było wzbogacenie wielojęzycznych informacji w serwi-sach wiki na podstawie analizy ich jakości. Zagadnienie to może pełnić istotną rolę w funkcjo-nowaniu podmiotów gospodarczych oraz osób prywatnych, ponieważ ilość i jakość informacji w dużym stopniu decydują o jakości podejmowanych decyzji w różnych gałęziach gospodarki.
Prezentowana praca miała na celu pokazania nowego podejścia do rozwiązania znanych problemów.
12.1 Wkład pracy
Głównym celem pracy było opracowanie metody porównywania oraz wzbogacania informacji w wielojęzycznych serwisach wiki na podstawie analizy ich jakości na przykładzie Wikipedii.
Główny cel pracy miał zostać osiągnięty poprzez realizacje pięciu celów szczegółowych. Te cele to:
• Opracowanie metody automatycznej oceny jakości strony wiki w różnych językach z wy-korzystaniem odpowiednich miar.
• Opracowanie metody porównania jakości infoboksu z jakością strony wiki.
• Opracowanie metody identyfikacji infoboksów oraz parametrów w nim umieszczonych o najwyższej jakości spośród odpowiedników strony wiki w różnych wersjach językowych. • Opracowanie metody wzbogacenia infoboksów pomiędzy wersjami językowymi wiki z
wykorzystaniem semantycznej reprezentacji elementów tych infoboksów.
Każdy z tych celów został osiągnięty poprzez wypracowanie odpowiednich artefaktów oraz przeprowadzenie ich ewaluacji:
• Nowe miary jakości artykułów oraz infoboksów serwisów wiki. W szczególności, miara syntetyczna - do oceny jakości artykułów w skali od 0 do 100. Miara pokazała wyższą ważność w otrzymanej metodzie niż tradycyjne oceny jakości, stosowane w ramach Wi-kipedii.
• Model oceny jakości infoboksów w wersji podstawowej oraz wersji rozszerzonej. Ten model wykazał szczególną ważność miar dotyczących popytu na informację.
• Metoda porównywania wielojęzycznych informacji w Wikipedii na podstawie semantycz-nych powiązań oraz oceny jakości.
Osiągając przedstawione cele, wykazano tezę pracy: Metoda oceny jakości strony wykorzy-stująca semantyczne powiązania z innymi wersjami językowymi oraz uwzględniająca popyt na informację pozwala na porównanie i wzbogacenie informacji w serwisach wiki.
W trakcie prac służących osiągnięciu celu głównego pracy i wykazaniu jej tezy osiągnięto również poboczne rezultaty, które również stanowią wkład do analizowanej dziedziny:
• Opracowanie nowych miar do oceny jakości artykułów Wikipedii oraz infoboksów. W tym, opracowanie miary syntetycznej do oceny jakości artykułów w różnych wersjach językowych Wikipedii.
• Typologizacja miar jakości oraz wymiarów jakości artykułów Wikipedii.
• Opracowanie modeli estymacji jakości artykułów w różnych językach na podstawie mo-deli określonej wersji językowej z użyciem dychotomicznej lub nominalnej zmiennej za-leżnej.
• Analiza współzależności miar infoboksów oraz artykułów.
• Opracowanie modeli oceny jakości infoboksów w różnych wersjach językowych.
• Opracowanie metody porównywania wielojęzycznych informacji na podstawie analizy ich jakości.
• Opracowanie metody wzbogacenia wielojęzycznych informacji na podstawie analizy ich jakości.