Program eksperymentów

Przyjęty został następujący plan eksperymentów:

1. Implementacja profilu użytkownika, procedur modyfikacji i wykorzystania profilu. System podpowiedzi oparty na profilu wspomaga użytkownika w formułowaniu pytania skierowanego do wyszukiwarki internetowej przez proponowanie modyfikacji pytania.

2. Wyznaczenie wartości parametrów dla profilu:

• współczynników α i β – we wzorze sumy ważonej określającej wagi potencjalnych terminów znaczących z dokumentów relewantnych odpowiedzi¹,

• współczynnika istotności ι – określającego grupę czołową we zbiorze potencjalnych terminów znaczących¹,

• progu τprofil – dla selekcji terminów znaczących z subprofilu do modyfikacji.

3. Weryfikacja dolnego i górnego progu df (ang. document frequency) oraz kolejności zastosowania w procesie wyboru terminów znaczących: współczynnika istotności ι oraz progu df.

4. Przeprowadzenie eksperymentów weryfikujących zaproponowany profil użytkownika poprzez:

• symulację procesu wyszukiwania dokumentów, • symulację wskazania dokumentów relewantnych2 oraz

• symulację procesu tworzenia, modyfikacji i wykorzystania profilu użytkownika. Podczas kolejnych cykli wyszukiwania (iteracji) mają miejsce kolejne modyfikacje pytania zadanego przez użytkownika na podstawie profilu.

5. Zebranie wyników wyszukiwań i ocena przeprowadzonych eksperymentów symulacyjnych na podstawie zaproponowanej miary efektywności wyszukiwania.

Weryfikację efektów zastosowania zaproponowanego profilu użytkownika przeprowadzono w internetowym systemie wyszukiwania informacji. Opracowany został system podpowiedzi Profiler, który umożliwia:

1. Pobranie od użytkownika pytania i przekazanie pytania do wyszukiwarki internetowej, która zwraca zbiór dokumentów odpowiedzi.

1 Współczynniki α i β oraz współczynnik istotności ι zdefiniowano w podrozdziale 4.7.2.

2 Zgodnie z tym, co było powiedziane w podrozdziale 5.2, symulowanie wskazania zachodzi w oparciu o zbiory testowe przygotowane uprzednio przez użytkowników.

2. Przeglądnięcie przez użytkownika wszystkich dokumentów odpowiedzi na zadane pytanie, a następnie wskazanie dokumentów relewantnych wśród dokumentów odpowiedzi.

3. Budowanie profilu użytkownika na podstawie wskazanych przez użytkownika dokumentów relewantnych.

4. Modyfikację pytania użytkownika na podstawie istniejącego profilu.

5. Przekazanie pytania zmodyfikowanego do wyszukiwarki internetowej, a następnie przedstawienie użytkownikowi odpowiedzi na pytanie zmodyfikowane.

System Profiler akceptuje pytanie w postaci listy słów, która przekazywana jest do wyszukiwarki internetowej Netoskop. Pytanie obsługiwane jest przez wyszukiwarkę. Wyszukiwarka zwraca jako odpowiedź na zadane pytanie te dokumenty, które zawierają wszystkie terminy zadane w pytaniu. Pytanie w postaci listy terminów jest traktowane jako pytanie będące koniunkcją terminów. Użytkownik systemu ocenia dokumenty odpowiedzi. Zaznacza te dokumenty, które według własnej oceny uważa za relewantne do posiadanej potrzeby informacyjnej. Wskazane dokumenty poddawane są analizie, w wyniku której wyznaczane są terminy znaczące tzi. Tylko terminy znaczące wprowadzane są do profilu reprezentującego zainteresowania użytkownika. Profil użytkownika wykorzystywany jest w następujących sytuacjach:

• gdy kolejne pytanie zadane przez użytkownika jest identyczne z pytaniem zadanym we wcześniejszych wyszukiwaniach lub

• gdy pytanie jest podobne do wcześniej zadanego pytania.

W przypadku identyczności pytania, zostaje ono zmodyfikowane na podstawie informacji zawartych w profilu. Pytanie zmodyfikowane jest uszczegółowieniem rzeczywistej potrzeby informacyjnej użytkownika. Natomiast w przypadku podobieństwa, pytanie zmodyfikowane jest formułowane jako hipoteza, postawiona na podstawie istniejącego profilu oraz początkowego pytania użytkownika, dotycząca możliwej rzeczywistej potrzeby informacyjnej użytkownika wyrażonej w postaci pytania początkowego. Każde zmodyfikowane pytanie zostaje przekazane do wyszukiwarki internetowej, a użytkownik otrzymuje odpowiedź w postaci listy dokumentów.

Miary efektywności wyszukiwania

Miary efektywności wyszukiwania wykorzystywane najczęściej w klasycznych systemach wyszukiwania informacji opisano w Rozdziale 2.1.3. W niniejszej pracy jako miarę efektywności wyszukiwania przyjęto dokładność obciętą dla pierwszych 10, 20 i 30 dokumentów odpowiedzi. Dokładność obcięta obliczana jest według następującego wzoru:

Wysz Wysz l Re Dokl m m m ∩ = ,

gdzie m= 10, 20 , 30, a |Wyszm| oznacza odpowiednio m pierwszych wyszukanych dokumentów odpowiedzi.

Dokładności obcięte Dokl10, Dokl20, Dokl30 obliczano dla każdego zadanego do wyszukiwarki pytania, tj. zarówno dla pytania początkowego, jak i dla wszystkich pytań zmodyfikowanych.

Porównano dokładności obcięte Dokl^it10, Dokl^it20, Dokl^it30 dla każdego kolejnego pytania zmodyfikowanego w każdej kolejnej iteracji cyklu wyszukiwania¹ w stosunku do dokładności obciętych Dokl1

10, Dokl1 20, Dokl1 30 pytania początkowego: % Dokl Dokl Dokl POP it it ₁ 100 10 1 10 10 10= ⁻ ∗ , gdzie: Dokl1

10 – dokładność obcięta dla pierwszych 10 dokumentów odpowiedzi w 1-szej iteracji modyfikacji pytania,

it – kolejna iteracja modyfikacji pytania i wyszukiwania dokumentów,

Doklit

10 – dokładność obcięta dla pierwszych 10 dokumentów odpowiedzi w kolejnej iteracji it modyfikacji pytania.

Analogicznie mamy: % Dokl Dokl Dokl POP it it ₁ 100 20 1 20 20 20= ⁻ ∗ , oraz % Dokl Dokl Dokl POP it it ₁ 100 30 1 30 30 30= ⁻ ∗ .

Miary poprawy efektywności wyszukiwania POP^iti określają na ile wyniki wyszukiwania dla każdego zmodyfikowanego pytania w kolejnej iteracji modyfikacji pytania są lepsze niż wyniki wyszukiwania dla pytania początkowego. Poprawę efektywności wyszukiwania obliczano w trzech kategoriach zdefiniowanych powyżej, ponieważ za miarę dokładności przyjęto dokładności obcięte. Na podstawie miary POP określono procent pytań zmodyfikowanych, które polepszają efektywność wyszukiwania w przeprowadzonych eksperymentach.

Na potrzeby, przeprowadzonej w ramach eksperymentów, symulacyjnej weryfikacji profilu porównano również liczbę dokumentów relewantnych wyszukanych |Rel∩Wysz| w odpowiedzi na kolejne zmodyfikowane pytanie do liczby wszystkich dokumentów relewantnych w ustalonych zbiorach testowych |Reltest|:

1 Cykl wyszukiwania rozumiany jest tutaj jako kolejno wykonane następujące czynności: zadanie pytania przez użytkownika, zmodyfikowanie pytania (jeżeli spełnione są odpowiednie warunki), uzyskanie odpowiedzi od systemu internetowego (stąd indeks it).

% l Re Wysz l Re DR % test 100 ∗ ∩ =

Miarę %DR cechuje pewne podobieństwo do klasycznej miary kompletności Kom. Jednak podstawową różnicą jest fakt, że dla kompletności znana jest liczba wszystkich dokumentów relewantnych w kolekcji, natomiast miara %DR uwzględnia tylko pewien podzbiór dokumentów relewantnych, będący podzbiorem wszystkich dokumentów relewantnych kolekcji. Miara %DR określa skuteczność zaproponowanego profilu oraz metod wykorzystania profilu w dostarczaniu użytkownikowi nowych dokumentów relewantnych w wykonywanych kolejnych wyszukiwaniach. Aby pokazać tę własność wystarczy pokazać, że ma to miejsce dla każdego testowego, dowolnie wybranego zbioru dokumentów relewantnych. Nie jest celem natomiast pokazanie, że zastosowanie zaproponowanego w pracy profilu użytkownika prowadzi do wyszukania wszystkich dokumentów relewantnych w kolekcji sieci WWW. Ocena kompletności wyszukiwania w sieci WWW, z racji na dużą częstość modyfikacji kolekcji WWW oraz jej liczność, jest jedynie szacowana (Choroś, 2002).