• Nie Znaleziono Wyników

Koncepcja symulacyjnej weryfikacji profilu

Definicja 4.6.3 Frazą nazywamy koniunkcję terminów znaczących tz i , które należą1 do jednego lub wielu subprofili oraz wyznaczone zostały do modyfikacji

5. Eksperymentalna weryfikacja modelu

5.2. Koncepcja symulacyjnej weryfikacji profilu

Proponowany profil został pomyślany jako narzędzie wspierające wyszukiwanie w sieci WWW. Naturalnym sposobem weryfikacji założonych własności profilu byłoby przeprowadzenie eksperymentów z udziałem użytkowników. W niewielkim zakresie, nieformalne eksperymenty z udziałem użytkowników zostały przeprowadzone. Niestety eksperymenty takie pochłaniają dużo czasu i do sprawdzenia własności modelu wymagałby zaangażowania znacznej liczby ochotników (dysponujących znaczną ilością wolnego czasu). Rozwiązaniem, które może dostarczyć dużej ilości danych weryfikujących przydatność modelu w stosunkowo krótkim czasie wydała się być metoda symulacyjna (przedstawiona poniżej). Zaproponowana metoda symulacji eksperymentów bazuje na uprzednich decyzjach konkretnych użytkowników w oznaczeniu relewancji dokumentów. Poproszeni o to użytkownicy, określili dla wybranych przez siebie dziedzin zainteresowań zbiory dokumentów relewantnych pochodzących z obszernej kolekcji wykorzystanej w eksperymentach. W trakcie eksperymentu symulowane było jedynie zadawanie kolejnych pytań przez

użytkownika1, natomiast decyzje o relewantności konkretnych dokumentów względem dziedziny zainteresowań pochodziły bezpośrednio od potencjalnych użytkowników.

Symulacyjna weryfikacja zaproponowanego profilu użytkownika oraz wykorzystania tego profilu miała na celu pokazanie, że dla dowolnego pytania2, na podstawie wskazanych w odpowiedzi dokumentów relewantnych, kolejne modyfikacje pytania w oparciu o tworzony profil użytkownika, prowadzą do uzyskania przez użytkownika odpowiedzi, w której liczba dokumentów relewantnych opisujących dziedzinę zainteresowań użytkownika jest większa niż w odpowiedzi na pytanie początkowe.

Eksperymenty symulują zachowanie użytkownika podczas wyszukiwania. W rzeczywistym zastosowaniu użytkownik zadaje do wyszukiwarki pytanie. Następnie weryfikuje otrzymaną odpowiedź wskazując dokumenty relewantne. Na podstawie informacji zawartych we wskazanych dokumentach, automatycznie tworzony i modyfikowany jest profil użytkownika. Profil wykorzystywany jest następnie do modyfikacji kolejnych pytań stawianych przez użytkownika do wyszukiwarki.

W eksperymentach przyjęto, że zadawane będą pytania, których terminy są

losowane. Pytanie to oznaczono jako qrandom (Rysunek 5-1). W ten sposób symulowane są fakty, że użytkownik może sformułować pytanie dotyczące dowolnej dziedziny tematycznej oraz, że formułując je może być bardzo daleki od zrobienia tego poprawnie3. Na potrzeby przeprowadzanych eksperymentów utworzone zostały zbiory testowe, które zawierają dokumenty relewantne. Testowe zbiory dokumentów relewantnych uzyskane zostały od rzeczywistych użytkowników, którzy wykonywali wyszukiwanie dla pewnej dziedziny, dla której wcześniej sformułowali bardzo szczegółowe pytanie, a następnie wskazali dokumenty relewantne w odpowiedzi na to szczegółowe pytanie, tj. weryfikowali odpowiedź systemu. Wyznaczone zbiory dokumentów relewantnych symulowały następne weryfikacje dokumentów relewantnych w odpowiedzi internetowego systemu wyszukiwania informacji4,.

1 W seriach nawet po kilkadziesiąt kolejnych pytań, czego trudno byłoby oczekiwać od rzeczywistych użytkowników - ludzi.

2 Pewne ograniczenia nałożone na dowolność pytania zostaną wyjaśnione w następnych akapitach.

3 Tzn. używając terminów odpowiednich dla wyszukiwarki i indeksu kolekcji, prowadzących do odnalezienia wszystkich relewantnych dokumentów oraz umieszczenia ich na wysokich pozycjach w rankingu dokumentów odpowiedzi.

4 Stosownie do dziedziny zainteresowań, której zadawane, losowane, pytanie ma dotyczyć. W konkretnym eksperymencie zakładamy, że losowane pytania dotyczą określonej dziedziny zainteresowań.

Tak więc wykorzystanie testowego zbioru dokumentów relewantnych w odniesieniu do odpowiedzi na pytanie losowe symulowało weryfikację odpowiedzi przez użytkownika. Dokumenty ze zbioru testowego identyfikowane były w odpowiedzi na pytanie losowe jako zbiór dokumentów relewantnych w tej odpowiedzi, a następnie wyznaczone z tych dokumentów terminy znaczące modyfikowały subprofil użytkownika.

W zastosowanej metodzie weryfikacji, terminy pytania początkowego były losowane ze zbioru terminów T – terminów należących do dokumentów poindeksowanej kolekcji testowej. Eksperymenty przeprowadzono dla pytań, w których terminy wylosowane nie były zanegowane. Następnie losowe pytanie zadawane było do wyszukiwarki. Otrzymywaliśmy listę dokumentów odpowiedzi. Automatycznie sprawdzano, czy w odpowiedzi na pytanie losowe znajdują się dokumenty z aktualnie wykorzystywanego (w danym eksperymencie) zbioru dokumentów testowych.

Ustalone zostały następujące typy zbiorów dokumentów testowych:

gęste zbiory dokumentów relewantnych, zawierające dokumenty bliskie sobie

znaczeniowo, wszystkie dobrze opisujące pewną dziedzinę zainteresowań użytkownika wspólną dla całego zbioru – decyzję o bliskości znaczeniowej dwóch dokumentów i ich jednorodności tematycznej podejmował zawsze człowiek, tzn. (najczęściej) użytkownik formułujący zbiór testowy lub (w przypadku innych typów zbiorów) autor pracy,

rzadkie zbiory dokumentów relewantnych dla różnych dziedzin tematycznych,

poszczególne dokumenty są słabo znaczeniowo związane ze sobą nawzajem, oraz

mieszane zbiory dokumentów, gdzie mamy gęsty podzbiory dokumentów

relewantnych dla pewnej dziedziny zainteresowań (głównej dla całego zbioru) połączony z podzbiorem rzadkim dokumentów relewantnych dla dziedzin innych niż podzbiór gęsty.

Kryterium oceny podobieństwa znaczeniowego w oparciu o decyzję użytkownika jest, z formalnego punktu widzenia, skrajnie subiektywne i niemierzalne. Warto jednak zauważyć, że jest to właśnie takie kryterium oceny, jakiemu podlega ocena relewancji dokumentów podczas wyszukiwania w wyszukiwarce internetowej. Użytkownik ocenia przydatność odszukanego dokumentu na podstawie analizy jego treści (znaczenia

tekstu). Zamodelowanie tego procesu w eksperymencie jest obecnie po prostu

niemożliwe.

Jednak gęste zbiory testowe dobrze opisują rzeczywiste decyzje, które by podjął użytkownik – autor danego zbioru – podczas pracy z wyszukiwarką. Utworzenie zbiorów testowych w oparciu o dowolną miarę formalna podobieństwa dokumentów (np. cosinusową) spowodowałoby, że przestałyby one wyrażać rzeczywistą ocenę relewancji dokonywaną przez człowieka. Warto również podkreślić, że poszczególne zbiory testowe zostały utworzone przez różnych użytkowników dla różnych dziedzin. Trudno więc o jakąś z góry przyjętą tendencję w ich konstrukcji.

Profil pn Terminy T Dokumenty odpowiedzi D’q random Dokumenty relewantne Dq qrandom lo so w a n ie w ys zu kiw a n ie modyfikacja qmod Dokumenty odpowiedzi D’q mod w ys zu kiw a n ie Iteracja 2...k Dokumenty wspólne Terminy znaczące Dokumenty wspólne Terminy znaczące Iteracja 1 selekcja

Pomiędzy dokumentami odpowiedzi identyfikowana była część wspólna ze zbiorem dokumentów testowych, danym dla każdego eksperymentu1. Z dokumentów należących do części wspólnej wyznaczane były terminy znaczące tzi. Terminy znaczące modyfikowały następnie profil użytkownika, a dokładnie odpowiedni subprofil. Na podstawie subprofilu zadane początkowe pytanie losowe było automatycznie zmodyfikowane. Pytanie zmodyfikowane było przekazywane w kolejnej iteracji do wyszukiwarki i zwracany był nowy zbiór dokumentów odpowiedzi. Zbiór ten był ponownie automatycznie sprawdzany pod kątem pokrywania się z danym zbiorem dokumentów testowych. Po analizie dokumentów testowych występujących w odpowiedzi na pytanie następowała kolejna iteracja modyfikacji profilu oraz modyfikacji pytania na podstawie zmodyfikowanego profilu.