Realizacja praktyczna systemu i opinie użytkowników

ABSS_UAL – ABSS User Ac`vi`es Language

3.4. Realizacja praktyczna systemu i opinie użytkowników

W trakcie prac przeprowadzono spotkania z nauczycielami celem zebrania opinii o użyteczności systemu we wspomaganiu wyszukiwania informacji. Zebrane opinie pozwoliły wdrożyć sugestie konkretnych osób w celu zapewnienia wysokiej skuteczno-‐ ści działania systemu wobec oczekiwań docelowej grupy użytkowników.

Przeprowadzone końcowe ankiety wskazują na stosunkowo duże zainteresowanie wyszukiwaniem spersonalizowanym. Z uwagi na fakt, iż zaimplementowany system spersonalizowany wymaga nauczenia się ocena przeprowadzona w krótkim czasie po implementacji nie oddaje w pełni jego jakości którą można uzyskać stosując system przez dłuższy czas. Jednak nawet pomimo tego faktu oceny wyszukiwania spersonalizo-‐ wanego są dość wysokie, szczególnie w stosunku do klasycznego podejścia, co pozwala pozytywnie ocenić kierunek który został wyznaczony w pracy.

Grupa osób na której przeprowadzono ankietę końcową nie była duża (14 osób) stąd nie stosowano analizy statystycznej. W tabelach 23-‐25 przedstawiono sumarycznie zebrane wyniki z ankiet. Ocena jest przedstawiana równolegle na 3 sposoby: średniej arytmetycznej, wartości środkowej (mediany) i wartości najczęstszej (dominanty). Stosowanie mediany czy dominanty jest celowe w związku z niewielką próbą na której przeprowadzono badanie.

Warto zauważyć, iż w przypadku wyszukiwania zaawansowanego (tabela 23) uwzględniającego możliwość zaawansowanego formułowania zapytań (operatory) oraz wyszukiwania zgodnie z synonimami kategorię tę oceniło 79% osób, większe zaintere-‐ sowanie dotyczyło możliwości nadawania ocen (ang. “rates”) materiałom dydaktycznym i uwzględnieniu tej wartości przy pozycjonowaniu wyników (86%) lecz nikt nie prze-‐ szedł obojętnie (100%) wobec popularności materiałów jako kategorii wyszukiwania zaawansowanego. Przy czym w sumarycznym zestawieniu korzyści przy stosowaniu danej kategorii sumarycznie najwyższą liczbę ocen odpowiadającą istotności materia-‐ łów uzyskała kategoria ocena materiałów (50%) przy braku ocen przeciwnych, wyprzedzając samo zapytanie (45% „za istotnością” wobec 18% „przeciw”) i popular-‐ ność (43% „za istotnością” wobec 36% osób o zdaniu przeciwnym).

W opcjach zaawansowanych najczęściej maksymalnie oceniane jako użyteczne były: popularność danego obiektu (LO) wśród nauczycieli i nadawane oceny przez innych nauczycieli (w obu przypadkach 79% osób oceniło te dwie kategorie). Dość ciekawe, iż mniejsze zainteresowanie było najczęściej odwiedzanymi kursami przez uczniów (71%) oraz ocenami nadawanymi przez uczniów (64%). Co bardzo interesujące nauczyciele bardziej zainteresowani są ocenami uczniów (użyteczność oceniano najczę-‐ ściej na 4) niż popularnością materiałów dydaktycznych wśród uczniów (ocena 3). Jesz-‐ cze bardziej widoczne jest to przy sumarycznym zestawieniu ocen „za istotnością kryte-‐ rium” (oceny powyżej 3) w stosunku do ocen przeciwnych (oceny poniżej 3) i braku jednoznacznej opinii (ocena 3). Wartościowość materiałów wyrażoną przez ocenę nadaną przez innych nauczycieli aż 100% badanych oceniło za maksymalnie istotną (ocena 5). Trochę mniej (64% ocen pozytywnych) wskazało na „popularność” materia-‐ łów wśród nauczycieli jako również istotny element który powinien być uwzględniony przy pozycjonowaniu wyników.

Tabela 23: Wyniki ankiet dla wyszukiwania zaawansowanego – kryteria: ocena i popularność

Badania dotyczące wyszukiwania spersonalizowanego (tabela 24) wskazują, że większość osób zdaje sobie sprawę z różnic w metodologi podejścia dla tej zaoferowanej formy wyszukiwania. 85% badanych zadeklarowało bowiem znajomość tej formy i jej wykorzystywanie. W przypadku wyszukiwania spersonalizowanego rozróżniono analizę informacji zawartą w opisie obiektów wiedzy (LOM) w stosunku do konkretnego proWilu użytkownika – zostało to określone jako “proWile conformity” od klasteryzacji użytkowni-‐ ków nazwanych “similar users’ opinions”. Jest widoczne, iż 86% osób deklaruje zaintere-‐ sowanie dopasowaniem bezpośrednim do proWilu czyli więcej niż metodami opartymi na klasteryzacji (64%). Sytuację uwidaczniają również oceny: “proWile conformity”otrzymał o stopień wyższą ocenę. Sumarycznie 67% uznało kategorię bezpośredniego dopaso-

wania do proFilu za istotną (przy 8% ocen przeciwnych) zaś metody oparte na klastery-‐

zacji uzyskały tylko 33% ocen wskazujących na korzyści przy ich stosowaniu przy wprawdzie trzykrotnie mniejszej liczbie zdań przeciwnych (11%). Wysoki odsetek osób nie mających jednoznacznego zdania 56% znacznie przewyższający pozostałe opinie świadczyć może o fakcie, że system ma charakter rozwojowy, a użytkownicy nie są

w stanie jednoznacznie wskazać w chwili obecnej wyraźnych korzyści ze stosowania tego podejścia (w stosunku do bezpośredniej możliwości porównania z proWilem). Biorąc pod uwagę dalsze wyniki dla kategorii “similar users’ opinions” w tym maksymalne oceny dla niektórych komponentów (i wyższe od porównania z proWilem) uprawnionym staje się stwierdzenie, iż pomimo że inna kategoria wyszukiwania spersonalizowanego obecnie przynosi więcej korzyści to użytkownicy wyrażają nadzieję, że metody oparte na klasteryzacji powinny wspomóc wyszukiwanie w przyszłości i okazać się lepsze od kate-‐ gorii “proWile conformity”.

Warto zwrócić uwagę na fakt, iż użytkownicy wolą aby rezultat obu podejść tj. klasteryzacja w oparciu o zachowanie (“behaviour approach”) był łączony z zapropono-‐ wanym własnym rozwiązaniem czyli klasteryzacją w oparciu o proWil (“pro\ile

approach”). Łączna istotność na pozycjonowanie wyników przez oba podejścia równo-‐

cześnie brane pod uwagę jest wyższa (ocena: 4) niż dla każdego z tych podejść rozpatry-‐ wanego indywidualnie (w obu przypadkach ocena: 3). Biorąc pod uwagę sumaryczną liczbę ocen za istotnością danej podkategorii można zauważyć, że w przypadku “beha-

viour approach” przeważają oceny osób nie uważających za istotne branie pod uwagę tej

podkategorii (29%) nad osobami uważając za istotne jej uwzględnianie (14%). Taka sytuacja nie wystąpiła w przypadku “pro\ile approach” gdzie wprawdzie znacznie prze-‐ ważają głosy nie mających zdecydowanego zdania (75%) lecz nie ma w ogóle osób pewnych co do nieskuteczności tego podejścia. Tak jak wspomniano najlepiej wypada jednak ocena aby oba podejścia rozpatrywać razem. W tym przypadku opinie osób pewnych co do skuteczności przeważają (57%) nad wątpliwościami (47%) przy braku osób oceniających to podejście jako nieskuteczne.

Dość ciekawie wypada także ocena poszczególnych parametrów w obu podkate-‐ goriach i tak dla podejścia uwzględniającego klasteryzację wg zachowania najwyższą notę uzyskały kolejno: pobranie materiałów (“downloaded materials”), oraz zapamię-

tanie danych materiałów (“bookmarked materials”). Jako całkowicie niepotrzebny

wskazano parametr: oglądnięcie materiałów (“viewed materials”). Biorąc sumaryczną liczbę oddanych ocen sytuacja wygląda podobnie choć zmienia się kolejność: zapamięta-‐ nie materiałów zyskuje 67% ocen pozytywnych przed pobraniem materiałów 56%. Co ciekawe zdania dotyczące nieskuteczności uwzględnienia faktu oglądnięcia materiałów są silnie spolaryzowane (47% uważa za celowe i tyle samo za niecelowe przy 14% osób nie mających zdania w tej sprawie).

Kategoryzacja w oparciu o proWile to podobne oczekiwania użytkowników. Najwyższe oceny i tu otrzymały parametry takie jak: pobranie materiałów oraz zapamię-‐ tanie informacji o nich (wartości środkowe wyniosły 4). Uzyskały one odpowiednio 56% i 60% ocen co do celowości wykorzystania przy analizach klastrów wobec 11% i 30% zdań przeciwnych przy 33% i 10% osób nie mających wyraźnego zdania. Również i w tym przypadku osoby wskazały za niecelowe uwzględnianie niektórych parametrów: oglądnięcie uzyskało 50% ocen negatywnych (przy po równo 25% głosów obojętnych i przekonanych o celowości wykorzystania tego parametru), podobne opinie dotyczyły i etykietowaniu materiałów (43% ocen negatywnych wobec 14% za i 43% osób nie mających zdania).

Tabela 24: Wyniki ankiet dla wyszukiwania zaawansowanego – kryteria: wyszukiwanie spersonalizowane

W kolejnym kroku badano rozpatrzono celowość łączenia niektórych kategorii z innymi (tabela 25). Oceny zebrane od użytkowników wskazują, iż kolejno następujące elementy mogą być łączone z innymi: dopasowanie wyników do zapytania (“query conformity”), popularność (“popularity”), oceny innych użytkowników (“rated mate-‐ rials”), dopasowanie do własnego proWilu (“proWile conformity”), klasteryzacja w oparciu o proWile (“similar users opinions by proWiles”) i klasteryzacja w oparciu o zachowanie (“similar users opinions by behaviour”).

Najczęściej pojawiające się pary to kolejno: dopasowanie do zapytania i dopasowanie do proWilu użytkownika, dopasowanie do zapytania i popularność, dopasowanie do zapyta-‐ nia i klasteryzacja w oparciu o proWil, oraz po tyle samo głosów dopasowanie do zapyta-‐ nia z ocenami (“ratings”) oraz popularność z klasteryzacją w oparciu o proWil. Co ciekawe niektórzy z badanych wskazali na celowe istnienie samej pojedynczej kategorii i najwy-‐ żej głosów co do celowości uzyskała popularność nawet przed dopasowaniem do zapy-‐ tania co może trochę dziwić.

Tabela 25: Wyniki ankiet dla wyszukiwania zaawansowanego – łączenie parametrów

Warto podkreślić, że uzyskane wyniki ankiet stanowiły tylko i wyłącznie wska-‐ zówki dla dalszych prac i z uwagi na niewielką próbę nie mogą w pełni być wiążące. Wprawdzie każda z osób wyrażała wypadkową opinię zespołu złożonego z kilku-‐kilku-‐ nastu osób który to zespół reprezentowała, jednakże ostatecznie ocena była wyrażona pisemnie jednoosobowo. Przedstawiona analiza powinna być zatem powtórzona po pewnym czasie w oparciu o metodologię tu opisaną.

Zebrane wyniki mogą służyć do wyznaczenie odpowiednich początkowych wag dla kali-‐ bracji systemu.

4. Podsumowanie

Rozwój systemów e-‐learningowych wymusza tworzenie coraz doskonalszych narzędzi pozwalających użytkownikom zarówno tworzyć jak i dzielić się obiektami wiedzy (LO).

W celu zapewnienia osobom tworzącym kursy dostępu do całego spektrum kursów czy elementarnych ich składowych tworzone są rozproszone sieci repozytoriów (LORs), zaś w celu zapewnienia łatwego dostępu do zasobów istnieją one w parze (logicznie) z repozytoriami zawierającymi opisy obiektów w formie metadanych (LOM). Struktury te przede wszystkim są zarządzane centralnie (np. ARIADNE – Federacja Repozytoriów, MACE – Super-‐repozytorium) co ma gwarantować łatwość i szybkość wyszukania (Federated Search) oraz następnie zapewnić szybki dostęp do znalezionych zasobów.

Powstają również inicjatywy mające na celu zapewnić łatwość i szybkość wymiany danych oraz integrację systemów LORs (np. GLOBE). Tym samym kluczową staje się potrzeba zapewnienia dostępu użytkownikom do konkretnych zasobów które zarówno są wysokiej jakości jak i najlepiej odpowiadają zainteresowaniom konkretnego użytkownika.

Należy stwierdzić, że cel pracy został zrealizowany i w rezultacie zaproponowano i przeanalizowano system zaawansowanego wyszukiwania bazujący na rożnych aspek-‐ tach personalizacji takich jak: podobieństwo pomiędzy użytkownikami (tradycyjne metody CF), podobieństwa w grupie użytkowników z proWilami (modiWied-‐CF), podo-‐ bieństwa pomiędzy obiektem, a konkretnym proWilem użytkownika.

Analizowany system został zaprojektowany i zaimplementowany jako rozszerzalny moduł mogący być wykorzystywany wewnątrz platform eLearningowych.

Do najważniejszych rezultatów niniejszej pracy należy zaliczyć:

• Zaproponowanie i wdrożenie platformy agentowej do realizacji wyszukiwania zaso-‐ bów w systemach e-‐learningowych opartych na rozproszonych repozytoriach (w tym tworzących sieć GLOBE), a w szczególności:

◦ zapewnienie bezpiecznej komunikacji pomiędzy rdzeniem systemu i zdalnymi repozytoriami;

◦ uniezależnienie systemu pobierania danych z repozytoriów od lokalnych operacji w tym restart głównego kontenera – rdzenia platformy agentowej;

◦ wprowadzenie wyspecjalizowanych agentów do realizacji określonych zadań od nadzorowania repozytoriów, obsługę metod wyszukiwania po wprowadzenie osobi-‐ stego asystenta (personal agent) realizującego proces wyszukiwania w imieniu konkretnego użytkownika;

◦ wprowadzenie możliwości łatwej rozbudowy systemu poprzez dodawanie kolej-‐ nych wyspecjalizowanych agentów (np. przy wdrożeniu innych metod wyszukiwa-‐ nia czy pozycjonowania) oraz łatwego rozproszenia systemu z uwagi na wykorzy-‐ staną jego strukturę;

• Wprowadzenie obsługi wyszukiwania spersonalizowanego w tym:

◦ zapis historii ich działań, oraz zaimplementowanie jawnego i pasywnego systemu oceniania znalezionych danych;

własnych modeli klasteryzacji użytkowników.

◦ wprowadzenie modułu rankingowego pozwalającego na automatyczną i przezro-‐ czystą z punktu widzenia użytkownika personalizację wyników wyszukiwania. ◦ zaproponowanie klasteryzacji na podstawie proWili skracającej czas uczenia się

przez system, preferencji nowych użytkowników. • Wprowadzenie takich elementów jak:

◦ opracowano API zapewniającego dostęp do ABSS z innych systemów poprzez WebServices.

◦ opracowanie języków komunikacji zdalnej z ABSS: abss_ql (przesyłanie zapytań), abss_upl (zdalne zarządzanie proWilami użytkowników), abss_ual (gromadzenie danych o aktywności umożliwiającej wprowadzenie proWilowanego wyszukiwania); ◦ Wprowadzenie zarządzania kontami użytkowników w tym zakładanie kont, ich

obsługę czy usuwanie.

• Wykonanie analizy obciążenia systemów rozproszonych dla przypadku ogólnego którą można łatwo zaadoptować dla konkretnych zadanych czynników

Przeprowadzone testy w pełni potwierdzają korzyści oferowane przez niniejszy System, a w szczególności:

• przetwarzanie zapytań może być realizowane w trybie off-‐line;

• system może być w łatwy sposób rozpraszany pomiędzy wiele maszyn w sieci przy wzroście ilości danych i liczby użytkowników;

• modyWikacja poszczególnych serwisów może być dokonywana w czasie rzeczywistym bez potrzeby wyłączania całego Systemu;

• wielopoziomowa analiza zachowań użytkowników w połączeniu z zadeklarowanymi informacjami pozwala w lepszy sposób dopasować rezultaty wyszukiwania do real-‐ nych oczekiwań konkretnych użytkowników.

W niniejszej pracy wykazano, że platformy wieloagentowe z powodzeniem nadają się do tworzenia systemu inteligentnego wyszukiwania obiektów dydaktycznych w ogólnodostępnych repozytoriach metadanych. Przedstawione cechy w pełni potwier-‐ dzają zalety stosowania technologii agentowej dla uzyskania wydajnego i inteligentnego modułu wyszukiwania spersonalizowanego w systemach e-‐Learningowych.

Wprowadzone korzyści oferowane przez wyszukiwanie spersonalizowane zostało docenione przez użytkowników końcowych, a korzyści oferowane będą widoczne jeszcze mocniej kiedy system zostanie w pełni skalibrowany co wymaga jednak dłuższego czasu. Wstępna kalibracja oparta na wynikach ankiet okazała się jednak już na etapie walidacji celowa, a korzyści zostały dostrzeżone nie tylko przez użytkowników końcowych lecz i ekspertów dziedzinowych.

Zastosowanie powyższego modułu pozwala na uzyskanie inteligentnego wyszuki-‐ wania informacji. Znalezione obiekty LO które spełniają kryteria użytkownika są następ-‐ nie przetwarzane i odpowiednio pozycjonowane. Kolejność wyników jest wypadkową analizy zainteresowań użytkownika (zadeklarowanych i realnych), popularności i jakości danego LO oraz zgodności obiektu z zadeklarowanymi zainteresowaniami.

Wyniki prac autora rozprawy będą również opublikowane w formie rozdziału p.t. “The Use of Multi-‐Agents' Systems in e-‐Learning Platforms" w książce “E-‐learning”, ISBN 978-‐953-‐7619-‐23-‐7, Wyd. IN-‐TECH. Praca obecnie jest w druku.

DB_USERS

Przechowuje informacje o kontach użytkowników. Przechowywane są następujące elementy:

• Dane osobowe (imię i nazwisko, adres e-‐mail, wiek, płeć, narodowość, języki którymi się posługuje, zainteresowania);

• Charakterystyka użytkownika (zainteresowania zawodowe, rok edukacji ucznia); • Informacje o kursach (w których uczestniczy lub które prowadzi);

XS2QL

Name: http://shalom.kt.agh.edu.pl/abss/xsd/xs2ql-1.0

Schema Location: http://shalom.kt.agh.edu.pl/abss/xsd/xs2ql-1.0.xsd <?xml version="1.0" encoding="utf-8"?>

<xs2ql xmlns="http://shalom.kt.agh.edu.pl/abss/xsd/xs2ql-1.0" xmlns:xsi="http://www.w3.org/2001/

XMLSchema-instance" xsi:schemaLocation="http://shalom.kt.agh.edu.pl/abss/xsd/xs2ql-1.0 http:/ /shalom.kt.agh.edu.pl/abss/xsd/xs2ql-1.0.xsd"> <metadataLanguages> <language>en</language> <language>hu</language> </metadataLanguages> <queryTitle>

<query>title query</query>

</queryTitle> <queryAuthors>

<query>authors query</query> </queryAuthors>

<query>free text keywords query </query>

<query> description query </query> </queryDescription> <ageRange> <minAge>12</minAge> <maxAge>14</maxAge> </ageRange> <sizeRange> <minSize>20000</minSize> <maxSize>100000</maxSize> </sizeRange> <contributeDateRange> <after>2007-02-14</after> <before>2007-06-22</before> </contributeDateRange>

<costs>false</costs>

</resourceLanguages> <lreThesauriItems>

</lreThesauriItems>

<endUserRole>learner</endUserRole> </endUserRoles>

<resourceFormat>application/pdf</resourceFormat>

<resourceFormat>application/msword</resourceFormat>

<resourceFormat>application/msexcel</resourceFormat>

<resourceType>lesson plan</resourceType>

<resourceType>presentation</resourceType>

<learningContext>distance education</learningContext>

</learningContexts>

ABSS_QL

Name: http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql

Schema Location: http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql.xsd

<?xml version="1.0" encoding="utf-8" ?>

<abss_ql xmlns="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql" xmlns:xsi="http://www.w3.org/2001/

XMLSchema-instance" xsi:schemaLocation="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql http:/ /shalom.kt.agh.edu.pl/abss/xsd/abss_ql.xsd">

<query>

<query_vsql>

<simpleQuery xmlns="http://fire.eun.org/xsd/vsql-1.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://fire.eun.org/xsd/vsql-1.0 http://fire.eun.org/xsd/vsql-1.0.xsd">

</simpleQuery> </query_vsql> </query> <query_mode> <standard_query/> </query_mode> </abss_ql>

<?xml version="1.0" encoding="utf-8"?>

<abss_ql xmlns="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql" xmlns:xsi="http://www.w3.org/2001/

XMLSchema-instance" xsi:schemaLocation="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql http:/ /shalom.kt.agh.edu.pl/abss/xsd/abss_ql.xsd">

<query>

<query_s2ql>

<ageRange><minAge>12</minAge><maxAge>14</maxAge></

ageRange> <language>en</language> </s2ql> </query_s2ql> </query> <results_start_at>15</results_start_at> <user_data> <identification> <id>ala ma kota</id> </identification> </user_data> <system_data> <identification> <id>sparkId_123</id> </identification> </system_data> </abss_ql>

<?xml version="1.0" encoding="utf-8"?>

<abss_ql xmlns="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql" xmlns:xsi="http://www.w3.org/2001/

XMLSchema-instance" xsi:schemaLocation="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql http:/ /shalom.kt.agh.edu.pl/abss/xsd/abss_ql.xsd">

<query>

<query_s2ql>

<ageRange><minAge>12</minAge><maxAge>14</maxAge></

ageRange>

</query_s2ql> </query>

<query_mode><stored_query><operation>install</operation></stored_query></query_mode> <user_data><identification><id>ala ma kota</id></identification></user_data>

<system_data><identification><id>sparkId_123</id></identification></system_data> </abss_ql>

<abss_ql xmlns="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://shalom.kt.agh.edu.pl/abss/xsd/abss_ql http://shalom.kt.agh.edu.pl/abss/xsd/

abss_ql.xsd">

<query_mode>

<similarity_query>

<similarity_type>other_users</similarity_type>

<similar_lomid>40d0158d-9d18-4527-26a2-656ce9df698d#1#5</similar_lomid>

<similar_lomid>lom_id - entry-element</similar_lomid>

</similarity_query> </query_mode> <user_data> <identification> <id>ala ma kota</id> </identification> </user_data> <system_data> <identification> <id>sparkId_123</id> </identification> </system_data> </abss_ql>

W dokumencie Index of /rozprawy2/10252 (Stron 110-122)