PAWEŁ ZIEMBA, RYSZARD BUDZIēSKI
Streszczenie
Artykuł porusza problem doboru kryteriów, które są istotne przy ocenie jakoĞci portali informacyjnych. Za pomocą narzĊdzi statystycznych wygenerowany został ranking kryteriów uwzglĊdniający stopieĔ, w jakim kaĪde z kryteriów wyjaĞnia cał-kowitą ocenĊ jakoĞci portali. NastĊpnie usuwano kolejne kryteria i badano wpływ tego działania na poprawnoĞü oceny. PoprawnoĞü rankingu uzyskanego z wykorzy-staniem statystyk porównano z rankingiem kryteriów sformułowanym przez uĪytkow-ników. Artykuł koĔczą wnioski dotyczące przeprowadzonych badaĔ.
Słowa kluczowe: kryteria oceny jakoĞci serwisów internetowych, eQual, „przekleĔstwo wymia-rowoĞci”, Data Mining
1. WstĊp
Liczba uĪytkowników sieci Internet na Ğwiecie jest mierzona w miliardach, a jego zasiĊg jest nieograniczony. W Polsce z sieci Internet w 2009 roku korzystało 60% populacji [10], a wartoĞü krajowego rynku usług dostĊpu do sieci wyniosła 4 mld zł [9]. Na całym Ğwiecie dostĊpnych jest ponad 255 mln serwisów internetowych [6]. Przy takiej licznoĞci witryn, zdobycie popularnoĞci przez nowy serwis jest bardzo trudne. Nowa witryna obok działaĔ marketingowych podejmowa-nych w celu zdobycia popularnoĞci, powinna równieĪ pozytywnie wyróĪniaü siĊ jakoĞcią postrze-ganą przez uĪytkowników. Badanie serwisów funkcjonujących od długiego czasu w Internecie jest stosunkowo łatwe, gdyĪ moĪna je wykonywaü bazując na danych iloĞciowych dostĊpnych w sieci (np. iloĞü uĪytkowników, liczba odsłon, zasiĊg, itp.). DuĪo trudniejsza jest ocena serwisów dopie-ro pdopie-rojektowanych bądĨ modyfikowanych. Ocena taka musi bazowaü na zupełnie innych kryte-riach, najczĊĞciej o charakterze jakoĞciowym. Istnieje szereg modeli oceny serwisów, które wyko-rzystują tego typu kryteria, np. eQual [2], metoda Ahn [1], e-SERVQUAL [7]. Modele te w pew-nym stopniu korzystają ze zbliĪonych do siebie kryteriów oceny, ale czĊsto przeznaczone są do oceny serwisów innego typu. W pracy [13] przedstawiono metodĊ integracji i rozwiązywania niespójnoĞci pomiĊdzy modelami oceny, w której do łączenia modeli wykorzystuje siĊ ontologie. W efekcie zastosowania wskazanej metody otrzymano jednolitą strukturĊ wielu kryteriów, mogącą słuĪyü do oceny róĪnego rodzaju witryn.
Zaletą, a jednoczeĞnie wadą otrzymanej struktury jest fakt, Īe odzwierciedla ona wiele wy-miarów jakoĞci serwisów, a tym samym jest bardzo rozbudowana. WystĊpuje tutaj pewien rodzaj tzw. „przekleĔstwa wymiarowoĞci”, polegający na problemie wyboru spoĞród wielu wskaĨników jakoĞci tylko takich, które są przydatne w ocenie jakoĞci serwisów okreĞlonego typu. Przykładowo pewne kryteria mogą byü istotne przy ocenie portali informacyjnych, a inne są wykorzystywane przy ocenie serwisów e-commerce. Ekspert lub grupa ekspertów oceniająca serwis nie powinna byü w pełni obciąĪana problemem doboru kryteriów ze wzglĊdu na to, Īe moĪe to odciągnąü ich
uwagĊ od właĞciwej oceny witryn. W niniejszej pracy, na przykładzie wskaĨników jakoĞci modelu eQual i portali informacyjnych, sformułowano ogólny zarys metodyki wspomagającej wiarygodny dobór kryteriów istotnych przy ocenie serwisów jednego typu. PodkreĞliü naleĪy, Īe przedstawio-ny w dalszej czĊĞci pracy zarys procedury ma wspomagaü proces doboru kryteriów, ale jej wyniki nie powinny byü ostatecznie wiąĪące dla decydenta. Wyniki te mają byü dla eksperta tylko pewne-go rodzaju sugestią, pomagającą w wyborze wskaĨników jakoĞci.
2. Model eQual
Pierwszą wersjĊ modelu eQual opracowano w 2000 roku, a sam model nazywany był WebQual. Został on stworzony w oparciu o funkcjĊ dostosowania jakoĞci (ang. Quality Function Deployment) dostarczającą metod identyfikacji i wprowadzania opinii uĪytkowników o jakoĞci produktu na kolejnych etapach jego tworzenia. Pierwotnie model wykorzystywał 24 kryteria od-zwierciedlające wartoĞci 8 grup kryteriów wykorzystywanych w modelu. Same grupy kryteriów były zgrupowane w 4 kategoriach [4]. W toku dalszych prac powstawały jego kolejne wersje kła-dące wiĊkszy nacisk na interakcjĊ z uĪytkownikiem. W wersji drugiej modelu zastosowano kryte-ria dotyczące interakcji uĪytkownika z serwisem, które zapoĪyczono ze skali SERVQUAL [3]. W kolejnej wersji metody zmieniono grupowanie i treĞci kryteriów w efekcie czego uzyskano listĊ 22 kryteriów i 5 grup zawartych w 3 kategoriach. Oceniający podają tutaj stopieĔ zgodnoĞci kaĪdego z kryteriów ze stanem faktycznym wykorzystując skalĊ punktową o wartoĞciach z zakresu od 1 do 7. Sama metodologia uzyskiwania opinii o serwisie internetowym, poza uzyskiwaniem wartoĞci poszczególnych kryteriów dla okreĞlonej witryny umoĪliwia takĪe uzyskiwanie wag, przy czym wagi punktowane są równieĪ w zakresie 1-7. Poza punktami przyznanymi dla kaĪdego z kryte-riów, podawana jest równieĪ ogólna ocena witryny. Na podstawie tejĪe oceny weryfikowana jest wiarygodnoĞü opinii cząstkowych [2]. Jest to najdynamiczniej rozwijany spoĞród istniejących i dziĊki temu najlepiej sformalizowany model oceny jakoĞci serwisów internetowych. Struktura kategorii, grup i kryteriów modelu eQual jest przedstawiona na rysunku 1, a treĞci kryteriów za-warte są w tabeli 1.
Rysunek 1. Struktura kryteriów oceny w modelu eQual 4.0 ħródło: Opracowanie własne na podstawie [3].
Tabela 1. Kryteria wystĊpujące w metodzie eQual
L.p. Kryterium
1. MyĞlĊ, Īe łatwo moĪna nauczyü siĊ operowaü tą stroną
2. Interakcja ze stroną jest dla mnie pewna i zrozumiała
3. MyĞlĊ, Īe strona jest łatwa w nawigacji
4. MyĞlĊ, Īe strona jest łatwa w uĪyciu
5. Strona ma atrakcyjny wygląd
6. Projekt jest odpowiedni dla typu strony
7. Strona wydaje siĊ profesjonalnie wykonana
8. Strona wywołuje we mnie pozytywne doznania
9. Dostarcza precyzyjnych informacji
10. Dostarcza wiarygodnych informacji
11. Dostarcza aktualnych informacji
12. Dostarcza trafnych informacji
13. Dostarcza łatwych do zrozumienia informacji
14. Dostarcza informacji odpowiednio szczegółowych
15. Dostarcza informacji w odpowiedniej formie
16. Ma dobrą reputacjĊ
17. CzujĊ, Īe transakcje przeprowadzane za jej pomocą są bezpieczne
18. Moje osobiste dane przesyłane do tej strony są bezpieczne
19. Wywołuje wraĪenie personalizacji
20. Wydaje siĊ, Īe strona tworzy społecznoĞü wirtualną
21. Komunikacja z twórcami strony jest łatwa
22. Jestem przekonany, Īe towary/usługi oferowane na tej stronie zostaną mi dostarczone w przypadku ich zamówienia
23. Ogólna ocena strony
ħródło: Opracowanie własne na podstawie [3].
Zaznaczyü naleĪy, Īe osoby oceniające serwisy za pomocą modelu eQual skarĪą siĊ na wzglĊdnie duĪą liczbĊ twierdzeĔ wystĊpujących w modelu i na ich duĪe podobieĔstwo w ramach grup kryteriów. Wobec tego model ten jest odpowiedni do zaprezentowania opracowanego zarysu metodyki eliminacji kryteriów zbĊdnych przy ocenie okreĞlonego typu serwisów. Przedstawiona procedura korzysta z metod eksploracji danych oraz z miar statystycznych. W szczególnoĞci w pracy wykorzystano teoriĊ zbiorów przybliĪonych i drzew decyzyjnych oraz statystyki Chi kwa-drat i G kwakwa-drat.
3. Wyznaczanie kryteriów kandydujących do wykorzystania
Pierwszym krokiem analizy było zebranie ocen uĪytkowników dotyczących okreĞlonego ro-dzaju serwisów internetowych. W niniejszym badaniu wĞród wskaĨników jakoĞci wystĊpujących w metodzie eQual, poszukiwano minimalnego zbioru kryteriów pozwalających rozróĪniü i wiary-godnie oceniaü serwisy informacyjne. Ocenianymi przez uĪytkowników serwisami były „inte-ria.pl”, „wp.pl” i „onet.pl”, a opiniowali oni wskazane serwisy za pomocą 22 kryteriów eQual z wykorzystaniem skali 7-punktowej. Dodatkowo w celu weryfikacji wyników eksperymentu, ze-brano od uĪytkowników szacowane przez nich wagi kryteriów. Łącznie uzyskano 255 opinii, na bazie których przeprowadzono badania.
Celem dalszej pracy było uzyskanie najmniej licznego zbioru kryteriów pozwalających roz-róĪniü warianty oceny koĔcowej, a tym samym zredukowaü iloĞci wymiarów oceny i pozostawiü tylko kryteria istotne. Pozyskane dane przekształcono w postaü tablicy informacyjnej i za pomocą zbiorów przybliĪonych, wykorzystując dyskretyzacjĊ i macierz rozróĪnialnoĞci, wyznaczono re-dukty lokalne i globalne [8]. W oparciu o uzyskane rere-dukty okreĞlono pierwsze zbiory kryteriów kandydujących do wykorzystania, zawarte w tabeli 2.
Tabela 2. Zbiory kandydatów wyznaczone za pomocą zbiorów przybliĪonych
Opis Zbiór
Redukt wyznaczony po dyskretyzacji globalnej 1, 2, 4, 5, 6, 7, 8, 11, 12, 13, 14, 16, 19, 20, 21, 22 Redukt wyznaczony po dyskretyzacji lokalnej 1, 2, 3, 4, 5, 6, 8, 9, 11, 12, 13, 14, 16, 17, 18, 19, 20
ħródło: Opracowanie własne.
NastĊpnie wyznaczono ranking waĪnoĞci kryteriów w oparciu o statystykĊ Chi kwadrat [5]. W związku z tym kaĪdy kolejny uzyskany zbiór kandydatów był o jedno kryterium mniej liczny od poprzedniego, gdyĪ nie zawierał elementu, który miał najniĪszą statystykĊ w poprzednim zbio-rze. Ranking waĪnoĞci kryteriów wyznaczony za pomocą statystyki Chi kwadrat przedstawiono w tabeli 3.
Tabela 3. Ranking waĪnoĞci kryteriów wyznaczony za pomocą statystyki Chi kwadrat
Kryterium 8 16 14 6 5 1 18 11 3 10 9 71 12 2 4 13 19 7 20 15 21 22 Chi kwadrat 207 1 7 3 1 4 2 1 4 1 1 4 1 1 3 4 1 3 2 1 3 1 1 2 8 1 2 3 1 2 3 1 1 8 1 1 4 1 1 3 1 1 0 1 0 1 9 5 82 70 64 64 62
ħródło: Opracowanie własne. 4. Analiza zbiorów kandydujących
W celu doboru najlepszego zbioru kandydującego do redukcji kryteriów oceny, najpierw zba-dano skutecznoĞü klasyfikacji przypadków za pomocą zbioru zawierającego komplet kryteriów. PosłuĪono siĊ tutaj algorytmem tworzenia zaawansowanych drzew klasyfikacyjnych CART z miarą G kwadrat. Proces klasyfikacji wykorzystywał dodatkowo szacowane a-priori prawdopo-dobieĔstwa przynaleĪnoĞci do okreĞlonej klasy decyzyjnej zaleĪnie od licznoĞci klasy w zbiorze treningowym [11]. StabilizacjĊ wyników klasyfikacji uzyskano poprzez wykonanie 10-krotnej walidacji krzyĪowej [12]. NastĊpnie tą samą metodą testowano przypadki za pomocą zbiorów ze zredukowaną iloĞcią kryteriów. Jako pierwsze dwa warianty zostały przetestowane redukty znaczone z wykorzystaniem macierzy rozróĪnialnoĞci. NastĊpnie przebadano kolejne zbiory wy-znaczone na podstawie rankingu waĪnoĞci kryteriów Chi kwadrat. Wyniki klasyfikacji przeprowa-dzonych z wykorzystaniem róĪnej liczby kryteriów za pomocą 10-krotnej walidacji krzyĪowej znajdują siĊ w tabeli 4. Rysunek 2 obrazuje zmiany wyników klasyfikacji dla poszczególnych klas zaleĪnie od liczby wykorzystanych kryteriów.
Tabela 4. Wyniki klasyfikacji z wykorzystaniem róĪnej liczby kryteriów
IloĞü kryte-riów
% poprawnych klasyfikacji wszystkie
klasy klasa 2 klasa 3 klasa 4 klasa 5 klasa 6 klasa 7
17 (RS dl) 73,33% 71,43% 75,86% 68,63% 66,67% 83,82% 75,00% 16 (RS dg) 70,98% 42,86% 93,10% 33,33% 87,65% 75,00% 75,00% 22 73,73% 71,43% 82,76% 76,47% 60,49% 83,82% 75,00% 21 73,73% 71,43% 82,76% 76,47% 60,49% 83,82% 75,00% 20 73,73% 71,43% 79,31% 68,63% 66,67% 83,82% 75,00% 19 73,33% 71,43% 75,86% 68,63% 66,67% 83,82% 75,00% 18 76,86% 57,14% 72,41% 74,51% 74,07% 88,24% 75,00% 17 76,86% 57,14% 72,41% 74,51% 74,07% 88,24% 75,00% 16 74,51% 57,14% 65,52% 70,59% 71,60% 88,24% 75,00% 15 74,51% 57,14% 65,52% 70,59% 71,60% 88,24% 75,00% 14 74,51% 57,14% 65,52% 70,59% 71,60% 88,24% 75,00% 13 74,51% 57,14% 65,52% 70,59% 71,60% 88,24% 75,00% 12 74,12% 57,14% 62,07% 76,47% 74,07% 80,88% 75,00% 11 71,76% 50,00% 68,97% 49,02% 76,54% 88,24% 75,00% 10 69,02% 50,00% 68,97% 54,90% 75,31% 75,00% 75,00% 9 67,84% 78,57% 75,86% 37,25% 75,31% 75,00% 75,00% 8 67,45% 78,57% 75,86% 41,18% 75,31% 70,59% 75,00% 7 67,45% 78,57% 65,52% 33,33% 79,01% 76,47% 75,00% 6 59,22% 78,57% 65,52% 25,49% 53,09% 83,82% 66,67% 5 57,65% 42,86% 62,07% 29,41% 53,09% 83,82% 66,67% 4 56,08% 35,71% 44,83% 17,65% 60,49% 86,76% 66,67% 3 53,73% 42,86% 37,93% 19,61% 53,09% 86,76% 66,67% 2 50,59% 42,86% 27,59% 43,14% 37,04% 77,94% 83,33% 1 45,10% 0,00% 17,24% 43,14% 35,80% 86,76% 0,00%
ħródło: Opracowanie własne.
Analizując tabelĊ 4 i rysunek 2 stwierdziü moĪna, Īe najbardziej optymalnymi zbiorami kryte-riów w badanym przypadku wydają siĊ byü:
– 17 kryteriów uzyskanych jako redukt lokalny metodą zbiorów przybliĪonych, – 17 kryteriów uzyskanych w oparciu o statystykĊ Chi kwadrat,
– 12 kryteriów uzyskanych w oparciu o statystykĊ Chi kwadrat.
Zespół kryteriów uzyskany metodą zbiorów przybliĪonych charakteryzuje siĊ najbardziej wyrów-nanym poziomem poprawnych klasyfikacji we wszystkich klasach decyzyjnych. Poziom popraw-nych klasyfikacji dla kaĪdej klasy jest równieĪ bardzo zbliĪony do łącznego wyniku poprawpopraw-nych przyporządkowaĔ. NaleĪy zaznaczyü, Īe takie same wyniki uzyskano dla zbioru 19 kryteriów uzyskanych z wykorzystaniem statystyki Chi kwadrat. Widaü wiĊc, Īe w tym przypadku zastoso-wanie zbiorów przybliĪonych pozwoliło wyeliminowaü dwa kryteria przy zachowaniu takiej samej liczby poprawnych klasyfikacji dla kaĪdej z klas. Zbiór 17 kryteriów wyznaczony z wykorzysta-niem statystyki Chi kwadrat posiada łączny poziom poprawnych klasyfikacji wyĪszy od łącznego poziomu uzyskanego dla 22 kryteriów.
0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% 17 (R S dl ) 16 (R S dg) 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 iloĞü kryteriów p o p ra w n e k la s y fi k a c je % wszystkie klasy % klasa 2 % klasa 3 % klasa 4 % klasa 5 % klasa 6 % klasa 7
Rysunek 2. Zmiany wyników klasyfikacji zaleĪnie od liczby wykorzystanych kryteriów ħródło: Opracowanie własne.
Ponadto znacząco gorzej od 22 kryteriów klasyfikuje on tylko klasĊ 2. KlasĊ 3 klasyfikuje on na poziomie niewiele niĪszym niĪ standardowy zbiór kryteriów, a pozostałe klasy decyzyjne osią-gają wyĪszy poziom poprawnych przyporządkowaĔ. Zbiór 12 kryteriów jest najmniej licznym zbiorem posiadającym bardzo zbliĪony do zbioru standardowego łączny wynik klasyfikacji. Jed-nak widoczne są tutaj znaczne odchylenia wyników klasyfikacji do klasy 2 i 3. Zasadniczo to od decydenta korzystającego z metody zaleĪy, który zbiór zredukowanych kryteriów wybierze. JeĪeli istotny jest jak najwyĪszy poziom klasyfikacji w kaĪdej z klas to najlepszym wyborem wydaje siĊ byü zbiór kryteriów uzyskany w oparciu o zbiory przybliĪone, jeĪeli natomiast istotny jest ogólny poziom klasyfikacji, to naleĪy dokonaü wyboru pomiĊdzy zbiorami 17 i 12 kryteriów uzyskanych z uĪyciem statystyki Chi kwadrat.
5. Weryfikacja wyników
W celu weryfikacji uzyskanych wyników przeprowadzono analogiczną do punktu 4 analizĊ, w której kryteria redukowane były według kolejnoĞci uzyskanej na podstawie ich wag przypisa-nych przez ankietowaprzypisa-nych. Ranking waĪnoĞci kryteriów wyznaczony przez respondentów zawarto w tabeli 5.
Tabela 5. Ranking waĪnoĞci kryteriów wg ankietowanych Kryterium 11 10 9 3 18 4 12 17 2 13 1 14 22 15 8 19 7 6 5 16 21 20 ĝrednia waga 6.4 9 6 .4 3 6 .3 9 6 .1 6 6 .1 6 .0 8 6 .0 5 5 .7 7 5 .7 6 5 .7 2 5 .7 5 .7 5 .4 8 5 .3 6 5 .0 9 4 .9 8 4 .9 2 4 .8 5 4 .8 3 4 .7 7 3 .9 3 3 .3 9
ħródło: Opracowanie własne.
Wyniki klasyfikacji przeprowadzonych z wykorzystaniem róĪnej liczby kryteriów (zgodnie z ich kolejnoĞcią ustaloną na podstawie wag przyznanych przez uĪytkowników) umieszczony jest w tabeli 6. StabilizacjĊ wyników uzyskano przez wykonanie 10-krotnej walidacji krzyĪowej.
Tabela 6. Wyniki klasyfikacji z wykorzystaniem róĪnej liczby kryteriów
IloĞü kryteriów
% poprawnych klasyfikacji wszystkie
klasy klasa 2 klasa 3 klasa 4 klasa 5 klasa 6 klasa 7
22 73,73% 71,43% 82,76% 76,47% 60,49% 83,82% 75,00% 21 76,86% 57,14% 75,86% 82,35% 67,90% 88,24% 75,00% 20 76,86% 57,14% 72,41% 74,51% 74,07% 88,24% 75,00% 19 73,33% 57,14% 58,62% 82,35% 81,48% 66,18% 75,00% 18 69,80% 64,29% 72,41% 41,18% 71,60% 88,24% 75,00% 17 69,80% 64,29% 72,41% 41,18% 71,60% 88,24% 75,00% 16 69,80% 64,29% 72,41% 41,18% 71,60% 88,24% 75,00% 15 69,02% 64,29% 72,41% 41,18% 85,19% 69,12% 75,00% 14 70,20% 57,14% 55,17% 66,67% 70,37% 82,35% 66,67% 13 68,63% 57,14% 55,17% 66,67% 72,84% 73,53% 66,67% 12 68,63% 57,14% 55,17% 66,67% 72,84% 73,53% 66,67% 11 59,61% 42,86% 41,38% 80,39% 41,98% 75,00% 66,67% 10 59,61% 42,86% 41,38% 80,39% 41,98% 75,00% 66,67% 9 60,39% 42,86% 41,38% 76,47% 49,38% 76,47% 41,67% 8 59,22% 42,86% 48,28% 58,82% 49,38% 82,35% 41,67% 7 63,92% 42,86% 58,62% 74,51% 67,90% 61,76% 41,67% 6 63,92% 42,86% 65,52% 64,71% 71,60% 61,76% 41,67% 5 61,96% 42,86% 34,48% 72,55% 71,60% 61,76% 41,67% 4 56,86% 42,86% 58,62% 54,90% 50,62% 77,94% 0,00% 3 50,59% 0,00% 68,97% 50,98% 56,79% 54,41% 0,00% 2 47,06% 0,00% 41,38% 47,06% 67,90% 42,65% 0,00% 1 40,39% 0,00% 0,00% 56,86% 59,26% 38,24% 0,00%
Rysunek 3 przedstawia zmiany wyników klasyfikacji dla poszczególnych klas zaleĪnie od liczby wykorzystanych kryteriów. 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 iloĞü kryteriów p o p ra w n e k la s y fi k a c je % wszystkie klasy % klasa 2 % klasa 3 % klasa 4 % klasa 5 % klasa 6 % klasa 7
Rysunek 3. Zmiany wyników klasyfikacji zaleĪnie od liczby wykorzystanych kryteriów ħródło: Opracowanie własne.
Porównując wyniki klasyfikacji do tych, które zostały przedstawione w punkcie 4 widaü, Īe juĪ przy 18 kryteriach znacznie poniĪej 50% spada poprawnoĞü klasyfikacji dla klasy 4. Akcepto-walne wyniki dla wszystkich klas decyzyjnych pojawiają siĊ ponownie przy 14 kryteriach, ale wykorzystanie mniejszej od 12 iloĞci kryteriów jest nieakceptowalne ze wzglĊdu na bardzo duĪy błąd klasyfikacji do klas 2, 3 i 5. Tymczasem przy metodzie doboru kryteriów opartej na statystyce Chi kwadrat wzglĊdnie akceptowalne wyniki uzyskuje siĊ jeszcze dla 11 i 10 wykorzystanych kryteriów. Ogólne wyniki klasyfikacji dla trzech zbadanych metod doboru istotnych predyktorów umieszczono na rysunku 4.
Z analizy rysunku 4 wynika, Īe ranking waĪnoĞci kryteriów stworzony z pomocą uĪytkowni-ków ogólnie rzecz ujmując daje gorsze wyniki po eliminacji kolejnych kryteriów niĪ ranking wy-generowany z uĪyciem statystyki Chi kwadrat. Pozwolił on nieco lepiej wytypowaü dwa pierwsze eliminowane kryteria. Jednak w najbardziej istotnych przedziałach licznoĞci kryteriów, tj. od 17 do 10 kryteriów, duĪo lepsze wartoĞci moĪna uzyskaü eliminując wskaĨniki jakoĞci według rankingu Chi kwadrat. Z kolei najbardziej stabilne wyniki klasyfikacji dał 17 elementowy redukt utworzony z wykorzystaniem zbiorów przybliĪonych.
0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 iloĞü kryteriów p o p ra w n e k la s y fi k a c je wg uĪytkowników Chi kwadrat RS
Rysunek 4. Wyniki klasyfikacji dla trzech zbadanych metod doboru kryteriów oceny ħródło: Opracowanie własne.
6. Wnioski
W artykule poruszono problem wielowymiarowoĞci oceny jakoĞci serwisów internetowych. Eksperci oceniający serwis nie powinni byü obciąĪani problemem doboru kryteriów ze wzglĊdu na to, Īe moĪe odciągnąü to ich uwagĊ od właĞciwej oceny witryn. W związku z tym podjĊto próbĊ sformułowania zarysu metodyki wspomagającej wiarygodny dobór kryteriów istotnych przy oce-nie jakoĞci serwisów jednego typu. Proponowana metodyka została przedstawiona na przykładzie redukcji kryteriów oceny stosowanych w modelu eQual.
W wyniku przeprowadzonych badaĔ stwierdziü naleĪy, Īe redukcja kryteriów jakoĞci witryn informacyjnych nie zmienia znacząco uzyskiwanych wyników, aĪ do osiągniĊcia pewnego „punk-tu ciĊĪkoĞci”. Punktem tym w badanym przypadku, zaleĪnie od oczekiwaĔ decydenta, moĪe byü liczba 19, 17 bądĨ 12 wykorzystanych kryteriów oceny. W badanym przypadku najbardziej zasad-na jest redukcja początkowego zbioru 22 kryteriów właĞnie do tych liczebnoĞci. Okazuje siĊ, Īe uszczuplenie wymiarów jakoĞci na podstawie reduktu wyznaczonego ze zbiorów przybliĪonych, w pewnych okolicznoĞciach moĪe daü lepsze efekty w porównaniu z minimalizacją licznoĞci opar-tą na statystyce Chi kwadrat. Niestety wadą reduktów w teorii zbiorów przybliĪonych jest fakt, Īe są one „sztywne”, tzn. trudno jest wpływaü na licznoĞü atrybutów w nich zawartych.
Wyniki redukcji predykatów, które przeprowadzono w oparciu o statystyki Chi kwadrat i zbiory przybliĪone, porównano z wynikami redukcji uzyskanymi na podstawie wag przypisanych poszczególnym kryteriom przez uĪytkowników. W efekcie porównania stwierdziü naleĪy, Īe
zbio-ry redukcji uzyskane z wykorzystaniem statystyki Chi kwadrat i zbiorów przybliĪonych dają lep-sze wyniki klasyfikacji od zbiorów redukcji utworzonych z pomocą uĪytkowników serwisów internetowych. MoĪna z tego wnioskowaü, Īe preferencje uĪytkowników serwisów WWW są w pewnym stopniu niejawne. Mianowicie jawnie deklarują oni, Īe istotne dla nich są pewne okre-Ğlone cechy witryn internetowych, ale tak na prawdĊ przy ocenie jakoĞci serwisów podĞwiadomie kierują siĊ nieco innymi kryteriami niĪ te, które zadeklarowali jako istotne.
Bibliografia
[1] Ahn T., Ryu S., Han I., The impact of Web quality and playfulness on user acceptance of online retailing. Information & Management, No. 44, 2007, s.263–275.
[2] Barnes S.J., Vidgen R.T., Data triangulation and web quality metrics: A case study in e-government. Information & Management, No. 43, 2006, s.767–777.
[3] Barnes S.J., Vidgen R.T., The eQual Approach to the Assessment of E-Commerce Quality: A Longitudinal Study of Internet Bookstores. Web Engineering: Principles and Techniques, Idea Group Publishing, 2005, s. 161–181.
[4] Barnes S.J., Vidgen R.T., WebQual: An Exploration of Web Site Quality. Proceedings of the Eighth European Conference on Information Systems, 2000.
[5] Hauschild T., Jentschel M., Comparision of maximum likelihood estimation and chi-square statistics applied to counting experiments. Nuclear Instruments and Methods in Physics Rese-arch, No. 457 A, 2001, s. 384–401.
[6] Netcraft.com: December 2010 Web Server Survey, [online]. [dostĊp: grudzieĔ 2010]. Do-stĊpny w Internecie: http://news.netcraft.com/archives/2010/12/01/december-2010-web-server-survey.html
[7] Parasuraman A., Zeithaml V.A., Malhotra A., E-S-QUAL A Multiple-Item Scale for As-sessing Electronic Service Quality. Journal of Service Research, Vol. 7, No. 10, 2005, s.1–21. [8] Pawlak Z., Skowron A., Rough sets and Boolean reasoning. Information Sciences, No. 177,
2007, s. 41–73.
[9] Raport o stanie rynku telekomunikacyjnego w Polsce w 2009 roku [online]. UKE, czerwiec 2010, s.4, [dostĊp: grudzieĔ 2010]. DostĊpny w Internecie: http://www.uke.gov.pl/ _gAllery/32/77/32772/Raport_rynek_telekomunikacyjny_2009_zm.pdf
[10] Rynek telekomunikacyjny w Polsce w 2009 roku [online]. Raport z badania konsumenckiego przeprowadzonego przez PBS DGA sp. z o.o, grudzieĔ 2009, s.130, [dostĊp: grudzieĔ 2010]. DostĊpny w Internecie: https://www.uke.gov.pl/_gAllery/25/89/25897/ Ry-nek_telekomunikacyjny_w_Polsce_2009_KI.pdf
[11] Waheed T., Bonnell R.B., Prasher S.O., Paulet E., Measuring performance in precision agri-culture: CART-A decision tree approach. Agricultural Water Management, No. 84, 2006, 173–185.
[12] Weiss S.M., Zhang T., Performance Analysis and Evaluation. W: The Handbook od Data Mining. Pr. zb. Pod red.: Nong Y., Lawrence Erlbaum Associates, New Jersey, 2003, s. 425– 440.
[13] Ziemba P., BudziĔski R., Ontologies in integration of websites evaluation methods. Informa-tion Systems In Management, SGGW, 2010.
SELECTION OF CRITERIA FOR THE EVALUATION OF INFORMATION SERVICES IN WEB PORTALS
Summary
The article is dealing with the selection of criteria which are essential at the quality evaluation of information portals. Ranking of criteria was generated with us-ing statistical tools. This rankus-ing is takus-ing into account the degree, in which every of criteria is explaining the complete evaluation to the quality of portals. In next step the criteria were being removed and an influence of this working on the correctness of the evaluation was being examined. The ranking gained with using statistics was compared with the ranking of criteria formulated by users. Conclusions concerning conducted examinations are finishing the article.
Keywords: criteria of the websites quality, eQual, „curse of dimensionality”, Data Mining
Paweł Ziemba Wydział Informatyki
Zachodniopomorski Uniwersytet Technologiczny Ul. ĩołnierska 49, 71-210 Szczecin
