KAMILA GRZ KO
Zachodniopomorski Uniwersytet Technologiczny
Streszczenie
W artykule przedstawiono obszary wspomagania decyzji w marketingu interak-tywnym z wykorzystaniem serwisów wyszukiwawczych oraz wybrane metody ekstrak-cji wiedzy. Zaproponowano podstawy metodyczne budowy wieloagentowego systemu wspomagania decyzji w planowaniu kampanii reklamowych z udziałem metod text mining, przedstawiono model systemu oraz przeprowadzono badania testujce. Słowa kluczowe: serwisy wyszukiwawcze, text mining, ekstrakcja wiedzy
1. Wprowadzenie
Internet jest zbiorem dokumentów hipertekstowych i umoliwia dotarcie do wielu zasobów in-formacyjnych i usług, jednak znalezienie treci dopasowanych do preferencji odbiorcy czsto bywa utrudnione. W celu usprawnienia procesu przetwarzania danych i zwikszenia jego efektywnoci wykorzystuje si aplikacje i serwisy wyszukiwawcze. Mechanizm aplikacji wyszukiwarki jest naj-czciej zintegrowany z witryn za porednictwem narzdzi bezporednich lub otwartego interfejsu API, który daje moliwo korzystania z aplikacji zewntrznych i przeszukiwania zasobów on-line [6]. Element składowy narzdzi wyszukiwawczych stanowi repozytorium danych powizane z baz danych, roboty indeksujce oraz procesor zapyta [1]. Pocztkowo wyszukiwarki słuyły jedynie do przetwarzania dokumentów tekstowych, aktualnie wiele z nich umoliwia wyszukiwanie plików graficznych, muzycznych, adresów e-mailowych, czy artykułów z grup newsowych. Wykorzystuje si je coraz czciej do poszukiwania informacji z rónych, niszowych obszarów, w tym take in-formacji handlowych. Obecnie s najczciej wykorzystywanymi serwisami w Internecie. Według bada przeprowadzonych przez Megapanel PBI/Gemius z wyszukiwarek aktualnie korzysta w Pol-sce ponad 8 mln internautów [7]. Rynek wyszukiwarek wci si zmienia. Pojawiaj si nowe kon-cepcje ich wykorzystania. Wraz ze wzrostem roli wyszukiwarek w Internecie, zwiksza si równie ich rola w marketingu elektronicznym.
2. Marketing w serwisach wyszukiwawczych
Popularno wyszukiwarek internetowych zaley m.in. od tego jak dokładne rezultaty s przez nie generowane. Jednymi z najpopularniejszych wyszukiwarek w Polsce s obecnie: Google, Net-sprint oraz Onet. Algorytmy wyszukiwarek s wci udoskonalane i stanowi zbiór reguł steruj-cych oprogramowaniem, umoliwiaj one przedstawienie wyników w odpowiednim rankingu [2]. U podstaw systemów wyszukiwawczych le algorytmy indeksujce, które uwzgldniaj wiele czynników branych pod uwag w trakcie wyznaczania rankingu. Najczciej s to: liczba linków prowadzcych do strony oraz ich jako , słowa kluczowe, kod i tre strony oraz popularno
do-meny. Serwisy wyszukiwawcze nie ujawniaj najczciej algorytmów indeksowania, eby utrud-nia celow optymalizacj stron pod ich ktem. Jedynie na podstawie bada mona dowiedzie si, co wpływa na pozycj w rankingu wyszukiwania. Najpopularniejsza w Polsce wyszukiwarka Goo-gle w swoim algorytmie bierze pod uwag szereg czynników [15], z których kady ma okrelon wag:
Ranking = K*0.3 + D*0.25 + L*0.25 + U*0.1 + J*0.1 + R
(1) gdzie K - słowa kluczowe, D - siła domeny, L - wynik linków przychodzcych, U - wpływ zacho-wa uytkowników, J - wynik jakociowy, R - automatycznie i rcznie nadawane punkty karne lub inkrementacja indeksu. Istotnym elementem algorytmu wyszukiwania stosowanego przez Google jest algorytm Page Rank, który prowadzi ewaluacj stron internetowych. Jest on tym wyszy, im wiksza liczba wartociowych stron (z jak najmniejsz liczb odnoników do innych stron) zawiera do niej odsyłacze. Page Rank przyjmuje wartoci z przedziału (0,1). Warto PR jest przypisana do strony, a nie do całego serwisu i wyznacza si go według wzoru:
))
(
/
)
(
...
)
(
/
)
(
(
)
1
(
)
(
A
d
d
PR
t
1C
t
1PR
t
nC
t
nPR
=
−
+
+
+
(2)gdzie: d – współczynnik tłumienia d 0.85, t1…tn – strony zawierajce odnoniki do strony A, C – liczba odnoników ze strony [1]. Algorytm ten podlega cigłym modyfikacjom i wiele wyszuki-warek przyjmuje podobne rozwizania. Inny algorytm pod nazw Traffic Index zastosowano w wyszukiwarce NetSprint. W celu obiektywnej oceny stron wprowadzono system uwzgldniajcy szereg czynników umoliwiajcych dostarczenie zobiektywizowanych wyników. W algorytmie mniej istotna jest analiza linków, wiksz wag przypisuje si natomiast badaniu ruchu na stronie. Algorytm jest stworzony tak, aby utrudnione było manipulowanie wynikami bez faktycznej zmiany wartoci merytorycznej serwisu. NetSprint uwzgldnia w algorytmie badania przeprowadzone przez Megapanel PBI/Gemius. Dane z badania pochodzce od internautów umoliwiaj dokładn ocen wartoci serwisów. Internauci uczestnicz w panelu i dostarczane przez nich informacje sta-nowi zasilenia systemu [15]. Na Rys. 1 zaprezentowano wpływ algorytmu na wyniki wyszukiwa. Rosnca popularno serwisów wyszukiwawczych sprawiła, e przedsibiorstwa zaczły wy-korzystywa je w celu dotarcia z ofert do grupy docelowej. W Stanach Zjednoczonych wydatki na promocj w wyszukiwarkach stanowi 40% wydatków na reklam on-line. Przedsibiorstwa pro-mujce si w wyszukiwarkach mog osign szereg korzyci. Marketing w wyszukiwarkach, czyli SEM (ang. Search Engine Marketing) poprawia widoczno serwisu, a tym samym ułatwia dostp do niego. Firmy prowadzce działania marketingowe w serwisach wyszukiwawczych maj na celu: zwikszenie ruchu na stronie, zwikszenie sprzeday produktów i usług, zwikszenie wiadomoci marki, obnienie kosztów reklamy, uzyskanie przewagi nad konkurencj, uzyskanie wikszego uznania w oczach klientów, cenicych sobie innowacyjne firmy [12]. Internauci trafiaj poprzez wyszukiwark do serwisu internetowego wiadomie, poniewa szukaj witryny o takiej tematyce. Marketing prowadzony za porednictwem wyszukiwarek powoduje, e grupa odwiedzajcych jest najbardziej wyselekcjonowana [14]. Jednym z obszarów aktywnej działalnoci marketerów jest pozycjonowanie i zapewnienie wysokiej pozycji na listach wyszukiwania.
JakoĞü serwisu Liczba uĪytkowników Załadowania stron LojalnoĞü uĪytkowników Analiza odnoĞników Powiązania wewnĊtrzne WartoĞü powiązaĔ Kategoria serwisu Inne parametry Efektywna wartoĞü TRAFFIC INDEX TreĞü serwisu WWW Licznik fraz OdnoĞniki do fraz Inne parametry Wyniki przetwarzania
Rys. 1. Czynniki wpływajce na wyniki wyszukiwania ( ródło: [4])
W zalenoci od przyjtej strategii oraz dostpnych zasobów alokowanych na działania mar-ketingowe stosuje si pozycjonowanie płatne (linki sponsorowane, boksy reklamowe) lub pozycjo-nowanie organiczne (pozycjopozycjo-nowanie organiczne zwane jest równie pozycjopozycjo-nowaniem natural-nym) [3]. W przypadku pozycjonowania organicznego strona jest indeksowana przez roboty indek-sujce. Na podstawie algorytmu stosowanego przez wyszukiwark w dopowiedzi na wprowadzone słowo kluczowe strona jest lokalizowana w rankingu na pozycji odpowiadajcej jej zawartoci i ocenie merytorycznej. Jak podaje wiele ródeł, uytkownicy bardzo czsto przegldaj jedynie pierwsze wyniki wyszukiwania. Dlatego firmy angauj due zasoby aby ich strony były zoptyma-lizowane jak najlepiej pod ktem najpopularniejszych wyszukiwarek z udziałem techniki optymali-zacji SEO (ang. Search Engine Optimization) [9]. Pozycjonowanie stron WWW powinno uwzgldnia szereg czynników. Na sukces przy pozycjonowaniu wpływaj zarówno: komponent treci (słowa kluczowe, tytuł, tre , opisy). komponenty techniczne (domena, nazwa odnoników i plików, struktura strony, skrypty), popularno (link popularity, Page Rank, ruch na stronie). 3. Metody ekstrakcji wiedzy w serwisach wyszukiwawczych
Wraz z rozwojem Internetu zwiksza si liczba indeksowanych stron oraz szum informacyjny, który powoduje, ze coraz trudniej odnale interesujce i wartociowe zasoby. Obecne wyszuki-warki wykorzystuj coraz bardziej inteligentne algorytmy i charakteryzuj si tym, e potrafi sa-modzielnie pozyskiwa dane z otoczenia i na ich podstawie generowa wiedz oraz wykorzysty-wa j do rozwizywania postawionych im zada [11]. Proces KDD (ang. knowledge discovery in databases) jest procesem złoonym, którego najistotniejszym elementem jest eksploracja danych podczas której wykrywa si zalenoci pomidzy danymi. Wiedza wydobyta w ten sposób przyj-muje posta prawidłowoci, reguł, tendencji, czy korelacji z uwzgldnieniem stopnia wanoci atrybutów. Jedn z metod czciej stosowanych w eksploracji wiedzy w wyszukiwarkach jest gru-powanie. Polega na podziale obiektów na grupy (klastry) tak, aby podobiestwo midzy elemen-tami nalecymi do danej grupy było jak najwiksze, natomiast midzy elemenelemen-tami nalecymi do innych grup było mniejsze, ni w ich obrbie. Algorytmy maj za zadanie znalezienie reguły gru-pujcej. Na wejciu otrzymuj opisane atrybutami obiekty oraz kryteria podobiestwa wewntrz
i na zewntrz grupy [16]. Klasteryzacja jest typem uczenia bez nadzoru - nie ma wstpnie zdefi-niowanych klas. Metoda grupowania przeznaczona jest dla duej iloci danych, jest niewraliwa na kolejno wprowadzania danych i cechuje j złoono czasowa i pamiciowa.
Algorytmy klasteryzacji maj szerokie zastosowanie w wyszukiwarkach internetowych i stosuje si je do automatyzacji procesów grupowania dokumentów tekstowych, streszczania ich, usuwania jednakowych stron, usuwania słów uznanych za mało znaczce, wydobywania kluczo-wych struktur z wyrazów, konstruowania tezaurusów, grupowania stron w odpowiedzi na zapyta-nie. Algorytmy grupowania mog przyjmowa posta drzew decyzyjnych, sieci bayesowskich, neu-ronowych i powinny cechowa si du wydajno przetwarzania danych oraz generowaniem kla-strów o uytecznej dla odbiorcy zawartoci [11].
Drugim zasadniczym elementem struktur wyszukiwarek s algorytmy analizy tekstu. Eksplora-cja danych zorientowana na przetwarzanie treci z serwisów wykorzystuje algorytmy tekst mining. S to metody słuce do wydobywania danych z tekstu oraz ich póniejszego przetwarzania. K. Wcel definiuje tekst mining jako: „odkrywanie ukrytych wzorców i zalenoci w bardzo du-ych kolekcjach tekstowych”. Dane podlegajce eksploracji przechowywane s w zbiorach doku-mentów i tekstowych bazach danych [11]. Metoda polega na znalezieniu fraz kluczowych i kon-wersji ich na dane numeryczne w oparciu o wzorce. W zbiorze wyszukuje si powizania midzy nimi i łczy tekst w celu uzyskania wartociowych informacji. Wyniki s analizowane i na ich pod-stawie podejmowane s decyzje. W systemach wyszukiwania informacji stosuje si czsto 2 miary oceny. Pierwsz z nich jest miara dokładnoci okrelajca stopie dopasowania dokumentów do zapytania: | ] [Re | | ] Re [Re | trieved trieved levant P= (3) Drug miar jest miara kompletnoci, okrela jaka cz dokumentów pasujcych do zapytania została odnaleziona: | ] [Re | | ] Re [Re | lewant trieved levant P= (4)
Gdzie: Retrieved – zbiór odnalezionych dokumentów, Relevant – zbiór dokumentów pasujcych do zapytania. Najczstsze zastosowania tekst miningu to m. in. odnalezienie i segmentacja podob-nych dokumentów, tworzenie rankingów dokumentów, tworzenie streszcze dokumentów w tym równie obrazów i plików multimedialnych, pozyskiwanie danych osobowych, rozpoznawanie skrótowców [5]. Zalet metody jest moliwo operowania na danych nieustruktualizowanych. Umoliwia to efektywniejsze zbieranie i zastosowanie wiedzy zawartej w dokumentach teksto-wych, bez koniecznoci zastpowania zdezaktualizowanych informacji [16].
4. Model systemu wspomagania decyzji i badania testujące
Złoono algorytmów obliczeniowych i szeroki zasig kampanii marketingowych, powodu-je, e trudno optymalizowa kampanie reklamowe bez narzdzi wspomagajcych. W artykule pro-ponuje si konstrukcje systemu wspomagania decyzji DSS (ang. decision support systems), które-go celem jest wsparcie działa marketinktóre-gowych i pozycjonowania w wyszukiwarkach. Ogólna
koncepcja polega wykorzystaniu zbioru agentów, których zadaniem bdzie analiza wyników wy-szukiwania oraz analiza kodu stron znajdujcych si na rónych pozycjach w rankingu w odpowie-dzi na prowadzone słowo kluczowe. Uzyskane dane bd zapisane w bazie danych, nastpnie agenci wydobd informacje stosujc przydatne narzdzia analityczne i metody tekst miningu, przydziel dokumenty do klastrów i zwróc informacje majce ułatwi zaprojektowanie serwisu, w taki sposób, aby był zoptymalizowany pod ktem wyszukiwarek. W metodzie klasteryzacji agent wykorzysta algorytm k-means (k-rodków). Do obliczania rozbienoci pomidzy dowolnym punk-tem, a odpowiadajcym mu rodkiem wykorzystuje si funkcj odległoci (zazwyczaj norm L2). Dla tej normy suma kwadratów pomidzy punktami, a odpowiadajcymi im rodkami cikoci równa si całkowitej wewntrz klastrowej wariancji [10].
¦
=¦
∈−
=
j i C x i j k jx
C
C
E
(
)
1...||
||
(5)Dla potrzeb systemu utworzono cztery rodzaje agentów. Agenci bd mie okrelone funkcje i b-d odpowiada za róne obszary działania w systemie. MA (ang. management agent) przejmuje nadzór nad prac platformy oraz tworzenie i kompleksowe zarzdzanie agentami, SA (ang. search agent) Analizowanie kodu stron znajdujcych si w wynikach wyszukiwarek i ich linków zwrot-nych, CA (ang. clusterisation agent) klasteryzacja dokumentów, IA (ang. interface agent). Współ-praca z uytkownikiem, pobieranie od niego danych. System składa si z wyodrbnionych podsys-temów, które przedstawiono na Rys. 2. Moduł IP odpowiada za przetwarzanie informacji (ang. information processing). Funkcj tego modułu jest pobieranie informacji ze ródeł danych. Pobra-ne i zinterpretowaPobra-ne daPobra-ne (daPobra-ne zwizaPobra-ne z pozycj stron WWW i klasteryzacj dokumentów) trafiaj do podsystemu przechowywania informacji. W module zaimplementowani s agenci AP i AK. Moduł IS (ang. information storage) odpowiada za przechowywanie informacji dotyczcych zarówno uytkowników, słów kluczowych, agentów i ich działa. Moduł IM (ang. information management) zorientowany jest na zarzdzanie kompletnoci i aktualnoci danych. Gdy system stwierdzi, e naley odwiey dane, uruchamia proces pobierania informacji. W systemie wykry-wane s niekompletne opisy i uruchamia si proces uzupełniania ich. Moduł ID (ang. information delivery) odpowiada za wykonywanie zapyta, a nastpnie prezentacja wyników.
Repozytorium Internet Zarządzanie informacją Pi IR DK SD Grupowanie Wizualizacja
AK
Parametry agentaLista zadaĔ Filtrowanie
Obliczenia
Zadania Przepływ informacji
Przetwarzanie dokumentów Wyniki przetwarzania System DSS UĪytkownicy
Rys. 2. Model działania systemu wspomagania decyzji ródło: opracowanie własne
W metodach text mining wykorzystano agenta klasteryzacji. Dzieli on dokumenty na grupy, tak aby mona było stwierdzi , czy struktura stron ma wpływ na wyniki wyszukiwania. AK korzysta w tym celu z aplikacji Text Garden i pobiera z bazy zbiór dokumentów. Dokonuje konwersji plików .html do plików .txt. Nastpnie pliki z kadej z wyszukiwarek konwertuje do pliku .bow (ang. bag of words). Plików .bow uywa, aby podzieli dokumenty na grupy. Do klasteryzacji dokumentów wykorzystuje algorytm k – rodków. Nastpnie dokonuje jest wizualizacji wyników. W pierwszej kolejnoci dokonuje klasteryzacji dla dokumentów z wyszukiwarki Google. Badania przeprowa-dzono dla wyników wyszukiwania zbioru 12 dokumentów. S to strony z pozycji: 1, 5, 6, 9, 10, 15, 20, 25, 50, 90, 95, 100. Strony zostały dobrane tak aby zbada , czy wystpuj zalenoci w struk-turze majce wpływ na pozycj w wyszukiwarce. Wyniki przedstawione dla 2 klastrów. Jako przetwarzania dla 12 dokumentów Q=6.25262, MS = 0.521 (ang. mean similarity). W klasterze 0 uzyskano 9 dokumentów i miar MS = 0.469. Wartoci uzyskane dla poszczególnych dokumentów w klastrze 0 wynosz odpowiednio 90G: 0.603913, 25G: 0.568047, 10G: 0.565841, 20G: 0.494054, 50G: 0.452739, 15G: 0.435805, 6G: 0.421556, 100G: 0.359408, 95G: 0.317053. Kla-ster K1 obejmuje 3 dokumenty z MS=0.678 i odpowiednio 1G: 0.725187, 9G: 0.678475, 5G: 0.630543. Przy podziale na 5 klastrów uzyskano jako 8.67606: 0.723 oraz nastpujcy podział dokumentów: K0 MS=1.000 5G: 1, K1 MS=0.628 4 dokumenty i odpowiednio 25G: 0.779, 10G: 0.678, 6G: 0.600, 95G: 0.456. K2 i K3 obejmował równie 1dokument oraz K4 5 dokumentów z MS=0.632 i odpowiednio dla poszczególnych dokumentów 90G: 0.781, 1G: 0.703, 15G: 0.659, 20G: 0.532, 50G: 0.487.
Liczba klastrów 2 5 nr klastra 0 1 0 1 2 3 4 nr w rankingu 1 + + 5 + + 6 + + 9 + + 10 + + 15 + + 20 + + 25 + + 50 + + 90 + + 95 + + Liczba klastrów 2 5 nr klastra 0 1 0 1 2 3 4 nr w rankingu 1 + + 4 + + 5 + + 9 + + 10 + + 11 + + 25 + + 30 + + 45 + + 100 + + 105 + +
Tabela 1. Zestawienie rezultatów z 2 klasteryzacji dla Gogola ( ródło: obliczenia własne)
Tabela 2. Zestawienie rezultatów z 3 klasteryzacji dla Onetu ( ródło: obliczenia własne)
Przy podziale na 2 klastry wida wyranie, e istnieje zaleno midzy struktur stron, a wynikami wyszukiwania (Tabela 1). Osiem dokumentów z dalszych miejsc oraz jeden z pocztkowych pozycji w rankingu nale do tego samego klastra, natomiast dokumenty z pozycji pocztkowych nale do innego. Podobnej zalenoci, jednak mniej zauwaalnej mona dopatry-wa si przy podziale na 5 klastrów, gdzie strony o najbardziej zblionych pozycjach s zazwyczaj w jednym klastrze, bd w klastrach ssiadujcych. Równie w wyszukiwarce Onetu wida , e istnieje zaleno midzy struktur dokumentu, a pozycj w rankingu widoczna przy podziale na 2 klastry (Tabela 2). Kada z par, bd trójek dokumentów (4 i 5), (9,10,11), (20, 35, 40), (100, 105) znajduje si w obrbie jednego klastra. Przy podziale na 5 klastrów zaleno taka jest równie zauwaalna, jednak w mniejszym stopniu.
4. Podsumowanie
Rozwój cywilizacyjny wie si mocno z koniecznoci podejmowania wyzwa, formułowa-niem sposobów ich przezwyciania oraz stosowania rozwiza przy pomocy nowych technologii. Znaczcym wyzwaniem jest dla wielu przedsibiorstw jest uzyskanie przewagi konkurencyjnej równie w wynikach wyszukiwania. Coraz trudniej jest strukturalizowa due iloci potrzebnych informacji. Istotn czynnoci w systemie DSS jest wybór narzdzi do eksploracji danych, które pozwol wydoby z danych informacje słuce do generowania właciwych reguł i wniosków. Sys-tem wspomagania decyzji oparty na metodach text miningu ułatwia podjcie działa dotyczcych budowy struktury serwisu oraz doboru słów kluczowych w serwisie. Techniki eksploracji danych s istotnym elementem wspomagania decyzji, znajomo struktury serwisów wysoko pozycjono-wanych umoliwia osignicie wyszych pozycji w wynikach wyszukiwania, co zapewnia warto-ciowy ruch generowany z wyszukiwarek. Propozycje dalszych bada nad systemem wspomagania decyzji obejmuj ulepszenie algorytmów ekstrakcji wiedzy, w sposób dajcy dokładniejsze wyniki. Z pewnoci jest to proces czasochłonny i wymaga sporych nakładów jednak moe prowadzi do
lepszych efektów. Bibliografia
1. Benicewicz A., Nowakowski M., Webpositioning. Skuteczne pozycjonowanie w Internecie, czyli jak efektywnie wypromowa witryn, Wydawnictwo MIKOM, Warszawa 2005.
2. Berry M.W., Borne M. (2005): Understanding Search Engines: Mathematical Modeling and Text Retrieval, Society for industrial and applied mathematic
3. Brown B.C (2007) The Ultimate Guide to Search Engine Marketing: Pay Per Click Advertising
4. Dokumentacja systemu Netsprint (2000), http://netsprint.pl
5. Dunford T. (2008): Advanced Search Engine Optimization: A Logical Approach, American Creations of Maui
6. Frckiewicz E. (2006):, Marketing Internetowy, Wydawnictwo Naukowe PWN, Warszawa.
7. Gemius/PBI (2008): Megapanel, pbi.og.pl
8. Jones K.B. (2008): Search Engine Optimization: Your visual blueprint for effective Internet marketing, Wiley Publishing
9. Frontczak T., Marketing Internetowy w Wyszukiwarkach, Wydawnictwo Helion, Gliwice 2006.
10. Hand D., Mannila H., Smyth P.(2005): Eksploracja danych. WNT, Warszawa.
11. Kłopotek M. A., Inteligentne wyszukiwarki internetowe (2001): Akademicka Oficyna Wydawnicza EXIT, Warszawa.
12. Langville A. N., Meyer C.D. (2006): Google's PageRank and Beyond: The Science of Search Engine Rankings, Princeton University Press.
13. Netsprint (2008): Traffic index, Materiały informacyjne firmy NetSprint Sp. z .o.o., 2008 14. Mcleod A. (2007): Marketing Internetowy w praktyce, Internetowe Wydawnictwo Złote
Myli, Gliwice.
15. SoeMoz.org (2008): A little piece of google algorithm revealed, http://SoeMoz.org 16. Zanasi A., Brebbia C. A., Ebecken N. F. F. (2006): Data Mining VII: Data, Text And
ANALITYCAL METHODS FOR SEARCH ENGINES MARKETING
Summary
The article presents search engine marketing areas and algorithmic approach to online marketing campaigns optimization using the decision support methods in the search engines data analysis. It proposes a methodical basis for building a multi-agent decision support system using the text mining methods and presents model of such system and its further evaluation.
Jarosław Jankowski Kamila Grzko Wydział Informatyki
Zachodniopomorski Uniwersytet Technologiczny 71-210 Szczecin, ul. ołnierska 49
e-mail: jjankowski@wi.ps.pl kgrzasko@wi.ps.pl