Wyszukiwanie i Przetwarzanie Informacji WWW
Wprowadzenie
Marcin Sydow
Organizacja
Prowadz¡cy
dr Marcin Sydow
Mi¦dzykatedralne Laboratorium Web Mining oraz
Katedra Systemów Inteligentnych PJWSTK
pokój: 311
e-mail: msyd@poljap.edu.pl tel.: +48 22 58 44 571
Organizacja Kursu
15 spotka« (wykªady bez ¢wicze«) kolokwium ze znajomo±ci wykªadów sprawdzana obecno±¢ na zaj¦ciach
Zaliczenie - system punktowy (razem max. 55 p.): pisemny sprawdzian (max. 30)
okoªo 10 kartkówek na pocz. zaj¦¢ (10 x 2 = 20) obecno±¢/aktywno±¢ (ok. 5)
(opcjonalnie - dla bardzo ch¦tnych) projekt (?) Ocena wynikowa dana jest wzorem: bscore10 c
(wersja dla purystów: min(5, max(2, bscore 10 c)))
Organizacja
Wymagania
Na pozytywne zaliczenie wymagana jest:
1 caªo±¢ materiaªu wykªadów: ogólna orientacja 2 wybrane 1-3 wykªady: dobra znajomo±¢
Wykªady b¦d¡ na bardzo ró»ne tematy i o zró»nicowanym charakterze: pogl¡dowe (wi¦kszo±¢)
techniczno-in»ynierskie techniczno-algorytmiczne
Nie ma obowi¡zku zgª¦biania wszystkich szczegóªów - pozostawiony jest wybór
Zaªo»enia
Przydatna znajomo±¢ nast¦puj¡cych zagadnie«: wzgl¦dne obycie z WWW
umiej¦tno±¢ korzystania z wyszukiwarek rozumienie podstaw html, http (TIN) elementarna wiedza z zakresu informatyki
Organizacja
Jakich dziedzin dotyczy ten kurs?
1 wyszukiwanie informacji w korpusach dokumentów tekstowych (ang.
Information Retrieval, IR)
2 wyszukiwarki internetowe (ang. search engines, rownie»: WIR od ang.
Web Information Retrieval)
3 eksploracja danych w sieci WWW (ang. Web Mining WM) 4 wybrane zagadnienia ekonomiczne i spoªeczne dotycz¡ce WWW
Co celowo pomini¦to
Niektóre zagadnienia zaliczaj¡ si¦ do tematyki Web Mining ale pomini¦to je ze wzgl¦du na ograniczenia czasowe i fakt, »e wymagaj¡ odr¦bnego kursu (lub taki kurs ju» istnieje)
Nale»¡ do nich m.in.
Przetwarzanie J¦zyka Naturalnego (ang. NLP) Uczenie Maszynowe i Analiza Danych
Organizacja
Czego kurs nie dotyczy bezpo±rednio?
tzw. technologii internetowych (html, PHP, JavaScript, Flash, CGI, CMS, Web Services, ...)
budowy portali internetowych
programowania (w tym sieciowego) i IO protokoªów (HTTP, TCP/IP)
zagadnie« zwi¡zanych z Internetem (DNS, etc.) technologii XML, RDF, XPath, ...
mechanizmów dziaªania sieci P2P pozycjonowania stron
(cho¢ wi¦kszo±¢ powy»szych zagadnie« ma du»y zwi¡zek z niniejszym kursem)
Plan Kursu
WprowadzeniePodstawy wyszukiwania informacji (ang. IR) (indeks, zapytania, interfejs) Globalne wªasno±ci WWW i specy ka wyszukiwania w WWW (ang. WIR) Wyszukiwarki internetowe du»ej skali (z lotu ptaka)
Systemy zbierania dokumentów WWW (ang. crawler) Repozytoria
Przykªady konkretnych rozwi¡za« architektury wielkich wyszukiwarek Analiza struktury grafu hyperlinków WWW
Algorytm PageRank, jego wªa±ciwo±ci i warianty
HITS, inne algorytmy i zastosowania w sieciach spoªecznych Ekonomiczne podstawy wyszukiwarek: reklamy
Tematyka
Wyszukiwanie Informacji w uj¦ciu klasycznym
(ang. Information Retrieval)
wiedza - reprezentowana przez: korpus dokumentów potrzeba informacyjna - reprezentowana przez: zapytanie
system ma zwróci¢ dokumenty, które odpowiadaj¡ potrzebie informacyjnej Jest bardzo wiele wariantów tego systemu.
Dotyczy ±rodowisk o sªabej, zaszumionej lub niejednorodnej strukturze, takich jak WWW
Wyszukiwanie w bazach danych (gdzie jest dobrze zde niowana struktura) nie zalicza si¦ do tego rodzaju.
Rola Wyszukiwarek
Zadanie wyszukiwania w WWW speªniaj¡ dzisiaj gªównie wyszukiwarki internetowe- nale»¡ce do najcz¦±ciej u»ywanych narz¦dzi przez ludzi
(81% gobalnej populacji Internetu u»yªo przynajmniej raz wyszukiwarki w grudniu 2006 w Wielkiej Brytanii, wg. Nielsen/NetRatings)
Wyszukiwarki WWW wywodz¡ si¦ z klasycznych systemów IR (rozwijanych od lat 60 XX. wieku) pracuj¡cych na kontrolowanych kolekcjach dokumentów tekstowych w korporacjach, etc.
Kurs m.in. wyja±nia podstawowe zasady dziaªania zarówno klasycznych systemów jak i nowoczesnych wyszukiwarek WWW.
Oprócz zagadnie« technicznych wspominane s¡ wa»ne aspekty socjologiczno-ekonomiczne wyszukiwania w WWW.
Tematyka
Eksploracja Danych WWW (ang. Web Mining)
Skrzy»owanie starszej dziedziny: Eksploracji Danych (Data Mining) i zagadnie« specy cznych dla sieci WWW.
Dotyczy wyszukiwania wzorców i automatycznego odkrywania u»ytecznej wiedzy z sieci WWW poprzez zastosowanie technik typowych dla
klasycznej analizy danych wzbogaconych o techniki specy czne dla WWW.
Czyli w wielkim skrócie:
Web Mining
Cechy WWW:ogromne bogactwo danych zawartych w WWW wyj¡tkowa dynamika (ci¡gªy wykªadniczy wzrost) wysoka ró»norodno±¢ i zaszumienie
uczestnictwo setek milionów wzajemnie powi¡zanych procesów (sterowanych zarówno przez ludzi jak i maszyny)
ogromne (i wci¡» rosn¡ce) zaanga»owanie ekonomiczne, polityczne i spoªeczne milionów agentów (o cz¦sto sprzecznych interesach)
1 Web nale»y do najciekawszych obecnie pól zastosowa« Data Mining 2 Web Mining ci¡gle stawia niezwykªe wyzwania koncepcyjne i
Tematyka
Web Mining
W Web Mining - tradycyjny podziaª na 3 gªówne dziaªy:
1 Eksploracja Zawarto±ci WWW (ang. Content Mining)
(dawniejszy text mining + eksploracja struktury + NLP + ...)
2 Eksploracja Struktury WWW (ang. Link Analysis)
(grafy, grafy losowe, algebra, procesy stochastyczne, kombinatoryka, ...)
3 Analiza U»ytkowników WWW (ang. Web Usage Mining)
(eksploracja danych, analiza logów, analiza danych temporalnych, modelowanie u»ytkowników, ...)
Mo»na uzna¢, »e WIR (Web Information Retrieval, czyli Wyszukiwanie Informacji w WWW) jest równie» poddziedzin¡ Web Mining
Przykªady
Ekstrakcja Informacji na zadany temat z WWW
Automatyczne porównywanie cen wybranych produktów
Identy kacja Grup U»ytkowników o okre±lonych zainteresowaniach lub aktywno±ci
Systemy demaskowania plagiatów (np. plagiat.pl) Automatyczne generowanie wiedzy z zasobów WWW Odnajdywanie osób
Automatyczne ±ledzenie opinii publicznej na dany temat Wyszukiwarka multimediów ( lmy, muzyka, etc.)
Wykrywanie i Zwalczanie Chªamu Wyszukiwarkowego (ang. Spam) Wykrywanie nadu»y¢ i przest¦pstw ( nanse, terroryzm, etc.) Identy kacja grup klientów
Tematyka
Dost¦p do informacji WWW
Obecne paradygmaty organizacji dost¦pu do informacji w WWW:
1 nawigacja r¦czna po dokumentach (pierwotny, obecnie w zaniku) 2 katalogi tematyczne dokumentów (w defensywie?)
3 wyszukiwarki boolowskie (obecnie dominuje)
Wyszukiwarki zmieniªy proces rozwoju WWW.
Co dalej?
QA (odpowiadarki na pytania) nawigacja inteligentna (semantyczna) ...
Dost¦p do informacji WWW
Obecne paradygmaty organizacji dost¦pu do informacji w WWW:
1 nawigacja r¦czna po dokumentach (pierwotny, obecnie w zaniku) 2 katalogi tematyczne dokumentów (w defensywie?)
3 wyszukiwarki boolowskie (obecnie dominuje)
Wyszukiwarki zmieniªy proces rozwoju WWW. Co dalej?
QA (odpowiadarki na pytania) nawigacja inteligentna (semantyczna) ...
Tematyka
(Pre)historia WIR w skrócie
1611: prototyp indeksu(Strong's Exhaustive Concordance of Bible)
1945: Memex - prototyp WWW (V.Bush As we may think) 1960: SMART Information Retrieval System (G.Salton, Cornell Univ.) 1965: Xanadu - hypertext (Ted Nelson)
1980: system do nawigacji po dokumentach (T.Berners-Lee) 1990: narodziny WWW (Tim Berners-Lee, CERN)
1993-95: pierwsze przegl¡darki (Mosaic/Netscape) 1994: Lycos - pierwsza wyszukiwarka
1994: WebCrawler, 4K hostów (Brian Pinkerton)
1994: Jerry's Guide to the World Wide Web (pó¹niej: Yahoo) 1995: AltaVista, Excite, InfoSeek, Inktomi
1996: Yahoo wchodzi na gieªd¦ 1996-1998: pocz¡tki Google
Co wypada wiedzie¢ po tym wykªadzie:
1 Jakie s¡ reguªy zaliczenia :)
2 Co to jest Web Information Retrieval 3 Czym zajmuje si¦ Web Mining 4 Dziaªy Web Mining (3-4) 5 Przykªady zastosowa« (ze 3)
6 Orientacyjne liczby dotycz¡ce WWW 7 Rola wyszukiwarek
Zadania
