S lownik CLP

Srednia liczba zda´n w notatce 3,8 ´

Srednia liczba segment´ow w zdaniu 18,3

Tablica 6.4: Wyra˙zenia regularne u˙zyte do podzia lu tekst´ow na segmenty. s lowo \p{Alpha}\p{Word}*

liczba \p{Digit}+(?:[:., _/-]\p{Digit}+)* znak interpunkcyjny \p{Punct}

znak graficzny \p{Graph}

inny znak [^\p{Word}\p{Graph}]+

z pojedynczych segment´ow. Nale˙zy zwr´oci´c uwage, ˙ze w przeciwie´_, nstwie do korpusu IPI PAN, segmenty korpusu PAP nie zosta ly oznakowane morfosyntaktycznie.

6.2. S lowniki fleksyjne

6.2.1. S lownik CLP

Przedstawiony algorytm ekstrakcji relacji semantycznych zak lada, ˙ze elementami sk ladowymi wzor-c´ow ekstrakcyjnych bed_, a cechy morfologiczne. Algorytm wykorzystuje jako podstawowe ´_, zr´od lo informacji na temat morfologii s l´ow jezyka polskiego s lownik fleksyjny stworzony w Grupie Lingwistyki Kompute-_, rowej Akademii G´orniczo-Hutniczej o nazwie CLP [112, 44].

Podstawowym sposobem organizacji danych w tym s lowniku sa tradycyjne kategorie gramatyczne:_, rzeczownik, czasownik, przymiotnik, liczebnik, zaimek, przys l´owek oraz kategoria obejmujaca wszyst-_, kie pozosta le wyrazy nieodmienne. Poszczeg´olne kategorie wprowadzaja dalsze podzia ly, np. rzeczowniki_, zosta ly podzielone wed lug ich rodzaju gramatycznego, a liczebniki na wielorodzajowe, dwurodzajowe, jed-norodzajowe, bezrodzajowe, nieokre´slone oraz nieodmienne. Ka˙zda z tych klas fleksyjnych mo˙ze by´c dalej podzielona ze wzgledu na spos´_, ob odmiany wyraz´ow. Poniewa˙z pr´oba nadania nazwy tego rodzaju klasom fleksyjnym by laby ma lo efektywna, w s lowniku poza nazwami funkcjonuja tzw. etykiety fleksyjne – na_, ka˙zdym poziomie podzia lu wyr´o˙znione klasy etykietowane sa za pomoc_, a du˙zych liter alfabetu laci´_, nskiego, poczawszy od litery A. Poniewa˙z klasyfikacja wyraz´_, ow ma strukture ´_, sci´sle hierarchiczna, uporz_, adkowany_, ciag liter reprezentuj_, acych poszczeg´_, olne poziomy hierarchii umo˙zliwia jednoznaczne zidentyfikowanie do-wolnej klasy fleksyjnej, a w powiazaniu z form_, a has low_, a wyrazu, umo˙zliwia jednoznaczne zidentyfikowanie_, sposobu jego odmiany (por´ownaj wz´or 3.3). Przyk ladowo, para (robić,BBCA) pozwala jednoznacznie zi-dentyfikowa´c pe lny wzorzec odmiany czasownika robi´c.

Drugim istotnym elementem organizacji s lownika jest powiazanie etykiet fleksyjnych z wektorami form_, wyrazowych. Mechanizm ten przyporzadkowuje poszczeg´_, olnym formom identyfikatory liczbowe (pozycje w wektorze odmiany) w ramach okre´slonej kategorii fleksyjnej. Dla ka˙zdej pozycji w wektorze odmiany ustalone sa r´_, ownie˙z warto´sci wszystkich kategorii gramatycznych, dzieki czemu dla okre´_, slonej formy

Tablica 6.5: Wektor odmiany rzeczownika (adorator,AAAAAA). Warto´sci kategorii

gramatycznych Pozycja Forma Przypadek Liczba

1 adorator mianownik pojedyncza 2 adoratora dope lniacz pojedyncza 3 adoratorowi celownik pojedyncza 4 adoratora biernik pojedyncza 5 adoratorem narzednik_, pojedyncza 6 adoratorze miejscownik pojedyncza 7 adoratorze wo lacz pojedyncza 8 adoratorowie mianownik mnoga 9 adorator´ow dope lniacz mnoga 10 adoratorom celownik mnoga 11 adorator´ow biernik mnoga 12 adoratorami narzednik_, mnoga 13 adoratorach miejscownik mnoga 14 adoratorowie wo lacz mnoga

mo˙zna ustali´c warto´sci jej kategorii gramatycznych (por´ownaj wz´or 3.2). Przyk ladowo, rzeczownik po-siada 14 pozycji w wektorze odmiany: pozycja pierwsza zajmowana jest przez forme mianownika w liczbie_, pojedynczej, druga przez forme dope lniacza w liczbie pojedynczej, trzecia przez form_, e celownika w liczbie_, pojedynczej, itd. W tabeli 6.5 podany jest przyk ladowy wektor odmiany wraz z interpretacja poszczeg´_, ol-nych pozycji dla leksemu (adorator,AAAAAA).

Taka organizacja informacji pozwala na wykonanie dw´och podstawowych operacji: dla zadanej formy wyrazowej (napisu) okre´slenie jej etykiety fleksyjnej lub etykiet fleksyjnych w przypadku formy homoni-micznej oraz jej pozycji fleksyjnej lub pozycji fleksyjnych w przypadku formy homonihomoni-micznej, bad´_, z formy wewnetrznie homonimicznej oraz dla leksemu o znanej formie podstawowej oraz etykiecie fleksyjnej okre-_, ´slenie jego form wyrazowych dla poprawnych kombinacji warto´sci kategorii gramatycznych. Operacje te sa realizowane za pomoc_, a interfejsu w j_, ezyku C opisanego szczeg´_, o lowo przez Gajeckiego w pracy [44]._, Nale˙zy jednak zwr´oci´c uwage, ˙ze interfejs ten realizuje niskopoziomowy dost_, ep do s lownika – programi-_, sta operuje bezpo´srednio liczbowymi identyfikatorami leksem´ow oraz pozycji fleksyjnych. Dlatego istnieje r´ownie˙z bardziej wysokopoziomowy interfejs dla jezyka Icon, a autor niniejszej pracy opracowa l obiektowy_, interfejs dla jezyka Ruby._,

S lownik CLP w wersji wykorzystywanej przez autora (2.1) zawiera informacje o 138331 leksemach. Szczeg´o lowa statystyka s lownika przedstawiona jest w tabeli 6.6. Wed lug jego autor´ow [112, s. 64-67] s lownik pokrywa 84% form tekstowych wystepuj_, acych w korpusie notatek PAP. Istotnym mankamentem_, s lownika w kontek´scie ekstrakcji informacji jest to, ˙ze nie zawiera on nazw w lasnych (z wyjatkiem imion_, oraz niewielkiej liczby nazw geograficznych). Przyk ladowo w s lowniku nie wystepuje leksem rzeczowni-_, kowy Polska, chocia˙z wystepuje powi_, azany z nim relacj_, a derywacji leksem przymiotnikowy polski. Z tego_, wzgledu autor algorytmu uzupe lni l s lownik CLP danymi dost_, epnymi w s lowniku Morfologik._,

6.2. S lowniki fleksyjne 79

Tablica 6.6: Liczba leksem´ow poszczeg´olnych klas gramatycznych w s lowniku CLP. Klasa gramatyczna Liczba leksem´ow

rzeczownik 74046 przymiotnik 38066 czasownik 20067 przys l´owek 5068 leksem nieodmienny 734 zaimek 182 liczebnik 168 razem 138331

Tablica 6.7: Przyk ladowe wpisy znajdujace si_, e w s lowniku Morfologik._, Forma tekstowa Forma podstawowa Opis morfologiczny Gliwicami Gliwice subst:pltant:inst:n

gliwickiej gliwicki adj:sg:dat.gen.loc:f:pos:aff chromatograficznie chromatograficznie adv:pos:aff

dosiec dosiec verb:inf:perf

6.2.2. Morfologik

Morfologik jest wolnodostepnym s lownikiem, kt´_, ory powsta l poprzez wyekstrahowanie regu l tworzo-nych przez u˙zytkownik´ow programu ispell dla jezyka polskiego [90]. Z tego wzgl_, edu dane w nim zawarte_, z jednej strony w lepszym stopniu odzwierciedlaja zas´_, ob s l´ow, wykorzystywany we wsp´o lczesnej polsz-czy´znie, ale z drugiej dane te sa ni˙zszej jako´_, sci, ni˙z te zgromadzone w s lowniku CLP. Dlatego s lownik Morfologik wykorzystywany jest wy lacznie w sytuacji, w kt´_, orej okre´slona forma tekstowa nie zosta la roz-poznana przez s lownik CLP. Prowadzi to do pewnych problem´ow (np. leksem rzeczownikowy Polska nie wystepuje w s lowniku CLP, ale forma Polska jest rozpoznawana jako przynale˙z_, aca do przymiotnika pol-_, ski ) – przeciwne rozwiazanie prowadzi loby jednak do jeszcze wi_, ekszej liczby problem´_, ow, gdy˙z dostepne_, dane morfologiczne dublowa lyby sie, zwi_, ekszaj_, ac wieloznaczno´_, s´c rozpoznania poszczeg´olnych form.

Morfologik jest dystrybuowany w postaci pliku tekstowego zawierajacego informacje o poszczeg´_, olnych formach oraz skompilowanego automatu sko´nczonego. S lownik w postaci pliku tekstowego zawiera tr´ojki postaci: (forma tekstowa, forma podstawowa, znaczniki morfosyntaktyczne). Tabela 6.7 zawiera przyk ladowe wpisy znajdujace si_, e w s lowniku, kt´_, ore nie wystepuj_, a w s lowniku CLP. Zestaw znaczni-_, k´ow u˙zytych do opisu warto´sci kategorii gramatycznych w du˙zej mierze odpowiada formalizmowi sto-sowanemu w korpusie IPI PAN [162]. R´o˙znice pomiedzy tymi formalizmami s_, a opisane w pracy [132]._, Istotnym mankamentem tego sposobu organizacji informacji jest niejednoznaczno´s´c, kt´ora pojawia sie dla_, niekt´orych form tekstowych. Przyk ladowo forma tekstowa rzad przynale˙zy do dw´_, och leksem´ow rzeczow-nikowych rodzaju meskiego nie˙zywotnego posiadaj_, acych r´_, o˙zne paradygmaty odmiany (pierwszy z nich posiada w bierniku liczby pojedynczej forme rz_, ady a drugi rz_, edy). Niemniej jednak w s lowniku Morfologik_, leksem´ow tych nie da sie odr´_, o˙zni´c, przez co bez dodatkowej analizy nie spos´ob jest przyporzadkowa´_, c im w la´sciwe formy tekstowe.

Chcac wykorzysta´_, c s lownik Morfologik w algorytmie ekstrakcji relacji, konieczne by lo uzgodnienie sposobu organizacji informacji ze sposobem organizacji informacji w s lowniku CLP. Ze wzgledu na dobr_, a_,

Tablica 6.8: Liczba leksem´ow zaimportowanych ze s lownika Morfologik do s lownika CLP. Klasa gramatyczna Liczba leksem´ow

rzeczownik 168082 przymiotnik 69587 czasownik 21277 przys l´owek 10063

razem 269009

znajomo´s´c s lownika CLP, autor postanowi l przekszta lci´c dane Morfologika dostepne w postaci tekstowej,_, do postaci wykorzystywanej w tym pierwszym s lowniku. Proces ten polega l na rozpoznaniu etykiety flek-syjnej, kt´ora mo˙zna by przyporz_, adkowa´_, c leksemom opisanym w s lowniku Morfologik. Spos´ob opisu form fleksyjnych w s lowniku Morfologik prowadzi do niejednoznaczno´sci wskazanej w poprzednim paragrafie, cze´_,s´c wystepuj_, acych w nim paradygmat´_, ow odmiany nie wystepuje w s lowniku CLP oraz cz_, e´_,s´c danych w tym s lowniku jest b ledna (np. rzeczowniki opisane jako przymiotniki), dlatego te˙z do´_, s´c du˙za cze´_,s´c da-nych zosta la pominieta. Tabela 6.8 zawiera informacje o liczbie leksem´_, ow, kt´ore zosta ly zaimportowane ze s lownika Morfologik do s lownika CLP.

6.3. S lownik semantyczny

Elementem niezwykle istotnym z punktu widzenia uniwersalno´sci konstruowanego algorytmu jest do-stepno´_, s´c s lownika semantycznego definiujacego jak najwi_, eksza liczb_, e symboli j_, ezykowych. W kontek´_, scie ekstrakcji relacji s lownik ten powinien posiada´c nastepuj_, ace cech: zawiera´_, c informacje dotyczace nazw_, w lasnych i wyra˙ze´n wielosegmentowych, okre´sla´c kategorie semantyczne wystepuj_, acych w nim symboli_, oraz pozwala´c identyfikowa´c w la´sciwy sens wyra˙ze´n synonimicznych. Prace nad s lownikiem tego rodzaju prowadzone sa w Katedrze Lingwistyki Komputerowej Uniwersytetu Jagiello´_, nskiego [119], ale s lownik ten jest daleki od kompletno´sci. Dlatego autor algorytmu jako podstawowe ´zr´od lo wiedzy zbli˙zone do s lownika semantycznego wykorzysta l polska Wikipedi_, e._,

Istotna barier_, a stoj_, ac_, a na przeszkodzie w bezpo´_, srednim wykorzystaniu Wikipedii w algorytmach ekstrakcji informacji jest to, ˙ze dane w niej zawarte sa s labo ustrukturyzowane. Znaczy to, ˙ze nie da_, sie jej wykorzysta´_, c tak latwo jak autentycznego s lownika semantycznego, w kt´orym relacje wystepuj_, ace_, pomiedzy wyra˙zeniami j_, ezykowymi by lyby nazwane i zidentyfikowane bezpo´_, srednio. Konieczne jest za-stosowanie mniej lub bardziej zaawansowanych algorytm´ow, pozwalajacych przekszta lci´_, c je do postaci przydatnej w automatycznej ekstrakcji informacji.

Dostepne s_, a dwa szeroko stosowane narz_, edzia pozwalaj_, ace na wydobycie z Wikipedii ustrukturyzowa-_, nych danych: Wikiepdia Miner [86] oraz modu l ekstrakcji informacji stosowany przez tw´orc´ow DBpedii [15]. Autor zdecydowa l sie na wykorzystanie w tym celu Wikipedia Minera. Modu l ekstrakcyjny DBpedii_, wykorzystywany jest przy konstrukcji s lownika semantycznego jedynie do wydobycia informacji o obecno-´sci infoboks´ow w tre´sci artyku l´ow. Pozwala to na dok ladniejsze okre´slenie kategorii semantycznej symboli jezykowych, zgodnie z algorytmem opisanym w punkcie 7.2. DBpedia wykorzystywana jest r´_, ownie˙z jako ´zr´od lo wiedzy pozwalajace automatycznie okre´_, sli´c ograniczenia semantyczne, co zosta lo opisane w punkcie 6.5.

6.3. S lownik semantyczny 81