Prof. dr hab. inż. Olgierd Hryniewicz Warszawa, 2015-09-23 Instytut Badań Systemowych PAN
Recenzja
rozprawy doktorskiej mgr inż. Hanny Bury
nt „Wyznaczanie oceny grupowej z uwzględnieniem obiektów równoważnych i nieporównywalnych”
1. Ogólna charakterystyka rozprawy
Recenzowana rozprawa została wykonana pod kierunkiem dr hab. inż. Wiesława Krajewskiego, prof. PAN, z Instytutu Badań Systemowych PAN, a jej Autorka była wieloletnim pracownikiem IBS PAN. Rozprawa poświęcona jest problemowi uporządkowania zbioru obiektów na podstawie zbioru uporządkowań tych obiektów uzyskanych przez ekspertów. W pracy zakłada się, że uporządkowania podane przez ekspertów uzyskiwane są w wyniku przeprowadzonych przez nich porównań parami rozpatrywanych obiektów. Celem pracy jest zaproponowanie takiego relacyjnego modelu preferencji ekspertów z wykorzystaniem binarnych macierzy porównań parami, by możliwe było wyznaczenie spełniającej pewne wymagania oceny grupowej (nazywanej również relacją preferencji zagregowanej), w przypadku gdy w porównaniach przeprowadzanych przez ekspertów mogą występować pary obiektów równoważnych lub nieporównywalnych.
Zagadnienie porządkowania zbioru obiektów, rozumiane jako proces agregacji indywidualnych uporządkowań, jest przedmiotem badań od wielu lat, a na pewno od XVIII wieku. Do momentu sformułowania przez Arrowa słynnego twierdzenia o nieistnieniu idealnej metody wyznaczania oceny grupowej poszukiwano – bezskutecznie – idealnej metody takiej agregacji. Arrow w swoim twierdzeniu pokazał, że przy przyjęciu pewnych dość oczywistych założeń skonstruowanie takiej idealnej metody jest niemożliwe. Od tego czasu prace koncentrują się na dwu zagadnieniach. Po pierwsze, na opracowaniu metod agregacji, które w możliwie największym stopniu spełniają wymagania ich użytkowników, a po drugie, na opracowaniu metod efektywnych obliczeniowo. Przedstawiona rozprawa doktorska mgr inż. Hanny Bury jest próbą realizacji tego drugiego postulatu.
Recenzowana rozprawa jest podsumowaniem wyników wieloletnich badań prowadzonych przez jej Autorkę wspólnie z nieżyjącym już mgr. inż. Dariuszem Wagnerem. Obecnie nie jest niestety możliwe formalne rozgraniczenie uzyskanych w czasie ich wspólnych badań osiągnięć. Z dużą dozą pewności można jednak stwierdzić, że obliczeniowe aspekty uzyskanych przez nich wyników, a tego właśnie – w przeważającej mierze – dotyczy recenzowana rozprawa, są głównie wynikiem pracy pani Hanny Bury.
2. Zawartość rozprawy
Recenzowana praca liczy w sumie 132 strony i składa się z wprowadzenia, czterech rozdziałów o charakterze ogólnym, dwu rozdziałów zawierających główne oryginalne wyniki pracy, załącznika poświęconego przedstawieniu innych kierunków podobnych badań oraz podsumowania w postaci uwag końcowych. Ponadto rozprawa zawiera spis treści, wykaz stosowanych oznaczeń oraz zawierający 104 pozycje wykaz cytowanej literatury.
2
We „Wprowadzeniu” Autorka rozprawy zapoznaje czytelnika z problemem tworzenia ocen grupowych. Następnie określa cel opisanych w rozprawie badań, formułując przy tym cel rozprawy. Wprowadzenie kończy krótki opis zawartości poszczególnych rozdziałów rozprawy.
Kolejne cztery rozdziały rozprawy mają charakter wprowadzający. Rozdział drugi poświęcony jest krótkiemu przeglądowi literatury. W przeglądzie tym zasygnalizowano problemy, które były przedmiotem badań na przestrzeni ostatnich co najmniej kilkuset lat i podano odnośniki do odpowiedniej literatury. Szczegółowe wyniki opisane w cytowanych pracach zostały, w miarę potrzeby, przytoczone w następnych rozdziałach rozprawy.
Następny rozdział poświęcony jest wprowadzeniu podstawowych pojęć i definicji.
W szczególności opisany został matematyczny model stosowany do opisu porównań parami, a także sposoby formalnego opisu uporządkowań porównywanych obiektów. W rozdziale tym zaprezentowano również wyniki własnych rozważań dotyczących badania przechodniości rozkładu głosów ekspertów (Lematy 3.1 oraz 3.2). W czwartym rozdziale rozprawy przedstawiono matematyczny model opisu preferencji ekspertów, którzy swoje opinie przedstawiają w postaci wyników porównań parami. W szczególności rozpatrzono przypadek, gdy w porównaniach parami występują obiekty równoważne i nieporównywalne, co jest przedmiotem przedstawionych w rozprawie wyników badań Doktorantki. Piąty rozdział rozprawy zawiera krótki przegląd problemów, które pojawiły się przy próbach tworzenia praktycznych metod agregacji opinii przedstawionych w postaci tzw. profili preferencji.
Szósty rozdział rozprawy zawiera przegląd formalnych metod agregacji preferencji opisanych przy pomocy macierzy binarnych. W szczególności przedstawione zostały metody pomiaru rozumianych w różnym sensie odległości pomiędzy ocenami poszczególnych ekspertów.
Celem omawianych metod jest wyznaczenie zagregowanej oceny grupowej, która w określonym sensie jest najbliższa ocenom przedstawionym przez poszczególnych
ekspertów. Przegląd ten jest w zasadzie przeglądem literaturowym, choć w jego ramach zaprezentowano także oryginalne propozycje (dotyczące wprowadzenia tzw. zapisu połówkowego) przedstawione w pracach Bury i Wagnera, dotyczące możliwości uwzględnienia w opisie istnienia obiektów równoważnych.
Siódmy rozdział rozprawy poświęcony jest wyznaczaniu oceny grupowej metodą mediany Kemeny’ego. Zawiera on główne oryginalne wyniki rozprawy doktorskiej mgr inż. Hanny Bury. Zaproponowano w nim wykorzystanie uogólnionego podejścia Litvaka, wykorzystującego pojęcie macierzy strat, do sformułowania problemu wyznaczenia mediany Kemeny’ego jako zadania optymalizacji binarnej z ograniczeniami opisującymi wymagania stawiane poszukiwanemu rozwiązaniu. Zaproponowane podejście umożliwiło uwzględnienie występujących w ocenach eksperckich obiektów równoważnych i nieporównywalnych.
Dokonano tego przez wprowadzenie zmodyfikowanych macierzy strat, które zostały wykorzystane do konstrukcji oryginalnego zadania optymalizacji, pozwalającego wyznaczyć medianę Kemeny’ego. Ponadto przedstawiono metodę, której zastosowanie pozwala zredukować rozmiar oryginalnego zadania optymalizacyjnego oraz metodę oceny kresu dolnego wartości funkcji celu. Wynik ten ma duże znaczenie praktyczne, gdyż nawet dla stosunkowo niewielkich zadań znalezienie rozwiązania optymalnego jest bardzo trudne (w literaturze przedmiotu wykazano, że jest to problem NP-trudny). W tej sytuacji do wyznaczenia poszukiwanej oceny grupowej wykorzystywane są algorytmy heurystyczne, a porównanie wartości funkcji celu wyznaczonej dla uzyskanego taką metodą rozwiązania z wyznaczonym uprzednio jej kresem dolnym pozwala ocenić jakość uzyskanego rozwiązania. Należy tu podkreślić, że propozycje takich heurystyk znajdują się w pracach
3
Bury i Wagnera, których wyniki nie zostały włączone do rozprawy doktorskiej mgr inż.
Hanny Bury, a jedynie wskazano na odpowiednie pozycje w spisie literatury.
Ostatni, ósmy, rozdział rozprawy został przez jej Autorkę zatytułowany „Załącznik”. Zebrano w nim definicje pojęć wykorzystywanych w rozwiązaniach problemu wyznaczania mediany Kemeny’ego. Ponadto, dokonano krótkiego przeglądu znanych z literatury przedmiotu innych propozycji wyznaczania odległości pomiędzy porządkami częściowymi, której znajomość stanowi podstawę do wyznaczania ocen grupowych.
Rozprawę mgr inż. Hanny Bury kończą „Uwagi końcowe”, w których wymieniono sześć przedstawionych w pracy oryginalnych wyników.
3. Ocena rozprawy Ocena merytoryczna
Rozprawa doktorska mgr inż. Hanny Bury dotyczy ważnego obszaru analizy systemowej jakim są metody wspomagania decyzji. Tematyka ta może być rozwijana w rozprawach doktorskich należących od strony formalnej zarówno do dyscypliny „automatyka i robotyka”
jak też i do dyscypliny „informatyka”. Jeśli w prowadzonych pracach nacisk jest położony np.
na poszukiwanie algorytmów, które są efektywne obliczeniowo w przypadku rozwiązywania dużych problemów praktycznych (np. dotyczących internetowych systemów rekomendacyjnych lub innych problemów tzw. „social informatics”), to rozprawa może być przypisana do dyscypliny „informatyka”. Jeżeli jednak nacisk jest położony na modelowanie
rozpatrywanego problemu i poszukiwanie jego optymalnych rozwiązań, a tak jest w przypadku recenzowanej rozprawy, to może być ona przypisana do szeroko rozumianej
dyscypliny „automatyka i robotyka”. Biorąc powyższe pod uwagę uważam, że rozprawa doktorska mgr inż. Hanny Bury może być podstawą do nadania jej stopnia doktora nauk technicznych w dyscyplinie „automatyka i robotyka”.
Zgodnie z obowiązującymi przepisami oraz ich powszechnie przyjętą wykładnią w rozprawie
doktorskiej powinny być przedstawione wyniki badań mających cechę nowości.
W podsumowaniu swojej rozprawy mgr inż. Hanna Bury wymienia sześć problemów, przy których rozwiązaniu wykorzystano oryginalne podejście i uzyskano nowe rozwiązania.
Analizując treść rozprawy można jednoznacznie stwierdzić, że wymienione przez Doktorantkę wyniki zawierają, w mniejszym lub większym stopniu, wymagane przez odpowiednie przepisy elementy nowości.
Za najważniejsze osiągnięcie merytoryczne rozprawy doktorskiej mgr inż. Hanny Bury uważam przedstawienie problemu wyznaczenia oceny grupowej, przy różnych postaciach wyrażanych przez ekspertów ocen jednostkowych, jako zagadnienia optymalizacji binarnej z ograniczeniami. W rozprawie wykazano, zarówno metodami analitycznymi jak też i na przykładach obliczeniowych, że zaproponowane rozwiązanie spełnia warunki stawiane w literaturze przedmiotu. Ponadto przebadano ważne z praktycznego punktu widzenia własności proponowanego rozwiązania. Uważam, że uzyskanie wskazanego tu wyniku upoważnia mgr inż. Hannę Bury do ubiegania się o stopień doktora. Dodatkowe oryginalne wyniki, o nieco mniejszej – zdaniem recenzenta – wadze, wzmacniają tylko pozytywną opinię o merytorycznej stronie recenzowanej rozprawy.
4
Ocena strony technicznej rozprawy.
Jak już wspomniano w pierwszej części niniejszej recenzji, w rozprawie przedstawiono podsumowanie wyników wieloletnich badań Doktorantki. Jest więc rzeczą oczywistą, że w trakcie jej redakcji wykorzystano fragmenty wcześniej opublikowanych tekstów. Takie rozwiązanie sprawiło jednak, że w tekście rozprawy kilkukrotnie pojawiają się przypadki odniesienia się do pojęć, które zostały opisane dopiero w dalszych częściach rozprawy. Na przykład, na str.40 pojawia się pojęcie „zwycięzca w sensie Condorceta”, które jest zdefiniowane (w sposób niezbyt precyzyjny) na str.47, a dopiero wyjaśnienie znajdujące się na str.56 pozwala odtworzyć rzeczywisty sens tego pojęcia. Podobnie, na str.30 użyty został symbol relacji pomiędzy dwoma obiektami, który został zdefiniowany dopiero na str.35.
Autorka rozprawy przyjęła też rozwiązanie, że definicje i opisy formalne przedstawiane są w ostatnich sekcjach (podrozdziałach) kolejnych rozdziałów pracy. Takie rozwiązanie jest oczywiście akceptowalne, ale jedynie pod warunkiem, że w przypadku pojawienia się w tekście nowego pojęcia podawana jest informacja o miejscu, w którym znajduje się jego definicja. W większości przypadków takie informacje w rozprawie można znaleźć, ale – niestety – nie zawsze. Należy zaznaczyć, że powyższe usterki nie powinny utrudnić jej lektury osobom zaznajomionym z tematyką rozprawy, gdyż dotyczą pojęć dobrze znanych w tym środowisku.
W rozprawie mgr inż. Hanny Bury jest stosunkowo niewiele usterek technicznych. Poniżej zostały wymienione niektóre z nich:
Str.26: We wz. (3.2) występuje nie opisany symbol q.
Str.30: W def. 3.2 przyjęto, że I(T)ij=1, jeżeli OiTOj. Jeśli jest to prawda, to macierz I nie jest rozumianą w sposób tradycyjny macierzą incydencji .
Str.46: Niezręczne określenie „współczynniki binarne macierzy porównań parami”. Dlaczego nie „elementy …”?
Str.76: Niewłaściwy zakres sumowania trzeciej sumy w środkowej części wzoru (7.4).
Str.130: W tytule poz.[67] zamiast „Rank Corrections” powinno być „Rank Correlation”.
4. Ocena końcowa
Przedstawiona do recenzji rozprawa mgr inż. Hanny Bury zawiera niewątpliwie szereg oryginalnych rozwiązań, co jest podstawowym wymogiem stawianym rozprawom doktorskim. Praktyczna przydatność proponowanych rozwiązań, wynikająca z uwzględnienia w opracowanym modelu przypadków występujących w rzeczywistości (równoważność i nieporównywalność ocen) jest – moim zdaniem – niewątpliwa. Wymienione w recenzji usterki redakcyjne utrudniają lekturę rozprawy, ale nie wpływają na jej niewątpliwie pozytywną ocenę.
Dokonując całościowej oceny rozprawy, po uwzględnieniu jej zalet i wad, można stwierdzić, że spełnia ona wymagania stawiane w odpowiednich przepisach rozprawom
doktorskim w dyscyplinie „automatyka i robotyka”. W związku z tym wnoszę o dopuszczenie mgr inż. Hanny Bury do dalszych, przewidzianych przepisami, etapów
przewodu doktorskiego.
