ipkm Prof. dr hab. Wojciech MOCZULSKI Prof. zw. w Politechnice

ipkm

Prof. dr hab. Wojciech MOCZULSKI Prof. zw. w Politechnice Śląskiej e-mail:wojciech.moczulski©polsl.pl

Gliwice, 16 maja 2014

OPINIA

O pracy doktorskiej mgr. inż. Krzysztofa ZANIEWSKIEGO pt. "Konstrukcja i testowanie automatów rozmytych za pomocą

technik metaheurystycznych"

Opinię opracowano na zlecenie Dyrektora Instytutu Badań Systemowych PAN z dnia 07.02.2014 (znak BA3-0004-9/12/2014).

1 Wstęp

Współczesne systemy informatyczne stają się coraz bardziej złożone, a do ich opracowania po­

woływane są liczne zespoły programistyczne. Ponadto dane, przetwarzane przez te systemy, są często nieprecyzyjne, wieloznaczne, błędne, a nawet niekompletne. Przetwarzanie takich da­

nych wymaga rozwoju specjalnych metod i środków, wśród których szczególne znaczenie mają

metody i środki sztucznej inteligencji. Rozwój tych metod ma miejsce w wielu ośrodkach na­

ukowych, wśród których szczególną rolę pełni Instytut Badań Systemowych PAN, powszechnie znany zwłaszcza ze swoich dokonań teoretycznych i zastosowań metodyki zbiorów i systemów roz­

mytych. Instytut realizuje swoją misję także poprzez kształcenie naukowców, którzy w swoich badaniach podejmują się rozwiązywania ambitnych problemów związanych z szeroko rozumianą tematyką tzw. obliczeń miękkich (ang. 80ft computing).

Od wielu lat śledzę badania prowadzone w Instytucie w.zakresie zastosowań zbiorów i systemów rozmytych. Rozprawa Pana Mgra inż. Krzysztofa Zaniewskiego, wykonana pod opieką naukową

Pana Profesora Witolda Pedrycza, Członka Korespondenta Polskiej Akademii Nauk, stanowi do­

niesienie naukowe o przykładowych badaniach z zakresu zastosowań metodyki zbiorów rozmytych do budowy automatów rozmytych, z jednoczesnym wykorzystaniem podstawowych metaheury­

styk obliczeń miękkich. Pracy tej dotyczy niniejsza opinia.

2 Opis rozprawy

Rozprawa składa się z dziesięciu rozdziałów. Wraz z wykazem literatury liczy 142 stronice.

Instytut Podstaw Konstrukcji Maszyn Institute of Fundamentais of Machinery Design

Wydział

Mechaniczny Technologiczny Faculty of Mechanical Engineering

Politechnika Śląska Silesian University of Technology

ul. Konarskiego 18a

PL 44-100 GLIWICE Tel.: (++48-32) 237.10.28 Fax: (++48-32) 237.13.60

Rozdział 1. stanowi wprowadzenie do rozprawy. Przedstawiono w nim genezę badań podjętych

przez Autora, sformułowano cel i tezy pracy oraz opisano jej zakres.

W rozdziale 2. Autor cytuje definicję automatu skończonego, a także dokonuje przeglądu lite­

ratury w zakresie pojęcia automatu rozmytego i najważniejszych sposobów jego konstruowania.

Podaje przykładowe zastosowania automatów rozmytych oraz dyskutuje ograniczenia tych au­

tomatów, spowodowane specyfiką ich działania. Omawia także sposoby testowania automatów rozmytych opisane w dostępnej literaturze.

Rozdział 3. poświęcono omówieniu wybranych zagadnień teorii zbiorów rozmytych. Zestawiono znane definicje t-norm i s-konorm, a także omówiono podstawowe metody grupowania rozmytego, ze szczególnym uwzględnieniem algorytmu FCM.

Rozdział 4. opisuje najważniejsze metaheurystyki, takie jak: symulowane wyżarzanie, algorytm genetyczny, algorytm przeszukiwania zachłannego, algorytm roju cząstek oraz zwykły algorytm losowy.

Kolejny Rozdz. 5. wprowadza interesujący relacyjny sposób opisu automatów rozmytych. Autor

pokusił się także o wprowadzenie własnej definicji automatu rozmytego, w której wprowadzono próg aktywacji dla krawędzi grafu reprezentującego model automatu rozmytego. Przedstawiono

również taksonomię automatów rozmytych, biorąc pod uwagę możliwość wystąpienia binarnych lub rozmytych stanów, a także binarnych lub rozmytych wejść poszczególnych typów automatów rozmytych.

Rozdz. 6. o tytule "Budowa koncepcji z wykorzystaniem metod grupowania rozmytego", nie w pełni korespondującym z jego treścią, opisuje zastosowanie metody FCM do konstrukcji wek­

torów wejściowych i wyjściowych automatu rozmytego. Ze względu na potrzebę wykorzystania automatu w zadaniach predykcji, w których wymaga się wyjścia o wartościach rzeczywistych, opi­

sano także sposób degranulacji ziarn informacji. Przedstawiono również podstawowe możliwości

zastosowania automatu rozmytego do predykcji wartości szeregów czasowych jedno- i wielowy­

miarowych, a także jako systemu decyzyjnego.

Rozdz. 7. o stosunkowo dużej objętości, ma duże znaczenie merytoryczne. Opisano w nim proce­

dury konstruowania automatu rozmytego na podstawie odpowiednio przygotowanych zestawów

trenujących. Problem sformułowano jako zadanie optymalizacji, w którym przedmiotem optyma­

lizacji są macierze R i G określające relacje będące podstawą działania automatu. Ze względu na

złożony problem optymalizacyjny do jego rozwiązania zastosowano kilka metaheurystyk, wytypo­

wanych ze zbioru opisanego w Rozdz. 4. Stosowane podejście jest dwuetapowe: w pierwszym eta­

pie optymalizowana jest liczba stanów automatu, a w etapie drugim optymalizowane sa macierze

definiujące relacje, stanowiące podstawę działania automatu. Do wykorzystania w eksperymencie wytypowano trzy podstawowe metaheurystyki: symulowanego wyżarzania (zwykłą i ulepszoną)

oraz algorytm optymalizacji metodą roju cząstek. Ponadto przedstawiono plan eksperymentu symulacyjnego, w którym obiektem badań był wzorcowy automat pięciostanowy, a do konstruk­

cji automatów posłużono się techniką inżynierii wstecznej. Weryfikacji poddano dwie strategie doboru zestawu treningowego. Pierwsza z nich polega na losowym wygenerowaniu kompletnego zestawu treningowego. Strategia ulepszona polega zaś na stopniowym generowaniu zestawu, przy czym startowy zestaw treningowy jest mniej liczny, a następnie dodaje się do niego takie wektory, które pochodzą ze zbioru testującego automat i jednocześnie zostały sklasyfikowane z nadmier­

nym błędem. Rozdział zawiera obszerną dyskusję uzyskanych wyników. a także sformułowanie

zmodyfikowanej funkcji dopasowania, o lepszych własnościach w porównaniu z funkcją stosowaną

w przeprowadzonych eksperymentach numerycznych.

Kolejny Rozdz. 8. dotyczy metod testowania automatów skończonych i rozmytych. Doktorant

wykorzystał w tym celu trzy metody zaczerpnięte z literatury. Do generowania przypadków

testowych w formie najkrótszych unikalnych sekwencji wejścia i wyjścia wykorzystano metaheu­

3

rystyki takie, jak PSO i algorytm hybrydowy (kombinacja algorytmu zachłannego i algorytmu genetycznego). Zaproponowana funkcja dopasowania bierze pod uwagę zarówno unikalność danej sekwencji, jak i jej długość, przy czym wpływ obu tych czynników może być ważony. Przepro­

wadzono _dyskusję doboru wag przy budowanie funkcji dopasowania (wagi dobrano _bazując na intuicji). Szczegółowo przedyskutowano wyniki uzyskane dla obu metaheurystyk.

Wreszcie Rozdz. 9. opisuje koncepcje testowania automatu rozmytego i stanowi

zarys sposobu rozwiązania tego problemu. Ta część pracy wydaje się być jedynie wstępnym zarysem metody testowania. Moim zdaniem, opis ten można było pominąć w redakcji pracy, a jedy­

nie zasygnalizować tę koncepcję jako kierunek dalszych badań. Nie przedstawiono dostatecznie

wyczerpującej weryfikacji zaproponowanych metod. Z podsumowania rozprawy wynika, że pro­

blematyka ta będzie rozwijana w dalszych badaniach prowadzonych przez Doktoranta.

Rozprawę kończy stosunkowo krótkie podsumowanie, w którym oprócz omówienia naj ciekaw­

szych wyników pracy Autor wymienia najważniejsze swoje dokonania, a także opisuje wybrane kierunki przyszłych badań, związanych z tematyką recenzowanej rozprawy. Nie zamieszczono tutaj w sposób formalny wniosków (z ew. podziałem na wnioski ogólne i szczegółowe, jak się to zwykle robi), do których Doktorant doszedł w wyniku przeprowadzonych badań. Wniosków tych trzeba się doszukiwać w treści krótkich podsumowań, kończących każdy z rozdziałów. W szcze­

gólności brak formalnych wniosków potwierdzających tezy pracy.

Zestawienie bibliografii zawiera 125 pozycji, z czego tylko jedną autorstwa Doktoranta. Upo­

rządkowanie literatury odpowiada kolejności zacytowania w pracy, co utrudnia np. wyszukanie cytowanych pozycji autorstwa Doktoranta.

Układ pracy nie budzi większych zastrzeżeń, choć niektóre rozdziały można by ze sobą połączyć

(np. Rozdz. 8. i 9. powinny być połączone, albo Rozdz. 8.1 powinien stać się pełnoprawnym rozdziałem). Pewnym niedostatkiem jest brak streszczeń - wydaje się konieczne zamieszczenie co najmniej streszczenia w językach polskim i angielskim.

Uwagi dotyczące doboru tematu, celu, tez i zakresu rozprawy

Tytuł pracy "Konstrukcja i testowanie automatów rozmytych za pomocą technik metaheury­

stycznych" jest węższy, niż faktyczny zakres rozprawy. Znaczna część rozprawy dotyczy bowiem automatów skończonych.

Cele pracy zostały sformułowane przez Doktoranta na s. 8. Dotyczą one zaproponowania (cyto­

wane za Autorem):

• nowego sposobu konstrukcji automatu rozmytego,

• koncepcji konstrukcji symboli automatu za pomocą metod grupowania rozmytego,

• uogólnionego modelu automatu rozmytego,

• techniki testowania automatu rozmytego,

• efektywnej metody generowania unikalnych sekwencji wejścia/wyjścia do testowania auto­

matu skończonego.

Oceniam, że wybrane cele są wartościowe i dotyczą opracowania nowych podstaw teoretycznych i metod, a więc są oryginalne.

We "Wstępie" (s. 8) sformułowano także sześć tez, dotyczących:

• możliwości skonstruowania specyfikacji automatu za pomocą technik metaheurystycznych,

• możliwości wykorzystania metod grupowania rozmytego do konstruowania symboli wejścio­

wych i wyjściowych automatu,

• zalet algorytmów hybrydowych w porównaniu z klasycznymi metaheurystykami (wodnie­

sieniu do generowania unikalnych sekwencji wejściowych),

• możliwości testowania automatu rozmytego.

Oceniam, że wytypowano zbyt wiele tez, spośród których np. dwie ostatnie tezy są trywialne.

Mimo tego, sformułowane tezy umożliwiły zaplanowanie obszernych badań naukowych, które

pozwoliły na wykazanie słuszności tych tez z zastosowaniem indukcji niezupełnej.

Zakres rozprawy jest obszerny, gdyż obejmuje szerokie badania literaturowe, opracowanie od­

powiednich definicji, metod konstruowania automatów, metod ich testowania i wielu koncepcji.

Szczególnie wartościowe są obszerne badania weryfikacyjne, które wymagały opracowania odpo­

wiednich planów, a także opracowanie wyników, ich analizy i podsumowania.

4 Ocena merytoryczna

Podjęta przez Doktoranta tematyka badań jest złożona. Cel pracy jest aktualny i poznawczo

ważny, a opracowana metoda posiada duże znaczenie utylitarne. Dlatego wysoko oceniam zna­

czenie podsumowanych w rozprawie doktorskiej badań dla rozwoju metodologii modelowania systemów i obliczeń miękkich.

4.1 Elementy oryginalne

Na podstawie lektury rozprawy i lektury podsumowania pracy (r. 10) oceniam, że naj ważniej­

szymi jej oryginalnymi elementami są:

1. Koncepcje automatów rozmytych z rozmytymi stanami oraz rozmytymi symbolami wejść

i

2. Wykorzystanie grupowania rozmytego (FCM) do konstruowania symboli wejściowych i wyj­

ściowych

automatu.

3. Koncepcja konstrukcji automatu rozmytego za pomocą metaheurystyk oraz inżynierii wstecz­

nej.

4. Metody generowania unikalnych sekwencji wejścia/wyjścia.

4.2 Uwagi dyskusyjne

1. W Sekcji 5.3 wprowadzono alternatywną definicję automatu rozmytego, której istota po­

lega na tym, że przejście po danej krawędzi grafu reprezentującego automat rozmyty może nastąpić wtedy, gdy poziom aktywacji symbolu wejściowego jest większy lub równy progowi aktywacji tej krawędzi. Funkcja aktywacji tej krawędzi ma charakter skokowy, a więc ostry.

Czy warto rozpatrywać inne przebiegi funkcji aktywacji krawędzi, jak np. funkcję sigmo­

idalną, albo trapezową - charal<:terystyczne dla opisu zbiorów rozmytych? Jakie własności

miałby wtedy taki automat rozmyty?

2. (s64d2-1) Metaheurystyki wykorzystywane przez Doktoranta do budowy automatów roz­

mytych mają charakter losowy, a więc wyniki uzyskane przy ich zastosowaniu są losowe.

Czy jest wystarczające przeprowadzenie weryfikacji poprawności działania metod oraz po­

równanie i wartościowanie wyników uzyskanych z zastosowaniem tych metod jedynie na podstawie trzech eksperymentów?

3. (s67 rys22) Na wykresie przedstawiono wyniki porównania dla automatów o różnej licz­

bie stanów, przy czym każdy wynik dotyczy tylko jednego przypadku. Wartości funkcji przystosowania stanowi błąd, obliczony dla automatu skonstruowanego za pomocą meta­

heurystyki (np. algorytmu genetycznego) z wbudowanym czynnikiem losowym. Czy takie porównania i wnioskowanie o przewadze określonej konfiguracji nad drugą (przy warto­

ściach błędu równych np. 0.00253 i 0.00236) są istotne?

4. (Rozdz. 9) Testowanie automatu rozmytego poprzez sprowadzenie tego automatu do au­

tomatu skończonego (a więc zrezygnowanie z aparatu rozmytego) oceniam jako niedosko­

nałość metody. Wydaje się, że idea testowania automatu rozmytego mogłaby bazować

na podobieństwie sekwencji automatu testowanego i automatu idealnego. Jak Doktorant ocenia takie rozwiązanie?

4.3 Wybrane uwagi szczegółowe

(s30d7-6) Selekcja w algorytmie genetycznym nie polega na prymitywnym "odrzuceniu słabiej

przystosowanych osobników".

(s44d10-9) RP, R9 nie są wektorami liczb rzeczywistych, lecz odpowiednio p- i g-wymiarowymi przestrzeniami rzeczywistymi.

(s51d10 i wiele innych) Sformułowanie "seria czasowa" będące prostym tłumaczeniem ang.

time series jest wyjątkowo niefortunne.

(s56d9) Zwykle pożądane wartości "wskaźnika jakości" kojarzą się z wartościami jak najwięk­

szymi (bo wysoka jakość jest najlepsza). Nazwanie błędu (który chcemy minimalizować) wskaźnikiem jakości wydaje się być niefortunne.

(s66d10 i wiele innych) Określenia "automat większy", "automat mniejszy", "wyniki słabsze"

itp. nie powinny wystapić w rozprawie doktorskiej.

(s73 rys31-32 i in.) W pracy nie stosuje _się obiektywnych metod porównywania przebiegów

wyjść automatu, ograniczając się do oceny wizualnej różnic pomiędzy tymi przebiegami.

Taka ocena jest nieobiektywna, warto wykorzystać np. metody stosowane przy identyfikacji systemów (zob. np. T. Soderstrom, P. Stoica, Identyfikacja systemów. 1997).

(s74g3 i in.) Zamiast "mały zestaw treningowy" powinno być "mało liczny", zamiast "duży ze­

staw treningowy" - np. "zestaw o dużej liczebności przykładów".

(s76-76 rys34-35) Jak interpretować brak ciągłości wykresów przedstawionych funkcji przyna­

leżności do symbolu wyjściowego?

(s98d2) Sformułowanie "algorytm roju cząstek jest słabszy niż losowe generowanie sekwencji"

jest niefortunne.

(s99g3-4) Prawdopodobnie chodzi o miliony iteracji?

(s101 wz38 i opis s101-102) Wzór i opis stanowią powtórzenie wzoru (37) i opisu ze s. 93 dla

Wl

=

= 1.

(s103d4-3) Sformułowania "czas liniowy", "czas kwadratowy" _są niepoprawne.

5 Wniosek końcowy

Podjęty i rozwiązany przez Doktoranta w sposób oryginalny problem badawczy ma istotne zna­

czenie dla rozwoju zastosowań metod sztucznej inteligencji. Doktorant wykazał się ogólną wiedzą teoretyczną w dyscyplinie "Informatyka" oraz wymaganą umiejętnością zaplanowania i samodziel­

nego przeprowadzenia badań naukowych.

Biorąc powyższe pod uwagę stwierdzam, że opiniowana rozprawa doktorska Mgr. inż. Krzysztofa

Zan~ewskiego pt. "Konstrukcja i testowanie automatów rozmytych za pomocą technik meta­

heurystycznych" spełnia wymagania Art. 13 p.1 Ustawy z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz stopniach i tytule w zakresie sztuki (Dziennik Ustaw nr 65, poz. 595) i może zostać dopuszczona do publicznej obrony przed Radą Naukową Instytutu Badań

Systemowych PAN w dyscyplinie "Informatyka".