Prof. dr hab. Inż. A licja W akulicz - D eja Instytut Inform atyki
W ydział Inform atyki i N auki o M ateriałach U niw ersytet Śląski
Tytuł rozpraw y: A utom atyczna identyfikacja niepraw idłow ych zm ian w system ach integracji ciągłej z w ykorzystaniem w nioskow ania w w arunkach niepew ności.
A utom ated Identification o f Breaking C hanges in Continuous Integration System s U sing Reasoning U nder U ncertainty
A utor rozpraw y: m gr inż. Stanisław Świerc
B i u r o D z i e k a n a :o
< Wpłynęło dnia
A
iO. Z o f S Prom otor rozpraw y: prof. dr hab. inż. K rzysztof Cyranoc
I
M N r... / za\...*&> D ziedzina: nauki techniczneD yscyplina: inform atyka
Praca składa się z siedm iu rozdziałów . R o zp o cz y n ają spis treści, spis ilustracji i tabel. Pracę zam yka bibliografia licząca 80 pozycji.
W rozdziale 1 autor sugeruje, że w prow adzenie m etod inteligentnych w inżynierii oprogram ow ania stw arza szanse na podejm ow anie bardziej kom petentnych decyzji w procesie projektow ania oprogram ow ania. N astępnie om aw ia praktykę Integracji Ciągłej stosowanej w inżynierii oprogram ow ania oraz praktykę korekty w stecznej. A utor staw ia tezę m ożliw ości stw orzenia system u ekspertow ego, który pozw oli na:
- zdolność diagnozow ania defektów w trakcie integracji kodu w ynikow ego systemu,
- zdolność do autom atycznego napraw iania defektów poprzez w ycofyw anie zestaw ów zm ian, które spow odow ały defekty w kodzie źródłow ym projektu.
A utor zam ierza udow odnić postaw ioną hipotezę poprzez zaprojektow anie oprogram ow ania w postaci autonom icznego agenta, w yposażonego w zdolności (a) i (b), i w ykazanie jeg o użyteczności w środow isku system u CI.
W rozdziale 2 autor w sposób system atyczny i dokładny prezentuje koncepcję CI. Rozdział m a charakter przeglądow y, autor system atycznie w skazuje w ykorzystyw ane źródła, nie stroniąc jed n ak od w łasnych opinii oraz przytaczając różne punkty widzenia.
R ozdział 2 dow odzi, że autor bardzo dobrze rozum ie opisyw aną problem atykę, je st św iadom y różnych aspektów zastosow ania podejścia CI, nie tylko w w ym iarze technicznym ale rów nież w w ym iarze socjologii program istycznych grup roboczych. A utor w ykazał się um iejętnością krytycznej analizy źródeł, m ateriały źródłow e cytow ane są popraw ny sposób, co istotne, autor nie stroni od w łasnych opinii. Szerokie nakreślenie tem atyki CI, jakże w artościow e w sensie ogólnego poznania, stanow ić m oże jednak sw oistą wadę, jeżeli rozw ażam y je w kontekście doktorskiej dysertacji. Przedstaw ione rozw ażania nie form ułują jasn o rozw ażanego problem u badaw czego, ani nie dostarczają inform acji na tem at
proponow anych przez autora naukow ych m etod rozw iązyw ania problem ów.
W tym kontekście rozdział 2 stanow i bardziej dobrze opracow any fragm ent książki z inżynierii oprogram ow ania, niż elem ent rozpraw y doktorskiej.
r
R ozdział 3 zaw iera krótkie w prow adzenie dotyczące w iedzy niepewnej oraz w nioskowania w w arunkach niepew ności. W podrozdziale 3.1 dokonany je st krótki przegląd prac zw iązanych z przetw arzaniem w iedzy niepew nej, autor krótko w spom ina o w spółczynnikach pewności CF, zbiorach przybliżonych, zbiorach rozm ytych, teorii D em pstera-Shafera, następnie wskazuje w ybrane prace zw iązane z w ykorzystaniem sieci Bayesa.
W kolejnych podrozdziałach szczegółow o om ów iono sieć B ayesa ja k o reprezentację złożonych system ów ekspertow ych. N aw iązuje też do m ożliw ości w ykorzystania sieci Bayesa w system ach diagnozow ania uszkodzeń.
R ozdział 3 je st relatyw nie krótki, m om entam i zanadto zwięzły. Poniew aż do tego mom entu rozpraw a nie precyzuje je szcze dokładnie problem u badaw czego, trudno stwierdzić, czy zaw artość rozdziału je st w ystarczająca i adekw atna. M imo iż autor uzasadnia konieczność w ykorzystania w iedzy niepew nej, w ybór podejścia bayesow skiego nie poprzedza analiza innych podejść, autor uzasadnia w ykorzystanie m odelu Bayesa jeg o popularnością oraz zastosow aniem w kom ercyjnych system ach diagnozow ania uszkodzeń.
R ozdział 4 pośw ięcony je s t opisow i zbioru z danymi, które reprezentują informacje 0 nieudanych przebiegach procesu integracji kodu w ynikow ego w ram ach CI. Zbiór ten ma zaw ierać zarów no dane dla generow ania m odelu bayesow skiego, ja k i dane pozw alające na jeg o ocenę. A utor szczegółow o analizuje jak ie dane są konieczne, czego dotyczą, w jaki sposób
1 skąd je pozyskać (podrozdział 4.1). Zaskakuje nieco fakt, że nie został podany szczegółowy, fizyczny form at reprezentacji danych.
Podrozdział 4.2 prezentuje scenariusze opisujące zakończone porażką przebiegi integracji system u. A utor prezentuje stosow ne diagram y sekwencji dla progresywnej ja k i wstecznej korekty stanu projektu, w skazując rów nież na niejednoznaczności jak ie m ogą wystąpić w przypadku korekty w stecznej.
P odrozdział 4.3 prezentuje koncepcję popraw y jakości danych, tak aby stanowiły one w łaściw y zestaw danych treningow ych. Proponow ane m etody popraw y jakości danych zaw ierają m.in. propozycję w ykryw ania danych odstających.
W ydaje się, że to w łaśnie podrozdziały 4.2. i 4.3 zaw ierają kluczow e inform acje charakteryzujące analizow any problem dziedzinow y. Tutaj właśnie, w sposób konkretny przedstaw ione zostały problem y wstecznej korekty stanu system u, która w m yśl tezy pracy, ma podlegać procesow i autom atyzacji z w ykorzystaniem modelu bayesow skiego. Dziwi nieco um ieszczenie tych kluczow ych inform acji tak późno, w rozdziale, wg tytułu, poświęconym opisow i zbioru danych.
W rozdziale 5 autor określa w ym agania dla proponow anego m odelu diagnostycznego. W skazuje, że pow inien być to system uczący się uw zględniający w iedzę dziedzinową ekspertów , zw iązaną z błędnie zakończonym i integracjam i systemów.
N astępnie autor stw ierdza, że jedynym satysfakcjonującym rozw iązaniem je st opisywane w cześniej podejście bayesow kie. N iestety, odrzucenie w spom nianych system ów regułow ych i drzew decyzyjnych nie znajduje żadnego głębszego uzasadnienia, podobnie ja k wskazanie podejścia bayesow skiego ja k o bezsprzecznie zadawalającego.
A utor przedstaw ia proces tw orzenia grafu, który pokazuje złożony proces integracji kodu w ynikow ego system u. W prow adza pojęcie celu jak o kolekcji plików tw orzonych w procesie integracji kodu w ynikow ego. W ierzchołkam i grafów są cele a kraw ędzie m odelują warunki pozw alające na osiągniecie kolejnych celów. W grafie pam iętane są nieosiągnięte cele, które em ulują w iedzę eksperta w zaproponow anym m odelu sieci Bayesa.
K olejne rozdziały opisują proces w nioskow ania w zaproponowanej sieci, proces uczenia sieci oraz pozyskiw anie w ied zy ekspertów n a tem at defektów w ystępujących w procesie integracji.
E fektem działania proponow anego m odelu diagnostycznego je st lista przyczyn nieudanego przebiegu integracyjnego, uporządkow ana w g w yznaczonego praw dopodobieństw a.
A utor w skazuje, że opracow any m odel m oże być w ykorzystyw any w system ie w spom agania decyzji podejm ow anych przez człow ieka, w system ie autom atycznej korekty zm ian, oraz w trybie m ieszanym , w którym autom atycznie korygow ane są zm iany o najw yższym praw dopodobieństw ie. Całość tych rozw ażań została osadzona w kontekście praktyki działania system ów CI.
R ozdział 6 prezentuje część eksperym entalną pracy. E ksperym enty zostały zrealizow ane z w ykorzystaniem danych zgrom adzonych w trakcie działania system u CI w firm ie M icrosoft. D ane dotyczą realizow anych tam projektów i zbierane były przez 16 miesięcy. B adania obejm ow ały szereg analiz, zarów no z w ykorzystaniem w iedzy eksperckiej ja k i bez niej. R ozdział w sposób system atyczny opisuje przeprow adzone eksperym enty. A utor w skazuje specyficzne przypadki w ystępujące w trakcie integracji kodu w ynikow ego, opisuje w jak i sposób są one interpretow ane w kontekście zm iennych (i ich w artości) w ram ach stosow anego m odelu bayesow skiego. D la oceny jakości proponow anego m odelu autor proponuje nieznacznie zm odyfikow aną m etodę ^-krotnej w alidacji krzyżow ej. Ze w zględu na specyfikę danych, m odyfikacja bierze pod uw agę param etry czasow e ow ych danych, utw orzone podzbiory nie są generow ane całkow icie losowo.
W ram ach badań analizow ane są eksperym entalnie różne w łasności proponow anego m odelu: zm iana jakości m odelu zw iązana z rozm iarem danych, reakcja na różne typy defektów itp. A utor przeprow adza w iele szczegółow ych rozw ażań zw iązanych z proponow anym i eksperym entam i. Jednak analiza przeprow adzona je st jedynie w kontekście konkretnego zastosow ania.
A naliza sam ego podejścia i proponow anego m odelu je st w yraźnie drugoplanow a. W przeprow adzonych badaniach nie udało się znaleźć prostego porów nania skuteczności działania proponow anego m odelu w porów naniu z rutynow o działającym inżynierem oprogram ow ania. Trudno rów nież znaleźć inform acje o param etrach czasow ych działania system u,
W ydaje się, że ze w zględu na postulow any w pracy, w drożeniow y charakter proponow anego rozw iązania, badania takie są m ożliw e do zrealizow ania ja k i pożądane ze w zględów praktycznych.
W podsum ow aniu autor w skazuje na podatność wstecznej korekty defektów na autom atyzację. W skazuje, że proponow any m odel oparty na sieci B ayesa posiada w łaściw ości sam ouczenia się, zaw iera w iedzę ekspercką i był skuteczny w 50 % nieudanych przebiegów integracyjnych. Proponow ane rozw iązanie nie je st uniw ersalne, jed nak m ożna w skazać cechy projektów dla których proponow ane rozw iązanie pow inno być skuteczne.
Mocne strony pracy.
- B ardzo dobra znajom ość problem atyki.
- Zaproponow anie w łasnego spojrzenia autora na proces integracji ciągłej i proces projektow ania oprogram ow ania.
- Zaproponow anie autom atycznego m odelu system u opartego na sieci Bayesa.
Z aproponow any m odel uw zględniający podgrafy zw iązane z w ęzłam i grafu (podcelam i) pozw ala na autom atyczne w skazanie w ystąpienia defektów a także pozw ala na autom atyczny proces napraw y poprzez korektę w steczną. A utor przeprow adził szereg eksperym entów na danych rzeczyw istych pozyskanych w firm ie M icrosoft i dokonał w ielu ciekaw ych analiz.
- B ardzo dobra redakcja pracy.
Praca została napisana w języku angielskim , zastosow ana angielszczyzna nie budzi zastrzeżeń. A utor zachow ał w łaściw e proporcje pom iędzy zrozum iałością tekstu a dbałością o popraw ność i elegancję sform ułow ań. Przedstaw ione treści są czytelne i zrozum iałe. Czasem w ątpliw ości budzi zastosow anie specyficznej term inologii z zakresu inżynierii oprogram ow ania, m om entam i bliskiej specyficznem u żargonow i używ anem u w tej dziedzinie.
W ady pracy.
- Z byt późne przedstaw ienie aspektu naukow ego rozpraw y (rozdział 4). - Brak analizy poprzedzającej w ybór m odelu opartego na sieciach Bayesa.
- B rak analizy zaproponow anego m odelu i jeg o porów nania z tradycyjnym rozw iązaniem . R easum ując: Biorąc pod uw agę w prow adzone w łasne podejście autora do problem u integracji ciągłej w inżynierii oprogram ow ania i szeroką analizę aspektów praktycznych tego podejścia uw ażam , że praca w pełni spełnia w ym agania ustaw ow e i w nioskuję o dopuszczenie przedstaw ionej rozpraw y doktorskiej do publicznej obrony.
