6 Eksperymentalna weryfikacja języka ModeLang
6.5 Eksperyment 2
Po pierwszym eksperymencie zostały zebrane uwagi i propozycje zmian, które następnie zostały zaimplementowane. Pozwoliło to rozwinąć język i umożliwiło jednocześnie przejść do kolejnej fazy prac nad nim, to znaczy do fazy, w której możliwe było testowanie modeli poprzez symulacje obliczeniowe i analizę wyników symulacyjnych.
Eksperyment drugi miał za zadanie zweryfikować poprawność naukową działania infrastruktury służącej do tłumaczenia zapisu w języku ModeLang do postaci SBML, która jest dobrze zintegrowana z popularnymi narzędziami symulacyjnymi. Użytkownicy zatem zapisywali w języku ModeLang modele, które były wcześniej poprawnie przygotowane, aby móc skupić się na tłumaczeniu i symulacji modelu.
Kolejne fazy, które są opisane w podrozdziale 6.5.1 uwzględniały przekonwertowanie modelu do pliku SBML, a następnie analizę obliczeniową modelu z wykorzystaniem programu CellDesigner. Znając mo-del, który w fazie pierwszego eksperymentu był zapisany w postaci układów równań różniczkowych możliwe było (w oparciu o znane zastosowania modelu) wykonanie wcześniejszych obliczeń. Wyko-nane były one w oparciu o parametry zWyko-nane z wcześniejszych prac badawczych. Dzięki temu każdy otrzymany wynik po zdefiniowaniu właściwych parametrów obliczeniowych mógł zostać poddany ana-lizie porównawczej, a ewentualne rozbieżności zinterpretowane. Weryfikacja obliczeniowa poprawno-ści wyników drugiego eksperymentu była kluczowa. Bez niej, nie byłoby możliwe określenie, czy zapisy w języku ModeLang z naukowego punktu widzenia są poprawne. Potwierdzenie poprawności zapisa-nych w nim modeli było z kolei kluczowe, aby można było rozpocząć prace badawcze przez specjalistów dziedzinowych z wykorzystaniem języka ModeLang.
Celem drugiego eksperymentu nie było zdefiniowanie poprawek samego języka, czy związanych ze środowiskiem eksperymentalnym, tak jak w przypadku pierwszego eksperymentu. Celem było zba-danie czy zapisy, które otrzymywane były w postaci języka ModeLang, a także po przekonwertowaniu do postaci formatu SBML, są zapisami poprawnymi naukowo.
6.5.1 Plan eksperymentu
Drugi eksperyment miał być kontynuacją pierwszego. Efektem pierwszego eksperymentu były zapisy w języku ModeLang. W drugim eksperymencie rozwinięte środowisko eksperymentalne pozwa-lało na eksportowanie modeli ModeLang do formatu SBML. Dzięki temu możliwe było wykorzystanie integracji popularnego formatu SBML do eksperymentów symulacyjnych.
Narzędziem, które zostało wybrane do eksperymentów był CellDesigner, który został przete-stowany przed eksperymentem z bioinformatykami. Modele po wczytaniu do CellDesignera są wyświe-tlane z wykorzystaniem narzędzia wizualizacyjnego w postaci schematu blokowego, co pozwala na ła-twiejszą weryfikację relacji pomiędzy poszczególnymi elementami modelu. Ponadto możliwe jest po-twierdzenie lub uzupełnienie wartości parametrów, z którymi symulacja ma się wykonywać.
Najważniejszym elementem prac związanych z Cell Designerem jest przeprowadzenie symula-cji. Pozwala ona na weryfikację przebiegu procesu na różnych poziomach. Pierwszą weryfikację można wykonać w kontekście biologicznym. Można zatem sprawdzić, czy przebieg jest wiarygodny z punktu widzenia środowiska, które symulujemy (na przykład czy liczba hepatocytów nie rozwinęła się do roz-miarów wielokrotnie przewyższających pojemność wątroby). Kolejna weryfikacja, której możemy do-konać, to weryfikacja numeryczna, w której możemy porównać rezultat z wcześniej przygotowanymi wynikami. Kiedy wyniki będą poprawne, możliwe będzie dokonanie ostatecznej weryfikacji modelu w oparciu o zdefiniowaną metodologię badawczą modelu. Szczegóły analizy wyników opisane zostały w podrozdziale 6.5.3 zawierającym konkluzje eksperymentu, natomiast szczegóły dotyczące metodologii oceny modeli zostały zaprezentowane w rozdziale 8 poświęconym bazie VirDB.
Rysunek 32. Metoda realizowana przez uczestników drugiego eksperymentu.
Planowany przebieg eksperymentu przedstawia Rysunek 32. Tak samo jak w przypadku po-przedniego eksperymentu można zauważyć, że wszystkie kroki są niezbędne w procesie modelowania oraz że przed pierwszym krokiem eksperymentów jak i po ostatnim kroku następują kolejne działania.
Szerszy kontekst został opisany w podrozdziale 6.5.3 zawierającym konkluzje eksperymentu. Kontekst ten związany jest z szeroko rozumianym procesem modelowania, według definicji Harveya Thomasa Banksa (Banks et al. 2009).
6.5.2 Przebieg eksperymentu
Drugi eksperyment składał się z dwóch części. Pierwsza była ponownie wprowadzeniem do tematyki modelowania. Ponadto zostały przypomniane elementy pierwszego eksperymentu. Ponie-waż w obydwóch eksperymentach uczestniczyli ci sami bioinformatycy, możliwe było kontynuowanie prac z poprzedniego eksperymentu. Druga część eksperymentu, to prace związane z testowaniem po-prawności modeli.
W pierwszej części przypomniane zostały w krótkim wprowadzeniu elementy dotyczące mo-delowania oraz przykład, który przytoczony był za pierwszym razem, aby odświeżyć doświadczenia związane z pierwszym eksperymentem. Ponadto rozszerzona została część, która opisywała kwestie związane z modelowaniem i weryfikacją modeli. Przybliżone zostały również kwestie techniczne zwią-zane z konwertowaniem języka ModeLang do formatu SBML oraz wykorzystanie formatu SBML w pro-gramie CellDesigner. Został również pokazany przykładowy scenariusz wykorzystania CellDesigner do symulacji modelu. Tak, jak w przypadku pierwszego eksperymentu, uczestnicy otrzymali wydrukowaną instrukcję zawierającą przykładowe modele wraz z ich szczegółowym opisem. Ponadto instrukcja zo-stała rozszerzona o elementy, które były niezbędne, aby drugi eksperyment się powiódł. Były to ele-menty związane z nowymi funkcjonalnościami narzędzi, które zostały zaimplementowane w celu prze-prowadzenia drugiego eksperymentu lub po prostu powstały pomiędzy eksperymentem pierwszym i eksperymentem drugim. Była również umieszczona instrukcja, która opisywała wykorzystanie pro-gramu CellDesigner do celów zgodnych z planami eksperymentu. Wszystkie instrukcje zawierały zrzuty ekranu, które miały za zadanie pomóc wykonać prawidłowo operacje związane z przygotowanymi pro-gramami. Kopia wykorzystanej instrukcji znajduj się w dodatku C.
W drugiej części bioinformatycy wykorzystali modele zapisane w języku ModeLang, które udało się poprawnie zbudować w pierwszym eksperymencie. Celem była weryfikacja samego modelu poprzez symulację obliczeniową. Miała ona na celu ustalenie dwóch kwestii. Po pierwsze ważne było, czy wyniki będą poprawne na poziomie teoretycznym. Po drugie, czy dla modeli, dla których została zebrana próbka danych podczas badań empirycznych, wyniki symulacji będą odzwierciedlać realne wartości. Istotne było również, czy wykorzystanie dla tych modeli parametrów, opublikowanych jako przetestowanych dla układów równań różniczkowych, pozwoli na osiągnięcie oczekiwanych rezulta-tów.
W przypadku drugiego eksperymentu zakres działań był bardziej złożony, niż w przypadku pierwszego. Udało się potwierdzić, że dla utworzonych modeli, wyniki symulacji odzwierciedliły ocze-kiwany przebieg zdarzeń. Szczegółowe konkluzje drugiego eksperymentu znajdują się w kolejnej sekcji.
6.5.3 Konkluzje eksperymentu
Budowanie zapisu w języku ModeLang jest istotnym elementem procesu modelowania. Cały proces składa się z kilku faz, które zostały przedstawione przez Harveya Thomasa Banksa (Banks et al.
2009). Rysunek 11 przedstawiony w sekcji 3.3.2 opisuje wszystkie fazy procesu. Stworzenie zapisu w
języku ModeLang pozwala na automatyzację przejścia pomiędzy fazą, w której przygotowany jest mo-del biologiczny, a fazą momo-delu matematycznego. To istotne przejście, dlatego, że momo-del biologiczny jest opisem realnych zjawisk i opiera się na obserwacjach empirycznych. W związku z tym jest budo-wany przez specjalistów dziedzinowych, na przykład przez biologów. Model matematyczny jest zapi-sem, w oparciu o który możliwe jest wykonywanie obliczeń. Wymaga dalszego rozwinięcia, poprzez uzupełnienie go o wartości parametrów i wartości rozmiarów populacji agentów, jednakże jest solidną podstawą do prac eksperymentalnych o charakterze obliczeniowym. Zbudowanie języka ModeLang miało na celu rozwiązanie problemów komunikacyjnych, pomiędzy specjalistami przygotowującymi model biologiczny i model matematyczny. Zatem kluczowym aspektem weryfikacji eksperymentalnej poprawności działania języka ModeLang było zbadanie, czy przejście pomiędzy modelami biologicznym i matematycznym jest wykonywane poprawnie.
W związku z tym, że jest to praca interdyscyplinarna, weryfikacja odbyła się z wykorzystaniem specjalistów dziedzinowych, którzy są na co dzień odpowiedzialni za budowanie modeli biologicznych.
Opierając się na ich znajomości zjawisk biologicznych, które analizują, możliwe było zweryfikowanie poprawności modelu, który powinien odzwierciedlać zjawiska możliwe do zaobserwowania w naturze.
Ponadto, modele które były wykorzystane, były znane i zweryfikowane naukowo, zatem ich postać matematyczna była znana przed rozpoczęciem eksperymentu. Pozwoliło to na dokonanie weryfikacji symulacyjnej formuł matematycznych, które otrzymano w efekcie działania narzędzi zbudowanych dla środowiska eksperymentalnego języka ModeLang.
Po zweryfikowaniu poprawności postaci matematycznej, którą udało się otrzymać w trakcie trwania eksperymentu, możliwe było skupienie się na kolejnym kroku, którym jest budowanie modelu statystycznego. Poprawność odzwierciedlania zjawisk nie jest jedynie oparta na wykorzystaniu odpo-wiednich zapisów matematycznych, ale równie istotne są wykorzystane parametry obliczeniowe, które znacząco mogą wpłynąć na przebieg obliczeń. Mając świadomość, że postać matematyczna modelu budowana jest poprawnie, możliwe było przeanalizowanie przebiegu eksperymentów w oparciu o pa-rametry, które zaczerpnięte zostały z publikacji źródłowych poszczególnych modeli budując w ten spo-sób model statystyczny, który zgodnie ze schematem modelowania według Harveya Thomasa Banksa jest podstawą do dokonywania porównań wyników z zachowaniami obserwowanymi w świecie rze-czywistym. Eksperymenty pozwoliły potwierdzić poprawność procesu budowania modeli matematycz-nych z wykorzystaniem języka ModeLang, a także zweryfikować symulacyjnie modele z wykorzysta-niem programu CellDesigner.