eBaltic-Grid – nowa usługa dziedzinowa tworzona w Infrastrukturze PLGrid
J.Jakacki1, M.Przyborski2, A.Przyborska1, M.Białoskórski2, A.Nowicki1, C.Sochacki2, M.Wichorowski1, R.Tylman2
1Instytut Oceanologii PAN, Powstańców Warszawy 55, 81-712 Sopot,
jjakacki@iopan.gda.pl
2Politechnika Gdańska
Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej ul. G. Narutowicza 11/12
80-233 Gdańsk
Wstęp
Infrastruktura PLGrid została utworzona w ramach projektu PL-Grid w latach 2009-2012.
Jest to rozproszona platforma informatyczna stworzona przede wszystkim dla polskiej społeczności naukowej. Wspiera badania naukowe wymagające dużych mocy obliczeniowych jak również specjalistycznych narzędzi informatycznych. W ramach projektów PLGrid Plus oraz PLGrid NewGeneration (PLGrid NG) realizowana jest rozbudowa Infrastruktury o dedykowane specjalistyczne usługi dziedzinowe dla strategicznych dziedzin i ważnych tematów w Nauce Polskiej. Usługa eBalticGrid jest jedną z wprowadzanych usług dziedzinowych w ramach projektu PLGrid NG. Zasadniczą ideą wprowadzanej usługi jest udostępnienie szerokiemu gronu naukowców wyników (bieżących jak również archiwalnych) modelu hydrodynamicznego oraz modelu lodu Bałtyku. Cały system został osadzony w Infrastrukturze PLGridu i umożliwia wgląd do podstawowych parametrów fizycznych opisujących stan Bałtyku.
W ciągu ostatnich kilkudziesięciu lat modelowanie stało się jednym z ważniejszych narzędzi używanych w naukach o Ziemi. Główną przyczyną takiego stanu jest rozwój metod numerycznych, parametryzacji oraz wzrost mocy obliczeniowych. Natomiast wielkoskalowe modelowanie numeryczne dostarcza pełny obraz stanu fizycznego modelowanego obiektu.
Obecnie brak jest innego narzędzia dostarczającego wyniki dla tak obszernej skali przestrzennej (narzędzia satelitarne dostarczają oczywiście wynik z bardzo dużych obszarów, ale z jednej strony mogą tylko działać w warunkach pozwalających na pomiar (elementem który zakłóca pomiar są np. chmury (Martins et al. 2003)), z drugiej mogą określać wielkość wyłącznie dla powierzchni).
Zasadniczym elementem nowo powstającej usługi są modele numeryczne które dostarczają wyniki udostępnione przez portal ebaltic.plgrid.pl. Cały system został przedstawiony schematycznie na rysunku 1.
Rysunek 1. Schematyczne przedstawienie usługi eBalticGrid (dla użytkownika dostępny jest wyłącznie portal)
Zasadniczym elementem systemu są połączone modele oceanu (Parallel Ocean Program – POP, Smith et al. 2004) i lodu (Community Ice CodE – CICE, Bailey et al. 2004) (ocean i lód to część aktywna systemu (oznaczona kolorem zielonym na schemacie)) oraz dwa dostarczające dane do układu modeli aktywnych (są to datm – model dostarczający dane atmosferyczne oraz dlnd – model dostarczający dopływy rzek). Część hydrodynamiczna to regionalna adaptacja modelu POP rozwiniętego w Los Alamos National Laboratory (LANL).
Jest on trójwymiarowym modelem hydrodynamicznym, wywodzącym się z modelu oceanu stworzonego pod koniec lat sześćdziesiątych przez Kirk Bryan i Michael Cox (1969, 1975) z NOAA Geophysical Fluid Dynamics Laboratory w Princeton, póżniej modyfikowany i przystosowany do wektorowych procesorów przez Semtnera (1974). Szczególną cecha kodu POP (napisanego w Fortranie 90) jest zorientowanie na maszyny równoległe poprzez wykorzystanie bibliotek MPI (Message Passing Interface) lub SHMEM (Shared Memory) do komunikacji między procesorami. Pozwala to na użycie najbardziej zawansowanych technologicznie maszyn do wykonania obliczeń jak również na rozwiązywanie dużych problemów obliczeniowych.
Model lodu to regionalna wersja modelu CICE. Model ten jest również efektem pracy naukowców w Los Alamos National Laboratory. Składa się z kilku współpracujących elementów: termodynamiczny model, model dynamiki lodu liczący prędkość paku lodowego, model transportu. Został skonfigurowany na pięć poziomów lodu z czterema warstwami na kategorię, aby jak najdokładniej odwzorować rozkład grubości pokrywy lodowej i nieliniowe
profile temperatury i zasolenia. W każdej kategorii jest warstwa zawierająca śnieg oraz zastosowano EVP reologię (Hunke i Dukowicz, 1997). Jest to pierwsze zastosowanie tak zaawansowanego modelu lodu dla Morza Bałtyckiego. Aktywne składniki systemu posiadają rozdzielczość poziomą około 2.3 km (1/48 stopnia). Model hydrodynamiczny posiada 66 poziomów z których 50 ma grubość 5 metrów (co pozwala na pokrycie praktycznie całego Bałtyku rozdzielczością pionową równą 5 metrów). Modele są połączone ze sobą za pomocą łącznika który kontroluje krok czasowy i synchronizację wszystkich modeli. Modele wymieniają ze sobą informacje co 600 sekund (co jest krokiem czasowym łącznika oraz modelu lodu). Model hydrodynamiczny, ze względu na istnienie solvera barotropowego posiada znacznie mniejszy krok czasowy wynoszący 2.5 minuty.
Modele wykonują codziennie integrację na podstawie danych atmosferycznych uzyskanych na podstawie symulacji modelu Weather Research and Forecasting Model (WRF). Całość do pracy potrzebuje danych zewnętrznych. Model atmosfery jest zasilany danymi z GFS (Global Forecasting System). Natomiast model hydrodynamiczny posiada wprowadzoną asymilację poziomu morza w rejonie Goteborgu (jako warunku brzegowego) dlatego też w ramach współpracy w konsorcjum Baltic Operational Oceanographic System (BOOS) dane te są przed każdą symulacją pobierane.
Dane w portalu zasilane są przez pliki NETCDF generowane przez modele. Import odbywa się przy użyciu skryptu w trzech podstawowych krokach. W pierwszym z nich pliki te przy użyciu narzędzi GDAL konwertowane są na gotowe zapytania SQL. Następnie dane w formacie raster ładowane są do bazy PostgreSQL z rozszerzeniem PostGIS, a w ostatnim kroku następuje ich dostosowanie do projekcji geograficznej wykorzystywanej przez portal.
Do działania strony WWW wykorzystano dwie biblioteki JavaScript – OpenLayers v 3.3 odpowiedzialną za nakładanie obrazków, oraz Highcharts generującą wykresy 2D. Dzięki wykorzystaniu do przechowywania danych typu raster możliwe jest zarówno szybkie wygenerowanie obrazka w formacie .png jak i surowych danych niezbędnych do wykresów ukazujących zmienność w czasie lub przestrzeni.
Dostęp do części funkcjonalności portalu możliwy jest tylko dla użytkowników plgrid, ppo zalogowaniu się przy użyciu OpenID.
Integracja modeli odbywa się na superkomputerze Galera Plus w Centrum Informatycznym TASK. Zadanie obliczające 72-gdzinną prognozę danych modelowych uruchamiane są na 96 rdzeniach (8 węzłów, każdy wyposażony w 2 6-rdzeniowe procesory Intel Xeon Six-Core 2,27GHz). Obliczenie całej prognozy obecnie trwa do 6 godzin. W przyszłości planowane jest przeniesienie obliczeń na nowy superkomputer - Tryton - wyposażony w wydajniejsze procesory nowej generacji (12-rdzeniowe Intel Xeon E5 v3 2,3GHz), wobec tego spodziewane jest znaczne skrócenie czasu potrzebnego na obliczenie prognozy dla opisywanych modeli. Jeśli uzyska się rozsądny czas obliczeniowy, planowana jest poprawa rozdzielczości modeli.
Cały system wizualizuje podstawowe wielkości fizyczne opisujące stan Bałtyku. Są to:
temperatura i zasolenie na wszystkich poziomach
rozkład prędkości
wysokość powierzchni morza
funkcja prądu (barotropowa)
grubość pokrywy lodowej
koncentracja lodu
dryf lodu
System dostarcza również podstawowe dane meteorologiczne:
ciśnienie zredukowane do poziomu morza
temperatura i wilgotność na wysokości 2 metry
prędkość wiatru
frakcje promieniowania (długofalowa i krótkofalowa)
opady
Rysunek 2. Przykładowa wizualizacja uzyskana z systemu (profil temperatury):
Podsumowanie
Nowa usługa (tzw. nowy grid dziedzinowy) mająca na celu dostarczenie zarówno danych jak i system wizualizacji jest na końcowym etapie wdrażania. Została ona osadzona wewnątrz infrastruktury PLGrid, co pozwoliło na wykorzystanie zasobów obliczeniowych udostępnionych w ramach infrastruktury. System jest ciągle na etapie budowy, ale podstawowe funkcjonalności systemu są już dostępne.
W celu uzyskania pełnego dostępu należy założyć sobie konto na portalu portal.plgrid.pl, następnie wejść na stronę ebaltic.plgrid.pl i zalogować się. Wprowadzony system openID automatycznie udostępni usługę użytkownikowi infrastruktury.
Literatura
Martins F.R., M.P. Souza, E.B. Pereira, Comparative study of satellite and ground technique for cloud cover detection, Adv. Space Res., 32 (2003), pp. 2275–2280
Smith, R., and Gent, P.: Reference manual for the Parallel Ocean Program (POP), LosAlamos National Lab., New Mexico, 75 pp., 2004.
Bailey D., M.Holland, E.Hunke, B.Lipscomb, B.Briegleb, C.Bitz, J.Schramm Community Ice Code User’s Guide
Bryan, K.A.: Numerical Method for the Study of the Circulation of the World Ocean, Journalof Computational Physics, 4(3), 347–376, 1969.
Cox, M.D. (1975). "A Baroclinic Numerical Model of the World Ocean: Preliminary Results." In Numerical Models of World Ocean Circulation, edited by R.O. Reid, et al., pp.
107-18. Washington, DC: National Academy of Sciences.
Semtner, A.J.: A general circulation model for the World Ocean. UCLA Dept. of Meteorology Tech.Rep., No.8, 99 pp., 1974.
Hunke, E. C., and Dukowicz, J. K.: An elastic-viscous-plastic model for sea ice dynamics, J.
Phys. Oceanogr., 27, 1849–1867, 1997.
Killworth, P. D., Stainforth, D., Webb, D. J., and Paterson, S. M.: The development of a freesurface Bryan-Cox-Semtner ocean model, Journal of Physical Oceanography, 21(9), 1333–1348, 1991.
