Projektowanie rozproszonych algorytmów solwerów
zmienno-kierunkowych do obliczeń izogeometrycznej metody elementów
skończonych
Analiza izogeometryczna, której celem jest ujednolicenie projektowania wspieranego komputerowo (CAD) i zasad inżynierii wspieranej komputerowo (CAE), szybko stała się przedmiotem badań wielu naukowców. Opracowali oni w ciągu ostatnich lat wiele szybkich solwerów dokładnych. Na szczególną uwagę zasługują algorytmy solwera zmiennokierunkowego, dekomponujące macierz układu równań pochodzącego z dyskretyzacji dwu- lub trójwymiarowych problemów obliczeniowych na produkt Kroneckera dwóch lub trzech macierzy wieloprzekątniowych. Dzięki strukturze wieloprzekątniowej tych macierzy solwery zmiennokierunkowe cechują się (dla problemów dwuwymiarowych) liniową złożonością obliczeniową w wersji sekwencyjnej oraz logarytmiczną w wersji równoległej. Istniejące rozwiązania działały w środowisku pamięci współdzielonej lub na klastrach linuksowych o pamięci współdzielonej, co ograniczało możliwość rozwiązywania większych problemów lub wręcz ją udaremniało, jeśli rozwiązywany problem był tak duży, że nie mieścił się w pamięci pojedynczego węzła obliczeniowego, którym dysponował naukowiec. Istnieją praktyczne problemy inżynieryjne, które z natury wymagają przeprowadzania niestacjonarnych symulacji na dużych siatkach obliczeniowych, co skutkuje koniecznością rozwiązania dużych układów równań, liczących niekiedy miliardy niewiadomych. Należą do nich symulacje przeprowadzane na danych kartograficznych, takie jak symulacje rozchodzenia się zanieczyszczeń powietrza czy przewidywania pogody. Istniejące algorytmy solwerów zmiennokierunkowych bazują wyłącznie na metodach dyskretyzacji czasu typu explicite, które - będąc mniej kosztownymi obliczeniowo od metod typu implicite - wymagają używania gęstszej dyskretyzacji wraz ze wzrostem rozmiaru siatki obliczeniowej w celu zachowania stabilności. Istnienie tego typu zależności w wersji explicite algorytmu solwera zmiennokierunkowego wymaga obliczenia tysięcy zbędnych kroków czasowych, co znacząco wydłuża czas
obliczeń w przypadku i tak już wymagających problemów obliczeniowych. W tej pracy zaproponowano algorytmy dekompozycji niestacjonarnych problemów inżynierskich na sekwencje układów równań o strukturze produktu Kroneckera, co umożliwiło opracowanie algorytmów solwerów zmiennokierunkowych o liniowej złożoności obliczeniowej. Autorska metoda dekompozycji niestacjonarnych problemów inżynierskich pozwala na uzyskanie schematów całkowania po czasie implicite, a więc na stosowanie dłuższych kroków dyskretyzacji czasowej z zachowaniem bezwzględnej stabilności obliczeń, co może zostać wykorzystane do znacznego skrócenia czasu symulacji. Ponadto, klasyczny sposób rozwiązywania problemów związanych z metodą elementów skończonych bazuje przede wszystkim na dekompozycji domeny na odizolowane podproblemy obliczeniowe, które są następnie rozwiązywane współbieżnie na specjalnych klastrach obliczeniowych, do których interfejsem jest Message Passing Interface (MPI). Niniejsza praca stanowi pierwszą próbę wykorzystania nowoczesnych chmurowych architektur obliczeniowych do rozwiązywania szerokiej grupy problemów inżynieryjnych metodą izogeometrycznych elementów skończonych. Jak staramy się w niej dowieść, techniki te mogą być z powodzeniem wykorzystane do przeprowadzania analizy izogeometrycznej na dużych siatkach obliczeniowych, opartej na opracowanych w niej solwerach zmiennokierunkowych z dyskretyzacją czasu typu implicite, a także do szybkiej weryfikacji poprawności nowych algorytmów numerycznych z tej dziedziny. Zaproponowany solwer jest w praktyce algorytmem grafowym, a typowe klastry chmurowe są zoptymalizowane pod kątem modelu zrównoleglenia danych (SIMD). Dlatego niezmierne ważna dla osiągnięcia akceptowalnej wydajności okazuje się również odpowiednia decentralizacja samego algorytmu i jego reprezentacja w postaci formalizmów grafowych pasujących do tego modelu, czemu poświęcona jest istotna część tej pracy. W szczególności zaprojektowano i zaimplementowano rozproszony solwer zmiennokierunkowy, służący do analizy izogeometrycznej problemów niestacjonarnych ze schematem dyskretyzacji czasu explicite i implicite zgodnie z grafową filozofią „Think Like a Vertex” (TLAV). W ramach pracy opisano również
przeprowadzane na jednej z publicznych chmur obliczeniowych eksperymenty numeryczne dla trzech przykładowych problemów inżynieryjnych - projekcji terenu, transportu ciepła i symulacji powodzi. Wyniki te wskazują na zasadność dalszych badań nad zastosowaniami chmur publicznych i nowoczesnych frameworków tak do analizy izogeometrycznej, jak i do innych przedsięwzięć naukowych.
Designing distributed alternating-directions solvers for Isogeometric Finite
Element Method Analysis
Isogeometric analysis, which attempts to bridge the gap between Computer-Aided Design (CAD) and Computer- Aided Engineering (CAE) has quickly become the subject of research of many scientists, who devised a number of fast direct solvers in the recent years. Special attention should be paid to the alternating directions solver algorithms, which decompose the matrix generated in the process of the discretization of two and three- dimensional computational problems into the Kronecker product of two or three multidiagonal matrices. In the case of two-dimensional problems, the multidiagonal structure allows to obtain linear computational complexity in the sequential version and logarithmic in the parallel version, which encouraged some scientists to explore the opportunities to leverage this property. All of the existing solutions were designed to work only in the shared memory environment, which limited their utility in solving larger problems in a reasonable time frame or ruled it out altogether for problems that were larger than the amount of available memory of a single computational node the scientist could use. There are practical engineering problems which by their nature lead to having to conduct simulations on large meshes that translate into a large number of linear equations, sometimes with billions of unknowns. They feature, for example, simulations conducted on cartographic data such as air pollution propagation or weather forecasts. Existing alternating directions solver algorithms are based exclusively on explicit time discretization techniques, which, being less computationally expensive than the implicit ones, mandate the use of denser discretization with the increase of the size of the computational mesh to retain stability. The existence of this relation in the explicit alternating-directions algorithms mandates computing thousands of redundant time steps, which significantly increases the computation time for already computationally-intensive problems. In this dissertation, we propose the algorithms for the decomposition of the non-stationary engineering problems into the sequences of systems of linear equations
with Kronecker product structure, which enabled the creation of alternating directions solvers with a linear computational cost. The devised method of decomposition of non-stationary engineering problems enables us to obtain the implicit integration schemes and, consequently, using longer discretization time steps while retaining unconditional stability of the method, which can be used to reduce the computation times by a large margin. Moreover, the classic way of solving the problems in the finite element method domain is predominantly based on decomposing the domain into isolated computational sub-problems, which are then solved concurrently using specialized computing clusters that are interfaced by the low-level Message Passing Interface (MPI) standard. This dissertation is the first attempt to utilize modem cloud computing architectures to solve a wide array of engineering problems with the isogeometric finite element method. As we attempt to prove in this work, these techniques can be used to conduct modem isogeometric analysis, as well as for rapid verification of the correctness of the new numerical algorithms from this area. It is the case because the proposed way of decomposition guarantees binary and balanced structure of the elimination tree, which allows communication- effective decomposition of the solver algorithm into computational tasks executed in a cloud environment. We argue that as the analyzed solver is a graph algorithm and typical cloud clusters are optimized towards the data- parallel programming model Single Instruction Multiple Data (SIMD), it is vital - for achieving acceptable performance - to decentralize the algorithm itself using graph formalisms which match this model, to which an essential part of this work is dedicated. In particular, we designed and implemented a distributed alternating directions solver for isogeometric analysis of non- stationary problems with explicit and implicit time integration schemes, compliant with „Think Like a Vertex” (TLAV) graph-processing philosophy. We run numerical experiments in one of the popular public clouds for three exemplary engineering problems - terrain projections, heat transfer and flood simulations. The results seem to indicate the validity of further exploration of applying public clouds and their modem frameworks for isogeometric analysis and other scientific use cases.
