dr inż. TOMASZ DANEK dr inż. ANNA PIĘTA Akademia Górniczo-Hutnicza, Kraków dr hab. inż. ANDRZEJ LEŚNIAK Akademia Górniczo-Hutnicza, Kraków Instytut Technik Innowacyjnych EMAG, Katowice Efektywne zastosowanie modelowań numerycznych w sejsmologii górniczej W artykule przedstawiono metodę modelowania pełnych, sejsmicznych obrazów falowych, głównie pod kątem ich wykorzystania w sejsmice górniczej i sejsmologii. Postęp w tych dziedzinach miał miejsce dzięki dynamicznemu rozwojowi metod informatycznych i numerycznych. Zasadnicze znaczenie ma tu możliwość prowadzenia modelowań numerycznych w rozproszonych, heterogenicznych środowiskach obliczeniowych oraz w innych architekturach równoległych. W artykule przedstawiono efektywny algorytm numeryczny do modelowań pola falowego oraz dwie podstawowe metody jego implementacji w równoległych środowiskach komputerowych (metody dekompozycji trywialnej i domenowej). Zaprezentowano również przykład modelowań numerycznych dla rejonu LGOM oraz dyskusję efektywności obliczeń tego typu w zmieniających się co do wielkości heterogenicznych klastrach komputerów. 1. MODELOWANIA NUMERYCZNE W SEJSMICE GÓRNICZEJ Monitoring sejsmiczny prowadzony w większości zakładów wydobywczych zarówno podziemnych i odkrywkowych należy obecnie do rutynowych działań służb kopalnianych. Stosując sieć czujników powierzchniowych i podziemnych rejestrowane są drgania górotworu indukowane głównie prowadzoną działalnością górniczą. Zadaniem tak prowadzonej rejestracji jest próba odpowiedzi na szereg istotnych pytań, z których najważniejsze to: Jak kształtuje się zagrożenie tąpaniami, zawałami i wyrzutami metanu w rejonach wydobywczych? Jak prowadzić profilaktykę antytąpaniową w zagrożonych rejonach kopalń (głównie kiedy i gdzie prowadzić strzelania odprężające)? Jakie jest zagrożenie na powierzchni obszarów górniczych, a szczególnie zagrożenie budynków i infrastruktury? Właściwie prowadzona rejestracja sejsmiczności kopalnianej stanowi jedynie część wyzwań stojących przed służbami kopalnianymi. Prawidłowo przeprowadzona interpretacja zarejestrowanych zjawisk sejsmicznych stanowi równie duże, jeśli nie większe, wyzwanie w porównaniu do rejestracji drgań. Informacje o procesach dynamicznych jakie mogą być uzyskane z zarejestrowanych wstrząsów są wyjątkowo bogate i różnorodne. Dotyczą one głównie stanu naprężeń w górotworze i procesów prowadzących do jego rozładowywania poprzez proces emisji sejsmicznej. Procedura pasywnej tomografii jest dobrze opanowana i pozwala na odtworzenie rozkładu naprężeń w rejonach szczególnie narażonych na wstrząsy poeksploatacyjne. Jej prawidłowa implementacja wymaga jednakże sporej ilości założeń, jak choćby o mechanizmie wstrząsu oraz budowie ośrodka, w którym propaguje fala sejsmiczna. Sposób w jaki fale sejsmiczne propagują w ośrodku ma kluczowe znaczenie zarówno dla poprawnej lokalizacji źródeł wstrząsów, jak i dla określania przestrzennych parametrów geomechanicznych ośrodka. Określenie sposobu propagacji fal sejsmicznych odbywa się na drodze numerycznego modelowania propagacji fali. Jego rezultatem są syntetyczne rejestracje drgań w dowolnie wybranych punktach ośrodka.
Nr 11(477) LISTOPAD 21 19 Modelowania sejsmicznego pola falowego znajdują zastosowanie praktycznie na każdym etapie badań sejsmicznych jakie są prowadzone w kopalniach. Są one przydatne na etapie projektowania polowych pomiarów sejsmicznych uzyskane w wyniku modelowań rezultaty pozwalają między innymi na optymalne rozmieszczenie czujników drgań. Jak również wspomniano, modelowania są również niezbędne w procesie odtworzenia budowy ośrodka geologicznego, w którym odbywa się propagacja, a także jego wybranych parametrów geomechanicznych. Dla zmieniających się modeli ośrodka proces modelowania jest wielokrotnie powtarzany w celu otrzymania jak najlepszego dopasowania wymodelowanych rejestracji drgań do rejestracji polowych. Model ośrodka, dla którego otrzymane rejestracje są najbardziej zbliżone do zarejestrowanych, jest uznawany za model najlepiej aproksymujący ośrodek rzeczywisty. Rzeczywista budowa ośrodka geologicznego z reguły nie jest znana, a jego szczegółowe odtworzenie na podstawie pomiarów geofizycznych jest praktycznie niemożliwe. Składają się na to głównie przyczyny natury fizycznej, związane z rozdzielczością metod pomiarowych oraz matematyczne ograniczenia procedur inwersji. Z reguły dąży się do odzyskania parametrów ośrodków o uproszczonej geometrii typowymi przykładami mogą tu być ośrodki płaskorównoległe. W wypadku ograniczenia się do tej klasy ośrodków modelowania mogą być prowadzone dla stosunkowo prostych modeli jednowymiarowych 1D. Nawet jeśli modelujemy pełne pole falowe obliczenia dla tego typu ośrodków nie są złożone numerycznie nawet dla stosunkowo dużych rozmiarów modeli. Dążenie do odtworzenia rzeczywistej budowy ośrodka geologicznego zmusza do stosowania modelowań dla co najmniej dwuwymiarowych (2D) modeli ośrodka. Są to ośrodki, w których parametry geomechaniczne zmieniają się wzdłuż jednej z osi poziomych i wraz z głębokością. Granice poszczególnych warstw budujących tego typu ośrodki nie są, jak w poprzednim wypadku, równoległe. Modelowania numeryczne pełnego pola falowego dla ośrodków 2D są znacznie bardziej czasochłonne niż dla ośrodków 1D. Mimo dużych kosztów obliczeniowych modelowania 2D są bardzo popularne z uwagi na znacznie większe możliwości rekonstrukcji ośrodków geologicznych. Wraz z rozwojem sejsmicznych metod pomiarowych oraz z powszechnym użyciem sieci sejsmologicznych złożonych z kilkudziesięciu czujników pojawiła się konieczność prowadzenie analiz i modelowań dla ośrodków trójwymiarowych 3D. Również dopuszczenie możliwości istnienia anizotropii prędkości propagacji fal sejsmicznych wymusza zwiększenie ilości wymiarów modelowanego ośrodka, tak by umożliwić przestrzenną analizę rozchodzących się fal sejsmicznych. Przejście od modelowań 2D do 3D powoduje, iż ilość operacji zmiennoprzecinkowych rośnie w sposób znaczący na tyle, by praktycznie uniemożliwić realizację tego typu obliczeń na pojedynczym komputerze o architekturze szeregowej. Jedynym wyjściem jest prowadzenie obliczeń na komputerach wielordzeniowych lub na komputerach połączonych siecią w tzw. klastry. W artykule przedstawiono podstawowy algorytm numeryczny stosowany w modelowaniach pełnego pola falowego w złożonych ośrodkach geologicznych oraz dwie różne jego implementacje na klastrach komputerowych. Zestawiono szacunkową złożoność obliczeniową poszczególnych implementacji dla modeli dwuwymiarowych. Przedyskutowano podstawowe rozwiązania hardwarowe i softwarowe pozwalające na zwiększenie efektywności obliczeń tego typu. 2. TEORIA Dla dwumiarowego ośrodka izotropowego propagacja fal sejsmicznych definiowana jest poprzez równanie ruchu dane w postaci układu równań hiperbolicznych pierwszego rzędu (Virieux 1986): vx 1 xx t x z xx v t x xz vx vz t z x xz v z vz t t x z zz 2 2 gdzie: (v x, v z ) są składowymi wektora prędkości, 1 xz zz x z vz vx z x (τ xx, τ zz, τ xz ) są składowymi tensora naprężeń, ρ(x, z) jest gęstością, μ(x, z) i λ(x, z) są stałymi Lamego. Dokładne numerycznie i stosunkowo wydajne rozwiązanie powyższego układu równań można uzyskać poprzez zastosowanie metody różnic skończonych w wersji siatek przesuniętych (ang. staggered grid) w przestrzeni i czasie. W metodzie siatek przesuniętych (Rys. 1) zdefiniowane są osobne siatki obliczeniowe dla składowych wektora prędkości (v x, v z ) oraz dla składowych tensora naprężeń (τ xx, τ zz, τ xz ). Obie siatki obliczeniowe są dodatkowo przesunięte względem siebie w dziedzinie czasu.
2 MECHANIZACJA I AUTOMATYZACJA GÓRNICTWA t t v x v t t z t xx, zz xz Rys. 1. Schemat siatki o węzłach wzajemnie przesuniętych w czasie i przestrzeni Rys. 2. Schemat dekompozycji trywialnej (a) i dekompozycji domenowej (b) algorytmu modelowania pola falowego metodą siatek wzajemnie przesuniętych realizowanej dla trzech procesorów obliczeniowych i trzech różnych położeń źródła fali sejsmicznej Zastosowanie tego rodzaju siatki obliczeniowej pozwala nie tylko na określenie wartości składowych wektora prędkości i tensora naprężeń w każdym punkcie modelu, ale również zmniejsza wartości błędów związanych ze zjawiskiem dyspersji obserwowanym na siatce obliczeniowej. Dodatkowym atutem metody jest brak wpływu wartości współczynnika Poissona na wyniki modelowania (Levander A, 1988). Podstawową niedogodnością metody siatek przesuniętych jest znaczne wydłużenie czasu obliczeń w stosunku do metod wykorzystujących tradycyjne, nieprzesunięte siatki obliczeniowe. 3. TECHNOLOGIE OBLICZENIOWE Powszechnie stosowanym sposobem przyspieszenia czasochłonnych i skomplikowanych modelowań numerycznych jest wykorzystanie obliczeniowego środowiska równoległego. Efektywność wykorzystania środowiska wieloprocesorowego i stopień przyspieszenia obliczeń zależą głównie od zastosowanego sposobu podziału problemu obliczeniowego oraz od architektury maszyny równoległej, na której obliczenia mają być przeprowadzone. W stosunku do modelowań numerycznych wykorzystywanych do oceny drgań górotworu istnieją dwa główne sposoby dekompozycji obliczeń: dekompozycja trywialna (Rys. 2a) oraz dekompozycja domenowa (Rys. 2b). Testy wydajnościowe równoległych implementacji obu sposobów dekompozycji dla akustycznego oraz elastycznego równania falowego w przypadku klasycznej metody różnić skończonych były już tematem kilku publikacji (np. Danek, Franczyk, 24). Użycie metody siatek przesuniętych pociąga jednak za sobą istotne zmiany w komunikacji pomiędzy procesami, a tym samym wymaga nowych badań. Schematy zrównoleglenia modelowań numerycznych realizowanych w siatce o węzłach wzajemnie przesuniętych w czasie i przestrzeni przedstawiono na rysunku (Rys. 3).
Nr 11(477) LISTOPAD 21 21 a) b) program program proces1 proces2 proces3 proces4 proces1 proces2 proces3 proces4 proces4 proces3 proces2 proces1 proces4 proces3 proces2 proces1 konsola wynik konsola wynik Rys. 3. Schemat podziału i komunikacji przy dekompozycji trywialnej (a) i dekompozycji domenowej (b). (Pięta, 27 ) W dekompozycji domenowej cały obszar modelowań zostaje podzielony pomiędzy poszczególne procesory obliczeniowe. W dekompozycji trywialnej (zwanej także obrazowo 1 punkt strzałowy 1 procesor 1PS-CPU) każdy z procesorów modeluje zjawisko rozchodzenia się fali sejsmicznej w całym obszarze badań dla równych współrzędnych punktu strzałowego. Oba sposoby dekompozycji różnią się schematem komunikacji (w dekompozycji trywialnej nie występuje komunikacja pomiędzy poszczególnymi procesorami, podczas gdy w dekompozycji domenowej komunikacja pomiędzy poszczególnymi procesorami obliczeniowymi musi odbywać się po każdym kroku obliczeniowym) oraz rozmiarami poddomen obliczeniowych, który dla dekompozycji trywialnej jest stały, zaś dla dekompozycji domenowej zależy od ilości procesorów budujących równoległe środowisko obliczeniowe. Dodatkowo w przypadku dekompozycji trywialnej jeden z procesów (master) zajmuję się wyłącznie rozsyłaniem danych dla poszczególnych zadań oraz zapisywaniem wyników i nie bierze czynnego udziału w obliczeniach. Modelowania zostały zrealizowane z wykorzystaniem klastra obliczeniowego IBM Blade zbudowanego z 11 maszyn typu HS21 z dwoma czterordzeniowymi procesorami Intel Xenon (2. GHz) i 16 GB pamięci RAM oraz 3 maszyn typu HC1 z procesorami Intel Core2 (2.6 GHz) i 8 GB pamięci. Klaster wykorzystuje system kolejkowy Torque oraz moduł szeregujący Maui. W przypadku prezentowanych wyników testów wykorzystywano zawsze tylko rdzenie z jednej fizycznej maszyny. Miało to na celu uniknięcie wpływu opóźnienia związanego z obciążeniem przełącznika sieciowego wykorzystywanego w trybie ciągłym klastra. 4. IMPLEMENTACJA Modelowania propagacji fali sejsmicznej przeprowadzono dla Legnicko-Głogowskiego Obszaru Miedzionośnego w oparciu o geologiczny model monoklinalny charakterystyczny dla tego obszaru (za Oberc Serkiec, 197). Analizę wyników zarówno pod kątem geofizycznym jak i informatycznym przeprowadzono dla siedmiu wybranych lokalizacji ognisk wstrząsów. Parametry obliczeń przedstawiono w Tabeli 1:
22 MECHANIZACJA I AUTOMATYZACJA GÓRNICTWA Rys. 4. Zależność prędkości drgań cząstek gruntu dla różnych lokalizacji źródła wstrząsu (a) oraz rozkład maksymalnych prędkości drgań cząstek gruntu zarejestrowanych na powierzchni terenu dla położenia źródła fali nr 4 (b). (Pięta i in. 29). Tabela 1 Zestawienie parametrów obliczeń numerycznych Parametr Szerokość Głębokość Krok przestrzenny Krok czasowy rejestracji Długość rejestracji Częstotliwość źródła Wartość 575 [m] 15 [m] 1 [m] 2 [ms] 1 [s] 2 [Hz] Prędkości w poszczególnych warstwach geologicznych przedstawia Tabela 2:. Tabela 2 Prędkości propagacji fal sejsmicznych użyte do modelowań numerycznych Warstwa Prędkość [m/2] Czwartorzęd 11 Trzeciorzęd 15 Pstry piaskowiec 2 Czerwone iły 26 Gipsy i anhydryty 27 Wapienie i dolomity 33 Podłoże 45 Na rysunku 4a przedstawiono zależność prędkości drgań cząstek gruntu dla różnych lokalizacji źródła wstrząsu oraz rozkład maksymalnych prędkości drgań cząstek gruntu zarejestrowanych na powierzchni terenu (Rys. 4b). 5. WYNIKI I DYSKUSJA Wydajność obydwu sposobów dekompozycji modelowań numerycznych testowano, zakładając stały rozmiar zadania obliczeniowego przy zmieniającej się mocy obliczeniowej maszyny równoległej (zmiennej liczbie procesorów biorących udział w obliczeniach). Na rysunkach 5 i 6 zaprezentowano powszechnie stosowane metryki wydajności obliczeń równoległych, takie jak: czas, przyspieszenie oraz efektywność obliczeń. Na obu rysunkach przedstawiono zależność czasu obliczeń obu sposobów dekompozycji (dla 7 punktów strzałowych) w zależności od liczby procesorów realizujących modelowania numeryczne. Dla dekompozycji 1PS-1CPU obliczenia dla dwóch procesów są w rzeczywistości przypadkiem szeregowym, gdyż modelowania dla wszystkich źródeł wykonywane są na jednym procesorze, podczas gdy drugi zajmuje się jedynie przysyłaniem parametrów modelowań oraz zapisywaniem wyników. Oznacza to, że uzyskane przyspieszenie dla tego przypadku wynosi 1. W przypadku dekompozycji domenowej dodanie drugiego procesora powoduje wzrost czasu obliczeń. Związane jest to z pojawieniem się komunikacji pomiędzy procesorami oraz konieczności synchronizacji procesów po każdym kroku czasowym. Dalej wraz ze wzrostem mocy obliczeniowej środowiska równoległego obserwuje się ciągły, monotoniczny spadek czasu obliczeń dla dekompozycji domenowej. Krzywa spadku czasu obliczeń dla dekompozycji 1PS 1CPU maleje w sposób schodkowy. Związane jest to z wykonywaniem zadań obliczeniowych w określonej ilości rzutów. I tak dla jednego procesora roboczego takich rzutów będzie 7, dla dwóch 4 (3 rzuty po 2 źródła + 1), dla trzech 3 itd. Miarą korzyści wynikających ze zrównoleglenia aplikacji jest przyspieszenie liczone jako stosunek czasu przebiegu programu na jednym komputerze do czasu przebiegu programu na P komputerach.
czas [s] efektywność czas [s] przyspieszenie Nr 11(477) LISTOPAD 21 23 gdzie: T(1) S( T( T(1) czas przebiegu programu na jednym komputerze, T( czas przebiegu programu na P komputerach. Wykres krzywych przyspieszenia obu typów dekompozycji przedstawiono na rysunku 5. Przy dekompozycji domenowej, krzywa przyspieszenia charakteryzuje się monotonicznym wzrostem, krzywa przyspieszenia aplikacji w podziale jeden punkt strzałowy jeden procesor, wzrasta skokowo. 7 8 6 5 domenowa 1PS-1CPU przyspieszenie - domenowa przyspieszenie - 1PS-1CPU 7 6 5 4 4 3 3 2 2 1 1 2 3 4 5 6 7 8 ilość procesorów Rys. 5. Czas obliczeń i przyspieszenie pomierzone dla dekompozycji domenowej i dekompozycji 1PS-1CPU w zależności od ilości procesorów budujących równoległe środowisko obliczeniowe 7 6 5 domenowa 1PS-1CPU efektywność - domenowa efektywność - 1PS-1CPU 1.9.8.7 4.6.5 3.4 2.3.2 1.1 2 3 4 5 6 7 8 ilość procesorów Rys. 6. Czas obliczeń i efektywność pomierzone dla dekompozycji domenowej i dekompozycji 1PS-1CPU w zależności od ilości procesorów budujących równoległe środowisko obliczeniowe Wykres zmian efektywności (Rys.6) wykorzystania procesorów w obliczeniach algorytmu jest stosunkiem prędkości do ilości procesorów, na których przeprowadzone były obliczenia. T(1) e( P T( gdzie: T(1) czas przebiegu programu na jednym komputerze, T( czas przebiegu programu na P komputerach.
24 MECHANIZACJA I AUTOMATYZACJA GÓRNICTWA W przypadku dekompozycji domenowej efektywność dla 2 do 8 procesorów jest generalnie stabilna i kształtuje się na poziomie 4-5%. Są to typowe wyniki dla programów równoległych wykorzystujących dekompozycję domenową przy równoczesnej konieczności ciągłej wymiany danych oraz synchronizacji. W przypadku użycia więcej niż 6 procesorów wyraźnie widoczny jest spadek efektywności związany z rosnącą ilością niezbędnych komunikacji. Oznacza to, że wariant domenowy osiąga maksymalną efektywność około 5 % dla 4 do 6 procesorów. W przypadku dekompozycji 1PS-1CPU wyniki wglądają inaczej. Wariant ten jest silnie zależny od właściwego doboru ilości procesorów do ilości zadań. W przypadku najlepszym (gdy ilość procesorów odpowiada ilości źródeł) efektywność sięga 9%. Jest to wynik rzadko spotykany w przypadku tego rodzaju obliczeń. Jednak dla źle dobranej ilości zasobów (7 procesorów) wynik spada do 5%. Związane jest to z faktem, że w drugiej fazie obliczeń z siedmiu procesorów zadanie wykonuje zaledwie jeden (pierwszy rzut: 6 źródeł drugi: 1). Jednak nawet w tym przypadku oszczędność związana z minimalizacją komunikacji jest tak duża, że wyniki porównywalne są z najlepszymi rezultatami dekompozycji domenowej. Oczywiście nie oznacza to, że wariant domenowy nie powinien być rozwijany. Największą słabością dekompozycji 1PS-1CPU jest konieczność zmieszczenia całego modelu do pamięci jednego komputera. W przypadku dużych modeli, a w szczególności anizotropowych modeli 3D jest to absolutnie niemożliwe. 6. PODSUMOWANIE Analizy przedstawione w artykule prowadzą w sposób oczywisty do co najmniej dwóch wniosków istotnych z punktu widzenia zastosowań praktycznych. 1) Rozwój masowych obliczeń sejsmologii górniczej i inżynierskiej nie jest możliwy, gdy obliczenia te będą prowadzone na komputerach pracujących w sposób sekwencyjny jedynym wyjściem jest użycie na szerszą skalę obliczeń równoległych. 2) Biorąc pod uwagę koszty prowadzenia obliczeń jedyną realną realizacją praktyczną tego typu modelowań jest wykorzystanie obliczeń rozproszonych w heterogenicznej sieci wieloprocesorowych komputerów połączonych siecią o wysokiej przepustowości. Warto jeszcze raz podkreślić, że nowoczesne rozwiązania hardewareowe z upływem czasu stają się bardzo atrakcyjne z uwagi na szybko malejące koszty zakupu odpowiedniego sprzętu i jedynym problemem, jaki należy rozwiązać jest odpowiednie oprogramowanie, pozwalające realizować omawiane powyżej zadania. Obliczenia równoległe realizowane zarówno na pojedynczym, wieloprocesorowym (wielordzeniowym) komputerze jak i na klastrze komputerów jeszcze niedawno były w sferze zainteresowania specjalistów z wybranych dziedzin, głównie o profilu akademickim lub naukowym. W chwili obecnej lawinowy wzrost zapotrzebowania na prowadzenie obliczeń w czasie rzeczywistym w wielu gałęziach gospodarki i przemysłu, w tym przemysłu surowcowego i wydobywczego, wymusza szersze zainteresowanie technologią obliczeń równoległych prowadzonych w środowiskach heterogenicznych i wdrażaniem tych rozwiązań do codziennej praktyki przemysłowej. Literatura 1. Oberc J., Serkies J. 197: Geneza i rozwój Lubiąskiego Złoża Miedzi, prace Wrocławskiego Towarzystwa Naukowego, Seria B nr 16 Wrocław. 2. Virieux J. 1986: P-SV wave propagation in heterogeneous media: Velocity-stress finite-difference method. Geophysics, 51-4, 889-91. 3. Levander A., 1988: Fourth-odrer finie-difference P-SV seismograms, Geophysics, 53-11, 1425-1436. 4. Pięta, A. 27: Zastosowanie obliczeń w środowisku rozproszonym w wybranych zagadnieniach Nauk o Ziemi, AGH, Kraków (praca doktorska). 5. Pieta A., Danek T., Leśniak A., 29, Numerical modeling of ground vibration caused by underground tremors in the LGOM mining area, Gospodarka Surowcami Mineralnymi 25 (3): 261-271. 6. Danek T., Franczyk A. 24: Parallel and distributed seismic wave field modeling, Task Quarterly 8, No 4, 573-581. Recenzent: dr hab. inż. Bogdan Cianciara