Programowanie aplikacji równoległych i rozproszonych. Wykład 8

Transkrypt

1 Wykład 8 p. 1/?? Programowanie aplikacji równoległych i rozproszonych Wykład 8 Dr inż. Tomasz Olas olas@icis.pcz.pl Instytut Informatyki Teoretycznej i Stosowanej Politechnika Częstochowska

2 Plan wykładu Wykład 8 p. 2/?? Koncepcja standardu MPI, jego zalety i wady Komunikacja typu punkt-punkt Komunikacja grupowa Wstęp do standardu MPI-2 Mechanizm komunikacji jednostronnej i jego cechy charakterystyczne Sposoby dynamicznego zarzadzania procesami wprowadzone w standardzie MPI-2 Równoległe operacje wejścia/wyjścia MPI-IO i ich cechy Pozostałe rozszerzenia i modyfikacje wprowadzone w standardzie MPI-2

3 Koncepcja standardu MPI Wykład 8 p. 3/?? Standard MPI (Message Passing Interface) definije bibliotekę dla języków C/C++ i Fortran do tworzenia programów równoległych dla modelu z wymiana komunikatów. Program składa się z procesów (zazwyczaj działajacych na różnych jednostkach obliczeniowych - procesorach lub rdzeniach), które komunikuja się przy pomocy komunikatów. Standard MPI został stworzony dla komputerów masywnie równoległych, jednakże w chwili obecnej pozwala na efektywna realizację przetwarzania równoległego na klastrach, a nawet architekturach z pamięcia współdzielona. Zaleta standardu MPI jest wysoka wydajność oraz możliwość efektywnej obługi dużej liczby procesów. Wada jest stosunkowo złożony sposób tworzenia programów równoległych - należy rozdzielić zadania na poszczególne procesy oraz w jawny sposób zadać komunikację pomiędzy nimi.

4 Komunikacja typu punkt-punkt Wykład 8 p. 4/?? Podstawowym mechanizmem wymiany danych pomiędzy procesami jest komunikacja typu punkt-punkt: nadawca wysyła komunikat do odbiorcy przy pomocy funkcji MPI_Send, odbiorca odbiera komunikat od nadawcy, wykorzystujac do tego celu funkcję MPI_Recv Funkcje MPI_Send/MPI_Recv s wykonanie komunikacji. a blokujace - procesy czekaja na W standardzie MPI udostępniono również komunikację nieblokujac a: MPI_Irecv(...); // inicjalizacja nieblokującego odebrania komunikatau... // wykonanie pracy niezależnej od odbieranych danych MPI_Wait(...); // czekanie na zakończenie komunikacji... // wykonanie pracy, która jest zależna od odebranych danych

5 Komunikacja grupowa Wykład 8 p. 5/?? Komunikacja grupowa to taka, w której wystepuje grupa procesów. Każdy proces z grupy wywołuje taka sama funkcję. W standardzie MPI zdefiniowano następujace funkcje do komunikacji grupowej: MPI_Barrier - synchronizacja procesów w postaci bramki, MPI_Bcast - rozgłaszanie jeden do wszystkich, MPI_Gather - zbieranie wszyscy do jednego, MPI_Allgather - zbieranie wszyscy do wszystkich, MPI_Scatter - rozpraszanie jeden do wszystkich, MPI_Reduce - redukcja wszyscy do jednego, MPI_Alltoall - rozpraszanie wszyscy do wszystkich, MPI_Allreduce - redukcja połaczona z rozgłaszaniem.

6 Wykład 8 p. 6/?? MPI-2 - nowe elementy W standardzie MPI-2 wprowadzono trzy główne modyfikacje: równoległe wejście/wyjście, komunikacja jednostronna, dynamiczne zarzadzanie procesami. Ponadto w porównaniu do standardu MPI 1.1 uścislono standard MPI, uwzględniono przetwarzanie wielowatkowe, umożliwiono łaczenie modułów w napisanych w różnych językach, dodano rozszerzone operacje komunikacji zbiorowej.

7 Sprawdzenie wersji MPI Wykład 8 p. 7/?? Poczawszy od wersji 1.2 standardu MPI można przeprowadzić kontrolę wersji używnej biblioteki MPI. Podczas kompilacji można skorzystać z dyrektyw MPI_VERSION i MPI_SUBVERSION, które przechowuja odpowienio liczbę całkowita określajac a numer wersji i podwersji biblioteki MPI: #define MPI_VERSION 2 #define MPI_SUBVERSION 0 Podczas wykonania programu MPI można skorzystać z funkcji MPI_Get_version: int MPI_Get_version( int *version, int *subversion ) gdzie: version - przez ten argument zostaje zwrócony numer wersji, subversion - pozwala na pobranie numeru podwersji.

8 Dynamiczne zarzadzanie procesami Wykład 8 p. 8/?? W standardzie MPI-1 liczba procesorów była statyczna - ustalana w momencie uruchomienia programu i nie mogła zostać zmieniona. W standardzie MPI-2 wspiera dynamiczne zarzadzanie procesami: możliwość tworzenia nowych procesów w trakcie działania programu, jak również ich usuwania, udostępnia mechanizm umożliwiajacy nawiazanie komunikacji pomiędzy nowo utworzonymi procesami, a istniejac a aplikacja MPI, możliwość przesyłania zmiennych typu MPI_Info pomiędzy procesami. udostępnia również mechanizm umożliwiajacy nawiazanie komunikacji pomiędzy dwoma zupełnie odrębnymi aplikacjami MPI (nawet jeżeli jedna nie uruchomiła drugiej).

9 Uruchamianie procesów Wykład 8 p. 9/?? Aplikacja MPI może utworzyć nowy proces przy wykorzystaniu funkcji MPI_Comm_spawn i MPI_Comm_spawn_multiple będacych interfejsem do zewnętrznego zarzadcy procesów. Funkcja MPI_Comm_spawn umożliwia utworzenie nowych procesów i nawiazanie z nim komunikacji przy pomocy wspólnego komunikatora rodzica i potomka (intercommunicator). Funkcja MPI_Comm_spawn_multiple umożliwia utworzenie procesów wykorzystujacych różne pliki wykonywalne z takimi samymi, lub różnymi argumentami wywołania. Proces jest reprezentowany w MPI przez parę (group, rank),

10 Wykład 8 p. 10/?? Funkcja MPI_Comm_spawn Funkcja MPI_Comm_spawn: int MPI_Comm_spawn(char *command, char *argv[], int maxprocs, MPI_Info info, int root, MPI_Comm comm, MPI_Comm *intercomm, int array_of_errcodes[]) Stara się utworzyć maxprocs nowych identycznych kopii programu MPI przekazanego poprzez parametr command z argumentami wywołania znajdujacymi się w argv (może się to nie udać np. z powodu braku wolnych zasobów). Poprzez parametr intercomm zwracany jest inter-komunikator który zawiera procesy rodzica w grupie lokalnej (local group) oraz procesy potomne w grupie zdalnej (remote group). Utworzone procesy maja własny komunikator MPI\_COMM\_WORLD, który jest różny od tego, używanego przez procesy rodziców.

11 Wykład 8 p. 11/?? Funkcja MPI_Comm_get_parent Funkcja MPI_Comm_get_parent: int MPI_Comm_get_parent(MPI_Comm *parent) Jeżeli proces został stworzony przy pomocy funkcji MPI_Comm_spawn lub MPI_Comm_spawn_multiple funkcja MPI_Comm_get_parent zwraca dowi azanie do komunikatora rodzica (parent intracommunicator), w przeciwnym wypadku zwraca MPI_COMM_NULL. Intra-komunikator jest tworzony w momencie wywołania funkcji MPI_init i jest taki sam, jak intra-komunikator zwracany dla rodzica w momencie tworzenia procesu (zwracany w funkcjach MPI_Comm_spawn i MPI_Comm_spawn_multiple).

12 Tworzenie procesów - ograniczenia Wykład 8 p. 12/?? W chwili tworzenia programu trudno jest założyć, ile procesów może zostać utworzonych (jest do zależne od środowiska w jakim program będzie działał). W zwiazku z tym decyzja o liczbie uruchamianych procesów musi być podjęta w trakcie działania programu (co w wielu wypadkach możne znacznie skomplikować implementację). Można do tego celu wykorzystać funkcję MPI_Comm_get_attr: int size, flag; MPI_Comm_get_attr(MPI_COMM_WORLD, MPI_UNIVERSE_SIZE, &size, &flag); gdzie po wykonaniu funkcji: flag - określa, czy MPI obsługuje MPI_UNIVERSE_SIZE, size - to w takim wypadku zwraca liczbę procesów - 1, jakie moga być uruchomione (w przypadku size równego 1 nie może zostać uruchomiony żaden nowy proces). Ponadto ze względu na wydajność lepszym rozwiazaniem jest uruchomienie w momencie startu aplikacji (mpiexec) tyle procesów, ile jest konieczne, zamiast tworzyć je dynamicznie.

13 Master - przykład Wykład 8 p. 13/?? #include "mpi.h" #include <iostream> int main(int argc, char *argv[]) { MPI_Init(&argc, &argv); MPI_Comm everyone; MPI_Comm_spawn("worker", MPI_ARGV_NULL, 2, MPI_INFO_NULL, 0, MPI_COMM_SELF, &everyone, MPI_ERRCODES_IGNORE); } MPI_Finalize(); return 0;

14 Worker - przykład Wykład 8 p. 14/?? #include "mpi.h" #include <iostream> int main(int argc, char *argv[]) { MPI_Init(&argc, &argv); MPI_Comm parent; MPI_Comm_get_parent(&parent); if (parent == MPI_COMM_NULL) std::cerr << "Error - Brak rodzica!"; int size; MPI_Comm_remote_size(parent, &size); if (size!= 1) std::cerr << "Error - Cos poszlo nie tak"; } MPI_Finalize(); return 0;

15 Wykład 8 p. 15/?? Funkcja MPI_Comm_spawn int MPI_Comm_spawn(char *command, char *argv[], int maxprocs, MPI_Info info, int root, MPI_Comm comm, MPI_Comm *intercomm, int array_of_errcodes[]) gdzie: command - nazwa programu, z którego będa tworzone nowe procesy, argv - argumenty wywołania, jakie będa przekazane do tworzonych procesów, maxprocs - maksymalna liczba tworzonych procesów, info - zbiór par (klucz, wartość) informujacych system gdzie i jak maja zostać utworzone nowe procesy, root - identyfikator procesu tworzace procesy potomne, comm - intra-komunikator zawierajacy grupę utworzonych procesów, intercomm - inter-komunikator będacy uchwytem pomiędzy oryginalna grupa procesów, a grupa nowoutworzonych procesów, array_of_errcodes - tablica błędów o rozmiarze maxprocs (po jednym kodzie dla każdego procesu).

16 Funkcja MPI_Comm_spawn_multiple int MPI_Comm_spawn_multiple(int count, char *array_of_commands[], char **array_of_argv[], int array_of_maxprocs[], MPI_Info array_of_info[], int root, MPI_Comm comm, MPI_Comm *intercomm, int array_of_errcodes[]) gdzie: count - liczba komend (rozmiar talicy array_of_commands), array_of_commands - tablica z nazwami programów, z których będa tworzone nowe procesy, array_of_argv - tablica z argumentami wywołania, jakie będa przekazane do tworzonych procesów, array_of_maxprocs - maksymalna liczba tworzonych procesów dla poszczególnych komend, array_of_info - tablica zbiórów par (klucz, wartość) informujacych system gdzie i jak maja zostać utworzone nowe procesy, root - identyfikator procesu tworzace procesy potomne, comm - intra-komunikator zawierajacy grupę utworzonych procesów, intercomm - inter-komunikator będacy uchwytem pomiędzy oryginalna grupa procesów, a grupa nowoutworzonych procesów, array_of_errcodes - tablica błędów o rozmiarze maxprocs (po jednym kodzie dla każdego procesu). Wykład 8 p. 16/??

17 Komunikacja jednostronna Wykład 8 p. 17/?? W ramach standard MPI-1 udostępnione zostały mechanizmy komunikacji dwustronnej (nadawca i odbiorca jawnie uczestnicza w komunikacji): jeden proces wysyła komunikat (rodzina funkcji MPI_send), drugi proces odbiera komunikat (rodzina funkcji MPI_recv). W standardzie MPI-2 rozszerzono mechanizmy komunikacji poprzez dodanie trybu pamięci zdalnej RMA (Remote Memory Access) - jeden proces definiuje wszystkie parametry komunikacji (zarówno zwiazane z wysyłaniem danych, jak i ich odbieraniem). Komunikacja jednostronna wymaga jawnego użycia specjalnych funkcji synchronizujacych (w przypadku trybu blokujacego w MPI-1 synchronizacja była realizowana w sposób niejawny).

18 Operacje w komunikacji jednostronnej Wykład 8 p. 18/?? W MPI-2 wprowadzono trzy operacje komunikacji jednostronnej: MPI_Put (remote write) - zapisywanie danych, MPI_Get (remote read) - pobieranie danych, MPI_Accumulate (remote update) - modyfikacja danych (np. sumowanie).

19 Okno dostępu do pamięci Wykład 8 p. 19/?? Aby można było wykorzystać operacje komunikacji jednostronnej należy utworzyć tzw. okno dostępu do pamięci. Tworzenie okna polega na wydzieleniu fragmentu już zaalokowanej pamięci procesu, do której będa miały dostęp inne procesy w trybie RMA. Utworzenie okna dostępu do pamięci jest operacja komunikacji zbiorowej. Do tego celu służy funkcja MPI_Win_create: int MPI_Win_create(void *base, MPI_Aint size, int disp_unit, MPI_Info info, MPI_Comm comm, MPI_Win *win) Tworzone jest okno o rozmiarze size, zaczynajace się od base. Zwracany jest obiekt win, który jest wykorzystywany w operacjach komunikacyjnych. Do usunięcia utworzonego okna służy funkcja MPI_Win_free.

20 Zapis danych Wykład 8 p. 20/?? Funkcja służac a do zapisywania danych do pamięci innego procesu jest funkcja MPI_Put: int MPI_Put(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win) Proces zapisuje do pamięci procesu target_rank dane o rozmiarze origin_count znajdujace się pod adresem origin_addr. Dane zostaja umieszczone w pamięci procesu docelowego pod adresem określonym przez okno win oraz przesunięciem target_disp.

21 Odczyt danych Wykład 8 p. 21/?? Funkcja służac a do odczytywania danych z pamięci innego procesu jest funkcja MPI_Get: int MPI_Get(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win) Proces pobiera z pamięci procesu target_rank dane, które zostaja umieszczone w buforze origin_addr. Zapisywanych jest origin_count elementów typu origin_datatype. Dane zostaja pobrane z pamięci procesu target_rank spod adresu określonego przez pocz atek okna win i przesunięcia target_disp. Po wykonaniu operacji MPI_Get należy wykonać operację synchronizacji. Korzystanie z lokalnego bufora origin_addr należy odłożyć aż do zakończenia synchronizacji.

22 Wykład 8 p. 22/?? Funkcja MPI_Accumulate Funkcja MPI_Accumulate wykonuje określona operację (np. sumowanie) na zawartości lokalnego i docelowego bufora: int MPI_Accumulate(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Op op, MPI_Win win) Wynik operacji op wykonanej na lokalnym (origin_addr) i docelowym (określonym przez target_disp i win) buforze jest zapisywany w pamięci zdalnej. Można wykonywać wiele operacji akumulacji w tym samym czasie przez różne procesy korzystajac z tego samego bufora docelowego.

23 Wykład 8 p. 23/?? Synchronizacja Synchronizację RMA można podzielić na: z udziałem procesu zdalnego (active target), tylko z udziałem procesów źródłowych (passive target).

24 Wykład 8 p. 24/?? Funkcja MPI_Win_fence Funkcja MPI_Win_fence synchronizuje wszystkie operacje RMA wykonywane na danym oknie dostępu do pamięci: int MPI_Win_fence(int assert, MPI_Win win) win - okno, którego operacje będa synchronizowane, assert - umożliwia przekazanie wskazówek optymalizacyjnych. Jest operacja typu active target.

25 Pozostałe sposoby synchronizacji Wykład 8 p. 25/?? Poniższe funkcje umożliwiaja ograniczenie synchronizacji do minimum - jedynie pary procesów korzystajacych ze wspólnej pamięci uczestnicza w synchronizacji: MPI_Win_start, MPI_Win_wait, MPI_Win_post, MPI_Win_complete. Analogicznie, jak w przypadku modelu programowania z pamięcia współdzielona udostępniono funkcje, umożliwiajace procesowi zablokowanie korzystania z okna w danym czasie innym procesom (mechanizm zamków, rygli). Sa to operacje typu passive target: MPI_Win_lock, MPI_Win_unlock.

26 Wykład 8 p. 26/?? Funkcja MPI_Win_create int MPI_Win_create(void *base, MPI_Aint size, int disp_unit, MPI_Info info, MPI_Comm comm, MPI_Win *win) gdzie: base - adres, od którego będzie zaczynało się okno, size - rozmiar okna w bajtach, disp_unit - jednostka (czynnik skalujacy) do przesunięcia w bajtach, info - uchwyt do danych informacyjnych, comm - procesy wchodzace w skład tej grupy będa mogły korzystać z utworzonego okna pamięci, win - zwracany obiekt okna, wykorzystywany następnie w operacjach komunikacji jednostronnej.

27 Wykład 8 p. 27/?? Funkcja MPI_Win_free Funkcja MPI_Win_free usuwa obiekt okna dostępu do pamięci. Usuwanie obiektu okna może być wykonywane tylko po ukończonej synchronizacji. int MPI_Win_free(MPI_Win *win) gdzie: win - uchwyt do okna, które będzie usuwane.

28 Wykład 8 p. 28/?? Funkcja MPI_Put int MPI_Put(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win) gdzie: origin_addr - adres poczatkowy bufora źródłowego, origin_count - liczba elementów bufora źródłowego, origin_datatype - typ elementu bufora źródłowego, target_rank - identyfikator procesu, w którym będa zapisywane dane, target_disp - przesunięcie względem poczatku okna obszaru do którego będa zapisywane dane, target_count - liczba elementów bufora docelowego, target_datatype - typ elementu bufora docelowego, win - uchwyt do wcześniej utworzonego okna wykorzystywanego do komunikacji.

29 Wykład 8 p. 29/?? Funkcja MPI_Get int MPI_Get(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win) gdzie: origin_addr - adres poczatkowy bufora docelowego, origin_count - liczba elementów bufora docelowego, origin_datatype - typ elementu bufora docelowego, target_rank - identyfikator procesu, z pamięci którego będa odczytywane dane, target_disp - przesunięcie względem poczatku okna obszaru, z którego będa odczytywane dane, target_count - liczba elementów bufora źródłowego, target_datatype - typ elementu bufora źródłowego, win - uchwyt do wcześniej utworzonego okna wykorzystywanego do komunikacji.

30 Wykład 8 p. 30/?? Funkcja MPI_Accumulate int MPI_Accumulate(void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Op op, MPI_Win win) gdzie: origin_addr - adres poczatkowy bufora źródłowego, origin_count - liczba elementów bufora źródłowego, origin_datatype - typ elementu bufora źródłowego, target_rank - identyfikator procesu, w którym będa zapisywane dane, target_disp - przesunięcie względem poczatku okna obszaru do którego będa zapisywane dane, target_count - liczba elementów bufora docelowego, target_datatype - typ elementu bufora docelowego, op - typ operacji - moga być wykorzystywane te same operacje, co w przypadku MPI_Reduce: MPI_MAX, MPI_MIN, MPI_SUM, MPI_PROD, MPI_LAND, MPI_BAND, MPI_LOR, MPI_BOR, MPI_LXOR, MPI_BXOR, MPI_MAXLOC, MPI_MINLOC, win - uchwyt do wcześniej utworzonego okna wykorzystywanego do komunikacji.

31 Sekwencyjne wejście/wyjście Wykład 8 p. 31/?? Procesy wysyłaja dane do procesu 0, który zapisuje je do pliku

32 Proste rozwiazanie równoległego we/wy Wykład 8 p. 32/?? Najprostsze rozwiazanie równoległe - każdy proces posiada własny plik, z którego czyta i zapisuje dane. Zaletami sa pełna równoległość oraz duża wydajność. Wadami - obsługa wielu małych plików oraz problemy przy korzystaniu z plików dla innej liczby procesów.

33 Równoległe we/wy - motywacja Wykład 8 p. 33/?? Sekwenyjne we/wy jest proste, ale charakteryzuje się niska wydajnościa, w przypadku gdy jeden proces korzysta z jednego pliku lub problemami zwiazanymi z zarzadzeniem wieloma plikami, w przypadku gdy każdy proces wykorzystuje swój własny plik. Istnieje wiele aplikacji, które wymagaja aby: był możliwy równoległy dostęp do jednego pliku przez wiele procesów, dostęp mógł być realizowany jednocześnie, procesy mogły odczytywać te same dane, tworzony był pojedynczy plik, ze względu na konieczność współpracy z innymmi narzędziami. Rozwiazaniem jest równoległe wejście/wyjście.

34 Równoległe we/wy - prosty przykład Wykład 8 p. 34/?? Każdy proces odczytuje lub zapisuje dane korzystajac ze wspólnego pliku z/do przydzielonego mu fragmentu pliku.

35 Otwarcie i zamknięcie pliku Wykład 8 p. 35/?? Do otwarcia pliku służy polecenie MPI_File_open: int MPI_File_open(MPI_Comm comm, char *filename, int amode, MPI_Info info, MPI_File *fh) Otwiera plik o nazwie filename na wszystkich procesach z komunikatora comm. Jest operacja kolektywna - wszystkie procesy z grupy comm musza wywołać funkcję MPI_File_Open z takimi samymi wartościami amode i filename. Do zamknięcia pliku służy polecenie MPI_File_close: int MPI_File_close(MPI_File *fh) Zamykany jest wcześniej otwarty plik, na który wskazuje uchwyt fh. Przy zamykaniu pliku wykonywana jest synchronizacja.

36 Indywidualne pozycje pliku Wykład 8 p. 36/?? MPI obsługuje jedna pozycję pliku (przesunięcie względem poczatku pliku) dla procesu i uchwytu do pliku. Każdy proces może ustawić swoja pozycję pliku w taki sposób, aby czytał lub zapisywał przydzielony mu fragment pliku. Do ustawienia lokalnej pozycji pliku służy funkcja MPI_File_seek: int MPI_File_seek(MPI_File fh, MPI_Offset offset, int whence) Modyfikuje lokalna pozycję pliku zwiazanego z uchwytem fh w następujacy sposób: MPI_SEEK_SET - pozycja pliku jest ustawiana na offset, MPI_SEEK_CUR - pozycja pliku jest zwiększana o offset, MPI_SEEK_END - pozycja pliku jest ustawiana na koniec pliku i dodawany jest do niej offest (w takim przypadku offset powinien mieć wartość ujemna).

37 Czytanie z pliku Wykład 8 p. 37/?? Do czytania z pliku można wykorzystać funkcje MPI_File_read: int MPI_File_read(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status) Odczytuje count elementów typu datatype z pliku określonego przez uchwyt fh do bufora buf poczawszy od aktualnej lokalnej pozycji pliku. Wersja grupowa funkcji MPI_File_read jest funkcja MPI_File_read_all: int MPI_File_read_all(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status)

38 Zapis do pliku Wykład 8 p. 38/?? Zapis do pliku można zrealizować przy pomocy funkcji MPI_File_write: int MPI_File_write(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status) Zapisuje count elementów typu datatype do pliku określonego przez uchwyt fh z bufora buf poczawszy od aktualnej lokalnej pozycji pliku. Wersja grupowa funkcji MPI_File_write jest funkcja MPI_File_write_all: int MPI_File_write_all(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Status *status)

39 Operacje nieblokujace Wykład 8 p. 39/?? Istnieja nieblokujace wersje operacji do odczytu i zapisu: int MPI_File_iread(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Request *request) int MPI_File_iwrite(MPI_File fh, void *buf, int count, MPI_Datatype datatype, MPI_Request *request) Oczekiwanie na zakończenie operacji na pliku może być zrealizowane przez funkcje MPI_Wait przy wykorzystaniu parametru request (podobnie, jak w przypadku nieblokujacego odebrania komunikatu). Wykorzystywane sa one najczęściej do nałożenia w czasie obliczeń i operacji plikowych.

40 Inne rodzaje operacji plikowych Wykład 8 p. 40/?? W standardzie MPI zdefiniowano znacznie więcej funkcji i sposobów realizacji operacji na plikach, np: Funkcje czytajace i zapisujace dane z/do pliku z określeniem od którego miejsca w pliku dane maja być pobierane/zapisywane: MPI_File_read_at i MPI_File_write_at. Funkcje realizujace zapis/odczyt przy wykorzystaniu wspólnej pozycji pliku (pozycja pliku jest współdzielona przez wszystkie procesy z komunikatora comm podanego w funkcji MPI_File_open): MPI_File_read_shared i MPI_File_write_shared oraz ich odpowiedniki grupowe MPI_File_read_ordered i MPI_File_write_ordered. Inne funkcje.

41 Wykład 8 p. 41/?? Funkcja MPI_File_Open Do otwarcia pliku służy funkcja MPI_File_Open: int MPI_File_open(MPI_Comm comm, char *filename, int amode, MPI_Info info, MPI_File *fh) gdzie: comm - intra-komunikator - wszystkie procesy wchodzace w skład tego komunikatora będa miały dostęp do pliku, filename - nazwa otwieranego pliku, amode - tryb dostępu do pliku (MPI_MODE_RDONLY - tylko do odczytu, MPI_MODE_RDWR - do odczytu i zapisu, MPI_MODE_WRONLY - tylko do zapisu, MPI_MODE_CREATE - tworzy plik jeżeli nie istnieje, MPI_MODE_EXCL - bład, jeżeli plik już istnieje, MPI_MODE_DELETE_ON_CLOSE - usunięcie pliku przy zamknięciu, MPI_MODE_SEQUENTIAL - dostęp do pliku może być tylko sekwencyjny, MPI_MODE_APPEND - wszystkie wskażniki do pliku sa ustawiane na koniec pliku), info - obiekt info, fh - uchwyt do pliku,

42 Wykład 8 p. 42/?? Funkcja MPI_File_delete Do usunięcia pliku służy funkcja MPI_File_Delete: int MPI_File_delete(char *filename, MPI_Info info) gdzie: filename - nazwa usuwanego pliku, info - obiekt info, Jeżeli plik nie istnie zgłaszany jest bład (MPI_ERR_NO_SUCH_FILE).

43 Wykład 8 p. 43/?? Funkcja MPI_File_write_at int MPI_File_write_at(MPI_File fh, MPI_Offset offset, void *buf, int count, MPI_Datatype datatype, MPI_Status *status) gdzie: fh - uchwyt do pliku, do którego będa zapisywane dane, offset - przesunięcie względem poczatku pliku określajace, od którego miejsca będa zapisywane dane, buf - bufor z którego będa pobierane dane do zapisu, count - liczba zapisywanych elementów, datatype - typ zapisywanych elementów, status - obiekt statusu.

44 Wykład 8 p. 44/?? Funkcja MPI_File_read_at int MPI_File_read_at(MPI_File fh, MPI_Offset offset, void *buf, int count, MPI_Datatype datatype, MPI_Status *status) gdzie: fh - uchwyt do pliku, z którego będa odczytywane dane, offset - przesunięcie względem poczatku pliku określajace, od którego miejsca będa odczytywane dane, buf - bufor, do którego będa zapisywane dane odczytane z pliku, count - liczba odczytywanych elementów, datatype - typ odczytywanych elementów, status - obiekt statusu.