Programowanie w modelu przesyłania komunikatów specyfikacja MPI. Krzysztof Banaś Obliczenia równoległe 1

Podobne dokumenty
Message Passing Interface

Programowanie współbieżne... (4) Andrzej Baran 2010/11

Programowanie Równoległe Wykład 4. MPI - Message Passing Interface. Maciej Matyka Instytut Fizyki Teoretycznej

Programowanie w modelu przesyłania komunikatów specyfikacja MPI, cd. Krzysztof Banaś Obliczenia równoległe 1

Architektury systemów równoległych

Programowanie Równoległe Wykład 5. MPI - Message Passing Interface. Maciej Matyka Instytut Fizyki Teoretycznej

Programowanie w standardzie MPI

Operacje grupowego przesyłania komunikatów. Krzysztof Banaś Obliczenia równoległe 1

Programowanie w modelu przesyłania komunikatów specyfikacja MPI. Krzysztof Banaś Obliczenia równoległe 1

Programowanie w modelu przesyłania komunikatów specyfikacja MPI, cd. Krzysztof Banaś Obliczenia równoległe 1

Rozszerzenia MPI-2 1

Operacje grupowego przesyłania komunikatów

Łagodne wprowadzenie do Message Passing Interface (MPI)

Programowanie współbieżne i rozproszone

Tryby komunikacji między procesami w standardzie Message Passing Interface. Piotr Stasiak Krzysztof Materla

Modele programowania równoległego. Programowanie z przekazywaniem komunikatów Message-Passing Programming Rafał Walkowiak dla PR PP

Modele programowania równoległego. Programowanie z przekazywaniem komunikatów Message-Passing Programming Rafał Walkowiak

Programowanie Równoległe Wykład 5. MPI - Message Passing Interface (część 3) Maciej Matyka Instytut Fizyki Teoretycznej


Kolejne funkcje MPI 1

Wprowadzenie do MPI. Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego Uniwersytet Warszawski

Programowanie Równoległe Wykład 6. MPI - Message Passing Interface. Maciej Matyka Instytut Fizyki Teoretycznej

Programowanie współbieżne Wykład 11 Wprowdzenie do MPI. Rafał Skinderowicz

Wprowadzenie do MPI. Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego Uniwersytet Warszawski

Tworzenie programów równoległych cd. Krzysztof Banaś Obliczenia równoległe 1

Wprowadzenie do MPI. Interdyscyplinarne Centrum Modelowania. Matematycznego i Komputerowego Uniwersytet Warszawski

Programowanie Współbieżne

wykład II uzupełnienie notatek: dr Jerzy Białkowski Programowanie C/C++ Język C - funkcje, tablice i wskaźniki wykład II dr Jarosław Mederski Spis

POZNA SUPERCOMPUTING AND NETWORKING. Wprowadzenie do MPI

Pierwsze kroki w środowisku MPI

Wstęp do Programowania, laboratorium 02

Systemy rozproszone. Państwowa Wyższa Szkoła Zawodowa w Chełmie. ** Instytut Fizyki Uniwersytet Marii Curie-Skłodowskiej w Lublinie

Programowanie współbieżne... (5)

Typy złożone. Struktury, pola bitowe i unie. Programowanie Proceduralne 1

Weryfikacja oprogramowania, korzystajacego z MPI

Pliki w C/C++ Przykłady na podstawie materiałów dr T. Jeleniewskiego

Wskaźniki. Programowanie Proceduralne 1

Procesy i wątki. Krzysztof Banaś Obliczenia równoległe 1

main( ) main( void ) main( int argc, char argv[ ] ) int MAX ( int liczba_1, liczba_2, liczba_3 ) źle!

Przykład MPI: zbiór Mandelbrota

Obliczenia równoległe i rozproszone. Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz

Zdalne wywołanie procedur. Krzysztof Banaś Systemy rozproszone 1

Podstawy programowania. Wykład Funkcje. Krzysztof Banaś Podstawy programowania 1

wykład III uzupełnienie notatek: dr Jerzy Białkowski Programowanie C/C++ Język C - zarządzanie pamięcią, struktury,

Interfejs MPI. Maciej Kasperski, Rafał Kozik. 16 kwietnia 2008

ISO/ANSI C - funkcje. Funkcje. ISO/ANSI C - funkcje. ISO/ANSI C - funkcje. ISO/ANSI C - funkcje. ISO/ANSI C - funkcje

Tworzenie programów równoległych. Krzysztof Banaś Obliczenia równoległe 1

Programowanie współbieżne... (2)

Zdalne wywoływanie procedur RPC. Dariusz Wawrzyniak 1

PRiR dla maszyn DM i sieci komputerowych. (PRiR, wykład 5)

Zdalne wywoływanie procedur RPC

Zdalne wywoływanie procedur RPC

Programowanie I C / C++ laboratorium 02 Składnia pętli, typy zmiennych, operatory

PARADYGMATY I JĘZYKI PROGRAMOWANIA. Programowanie współbieżne... (w13)

METODY I JĘZYKI PROGRAMOWANIA PROGRAMOWANIE STRUKTURALNE. Wykład 02

Zdalne wywoływanie procedur RPC 27. października Dariusz Wawrzyniak (IIPP) 1

Tworzenie programów równoległych. Krzysztof Banaś Obliczenia równoległe 1

Tworzenie programów równoległych. Krzysztof Banaś Obliczenia równoległe 1

Biblioteka PCJ do naukowych obliczeń równoległych

Programowanie równoległe i rozproszone. Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz

51. Metody komunikacji nieblokującej.

Języki i metodyka programowania. Wskaźniki i tablice.

Tablice i struktury. czyli złożone typy danych. Programowanie Proceduralne 1

Wywoływanie procedur zdalnych

// Liczy srednie w wierszach i kolumnach tablicy "dwuwymiarowej" // Elementy tablicy są generowane losowo #include <stdio.h> #include <stdlib.

Wywoływanie procedur zdalnych

IPC: Kolejki komunikatów

Programowanie współbieżne... (6)

Tablice, funkcje - wprowadzenie

Architektura sieci połączeń między procesorami, sterowanie komunikacjami, biblioteki komunikacyjne

Superkomputer z Raspberry PI

Programowanie współbieżne Wykład 12 MPI c.d. Rafał Skinderowicz

POZNA SUPERCOMPUTING AND NETWORKING. Wtki w MPI. Michał Sajkowski

Programowanie Proceduralne

Wywoływanie procedur zdalnych

Operacje kolektywne MPI

SUMA KONTROLNA (icmp_cksum) NUMER KOLEJNY (icmp_seq)

Co to jest sterta? Sterta (ang. heap) to obszar pamięci udostępniany przez system operacyjny wszystkim działającym programom (procesom).

Katedra Elektrotechniki Teoretycznej i Informatyki. wykład 12 - sem.iii. M. Czyżak

PROGRAMOWANIE SYSTEMÓW CZASU RZECZYWISTEGO

Struktury czyli rekordy w C/C++

część 8 wskaźniki - podstawy Jarosław Gramacki Instytut Informatyki i Elektroniki Podstawowe pojęcia

Podstawy programowania. Wykład 6 Złożone typy danych: struktury, unie. Krzysztof Banaś Podstawy programowania 1

Temat: Dynamiczne przydzielanie i zwalnianie pamięci. Struktura listy operacje wstawiania, wyszukiwania oraz usuwania danych.

Obsługa plików. Systemy Operacyjne 2 laboratorium. Mateusz Hołenko. 25 września 2011

Podstawy programowania. Wykład 7 Tablice wielowymiarowe, SOA, AOS, itp. Krzysztof Banaś Podstawy programowania 1

Podstawy algorytmiki i programowania - wykład 4 C-struktury

Programowanie I C / C++ laboratorium 03 arytmetyka, operatory

61 Topologie wirtualne

TABLICE W JĘZYKU C/C++ typ_elementu nazwa_tablicy [wymiar_1][wymiar_2]... [wymiar_n] ;

Uzupełnienie dot. przekazywania argumentów

76.Struktura oprogramowania rozproszonego.

Optymalizacja komunikacji w systemach rozproszonych i równoległych

Biblioteka standardowa - operacje wejścia/wyjścia

Java. język programowania obiektowego. Programowanie w językach wysokiego poziomu. mgr inż. Anna Wawszczak

Pobieranie argumentów wiersza polecenia

Równoległe algorytmy sortowania. Krzysztof Banaś Obliczenia równoległe 1

Wstęp do programowania

Podstawy programowania w języku C

dynamiczny przydział pamięci calloc() memset() memcpy( ) (wskaźniki!! )

Transkrypt:

Programowanie w modelu przesyłania komunikatów specyfikacja MPI Krzysztof Banaś Obliczenia równoległe 1

Model przesyłania komunikatów Paradygmat send receive wysyłanie komunikatu: send( cel, identyfikator_komunikatu, dane) odbieranie komunikatu: receive( źródło, identyfikator_komunikatu, dane) Uniwersalność modelu Wysoka efektywność i skalowalność obliczeń Programy MPMD lub SPMD Konkretne środowiska programowania z przesyłaniem komunikatów zawierają narzędzia uruchamiania programów (często także kompilowania i debugowania) Krzysztof Banaś Obliczenia równoległe 2

Interfejs programowania definiujący powiązania z językami C, C++, Fortran Standaryzacja (de facto) i rozszerzenie wcześniejszych rozwiązań dla programowania z przesyłaniem komunikatów (PVM, P4, Chameleon, Express, Linda) w celu uzyskania: przenośności programów równoległych kompletności interfejsu wysokiej wydajności obliczeń łatwości programowania równoległego Opracowany w latach: 1992 95 MPI 1 i 1995 97 MPI 2 Krzysztof Banaś Obliczenia równoległe 3

Podstawowe pojęcia: komunikator (predefiniowany komunikator MPI_COMM_WORLD) ranga procesu Podstawowe procedury: int MPI_Init( int *pargc, char ***pargv) int MPI_Comm_size(MPI_Comm comm, int *psize) int MPI_Comm_rank(MPI_Comm comm, int *prank) ( 0 <= *prank < *psize ) int MPI_Finalize(void) Krzysztof Banaś Obliczenia równoległe 4

#include mpi.h int main( int argc, char** argv ){ int rank, size, source, dest, tag, i; MPI_Init( &argc, &argv ); MPI_Comm_rank( MPI_COMM_WORLD, &rank ); MPI_Comm_size( MPI_COMM_WORLD, &size ); printf( Mój numer %d, w grupie %d procesów\n, rank, size); MPI_Finalize(); return(0); } Krzysztof Banaś Obliczenia równoległe 5

Procedury dwupunktowego (point to point) przesyłania komunikatów: MPI gwarantuje postęp przy realizacji przesłania (po prawidłowym zainicjowaniu pary send receive co najmniej jedna z nich zostaje ukończona) MPI gwarantuje zachowanie porządku przyjmowania (w kolejności wysyłania) dla komunikatów z tego samego źródła, o tym samym identyfikatorze i w ramach tego samego komunikatora MPI nie gwarantuje uczciwości przy odbieraniu komunikatów z różnych źródeł W trakcie realizacji procedur przesyłania może wystąpić błąd związany z przekroczeniem limitów dostępnych zasobów systemowych Krzysztof Banaś Obliczenia równoległe 6

Procedury dwupunktowego przesyłania komunikatów: Przesyłanie blokujące procedura nie przekazuje sterowania dalej dopóki operacje komunikacji nie zostaną ukończone i nie będzie można bezpiecznie korzystać z buforów (zmiennych) będących argumentami operacji int MPI_Send(void* buf, int count, MPI_Datatype dtype, int dest, int tag, MPI_Comm comm) int MPI_Recv(void *buf, int count, MPI_Datatype dtype, int src, int tag, MPI_Comm comm, MPI_Status *stat) Wykorzystanie zmiennej *stat do uzyskania parametrów odebranego komunikatu (m.in. MPI_Get_count) Krzysztof Banaś Obliczenia równoległe 7

#include mpi.h int main( int argc, char** argv ){ int rank, ranksent, size, source, dest, tag, i; MPI_Status status; MPI_Init( &argc, &argv ); MPI_Comm_rank( MPI_COMM_WORLD, &rank ); MPI_Comm_size( MPI_COMM_WORLD, &size ); if( rank!= 0 ){ dest=0; tag=0; } else { } MPI_Send( &rank, 1, MPI_INT, dest, tag, MPI_COMM_WORLD ); for( i=1; i<size; i++ ) { MPI_Recv( &ranksent, 1, MPI_INT, MPI_ANY_SOURCE, MPI_ANY_TAG, MPI_COMM_WORLD, &status ); printf( Dane od procesu o randze: %d (%d)\n, ranksent, status.mpi_source );} MPI_Finalize(); return(0); } Krzysztof Banaś Obliczenia równoległe 8

MPI typ danych spakowanych int MPI_Pack( void* buf_dane, int count, MPI_Datatype typ, void* buf_send, int buf_send_size, int* pozycja, MPI_Comm comm ) pakowanie count zmiennych o typie typ i o początku w pamięci buf_dane do bufora buf_send o rozmiarze buf_send_size; pozycja jest pozycją końca danych w buforze wysyłania, i jednocześnie rozmiarem spakowanej paczki int MPI_Unpack( void* buf_recv, int buf_recv_size, int* pozycja, void* buf_dane, int count, MPI_Datatype typ, MPI_Comm comm ) rozpakowanie paczki typ MPI_PACKED stosuje się tak jak predefiniowane typy elementarne i nowo tworzone typy, z tym że liczba zmiennych jest teraz rozmiarem paczki w bajtach (rozmiar można uzyskać używając MPI_Pack_size) Krzysztof Banaś Obliczenia równoległe 9

Typ MPI_PACKED przykład struct rekord{ double skalar; char znak; float wektor[3]; }; struct rekord baza[20000000]; int rozm, rozm_pakietu, pozycja; void* bufor; // lub char bufor[10000000000]; MPI_Pack_size(1, MPI_DOUBLE, MPI_COMM_WORLD, &rozmiar); rozm_pakietu = rozm; MPI_Pack_size(1, MPI_CHAR, MPI_COMM_WORLD, &rozmiar); rozm_pakietu += rozm; MPI_Pack_size(3, MPI_FLOAT, MPI_COMM_WORLD, &rozmiar); rozm_pakietu += rozm; bufor = (void *)malloc(3*rozm_pakietu); pozycja = 0; for( i=0; i<3; i++ ) { MPI_Pack(&baza[i].skalar,1,MPI_DOUBLE,bufor,3*rozm_pakietu,&pozycja,MCW); MPI_Pack(&baza[i].znak, 1, MPI_CHAR, bufor, 3*rozm_pakietu, &pozycja, MCW); MPI_Pack(&baza[i].wektor[0],3,MPI_FLOAT,bufor,3*rozm_pakietu,&pozycja,MCW); } MPI_Send( bufor, pozycja, MPI_PACKED, 1, 0, MPI_COMM_WORLD ); Krzysztof Banaś Obliczenia równoległe 10