Programowanie równoległe i rozproszone. Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz

Transkrypt

1 Programowanie równoległe i rozproszone Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz 23 października 2009

2 Spis treści Przedmowa Wprowadzenie Pojęcia podstawowe Przykłady zastosowania obliczeń równoległych Miary efektywności zrównoleglenia Współczynnik przyśpieszenia oraz wydajność. Prawo Amdahla oraz Gustafsona-Barsisa Sprawność oraz skalowalność Architektury maszyn równoległych Najważniejsze trendy na rynku procesorów Klasyfikacja maszyn równoległych Maszyny typu SISD Maszyny typu SIMD Maszyny SM-SIMD Maszyny DM-SIMD Maszyny MIMD Maszyny SM-MIMD Maszyny DM-MIMD Klastry i gridy Klastry Gridy Wprowadzenie do programowania równoległego Podstawowe narzędzia służące do zrównoleglania Elementy programowania wektorowego oraz wykorzystującego karty graficzne (GPGPU) Obliczenia z wykorzystaniem wektorowych jednostek wykonawczych Obliczenia z wykorzystaniem kart graficznych Wprowadzenie Przykładowy program realizujący obliczenia z wykorzystaniem GPU Elementy programowania równoległego specyficzne dla maszyn z pamięcią wspólną Procesy i wątki Mechanizmy komunikacji i synchronizacji między zadaniami Wspólna pamięć Zamek Semafor Bariera Zmienne warunków i monitory Elementy programowania równoległego specyficzne dla maszyn z pamięcią lokalną Mechanizmy standardowe oparte na przesyłaniu komunikatów Mechanizmy wirtualnej pamięci wspólnej Elementy programowania równoległego specyficzne dla sieci komputerowych Wstęp Sieci lokalne Sieć globalna Podstawowe modele programów równoległych

3 6 Spis treści 5. Programowanie równoległe na komputerach wieloprocesorowych (wielordzeniowych) z pamięcią wspólną Identyfikatory, uchwyty i nazwy obiektów Funkcje systemowe systemu UNIX Procesy Potoki anonimowe najprostsze narzędzie do komunikacji i synchronizacji Potoki nazwane Mechanizmy komunikacji międzyprocesowej (IPC) Systemu V Pamięć wspólna Semafory w systemie UNIX Kolejki komunikatów Funkcje systemowe systemu MS Windows Procesy Potoki anonimowe Potoki nazwane Wątki Lokalne zmienne wątku Obiekt sekcja krytyczna Pamięć wspólna Kolejki komunikatów Semafory w systemie Windows Zamek Obiekt zdarzenie Oczekiwanie na wiele obiektów Biblioteka Pthreads Wątki Zmienne specyficzne, czyli prywatne zmienne wątków w pamięci globalnej Wątki a sygnały Zamek biblioteki Pthreads Zamek czytelnicy pisarze Bariera Zmienna warunku Programy przykładowe Wątki w języku Java Synchronizacja wątków Wątki w języku C# Synchronizacja wątków Dyrektywy zrównoleglające OpenMP Zmienne środowiskowe Dyrektywy środowiska OpenMP Funkcje biblioteczne Przykładowe programy wykorzystujące dyrektywy OpenMP Programowanie równoległe na komputerach wieloprocesorowych z pamięcią lokalną oraz w sieciach komputerowych oparte na przesyłaniu komunikatów Wprowadzenie Mechanizm gniazdek Przesyłanie danych bez tworzenia połączenia Ograniczenia komunikacji bezpołączeniowej Komunikacja przy użyciu połączeń

4 Spis treści Komunikacja synchroniczna i asynchroniczna Obsługa wielu gniazdek jednocześnie Przepytywanie Funkcja select Użycie wielu procesów lub wątków Komunikacja asynchroniczna Wady biblioteki gniazdek Interfejs MPI Rozpoczęcie i zakończenie korzystania z MPI w programie Komunikatory i grupy procesów Operacje na grupach Operacje na komunikatorach Komunikatory zewnętrzne Przesyłanie komunikatów Funkcje komunikacji nieblokującej Typy pochodne i pakowanie danych Ocena sposobów komunikacji rekomendacje Komunikacja kolektywna Synchronizacja za pomocą bariery Wysyłanie komunikatu do grupy procesów Rozsyłanie danych między członków grupy procesów Zbieranie danych od grupy procesów Komunikacja wszyscy do wszystkich Operacje redukcji Wirtualne topologie Programy przykładowe Podsumowanie Programowanie rozproszone w środowiskach sieciowych oparte na wywołaniach zdalnych procedur Wprowadzenie Architektura klient serwer RPC RMI (Java) CORBA Usługi sieciowe (Web Services) Współdziałanie Format WSDL Protokół SOAP Standard UDDI Architektura REST Zalety, wady i perspektywy Narzędzia RPC w środowisku.net Serwer Klient Wybór metody przesyłania danych Obiekty Singleton i dzierżawy Obiekty aktywowane przez klienta NET Remoting a Web Services Porównanie mechanizmów

5 8 Spis treści 8. Mechanizmy wirtualnej pamięci wspólnej Co-Array Fortran Kotablice i kowspółrzędne Identyfikacja obrazów Synchronizacja danych oraz sterowania w obrazach Funkcje kolektywne UPC Unified Parallel C Kompilacja i uruchamianie aplikacji Deklaracja tablic dzielonych, ich partycja i alokacja Zrównoleglanie pętli Tryby kontroli pamięci Synchronizacja Wskaźniki Kolektywne operacje wymiany danych Kolektywne operacje obliczeniowe Przykład sesji w klastrze Dyrektywy zrównoleglające OpenMP w klastrach Linda Przykłady równoległych metod obliczeniowych Równoległe algorytmy synchroniczne Rodzaje zrównoleglania Rozwiązywanie układów równań liniowych Zrównoleglenie kodu algorytm eliminacji Gaussa Zrównoleglenie metody algorytm eliminacji Gaussa-Jordana Zrównoleglenie zadania metoda blokowa Rozwiązywanie układów równań nieliniowych Zadania optymalizacji Algorytmy asynchroniczne Algorytmy całkowicie asynchroniczne Odwzorowania zwężające w normie maksimum Odwzorowania zachowujące porządek (izotoniczne) Obliczenia częściowo asynchroniczne Rozwiązywanie układów równań liniowych Algorytm PageRank szeregowania linków w wyszukiwarce Dodatek. Język Fortran D.1. Wprowadzenie D.2. Podstawowe elementy języka Fortran 90 i D.2.1. Standardowe typy danych D.2.2. Typy danych definiowane przez użytkownika D.2.3. Dynamiczne struktury danych D.2.4. Instrukcje sterujące D.2.5. Podprogramy i moduły D.3. Podstawowe elementy języka Fortran D.3.1. Obsługa danych i programowanie zorientowane obiektowo D.3.2. Współdziałanie z językiem C D.3.3. Wsparcie standardu IEEE dotyczącego liczb zmiennoprzecinkowych Bibliografia Skorowidz