Obliczenia równoległe i rozproszone. Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz

Transkrypt

1 Obliczenia równoległe i rozproszone Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz 15 czerwca 2001

2 Spis treści Przedmowa Część I Wiadomości podstawowe 9 1. Dlaczego obliczenia równoległe i rozproszone są ważne? Pojęcia podstawowe Przykłady zastosowań obliczeń równoległych Miary efektywności Współczynnik przyspieszenia oraz wydajność. Prawo Amdahla Sprawność oraz skalowalność Architektury maszyn równoległych Wstęp. Najważniejsze trendy na rynku maszyn równoległych Klasyfikacja maszyn równoległych Własności podstawowych typów architektur Maszyny typu SISD Maszyny typu SIMD Maszyny typu MIMD Parametry najpopularniejszych maszyn Oprogramowanie do obliczeń równoległych Podstawowe zasady (paradygmaty) programowania Elementy programowania równoległego na maszynach z pamięcią wspólną Elementy programowania równoległego na maszynach z pamięcią lokalną Elementy programowania równoległego w sieciach komputerowych Część II Narzędzia oprogramowania Narzędzia do programowania równoległego na maszynach wieloprocesorowych z pamięcią wspólną Wprowadzenie Procesy Identyfikatory, uchwyty i nazwy obiektów Wątki Lokalne zmienne wątku Mechanizmy komunikacji i synchronizacji między procesami Wspólna pamięć Potoki anonimowe (nienazwane) Potoki nazwane Kolejki komunikatów Semafory Inne obiekty synchronizacji w systemie Windows NT

3 4 Spis treści 5.6. Mechanizmy synchronizacji między wątkami jednego procesu Przykładowe zadanie obliczeniowe system IPC i wątki Narzędzia programowania równoległego na maszynach z pamięcią wspólną w języku Fortran Dyrektywy kompilatora Maszyny z pamięcią wspólną z rodziny Cray Nowy standard OpenMP Biblioteka PSL do realizacji obliczeń wielowątkowych Narzędzia do programowania na maszynach z pamięcią lokalną oraz w sieciach komputerowych Wprowadzenie Mechanizm gniazdek Przesyłanie danych bez tworzenia połączenia Ograniczenia komunikacji bezpołączeniowej Komunikacja przy użyciu połączeń Komunikacja synchroniczna Obsługa wielu gniazdek jednocześnie Przepytywanie Funkcja select Użycie wielu procesów lub wątków Komunikacja asynchroniczna Podsumowanie Pakiet PVM Maszyna wirtualna Konsola pakietu Tworzenie procesów użytkownika Przesyłanie komunikatów Grupy procesów Przykładowe zadanie obliczeniowe system PVM Interfejs MPI Komunikatory i grupy procesów Operacje na grupach Operacje na komunikatorach Komunikatory zewnętrzne Przesyłanie komunikatów Przydzielanie buforów Funkcje nieblokujące Typy pochodne i pakowanie danych Ocena sposobów komunikacji rekomendacje Komunikacja kolektywna Synchronizacja za pomocą bariery Wysyłanie komunikatu do grupy procesów Zbieranie danych od grupy procesów Rozsyłanie danych między członków grupy procesów Operacje redukcji Wirtualne topologie Rozszerzenia specyfikacji MPI Dynamiczne tworzenie procesów Podsumowanie HPF High Performance Fortran

4 Spis treści Linda Narzędzia do tworzenia obiektowych programów rozproszonych w środowiskach sieciowych Wprowadzenie Dlaczego obiektowe programowanie rozproszone? RPC RMI (Java) CORBA Podsumowanie Część III Metody obliczeniowe Algorytmy synchroniczne Rozwiązywanie układów równań liniowych Metoda eliminacji Gaussa Metoda eliminacji Gaussa Jordana Metoda blokowa Rozwiązywanie układów równań nieliniowych Programowanie nieliniowe Metody Newtona i zmiennej metryki Metoda sympleksu nieliniowego Dekompozycja zadań optymalizacji Algorytmy typu Jacobiego i Gaussa Seidela Hierarchiczne metody optymalizacji Optymalizacja hierarchiczna metodą bezpośrednią Optymalizacja hierarchiczna metodą cen Przykłady zastosowania metod optymalizacji hierarchicznej Programowanie dynamiczne Algorytmy asynchroniczne Algorytmy całkowicie asynchroniczne (chaotyczne) Model Bertsekasa Tsitsiklisa obliczeń całkowicie asynchronicznych Odwzorowania zwężające w ważonej normie maksimum Układy równań liniowych Układy równań nieliniowych Optymalizacja bez ograniczeń metodą największego spadku Zadania optymalizacji z ograniczeniami Sieci neuronowe z pamięcią (Hopfielda) Markowowskie procesy decyzyjne Odwzorowania zachowujące porządek Zadanie routingu w sieciach komputerowych Rozwiązywanie układów równań różniczkowych zwyczajnych zagadnienie Cauchy ego Rozwiązywanie układów równań różniczkowych zwyczajnych zagadnienie dwugraniczne Zadania optymalizacji przepływów w sieciach z nieliniowymi funkcjami kosztów Inne odwzorowania Metody zmiennej metryki Równoległe metody uczenia statycznych sieci neuronowych Obliczenia częściowo asynchroniczne Model Bertsekasa Tsitsiklisa obliczeń częściowo asynchronicznych. 367

5 6 Spis treści Przykłady zadań, które mogą być rozwiązane za pomocą obliczeń częściowo asynchronicznych Rozwiązywanie układów równań liniowych Sieci neuronowe z pamięcią (Hopfielda) Algorytmy porozumieniowe Równoważenie obciążenia w sieciach komputerowych lub w komputerze równoległym Optymalizacja gradientowa bez ograniczeń Optymalizacja gradientowa z ograniczeniami Algorytmy z gradientem stochastycznym Metody optymalizacji globalnej Metody deterministyczne Metody niedeterministyczne Metody poszukiwania losowego Algorytmy ewolucyjne Warunki stopu Symulacja rozproszona Wprowadzenie symulacja komputerowa Sekwencyjna symulacja dyskretna Rozproszona symulacja dyskretna Dekompozycja zadania symulacji Alokacja procesów logicznych Synchronizacja obliczeń Symulacja synchroniczna Symulacja asynchroniczna Techniki konserwatywne Algorytm CMB Schemat wykorzystujący okna Techniki optymistyczne Mechanizm z zawijaniem czasu Techniki hybrydowe Dodatek 407 Język Fortran D.1. Wprowadzenie D.2. Podstawowe elementy języka Fortran D.2.1. Standardowe typy danych D.2.2. Typy danych definiowane przez użytkownika D.2.3. Dynamiczne struktury danych D.2.4. Instrukcje sterujące D.2.5. Podprogramy i moduły D.3. Fortran 90 a równoległość Bibliografia Skorowidz