Windows HPC oraz aplikacje rozproszone, wielowątkowe i wielordzeniowe

Transkrypt

1 Windows HPC oraz aplikacje rozproszone, wielowątkowe i wielordzeniowe Tomasz Kopacz III Konferencja MIC Nowoczesne technologie bliŝej nas Poznań,,

2 Agenda

3 Niemal 100% procesorów ma >=2 rdzenie

4 Czemu jest to waŝne? Wielordzeniowość to SZANSA Pozwala na nowy typ aplikacji, istotną zmianę jakościową w obrębie end-user experiences WyróŜnienie się Aplikacje rzeczywiście szybsze Wielordzeniowość to teŝ pewne wyzwanie i zakłócenie stanu obecnego Wiedza deweloperów Testowanie Czy tak samo się zachowa na 2,4,8,16 rdzeniach? Czy na pewno szybko? Nowe błędy Oprogramowanie ignorujące mechanizmy zrównoleglania z czasem będzie mniej konkurencyjne

5 Wyzwania Identyfikacja obszarów które moŝna zrównoleglić Opisanie zasad podziału (dane i/lub funkcje) Optymalny podział czasu procesorów / rdzeni Efektywność; ale teŝ multitasking Biblioteki i framework równoległy Narzędzia Migracja kodu sekwencyjnego

6 Parallel Computing Initiative Microsoft s Parallel Computing Initiative encompasses the vision, strategy, and innovative technologies for delivering transformative, natural, and immersive personal computing experiences, harnessing the compute power of manycore architectures.

7 APLIKACJE WIELORDZENIOWE / WIELOPROCESOROWE Programowanie klasyczne

8 Programowanie klasyczne Zdanie się na system operacyjny Wielozadaniowość ma wbudowaną ZałoŜenie: wiele równoległych zadań Czyli kaŝde ma swój czas Problem: jeden wątek/zadanie ma się liczyć szybciej API i mechanizmy uruchamiania zadań w tle : BackgroundWorker, Thread, Synchronizacja klasyczna I to główny praktyczny problem

9 Przykład: przejście po drzewie Sekwencyjne static void ProcessNode<T>(Tree<T> tree, Action<T> action) { if (tree == null) return; } ProcessNode(tree.Left, action); ProcessNode(tree.Right, action); action(tree.data); ThreadPool (wersja prosta) static void ProcessNode<T>(Tree<T> tree, Action<T> action) { if (tree == null) return; } using (ManualResetEvent mre = new ManualResetEvent(false)) { ThreadPool.QueueUserWorkItem(delegate { ProcessNode(tree.Left, action); mre.set(); }); ProcessNode(tree.Right, action); action(tree.data); mre.waitone(); } CięŜka synchronizacja Interfejs + coś Blokowanie wątku

10 Przykład: drzewo, v 2 ThreadPool (lepiej ale nie perfekcyjne): static void ProcessNode<T>(Tree<T> tree, Action<T> action) { IEnumerator<T> enumerator = tree.getenumerator(); using (ManualResetEvent mre = new ManualResetEvent(false)) { int waitcount = Environment.ProcessorCount; WaitCallback wc = delegate { while(true) { T item; lock (enumerator) { if (!enumerator.movenext()) break; item = enumerator.current; } action(item); } Auć (1) Blokada Komplikacja; nie lokalne Jawna synchronizacja } } }; if (Interlocked.Decrement(ref waitcount) == 0) mre.set(); for (int i = 0; i < Environment.ProcessorCount - 1; i++) { ThreadPool.QueueUserWorkItem(wc); } wc(null); mre.waitone(); Auć (2) widzi tu ALGORYTM? Czy ktoś widzi tu ALGORYTM?

11 Klasyczne programowanie asynchroniczne BCL: Wiele operacji ma wersje asynchroniczne Para BeginOperation, EndOperation; Callback gdy operacja się zakończy / będzie błąd BeginRead(buffer, offset, count, callback, state) EndRead(asyncResult) Ale: Callback moŝe być wołany z dowolnego wątku Wywołującego (synchroniczne zakończenie) Nowy z puli (zagłodzenie w najgorszym razie) Brak czeka by powiedzieć Ŝe skończył Koordynacja - niejasna Sekwencje (zagnieŝdŝone delegaty, niejawne przekazanie sterowania); Rekurencja (ping-pong pomiędzy callbacka) Co z częściowym niepowodzeniem, jak ponowić operację Brak kontroli nad wątkami (ile/jak)

12 APLIKACJE WIELORDZENIOWE / WIELOPROCESOROWE Visual Studio 2010 i.net 4.0

13 Główne problemy Niech do zrównoleglenia wystarczy ekspert domenowy (a nie specjalista od zrównoleglania) Wniosek: proste koncepcje WywaŜyć skalowalność z łatwością uŝycia i testowalnością Dane a przepływ zadań a blokady a wydajność Zadanie Integracja współbieŝności w narzędzia mainstream Narzędzia i środowisko developerskie + testy Zapakować równoległość w komponenty Najlepiej bez zmian w sposobie uŝycia MoŜe: drobne zmiany

14 Visual Studio 2010 i.net 4.0 Narzędzia Model programowania Parallel Debugger Toolwindows Profiler Concurrency Analysis PLINQ Task Parallel Library WspółbieŜne runtime Thread Pool Task Scheduler Data Structures Data Structures Parallel Pattern Library Agents Library Task Scheduler (+ API do rozszerzeń!) Resource Manager Resource Manager System operacyjny Wątki Kod zarządzalny Kod natywny Narzędzia

15 Parallel Extensions.NET 4.0 Biblioteka.NET (brak zmian w kompilatorze); dowolny język.net Podstawowe mechanizmy Imperatywne zrównoleglenie zadań i przetwarzania danych (Task Parallel Library) Deklaratywne zrównoleglenie przetwarzania danych (PLINQ) Struktury i kolekcje synchronizacyjne (Coordination Data Structures) Wspólny model obsługi wyjątków Izolowani agenci do uruchamiania współbieŝnego (Asynchronous Agents Library)

16 Normalne C# For (int i=0; i< m1.rows; i ++) { for (int j = 0; j < m2.columns; j++) { result[i, j] = 0; for (int k = 0; k < m1.columns; k++) { result[i, j] += m1[i, k] * m2[k, j]; } }

17 Parallel C# Parallel.For(0, m1.rows, i => { for (int j = 0; j < m2.columns; j++) { result[i, j] = 0; for (int k = 0; k < m1.columns; k++) { result[i, j] += m1[i, k] * m2[k, j]; } }

18 Kilka przykładów Parallel::For(0, rrd->imageheight, gcnew Action<int,ParallelState^>(rrd, &RenderImageData::RenderRow)); Parallel.Invoke( () => QuicksortParallel(arr, left, pivot - 1), () => QuicksortParallel(arr, pivot + 1, right)); _lasttask = Task.StartNew(delegate { Bitmap bmp = MandelbrotGenerator.Create(...);... // narysuj }); var left = Future.Create(() => SumParallel(tree.Left, curdepth+1)); int right = SumParallel(tree.Right, curdepth+1);

19 Task Parallel Library - Task Wątek w kodzie zarzadzalnym Lepszy podział zasobów Kolekcja wątków uruchamia kolekcję zadań Scheduler z małym narzutem Efektywne algorytmy do zarządzania zadaniami TaskScheduler; Rozkład oparty o policy Blokady pomiędzy schedulerami Wiele instancji schedulera Zarządzanie zasobami Wspólna pula zasobów Dynamiczny rozkład w oparciu o analizę aktualnego stanu i policy System.Threading.Tasks Task: Relacja rodzic dziecko; oczekiwanie, anulowanie, kontynuacja Task<TResult>: Tasks który zwraca wynik (realizacja Futures)

20 Coordination Data Structures Kolekcje Thread-safe ConcurrentStack<T> ConcurrentQueue<T> Wymiana danych BlockingCollection<T> Synchronizacja; operacje wieloetapowe CountdownEvent Blokady ManualResetEventSlim SemaphoreSlim SpinLock / SpinWait Inicjalizacja LazyInit<T> WriteOnce<T>

21 (P)LINQ var results = from baby in babies where baby.name == queryname && baby.state == querystate && baby.year >= yearstart && baby.year <= yearend orderby baby.year ascending select baby; Obsługa.NET Standard Query Operators Inteligentne i automatyczne partycjonowanie danych Wystarczy IEnumerable<T> Ale moŝe być implementowane przez innych providerów (bazy danych itp.)

22 WspółbieŜność w kodzie.net Aplikacja.NET Deklaratywne zapytania C# VB C++ Równoległe algorytmy Partycjon. danych Chunk Range Hash Striped Repartitioning Task Parallel Library (TPL) PLINQ Execution Engine Analiza kwerendy Typy operatorów Map Scan Build Search Reduction Łączenie Async (potok) Synch Order Preserving Sorting ForAll Coordination Data Structures F# Inne kompil..net PLINQ Task API Task Parallelism Futures Scheduling Thread-safe Collections Synchronization Types Coordination Types IL TPL lub CDS Wątki Proc 1 Proc p

23 Debugger i testowanie Debugger zna pojęcie Task TakŜe działa dla klasyczny wątków Narzędzia Analiza utylizacji procesorów/rdzeni Analiza blokad w wątkach ZaleŜności na poziomie I/O dysku + Pewne rozwiązania z Microsoft Research 23

24 Wsparcie dla Task Kod zarządzalny i natywny Parallel Tasks Parallel Stacks TeŜ obsługuje tradycyjne wątki

25 APLIKACJE WIELORDZENIOWE / WIELOPROCESOROWE Przyszłość

26 RaceTrack (MSR) ck RaceTrack wykrywa tzw. dynamic race w kodzie zarządzalnym; sytucje gdy błąd się ujawnia przy drobnych przesunięciach czasowych w wątkach. Wykonuje instrumentalizację kodu i wykrywa podejrzane wzorce dostępu do współdzielonych danych (nie jest to 100% pewne)

27 Chess (MSR) CHESS to narzędzie do wykrywania tzw. Heisenbugs i wskazywania w jakiej konfiguracji wątków one się pojawiają

28 UI do CHESS

29 Transakcyjna pamięć Określić intencje: 1.Ma działać w izolacji od innych zadań 2.Ma nic nie zmieniać gdy jest błąd Nie jest to pełny ACID

30 APLIKACJE WIELORDZENIOWE / WIELOPROCESOROWE A moŝe inne podejście: CCR Concurrency and Coordination Runtime

31 CCR zasada działania Przesyłane są komunikaty które aktywują zadania Komunikaty są wysyłane do portów Port<int> myport = new Port<int>() ; myport.post (42) ; Port zawiera Strukturę FIFO do przechowywania przekazanych wartości Arbiter Odpowiada za zrównoleglenie operacji odbierających komunikaty z portu Zawiera lista delegatów które mogą być uruchomione dla oczekujących komunikatów Implementuje często spotykane konstrukcje współbieŝne jak join, przeploty itp. (przy przekazywaniu sygnałów/komunikatów)

32 CCR - Konfiguracja Port<int> p = new Port<int>(); 3 Arbiter delegate(int n) {/*handler*/} Kolejka Dispatchera Porty i TYP Arbiter zainicjowany i aktywuje port Sygnatura handlera musi pasować do typu portu Arbiter.Activate(q, Arbiter.Receive(true, p, delegate(int n) { /*kod do wykonania...*/ })); DispatcherQueue q = new DispatcherQueue("", d); 4 2 Dispatcher Dispatcher d = new Dispatcher(0, ""); 1

33 Prymitywy koordynacyjne CCR (technicznie metody obiektu Arbiter) Scheduler (bez portu) Obsługa portu Wiele portów

34 CCR a algorytm obliczeń using (DispatcherQueue q = new DispatcherQueue()) { PortSet<Success, Failure> ps = new PortSet<Success, Failure>(); int n = 10; Arbiter.Activate(q, Arbiter.MultipleItemReceive(ps, n, delegate(icollection<success> s, ICollection<Failure> f) { // Akcja po zakończeniu zadań })); for (int i = 0; i < n; ++i) Arbiter.Activate(q, Arbiter.FromHandler( delegate() { try { // praca współbieżna p.post(new Success(...); } catch(exception ex) p.post(new Failure(ex)); })); }

35 Kod asynchroniczny z iteratorami void Start() { Arbiter.Activate(q, Arbiter.FromIteratorHandler(Handler)); } IEnumerator<ITask> Handler() { PortSet<Success, Failure> ps = new PortSet<Success, Failure>(); service.post(new WorkItem(ps)); // wyślij asynchroniczną pracę // Czekaj na zakończenie bez blokowania wątków yield return Arbiter.Choice(ps, delegate(success s) {... }, delegate(failure f) {... } ); // Wyślij kolejne zadanie service.post(new WorkItem(ps));... yield break; // koniec i określenie co można wykonywać równolegle }

36 Połączenie klasycznego BCL i CCR UŜyć CCR do Modelowania współbieŝnych procesów Koordynacji operacji asynchronicznych Wykorzystanie BCL proste: W mechanizmie callback przekazać IAsyncResult do portu CCR

37 Iteracyjne zadanie 1)Rozpocznij odczyt Asynchr. odczyt 2) czekaj na wynik 3)Przetwórz dane IEnumerator<ITask> CcrReadFileAsync(string file) { Callback: Post var resultport = new Port<IAsyncResult>(); IAsyncResult jako using (var fs = new FileStream(file,,FileOptions.Asynchronous)) komunikat { var buf = new byte[fs.length]; fs.beginread(buf, 0, buf.length, resultport.post, null); IAsyncResult result = null; yield return Arbiter.Receive(false, resultport, ar => { result = ar; }); Port koordynujący asynchroniczne operacje } } try { fs.endread(result); ProcessData(buf); } catch { // handle exception } Yield otrzymuje zadanie, Task jest aktywowany przez dispatcher, Dispatcher woła MoveNext() gdy zadanie zakończone. Nie blokuje wątku!

38 CCR a strumień public static PortSet<int, Exception> Read( Wynik lub wyjątek Stream stream, byte[] buffer, int offset, int count) { var resultport = new PortSet<int, Exception>(); stream.beginread(buffer, offset, count, asyncresult => { try { resultport.post(stream.endread(asyncresult)); } catch (Exception e) { resultport.post(e); Post wyniku } lub wyjątku }, null); return resultport; }

39 Przykład CopyStream while (write > 0) { var writeresult = StreamAdapter.Write(dest, bufferb, 0, write); if (read > 0) Join : musi być int na { Choice tylko jedna gałąź readresult oraz EmptyValue // read new bytes and write będzie existing wykonana buffer na writeresult Handler readresult = StreamAdapter.Read(source, ); dostanie oba komunikaty yield return Arbiter.Choice( Arbiter.JoinedReceive<int, EmptyValue>(false, ); readresult, writeresult, (r, s) => { read = r; } Gałęzie dla wyjątków ), Arbiter.Receive<Exception>(false, readresult, e => { exception = e; }), Arbiter.Receive<Exception>(false, writeresult, e => { exception = e; })

40 SYSTEMY ROZPROSZONE HPC Server (krótko!)

41 Windows HPC Server

42 Typy aplikacji Zadania wsadowe Zadania teŝ interaktywne) Kolejkowanie zadań Alokacja zasobów Uruchamianie procesu Monitorowanie wykorzystania zasobów Zintegrowane uruchamianie MPI Zintegrowane bezpieczeństwo + Broker komunikacyjny WCF Wirtualny endpoint WS Load balancing Zintegrowana aktywacja usług Zarządzanie czasem Ŝycia Zintegrowane śledzenie WCF Service (DLL) Service (DLL) Service (DLL) Service (DLL)

43 Współpraca dzięki Web Service Chmura Aplikacje Inne OS Cienki klient Własne mechanizmy schedulera itp.. Windows Vista + HPC client HPC Basic Profile Web Service Węzeł główny (też Broker WCF) Windows HPC Server 2008

44 SYSTEMY ROZPROSZONE DSS Decentralized Software Services

45 Decentralized Software Services Usługa to jednostka orkiestracji; interfejs do komponentu; w środku uŝywany CCR Aplikacja to kompozycja usług Deklaratywne, dynamiczne związki + narzędzie do modelowania Zachowanie w środowisku rozproszonym jest funkcją zmiany stanu węzłów Wspólne operacje na stanie DSSP to protokół dla DSS Nadzbiór HTTP Dodaje manipiulację strukturami danych i powiadamianie o zdarzeniach Polecenia (verbs) DSSP Create / Drop: tworzenie i usuwanie usługi Manipulacja stanem: Get, Query, Insert, Update, Replace, i Delete Lookup kontekstu serwisu Subskrypcja (zwykle na zmianę stanu) Wysyłanie komunikatu (wywołanie operacji) bez zmiany stanu HTTP wspierany do łatwego interoperability i interakcji TCP wykorzystywany do komunikacji między usługami

46 Architektura DSS h Stan Port Usługa Uchwyt Usługa Uchwyt Stan Usługa Uchwyt Stan

47 Deklaratywna koordynacja usług [ServiceHandler(ServiceHandlerBehavior.Concurrent Concurrent)] public IEnumerator<ITask> GetHandler(Get get) { get.responseport.post(_state); yield break; } Deklaracja intencji, reszta to rola DSS [ServiceHandler(ServiceHandlerBehavior.Exclusive Exclusive)] public IEnumerator<ITask> UpdateHandler(Update update) { _state.currentresult += update.body.value; LogUpdate upd; yield return _logservice.update(out upd); UpdateResponse rsp = upd.responseport; update.responseport.post(new UpdateResponse()); }

48 Aktywacja usługi i przepustowość [ActivationSettings( ShareDispatcher=false, ExecutionUnits=2)] [ResourceGroup("MyServices")] [Contract(Contract.Identifier)] public class MyService:DsspServiceBase { [ServicePort("/myService", QueuingPolicy = DsspOperationQueuingPolicy.ConstrainDepth DsspOperationQueuingPolicy.DiscardWithFault, QueueDepthLimit = 1)] MyServiceOperationsPort _mainport; MyState _state; } // Dalej start metod i handlerów

49 DSS a WCF DSS: orkiestracja przy uŝyciu Visual Programming Language WCF (Windows Communication Foudation): orkiestracja przy uŝyciu Workflow Foundation WCF komunikacja zgodna z popularnymi standardami W tym z HPC Server CCR potęŝny framework do uŝytku na danej maszynie MoŜe: połączenie WCF i CCR? Tracimy: stan! Zyskujemy: interoperacyjność

50 SYSTEMY ROZPROSZONE CHMURA (Windows AZURE)

51 Platforma Windows Azure Zwirtualizowane środowisko z Windows NET 3.5 SP1 Aplikacja składa się z: Web Role UI w ASP.NET Worker Role zadanie obliczeniowe Komunikacja: Kolejka (b. szybka) Przechowywanie: Tabele, BLOBy, relacje PARTYCJNONOWANIE TeŜ geograficzne Łatwo przenieść kod.net na dowolną liczbę instancji (usługi integrujące z systemami on-permise - pominięte)

52 Skalowanie idea Web Role Worker Role Kolejka zadań i wyników A B C D ZałoŜenie: BRAK STANU po stronie serwera Ale: ciasteczko, GUID w storage itp..

53 Podsumowanie MAPA technologii Zrównoleglanie zadań Systemy sterujące w CCR fabrykach Monitorowanie urządzeń Podejmowanie decyzji Agenci WF TPL / PPL Nadzór nad procesem kontroli działania systemów w samochodzie Usługi internetowe do zamawiania zdjęć WCF Popularny sklep internetowy WF DSS Lokalne Obsługa źródeł obrazu OpenMP Kodowanie, kompresja itp.. Przetwarzanie obrazów TPL / PPL Wizualizacja danych PLINQ Mechanizmy shaderów System typu nasza-klasa Rozproszone / chmura MPI / MPI.Net Mechanizmy wyszukiwania, OLTP, współpraca Klastry SOA / HPC Animacje, renderowanie Przewidywanie Klastrowe TPL pogody Monitorowanie sejsmologiczne Poszukiwanie zasobów natruralnych (ropa naftowa itp.) Klastrowe PLINQ Windows Azure Zrównoleglanie przez podział danych

54 Podsumowanie Programowanie z uwzględnieniem wielu rdzeni/procesorów/serwerów to konieczność (bo sprzęt ) Narzędzia: PLINQ, TPL, TASK, FUTURES. Łatwiej przerobić algorytm! CCR framework realizujący współbieŝność bazujący na danych DSS(P) wyspecjalizowany protokół pozwalający na orkiestrację asynchronicznych usług Ciekawe połączenie WCF i CCR Visual Programming Language (Robotics Studio) HPC Server Windows Azure Wszystko programowane Visual Studio DuŜe inwestycje Microsoft w rozwój technologii pozwalających programować równolegle Idea: brak róŝnic pomiędzy programami pisanymi tradycyjnie a tymi które wykorzystują efektywnie wiele: rdzeni/procesorów/serwerów

55 PYTANIA?