ProActive Parallel Suite

Transkrypt

1 ProActive Parallel Suite Grzegorz Chimosz Wydziaª Matematyki, Informatyki i Mechaniki UW 8 stycznia 2009

2 Spis tre±ci 1 Programowanie wspóªbie»ne i rozproszone Architektura 2 3 Przykªad Bibliograa

3 Programowanie wspóªbie»ne i rozproszone Architektura Programowanie wspóªbie»ne i rozproszone Popularno± architektur wielordzeniowych, wieloprocesorowych i rozproszonych... i trudno± wykorzystania ich potencjaªu Du»a cz ± kodu zarz dza dodatkowymi strukturami danych i sprawdza, czy nie pojawiªy si przy tym bª dy Programowanie rozproszone jeszcze wi cej problemów ProActive Parallel Suite przybywa z odsiecz! I jeszcze trzeba to uruchomi!

4 ProActive Parallel Suite Programowanie wspóªbie»ne i rozproszone Architektura ProActive Parallel Suite to otwarty javowy middleware do oblicze«równolegªych i rozproszonych. Wspomaga: Wspiera: programowanie i projektowanie wrapping (C/C++, Fortran, MPI) uruchamianie i monitorowanie gotowe modele wspóªbie»no±ci P2P przesyªanie plików równowa»enie obci»enia i zapewnia odporno± na bª dy (wykonania)

5 O projekcie Programowanie wspóªbie»ne i rozproszone Architektura Zaanga»owani w projekt: ObjectWeb INRIA CRNS Uniwersytet Nicejski ActiveEon Strona domowa projektu: proactive.inria.fr

6 Wspierane technologie Programowanie wspóªbie»ne i rozproszone Architektura Systemy operacyjne Linux, Windows, Solaris, MacOS, SGI Irix Maszyny wirtualne Javy Sun, SGI, BEA, JRockit Protokoªy sieciowe ssh, rsh, sshgsi, rcp, scp, Unicore, Globus Gram Chmury obliczeniowe Amazon EC2

7 Architektura ProActive Parallel Suite Programowanie wspóªbie»ne i rozproszone Architektura ródªo: [1]

8 Architektura ProActive Parallel Suite Programowanie wspóªbie»ne i rozproszone Architektura ródªo: [2]

9 Obiekty aktywne (ang. active objects) Obiekt aktywny skªada si z: dokªadnie jednego w tku kolejki» da«potencjalnie wielu obiektów pasywnych po±rednika (ang. proxy)

10 Obiekty aktywne wªasno±ci Wªasno±ci obiektów aktywnych: brak wspóªdzielenia obiektów pasywnych gª bokie kopie przy wywoªaniu metod, co mo»e prowadzi do utraty spójno±ci obiekty aktywne je»eli s parametrami wywoªania s przekazywane przez referencje asynchroniczne» dania tworzenie odroczonych obiektów i oczekiwanie z konieczno±ci

11 Obiekty aktywne sposoby tworzenia Utworzenie nowej instancji 1 A a = ( A) ProActive. 2 newactive (A. class. getname (), params, node ); Klasa 1 class pa extends A implements RunActive {... } Uaktywnienie istniej cego obiektu 1 A a = new A ( obj, 7) ; 2 / *... * / 3 a = (A) ProActive. turnactive (a, node );

12 Oczekiwanie z konieczno±ci (ang. wait by necessity) Wywoªanie metody skªada si z dwóch etapów: 1» danie (nazwa, argumenty) powoduje utworzenie odroczonego obiektu (ang. future object) po obliczeniu wywoªywany obiekt ode±le wynik 2 odpowied¹ (wynik wywoªanej metody) wywoªuj cy mo»e kontynuowa swoj prac, nawet je»eli wynik nie jest dost pny asynchroniczno±

13 Oczekiwanie z konieczno±ci (ang. wait by necessity) Wywoªanie metody skªada si z dwóch etapów: 1» danie (nazwa, argumenty) powoduje utworzenie odroczonego obiektu (ang. future object) po obliczeniu wywoªywany obiekt ode±le wynik 2 odpowied¹ (wynik wywoªanej metody) wywoªuj cy mo»e kontynuowa swoj prac, nawet je»eli wynik nie jest dost pny asynchroniczno±

14 Aktywne obiekty w praktyce Przykªad 1 A ag = newactive (A. class. getname (), [...], VirtualNode ); 2 V v1 = ag. foo ( param ); 3 V v2 = ag. bar ( param ); 4 / *... * / 5 v1. bar () ; / / W a i t - By - N e c e s s i t y ródªo: [3]

15 Przezroczysto± mechanizmu wykonania Polimorzm obiektów aktywnych i zwykªych u»ywa si dokªadnie tak samo polimorczne s te» obiekty odroczone Oczekiwanie z konieczno±ci zapewnia zupeªnie przezroczyst synchronizacj obiekty odroczone s zupeªnie przezroczyste ródªo: [3]

16 Kolejkuj ce dane seq Rozpraszaj ce zadania farm pipe if while for Rozpraszaj ce dane divide and conquer map fork

17 Schemat farm Ró»ne dane s przetwarzane równolegle ródªo: [3]

18 Schemat pipe Reprezentuje obliczenia podzielone na etapy Etapy s obliczane równolegle ródªo: [3]

19 Schemat map Dzieli dane na mniejsze cz ±ci, do ka»dej przykªada funkcj i scala wynik ródªo: [3]

20 Schemat divide and conquer ródªo: [3]

21 U»ycie schematu na przykªadzie BLAST ródªo: [3]

22 U»ycie schematu na przykªadzie BLAST Schemat dla BLAST 1 Pipe blastpipe = new Pipe ( 2 new Fork ( 3 new Seq ( new ExecuteFormatDB () ), 4 new Seq ( new ExecuteFormatQ () )), 5 new Pipe ( 6 new Seq ( new ExecuteBlast () ), 7 new Seq ( new CleanBlast () )))); Schemat dziel i zwyci»aj dla BLAST 1 Skeleton root = new DaC ( 2 new DivideDB (), new DivideCondition (), 3 blastpipe, new ConquerResults () );

23 U»ycie schematu na przykªadzie BLAST Dziel 1 public class DivideCondition implements Condition { 2 public boolean evalcondition ( Blast param ) { 3 File file = param. getdatabasefile () ; 4 return file. length () > param. getmaxdbsize () ; 5 } 6 }

24 U»ycie schematu na przykªadzie BLAST I zwyci»aj 1 public class DivideDB implements Divide { 2 public Vector divide ( Blast param ) { 3 Vector < BlastParameters > children = new Vector < BlastParameters >() ; 4 Vector < File > files = dividedbfile ( param ); 5 for ( File newdbfile : files ) { 6 Blast newparam = new Blast ( param ); 7 param. setdbname ( newdbfile ); 8 children. add ( newparam ); 9 } 10 return children ; 11 } 12 }

25 U»ycie schematu na przykªadzie BLAST Przygotowanie do oblicze«1 Skeleton root = / *... * / ; 2 ResourceManager manager = 3 new ProActiveManager (" descriptor. xml ", " vn - name "); 4 Calcium calcium = new Calcium ( manager ); 5 Stream stream = calcium. getstream ( root );

26 U»ycie schematu na przykªadzie BLAST Zaªadowanie danych 1 stream. input ( new Blast ("db - file "," query - file1 ")); 2 stream. input ( new Blast ("db - file "," query - file2 ")); 3 stream. input ( new Blast ("db - file "," query - file3 ")); Odczytanie wyniku 1 Blast res1 = stream. getresult () ; 2 Blast res2 = stream. getresult () ; 3 Blast res3 = stream. getresult () ;

27 Przykªad Przykªad Bibliograa ProActive w dziaªaniu.

28 Bibliograa Przykªad Bibliograa ProActive in 5 minutes. [online: proactive_in_five_min], ProActive features. [online: ProActive_Features_Full.png], Denis Caromel. ProActive Tutorial. [online: http: //proactive.inria.fr/userfiles/file/presentation/ Tutorial-ProActive450slides-December pdf], 2007.