JCuda Czy Java i CUDA mogą się polubić? Konrad Szałkowski

Transkrypt

1 JCuda Czy Java i CUDA mogą się polubić? Konrad Szałkowski

2 Agenda GPU Dlaczego warto używać GPU Budowa GPU CUDA JCuda Przykładowa implementacja

3 Co to jest? GPU

4 GPU Graphical

5 GPU Graphical Processing

6 GPU Graphical Processing Unit

7 GPU Graphical Processing Unit Procesor graficzny.

8 Krótka historia GPU Terminale znakowe

9 Krótka historia GPU Terminale znakowe Renderowanie obrazu składającego się z pixeli

10 Krótka historia GPU Terminale znakowe Renderowanie obrazu składającego się z pixeli Akceleracja 2D, rysowanie kształtów, Z-bufory, sprite'y.

11 Krótka historia GPU Wejście w świat 3D - obliczenia na wektorach macierzach liczb zmiennoprzecinkowych

12 Krótka historia GPU Wejście w świat 3D - obliczenia na wektorach macierzach liczb zmiennoprzecinkowych Pojawienie się pierwszego GPU - NV10. Karta graficzna przejęła obliczenia T&L.

13 Krótka historia GPU Wejście w świat 3D - obliczenia na wektorach macierzach liczb zmiennoprzecinkowych Pojawienie się pierwszego GPU - NV10. Karta graficzna przejęła obliczenia T&L. Pojawienie się shaderów. Krótkich programów operujących na danych wewnątrz karty graficznej. (NV30)

14 Krótka historia GPU Wejście w świat 3D - obliczenia na wektorach macierzach liczb zmiennoprzecinkowych Pojawienie się pierwszego GPU - NV10. Karta graficzna przejęła obliczenia T&L. Pojawienie się shaderów. Krótkich programów operujących na danych wewnątrz karty graficznej. (NV30) Pojawienie się CUDA - dowolne programowanie na GPU (G80).

15 Dlaczego warto używać GPU Architektura procesora graficznego jest zoptymalizowana pod kątem obliczeń zmiennoprzecinkowych.

16 Dlaczego warto używać GPU Architektura procesora graficznego jest zoptymalizowana pod kątem obliczeń zmiennoprzecinkowych. Wydajność tego typu obliczeń jest aż do 5 razy większa niż CPU, w przypadku obliczeń podwójnej skali precyzji.

17 Dlaczego warto używać GPU Architektura procesora graficznego jest zoptymalizowana pod kątem obliczeń zmiennoprzecinkowych. Wydajność tego typu obliczeń jest aż do 5 razy większa niż CPU, w przypadku obliczeń podwójnej skali precyzji. I aż do 10 razy w przypadku pojedynczej skali precyzji.

18 Dlaczego warto używać GPU Prędkość pamięci DDR ~ 19,2 GB/s

19 Dlaczego warto używać GPU Prędkość pamięci DDR ~ 19,2 GB/s GDDR5 ~ 224 GB/s

20 Dlaczego warto używać GPU Prędkość pamięci DDR ~ 19,2 GB/s GDDR5 ~ 224 GB/s Wydajność mocy Intel i7 Core 980XE: 220 GFLOPS / 130W = 1,7 GFLOPS/W

21 Dlaczego warto używać GPU Prędkość pamięci DDR ~ 19,2 GB/s GDDR5 ~ 224 GB/s Wydajność mocy Intel i7 Core 980XE: 220 GFLOPS / 130W = 1,7 GFLOPS/W NVIDIA GTX 580: 1580 GFLOPS / 244 W = 6,5 GFLOPS/W

22 Dlaczego warto używać GPU Źródło:

23 Dlaczego warto używać GPU CPU Core 2 Duo Quad Q6600 2,4GHz 4GB DDR2-800 GPU NVidia GeForce GTX MB GDDR5

24 Dlaczego warto używać GPU CPU Core 2 Duo Quad Q6600 2,4GHz 4GB DDR2-800 GPU NVidia GeForce GTX MB GDDR5 Raytracer 4-8 FPS 80 FPS

25 Dlaczego warto używać GPU CPU Core 2 Duo Quad Q6600 2,4GHz 4GB DDR2-800 GPU NVidia GeForce GTX MB GDDR5 Raytracer 4-8 FPS 80 FPS SGEMM 1000x ms 528 ms

26 Dlaczego warto używać GPU CPU Core 2 Duo Quad Q6600 2,4GHz 4GB DDR2-800 GPU NVidia GeForce GTX MB GDDR5 Raytracer 4-8 FPS 80 FPS SGEMM 5924 ms 528 ms Sort 10^6 43 ms 547 ms Sort 10^ ms 800 ms

27 Do czego użyto GPU Symulacje objętościowe cieczy i gazów

28 Do czego użyto GPU Symulacje objętościowe cieczy i gazów Optymalizacja wydajności aerodynamicznej pojazdów

29 Do czego użyto GPU Symulacje objętościowe cieczy i gazów Optymalizacja wydajności aerodynamicznej pojazdów Analiza pogody

30 Do czego użyto GPU Symulacje objętościowe cieczy i gazów Optymalizacja wydajności aerodynamicznej pojazdów Analiza pogody Wizualizacje

31 Do czego użyto GPU Symulacje objętościowe cieczy i gazów Optymalizacja wydajności aerodynamicznej pojazdów Analiza pogody Wizualizacje Symulacja detonacji atomowej bomby plecakowej

32 Do czego użyto GPU Symulacje objętościowe cieczy i gazów Optymalizacja wydajności aerodynamicznej pojazdów Analiza pogody Wizualizacje Symulacja detonacji atomowej bomby plecakowej Problem n ciał i wiele innych.

33 Gdzie GPU, będzie skuteczne Algorytmy przetwarzania równoległego

34 Gdzie GPU, będzie skuteczne Algorytmy przetwarzania równoległego Mało komunikacji między wątkowej

35 Gdzie GPU, będzie skuteczne Algorytmy przetwarzania równoległego Mało komunikacji między wątkowej Masowe obliczenia zmienno przecinkowe SP

36 Zapraszam

37 GPU Piękne liczby, powodują dreszcze, ale gdzie jest haczyk?

38 GPU Piękne liczby, powodują dreszcze, ale gdzie jest haczyk? Wątki.

39 GPU Piękne liczby, powodują dreszcze, ale gdzie jest haczyk? Wątki. Dużo wątków.

40 GPU Piękne liczby, powodują dreszcze, ale gdzie jest haczyk? Wątki. Dużo wątków. Nawet 2^9 * 2^32 wątków.

41 CPU DRAM

42 CPU Cache DRAM

43 CPU CONTROL Cache DRAM

44 CPU CONTROL ALU ALU ALU ALU ALU ALU Cache DRAM

45 GPU DRAM

46 GPU DRAM

47 GPU DRAM

48 GPU CONT ROL Cache CONT ROL Cache CONT ROL Cache CONT ROL Cache DRAM

49 GPU CONT ROL ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU Cache ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU CONT ROL ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU Cache ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU CONT ROL ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU Cache ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU CONT ROL ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU Cache ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU ALU DRAM

50 GPU Piękne liczby, powodują dreszcze, ale gdzie jest haczyk? Wątki. Dużo wątków. Ok. 2^24 * 2^32 wątków. Pamięć. Zarządzanie. Transfer. Optymalne wykorzystanie.

51 GPU DRAM

52 GPU Pamięć tekstur Pamięć stałych DRAM

53 GPU Cache tekstur Cache stałych Pamięć tekstur Pamięć stałych DRAM

54 GPU Pamięć instrukcji Procesor Procesor Procesor Procesor Cache tekstur Cache stałych Pamięć tekstur Pamięć stałych DRAM

55 GPU Pamięć instrukcji Rejestry Rejestry Rejestry Rejestry Procesor Procesor Procesor Procesor Cache tekstur Cache stałych Pamięć tekstur Pamięć stałych DRAM

56 GPU Pamięć współdzielona Pamięć instrukcji Rejestry Rejestry Rejestry Rejestry Procesor Procesor Procesor Procesor Cache tekstur Cache stałych Pamięć tekstur Pamięć stałych DRAM

57 CUDA Compute Unified Device Architecture

58 CUDA Cytując stronę NVidii: CUDA jest opracowaną przez firmę NVIDIA, równoległą architekturą obliczeniową, która zapewnia radykalny wzrost wydajności obliczeń dzięki wykorzystaniu mocy układów GPU (graphics processing unit jednostka przetwarzania graficznego).

59 CUDA Jest to również synonim rozszerzenia standardowego języka C o składnię i biblioteki potrzebne do wygodnego przeprowadzania obliczeń na kartach graficznych.

60 JCuda Zestaw bibliotek opakowywujących natywne biblioteki CUDY z wykorzystaniem interfejsu JNI. Niestety, zależne od systemu operacyjnego/architektury procesora.

61 JCuda CUDA RUNTIME API CUDA DRIVER API

62 JCuda libjcudaruntime.so CUDA RUNTIME API libjcudadriver.so CUDA DRIVER API

63 JCuda JCudaRuntime.jar JCudaDriver.jar libjcudaruntime.so CUDA RUNTIME API libjcudadriver.so CUDA DRIVER API

64 Jęk zawodu na sali Niestety, zależne od systemu operacyjnego/architektury procesora.

65 Jęk zawodu na sali Niestety, zależne od systemu operacyjnego/architektury procesora. Należy jednak pamiętać, że API CUDY plus biblioteki to ok różnych funkcji zmieniających się z każdym wydaniem.

66 Co to jest kernel? Funkcja ładowana do pamięci instrukcji multiprocesora.

67 Co to jest kernel? Funkcja ładowana do pamięci instrukcji multiprocesora. Przykład JCudaVectorAdd.cu: extern "C" global void add(int n, float *a, float *b, float *sum) { int i = blockidx.x * blockdim.x + threadidx.x; if (i<n) { sum[i] = a[i] + b[i]; } }

68 Organizacja przetwarzania struct dim3 { int x, y, z; } dim3 griddim, blockdim; dim3 blockidx, threadidx;

69 Organizacja przetwarzania Blok

70 Organizacja przetwarzania Każdy blok może zostać przydzielony do dowolnego multiprocesora. To w jaki sposób zostanie on przydzielony zależy od jego wymagań co do pamięci współdzielonej oraz rejestrów.

71 Organizacja przetwarzania Blok Blok Blok Blok Blok Blok Grid Blok Blok Blok Blok Blok Blok

72 Ograniczenia przetwarzania Ograniczenia: Maksymalna ilość wątków w bloku: 512 (256). Maksymalny wymiar grida 2^16 x 2^16 x 1. Do niedawna brak rekurencji. Do niedawna brak printf.

73 Ograniczenia przetwarzania Wątki w bloku formowane są w tzw. warpy po 32 wątki każdy i następnie są ładowane do multiprocesora. W ramach jednego warpa równolegle przez wątki może być wykonywana tylko jedna instrukcja. Jeśli nastąpi rozgałęzienie (if) zasada ta nadal obowiązuje i instrukcje gałęzi się przeplatają.

74 Typowy przebieg przetwarzania 1. Przygotowanie środowiska i kerneli 2. Alokacja pamięci na urządzeniu. 3. Ładowanie danych (wąskie gardło) 4. Wykonaniu obliczeń a. wykonywanie obliczeń GPU b. wykonywanie obliczeń CPU 5. Synchronizacja z kartą 6. Pobranie wyników obliczeń (wąskie gardło) 7. Dealokacja pamięci

75 Typowy przebieg przetwarzania 1. Przygotowanie środowiska i kerneli import static jcuda.driver.jcudadriver.*; // Enable exceptions and omit all subsequent error checks setexceptionsenabled(true); // Initialize the driver and // create a context for the first device. cuinit(0); CUdevice device = new CUdevice(); cudeviceget(device, 0); CUcontext context = new CUcontext(); cuctxcreate(context, 0, device);

76 Typowy przebieg przetwarzania 1. Przygotowanie środowiska i kerneli // Load the ptx file. // Create the PTX file by calling the NVCC String ptxfilename = prepareptxfile("jcudavectoraddkernel.cu"); CUmodule module = new CUmodule(); cumoduleload(module, ptxfilename); // Obtain a function pointer to the "add" function. CUfunction function = new CUfunction(); cumodulegetfunction(function, module, "add");

77 Typowy przebieg przetwarzania 2. Alokacja pamięci i ładowanie danych // Allocate the device input data, and copy the // host input data to the device CUdeviceptr deviceinputa = new CUdeviceptr(); cumemalloc(deviceinputa, numelements * Sizeof.FLOAT); cumemcpyhtod(deviceinputa, Pointer.to(hostInputA), numelements * Sizeof.FLOAT); CUdeviceptr deviceinputb = new CUdeviceptr(); cumemalloc(deviceinputb, numelements * Sizeof.FLOAT); cumemcpyhtod(deviceinputb, Pointer.to(hostInputB), numelements * Sizeof.FLOAT);

78 Typowy przebieg przetwarzania 2. Alokacja pamięci wyjściowej // Allocate device output memory CUdeviceptr deviceoutput = new CUdeviceptr(); cumemalloc(deviceoutput, numelements * Sizeof.FLOAT);

79 Typowy przebieg przetwarzania 3. Wykonanie obliczeń // Set up the kernel parameters: A pointer to an array // of pointers which point to the actual values. Pointer kernelparameters = Pointer.to( Pointer.to(new int[]{numelements}), Pointer.to(deviceInputA), Pointer.to(deviceInputB), Pointer.to(deviceOutput) );

80 Typowy przebieg przetwarzania 3. Wykonanie obliczeń // Call the kernel function. int blocksizex = 256; int gridsizex = (int) Math.ceil((double)numElements / blocksizex); culaunchkernel(function, gridsizex, 1, 1, // Grid dimension blocksizex, 1, 1, // Block dimension 0, null, // Shared memory size and stream kernelparameters, null // Kernel- and extra parameters ); cuctxsynchronize();

81 Typowy przebieg przetwarzania 4. Pobranie wyników obliczeń // Allocate host output memory and copy the device output // to the host. float hostoutput[] = new float[numelements]; cumemcpydtoh(pointer.to(hostoutput), deviceoutput, numelements * Sizeof.FLOAT);

82 Typowy przebieg przetwarzania 5. Dealokacja pamięci // Clean up. cumemfree(deviceinputa); cumemfree(deviceinputb); cumemfree(deviceoutput);

83 JCuda zmapowane biblioteki Biblioteki: Core mapowanie podstawowych funkcji zarówno Cuda Driver API jak i Cuda Runtime API JcuFFT biblioteka FFT JcuBLAS biblioteka operacji na macierzach JcuRAND biblioteka liczb losowych JcuDPP biblioteka operacji równoległych (scan, suma, redukcja) JcuSPARSE biblioteka operacji na macierzach rzadkich

84 Maven challenge Obecnie pracuję nad integracją biblioteki z mavenem. Niestety biblioteki będą zależne od architektury co psuje jedną z idei maven'a. CMake...?

85 Pytania?

86 Materiały JCUDA CUDA -> NVIDIA CUDA Programming Guide

87 Materiały Repozytorium svn://smijran.is-a-geek.org/jcuda login: visitor pass: access#52832 Godz. 8-24