Przybliżone zapytania do baz danych z akceleracją obliczeń rozkładów prawdopodobieństwa

Transkrypt

1 XVI Kofereca PLOUG Kościelisko Paździerik 00 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa Witold Adrzeewski Politechika Pozańska Witold.Adrzeewski@cs.put.poza.pl Artur Gramacki, Jarosław Gramacki Uiwersytet Zieloogórski A.Gramacki@iie.uz.zgora.pl, J.Gramacki@iie.uz.zgora.pl Abstrakt. Artykuł pokazue przykładowe zastosowaie architektury CUDA opracowae przez firmę NVIDIA dla swoich kart graficzych. CUDA to uiwersala architektura procesorów wielordzeiowych istalowaych we współczesych, abardzie wydaych, kartach graficzych. Karta taka, oprócz oczywistych zastosowań w dziedziie ogólie poętego przetwarzaia obrazu, może być z powodzeiem wykorzystywaa do wykoywaia złożoych obliczeń umeryczych, zwłaszcza takich, które poddaą się operaci zrówolegleia (moża wówczas efektywie wykorzystywać moc zaistalowaych a karcie graficze tzw. multiprocesorów strumieiowych). Jako przykład bardzo czasochłoych obliczeń wybrao procedury wyzaczaia tzw. parametrów wygładzaia estymatorów ądrowych służących do wyzaczaia rozkładów prawdopodobieństwa daych. Zaomość takich rozkładów pozwala a ekstremalie szybkie wyzaczaie przybliżoych wyików zapytań agreguących. Iformaca o autorze. Witold Adrzeewski pracue a staowisku adiukta a Politechice Pozańskie. Prowadzi lub prowadził zaęcia a studiach dzieych i zaoczych z przedmiotów: Systemy Baz Daych, Programowaie Obiektowe, Grafika Komputerowa, Zaawasowae Systemy Baz Daych, Multimediale i Obiektowe Systemy Baz Daych oraz Wizualizaca Daych 3D. Prowadził rówież zaęcia a Studium Podyplomowym (Systemy Baz Daych). Poza Politechiką Pozańską prowadził zaęcia w Oracle Uiversity (Admiistratio Worskhop), Wyższe Szkole Języków Obcych (Maagemet Iformatio Systems) oraz w Wyższe Szkole Nauk Humaistyczych i Dzieikarstwa (Systemy Baz Daych, Techologie Iteretowe, Aaliza Daych).

2

3 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa 53. Wstęp Hurtowie daych zalazły szerokie zastosowaia we współczesych przedsiębiorstwach. Podstawowym zadaiem hurtowi daych est itegraca daych dotyczących działalości przedsiębiorstwa, z dłuższego okresu czasu, w uedolicoym schemacie daych i późiesze wykoywaie a tych daych różych aaliz. Wśród przykładowych aaliz, akie mogą być wykoywae w hurtowiach daych moża wymieić: aalizę sprzedaży, aalizę tredów, eksploracę daych i aalizę rozwiązań alteratywych. Wiele z tych aaliz (p. aaliza sprzedaży) polega a obliczeiu podsumowań daych (wykoywaie tzw. zapytań agregacyych). Przykładowym podsumowaiem wykoywaym tuta może być: oblicz sumarycze dochody ze sprzedaży pieczywa w latach w każdym z woewództw. Poieważ hurtowie daych itegruą dae o działalości całego przedsiębiorstwa, mogą oe osiągać olbrzymie rozmiary. Koiecza est zatem optymalizaca wykoywaia zapytań w hurtowiach daych, a w szczególości zapytań agregacyych. Wiele prac poświęcoych optymalizaci realizaci zapytań agregacyych poświęcoych est zagadieiom związaym z ideksowaiem, materializowaiem wyików, partycoowaiem itp. Rozwiązaia te pozwalaą a uzyskaie wyików dokładych, edak est to zwykle okupioe pewym (często wysokim) kosztem, zarówo z puktu widzeia czasu pracy procesora ak i wykorzystywaych zasobów dyskowych. Alteratywym rozwiązaiem est wykorzystaie metod statystyczych w celu zadywaia przybliżoych wyików zapytań agregacyych. Otrzymywae wartości ie są co prawda dokłade, edak w wielu zastosowaiach wystarczaące, zwłaszcza a wczesych etapach aalizy daych. Co więce, otrzymywaie przybliżoych wyików zapytań est zaczie szybsze od dokłade ich realizaci. Aby podeście takie było możliwe, koiecze est uprzedie oszacowaie statystyczych parametrów rozkładów daych w bazie daych. Gdy rozkłady te są typowe, czyli p. zbliżoe do ormalego lub iego, ale o zae aalityczie postaci, estymaca parametrów tych rozkładów est stosukowo prosta. Gdy rozkłady prawdopodobieństwa zaczie odbiegaą od typowych, moża rozważyć ich kowersę za pomocą odpowiedich przekształceń zmieych lub też estymowaie ich za pomocą metod ieparametryczych, p. opartych o tzw. estymatory ądrowe. Zalezieie iektórych współczyików estymatorów ądrowych (chodzi główie o tzw. parametr wygładzaia, zwykle ozaczay ako h) est edak dość kosztowe i wymaga dużo czasu, zaczie tym samym zmieszaąc korzyści płyące ze stosowaia metod statystyczych. W iiesze publikaci przedstawioo modyfikace algorytmów wyzaczaia parametru wygładzaia dla ądrowych estymatorów gęstości pozwalaące a ich wydae wykoywaie a procesorach kart graficzych (ag. Graphics Processig Uit; GPU) firmy NVIDIA przy wykorzystaiu platformy CUDA. Zmodyfikowae algorytmy uwzględiaą specyfikę przetwarzaia daych przez GPU, oraz wykorzystuą róże typy pamięci zaduących się a kartach graficzych, przy zachowaiu zasad wydaego korzystaia z tych pamięci. Przedstawioe rozwiązaia pozwalaą a skróceie czasów wyzaczaia poszukiwaych estymatorów ądrowych awet o rzędy wielkości w stosuku do czasów uzyskiwaych a klasyczych procesorach. Struktura iiesze publikaci est astępuąca. W sekci przedstawioo dotychczasowe osiągięcia w dziedziie wykoywaia przybliżoych zapytań do baz daych, oraz zastosowań procesorów kart graficzych do obliczeń ogólych. W sekci 3 przedstawioo dwie metody wyzaczaia parametru wygładzaia estymatorów ądrowych (metodę podstawiaia i metodę walidaci krzyżowe). W sekci 4 przedstawioo krótki opis platformy CUDA wraz z opisami termiów stosowaymi w późieszych sekcach. W sekcach 5 i 6 przedstawioo aważiesze osiągięcia iiesze publikaci - implemetace metod wyzaczaia parametru wygładzaia wykorzystuące GPU w celu przyspieszeia abardzie czasochłoych etapów obliczeń. W sekci 7 przedstawioo wyiki eksperymetów, gdzie porówao dwie werse programów do obliczaia parametru

4 54 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki wygładzaia estymatorów ądrowych: pierwsza wersa itesywie wykorzystue GPU, druga atomiast korzysta wyłączie z CPU. W sekci 8 przedstawioo podsumowaie iiesze publikaci oraz play dalszych prac.. Dotychczasowe prace.. Przybliżoe zapytaia do baz daych Klasycze zapytaie kierowae do bazy daych zwraca zawsze dokłade wyiki, iezależie od tego czy adresatem zapytaia est baza operacya, czy też baza pełiąca fukcę hurtowi daych. Przykładowe zapytaie oblicz sumę wartości sprzedaży za day rok z podziałem a poszczególe miesiące dae wyik, który est prostym efektem pogrupowaia oraz podsumowaia odpowiedich daych weściowych. Czas otrzymaia wyiku może być bardzo róży, zależy główie od ilości daych, które ależy odczytać oraz od ogólego obciążeia bazy daych (p. od liczby rówocześie wykoywaych zapytań). Wykoywaie edocześie duże liczby czasochłoych aaliz, może spowodować, iż czasy oczekiwaia a wyiki będą admierie długie. Jedym z możliwych rozwiązań w takie sytuaci, est zastosowaie techik pozwalaących a otrzymywaie wyików przybliżoych, których czas działaia est zaczie krótszy od techik dokładych. To, że otrzymae wyiki są tylko przybliżoe, w wielu zastosowaiach ie będzie staowiło istotego ograiczeia, gdyż w typowych zadaiach eksploracyych (wykorzystuących zapytaia agregacye) ie est to elemet krytyczy (dla przykładu ak wyże, wyik zaokrągloy do pełych tysięcy złotych est wystarczaący, pomimo tego, że wyik dokłady moża podać z dokładością do edego grosza). Zae są róże metody wyzaczaia przybliżoych wyików zapytań bazodaowych (ag. approimate query processig). Jedo z aprostszych podeść polega a ograiczeiu zbioru aalizowaych daych do pewe reprezetatywe próbki. Próbka taka powia zachowywać parametry statystycze całe populaci daych (p. średia, wariaca, skośość). Wówczas wyiki takich zapytań, ak przykładowo wyzaczaie wartości średich dla pewego atrybutu, będą bardzo podobe, ak aalogicze zapytaia kierowae do całe populaci daych. Próbkowaie est więc rodzaem redukci liczości daych (ag. umerosity reductio, istace selectio, eample selectio) [Ha06]. Ie podeście zakłada, że wyzaczae są swego rodzau streszczaia (ag. syopsis) czy też podsumowaia daych. Aby wyliczyć te podsumowaia ależy przerzeć wszystkie zgromadzoe dae, edak czyość ta wykoywaa est tylko raz, lub też co pewie okres czasu, gdy p. zmiei się zacząco charakterystyka daych. Podsumowaia te mogą być budowae z wykorzystaiem p. techiki histogramów [Ioa99], falek (ag. wavelets) [Vit99] lub też statystyczych cech aalizowaych daych [Sha99]. W tym ostatim wykorzystyway est aparat statystycze aalizy daych, którego literatura przedmiotu est bardzo bogata przykładowo moża wymieić tu prace [KoMi04, KoCw08, Klo99], które maą charakter przeglądowy. Warto zapozać się rówież z obszerym tutorialem [GaGi0], gdzie autorzy omawiaą wszystkie aważiesze zagadieia z dziedziy przybliżoych zapytań do baz daych. W przypadku podeścia statystyczego, przede wszystkim ależy wyzaczyć rozkład prawdopodobieństwa daych [KoMi04, Klo99]. Zaąc go, możliwe est przybliżoe i bardzo szybkie wyzaczaie wartości takich fukci agreguących ak liczość, suma, wartość średia i podobe [Sha99]. Dae mogą posiadać rozkład prawdopodobieństwa, który moża opisać pewą fukcą aalityczą (p. rozkład ormaly), lub też opis taki ie będzie możliwy. W tym drugim przypadku ależy go wyzaczyć korzystaąc z metod ieparametryczych, p. opartych o tzw. estymatory ądrowe. Klasycze pozyce, które te temat omawiaą bardzo obszerie to [WaJo95, Sil86, Sim96]. Pierwsza z ich dae bardzo dokłady wykład w moco zmatematyzowae postaci. Pozostałe dwie pozyce są apisae dużo bardzie przystępie. W ęzyku polskim ukazała się książka [Kul05], gdzie podao w przystępe formie aważiesze iformace o estymatorach ądrowych,

5 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa 55 główie w kotekście wyzaczaia z ich pomocą gęstości prawdopodobieństwa. W pracy [She04] w sposób przystępy i zwarty podao podstawowe iformace a temat ieparametrycze estymaci fukci gęstości prawdopodobieństwa. Ostateczie, w ede z wcześieszych prac autorów a te temat [GrGr0] podao w skrótowe postaci aważiesze iformace o istocie gęstości prawdopodobieństwa, estymatorach ądrowych służących do e wyzaczaia oraz związku gęstości prawdopodobieństwa z zapytaiami kierowaymi do baz daych. Wyzaczaie gęstości prawdopodobieństwa metodami ieparametryczymi est zadaiem czasochłoym obliczeiowo, główie za sprawą koieczości wyzaczeia parametru wygładzaia. Istieą geeralie trzy podstawowe grupy metod ego wyzaczaia: metody przybliżoe (ag. ormal referece rules), podstawień (ag. plug-i) oraz walidaci krzyżowe (ag. crossvalidatio). Dwie ostatie metody wymagaą dość dużych akładów obliczeiowych, przez co zastosowaie ich dla większych zbiorów daych est bardzo czasochłoe. Są to edak metody dużo dokładiesze od metod przybliżoych i dlatego ich zastosowaie est preferowae. W przypadku metody podstawień uproszczeie polega a przyęciu założeia o ormalości rozkładów przy wyprowadzaiu pewych szczegółowych wzorów [WaJo95, stroa 7], mimo że rozkłady w rzeczywistości przecież ormale ie są (gdyby były ormale, ie byłoby potrzeby estymaci gęstości za pomocą metod ieparametryczych). W przypadku metody walidaci krzyżowe zamiast obliczać pewe bardzo czasochłoe sumy a daych weściowych, wcześie dokoue się odpowiedie trasformaty Fouriera tych daych [Sil86, stroa 65]. W przypadku wariatów tych metod omawiaych w iiesze publikaci, wyże opisae optymalizace ie są edak stosowae... Obliczeia ogólego przezaczeia a kartach graficzych Większość prac aukowych poświęcoych ogólym obliczeiom a procesorach kart graficzych (Geeral Processig o Graphics Processig Uits GPGPU) est poświęcoych takim zagadieiom ak: zaawasowae geerowaie obrazów, przetwarzaie obrazów (p. kompresa, śledzeie cech) oraz obliczeia aukowe (symulaca, obliczeia umerycze). Niewiele publikaci dotyczących GPGPU est poświęcoych ogólie poętym zadaiom wykoywaym, bądź związaym z bazami daych. Z tych publikaci, które powstały, duża część dotyczy wydaego sortowaia [GGK06, GZ06] lub optymalizaci typowych operaci w bazach daych (proekca, selekca itp.) [SAA03, GLW04]. Karty graficze są rówież wykorzystywae do akceleraci kompresi i dekompresi ideksów bitmapowych [AWr0a, AWr0b]. Wśród iych zastosowań kart graficzych w bazach daych zadue się eksploraca daych. Powstały tuta między iymi publikace dotyczące grupowaia daych, w tym: grupowaia metodami k-meas [GKV05, CTZ06] i k-medoids [Ad07, AKa0], grupowaia w oparciu o aalizę gęstości [BNP09a, BNP09b] oraz grupowaia hierarchiczego [CKO09]. Zgodie z aszą wiedzą, ie opracowao ak dotąd żadych rozwiązań wykorzystuących procesory kart graficzych do optymalizaci przybliżoych algorytmów realizaci zapytań agregacyych. 3. Wyzaczaie parametru wygładzaia estymatorów ądrowych Poiże podaemy, praktyczie bez kometarzy i akichkolwiek obaśień, procedury wyzaczaia parametrów wygładzaia wspomiaą wcześie metodą podstawień oraz walidaci krzyżowe (dokładie: walidaci krzyżowe amieszych kwadratów, ag. least squares crossvalidatio, LSCV). Przytaczamy e w formie, którą podae pozyca [Kul05], zmieiaąc edak czasami pewe ozaczeia, aby były bardzie zgode z tymi, które poawiaą się w agloęzycze literaturze przedmiotu (główie wzoruąc się a klasycze pozyci [WaJo95]). Procedury te moża uważać za gotowe do użycia wzorce.

6 56 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki 3.. Wyzaczaie parametru wygładzaia metodą podstawień (PLUG-IN) Ozaczeia: ilość próbek, k rząd metody,. Oblicz wartość estymatora wariaci: r ( r) d f d ˆ V i ( ) (.) i i i. Oblicz wartość estymatora odchyleia stadardowego: 3. Oblicz estymatę NS ˆΨ 8 fukcoału Ψ 8 : r ˆ σ Vˆ (.) 05 Ψˆ NS 8 (.3) 9 3 πσˆ 4. Oblicz wartość parametru wygładzaia estymatora ądrowego g fukci (4) f : g K ˆ NS μ( K) Ψ8 K 6 6 (0) 5 (0) π μ ( K) 5. Oblicz estymatę Ψ ˆ 6 ( g ) fukcoału Ψ 6 : /9 (.4) Ψ ˆ i 6 6 ( g) K 7 g i g (.5) K 6 ( ) ( π ) e 6. Oblicz wartość parametru wygładzaia estymatora ądrowego g fukci g 4 (0) K ˆ ( ) 6 ( ) μ K Ψ g K 4 (0) μ ( K) 7. Oblicz estymatę Ψ ˆ 4 ( g ) fukcoału Ψ 4 : 3 π / 7 () f : (.6) (.7) Ψ ˆ i 4 4 ( g ) K 5 g i g (.8)

7 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa ) 6 ( ) ( e K + π (.9) 8. Oblicz wyikową wartość współczyika wygładzaia h: 5 / 4 ) ( ˆ ) ( ) ( Ψ g K K R h μ (.0) π ) ( K R ) ( K μ 3.. Wyzaczaie parametru wygładzaia metodą walidaci krzyżowe (LSCV) Ozaczeia: ilość próbek, d wymiarowość zadaia, umer elemetu próby ( ), i umer wymiaru (i d). Oblicz macierz kowariaci: Niech dae weściowe będą miały astępuącą postać: d d d i X,,,,,,,,,, L M O M M L L Macierz kowariaci ma postać:,,,,,, d d d d d σ σ σ σ σ σ σ σ σ L M O M M L L (.) gdzie: i σ wariace poszczególych wymiarów badae zmiee losowe, i,i σ kowariace między zmieymi losowymi i oraz i.,, ) ( i i i σ (.) i i i i i i,,,,, ) ( σ (.3). Obliczyć wyzaczik macierzy kowariaci ) det( :. 3. Obliczyć macierz odwrotą do :. 4. Wyzaczyć postać fukci celu, która podlegać będzie miimalizaci względem iezaego (szukaego) parametru h. Poiże wprowadzamy astępuącą otacę:

8 58 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki gdzie, M d, L d ozaczaą kolee współrzęde d-wymiarowego wektora. i g( h) T + R( K) d h i, i< h (.4) T ( ) ( K * K)( ) K( ) (.5) K( ) (π ) ep det( ) d / T (.6) ( K * K)( ) (4π ) 5. Obliczyć przybliżoą wartość parametru h: ep det( ) d / 4 T (.7) h 0 dr( K) μ ( K) R( f μ R( K) '' ) / ( K) d π d d /( d + 4) d( d + ) R( f '') d + d / π 6. Niech zakres poszukiwaia miimum fukci g(h) wyosi: wówczas rozwiązaiem est: [ h / 4, ] (.8) Z( h o ) h (.9) arg mi h Z ( h 0 ) g( h) (.0) Poieważ fukca (.4) ma zwykle dość łagody przebieg, zalezieie e miimum ie est zadaiem trudym. Nie są zatem stosowae tuta żade wyszukae algorytmy zadowaia miimum fukci. Zamiast tego, wybieraa est pewa liczba rówoodległych wartości z dziedziy poszukiwaia (.9), a astępie wartość fukci (.4) est obliczaa dla każde z tych wartości. Namiesza otrzymaa wartość est przymowaa za e rzeczywiste miimum. Zwykle puktów, dla których ależy wyzaczyć wartość fukci (.4) ie est więce iż Gdyby z akiegoś powodu okazało się, że wyzaczaie wartości fukci (.4) w tylu puktach może trwać zbyt długo (a może tak być, gdy obliczeia wykoywae są dla rzeczywiście dużych ilości daych) moża użyć p. metody złotego podziału. Szczegóły moża zaleźć p. w pracy [Kul05]. 4. Platforma CUDA W iiesze sekci przedstawioo krótki opis platformy CUDA i architektury sprzętowe kart NVIDIA. Za względu a szerokość zagadień związaych z pisaiem programów a karty graficze, opis te est moco uproszczoy i zawiera edyie iformace koiecze do zrozumieia zasadości przedstawioych w iiesze publikaci rozwiązań.

9 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa 59 CUDA (ag. Compute Uified Device Architecture), to uiwersala architektura procesorów wielordzeiowych służących do obliczeń rówoległych opracowaa przez firmę NVIDIA dla swoich kart graficzych. Wykorzystaie CUDA możliwe est dzięki dystrybuowaemu przez NVIDIA pakietowi programów CUDA toolkit, a który składa się profiler, debugger oraz kompilator odmiay ęzyka C azywae C for CUDA. Podstawową zaletą programów zaimplemetowaych w C for CUDA est możliwość uruchomieia bardzo duże liczby wątków wykouących podobe, bądź idetycze operace a różych daych weściowych. Operace te są defiiowae przez specalą fukcę, tzw. kerel. Day kerel może zostać uruchomioy w wielu wątkach zorgaizowaych w tzw. siatkę obliczeń (ag. grid). Siatka obliczeń est dwuwymiarową tablicą o maksymalych wymiarach tzw. bloków. Każdy blok est edo-, dwu- lub trówymiarową tablicą wątków (maksymalie 5 wątków). Każdy blok w ramach ede siatki obliczeń ma takie same rozmiary. Każdy wątek uruchomioy w ramach siatki obliczeń może odczytać swoe położeie w bloku (poprzez predefiiowaą zmieą threadid), oraz położeie swoego bloku w siatce (poprzez predefiiowaą zmieą blockid). Te dwie współrzęde pozwalaą a edozaczą idetyfikacę każdego uruchomioego wątku. Możliwe est rówież odczytaie wymiarów siatki (poprzez zmieą griddim) oraz wymiarów bloku (poprzez zmieą blockdim). Sychroizaca wątków w siatce est bardzo uproszczoa, i możliwa edyie w ramach wątków zawartych w edym bloku. Nie est możliwa sychroizaca pomiędzy wątkami umieszczoymi w różych blokach, choć istieą metody obeścia tego problemu. Każdy wątek może korzystać z wielu różych rodzaów pamięci. Każdy rodza pamięci est charakteryzoway przez e wielkość, czas dostępu, zasięg dostępu i czas życia (ak długo dae w ie przechowywae są dostępe). Poiże przedstawioo krótki opis każdego z dostępych rodzaów pamięci: pamięć globala duża pamięć, o czasie życia aplikaci (dae umieszczoe w te pamięci są usuwae po zakończeiu aplikaci), dostępa dla każdego wątku w dowolym bloku, ale o dość długim czasie dostępu wyoszącym ok taktów zegara, pamięć współdzieloa iewielka pamięć o czasie życia bloku (zakończeie działaia bloku powodue usuięcie daych w ie przechowywaych), dostępa dla każdego wątku w bloku dla którego est dedykowaa, o bardzo krótkim czasie dostępu, pamięć stałych iewielki fragmet pamięci globale, który est cache-oway, przez co dostęp do iego est bardzo szybki. Jest oa tylko do odczytu. Czas życia pamięci stałych oraz e dostępość est taka sama ak pamięci globale, reestry iewielka, bardzo szybka pamięć o czasie życia wątku (po zakończeiu wątku dae z reestrów są usuwae). Tylko ede wątek może w daym momecie korzystać z daego reestru, pamięć lokala i pamięć tekstur podobie ak w przypadku pamięci stałych, są to dedykowae fragmety pamięci globale. Pamięć lokala est wykorzystywaa do przechowywaia daych lokalych wątku, które ie mieszczą się w reestrach, a pamięć tekstur posiada specyficze metody adresowaia i cachowaie specyficze dla zastosowań graficzych. Obydwa te rodzae pamięci ie są wykorzystywae w rozwiązaiach przedstawioych w iiesze publikaci. Przyęta budowa siatki obliczeń est moco związaa ze sprzętową architekturą kart graficzych firmy NVIDIA. Procesor GPU składa się z wielu (obecie od do 30) multiprocesorów strumieiowych (ag. streamig multiprocesor, w skrócie SM), z których każdy zawiera 8 proce- Uwaga: w pracy poęcie kerel używae est w dwóch całkowicie różych zaczeia. W dziedziie estymatorów ądrowych kerelem (ądrem) przyęło się azywać pewą fukcę matematyczą, maącą pewe określoe właściwości i służącą do kostrukci właściwego estymatora. Natomiast w dziedziie związae z architekturą CUDA kerelem est fukca apisaa w ęzyku C for CUDA, która może zostać uruchomioa a GPU.

10 60 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki sorów skalarych (ag. scalar processor, w skrócie SP). Każdy procesor skalary posiada włase reestry oraz edostki obliczeń całkowitych i zmieoprzecikowych poedycze precyzi. Prócz tego każdy multiprocesor posiada dwie edostki do zadań specalych, edostkę steruącą oraz iewielką szybką pamięć a krzemie, która przechowue dae z pamięci współdzieloe opisae wcześie. Pamięć globala, to obszar pamięci przechowyway w pamięci zaduące się poza GPU, aczęście a same karcie graficze, w postaci osobych układów. Niektóre GPU posiadaą SM z dodatkową edostką do obliczeń podwóe precyzi, ale tylko edą a cały SM. Co więce mechaizmy dostępu do pamięci a GPU są zoptymalizowae a odczytywaie daych 3-bitowych (p. liczb poedycze precyzi). Z obliczeń podwóe precyzi ależy zatem korzystać tylko w ostateczości. Staowi to pewe ograiczeie w iektórych zastosowaiach. Przy obliczaiu współczyika wygładzaia edak ie ma to dużego zaczeia (dla referecyych zestawów daych o zaych wartościach h otrzymao praktyczie idetycze wyiki). Należy się rówież spodziewać, że wraz z rozwoem techologii kart graficzych, poawi się wydaa obsługa obliczeń podwóe precyzi. Przedstawioe w iiesze publikaci rozwiązaia powiy się wówczas w dość łatwy sposób dać zmodyfikować w celu wykorzystaia zwiększoe dokładości obliczeń. Kiedy aplikaca uruchamia siatkę obliczeń związaą z daym kerelem, bloki z siatki są automatyczie dystrybuowae pomiędzy multiprocesory. Każdy multiprocesor może wykoywać współbieżie wiele bloków, ale ede blok może być uruchomioy tylko a edym multiprocesorze. Kiedy wszystkie wątki z daego bloku zakończą się, koley blok uruchamiay est a zwolioym multiprocesorze. Multiprocesor wykoue kolee wątki w grupach składaących się z 3 wątków, tzw. warpów. Wyróżia się rówież half-warpy, czyli pierwsze, lub drugie 6 wątków w ramach warpa. Wszystkie poleceia w wątkach zawartych w edym warpie wykoywae są sychroiczie (cztery ćwiartki warpa po kolei a 8 procesorach skalarych multiprocesora). Pamięć współdzieloa podzieloa est a 6 baków. Kolee 3-bitowe słowa z pamięci są przydzieloe do koleych baków. Rówoczesy odczyt/zapis do pamięci współdzieloe est możliwy wtedy, gdy każdy wątek w half-warpie wykoue dostęp do iego baku. Wyątkiem est tuta sytuaca, gdy wiele wątków odczytue z pamięci współdzieloe dokładie tą samą wartość (ale ie róże wartości dostępe przez te sam bak). Istiee wówczas możliwość, iż taką grupę wątków obsłuży mechaizm rozgłaszaia i będzie to rówoczesy, wyday odczyt. Wyday dostęp do pamięci globale (zarówo odczyt ak i zapis) est możliwy wtedy, gdy każdy wątek w half-warpie wykoue dostęp do daych zawartych w edym segmecie o wielkości 8B (w sytuaci, gdy odczytywae wartości maą 3 bity). Należy tuta zwrócić uwagę, iż powyższe twierdzeie est prawdziwe tylko dla owszych kart graficzych. Starsze karty graficze maą zaczie bardzie ograiczoe schematy wydaego dostępu do pamięci globale. Z powyższego opisu moża wywioskować kilka ogólych zasad optymalizaci kodu pisaego a platformę CUDA: a początku kerela ależy przepisywać przetwarzay fragmet daych z pamięci globale do pamięci współdzieloe, staraąc się uikać dostępów poza edym segmetem w ramach edego half-warpa, uikać kofliktów w dostępach do baków pamięci współdzieloe, uikać wykoywaia różych ścieżek kodu w ramach edego warpa. Ze względu a sposób wykoywaia koleych istrukci we wszystkich wątkach edego warpa przez GPU, każdy wątek w warpie musi wykoywać dokładie tą samą istrukcę. Jeżeli tak ie est, wykoaie wszystkich alteratywych ścieżek kodu est serializowae, przez co est zaczie woliesze, uruchamiać możliwie dużo bloków, żeby wykorzystać wszystkie multiprocesory,

11 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa 6 obliczeia zmieoprzecikowe wykoywać przede wszystkim a poedycze precyzi (obliczeia podwóe precyzi wykoywae są obecie ze zaczie mieszą szybkością). Z tego też powodu wszelkie dalsze rozważaia dotyczące obliczeń a GPU dotyczą obliczeń poedycze precyzi. Przedstawioe w iiesze publikaci rozwiązaia stosuą się do wszystkich powyższych wskazówek. 5. Implemetaca algorytmu PLUG-IN a GPU 5.. Optymalizaca obliczaia estymatora wariaci Optymalizacę obliczaia wartości estymatora wariaci (.) oparto o rozwiązaia przedstawioe w [Har] W prezetaci te przedstawioo wydaą implemetacę algorytmu redukci (agregaci) edowymiarowe tablicy wartości. Niektóre kerele przedstawioe w iiesze publikaci, są prostymi modyfikacami kerela przedstawioego w [Har] i wszystkie rozważaia dotyczące procesu redukci wprowadzoe w [Har] zaduą zastosowaie rówież tuta. Z tego też powodu opisae zostaie edyie ogóle działaie kereli redukuących z uwzględieiem zmia specyficzych dla obliczaia wartości koieczych do wyzaczeia współczyika wygładzaia. Czytelików zaiteresowaych zastosowaymi optymalizacami implemetacyymi odsyłamy do [Har]. Ogóly schemat rówoległe redukci tablicy wartości (w przypadku iiesze publikaci sumy wartości), przedstawioo a rysuku. Na początku tablica zawiera 8 różych wartości. Rówolegle wykoywae są 4 operace sumowaia par wartości z tablicy. Do każdego elemetu z pierwsze połowy tablicy, dodaway est elemet odległy od iego o połowę długości tablicy, p. a rysuku, do elemetu umer dodaway est elemet umer 5. Wyiki zapisywae są w miescu w orygiale tablicy. Proces est powtarzay, ale w każdym koleym kroku, zakres dodawaych pozyci tablicy est zmieszay o połowę. Ostateczie uzyskiwaa est eda wartość, która zawiera wyik redukci. 3 A i A A 5 A 3A 7 A +A 6 A 3+A 7 A 4 A 5 A 6 A 7 A 0A 4 A A 6 A A 5 A A 6 A 3 A 7 A 3A 7 A 4 A 5 A 6 A 7 A 0 A 4 A A 5 A A 6 A 3A 7 A 4 A 5 A 6 A 7 0 A 0 A A A 3 A 4 A 5 A 6 A 7 Rys.. Schemat rówoległe redukci tablicy wartości Kerel reducekerel implemetuący wyże opisay schemat został przedstawioy a listigu. Istotym dla wytłumaczeia działaia omawiaego kerela est struktura siatki obliczeń, dla które est o wywoływay. Siatka obliczeń składa się z edowymiarowych bloków o liczbie wątków będące potęgą. Ze względu a wydaość, dla obecych kart graficzych powio to być 56 lub 5 wątków. Bloki w siatce są zorgaizowae w edowymiarową siatkę obliczeń.

12 6 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki Siatka obliczeń powia zawierać tyle bloków, żeby całkowita liczba wątków w wierszu te macierzy była rówa połowie liczby wartości do zsumowaia (p. do zsumowaia 8 wartości powiy być uruchomie 4 wątki). W sytuaci, gdy ie est możliwe uruchomieie tak duże siatki, powio zostać uruchomioe maksymale bloków w wierszu siatki. Każdemu uruchomioemu blokowi przydzielay est obszar pamięci współdzieloe pozwalaący a przechowaie tylu wartości, ile est wątków w bloku. Jak łatwo zauważyć, kerel reducekerel został zaimplemetoway ako szablo, którego parametrem est liczba wątków w bloku. Takie rozwiązaie pozwala a zaczą optymalizacę kodu a etapie kompilaci (patrz [Har]). Kerel przymue ako parametry: wskaźik a obszar pamięci globale zawieraące dae do zsumowaia g_idata, wskaźik a obszar pamięci globale, do które powiy zostać zapisae cząstkowe wyiki sumowaia g_odata oraz liczbę sumowaych wartości. W wierszu 3 kerela reducekerel astępue pobraie adresu pamięci współdzieloe przydzieloe do bloku, w którym zadue się wątek. W wierszu 5 obliczaa est pierwsza z pozyci w tablicy weściowe, którą powiie dodać aktualy wątek. W wierszu 6 obliczaa est liczba wątków w siatce obliczeń. Wartość ta est potrzeba późie w celu wykrycia i ewetualego obsłużeia sytuaci, gdy ie było możliwe uruchomieie wystarczaące liczby bloków. W wierszu 7 przydzieloa pamięć współdzieloa est zerowaa. W wierszach 8 do 0 każdy wątek sumue przyamie dwie wartości z tablicy weściowe i zapisue wyik do pamięci współdzieloe. Jeżeli okaże się, że liczba alokowaych wątków est iewystarczaąca, sekwecyie dodawae są kolee wartości z redukowae tablicy. Wiersz obsługue sytuace, w których ie est potęgą dwóki. W takich przypadkach, ie każda wartość z tablicy może zaleźć parę do dodaia i astępue po prostu przepisaie tylko ede wartości bez dodawaia. W wierszu odbywa się sychroizaca wątków w celu zapewieia, aby wszystkie pozyce w pamięci współdzieloe zostały wypełioe, zaim kerel przedzie do koleego etapu obliczeń. Wiersze 3 do 30 implemetuą schemat redukci przedstawioy a rysuku. Redukca wykoywaa est w całości w pamięci współdzieloe. Wyik redukci zapisyway est do tablicy wyikowe, pod pozycą o umerze aktualego bloku. Poieważ każdy uruchomioy blok wykoue redukcę *blocksize wartości do ede, może się okazać, że edorazowe wykoaie kerela reducekerel może ie być wystarczaące do obliczeia całkowite sumy wszystkich wartości w tablicy (eżeli wartości w tablicy est więce iż *blocksize). Aby zapewić pełą redukcę, moża wykorzystać ede z dwóch astępuących schematów postępowaia. Pierwszy schemat, tzw. ieiszczący rozpoczya się od zaalokowaia w pamięci globale dwóch tablic pomociczych A i B o wymiarach pozwalaących pomieścić wyik pierwsze redukci. Wyik działaia kerela reducekerel est zapisyway do tablicy A. Jeżeli wyik zawiera edą wartość, to dalsze obliczeia ie są wykoywae, gdyż zalezioy został wyik. W przeciwym wypadku tablica A est redukowaa a wyik zapisyway est do tablicy B. Jeżeli zachodzi koieczość dalsze redukci, to tablica B est redukowaa, a wyik z powrotem zapisyway do tablicy A i tak dale a przemia, aż pozostaie tylko eda wartość staowiąca wyik redukci. Drugi schemat, tzw. iszczący wykorzystue tylko edą tablicę pomociczą A. Postępowaie est aalogicze, ak w schemacie ieiszczącym, ale rolę tablicy B pełi orygiala tablica z daymi weściowymi. Schemat est zatem iszczący, gdyż iszczy orygiale, redukowae dae.. template <usiged it blocksize>. void reducekerel(float *g_idata, float *g_odata, usiged it ) { 3. eter shared float sdata[]; 4. usiged it tid threadid.; 5. usiged it i blockid. * (blocksize * ) + tid; 6. usiged it gridsize blocksize * * griddim.; 7. sdata[tid] 0.0f; 8. while (i + blocksize < ) { 9. sdata[tid] + g_idata[i] + g_idata[i + blocksize]; i + gridsize; 0. }. if (i < ) { sdata[tid] + g_idata[i]; }. sycthreads();

13 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa if (blocksize > 5) { if (tid < 56){ sdata[tid] + sdata[tid + 56]; } 4. sycthreads(); 5. } 6. if (blocksize > 56) { if (tid < 8){ sdata[tid] +sdata[tid + 8]; } 7. sycthreads(); 8. } 9. if (blocksize > 8) { if (tid < 64){ sdata[tid] +sdata[tid + 64]; } 0. sycthreads();. }. if (tid < 3) { 3. volatile float* smem sdata; 4. if (blocksize > 64) smem[tid] + smem[tid + 3]; 5. if (blocksize > 3) smem[tid] + smem[tid + 6]; 6. if (blocksize > 6) smem[tid] + smem[tid + 8]; 7. if (blocksize > 8) smem[tid] + smem[tid + 4]; 8. if (blocksize > 4) smem[tid] + smem[tid + ]; 9. if (blocksize > ) smem[tid] + smem[tid + ]; 30. } 3. if (tid 0) g_odata[blockid.] sdata[0]; 3. } Listig. Kerel reducekerel służący do proste redukci (sumowaia) elemetów tablicy Kerel reducekerel wykorzystyway est do zarówo do obliczeia sumy wartości wektora X, ak i sumy kwadratów wartości wektora X, które to sumy są koiecze do obliczeia estymatora wariaci (.). Do obliczeia tych sum wykorzystyway est kerel reducekerel pracuący w schemacie iszczącym, oraz kerel geeratearrays, przedstawioy a listigu. Na początku alokowae są w pamięci globale dwie tablice o rozmiarze. Następie uruchamiay est kerel geeratearrays, którego zadaiem est przepisać do pierwsze z tych tablic orygiale wartości wektora X, a do drugie, kwadraty wartości wektora X. Siatka obliczeń dla tego kerela powia być edowymiarowa i składać się z maksymalie dużych, edowymiarowych bloków (56 lub 5 wątków). Liczba bloków w siatce powia być taka, żeby liczba uruchomioych wątków była większa lub rówa. Kerel geeratearrays ako parametry przymue wskaźiki do 3 obszarów pamięci globale: i tablica z wartościami wektora X, out tablica tymczasowa, do które przepisywae są dae z tablicy i, oraz out tablica tymczasowa, do które zapisywae są kwadraty wartości z tablicy i. Ostatim parametrem kerela est wartość, czyli długość wektora X. W wierszu 3 kerel oblicza pozycę w tablicy weściowe, którą ma przewarzać aktualy wątek. Jeżeli pozyca ta ie wychodzi poza tablicę weściową, to w wierszu 5 pobieraa est do reestru wartość z tablicy, a astępie est oa zapisywaa po ewetualych modyfikacach to tablic out i out w wierszach 6 i 7.. global void geeratearrays(float *i,float *out,float *out,. usiged it ) { 3. usiged it i threadid. + blockid. * blockdim.; 4. if ( i < ) { 5. float i[i]; 6. out[i] ; 7. out[i] * ; 8. } 9. } Listig. Kerel geeratearrays służący do przygotowaia daych przy obliczaiu estymatora wariaci Po zakończeiu działaia kerela geeratearrays, kerel reducekerel pracuący w schemacie iszczącym wykorzystyway est do obliczeia sum wartości w wygeerowaych tablicach. Uzyskae w te sposób sumy są wykorzystywae do obliczeia wartości estymatora wariaci.

14 64 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki 5.. Optymalizaca obliczaia estymat (.5) oraz (.8) Koleym czasochłoym etapem algorytmu PLUG-IN, est obliczeie estymat (.5) oraz (.8), a w szczególości podwóych sum, które tam się zaduą (powoduą oe, że złożoość obliczeiowa algorytmu est a poziomie O( )). Jak łatwo zauważyć, w obydwu przypadkach chodzi o obliczeie sumy wartości pewe fukci, które ako parametr przekazywae są różice dwóch wartości z wektora X. Schemat obliczeia tych sum est zatem w obydwu przypadkach taki sam. Z te przyczyy przedstawioy zostaie edyie opis obliczaia sumy wartości fukci (.6), a późie wskazae zostaą proste modyfikace, które ależy wprowadzić, aby obliczaa była suma wartości fukci (.9). W celu obliczeia sumy wartości fukci (.6) wykorzystyway est zmodyfikoway kerel reducekerel o azwie reducek6kerel (patrz listig 3). Kerel przymue ako parametry: wskaźik do obszaru pamięci globale g_idata, w którym zaduą się wartości wektora X, wskaźik do obszaru pamięci globale g_odata, do którego zapisae zostaą cząstkowe wyiki dodawaia, wartość deltay, które zaczeie zostaie opisae późie (chwilowo ależy przyąć założeie, że deltay0), wartość g oraz wartość, czyli liczba wartości w wektorze X. Jak łatwo zauważyć, kerel reducek6kerel est bardzo podoby do reducekerel. Różice poawiaą się w pętli w wierszu 0 i w powiązaym z ią warukiem w wierszu oraz w zapisie wyików obliczeń w wierszu 5. Poawia się rówież dodatkowe pobraie daych w wierszu 8. Aby zrozumieć działaie iieszego wariatu kerela służącego do redukci daych, koiecze est uprzedie pozaie siatki obliczeń, w akie kerel te powiie działać. Siatka obliczeń powia być dwuwymiarowa, z edowymiarowymi blokami o maksymale liczbie wątków (podobie ak w przypadku kerela reducekerel). Liczba bloków w poedyczym wierszu siatki powia być obliczaa w taki sam sposób, ak w przypadku kerela reducekerel. Liczba bloków w kolumie siatki powia być rówa, a w sytuaci, gdy >65535, to wtedy powia wyosić dokładie Przypadek te zostaie opisay późie. Chwilowo ależy przyąć założeie, że < A zatem, ak działa kerel reducek6kerel? W wierszu 8 kerela pobieraa est wartość z wektora X o umerze odpowiadaącym umerowi wiersza bloków w siatce, w którym zadue się aktualy wątek. Pobraa wartość wykorzystywaa est w pętli w wierszu 0 do obliczeia parametru fukci k6d staowiące implemetacę fukci (.6) (patrz listig 4). W omawiae pętli, podstawową różicą w stosuku do e orygiale postaci est to, iż dodawae są wartości fukci k6d, zamiast iezmodyfikowaych wartości odczytaych z tablicy, ak to było w orygiale postaci kerela. Moża tuta rówież zauważyć, że od odczytaych z pamięci globale wartości wektora X odemowaa est wartość zapisaa w zmiee pobraa w wierszu 8. Co więce, pozyce odczytywaych wartości w wierszu 0 zależą tylko od położeia wątku w wierszu bloków. Moża zatem zauważyć, że kerel reducek6kerel, realizue schemat redukci przedstawioy a rysuku w każdym wierszu siatki iezależie, ale sumowae są wartości fukci k6d, a ie orygiale dae. Co więce, w każdym wierszu siatki obliczaa est suma wartości fukci k6d, które parametr est obliczay a podstawie ie wartości. W wierszu 5 a podstawie położeia aktualego bloku w siatce obliczaa est pozyca w tablicy wyściowe, do które ależy zapisać częściową sumę obliczoą w ramach bloku, a astępie obliczoa suma częściowa est tam zapisywaa. Uzyskae w opisay powyże sposób częściowe sumy moża astępie zredukować do poedycze wartości stosuąć kerel reducekerel w schemacie iszczącym. Pozostae edyie problem z sytuacą, w które > Wówczas ie est możliwe uwzględieie w edym wywołaiu kerela reducek6kerel wszystkich wartości. Należy zatem wywołać te kerel wielokrotie w pętli. Aby uikąć powtórzeia obliczeń, ależy przypisać do parametru deltay liczbę pierwszych wartości, które ależy pomiąć.. template <usiged it blocksize>. global void reducek6kerel(float *g_idata, float *g_odata, 3. usiged it deltay, float g, usiged it ) { 4. eter shared float sdata[]; 5. usiged it tid threadid.;

15 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa usiged it i blockid. * (blocksize * ) + tid; 7. usiged it gridsize blocksize * * griddim.; 8. float g_idata[blockid.y + deltay]; 9. sdata[tid] 0.0f; 0. while (i + blocksize < ) { sdata[tid] + k6d((g_idata[i] - ) / g) + k6d((g_idata[i + blocksize] - )/g); i + gridsize; }. if (i < ) { sdata[tid] + k6d((g_idata[i] - ) / g); }. sycthreads(); 3. if (blocksize > 5) { if (tid < 56) {sdata[tid] + sdata[tid + 56];} sycthreads(); } 4. if (blocksize > 56) { if (tid < 8) {sdata[tid] + sdata[tid + 8];} sycthreads(); } 5. if (blocksize > 8) { if (tid < 64) {sdata[tid] + sdata[tid + 64];} sycthreads(); } 6. if (tid < 3) { 7. volatile float* smem sdata; 8. if (blocksize > 64) smem[tid] + smem[tid + 3]; 9. if (blocksize > 3) smem[tid] + smem[tid + 6]; 0. if (blocksize > 6) smem[tid] + smem[tid + 8];. if (blocksize > 8) smem[tid] + smem[tid + 4];. if (blocksize > 4) smem[tid] + smem[tid + ]; 3. if (blocksize > ) smem[tid] + smem[tid + ]; 4. } 5. if (tid 0) g_odata[blockid. + griddim. * (blockid.y + deltay)] data[0]; 6. } Listig 3. Kerel reducek6kerel służący do częściowego zsumowaia wartości fukci (.6) Jak wspomiao wcześie, fukca k6d przedstawioa a listigu 4 est prostą implemetacą fukci (.6). Krótki kometarz do te fukci est edak iezbędy. Po pierwsze ależy wspomieć o wartości k_coeff występuące w wierszu 3. Jest to zdefiiowaa globalie stała o wartości / π. Po drugie ależy rówież zazaczyć, iż wielomia występuący w defiici fukci (.6) został przekształcoy do postaci, która wymaga wykoaia miesze liczby operaci matematyczych.. device float k6d(float ) {. float * ; 3. retur k_coeff * ep(-0.5f * ) * ( * ( * ( - 5.0f) f) - 5.0f); 4. } Listig 4. Fukca k6d obliczaąca wartość fukci (.6) Ostatią rzeczą, którą ależy omówić, est obliczaie sumy wartości fukci (.9). Obliczaie te sumy przebiega aalogiczie ak w przypadku sumy wartości fukci (.6). Koiecze est edyie przygotowaie kerela prawie idetyczego z reducek6kerel, w którym parametr g zastąpioo parametrem g, a wszystkie wywołaia fukci k6d, wywołaiami fukci k4d (patrz listig 5). Wielomia w fukci k4d, podobie ak w przypadku fukci k6d, rówież został przekształcoy do postaci, w które wymagae est mie obliczeń.. device float k4d(float ) {. float *; 3. retur k_coeff * ep(-0.5f * ) * ( * ( - 6.0f) + 3.0f); 4. } Listig 5. Fukca k4d obliczaąca wartość fukci (.9).

16 66 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki 6. Implemetaca algorytmu LSCV a GPU 6.. Optymalizaca podstawowego algorytmu Obliczeie wzoru (.4) est bardzo kosztowe ze względu a koieczość wielokrotego obliczeia wartości fukci T (wzór (.5)) dla różych parametrów. Obliczeie fukci (.5) rówież wymaga dość duże liczby operaci. Nie licząc operaci stałych, które trzeba wykoać zawsze, dla obliczeia wzoru (.4), koiecze est wykoaie iloczyu T Σ, który wymaga wykoaia d +d możeń i (d-)(d+) dodawań. Obliczeie ede wartości wzoru (.4) wymaga (-)/ wyliczeń wartości fukci (.5). Jak łatwo zatem zauważyć, koszt obliczeia wzoru (.4) est zaczy. Możliwa est edak optymalizaca pozwalaąca a zacze zmieszeie tego kosztu. Rozważmy poowie wzór (.6): K( ) (π ) ep det( ) d / Jak łatwo zauważyć ze wzoru (.4), wektor zawsze ma postać, y i, / h gdzie yi i Moża zatem zapisać owy wariat fukci K() w astępuące postaci: Niech wówczas: K( y i,, h) (π ) (π ) d / d / ep det( ) ep det( ) T Y i, yi, yi, h T y h T i, y T i, yi, h yi,,. (3.), (3.) (,, ) ep Y i det( ) h K i h d /, (π ) (3.3) W aalogiczy sposób moża zmodyfikować postać fukci ( K K)( ) : ( ep Y i det( ) 4 h K * K)( i,, h) d /, (4π ) (3.4) Propaguąc zmiay do wzorów (.5) oraz (.4) moża uzyskać: T ( i,, h) ( K * K)( i,, h) K( i,, h) (3.5) g( h) T ( i,, h) + R( K) (3.6) d h i, i< Jak łatwo zauważyć, wartości (3.) są skalarami, a co więce, są oe stałe, iezależie od wartości parametru h, dla które obliczaa est wartość fukci (.4). Pozwala to a edorazowe obliczeie wartości (3.) a początku działaia algorytmu i wielokrote ich wykorzystywaie a etapie szukaia miimum fukci (.4). Nabardzie czasochłoymi operacami zmodyfikowae wersi algorytmu LSCV są: obliczaie wartości (3.) oraz wielokrote obliczaie wartości (.4). Pozostałe operace, takie ak: obliczeie macierzy kowariaci, e odwrotości oraz wyzaczika, dla iewielkich wartości d, za-

17 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa 67 mue tak mało czasu, że próba ich przyspieszeia za pomocą GPU ie dae żadych zauważalych zysków. 6.. Optymalizaca obliczaia wartości (3.) Przyęte tuta rozwiązaia oparte są o pomysły z publikaci [CKO09] poświęcoe grupowaiu obiektów a platformie CUDA. Przedstawioo tam między iymi metodę wydaego obliczaia macierzy współczyików korelaci Pearsoa pomiędzy każdą parą wektorów z zadaego zbioru wektorów. Przedstawioe tam rozwiązaie est edak a tyle ogóle, że pozwala oo a obliczeie macierzy wartości szerokie klasy fukci dwóch wektorów. Modyfikaca rozwiązań z publikaci [CKO09] przedstawioa poiże uwzględia 3 dodatkowe czyiki pozwalaące a dodatkowe optymalizace, w przypadku obliczaia macierzy wartości (3.): macierz wartości (3.) est macierzą trókątą pozwala to a ograiczeie liczby obliczaych wartości i zmieszeie liczby wątków koieczych do uruchomieia, koleość wartości Y i, w tablicy wyikowe est oboęta. Nie musi być to awet tablica wielowymiarowa, wartości d są iewielkie, przez co moża ograiczyć liczbę iektórych iepożądaych kostrukci ęzykowych, które zmieszaą wydaość. Przedstawioe przez as rozwiązaie pozwala a przetwarzaie macierzy daych dla d,,,6 choć rozszerzeie go dla większych wartości d ie est trude. Ogóly schemat obliczaia wartości (3.) przedstawioo a rys.. Niech będzie daa wartość side. Rysuek zakłada, iż dside (dla obecych kart graficzych rekomedowaa est wartość side6), oraz że est wielokrotością size. Bardzie ogóle sytuace zostaą omówioe późie. q l d X Rys. 3. Schemat obliczaia wartości Y i, Ogóly pomysł a wydae obliczaie wartości Y i,, przedstawioy a rysuku 3 wygląda astępuąco. Na karcie graficze uruchamiaych est wiele bloków wątków, każdy z ich składaący się z side wątków. Wątki w bloku uorgaizowae są w kwadratową macierz o boku side (każdy wątek za swoe położeie w bloku). Każdemu blokowi przydzielae są dwie liczby l0../side- oraz q0../side-. Każdy blok posiada ią kombiacę tych dwóch wartości. Liczby l oraz q są

18 68 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki umerami kwadratowych fragmetów macierzy X, tak ak zostało to pokazae a rysuku 3. Kwadratowy fragmet macierzy o umerze l składa się z kolum l* side, l* side+, K, l* side+ side (i aalogiczie w przypadku q). Dla każdego bloku alokoway est obszar pamięci współdzieloe wystarczaący do przechowaia dwóch kwadratowych macierzy o boku side. Wątki w każdym bloku maą dwa zadaia. Pierwszym zadaiem est pobraie z pamięci globale kwadratowych podmacierzy macierzy X wskazaych przez wartości l oraz q, do pamięci współdzieloe przydzieloe do bloku, w którym zaduą się wątki. Operaca ta zilustrowaa est przez szare strzałki a rysuku 3. Kiedy wszystkie wątki zakończą kopiowaie daych do pamięci współdzieloe, obliczaą oe wartości kwadratowego fragmetu macierzy wyściowe: wątek, o współrzędych (t,ty) w bloku, któremu przydzieloo wartości l oraz q, oblicza poszukiwaą wartość fukci wektorów l* side+ t i q* side+ ty wykorzystuąc dae zapisae w pamięci współdzieloe. Opisay powyże schemat pozwala a obliczeie macierzy kwadratowe wartości fukci każde wariaci dwóch wektorów (kolum) z macierzy X. Należy edak zauważyć, iż wartości (3.) wystarczy obliczyć dla każde kombiaci dwóch wektorów z macierzy X (macierz wartości (3.) est trókąta). Aby ograiczyć liczbę iepotrzebych obliczeń, bloki uruchamiae są zgodie ze schematem przedstawioym a rysuku. Rysuek, w celu zwiększeia czytelości, zakłada, iż side4 a 0. Jak moża zobaczyć a rysuku, uruchamiae są edyie takie bloki, dla których kombiaca wartości l i q umieszcza wyik ich pracy w dolym trókącie macierzy wyikowe. Moża rówież zauważyć, iż iewielka część wątków będzie w dalszym ciągu obliczać wartości a i powyże przekąte macierzy. W tych ieliczych przypadkach obliczoe wartości są igorowae. q l 3 4 Rys.. Ilustraca położeia uruchamiaych wątków w macierzy z wyikami obliczeń Kerel fidep implemetuący wyże opisae rozwiązaia został przedstawioy a listigu 6. Jak łatwo zauważyć, kerel został zaimplemetoway w postaci szablou fukci. Parametrami szablou są wartości side i d (ie obowiązue uż założeie, iż dside oraz, że est wielokrotością side). Przyęto takie rozwiązaie, poieważ a obecych kartach graficzych side zawsze powio wyosić 6, a dopuszczale wartości d muszą być miesze lub rówe side. Umożliwia to proste wyliczeie wszystkich poprawych istaci tego wzorca (est ich 6, po ede dla każde wartości d) i wybór odpowiedie za pomocą kostrukci switch. Zaomość wartości d i side a etapie kompilaci pozwala kompilatorowi w zaczym stopiu zoptymalizować kod (p. rozwiąć pętle). Kerel, ako parametry formale przymue: wskaźik a obszar pamięci globale, w które zapisao macierz X (parametr data), wskaźik a obszar pamięci globale, do które ależy zapisać wyik obliczeń out oraz wartość. Kerel zakłada, iż dae weściowe (macierz X) są umieszczoe w edowymiarowe tablicy, wierszami:,,,,,,,,,,,,,,, d,. Obszar pamięci wskazyway przez out to edowymiarowa tablica o długości (-)/. W wierszach 3,4 i 5 astępue pobraie adresu pamięci współdzieloe przydzieloe do bloku w którym

19 Przybliżoe zapytaia do baz daych z akceleracą obliczeń rozkładów prawdopodobieństwa 69 zadue się wątek, oraz określeie początków obszarów te pamięci do których możliwe est zapisaie pierwsze i drugie kwadratowe podmacierzy. Adresy tych obszarów zapisywae są do zmieych Ml oraz Mq. W wierszach 6, 7 i 8 astępue obliczeie wartości l oraz q. Przyęte tuta rozwiązaie umerowaia bloków est iestadardowe i wymaga wytłumaczeia. Wyika oo z dwóch czyików: ie est możliwe stworzeie dolotrókąte siatki obliczeń, a zatem ie est możliwe wykorzystaie blockid. i blockid.y ako l i q, możliwe est ustaleie odpowiedich współrzędych l oraz q a podstawie umeru bloku, eżeli są oe umerowae sekwecyie, ale wówczas liczba możliwych do uruchomieia bloków est zbyt ograiczoa (tylko bloków). Drugi ze wspomiaych czyików moża rozwiązać uruchamiaąc prostokątą siatkę obliczeń, o odpowiedie liczbie bloków, i przeliczyć dwuwymiarowe położeie bloku w siatce a ego edowymiarowy umer. Uszczegółowiaąc, moża powiedzieć, iż kerel fidep powiie być uruchamiay w siatce o dowolych wymiarach, tak długo, ak liczba bloków w siatce est rówa, lub większa od, ale bliska / side) *( / side + ) /. Każdy blok powiie być edowymiarowy i zawierać side wątków. Wracaąc do opisu kerela, liiowy umer bloku obliczay est w wierszu 6 i zapisyway do zmiee b. Wartości l oraz q obliczae są astępie a podstawie b w wierszach 7 i 8. Wiersze te implemetuą wzory: l 8 b l( l + ) q b Wyprowadzeie powyższych wzorów est proste i ie zostało umieszczoe w iiesze publikaci. Wytłumaczeia wymaga edyie fukca ceilsquareroot wykorzystaa w wierszu 7. Je kod przedstawioo a listigu 7. Zadaiem te fukci est obliczeie pierwiastka liczby przekazae ako parametr i uikięcia iedokładości obliczeń, w przypadku, kiedy parametr est kwadratem liczby całkowite. W wierszach 9 i 0 astępue określeie współrzędych wątku w bloku, a podstawie ego edowymiarowego umeru. Alteratywie moża po prostu alokować od razu bloki dwuwymiarowe o odpowiedich wymiarach. W wierszach i obliczae są pozyce początkowe kwadratowych podmacierzy macierzy X w tablicy data. W wierszach 3 i 4 iicowae są zmiee pomocicze, wykorzystywae podczas obliczaia wartości (3.). W wierszach 5 i 6 astępue przepisaie wybraych podmacierzy kwadratowych do pamięci współdzieloe. Wykorzystaie fukci mi w tych wierszach gwaratue, iż ie zostaą wykoae dostępy do pamięci spoza dopuszczalego obszaru. W wierszu 7 astępue sychroizaca wszystkich wątków, dzięki które gwaratowae est przepisaie wszystkich wymagaych daych do pamięci współdzieloe zaim zostaą wykoae kolee operace kerela. Waruki w wierszach 8 i 9 pozwalaą a wykoywaie dalsze pracy edyie wątkom, które obliczaą wartość (3.) z dolego trókąta macierzy (wiersz 8) i przetwarzaą dae ie wychodzące poza macierz X (wiersz 9). Pętle w wierszach od 0 do 6 obliczaą wartość (3.) dla odpowiedie pary wektorów (kolum z macierzy X). W wierszu 3 wykorzystywaa est tablica ivsigma, która ie została wcześie zadeklarowaa, ai przekazaa przez parametr. Jest to globala tablica zawieraąca macierz Σ -. W celu optymalizaci czasu obliczeń została oa umieszczoa w pamięci stałych. Jak łatwo zauważyć, każdy wątek w warpie będzie wykoywać dostęp do te same wartości pamięci stałych, co est optymalą metodą dostępu do tego typu pamięci [NV0]. Istotym szczegółem, a który ależy zwrócić uwagę est tuta rówież sposób adresowaia pozyci w tablicach Ml i Mq umieszczoych w pamięci współdzieloe. Ze względu a sposób ułożeia macierzy X w pamięci globale, kolee wartości w tych macierzach, po przepisaiu daych (patrz wiersze 5 i 6), ułożoe są w astępuący sposób. Pierwsze side wartości, to wartości z pierwszego wiersza odpowiedie kwadratowe podmacierzy macierzy X, kolee side wartości, to wartości z drugiego wiersza odpowiedie kwadratowe podmacierzy itd. Wyika z tego, że kolee wartości dowole kolumy

20 70 Witold Adrzeewski, Artur Gramacki, Jarosław Gramacki podmacierzy są dostępe co side wartości w tablicy. Takie ułożeie daych umożliwia dostęp do pamięci współdzieloe w wierszach 3 i 5, który ie powodue kofliktów przy dostępie do baków te pamięci. Wyika to z astępuących obserwaci. Przy założeiu, że side6, ede half-warp przetwarza ede wiersz bloku. Poieważ koflikty mogą wystąpić edyie w ramach half-warpa, dalsze rozważaia zostaą ograiczoe do edego wiersza bloku. Jak łatwo zauważyć, kolee wątki w half-warpie będą miały przydzieloe kolee wartości t. Jak rówież łatwo zauważyć, t w wyrażeiach obliczaących adres w tablicy Ml est dodaway ako wyraz woly, bez żadego współczyika. Ozacza to, że kolee wątki w half-warpie wykouą dostępy do koleych wartości z tablicy Ml, a co za tym idzie do koleych baków. Poieważ w half-warpie est 6 wątków, a pamięć współdzieloa ma 6 baków, koflikt w dostępie do baków igdy ie wystąpi. Dostęp do tablicy Ml est zatem wyday. Wydawałoby się atomiast, że w przypadku tablicy Mq, wszystkie wątki w ramach half-warpa wykouą dostęp do tego samego baku, gdyż maą idetycze wartości zmieych p, k i ty, które są wykorzystywae podczas obliczaia adresu w te tablicy. Okazue się edak, że ie tylko est to ede bak, ale zawsze dokładie te sam adres, a zatem GPU może wykorzystać mechaizm rozgłaszaia i efektywie pobrać dae z pamięci współdzieloe. Wiersze 8 i 9 wykouą zapis wyików obliczeń do tablicy wyikowe. Wytłumaczeia wymaga wartość correctio obliczaa w wierszu 8. Wartość ta, to liczba wątków, które ormalie zostałyby zapisae w tablicy wyikowe wcześie iż aktualy wątek, ale zostały pomiięte gdyż obliczały wartości z przekąte macierzy, bądź z e części górotrókąte. W wierszu 9, od liiowe pozyci w tablicy wyikowe, obliczoe a podstawie liczby bloków, umeru aktualego bloku i umeru aktualego wątku koiecze est odęcie wartości correctio, aby wyiki zostały zapisae w tablicy wyikowe w sposób ciągły. Wyprowadzeie wzoru a correctio moża oprzeć o rysuek. Jak łatwo zauważyć, liczba wątków, w których zostały pomiięte obliczeia w bloku zaduącym się a przekąte macierzy, wyosi zawsze: side ( side + ) /. Bloki takie będą azywae iepełymi. Pozostałe bloki będą azywae blokami pełymi (a rysuku są arysowae w całości a biało). Przed każdym pełym blokiem w wierszu bloków pomiięto l side( side +) / wątków (po side ( side + ) / wątków a każdy poprzedi wiersz). W przypadku wątków zaduących się w bloku iepełym, ależy dodatkowo doliczyć wątki, które zostały pomiięte w poprzedich wierszach wątków w ramach bloku: ty ( side ty + ) /. Powyższy wzór a odpowiedią liczbę wątków moża wyprowadzić ze wzoru a sumę szeregu arytmetyczego. Samo wyprowadzeie est proste i ie zostało umieszczoe w iiesze publikaci. Obydwa wyże opisae wzory są sumowae, przy czym wzór ty ( side ty + ) / możoy est razy wyrażeie ( q l), które wyosi, gdy waruek est spełioy (obsługiway est blok iepeły) i 0 w przeciwym wypadku. Zapis te pozwala a uikięcie iepotrzebych struktur steruących (kostrukci if).. template <it side,it d>. global void fidep(float *data, float* out, it ) { 3. eter shared float base[]; 4. float* Mlbase; 5. float* Mqbase + side * side; 6. it b blockid. + blockid.y * griddim.; 7. it l ceil((ceilsquareroot((b << 3) + 9) - 3.0f) /.0f); 8. it q b - ((l * (l + )) >> ); 9. it t threadid. % side; 0. it ty threadid. / side;. it lbegi l * side;. it qbegi q * side; 3. float part 0.0f; 4. float res 0.0f; 5. Mq[ty * side + t] data[mi(qbegi + t, - ) + mi(ty, d ) * ];