Optymalizacja R dlaczego warto przesi ± si na Linuxa?

Transkrypt

1 Optymalizacja R dlaczego warto przesi ± si na Linuxa? 19 listopada 2014

2 Wi cej informacji, wraz z dodatkowymi materiaªami mo»na znale¹ w repozytorium na GitHubie pod adresem Prezentacja_ERKA_2014. Ewentualne uwagi i pytania mo»na kierowa na adres zawadzkizygmunt@gmail.com.

3 Rzecz o szybko±ci R R taki wolny... Rysunek : ródªo: inne j zyki takie szybkie (oprócz Matlaba). rly?

4 Rzecz o szybko±ci R - cd. Rzeczywi±cie R nie jest demonem szybko±ci i mo»na pisa w nim BARDZO nieefektywny kod: library(microbenchmark) x = 1:10000 slow_sum = function(x) { sum = 0 for(i in 1:length(x)) sum = sum + x[i] sum } microbenchmark(sum(x), slow_sum(x)) ## Unit: microseconds ## expr min lq mean median uq ma ## sum(x) ## slow_sum(x) ## neval ## 100 ## 100

5 Dobrym pytaniem byªoby - "ale dlaczego R jest taki wolny?" R w zamierzeniach nie musiaª by demonem szybko±ci. R, a w zasadzie jego poprzednik S, miaª by gªównie interfacem do kodu fortranowego (ewentualnie innego j zyka). A sam interface nie musi by bardzo szybki, bylby tylko byª wygodny. Wi cej prezentacja twórcy j zyka S - Johna Chambersa (równie» czªonka R Core Team), na tamat przeszªo±ci i przyszªo±ci R.

6 Zagadka! W R wyst puj trzy gªówne operatory wyªuskania warto±ci: x[1] x[[1]] x$a Sam R zostaª napisany w C. Pytanie brzmi: ile linijek kodu ma plik w którym te operatory s zdeniowane?

7 Zagadka! Rozwi zanie. Plik ten mo»na znale¹ w ¹ródªach R w /src/main/subset.c. Posiada on 1288 linijek... Tyle kodu ma jednak sens - w nim zawarte jest mi dzy innymi obsªugiwanie cz ±ciwego dopasowywania nazw w li±cie: x = list(dluga_nazwa = 1:5, inna_nazwa = 1:5) x$dlu # dziala! ## [1] Ma to jednak oczywiste konsekwencje wydajno±ciowe.

8 Realizacja idei interface w praktyce - obliczenia macierzowe W praktyce jednak wydajno± R nie jest znacz cym problemem - w ko«cu miaª by gªównie interfacem dla innych j zyków i bardzo du»o kodu w R sªu»y jedynie wywoªaniu okre±lonej biblioteki, która wykonuje najci»sze obliczenia. Np. funckja eigen - sªu» ca obliczaniu warto±ci wªasnych i wektorów wªasnych korzysta z biblioteki do oblicze«macierzowych LAPACK (Linear Algebra PACKage), która zostaªa napisana w Fortranie. Mo»na to pozna po tym,»e wewn trz funkcji znajduje si linijka wywoªuj ca kod zewn trzny:.internal(la_rs(x, only.values)) # z eigen.call(...) # inny interface - do C i C++.External(...).C(...) # stary interface do C Denicj La_rs mo»na znale¹ w /src/modules/lapack/lapack.c, a szukaj c dalej w tym folderze mo»na równie» znale¹ kod fortranowy Lapack'a (ok 200k linii kodu - du»a rzecz...).

9 Lapack i BLAS Gdyby wej± gª biej, oka»e si,»e LAPACK (kod fortranowy), korzysta z implementacji BLASu zawieraj cej zbiór podstawowych operacji na macierzach takich jak np. mno»enie macierzowe. Sam BLAS to API (Application Programming Interface), opisuj ce jak powinna wygl da biblioteka do oblicze«macierzowych. Na podstawie tego opisu tworzy si implementacje które realizuj ce te obliczenia. Istnieje kilka implementacji BLASu - np. ATLAS, MKL i OpenBLAS. R równie» posiada swoj implementacj, jednak nie jest ona najszybsza...

10 ... skoro ten standardowy R-owy BLAS nie jest najszybszy, to mo»e go podmieni na wydajniejszy?

11 ... skoro ten standardowy R-owy BLAS nie jest najszybszy, to mo»e go podmieni na wydajniejszy? Zaraz b dzie opis jak to prosto zrobi na Linuxie...

12 ... skoro ten standardowy R-owy BLAS nie jest najszybszy, to mo»e go podmieni na wydajniejszy? Zaraz b dzie opis jak to prosto zrobi na Linuxie ale co± za du»o tekstu w tej prezentacji. Dalszy tekst b dzie nudny...

13 ... skoro ten standardowy R-owy BLAS nie jest najszybszy, to mo»e go podmieni na wydajniejszy? Zaraz b dzie opis jak to prosto zrobi na Linuxie ale co± za du»o tekstu w tej prezentacji. Dalszy tekst b dzie nudny mo»e by tak pokaza na»ywo, jak to si robi? Caªe dziaªanie wzorowane jest na wpisie z for-faster-r-use-openblas-instead-better-than-atlas-trivial

14 ... skoro ten standardowy R-owy BLAS nie jest najszybszy, to mo»e go podmieni na wydajniejszy? Zaraz b dzie opis jak to prosto zrobi na Linuxie ale co± za du»o tekstu w tej prezentacji. Dalszy tekst b dzie nudny mo»e by tak pokaza na»ywo, jak to si robi? Caªe dziaªanie wzorowane jest na wpisie z for-faster-r-use-openblas-instead-better-than-atlas-trivial Czas na konsol!

15 ... mam nadziej,»e prezentacja optymalizacji BLAS na»ywo si udaªa.

16 ... mam nadziej,»e prezentacja optymalizacji BLAS na»ywo si udaªa. Je»eli tak, to znaczy,»e konsola nie jest taka straszna i mo»na w niej troszk poczarowa :)

17 Co dalej? Nie dawno Revolution Analytics wprowadziªo swoj wersj R ( która wykorzystuje MKL - czyli BLAS stworzony przez Intela - jest on naprawd szybki i by mo»e sztuczka z podmian R-owego BLAS-a przestaje mie jakiekolwiek znaczenie w przypadku u»ywania wersji od Revolution. Trzeba to sprawdzi!

18 Dlaczego warto przej± na Linuxa? System bardzo konsolowy - a co za tym idzie - bli»szy R. Nie ma Oce:) Czasem dosy problematyczny, a co za tym idzie frustruj cy (a to dobrze! - wywiad z jednym z mistrzów R, nt. warto±ci frustracji).

19 Dzi kuj za uwag!