Plan 1 Uwagi na temat wydajności CPython a 2 Podstawowe techniki poprawiające wydajność obliczeniową 3 Podstawowe techniki poprawiające zużycie pamięci krótkie opisy modułów 1 array - jak oszczędzić na pamięci 2 ctypes - prosta integracja z C 3 multiprocessing - zrównoleglanie programu Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 1 / 10
Ogólnie Wydajność obliczeniowa wydajność Pythona zależy od użytego intepretera CPython nie jest zbyt szybki (wolniejszy niż Java) Operacje oraz typy danych wbudowane w intepreter są zwykle szybsze. Duża część modułów Pythona jest zaimplementowana w C/C++ co przekłada się na odpowiednią wydajność Typy wbudowane również zaimplementowane są w C Zużycie pamięci - CPython Niektóre obiekty czysto Pythonowe zajmują więcej miejsca w pamięci niż można by się spodziewać CPython rezerwuje sobie listy obiektów podręcznych które czasami zajmują zbyt dużo miejsca Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 2 / 10
Wydajność obliczeniowa czyli dlaczego nie lubimy kropek... Redukcja ilości odwołań do słowników Każde odwołanie się do obiektu który nie znajduje się w aktualnej przestrzeni adresowej kosztuje dodatkowe sprawdzenie w słowniku a ponieważ funkcje też są obiektami to... tablica = [] for i in xrange(1000000): tablica.append(i)... to szybciej będzie w ten sposób tablica = [] dodaj_element = tablica.append for i in xrange(1000000): dodaj_element(i) Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 3 / 10
Wydajność obliczeniowa każda kropka więcej spowalnia program class Obiekt(object): def init (self): self.tablica = [] o = Obiekt() for i in xrange(1000000): o.tablica.append(i) jeśli można najlepiej jest użyć funkcji wbudowanej... tablica = range(1000000)... lub generator expression tablica = [i for i in xrange(1000000)] Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 4 / 10
Wydajność obliczeniowa importowanie Z tego samego powodu co w poprzednich przykładach lepiej stosować formę importu from modul import funkcja funkcja() niż import modul modul.funkcja() Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 5 / 10
Zużycie pamięci CPython tworzy bufory obiektów prostych (np. int) do ponownego wykorzystania >>> a = range(10000000) >>> del a oznacza to że po wykonaniu drugiego polecenia ilość pamięci zajmowanej przez Python a nie spadnie do poziomu początkowego uwagi tablica 10 000 000 liczb (int) zajmuje około 300 MB W normalnej pracy efekt ten nie jest zauważalny i pojawia się jedynie wtedy gdy chcemy przetwarzać duże ilości danych w jednym momencie. Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 6 / 10
moduł array array pozwala na wydajne przechowywanie wartości tego samego typu dd id=/dev/zero of=100mb bs=1048576 count=100 array będzie zajmować w pamięci tyle ile się spodziewamy i po skasowaniu pamięć zostanie zwolniona from array import array a = array("c") with open("100mb") as f: a.fromfile(f, 100*1024*1024) raw_input() del a raw_input() Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 7 / 10
moduł multiprocessing reklama Zrównoleglanie programów w Pythonie jest bardzo proste. program jednordzeniowy from math import sqrt pierwiastki = sum(map(sqrt, range(10000000))) program wielordzeniowy from math import sqrt def przelicz(zakres): return sum(map(range(*zakres))) if name == " main ": from multiprocessing import Pool procesy = Pool() pierwiastki_partial = procesy.map(przelicz, [(0, 5000000), (5000000, 10000000)]) pierwiastki = sum(pierwiastki_partial) Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 8 / 10
moduł ctypes reklama Z Pythona można załadować i używać dowolnych współdzielonych bibliotek w C. Zarówno pod Windows jak i Linux. program w czystym Pythonie from math import sqrt pierwiastki = sum(map(sqrt, range(10000000))) funkcja w C # include <math.h> float pierwiastki(float* tablica, int rozmiar){ float wynik = 0; for (int i = 0; i < rozmiar; i++){ wynik += sqrt(tablica[i]); }; }; return wynik; Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 9 / 10
moduł ctypes Kompilujemy kod w C: gcc -O3 -fpic funkcja.c --shared -o funkcja.o -std=c99 -ggdb nowy program w Pythonie from ctypes import cdll, c_float, c_void_p from array import array lib = cdll.loadlibrary("funkcja.o") tablica = array("f", xrange(10000000)) pierwiastki_funkcja = lib.pierwiastki pierwiastki_funkcja.restype = c_float pierwiastki_funkcja.argtypes = [c_void_p, c_int] wskaznik, liczba_elementow = tablica.buffer_info() pierwiastki = pierwiastki_funkcja(wskaznik, liczba_elementow) Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia 2010 10 / 10