Plan. krótkie opisy modułów. 1 Uwagi na temat wydajności CPython a. 2 Podstawowe techniki poprawiające wydajność obliczeniową

Wielkość: px

Rozpocząć pokaz od strony:

Download "Plan. krótkie opisy modułów. 1 Uwagi na temat wydajności CPython a. 2 Podstawowe techniki poprawiające wydajność obliczeniową"

Zofia Górska
8 lat temu
Przeglądów:

1 Plan 1 Uwagi na temat wydajności CPython a 2 Podstawowe techniki poprawiające wydajność obliczeniową 3 Podstawowe techniki poprawiające zużycie pamięci krótkie opisy modułów 1 array - jak oszczędzić na pamięci 2 ctypes - prosta integracja z C 3 multiprocessing - zrównoleglanie programu Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

- jak oszczędzić na pamięci 2 ctypes - prosta integracja z C 3 multiprocessing -

2 Ogólnie Wydajność obliczeniowa wydajność Pythona zależy od użytego intepretera CPython nie jest zbyt szybki (wolniejszy niż Java) Operacje oraz typy danych wbudowane w intepreter są zwykle szybsze. Duża część modułów Pythona jest zaimplementowana w C/C++ co przekłada się na odpowiednią wydajność Typy wbudowane również zaimplementowane są w C Zużycie pamięci - CPython Niektóre obiekty czysto Pythonowe zajmują więcej miejsca w pamięci niż można by się spodziewać CPython rezerwuje sobie listy obiektów podręcznych które czasami zajmują zbyt dużo miejsca Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

Duża część modułów Pythona jest zaimplementowana w C/C++ co przekłada się na odpowiednią wydajność Typy wbudowane również zaimplementowane są w C Zużycie

3 Wydajność obliczeniowa czyli dlaczego nie lubimy kropek... Redukcja ilości odwołań do słowników Każde odwołanie się do obiektu który nie znajduje się w aktualnej przestrzeni adresowej kosztuje dodatkowe sprawdzenie w słowniku a ponieważ funkcje też są obiektami to... tablica = [] for i in xrange( ): tablica.append(i)... to szybciej będzie w ten sposób tablica = [] dodaj_element = tablica.append for i in xrange( ): dodaj_element(i) Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

kosztuje dodatkowe sprawdzenie w słowniku a ponieważ funkcje też są obiektami to... tablica = [] for i in xrange(1000000): tablica.

4 Wydajność obliczeniowa każda kropka więcej spowalnia program class Obiekt(object): def init (self): self.tablica = [] o = Obiekt() for i in xrange( ): o.tablica.append(i) jeśli można najlepiej jest użyć funkcji wbudowanej... tablica = range( )... lub generator expression tablica = [i for i in xrange( )] Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

5 Wydajność obliczeniowa importowanie Z tego samego powodu co w poprzednich przykładach lepiej stosować formę importu from modul import funkcja funkcja() niż import modul modul.funkcja() Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

import funkcja funkcja() niż import modul modul.

6 Zużycie pamięci CPython tworzy bufory obiektów prostych (np. int) do ponownego wykorzystania >>> a = range( ) >>> del a oznacza to że po wykonaniu drugiego polecenia ilość pamięci zajmowanej przez Python a nie spadnie do poziomu początkowego uwagi tablica liczb (int) zajmuje około 300 MB W normalnej pracy efekt ten nie jest zauważalny i pojawia się jedynie wtedy gdy chcemy przetwarzać duże ilości danych w jednym momencie. Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

zajmowanej przez Python a nie spadnie do poziomu początkowego uwagi tablica 10 000 000 liczb (int) zajmuje około 300 MB W normalnej

7 moduł array array pozwala na wydajne przechowywanie wartości tego samego typu dd id=/dev/zero of=100mb bs= count=100 array będzie zajmować w pamięci tyle ile się spodziewamy i po skasowaniu pamięć zostanie zwolniona from array import array a = array("c") with open("100mb") as f: a.fromfile(f, 100*1024*1024) raw_input() del a raw_input() Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

zostanie zwolniona from array import array a = array("c") with open("100mb") as f: a.

8 moduł multiprocessing reklama Zrównoleglanie programów w Pythonie jest bardzo proste. program jednordzeniowy from math import sqrt pierwiastki = sum(map(sqrt, range( ))) program wielordzeniowy from math import sqrt def przelicz(zakres): return sum(map(range(*zakres))) if name == " main ": from multiprocessing import Pool procesy = Pool() pierwiastki_partial = procesy.map(przelicz, [(0, ), ( , )]) pierwiastki = sum(pierwiastki_partial) Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

def przelicz(zakres): return sum(map(range(*zakres))) if name == " main ": from multiprocessing import Pool procesy = Pool()

9 moduł ctypes reklama Z Pythona można załadować i używać dowolnych współdzielonych bibliotek w C. Zarówno pod Windows jak i Linux. program w czystym Pythonie from math import sqrt pierwiastki = sum(map(sqrt, range( ))) funkcja w C # include <math.h> float pierwiastki(float* tablica, int rozmiar){ float wynik = 0; for (int i = 0; i < rozmiar; i++){ wynik += sqrt(tablica[i]); }; }; return wynik; Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

program w czystym Pythonie from math import sqrt pierwiastki = sum(map(sqrt, range(10000000))) funkcja w C # include <math.

10 moduł ctypes Kompilujemy kod w C: gcc -O3 -fpic funkcja.c --shared -o funkcja.o -std=c99 -ggdb nowy program w Pythonie from ctypes import cdll, c_float, c_void_p from array import array lib = cdll.loadlibrary("funkcja.o") tablica = array("f", xrange( )) pierwiastki_funkcja = lib.pierwiastki pierwiastki_funkcja.restype = c_float pierwiastki_funkcja.argtypes = [c_void_p, c_int] wskaznik, liczba_elementow = tablica.buffer_info() pierwiastki = pierwiastki_funkcja(wskaznik, liczba_elementow) Łukasz Ligowski, Sławomir Walkowiak (ICM UW) Wydajność Pythona 19 stycznia / 10

o") tablica = array("f", xrange(10000000)) pierwiastki_funkcja = lib.pierwiastki pierwiastki_funkcja.restype = c_float pierwiastki_funkcja.

Podobne dokumenty

Metody getter https://www.python-course.eu/python3_object_oriented_programming.php 0_class http://interactivepython.org/runestone/static/pythonds/index.html https://www.cs.auckland.ac.nz/compsci105s1c/lectures/