Kompresja pamięci w jądrze Linuksa

Transkrypt

1 Uniwersytet Warszawski 7 lutego 2015

2 Plan prezentacji 1 Wprowadzenie pamięć niedościgła 2 zswap zcache zram zsmalloc vs zbud 3 LZO LZ4 Crypto API

3 pamięć niedościgła Idea What if there was a class of memory that is of unknown and dynamically variable size, is addressable only indirectly by the kernel, can be configured either as persistent or as ephemeral (meaning it will be around for awhile, but might disappear without warning), and is still fast enough to be synchronously accessible? - Dan Magenheimer

4 pamięć niedościgła Cechy Pule stron o nieznanym rozmiarze Strony trwałe (persistent) i nietrwałe (ephemeral) Adresowanie przy pomocy uchwytów Prosty interfejs Operacje mogą się nie powieść

5 pamięć niedościgła Front-endy Cleancache Służy do trzymania stron, które mogą się przydać, ale nic się nie stanie, jeśli znikną. Interfejs: int cleancache put page(struct page *page); int cleancache get page(struct page *page); Frontswap Służy do trzymania stron, którym nic złego nie może się stać. Interfejs: int frontswap store(struct page *page); int frontswap load(struct page *page);

6 pamięć niedościgła Dowiązanie cleancache / D e l e t e a page from t h e page cache and f r e e i t. C a l l e r has to make sure the page i s locked and that nobody e l s e uses i t or that usage i s s a f e. The c a l l e r must h o l d t h e mapping s t r e e l o c k. / v o i d d e l e t e f r o m p a g e c a c h e ( s t r u c t page page, v o i d shadow ) { s tr uc t a d d r e s s s p a c e mapping = page >mapping ; t r a c e m m f i l e m a p d e l e t e f r o m p a g e c a c h e ( page ) ; / i f we re uptodate, f l u s h out into the cleancache, otherwise i n v a l i d a t e any e x i s t i n g c l e a n c a c h e e n t r i e s. We can t l e a v e s t a l e data around in the cleancache once our page i s gone / i f ( PageUptodate ( page ) && PageMappedToDisk ( page ) ) c l e a n c a c h e p u t p a g e ( page ) ; e l s e c l e a n c a c h e i n v a l i d a t e p a g e ( mapping, page ) ; p a g e c a c h e t r e e d e l e t e ( mapping, page, shadow ) ; page >mapping = NULL ;

7 pamięć niedościgła Dowiązanie frontswap / We may have s t a l e swap cache pages in memory : notice them here and get r i d of the unnecessary f i n a l write. / i n t s w a p w r i t e p a g e ( s t r u c t page page, s t r u c t w r i t e b a c k c o n t r o l wbc ) { i n t r e t = 0 ; out : } i f ( t r y t o f r e e s w a p ( page ) ) { u n l o c k p a g e ( page ) ; goto out ; } i f ( f r o n t s w a p s t o r e ( page ) == 0) { s e t p a g e w r i t e b a c k ( page ) ; u n l o c k p a g e ( page ) ; e n d p a g e w r i t e b a c k ( page ) ; goto out ; } r e t = swap writepage ( page, wbc, end swap bio write ) ; r e t u r n r e t ;

8 pamięć niedościgła Back-endy Xen tmem Usprawnia wykorzystanie pamięci w maszynach wirtualnych. zswap Implementacja frontswap wykorzystująca kompresję zcache Implementacja frontswap i cleancache wykorzystująca kompresję

9 pamięć niedościgła Rejestracja zswap jako back-end frontswap s t a t i c s tr uc t f r o n t s w a p o p s z s w a p f r o n t s w a p o p s = {. s t o r e = z s w a p f r o n t s w a p s t o r e,. load = zswap frontswap load,. i n v a l i d a t e p a g e = z s w a p f r o n t s w a p i n v a l i d a t e p a g e,. i n v a l i d a t e a r e a = z s w a p f r o n t s w a p i n v a l i d a t e a r e a,. i n i t = z s w a p f r o n t s w a p i n i t }; f r o n t s w a p r e g i s t e r o p s (& z s w a p f r o n t s w a p o p s ) ;

10 zswap zcache zram zsmalloc vs zbud entry/new linux zswap compression functionality7

11 zswap Wprowadzenie zswap zcache zram zsmalloc vs zbud Implementacja interfejsu frontswap Struktura danych: drzewo informacji o skompresowanych stronach Kompresja wykorzystuje cryptographic API wbudowane w jądro W razie potrzeby przerzuca strony do prawdziwego urządzenia swap (resumed writeback) Wykorzystywał alokator zsmalloc, obecnie korzysta ze zbud Dostępny w głównej gałęzi jądra od wersji 3.11

12 Jak skorzystać? zswap zcache zram zsmalloc vs zbud demo

13 zcache Wprowadzenie zswap zcache zram zsmalloc vs zbud Implementuje zarówno cleancache, jak i frontswap Struktura danych: drzewo informacji o skompresowanych stronach Korzysta z alokatora zbud Kompresja wykorzystuje cryptographic API wbudowane w jądro Dostępny w głównej gałęzi jądra DO wersji 3.11 Część pomysłów została przeniesiona do zswap

14 Jak skorzystać? zswap zcache zram zsmalloc vs zbud Używać przestarzałego jądra Linux, które udostępnia zcache jako eksperymentalny dodatek.

15 zram Wprowadzenie zswap zcache zram zsmalloc vs zbud Zupełnie inne podejście Sterownik wirtualnego urządzenia blokowego Włączany ręcznie przy pomocy instrukcji mkswap i swapon Działa jako samodzielne urządzenie swapujące Można go wykorzystać jako samodzielny swap w systemach wbudowanych Inne wykorzystanie: kompresowane /tmp/

16 Jak skorzystać? zswap zcache zram zsmalloc vs zbud demo

17 zsmalloc vs zbud zswap zcache zram zsmalloc vs zbud zsmalloc Umożliwia fragmentację obiektów Nie wymaga ciągłego kawałka pamięci zbud Dobiera kompresowane strony w pary Ma lepszą niż zsmalloc

18 LZO LZ4 Crypto API

19 LZO LZ4 Crypto API LZO Źródła oferuje bardzo szybką dekompresję nie potrzebuje dodatkowej pamięci przy dekompresji można dostosować balans pomiędzy współczynnikiem kompresji a jej prędkością, nie zmieniając jednocześnie szybkości dekompresji.

20 LZO LZ4 Crypto API LZ4 Źródła oferuje jeszcze szybszą dekompresję kosztem dłuższej kompresji można poprawić zarówno współczynnik kompresji, jak i szybkość dekompresji.

21 Crypto API LZO LZ4 Crypto API Wbudowane w jądro Linuksa implementacje algorytmów, w tym także algorytmy kompresujące. generyczny interfejs prosty przepływ (alloc, compress, decompress, free) dostępne m. in. lzo, lz4, 842

22 LZO LZ4 Crypto API Dziękuję za uwagę. Źródła: 1 : Seth Jennings, The zswap compressed swap cache ( ) 2 : Dan Magenheimer, In-kernel memory compression ( )