Wydajny Linux. Jakub Woźniak KN Sieci Komputerowych i Systemów Rozproszonych Tenesys

Transkrypt

1 Wydajny Linux Jakub Woźniak KN Sieci Komputerowych i Systemów Rozproszonych Tenesys

2 Po co analizować wydajność? redukcja kosztów, poznanie limitów systemu operacyjnego, eliminacja wąskich gardeł.

3 Jak system wpływa na wydajność?

4 Nasz świat jest skomplikowany

5 Od czego zależy wydajność aplikacji? CPU RAM I/O dyski twarde połączenie sieciowe Inne aplikacje (np. baza danych)

6 Monitorowanie wydajności

7

8 Monitorowanie - podstawowe narzędzia top uptime mpstat iostat vmstat free

9 uptime - average load 1, 5, 15 minut, zlicza wątki gotowe, wykonywane + czekające na I/O

10 top

11 htop - top na sterydach

12 mpstat - znajdź nierównomierny rozkład

13 iostat - sprawdźmy dyski!

14 free

15 nicstat

16 vmstat

17 netstat

18 tcpdump

19 iptraf

20 iperf

21 iftop

22 Dodatkowe narzędzia monitorix munin cacti zabbix / nagios wszystko co umie rysować wykresy, bo wykresy są fajne ;)

23 Testowanie aplikacji Obciążenie jmeter gatling locust.io Profilowanie perf callgrind (vallgrind)

24 Jak zabrać się za identyfikowanie problemów z wydajnością?

25 Analiza wydajności obciążenie aplikacji, sprawdzenie CPU, I/O, zajętości RAM, komunikacji sieciowej, poprawa konfiguracji usług pośredniczących, analiza kodu aplikacji, profilowanie wnioski? skalowanie pionowe/poziome, przebudowa projektu :<

26 Co poprawić w Linuksie? modyfikacja parametrów jądra systemu operacyjnego jest kompletnie niezalecana, monitorowanie wydajności pozwala na identyfikację problemów, ale nie wyeliminowanie ich, większość problemów sprawia nasza aplikacja!

27 Gdzie szukać problemów? W przypadku aplikacji webowych najczęstszym (według mojego doświadczenia) problemem jest komunikacja z bazą danych. Zapytania realizowane przez aplikację (często przy pomocy ORM) są nieoptymalne, zakładają bardzo dużo zamków i utrudniają współbieżność. Jeżeli Twoja aplikacja ma problem z CPU, a nie z I/O, to masz niesamowite szczęście!

28 Bazy danych - co jest ważne? Bazy danych są bardzo wymagające pod względem zasobów. Pożądane zasoby to: pamięć operacyjna, IOPS

29 Bazy danych - co robimy z RAM? im więcej RAMu tym lepiej, dostosowanie konfiguracji SBD do dostępnych zasobów, parametry związane z buforami, cache, itd

30 Bazy danych - co z dyskiem? Zwiększyć liczbę dostępnych IOPSów można przez: wykorzystanie szybszych dysków (SAS, SSD) budowanie macierzy RAID pod kątem wydajności lub jeżeli to chmura - przesunąć suwak i zapłacić więcej ;)

31 Redukcja obciążenia Read replica - kierujemy odczyty na inny serwer HTTP cache - stawiamy Varnisha i oszukujemy naszych użytkowników memcache - dodajemy do aplikacji możliwość zapamiętywania niektórych operacji w pamięci operacyjnej serwera www optymalizacja zapytań!

32 Read replica

33 Inne problemy wydajnościowe sieć komputerowa (infrastruktura, przepustowość) tworzenie zbyt dużej liczby wątków (narzut związany z przełączeniem kontekstu) + konfiguracja workerów php/uwsgi/etc., obciążenie pamięci operacyjnej zbędnymi bibliotekami, wycieki pamięci.

34 Dodatkowe metody Skalowanie poziome, czyli dorzucanie kolejnych węzłów aplikacyjnych. Wymaga przemyślanej architektury aplikacji.

35 Load balancing Dla HTTP: nginx haproxy Ogólne: clusterip lvs

36 Content Delivery Network

37 Podsumowanie

38 Podsumowanie system operacyjny dostarcza nam narzędzia pozwalające na identyfikację problemów wydajnościowych, moc obliczeniowa zazwyczaj nie jest najważniejszym problemem, aplikacje powinniśmy projektować z myślą o skalowaniu poziomym, czasami warto odciążyć naszą infrastrukturę (CDN), zwiększenie dostępnych zasobów nie jest lekiem na całe zło ;) unikaj SOAP, konsola jest fajna!

39 Koło Naukowe Sieci Komputerowych i Systemów Rozproszonych Spotkania w środy, 18:30

40 Dziękuję za uwagę! Pytania? ;)