Dni Użytkowników Aplikacji QAD Trzebieszowice 3-4 październik. Wydajność aplikacji. Tomasz Porzeziński, QAD. Building the Effective Enterprise

Transkrypt

1 Dni Użytkowników Aplikacji QAD 2013 Trzebieszowice 3-4 październik Wydajność aplikacji Tomasz Porzeziński, QAD Building the Effective Enterprise

2 Wstęp Technologia Wyzwania Obszary analizy wydajności Narzędzia i metody Przykłady Przyszłość Building the Effective Enterprise 2

3 Technologia - dawniej User Interface Business Rules Business Entities Business Tasks Business Reports Client Process Structured Unstructured Data Access Building the Effective Enterprise 3

4 Technologia - dawniej Progress Runtime Client, Query/Results, 4GL Client Process Progress RDBMS Data Access Building the Effective Enterprise 4

5 Technologia dzisiaj - QRA Web Local Controller Model Presentation OLAP Data Warehouse Business Intelligence Web Service EDI IV&I Event Pub Integration Process Orchestrations BPM Workflow ESB Service Interfaces Business Rules Business Entities Business Tasks Business Reports Business Services Structured Unstructured Data Access Building the Effective Enterprise 5

6 Technologia - QRA MS.NET, Winforms Progress.NET Open Client Business OE Runtime Client Intelligence Presentation Integration Workflow ESB OpenEdge AppServer, WebSpeed, Runtime Tomcat Servlet Container, JSP Business Services OpenEdge RDBMS, DataServer Oracle Server MS SQL Server, XML Docs Data Access Building the Effective Enterprise 6

7 Technologia - QRA Presentation Business Services Data Access QAD.NET Application Shell, plug-in, QADSH MS.NET Winforms Integracja z Business Services przez Progress.NET Open Client OE Runtime Client Forms Adapters Base Library Interfaces Building the Effective Enterprise 7

8 Technologia - QRA Presentation Business Services Data Access Service Interface Implementacja Progress AppServer, Tomcat Obiektowy OE ABL (4GL) Dostęp do danych przez standaryzowane klasy Application business Components/services Foundation classes session, security, transaction, error, Building the Effective Enterprise 8

9 Technologia - OE Appserver Building the Effective Enterprise 9

10 QAD Application Code Wydajność aplikacji Technologia - Tomcat 23 Telnet Process 23 Telnet Process 8080 Tomcat 23 Telnet Process QAD EA.NET Maintenance Database 8005 Programs 23 Telnet Process Webapps Directory Desktop Directory Building the Effective Enterprise 10

11 Technologia - QRA Presentation Business Services Data Access Progress Open Edge RDBMS Progress OE Dataserver for Oracle MS SQL Server XML Persistence Layer Interface Progress Implementation Other Implementation XML Building the Effective Enterprise 11

12 Technologia architektura ERP Building the Effective Enterprise 12

13 Wyzwania Przyrost ilości przetwarzanych danych Wielozadaniowość pracy użytkowników (zakładkowe interfejsy, automatyzacja) Swoboda dostępu do danych: przeglądy, raporty, odbc Kolekcje funkcji i centra oparte na rolach w aplikacji Łatwość tworzenia łączy integracyjnych Building the Effective Enterprise 13

14 Wyzwania Heterogeniczna i wielozadaniowa implementacja warstwy usług biznesowych Urządzenia mobilne BMP i automatyzacja zadań Wirtualizacja Rozbudowana i wielozadaniowa warstwa prezentacji (rich client) Building the Effective Enterprise 14

15 Obszary analizy wydajności Kompleksowa analiza od ogółu do szczegółu System operacyjny i sprzęt procesor pamięć operacje dyskowe i sieciowe Baza danych rozkład danych zasoby motoru bazy danych, połączenia sieciowe sprawność buforowania, zapisów ilość zleceń generowanych przez procesy Building the Effective Enterprise 15

16 Obszary analizy wydajności Procesy warstwy usług biznesowych i API udział w wykorzystaniu procesora pamięć oczekiwania i blokady Procesy komunikacyjne procesy i wątki Tomcat, zarządzanie pamięcią brokery usług typu appserver, webspeed Identyfikacja i optymalizacja zleceń z aplikacji zlecenia, zapytania przekazywane do motoru bazy danych, Kod 4GL, SQL, dzienniki, 4GLTrace 4GL statement cache Building the Effective Enterprise 16

17 Obszary analizy wydajności Procesy warstwy usług biznesowych i API udział w wykorzystaniu procesora pamięć oczekiwania i blokady Procesy komunikacyjne procesy i wątki Tomcat, zarządzanie pamięcią brokery usług typu appserver, webspeed Identyfikacja i optymalizacja zleceń z aplikacji zlecenia, zapytania przekazywane do motoru bazy danych, Kod 4GL, SQL, dzienniki, 4GLTrace 4GL statement cache Building the Effective Enterprise 17

18 Narzędzia i metody Procesor %idle %usr %wio Pamięć operacyjna pgspace out/in process swap out/in Podsystem dyskowy %util średni czas obsługi i oczekiwania przepustowość Building the Effective Enterprise 18

19 Narzędzia i metody Unix/Linux sar (system activity reporter) sar u 2 10 sar o sar.out sar q f sar.out podstawowe miary sar sar u czas procesora sar q kolejki procesów sar w intensywność wykorzystania swap (pamięć operacyjna) sar g intensywność stronicowania (pamięć operacyjna) sar d urządzenia we/wy (podsystem dyskowy) Building the Effective Enterprise 19

20 Narzędzia i metody Unix/Linux vmstat - operacje na stronach pamięci, przerwania, czas procesora pomiary bieżące i kolekcjonowanie vmstat iostat operacje we/wy Pomiary bieżące i kolekcjonowanie iostat iostat xn (Solaris) top GNU, zbiorcze przedstawienie pomiarów bieżących AIX: topas Nmon Building the Effective Enterprise 20

21 Narzędzia i metody pamięć Unix RES SHR: przybliżenie PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 6715 root m 115m 29m S :46.09 D_qadfinlive_ 6025 root m 34m 27m S :18.15 _progres 6038 root m 19m 15m S :36.78 _progres 6077 root m 24m 15m S :45.72 _progres pmap: dokładna mapa pamięci Address Kbytes RSS Dirty Mode Mapping d r-x-- ld-2.5.so f r-x-- ld-2.5.so f rwx-- ld-2.5.so f r-x-- libc-2.5.so rwx-- [ anon ] ea rwx-- [ anon ] Building the Effective Enterprise 21

22 Narzędzia i metody MS Windows perfmon pomiary bieżące, rejestrowanie Task Manager Resource Monitor Building the Effective Enterprise 22

23 Narzędzia i metody Bieżąca identyfikacja przeciążeń Zebranie i wstępna ocena reprezentatywny okres próbki co sekund sar, iostat, vmstat, perfmon Wyselekcjonowanie wyników: czas procesora intensywność wykorzystania swap czas aktywnej pracy dysku Graficzna reprezentacja pomiarów i analiza Building the Effective Enterprise 23

24 Wydajność aplikacji Narzędzia i metody czas procesora wio < 20%, sys < 10% usr sys wio idle Building the Effective Enterprise 24

25 Narzędzia i metody kolejki procesów (1,5 2) x liczba rdzeni CPU 30 run queue runq Building the Effective Enterprise 25

26 Wydajność aplikacji Narzędzia i metody kolejki procesów intensywność wykorzystania swap swap-queue run-queue Building the Effective Enterprise 26

27 Wydajność aplikacji Narzędzia i metody intensywność stronicowania swap Dopuszczalne okresowo kilka na sekundę page-in page-out Building the Effective Enterprise 27

28 Wydajność aplikacji Narzędzia i metody Podsystem dyskowy czas zajętości < 50%, uwaga wirtualizacja! wielkości kolejek, czas oczekiwania transfer hdisk0 hdisk16 hdisk Building the Effective Enterprise 28

29 Narzędzia i metody - systemy SarCheck: PerformanceToolbox (AIX) HP GlancePlus Perfgraph (Solaris, HP-UX, Linux, AIX, Windows) Nmon OpenEdge Management iotop QAD Monitoring Framework Building the Effective Enterprise 29

30 Narzędzia i metody sieć Network Monitor ntop Darkstat Pcap, WinPcap PortAnalyzer Microsot Message Analyzer (beta) Wireshark Building the Effective Enterprise 30

31 Narzędzia i metody Progress OE Promon Protop Open Edge Management VST Building the Effective Enterprise 31

32 Narzędzia i metody - aplikacja Identyfikacja procesów ERP top, nmon (AIX), próbka 5-10 sekund identyfikacja typu procesu i funkcji aplikacji Analiza procesów i funkcji ERP promon block access db requests (VST) Appserver log Analiza komunikacji z klientem.netui Resource Monitor Network Monitor Obiektywizacja pomiarów Building the Effective Enterprise 32

33 Narzędzia i metody - aplikacja Przegląd aktywnych użytkowników informacja o PID Dodatkowe polecenia systemu Przegląd aktywnych transakcji.netui client log QAD Monitoring Framework pomiary: record reads, time to read 10k rows metoda check_extended alert check_topqad Building the Effective Enterprise 33

34 Narzędzia i metody - aplikacja Identyfikacja zadań wsadowych równoległy odczyt VST dbrequest for each _userio where _userio-name matches "*batch": for each mon_mstr no-lock where mon qadi01 = _userio-usr: display _userio-name mon_userid mon_program FORMAT "x(10)" _UserIO-DbAccess FORMAT ">>>>>>>>>>9 _UserIO-DbRead FORMAT ">>>>>>>>>>9 _UserIO-DbWrite FORMAT ">>>>>>>>>>9". end. end. Building the Effective Enterprise 34

35 Narzędzia i metody - aplikacja Appserver log czas wykonania zleceń srvrlogentrytypes=asplumbing,db.connects Loglevel 3 [13/10/03@17:51: ] P T AS -- (Procedure: 'processquery com/qad/shell/interface/getbrowsedata_a.p' Line:8069) (usr=mfg) sobr009.p : Query string: for each qaddb.so_mstr where so_domain = '10USA' and so_compl_stat = "" no-lock, each qaddb.sod_det where sod_domain = so_domain and sod_nbr = so_nbr and sod_compl_stat = "" no-lock by so_mstr.so_domain by so_mstr.so_nbr Building the Effective Enterprise 35

36 Przykłady Nieoptymalne przeglądy domyślne uruchomienie prawidłowe filtrowanie lub przemieszczenie na koniec 2-10min 120mln rekordów.netui brak możliwości przerwania pracy appservera Zadania wsadowe uruchamiane masowo w tym samym czasie dla wielu baz i domen, co 1-3 min zidentyfikowany program własny klienta 13-18mln db requests Building the Effective Enterprise 36

37 Przykłady EE logowanie/przełączanie workspace zleceń dla fin appservera UsrAccess.p skumulowanie 8 użytkowników: 100% CPU Zajęte wszystkie instancje agentów, brak możliwości logowania 40+ domen Opóźnienie pracy interaktywnej w.netui Webspeed + Appserver 300ms analiza ramek sieciowych komunikacja do.netui paczkami po 8 ramek i 200ms przerwy, razem ok. 1,5sek Opóźnienie spowodowane przez wtyczkę.netui Building the Effective Enterprise 37

38 Dobre praktyki Wyłączenie zliczania rekordów w przeglądach Wyłączenie debug i 4GL trace Upgrade do.netui timeout nieoptymalnych zapytań Analiza rozkładu danych w bazie dbanalys reindeksacja, kompaktowanie indeksów dump/load, obszary typu II Building the Effective Enterprise 38

39 Dobre praktyki Zadania wsadowe Szacowanie obciążenia Racjonalna automatyzacja Obiektywizacja pomiarów czas wykonania oraz ilość db requests Wydajna stacja robocza Cykliczne lub ciągłe monitorowanie Building the Effective Enterprise 39

40 Przyszłe wyzwania Urządzenia mobilne BPM, automatyzacja API, interfejsy Postępująca wirtualizacja Building the Effective Enterprise 40

41 Pytania Tomasz Porzeziński: QAD Inc Building the Effective Enterprise 41