Wizualizacja danych - Gnuplot

Transkrypt

1 Wizualizacja danych - Gnuplot dr hab. Bożena Woźna-Szcześniak Akademia im. Jan Długosza bwozna@gmail.com Wizualizacja danych

2 Cel zajęć? Nauczyć się jak używać gnuplot-a, aby utworzyć proste i zaawansowane wykresy 2D i 3D. Gnuplot to DARMOWE narzędzie do wizualizacji danych i ich analizy.

3 Literatura podstawowa Ksiażka, z która będziemy pracować: Philipp K. Janert. GNUPLOT IN ACTION. UNDERSTANDING DATA WITH GRAPHS. Manning Publications (2009). ISBN: ISBN-13:

4 Literatura podstawowa Ksiażka, z która będziemy pracować: Philipp K. Janert. GNUPLOT IN ACTION. UNDERSTANDING DATA WITH GRAPHS. Manning Publications (2009). ISBN: ISBN-13: Inna podstawowe źródła wiedzy o gnuplocie: Lee Phillips. GNUPLOT COOKBOOK Packt Publishing (2012). ISBN : X. ISBN-13 :

5 Preludium: Zruzumieć dane z gnuplotem Planowanie maratonu Wyobraź sobie, że jesteś odpowiedzialny za organizację maratonu w miaście. Wiesz, że będzie nie więcej niż 2000 uczestników, zamknięty ruch po mieście, mnóstwo widzów, i obsługa linii mety, aby uczcić zwycięzców i pomóc rannym.

6 Preludium: Zruzumieć dane z gnuplotem Planowanie maratonu Wyobraź sobie, że jesteś odpowiedzialny za organizację maratonu w miaście. Wiesz, że będzie nie więcej niż 2000 uczestników, zamknięty ruch po mieście, mnóstwo widzów, i obsługa linii mety, aby uczcić zwycięzców i pomóc rannym. Pytanie sa następujace: kiedy obsługa linii mety powinna być w stanie najwyższej gotowości, aby zajać się większościa zawodników? w jakim momencie należy się spodziewać dużego napływu zawodników?

7 Planowanie maratonu - analiza Posiadajac wyniki z zeszłorocznej imprezy i zakładajac (bezpieczne), że poziom maratończyków nie poprawił się znacznie w ciagu ostatniego roku, możesz szybko policzyć średnia czas ukończenia martatonu. Okaże się, np., że w ubiegłym roku średnia wynosiła 172 minuty. Dodatkowo, aby się zabezpieczyć, można obliczyć odchylenie standardowe, które, np., wynosi 15 minut.

8 Planowanie maratonu - analiza Posiadajac wyniki z zeszłorocznej imprezy i zakładajac (bezpieczne), że poziom maratończyków nie poprawił się znacznie w ciagu ostatniego roku, możesz szybko policzyć średnia czas ukończenia martatonu. Okaże się, np., że w ubiegłym roku średnia wynosiła 172 minuty. Dodatkowo, aby się zabezpieczyć, można obliczyć odchylenie standardowe, które, np., wynosi 15 minut. (Nie do końca prawdziwy) wniosek : obsługa mety powinna być gotowa na przybycie najwiekszej liczy uczestników dwie i pół godziny po rozpoczęciu maratonu (150 minut).

9 Planowanie maratonu - analiza Nadchodzi wielki dzień, i ku zaskoczeniu organizatorów, mnóstwo biegaczy zaczyna się pojawiać na mecie po zaledwie 130 minutach, czyli dobre 20 minut wcześniej, niż planowano.

10 Planowanie maratonu - analiza Nadchodzi wielki dzień, i ku zaskoczeniu organizatorów, mnóstwo biegaczy zaczyna się pojawiać na mecie po zaledwie 130 minutach, czyli dobre 20 minut wcześniej, niż planowano. Zastanówmy się co poszło nie tak? Popatrzmy dokładniej na dane z poprzedniego maratonu.

11 Planowanie maratonu - analiza Nadchodzi wielki dzień, i ku zaskoczeniu organizatorów, mnóstwo biegaczy zaczyna się pojawiać na mecie po zaledwie 130 minutach, czyli dobre 20 minut wcześniej, niż planowano. Zastanówmy się co poszło nie tak? Popatrzmy dokładniej na dane z poprzedniego maratonu. Otóż policzenie średniej jest bardzo wygodne i szybkie, a na dodatek podsumowuje cały zestaw danych za pomoca pojedynczego numeru. Ale,...

12 Planowanie maratonu - analiza Nadchodzi wielki dzień, i ku zaskoczeniu organizatorów, mnóstwo biegaczy zaczyna się pojawiać na mecie po zaledwie 130 minutach, czyli dobre 20 minut wcześniej, niż planowano. Zastanówmy się co poszło nie tak? Popatrzmy dokładniej na dane z poprzedniego maratonu. Otóż policzenie średniej jest bardzo wygodne i szybkie, a na dodatek podsumowuje cały zestaw danych za pomoca pojedynczego numeru. Ale,... niestety tracimy dużo cennych informacji.

13 Planowanie maratonu - analiza Nadchodzi wielki dzień, i ku zaskoczeniu organizatorów, mnóstwo biegaczy zaczyna się pojawiać na mecie po zaledwie 130 minutach, czyli dobre 20 minut wcześniej, niż planowano. Zastanówmy się co poszło nie tak? Popatrzmy dokładniej na dane z poprzedniego maratonu. Otóż policzenie średniej jest bardzo wygodne i szybkie, a na dodatek podsumowuje cały zestaw danych za pomoca pojedynczego numeru. Ale,... niestety tracimy dużo cennych informacji. Zatem, aby zrozumieć dane wydarzenie lepiej, należy spojrzeć dokładniej na cały zestaw danych. Trudno jest jednak zrozumieć wydarzenie patrzac na ponad 2000 indywidualnych czasów ukończenia maratonu.

14 Planowanie maratonu - analiza Nadchodzi wielki dzień, i ku zaskoczeniu organizatorów, mnóstwo biegaczy zaczyna się pojawiać na mecie po zaledwie 130 minutach, czyli dobre 20 minut wcześniej, niż planowano. Zastanówmy się co poszło nie tak? Popatrzmy dokładniej na dane z poprzedniego maratonu. Otóż policzenie średniej jest bardzo wygodne i szybkie, a na dodatek podsumowuje cały zestaw danych za pomoca pojedynczego numeru. Ale,... niestety tracimy dużo cennych informacji. Zatem, aby zrozumieć dane wydarzenie lepiej, należy spojrzeć dokładniej na cały zestaw danych. Trudno jest jednak zrozumieć wydarzenie patrzac na ponad 2000 indywidualnych czasów ukończenia maratonu. Co zatem może nam pomóc?

15 Planowanie maratonu - analiza Nadchodzi wielki dzień, i ku zaskoczeniu organizatorów, mnóstwo biegaczy zaczyna się pojawiać na mecie po zaledwie 130 minutach, czyli dobre 20 minut wcześniej, niż planowano. Zastanówmy się co poszło nie tak? Popatrzmy dokładniej na dane z poprzedniego maratonu. Otóż policzenie średniej jest bardzo wygodne i szybkie, a na dodatek podsumowuje cały zestaw danych za pomoca pojedynczego numeru. Ale,... niestety tracimy dużo cennych informacji. Zatem, aby zrozumieć dane wydarzenie lepiej, należy spojrzeć dokładniej na cały zestaw danych. Trudno jest jednak zrozumieć wydarzenie patrzac na ponad 2000 indywidualnych czasów ukończenia maratonu. Co zatem może nam pomóc? wizualizacja danych, np. w postaci wykresu.

16 Planowanie maratonu - analiza Aby wykonać wykres, należy uporzadkować dane. Przykładowo można przyjać uporzadkowanie grupy biegaczy według czasu ukończenia biegu z zaokragleniem do pełnej minuty, Plik z danymi o biegaczach może wygladać tak: # Minutes Runners Teraz można wykreślić liczbę uczestników względem zakończenia biegu.

17 Planowanie maratonu - analiza, plik jpg

18 Planowanie maratonu - analiza, plik pdf Liczba maratończyków względem czasu ukończenia biegu "maraton.dat" using 1:2 Czas ukończenia biegu Liczba biegaczy

19 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bł ad w podejmowaniu decyzji.

20 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bład w podejmowaniu decyzji. Dane s a bimodalne, co oznacza, że wykres ma dwa piki: pierwszy pik - około 150 minuty drugi pik - około 180 minuty.

21 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bład w podejmowaniu decyzji. Dane sa bimodalne, co oznacza, że wykres ma dwa piki: pierwszy pik - około 150 minuty drugi pik - około 180 minuty. Dlaczego sa dwa piki?

22 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bład w podejmowaniu decyzji. Dane sa bimodalne, co oznacza, że wykres ma dwa piki: pierwszy pik - około 150 minuty drugi pik - około 180 minuty. Dlaczego sa dwa piki? Otóż duże wydarzenia sportowe, takie jak maraton przyciaga dwie różne grupy osób:

23 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bład w podejmowaniu decyzji. Dane sa bimodalne, co oznacza, że wykres ma dwa piki: pierwszy pik - około 150 minuty drugi pik - około 180 minuty. Dlaczego sa dwa piki? Otóż duże wydarzenia sportowe, takie jak maraton przyciaga dwie różne grupy osób: sportowców, którzy trenuja i rywalizuja od lat, i uczestnicza po to, aby wygrać.

24 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bład w podejmowaniu decyzji. Dane sa bimodalne, co oznacza, że wykres ma dwa piki: pierwszy pik - około 150 minuty drugi pik - około 180 minuty. Dlaczego sa dwa piki? Otóż duże wydarzenia sportowe, takie jak maraton przyciaga dwie różne grupy osób: sportowców, którzy trenuja i rywalizuja od lat, i uczestnicza po to, aby wygrać. amatorów, którzy przychodza raz do roku na wielka imprezę, głównie po to, aby uczestniczyć.

25 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bład w podejmowaniu decyzji. Dane sa bimodalne, co oznacza, że wykres ma dwa piki: pierwszy pik - około 150 minuty drugi pik - około 180 minuty. Dlaczego sa dwa piki? Otóż duże wydarzenia sportowe, takie jak maraton przyciaga dwie różne grupy osób: sportowców, którzy trenuja i rywalizuja od lat, i uczestnicza po to, aby wygrać. amatorów, którzy przychodza raz do roku na wielka imprezę, głównie po to, aby uczestniczyć. Wniosek: Nie powołuj się na średni a i odchylenie standardowe dla nieznanych zbiorów danych - spodziewaliśmy się dużego napływu maratończyków na linię mety około 170 minuty, a faktycznie w tym czasie była ciszy na mecie!.

26 Planowanie maratonu - analiza Wykres w oczywisty sposób pokazuje, gdzie popełniono bład w podejmowaniu decyzji. Dane sa bimodalne, co oznacza, że wykres ma dwa piki: pierwszy pik - około 150 minuty drugi pik - około 180 minuty. Dlaczego sa dwa piki? Otóż duże wydarzenia sportowe, takie jak maraton przyciaga dwie różne grupy osób: sportowców, którzy trenuja i rywalizuja od lat, i uczestnicza po to, aby wygrać. amatorów, którzy przychodza raz do roku na wielka imprezę, głównie po to, aby uczestniczyć. Wniosek: Nie powołuj się na średnia i odchylenie standardowe dla nieznanych zbiorów danych - spodziewaliśmy się dużego napływu maratończyków na linię mety około 170 minuty, a faktycznie w tym czasie była ciszy na mecie!. Rada: Zawsze zbadaj jak dane wygladaja! To pozwoli na wybór najlepszego rozwiazania dla danego problemu.

27 Kod Gnuplota generujacy wykres plik źródłowy: maraton.p set encoding u t f 8 set xlabel " Liczba biegaczy " set ylabel " Czas ukonczenia biegu " set t i t l e " Liczba maratonczykow wzgledem czasu ukonczenia biegu " set terminal pdf enhanced f o n t " Helvetica,12 " set output " maraton. pdf " plot " maraton. dat " using 1:2 with boxes Komenda Linux $ gnuplot maraton.p

28 Kod Gnuplota generujacy wykres plik źródłowy: maraton.p set encoding u t f 8 set terminal jpeg enhanced f o n t " Helvetica,12 " set xlabel " Liczba biegaczy " set ylabel " Czas ukonczenia biegu " set t i t l e " Liczba maratonczykow wzgledem czasu ukonczenia biegu " set output " maraton. jpeg " plot " maraton. dat " using 1:2 with boxes Komenda Linux $ gnuplot maraton.p

29 Kod Gnuplota generujacy wykres plik źródłowy: maraton1.p set auto set encoding u t f 8 set xlabel " Liczba biegaczy " set ylabel " Czas ukonczenia biegu " set t i t l e " Liczba maratonczykow wzgledem czasu ukonczenia biegu " set terminal pdf enhanced f o n t " Helvetica,12 " set output " maraton1. pdf " plot " maraton. dat " using 1:2 with l i n e s Komenda Linux $ gnuplot maraton1.p

30 Planowanie maratonu - analiza, plik pdf Liczba maratończyków względem czasu ukończenia biegu "maraton.dat" using 1:2 Czas ukończenia biegu Liczba biegaczy

31 Kod Gnuplota generujacy wykres - źle wybrana skala plik źródłowy: maraton1.p set auto set logscale set encoding u t f 8 set xlabel " Liczba biegaczy " set ylabel " Czas ukonczenia biegu " set t i t l e " Liczba maratonczykow wzgledem czasu ukonczenia biegu " set terminal pdf enhanced f o n t " Helvetica,12 " set output " maraton2. pdf " plot " maraton. dat " using 1:2 with l i n e s Komenda Linux $ gnuplot maraton1.p

32 Planowanie maratonu - źle wybrana skala 1000 Liczba maratończyków względem czasu ukończenia biegu "maraton.dat" using 1:2 Czas ukończenia biegu Liczba biegaczy

33 Kod Gnuplota generujacy wykres - źle dobrany styl plik źródłowy: maraton1.p set auto set logscale set encoding u t f 8 set xlabel " Liczba biegaczy " set ylabel " Czas ukonczenia biegu " set t i t l e " Liczba maratonczykow wzgledem czasu ukonczenia biegu " set terminal pdf enhanced f o n t " Helvetica,12 " set output " maraton3. pdf " plot " maraton. dat " using 1:2 with dots Komenda Linux $ gnuplot maraton1.p

34 Planowanie maratonu - źle dobrany styl Liczba maratończyków względem czasu ukończenia biegu "maraton.dat" using 1:2 Czas ukończenia biegu Liczba biegaczy

35 Co to jest analiza graficzna danych? Podstawowe kroki sa zawsze takie same: 1. Wykreślić dane. 2. Sprawdzić je, starajac się znaleźć jakieś rozpoznawalne zachowanie. 3. Porównać dane rzeczywiste do danych reprezentujacych hipotezę z poprzedniego kroku niezbędne w przeprowadzaniu symulacji. 4. Powtóżyć kroki.

36 Co to jest analiza graficzna danych? Jeśli hipoteza w drugim kroku wydaje się racjonalnie uzasadnione, to często próbujemy usunać jej skutki, na przykład, poprzez odjęcie jakiejś wartości (wyrażonej wzorem) od danych, aby sprawdzić, czy wciaż istnieje rozpoznawalne zachowanie. I tak dalej... Iteracja jest kluczowym aspektem analizy graficznej: wykreślenie danych na wiele sposobów; porównywanie danych z funkcjami matematycznymi lub innymi zestawami danych; powiększenie i pomniejszanie kluczowych regionów, aby wykryć ogólna tendencję; stosowanie skali logarytmicznej lub innych transformacji danych, aby zmienić kształt wykresu; stosowanie algorytmów wygładzania danych, aby pozbyć się szumów,itd.

37 Co to jest analiza graficzna danych? Jeśli hipoteza w drugim kroku wydaje się racjonalnie uzasadnione, to często próbujemy usunać jej skutki, na przykład, poprzez odjęcie jakiejś wartości (wyrażonej wzorem) od danych, aby sprawdzić, czy wciaż istnieje rozpoznawalne zachowanie. I tak dalej... Iteracja jest kluczowym aspektem analizy graficznej: wykreślenie danych na wiele sposobów; porównywanie danych z funkcjami matematycznymi lub innymi zestawami danych; powiększenie i pomniejszanie kluczowych regionów, aby wykryć ogólna tendencję; stosowanie skali logarytmicznej lub innych transformacji danych, aby zmienić kształt wykresu; stosowanie algorytmów wygładzania danych, aby pozbyć się szumów,itd. Pamiętaj: Podczas intensywnej sesji analizy danych, stosujac nowe, ale obiecujace zbiory danych, często zdarza się, że wyprodukujemy dziesiatki wykresów.

38 Co to jest analiza graficzna danych? Rodzaje wykresów: przemijajace (wykres notatka): utrzymuja się tak długo, aby można było utworzyć na ich podstawie nowe hipotezy i starać się je uzasadnić.

39 Co to jest analiza graficzna danych? Rodzaje wykresów: przemijajace (wykres notatka): utrzymuja się tak długo, aby można było utworzyć na ich podstawie nowe hipotezy i starać się je uzasadnić. stałe (np. wykresy w publikacjach naukowych): takie wykresy osoba trzecia (poza twórca) powinna być w stanie zrozumieć bez naszych wyjaśnień. Dlatego elementy wykresu, takie jak etykiety, podpisy i inne informacje kontekstowe się bardzo ważne.

40 Analiza danych - podstawowe terminy i pojęcia Analiza graficzna - badanie danych za pomoc a metod graficznych. Celem jest odkrycie nowych informacji/własności o bazowym zbiorze danych.

41 Analiza danych - podstawowe terminy i pojęcia Analiza graficzna - badanie danych za pomoca metod graficznych. Celem jest odkrycie nowych informacji/własności o bazowym zbiorze danych. Grafika prezentacyjna - w przeciwieństwie do analizy graficznej, grafika prezentacyjna jest zorientowana na przekazywanie informacji i wyników, które sa już znane i zrozumiałe. Czyli, odkrycie już było, a teraz już tylko musi być jasno przekazane.

42 Analiza danych - podstawowe terminy i pojęcia Analiza graficzna - badanie danych za pomoca metod graficznych. Celem jest odkrycie nowych informacji/własności o bazowym zbiorze danych. Grafika prezentacyjna - w przeciwieństwie do analizy graficznej, grafika prezentacyjna jest zorientowana na przekazywanie informacji i wyników, które sa już znane i zrozumiałe. Czyli, odkrycie już było, a teraz już tylko musi być jasno przekazane. Wykresy kontrolne - stosowane w sytuacjach, gdy już wiemy, jakie pytania zadać wobec danych wejściowych (tak jak w przypadku grafiki prezentacyjnej), a głównymi odbiorcami wykresu sa ludzie, którzy te dane sami stworzyli.

43 Analiza danych - podstawowe terminy i pojęcia Reprezentacja rzeczywistości - próbuje skonstruować obraz, który odzwierciedla pewien rzeczywisty świat. Standardowa mapa topograficzna jest prosta forma reprezentacji rzeczywistości. Bardziej złożone metody wspomagane komputerowo to np. trójwymiarowe obrazowanie ciała i systemy prześwietlajace (np. skanery bagażu na lotniskach).

44 Analiza danych - podstawowe terminy i pojęcia Reprezentacja rzeczywistości - próbuje skonstruować obraz, który odzwierciedla pewien rzeczywisty świat. Standardowa mapa topograficzna jest prosta forma reprezentacji rzeczywistości. Bardziej złożone metody wspomagane komputerowo to np. trójwymiarowe obrazowanie ciała i systemy prześwietlajace (np. skanery bagażu na lotniskach). Analiza obrazu - pobiera dwu lub trójwymiarowy obraz systemu i próbuje wykryć pewien wzorzec w tym obrazie. W tym celu często wykorzstuje metodę zmiany koloru, aby wskazać ewentualne zmiany wartości.

45 Analiza danych - podstawowe terminy i pojęcia Reprezentacja rzeczywistości - próbuje skonstruować obraz, który odzwierciedla pewien rzeczywisty świat. Standardowa mapa topograficzna jest prosta forma reprezentacji rzeczywistości. Bardziej złożone metody wspomagane komputerowo to np. trójwymiarowe obrazowanie ciała i systemy prześwietlajace (np. skanery bagażu na lotniskach). Analiza obrazu - pobiera dwu lub trójwymiarowy obraz systemu i próbuje wykryć pewien wzorzec w tym obrazie. W tym celu często wykorzstuje metodę zmiany koloru, aby wskazać ewentualne zmiany wartości. Analiza obrazu może być albo automatyczna (wykorzytujemy tutaj metody przetwarzania sygnałów), lub wykonana wizualnie (ręcznie).

46 Analiza danych - podstawowe terminy i pojęcia Analiza statystyczna - klasyczna definicja analizy danych. Analiza statystyczna zazwyczaj próbuje scharakteryzować zestaw danych poprzez obliczenie matematycznych wielkości (średniej, mediana, czy odchylenia standardowego) z danych.

47 Analiza danych - podstawowe terminy i pojęcia Analiza statystyczna - klasyczna definicja analizy danych. Analiza statystyczna zazwyczaj próbuje scharakteryzować zestaw danych poprzez obliczenie matematycznych wielkości (średniej, mediana, czy odchylenia standardowego) z danych. Analiza statystyczna daje odpowiedź ilościowa dla znanego, dobrze postawionego pytania. Innymi słowy, analiza statystyczna działa świetnie, jeśli wiemy, jakie pytania zadać w stosunku do danych. Rozpoznawcza (lub pocz atkowa) analiza danych (EDA lub IDA) jest terminem stosowanym w literaturze statystycznej do opisu wstępnego badania danych w celu określenia ich podstawowych cechy.

48 Dlaczego analiza graficzna? Analiza graficzna to narzędzie odkrywca. Można go używać do ujawnienia dotychczas nieznanych informacji o danych. W porównaniu do metod statystycznych, pomaga odkrywać nowe i nieoczekiwane zachowanie. Pomaga rozwijać intuicyjne zrozumienie danych i informacji w nim zawartych. Nie wymaga szczególnych umiejętności matematycznych.

49 Ograniczenia analizy graficznej Analiza graficzna nie jest skalowalna - analiza graficzna to ręczny proces, który nie może być łatwo zautomatyzowany, gdyż każdy zestaw danych jest traktowany jako szczególny przypadek. Analiza graficzna daje wyniki jakościowe, a nie ilościowe - można uznać to jako siłę lub słabość tej metody, zależy to od sytuacji. Jeśli szukamy nowych zachowań, to analiza graficzna jest naszym przyjacielem. Jeśli staramy się określić procentowa wartość naszych danych, należy wybrać analizę statystyczna Analiza graficzna wymaga umiejętności i doświadczenia. Analiza graficzna jest procesem twórczym - nie wymaga formalnego wykształcenia, intuicja i ciekawość to najważniejsze cechy charakteru jakie należ mieć, aby zaczać zabawę z analiza.

50 Co to jest gnuplot? Gnuplot to program do odkrywania danych w formie graficznej. Jego celem jest generowanie wykresów i diagramów na podstawie danych i funkcji. Może produkować wysoko polerowane grafiki, nadajace się do publikacji i proste wykresy jednorazowe. Gnuplot pracuje z poziomu wiersza polecenia. Gnuplot może być stosowany jako proces działajacy w tle w trybie wsadowym. Gnuplot jest bardzo łatwy w użyciu. Większość składni polecenia jest prosta i dość intuicyjna.

51 Dlaczego gnuplot? Łatwy do nauczenia i w użyciu. Nadaje się doskonale dla wykorzystania iteracyjnego, odkrywczego, i przetwarzania skryptowego Stabilny, dojrzały i ciagle aktualizowany. Wolny i otwarty. Dostępny na wszystkie trzy obecnie powszechnie wykorzystywane platformy: Linux / Unix, Windows, Mac OS X. Generuje wykresy wysokiej jakości i oferuje szczegółowa kontrolę nad wszystkimi parametrami kreślonego wykresu. wspiera wszystkie formaty graficzne te powszechnie i mniej powszechnie spotykane. Umie odczytywać dane z regularnych plików tekstowych. nie wymaga umiejętności programowania.