Wprowadzenie do programowania. Dr Wioleta Drobik

Transkrypt

1 Wprowadzenie do programowania Dr Wioleta Drobik

2 Czym jest programowanie? Programowanie nie jest zajęciem dla wybrańców posiadających ogromną i niemal tajemną wiedzę

3 Języki programowania Język programowania to język stworzony do opisu kolejnych kroków, które mają być podjęte przez komputer. ~ instrukcja dawana komputerowi przez człowieka. Język używany przez procesor to kod maszynowy Kod pisany w języku programowania jest przetwarzany na kod maszynowy tak, by mógł zostać przetworzony przez procesor

4 Klasyfikacja Interpretowane Na bieżąco tłumaczone na język maszynowy komputera przez program zwany interpreterem Kompilowane Kod źródłowy jest tłumaczony na kod maszynowy (wykonywalny program) przez program zwany kompilatorem Jedna instrukcja w kodzie źródłowym to kilka (języki niskiego poziomu), kilkaset instrukcji (języki wysokiego poziomu) w kodzie maszynowym

5 Klasyfikacja Poziom Języki niskiego poziomu - języki maszynowe (zapisane są w postaci liczb binarnych) oraz asemblery (języki symboliczne) języki wysokiego poziomu w tych językach jedna instrukcja jest tłumaczona na kilka, kilkadziesiąt instrukcji procesora

6 Algorytm Czym jest algorytm? Algorytm to jednoznaczny przepis wykonania pewnej czynności w skończonym czasie np. zmiana pewnych danych wejściowych do pewnych danych wynikowych

7 Od pojęć do kodu Typowe formy zapisu algorytmu: Opis słowny Schemat blokowy Pseudokod Lista kroków do wykonania Kod źródłowy programu Program to algorytm zapisany w postaci (zależnie od języka programowania) umożliwiającej jego automatyczną realizację za systemu komputera

8 Od problemu do programu 1. Sformułowanie problemu (definicja zadania) 2. Analiza problemu 3. Wybór metody (metod) rozwiązania 4. Opracowanie algorytmu 5. Kodowanie (implementacja) programu 6. Testowanie programu 7. Sporządzenie dokumentacji

9 Główne składowe każdego programu Zmienne Funkcje Sterowanie: przepływem wykonywanie programu instrukcje warunkowe pętle Schemat blokowy algorytmu

10 Instrukcje warunkowe Najczęściej wykorzystywane elementy w języku programowania Słownie: Jeżeli spełniony został warunek wykonaj operacje X, jeżeli nie, wykonaj operacje Y. np. robienie sałatki warzywnej dla Jasia Zrobimy sos na bazie. Czy Jaś ma nietolerancje laktozy? TAK NIE

11 Instrukcje warunkowe w R Przykład: Skrypt (widok w edytorze tekstu) Widok w konsoli wynik

12 Pętle Rodzaj instrukcji pozwalających na wielokrotne powtórzenie wykonania zaprogramowanych operacji Np. doprawiaj sałatkę dopóki nie będzie dobra Przykłady w R:

13 Biblioteki To zbiór klas, funkcji możliwych do wykorzystania przez programistę / użytkownika W R nazywane są pakietami Biblioteka standardowa: Podstawowy zestaw funkcji pozwalający zrealizować najważniejsze operacje

14 Jak nauczyć się programować? Kursy online Książki PRAKTYKA!!! Rozwiązywanie problemów biologicznych przez programowanie

15 Środowisko R

16 Narzędzia Najpopularniejsze środowiska do obliczeń numerycznych MATLAB OCTAVE R -obliczenie inżynierskie i naukowe - symulacje -obliczenia statystyczne i zaawansowana grafika

17 Narzędzia Najpopularniejsze programy do statystyki i analizy danych SAS Statistica SPSS S-PLUS R

18 Czym jest R? GNU R to język programowania i środowisko do m.in..: obliczeń statystycznych wizualizacji danych wszystkiego co można oprogramować Cieszy się rosnącą popularnością i uznaniem zwłaszcza w Europie Zachodniej, gdzie od lat jest standardem w dziedzinie analiz statystycznych

19 Trochę HistoRii Pierwsza wersja R została napisana przez Roberta Gentlemana i Ross Ihake (znanych jako R&R) pracujących na Wydziale Statystyki Uniwersytetu w Auckland Pakiet początkowo służył jako pomoc dydaktyczna do uczenia statystyki na tym uniwersytecie Od roku 1997 rozwojem R kieruje: zespół ponad dwudziestu osób nazywanych core team fundacja The R Foundation for Statistical Computing z setkami aktywnych uczestników Wkład setek osób z całego świata publikujących własne biblioteki z bardzo różnych dziedzin

20 Polecana literatura: Biecek P Przewodnik po pakiecie R. Oficyna wydawnicza GIS. Rozdział 1 wersji ze starszego wydania dostępny za darmo w Internecie: Komsta Ł Wprowadzenie do R. Wersja PDF dostępna za darmo w Internecie: Wprowadzenie.pdf Rybiński M Krótkie wprowadzenie do R dla programistów, z elementami statystyki opisowej. WMIM UW. Dostępny za darmo w Internecie: Paradis E R for Beginners. Dostępny za darmo w Internecie:

21 Ważne miejsca w sieci The Comprehensive R Archive Network Instalacja, pakiety, materiały Informacje i tutoriale Tutoriale statystyczne i nie tylko

22 Dlaczego warto? Oprogramowanie na licencji GPL do zastosowań prywatnych oraz komercyjnych Darmowa dystrybucja Dostępność kodu źródłowego Dynamiczny rozwój, tysiące dostępnych pakietów Możliwość tworzenia pakietów zawierających nowe funkcjonalności Wsparcie naukowe Aktywna społeczność użytkowników w Polsce i na świecie Wieloplatformowość (Windows, Linux, Mac OS) Optymalizacja obliczeń Praca z dużymi zbiorami danych Where in the world is R and Rstudio.

23 Zalety platformy R R pozwala na tworzenie i upowszechnianie pakietów zawierających nowe funkcjonalności Wersja , koniec 2012 r., ponad 4000 pakietów Wykres 1. Liczba pakietów dostępnych w kolejnych wersjach R Źródło: growth-exceeds-sas-all-time-total/ Źródło:

24 Źródło:

25 Popularność Źródło: (Google Scholar)

26 Popularność Źródło:

27 Możliwości graficzne

28 Cechy charakterystyczne: Interpretowalność języka R Odmienność od arkuszy kalkulacyjnych Praca w linii komend lub nakładki graficzne Nakładki i narzędzia R Studio wygodne środowisko obliczeń zintegrowane z R, udogodnienia dla analityków i programistów R Commander interfejs okienkowy

29 Jak wygląda praca z R Język R jest językiem interpretowanym, a korzystanie sprowadza się do podania ciągu komend, które mają zostać wykonane Znak > jest zachętą do wprowadzania poleceń Znak + jest znakiem kontynuacji Kolejne komendy mogą być wprowadzane linia po linii z klawiatury lub też mogą być wykonywane jako skrypt

30 Skrypt Jest to program wykonywany wewnątrz pewnej aplikacji, w odróżnieniu od programów normalnych wykonywanych niezależnie, bezpośrednio w systemie operacyjnym Składa się z wykonywalnego kodu oraz komentarzy # jest znakiem komentarza wszystko co znajdzie się za tym znakiem jest pomijane przez program

31 Pojęcia i komendy Obszar roboczy (ang. workspace) Wszystkie obiekty znajdujące się aktualnie w pamięci operacyjnej ESC q() Przerwanie aktualnie wykonywanej czynności Zamknięcie środowiska

32 Praca z R studio Dostępne na stronie: Zarządzenie wieloma plikami/projektami Wyświetlanie obiektów obecnych w przestrzeni nazw Wbudowany edytor kolorowanie składni Podpowiadanie składni (skrót klawiaturowy: shift+enter) Łatwa instalacja pakietów

33 Praca z R studio

34 R Commander Interfejs okienkowy dla środowiska R Instalacja: install.packages("rcmdr",dependencies=true)

35 Podstawy składni języka R Wszystko z czym mamy do czynienia z R jest obiektem Obiektem mogą być: Zmienne Macierze Funkcje Itd.. Obiekty posiadają nazwy i inne atrybuty takie jak np. wymiary, nazwy kolumn

36 Czym jest zmienna w informatyce? Zmienne są sposobem przechowywania informacji w komputerze Miejsce w pamięci trzeba odpowiednio nazwać i zaadresować Np. tworzymy zmienną o nazwie wiek i przechowujemy w niej wiek danej osoby tworzymy zmienną kot. Zawartość Zmienna kot

37 Zmienne w R Etapy procesu tworzenia zmiennej: 1. Podaj nazwę zmiennej np. lata 2. Dodaj znak przypisania wartości do zmiennej <- lub znak równości = 3. Dodaj zawartość zmiennej np. 5 i naciśnij enter 4. Sprawdź zawartość zmiennej przez wpisanie jej nazwy. W konsoli powinien pojawić się wynik Przykłady:

38 Zmienne w R Nazwy zmiennych: Istotna jest wielkość liter Powinny zaczynać się od litery Mogą składać się z liter, cyfr, kropek, podkreślników Nie może zawierać m.in. spacji

39 Typy zmiennych Typ liczbowy Liczby całkowite, rzeczywiste Kropką dziesiętna jest kropka, nie przecinek NaN - wartość specjalna z ang. not a number czyli nie liczba Oznaczenia Inf oraz Inf to plus i minus nieskończoność

40 Typy zmiennych Typ czynnikowy (kategoryczny, ang. factor) Przechowuje informacje o powtórzeniach takich samych wartości oraz o zbiorze unikalnych wartości tego ciągu Przydatny do przechowywania wartości występujących na kilku poziomach (w kilku kategoriach) np. płeć, rasa, wykształcenie Służą najczęściej do definiowania grup Zmienne takie tworzymy z użyciem funkcji factor() Np.

41 Typy zmiennych Typ znakowy (character) Wartościami obiektów są napisy (łańcuchy znaków) Rozpoczynają się i kończą znakiem lub Znaki specjalne: \n znak nowej linii \t znak tabulacji Z łańcuchów znaków można wycinać fragmenty, sklejać, wyszukiwać podciągi znaków, itd.

42 Typy zmiennych Typ logiczny (logical) Obiekty tego typu przechowują jedną z dwóch wartości: logiczną prawdę (TRUE lub jego skrót T, odpowiednik liczbowy 1) logiczny fałsz (FALSE lub jego skrót F, odpowiednik liczbowy 0) Dzięki nim można wykonywać operacje logiczne, np. Wartości logiczne są szczególnie istotne przy instrukcjach warunkowych

43 Wektor (vector) Jest to ciąg zmiennych tego samego typu, np. liczb, znaków, wartości logicznych Do tworzenia wektorów służy funkcja c() Przykładowe funkcje: length(wektor) długość wektora sort(wektor) sortowanie, rosnąco sample(wektor, length(wektor),false)

44 Wektor (vector) Wektory są strukturami, na których można wykonywać praktycznie wszystkie działania arytmetyczne. Np.: pierwiastek z wektora jest wektorem, którego elementy są pierwiastkami elementów oryginalnego wektora Suma dwóch wektorów o tej samej długości jest wektorem zawierającym sumy poszczególnych elementów (dwa pierwsze, dwa drugie etc.) Jeśli wektory mają różne długości, to po dojściu do końca pierwszego wektora obliczenia zaczynają się od początku.

45 Indeksowanie Odnosimy się do konkretnych elementów stanowiących podzbiór całości otrzymujemy wektor ale jest on krótszy i zawiera jedynie elementy z wyjściowego wektora polega na dodaniu wyrażenia w nawiasach kwadratowych

46 Indeksowanie Jako indeksu możemy użyć: Wektora zawierającego liczby naturalne (od 1 do długości wektora) Wektora zawierającego ujemne liczby całkowite wektor zawiera wszystkie elementy oprócz wskazanych Wektora logicznego o tej samej długości otrzymany wektor zawiera tylko te liczby dla których indeks zawiera wartość TRUE

47 Macierz (matrix) Jest wektorem, dodatkowo zawierającym informacje o uporządkowaniu elementów Najczęściej stosowana jest macierz dwuwymiarowa Indeksowanie: Macierz[wiersz, kolumna]

48 Ramka danych (data frame) Macierz (tablica), której poszczególne kolumny sa wektorami lub/i czynnikami o tej samej długości Kolumny mogą różnic się pomiędzy sobą typem elementów, jakie zawierają. Konstruktorem jest funkcja data.frame

49 Funkcja Wydzielona część programu do wielokrotnego wykorzystania Schemat instrukcji, które mają zostać wykonane na wybranych argumentach Jej konstruktorem jest funkcja function() mojafunkcja <- function(argument1, argument2,... ) { statements return(object) }

50 Pakiety Na przykładzie pakietu Rcmdr Instalacja: install.packages("rcmdr",dependencies=true) instaluje pakiet Rcmdr oraz wszystkie wspomagające jego działanie Wyświetli sie lista serwerów z repozytoriami - wybieramy najbliższy (szybkość) Funkcja library(rcmdr): Ładowanie biblioteki do aktywnej przestrzeni roboczej (workspace) Aby wyświetlić listę załadowanych bibliotek używamy tej samej funkcji, ale bez argumentu

51 Analizy statystyczne w R

52 Przykładowa baza danych Baza survey z pakietu MASS Baza zawiera odpowiedzi 237 studentów uniwersytetu Adelaide na pytania zawarte w ankiecie Przykładowe zmienne: Płeć: Male, Female W.Hnd: praworęczność right lub leworęczność left, Pulse (uderzenia serca na minute) Smoke (jak dużo papierosów pali student): Heavy, Regul, Occas, Never Height (wzrost w cm) Age (wiek)

53 Przykładowa baza danych

54 Cechy jakościowe Tabela liczebności (kontyngencji) funkcja table() zestawienie liczebności w grupach Przykład:

55 Statystyka opisowa cechy ilościowe Cechy ilościowe - najważniejsze funkcje: length długość wektora (liczba elementów) sum suma elementów wektora max, min maksymalna i minimalna wartość z wektora mean średnia arytmetyczna Jeśli podamy dodatkowy parametr trim - to funkcja policzy, średnią po odrzuceniu określonego odsetka wartości skrajnych, np. mean(x,trim=0.1) to średnia z x po odrzuceniu 10% wartości skrajnych quantile dowolny kwantyl, np. quantile(x,.5) - to mediana z x, inaczej median(x) sd odchylenie standardowe var wariancja moda wartość występująca najczęściej

56 Statystyka opisowa Funkcja summary() wyświetla proste podsumowania wektora obserwacji Dla zmiennej jakościowej: Liczebności obserwacji w każdym z możliwych poziomów Dla zmiennej ilościowej: Wektor z wartościami: Minimum Maksimum Średnia Mediana Kwartyle

57 Statystyka opisowa Wynik funkcji summary() dla przykładowej ramki danych

58 Wykresy Możliwość wykorzystania jednego z dwóch systemów graficznych Pakiet graphics Pakiet grid wykorzystany w pakietach np. lattice, ggplot2 Pakiet graphics Pakiet lattice Pakiet ggplot2 plot(pulse,height) xyplot(height~pulse) qplot(pulse,height)

59 Wykresy Histogram przedstawia liczebności obiektów w poszczególnych przedziałach (klasach) danej zmiennej Funkcja hist() Histogram, ustawienia domyślne Zmiana liczby przedziałów (breaks)

60 Wykresy Wykres pudełkowy zmienność pojedynczej lub kilku zmiennych Funkcja boxplot() Obserwacje odstające (ang. outliers) - ponad 1,5 przedziału międzykwartylowego (IQR) od kwartyli

61 Wykresy Wykres rozrzutu zależności między parą zmiennych ilościowych Funkcja plot() plot(pulse,height,col=rainbow(2),pch=19)

62 Wykresy Najważniejsze argumenty wykresów main tytuł np. main= wykres xlab, ylab - tytuły osi np. xlab= nazwa osi x ylim dolna i górna granica wartości dla osi y np. zakres od 0 do 50 co 5: ylim=c(0,50,5) breaks liczba przedziałów przy tworzeniu histogramu col - kolory

63 Testowanie hipotez p-value = prawdopodobieństwo testowe, graniczny poziom istotności Prawdopodobieństwo uzyskania analizowanych danych przy założeniu, że hipoteza zerowa jest prawdziwa Miara prawdopodobieństwa popełnienia błędu pierwszego rodzaju czyli nieodrzucenia fałszywej hipotezy zerowej p-value > 0.05 brak podstaw do odrzucenia hipotezy zerowej p-value <= 0.05 istotnie odrzucamy hipotezę zerową p-value <= 0.01 wysokoistotnie odrzucamy hipotezę zerową

64 Wybrane testy statystyczne Sprawdzanie czy zmienna ma rozkład normalny: Test Shapiro-Wilka shapiro.test(x) H 0 : zmienna ma rozkład normalny Wartość empiryczna testu Czyli: 1 x 10^-16 Prawdopodobieństwo testowe < 0.01 więc odrzucamy hipotezę zerową wysokoistotnie Prawdopodobieństwo testowe > 0.05 więc brak podstaw do odrzucenia hipotezy zerowej

65 Wybrane testy statystyczne Sprawdzanie zgodności rozkładu z założonym (ang. Chi square goodness of fit test) H 0 : Rozkład jest zgodny z założonym (1:7:1:1) zakładamy, że 70% studentów należy do osób nie palących, a w każdej z pozostałych grup znajduje się po 10% studentów

66 Wybrane testy statystyczne Test na jednorodność wariancji F-Snedecora var.test(x,y) H 0 : σ 2 1= σ 2 2

67 Wybrane testy statystyczne Test na proporcje mała próba binom.test(x=9,n=20,p=0.2) Oparty na rozkładzie dwumianowym 9 sukcesów w 20 próbach prawdopodobieństwo sukcesu 20% H 0 : p=0.2

68 Wybrane testy statystyczne Test na proporcje duża próba (odpowiednik testu U) Oparty na statystyce Chi-kwadrat prop.test(x=2000,n=100000,p=0.2) 2000 sukcesów w prób prawdopodobieństwo sukcesu 20% H 0 : p=0.2

69 Wybrane testy statystyczne Test na średnią w jednej populacji Zakłada rozkład normalny Test t-studenta Przykład: Czy średni wzrost studentów był równy 170 cm? t.test(x,mu=170) H 0 : μ=170

70 Wybrane testy statystyczne Test na średnią w dwóch populacjach Zakłada rozkład normalny i jednorodność wariancji Test t-studenta Przykład: Czy średnia wzrostu dla studentów obu płci jest taka sama? t.test(wzrost_m,wzrost_f) H 0 : μ 1 = μ 2

71 Wybrane testy statystyczne Test na niezależność chi-kwadrat Musimy mieć tabelę liczebności np: Kolejne elementy to gatunek filmowy: sensacyjny, komedia, horror kobiety<-c(21,12,32) mezczyzni<-c(33,22,33) chisq.test(bind(kobiety, mezczyzni)) H 0 : Cechy są niezależne

72 Wybrane testy statystyczne Test na niezależność chi-kwadrat Czy częstotliwość palenia tytoniu u studentów zależy od płci?

73 Wybrane testy statystyczne Korelacja liniowa Pearsona Wartości od -1 do +1 Liniowa zależność pomiędzy dwoma zmiennymi ilościowymi funkcja: cor() lub z testem istotności cor.test()

74 Dziękuje za uwagę