Programowanie w języku R

Transkrypt

1 Programowanie w języku R Analiza danych, obliczenia, symulacje Otwarte i wolnodostępne środowisko R zyskało w ostatnich latach ogromną popularność. Język R jest jednym z podstawowych narzędzi w warsztacie wielu analityków danych, statystyków, data scientists, badaczy opinii i rynku, specjalistów business intelligence czy naukowców. Większość publikacji dostępnych na polskim i zagranicznym rynku wydawniczym skupia się na omawianiu sposobów wykorzystywania środowiska R w różnych zastosowaniach praktycznych, m.in. w ekonomii, medycynie, bioinformatyce, psychologii, socjologii czy naukach technicznych. Objaśnia zatem sposób korzystania z szablonowych rozwiązań na zasadzie kucharskich przepisów. Ta oto książka stawia sobie jednak za cel wsparcie Czytelnika w jego drodze ku programistycznej samodzielności aby mógł wyjść poza gotowe schematy i śmiało mierzyć się z nowymi wyzwaniami, przed jakimi stawia nas tzw. era informacji. Książka skupia się na dogłębnym wyjaśnieniu zasad funkcjonowania środowiska R. Nie można jej jednak nazwać po prostu kursem programowania, a to dlatego, że R jest ściśle związany z bogatymi obszarami swoich zastosowań. Czytelnik dowie się więc, w jaki sposób przeprowadzać w R obliczenia symulacyjne i numeryczne, jak implementować algorytmy przetwarzania danych, pobierać, tworzyć i przygotowywać zbiory danych do analizy, automatyzować bardzo żmudne gdyby je wykonywać ręcznie zadania czy też tworzyć raporty, tabele i wykresy. Dr inż. Marek Gągolewski jest adiunktem w Instytucie Badań Systemowych Polskiej Akademii Nauk i na Wydziale Matematyki i Nauk Informacyjnych Politechniki Warszawskiej. Jest autorem ponad 50 publikacji naukowych, m.in. na temat agregacji i analizy danych oraz laureatem stypendiów dla wybitnych młodych uczonych. Pracuje w R od kilkunastu lat, a jego pakiet stringi należy aktualnie do pierwszej dziesiątki najczęściej pobieranych rozszerzeń dla tego języka. Marek Gągolewski Programowanie w języku R Analiza danych, obliczenia, symulacje Marek Gągolewski Programowanie w języku R Analiza danych, obliczenia, symulacje W YDANIE II POSZERZONE

2 Marek Gągolewski Programowanie w języku R Analiza danych, obliczenia, symulacje

3 Projekt okładki Hubert Zacharski Ilustracja na okładce shutterstock/antishock Wydawca Łukasz Łopuszański Redaktor prowadzący Iwona Lewandowska Redaktor Ewa Ławrynowicz Koordynator produkcji Anna Baczkowska Skład i łamanie FixPoint, Warszawa Zastrzeżonych nazw firm i produktów użyto w książce wyłącznie w celu identyfikacji. Copyright by Wydawnictwo Naukowe PWN SA Warszawa 2014, 2016 ISBN Wydanie II Warszawa 2016 Wydawnictwo Naukowe PWN SA Warszawa, ul. Gottlieba Daimlera 2 tel , faks infolinia pwn@pwn.com.pl; reklama@pwn.pl Druk i oprawa: OSDW Azymut Sp. z o.o.

4 SPIS TREŚCI Przedmowa XIII I Podstawy 1. Środowisko R i program RStudio Cechy języka i środowiska R Organizacja pracy w R i RStudio Konsola R Program RStudio Pierwsze kroki w trybie interaktywnym Edytor skryptów System pomocy Typy atomowe: wektory i NULL Klasyfikacja typów obiektów w języku R Wektory atomowe Wektory wartości logicznych Wektory liczbowe Wektory napisów Pozostałe typy wektorów atomowych i ich hierarchia Tworzenie obiektów nazwanych Braki danych, wartości nieskończone i nie-liczby Typ pusty (NULL) Operacje na wektorach Podstawowe operatory Operatory arytmetyczne Operatory logiczne Operatory relacyjne Priorytety operatorów Indeksowanie wektorów. Filtrowanie danych Rodzaje indeksatorów Modyfikowanie wybranych elementów Przegląd funkcji wbudowanych Zwektoryzowane funkcje matematyczne

5 VI SPIS TREŚCI Agregacja danych Operacje na sąsiadujących elementach wektorów Wyszukiwanie indeksów i wybór elementów wektorów Operacje oparte na permutowaniu elementów wektorów Operacje na zbiorach Podstawowe operacje na napisach Listy Tworzenie list Indeksowanie list Operator [ Operator [[ Modyfikowanie zawartości list Wybrane operacje na listach Łączenie, rozwijanie i powielanie list Wywoływanie funkcji na wszystkich elementach listy Funkcje Tworzenie obiektów typu funkcja Bloki wyrażeń Sprawdzanie poprawności argumentów Kilka uwag dla projektantów funkcji Biblioteki funkcji w plikach.r Odwoływanie się do funkcji z pakietów R Zasięg nazw w funkcjach Parametry i argumenty Przekazywanie argumentów przez wartość Parametry z argumentami domyślnymi Parametr specjalny Atrybuty obiektów Nadawanie i odczytywanie atrybutów Atrybuty specjalne Atrybut comment Atrybut names. Wektory z etykietami Atrybut class. Wstęp do programowania obiektowego S O zachowywaniu i gubieniu atrybutów przez funkcje Typy złożone Macierze i tablice Tworzenie macierzy Indeksowanie macierzy Tablice jako uogólnienie macierzy Atrybut dimnames. Etykietowanie wierszy i kolumn Reprezentacja macierzy i tablic Wybrane operacje na macierzach Szeregi czasowe Czynniki Tworzenie czynników

6 SPIS TREŚCI VII Reprezentacja czynników Czynniki a wektory napisów Wybrane operacje na czynnikach Ramki danych Reprezentacja ramek danych Operatory indeksowania. Filtrowanie danych Wybrane operacje na ramkach danych Pielęgnowanie kodu Organizacja kodu Projekty i skrypty Tworzenie własnych pakietów R Obsługa wyjątków Rodzaje wyjątków Obsługa komunikatów diagnostycznych i ostrzeżeń Obsługa błędów Testowanie oprogramowania Debugowanie kodu Pomiar i poprawa wydajności kodu Badanie krótkich fragmentów kodu Profilowanie aplikacji Złożoność czasowa i pamięciowa algorytmów Modyfikacja przepływu sterowania Wyrażenia warunkowe if i if...else Określanie testowanego warunku Wartości zwracane przez wyrażenia warunkowe Funkcja return(). Rekurencja Pętle Pętla while Pętla repeat Pętla for Uwagi na temat wydajności pętli II Przygotowanie danych 10. Przetwarzanie napisów Podstawowe operacje na napisach Wyznaczanie długości napisów Porównywanie napisów Łączenie i powielanie napisów Przycinanie i wypełnianie Formowanie napisów na podstawie innych obiektów Zmiana pojedynczych znaków Wyznaczanie podnapisów Pozostałe operacje Wyszukiwanie wzorca Wzorce ustalone

7 VIII SPIS TREŚCI Wyrażenia regularne Wzorce rozmyte Data i czas Reprezentacja dat Reprezentacja czasu Operacje arytmetyczne Konwersja daty i czasu Reprezentacja napisów Kodowanie ASCII bitowe kodowania polskich liter diakrytyzowanych Kodowanie UTF Konwersja kodowań Przetwarzanie plików Podstawowe operacje na plikach i katalogach Ścieżki dostępu do plików i katalogów Bieżący katalog roboczy. Ścieżki względne Informacje o plikach i katalogach Wybrane działania na plikach i katalogach Wyszukiwanie plików i katalogów Serializacja i deserializacja obiektów Popularne formaty plików Pliki CSV Pliki JSON Pliki XML Dostęp do baz danych SQL Dowolne pliki tekstowe Odczyt plików tekstowych Zapis plików tekstowych Połączenia URL, czyli ujednolicony lokalizator zasobów Tworzenie połączeń Otwieranie i zamykanie połączeń Odczyt danych z połączeń Zapis danych do połączeń Zarządzanie otwartymi połączeniami Nota o plikach binarnych III Prezentacja wyników 12. Tworzenie wykresów Schemat systemów graficznych w środowisku R Podstawy użycia pakietu graphics Strona i rysunki Parametry graficzne Rysowanie punktów i odcinków (łamanych) Barwy Rysowanie wielokątów Wypisywanie tekstu

8 SPIS TREŚCI IX Układ współrzędnych Tworzenie wielu rysunków na jednej stronie Wybrane wysokopoziomowe operacje graficzne Rysowanie układu współrzędnych Adnotacje i legenda Wizualizacja danych jednowymiarowych Wizualizacja danych dwuwymiarowych Wizualizacja danych wielowymiarowych Urządzenia graficzne Urządzenia pdf(), svg() i postscript() Urządzenia png() i jpeg() Generowanie raportów przy użyciu pakietu knitr Język Markdown Podstawy użycia pakietu knitr Ustawienia wstawek Identyfikatory wstawek i zależności między nimi Pamięć podręczna Wyświetlanie kodu i wyników tekstowych Rysunki Ustawienia globalne IV Zastosowania 14. Obliczenia numeryczne Wprowadzenie Algebra wektorów i macierzy Podstawowe operacje Normy Metryki i inne odległości Wektory i wartości własne Rozkład Choleskiego Rozkład QR Rozkład SVD Różniczkowanie i całkowanie Różniczkowanie numeryczne Całkowanie numeryczne Optymalizacja Algorytmy programowania matematycznego Algorytmy optymalizacji ciągłej ogólnego zastosowania Interpolacja i wygładzanie Interpolacja jednowymiarowa Interpolacja dwuwymiarowa Wygładzanie Rozwiązywanie (układów) równań (nie)liniowych Wyznaczanie miejsc zerowych funkcji jednej zmiennej Rozwiązywanie układów równań liniowych Rozwiązywanie układów równań nieliniowych

9 X SPIS TREŚCI 15. Symulacje Generowanie liczb (pseudo)losowych Źródła (pseudo)losowości Określanie ziarna generatora Szczegóły działania generatora Rozkłady prawdopodobieństwa Nazwy funkcji związanych z rozkładami Wybrane jednowymiarowe rozkłady prawdopodobieństwa Zmienne losowe wielowymiarowe Przykładowe eksperymenty symulacyjne Badanie mocy testu Shapiro Wilka Własności estymatorów parametrów rozkładu Gamma Całkowanie Monte Carlo Kroswalidacja klasyfikatora V Zagadnienia zaawansowane 16. Zarzadzenie środowiskiem R Podstawowe informacje Informacje o środowisku R Informacje o systemie Uruchamianie i zamykanie środowiska R Historia poleceń Opcje globalne Ustawienia lokalizacyjne Rozszerzanie możliwości środowiska R Instalacja i aktualizacja pakietów Wywoływanie innych programów Zarządzanie pamięcią Informacja o rozmiarze obiektów Kopiowanie na żądanie Automatyczne odśmiecanie pamięci Typ podstawowy, tryb a klasa obiektów Środowiska Środowiska jako zbiory obiektów Podstawowe operacje na obiektach w środowisku Środowiska a listy Przekazywanie środowisk funkcjom Wskaźniki na środowiska otaczające Przypadek ręcznie tworzonych środowisk Ścieżka wyszukiwania Przestrzenie nazw i środowiska eksportowane przez pakiety Syntaktyka i semantyka języka R Obiekty reprezentujące wyrażenia języka R Parser Cytowanie

10 SPIS TREŚCI XI Wywołania, czyli wyrażenia złożone Środowiskowy model obliczeń Ewaluacja wyrażeń Bieżące środowisko ewaluacyjne Ewaluacja wyrażeń w obrębie funkcji Lokalne środowiska ewaluacyjne Środowiska otaczające lokalne środowiska ewaluacyjne Środowiska wywołujące Ewaluacja argumentów Formuły Przykłady funkcji stosujących argumenty typu formuła Formuły jako wywołania Przetwarzanie formuł Programowanie zorientowane obiektowo Paradygmaty programowania obiektowego Klasy S Określanie klasy obiektu Ekspediowanie metod Przeciążanie metod Klasy S Definiowanie klas i tworzenie obiektów Definiowanie funkcji generycznych i metod Klasy referencyjne (RC) Specjalne rodzaje funkcji Funkcje podstawieniowe Przeciążanie operatorów Wbudowane grupy funkcji generycznych Integracja R i C++ przy użyciu pakietu Rcpp Wprowadzenie Tryby pracy z Rcpp Podstawy składni języka C Operacje na wektorach atomowych Dostęp do wektorów Tworzenie wektorów Kopiowanie płytkie i głębokie Braki danych Przegląd funkcji z R/C API Przegląd funkcji i metod z pakietu Rcpp Operacje na pozostałych typach obiektów Listy Funkcje Atrybuty obiektów Obiekty typów złożonych Wskaźniki Bibliografia Skorowidz