Język nowoczesnej analizy danych BARTOSZ SĘKIEWICZ

Transkrypt

1 Język nowoczesnej analizy danych BARTOSZ SĘKIEWICZ PIOTR OCALEWICZ

2 AGENDA Wprowadzenie do R Bartosz Sękiewicz Kto używa R? Piotr Ocalewicz

3 Wprowadzenie do R

4

5 Czym jest R? Jedno z najczęściej używanych narzędzi do analizy danych

6

7 Czym jest R? Jedno z najczęściej używanych narzędzi do analizy danych Platforma do tworzenia pięknych i unikalnych wizualizacji danych

8

9

10 Czym jest R? Jedno z najczęściej używanych narzędzi do analizy danych Platforma do tworzenia pięknych i unikalnych wizualizacji danych Społeczność

11 Społeczność R Ogromna liczba stron w języku angielskim: Liczne spotkania społeczności R: user! (od 2004 roku z pominięciem 2005) lokalne konferencje grupy na

12

13

14 Społeczność R w Polsce SER Spotkania Entuzjastów R w Warszawie: Spotkania od lutego 2014 Organizowane przez profesora Przemysława Biecka PAZUR Poznański Akademicki Zlot Użytkowników R: Spotkania od marca 2012 Organizowane przez studenckie koło naukowe Grupa QU Spotkania Entuzjastów R we Wrocławiu Organizowane przez firmę QuantUp

15 Społeczność R w Polsce (blog fundacji) (moduł na forum dedykowany R) (grupa R)

16 Społeczność R w Polsce Projekt ERKA Entuzjastów R Krakowska Alternatywa lub Spotkania od listopada 2014 Od marca 2015 roku projekt działa w ramach fundacji INIME

17 Czym jest R? Jedno z najczęściej używanych narzędzi do analizy danych Platforma do tworzenia pięknych i unikalnych wizualizacji danych Społeczność Potężne statystyczne środowisko programowania

18 Wszechstronność R jest głównym narzędziem używanym w dydaktyce na dobrych uczelniach. Zdominował prowadzenie badań naukowych w wielu dziedzinach, takich jak bioinformatyka czy genetyka. Jest bardzo popularny w zastosowaniach medycznych, finansowych i wielu innych. Od kilkunastu lat rośnie popularność R w przemyśle. Jedną z przyczyn jest to, że jest to narzędzie bezpłatne, ale popularność swoją zawdzięcza też temu, że coraz więcej analityków zostało wykształconych na programie R oraz ten program zna. Rośnie liczba ofert pracy dla osób znających język R. Małe firmy często wybierają R by ciąć koszty, ale R jest również używany przez gigantów. Zarówno przez firmy analityczne (jako silnik analityczny), jak i przez media. Jest używany w Google, Facebook, NY Times, New Scientist i wielu innych firmach. R doskonale też integruje się z innymi rozwiązaniami informatycznymi, takimi jak Python, Java, C, C++, Hadoop, bazy danych.

19 Siła R to pakiety Siła R tkwi w tysiącach pakietów tworzonych przez społeczność R CRAN (The Comprehensive R Archive Network) Bioconductor Własne repozytoria (np. GitHub) Ponad 2 miliony użytkowników powoduje, że zarówno kod źródłowy, jak i popularne pakiety są ciągle sprawdzane i poprawiane

20

21 Bayesian ChemPhys ClinicalTrials Cluster DifferentialEquations Distributions Econometrics Environmetrics ExperimentalDesign Finance Genetics Graphics HighPerformanceComputing MachineLearning MedicalImaging MetaAnalysis Wnioskowanie bayesowskie Chemometria i fizyka komputerowa Badania kliniczne Klasyfikacja Równania różniczkowe Rozkłady prawdopodobieństwa Ekonometria Analiza danych z ekologii i ochrony środowiska Projektowanie eksperymentów i analiza danych doświadczalnych Finanse empiryczne Genetyka statystyczna Grafika Wysoka wydajność obliczeń i obliczenia równoległe Uczenie maszynowe Analiza zdjęć medycznych Meta analizy

22 Multivariate Statystyki wielowymiarowe NaturalLanguageProcessing Język naturalny NumericalMathematics Matematyka numeryczna OfficialStatistics Statystyka Optimization Optymalizacja Pharmacokinetics Analiza danych farmakokinetycznych Phylogenetics Filogenetyka Psychometrics Modele i metody psychometryczne ReproducibleResearch Powtarzalne badania Robust Solidne metody statystyczne SocialSciences Nauki społeczne Spatial Analiza danych przestrzennych SpatioTemporal Obsługa i analiza danych czasoprzestrzennych Survival Analiza przeżycia TimeSeries Analiza szeregów czasowych WebTechnologies Technologie i usługi sieci Web

23 KRÓTKA PREZENTACJA

24 Dlaczego R? R jest dojrzałym językiem programowania zaprojektowanym z myślą o analizie danych oraz wizualizacji danych dostępnym bezpłatnie na otwartej licencji GPL.

25 Dlaczego R? R jest językiem programowania. Oznacza to, że nie jest ograniczony do kilku algorytmów, które przewidzieli twórcy, ale każdy może napisać w nim własny algorytm. Co więcej, wiele osób korzysta z tej opcji i tworzy nowe algorytmy, które inni użytkownicy R mogą wykorzystywać. Dzięki temu liczba algorytmów i funkcji dostępnych w R bardzo szybko się zwiększa. R jest dojrzałym językiem programowania. Jest rozwijany od ponad 21 lat, dzięki czemu zdążył nabrać masy krytycznej. Pewne usterki projektowe wczesnych wersji R (np. ograniczenie do 4GB RAM) zostały dostrzeżone i wyeliminowane. Dziś jest to narzędzie rozwijane i przez dużą grupę statystyków, i inżynierów oprogramowania, co jest gwarancją stabilnego rozwoju.

26 Dlaczego R? R jest dojrzałym językiem programowania zaprojektowanym z myślą o analizie danych. Dojrzałych języków programowania jest wiele, ale niewiele z nich nadaje się do interaktywnej pracy z danymi. W języku R połączono wybrane cechy języków funkcyjnych oraz obiektowych, a nacisk położono na pracę interaktywną z danymi. Dodatkowe biblioteki wspierają łatwe tworzenie raportów z wynikami. Dzięki tym cechom R jest stworzony do analizy danych. R jest dojrzałym językiem programowania zaprojektowanym z myślą o wizualizacji. W języku R można wykonać grafiki statystyczne o publikacyjnej jakości. Oznacza to, że bez dodatkowych narzędzi można stworzyć profesjonalny wykres. Co więcej, jest wiele pakietów, dzięki czemu tworzenie takich wykresów jest proste.

27 Dlaczego R? R jest dojrzałym językiem programowania dostępnym bezpłatnie na otwartej licencji GPL. Program R jest dostępny bezpłatnie do każdych zastosowań. Czy to na uczelni, czy w działalności komercyjnej, możemy go wykorzystywać bez żadnych opłat. Program R, jest dostępny na otwartej licencji, co oznacza, że każdy ma dostęp do źródeł, każdy element można zobaczyć jak funkcjonuje, można sprawdzić czy nie zawiera błędów i ewentualnie usprawnić.

28 A dlaczego nie? Jest to język programowania a nie środowisko klikane Ogranicza nas pamięć komputera Wymaga podstawowej znajomości j. angielskiego

29 Gdzie szukać? Kilkadziesiąt książek po angielsku, między innymi seria Use R! (Springer) Polskie pozycje (m.in. Przewodnik po pakiecie R. Przemysław Biecek, ale jest tego znacznie więcej) Czasopisma poświęcone R (Journal of Statistical Software, The R Journal) (wyszukiwarka)

30 Kto korzysta z R?

31 1. Jedna z największych instytucji finansowych na świecie 2. Dotychczas w bankowości dominacja narzędzi MS Excel i SAS 3. Przeniesienie części raportowania z komercyjnych rozwiązań do R 4. Dużo bardziej rozbudowane możliwości graficznej prezentacji danych niż w dotychczas wykorzystywanych narzędziach

32 1. R to podstawowe narzędzie analizy danych i obliczeń statystycznych w Google Inc. 2. Zwiększenie efektywności wyświetlania reklam 3. Badanie ruchu i kluczowych fraz 4. Prognozowanie i przewidywanie przyszłych zachowań klientów 5. R jest w stanie obsłużyć bazy danych o pojemności terabajtów

33 1. Jedna z największych firm ubezpieczeniowych na świecie 2. Wykorzystanie możliwości graficznych R do prezentacji wyników analiz

34 1. Jedna z najbardziej opiniotwórczych gazet na świecie 2. Duża część wykresów i wizualizacji danych tworzona jest w R 3. Prognozowanie wyników wyborów do Senatu w USA

35 1. Analiza statusów użytkowników i wykorzystywanych fraz (text mining) 2. Dostępne bazy danych ponad 1 mld użytkowników (!) 3. Badanie powiązań i wzajemnych relacji użytkowników

36 1. Jeden z najpopularniejszych portali randkowych w USA 2. Przejście z arkuszy Excela do środowiska R 3. Lepsze profilowanie i dopasowanie użytkowników portalu

37 1. Największa firma windykacyjna w Polsce 2. R służy do budowania modeli predykcyjnych 3. Większa automatyzacja dotychczasowych analiz 4. Skrócenie czasu przygotowania modeli nawet o połowę

38 1. Wykorzystanie R w obszarze scoringu kredytowego 2. Budowa, walidacja i utrzymanie kart scoringowych 3. Prognozowanie szeregów czasowych 4. Analizy ekonometryczne i analizy ad-hoc

39 Jakie jeszcze instytucje finansowe w Polsce korzystają z R?

40 Czy są oferty pracy z językiem R?

41 Dziękujemy za uwagę Bartosz Sękiewicz: Piotr Ocalewicz: