Pozyskiwanie wiedzy z danych

Transkrypt

1 Pozyskiwanie wiedzy z danych dr Agnieszka Goroncy Wydział Matematyki i Informatyki UMK PROJEKT WSPÓŁFINANSOWANY ZE ŚRODKÓW UNII EUROPEJSKIEJ W RAMACH EUROPEJSKIEGO FUNDUSZU SPOŁECZNEGO Pozyskiwanie wiedzy z danych 1

2 Materiały do pracy 1 gemini/rns/pwd.html 2 Libre Office : 3 Ankieta do wypełnienia 4 Tworzenie własnych ankiet Pozyskiwanie wiedzy z danych 2

3 Dane Typy danych: numeryczny (liczbowy): np. 14, 0, 1, 1,5, tekstowy (łancuchowy): np. tak, często, nie lubię, data, np Poziomy pomiaru: ilościowy - opisuje m.in. wydatki (201, 14, 21, 4), dochód (2000, 3600, 15000), wiek (14, 16, 35), wzrost(1,22; 1,62; 1,86), porządkowy - opisuje m.in. wykształcenie (podstawowe, średnie, wyższe), numer klasy (1, 2, 3), ocenę z klasówki (1, 2, 3, 4, 5, 6), nominalny - opisuje m.in. płeć (kobieta, mężczyzna lub 0, 1), rodzaj wykształcenia (humanistyczne, matematyczne, przyrodnicze). Pozyskiwanie wiedzy z danych 3

4 Tabelaryczna prezentacja rozkładu zmiennej Plik babyboom.ods zawiera informacje dotyczące 44 dzieci urodzonych w ciągu jednego 24-godzinnego okresu w szpitalu w Brisbane, Australia (na podstawie danych babyboom z pakietu Using R, środowisko R): godzina na zegarze płeć waga w gramach minuty urodzenia po północy Pozyskiwanie wiedzy z danych 4

5 Tabelaryczna prezentacja rozkładu zmiennej Plik babyboom.ods zawiera informacje dotyczące 44 dzieci urodzonych w ciągu jednego 24-godzinnego okresu w szpitalu w Brisbane, Australia (na podstawie danych babyboom z pakietu Using R, środowisko R): godzina na zegarze płeć waga w gramach minuty urodzenia po północy Szereg szczegółowy Pozyskiwanie wiedzy z danych 4

6 Tabelaryczna prezentacja rozkładu zmiennej Plik babyboom.ods zawiera informacje dotyczące 44 dzieci urodzonych w ciągu jednego 24-godzinnego okresu w szpitalu w Brisbane, Australia (na podstawie danych babyboom z pakietu Using R, środowisko R): godzina na zegarze płeć waga w gramach minuty urodzenia po północy Szereg szczegółowy zmienna godzina przyjmuje następujące wartości: Pozyskiwanie wiedzy z danych 4

7 Tabelaryczna prezentacja rozkładu zmiennej Plik babyboom.ods zawiera informacje dotyczące 44 dzieci urodzonych w ciągu jednego 24-godzinnego okresu w szpitalu w Brisbane, Australia (na podstawie danych babyboom z pakietu Using R, środowisko R): godzina na zegarze płeć waga w gramach minuty urodzenia po północy Szereg szczegółowy zmienna godzina przyjmuje następujące wartości: 5, 104, 118, 155, 257, 405, 407,..., 2327, 2355 Pozyskiwanie wiedzy z danych 4

8 Tabelaryczna prezentacja rozkładu zmiennej Plik babyboom.ods zawiera informacje dotyczące 44 dzieci urodzonych w ciągu jednego 24-godzinnego okresu w szpitalu w Brisbane, Australia (na podstawie danych babyboom z pakietu Using R, środowisko R): godzina na zegarze płeć waga w gramach minuty urodzenia po północy Szereg szczegółowy zmienna godzina przyjmuje następujące wartości: 5, 104, 118, 155, 257, 405, 407,..., 2327, 2355 Pozyskiwanie wiedzy z danych 4

9 Szeregi, c.d. rozdzielczy Pozyskiwanie wiedzy z danych 5

10 Szeregi, c.d. rozdzielczy punktowy Pozyskiwanie wiedzy z danych 5

11 Szeregi, c.d. rozdzielczy punktowy zmienną płeć można pogrupować następująco: Pozyskiwanie wiedzy z danych 5

12 Szeregi, c.d. rozdzielczy punktowy zmienną płeć można pogrupować następująco: płeć dziewczynka chłopiec ilość (n i, i=1,2) Pozyskiwanie wiedzy z danych 5

13 Szeregi, c.d. rozdzielczy punktowy zmienną płeć można pogrupować następująco: przedziałowy płeć dziewczynka chłopiec ilość (n i, i=1,2) Pozyskiwanie wiedzy z danych 5

14 Szeregi, c.d. rozdzielczy punktowy zmienną płeć można pogrupować następująco: płeć dziewczynka chłopiec ilość (n i, i=1,2) przedziałowy zmienną waga można pogrupować następująco: Pozyskiwanie wiedzy z danych 5

15 Szeregi, c.d. rozdzielczy punktowy zmienną płeć można pogrupować następująco: płeć dziewczynka chłopiec ilość (n i, i=1,2) przedziałowy zmienną waga można pogrupować następująco: waga (1744.5, ] (2147.5, ] (2550.5, ] ilość (n i,i=1,...,3) waga (2953.5, ] (3356.5, 3759,5] (3759.5, ] ilość (n i,i=4,...,6) Pozyskiwanie wiedzy z danych 5

16 Szeregi, c.d. rozdzielczy punktowy zmienną płeć można pogrupować następująco: płeć dziewczynka chłopiec ilość (n i, i=1,2) przedziałowy zmienną waga można pogrupować następująco: waga (1744.5, ] (2147.5, ] (2550.5, ] ilość (n i,i=1,...,3) waga (2953.5, ] (3356.5, 3759,5] (3759.5, ] ilość (n i,i=4,...,6) liczba klas: k=6 ( n), n = n n 6 = 44, min=1745, max=4162, długości klas=403, środki przedziałów: x 0 1 = 1946,..., x 0 6 = Pozyskiwanie wiedzy z danych 5

17 Statystyki porządkowe x 1,..., x n - wartości pewnej zmiennej, x 1:n,..., x n:n - wartości po uporządkowaniu, czyli statystyki porządkowe (pozycyjne) x 1:n to minimum, zaś x n:n to maksimum Przykład: Wagi pięciu 14-letnich dziewcząt wynoszą (w kg): 40, 52, 48, 60, 52. Pozyskiwanie wiedzy z danych 6

18 Statystyki porządkowe x 1,..., x n - wartości pewnej zmiennej, x 1:n,..., x n:n - wartości po uporządkowaniu, czyli statystyki porządkowe (pozycyjne) x 1:n to minimum, zaś x n:n to maksimum Przykład: Wagi pięciu 14-letnich dziewcząt wynoszą (w kg): 40, 52, 48, 60, 52. x Mamy więc n = 5 oraz: 1:5 x 2:5 x 3:5 x 4:5 x 5: Pozyskiwanie wiedzy z danych 6

19 Podstawowe statystyki opisowe Miary: Pozyskiwanie wiedzy z danych 7

20 Podstawowe statystyki opisowe Miary: położenia (tendencji centralnej) średnia arytmetyczna kwantyle dominanta (moda) Pozyskiwanie wiedzy z danych 7

21 Podstawowe statystyki opisowe Miary: położenia (tendencji centralnej) średnia arytmetyczna kwantyle dominanta (moda) rozproszenia: wariancja, odchylenie standardowe Pozyskiwanie wiedzy z danych 7

22 Podstawowe statystyki opisowe Miary: położenia (tendencji centralnej) średnia arytmetyczna kwantyle dominanta (moda) rozproszenia: wariancja, odchylenie standardowe asymetrii: współczynnik skośności Pozyskiwanie wiedzy z danych 7

23 Podstawowe statystyki opisowe Miary: położenia (tendencji centralnej) średnia arytmetyczna kwantyle dominanta (moda) rozproszenia: wariancja, odchylenie standardowe asymetrii: współczynnik skośności koncentracji: kurtoza Pozyskiwanie wiedzy z danych 7

24 Miary położenia Średnia arytmetyczna: x n = 1 (x1 + x xn 1 + xn) n x n = 1 n (n1 x1 + n2 x n k 1 x k 1 + n k x k ) x n = 1 n (n1 x n 2 x n k 1 x 0 k 1 + n k x 0 k ) - szereg szczegółowy, - szereg punktowy, - szereg przedziałowy. waga (1744.5, ] (2147.5, ] (2550.5, ] środki klas (xi 0 ) ilość (n i) waga (2953.5, ] (3356.5, 3759,5] (3759.5, ] środki klas (xi 0 ) ilość (n i) Pozyskiwanie wiedzy z danych 8

25 Miary położenia Średnia arytmetyczna: x n = 1 (x1 + x xn 1 + xn) n x n = 1 n (n1 x1 + n2 x n k 1 x k 1 + n k x k ) x n = 1 n (n1 x n 2 x n k 1 x 0 k 1 + n k x 0 k ) - szereg szczegółowy, - szereg punktowy, - szereg przedziałowy. waga (1744.5, ] (2147.5, ] (2550.5, ] środki klas (xi 0 ) ilość (n i) waga (2953.5, ] (3356.5, 3759,5] (3759.5, ] środki klas (xi 0 ) ilość (n i) x 44 = 1 44 ( ) 3292, 4 Pozyskiwanie wiedzy z danych 8

26 Miary położenia Kwantyle rzędu p (0, 1) Pozyskiwanie wiedzy z danych 9

27 Miary położenia Kwantyle rzędu p (0, 1) Przykład: Kwartyle Pozyskiwanie wiedzy z danych 9

28 Miary położenia: kwartyle Pozyskiwanie wiedzy z danych 10

29 Miary położenia: percentyle Przykład: Siatki centylowe Pozyskiwanie wiedzy z danych 11

30 Miary położenia Mediana: Med = x n+1 2 :n n nieparzyste x n/2:n +x n/2+1:n 2 n parzyste Pozyskiwanie wiedzy z danych 12

31 Miary położenia Mediana: Med = x n+1 2 :n n nieparzyste x n/2:n +x n/2+1:n 2 n parzyste Przykład: a) Wagi losowo wybranych 15-letnich chłopców kształtują się następująco: 52, 61, 65, 55, 54 (kg). Oblicz medianę. Pozyskiwanie wiedzy z danych 12

32 Miary położenia Mediana: Med = x n+1 2 :n n nieparzyste x n/2:n +x n/2+1:n 2 n parzyste Przykład: a) Wagi losowo wybranych 15-letnich chłopców kształtują się następująco: 52, 61, 65, 55, 54 (kg). Oblicz medianę. n = 5 - nieparzyste, statystyki pozycyjne: 52, 54, 55, 61, 66. Med = x 3:5 = 55. Pozyskiwanie wiedzy z danych 12

33 Miary położenia Mediana: Med = x n+1 2 :n n nieparzyste x n/2:n +x n/2+1:n 2 n parzyste Przykład: a) Wagi losowo wybranych 15-letnich chłopców kształtują się następująco: 52, 61, 65, 55, 54 (kg). Oblicz medianę. n = 5 - nieparzyste, statystyki pozycyjne: 52, 54, 55, 61, 66. Med = x 3:5 = 55. b) Wzrost losowo wybranych czterech 16-letnich chłopców wynosi: 180, 176, 177, 175 (cm). Oblicz medianę. Pozyskiwanie wiedzy z danych 12

34 Miary położenia Mediana: Med = x n+1 2 :n n nieparzyste x n/2:n +x n/2+1:n 2 n parzyste Przykład: a) Wagi losowo wybranych 15-letnich chłopców kształtują się następująco: 52, 61, 65, 55, 54 (kg). Oblicz medianę. n = 5 - nieparzyste, statystyki pozycyjne: 52, 54, 55, 61, 66. Med = x 3:5 = 55. b) Wzrost losowo wybranych czterech 16-letnich chłopców wynosi: 180, 176, 177, 175 (cm). Oblicz medianę. n = 4 - parzyste, statystyki pozycyjne: 175, 176, 177, 180. Med = 1 2 (x 2:4 + x 3:4 ) = 1 2 ( ) = 176, 5 Pozyskiwanie wiedzy z danych 12

35 Miary położenia Dominanta (moda) - w przypadku szeregu szczegółowego lub punktowego dominanta jest najczęstszym wariantem badanej cechy (odpowiada mu największa liczebność). Przykład: Jaka jest dominanta wagi noworodków na podstawie danych z pliku babyboom.ods? Pozyskiwanie wiedzy z danych 13

36 Miary rozproszenia Wariancja s 2 = 1 n 1 [(x1 xn)2 + (x 2 x n) (x n x n) 2 ] s 2 = 1 n 1 [n1 (x1 xn) n k (x k x n) 2 ] s 2 = 1 n 1 [n1 (x 1 0 x n) n k (xk 0 x n) 2 ] Odchylenie standardowe: s = s 2. - szereg szczegółowy, - szereg punktowy, - szereg przedziałowy. Przykład: waga (1744.5, ] (2147.5, ] (2550.5, ] środki klas (xi 0 ) ilość (n i) waga (2953.5, ] (3356.5, 3759,5] (3759.5, ] środki klas (xi 0 ) ilość (n i) Pozyskiwanie wiedzy z danych 14

37 Miary rozproszenia Wariancja s 2 = 1 n 1 [(x1 xn)2 + (x 2 x n) (x n x n) 2 ] s 2 = 1 n 1 [n1 (x1 xn) n k (x k x n) 2 ] s 2 = 1 n 1 [n1 (x 1 0 x n) n k (xk 0 x n) 2 ] Odchylenie standardowe: s = s 2. - szereg szczegółowy, - szereg punktowy, - szereg przedziałowy. Przykład: waga (1744.5, ] (2147.5, ] (2550.5, ] środki klas (xi 0 ) ilość (n i) waga (2953.5, ] (3356.5, 3759,5] (3759.5, ] środki klas (xi 0 ) ilość (n i) s = 1 44 (2 ( , 4) ( , 4) 2 ) 521 Pozyskiwanie wiedzy z danych 14

38 Miara asymetrii Skośność (sk) jest miarą asymetrii. Jeżeli sk > 0, to rozkład jest prawostronnie skośny (dane skupiają się na lewo ) - często mediana jest mniejsza niż średnia, sk < 0, to rozkład jest lewostronnie skośny (dane skupiają się na prawo ) - często mediana jest wyższa niż średnia, sk = 0, to rozkład jest symetryczny. Pozyskiwanie wiedzy z danych 15

39 Miara koncentracji (skupienia) - kurtoza K Jeżeli K < 0 - dane są mało skoncentrowane wokół średniej, K > 0 - dane są bardzo skoncentrowane wokół średniej, K = 0 - dane są normalnie skoncentrowane wokół średniej. Pozyskiwanie wiedzy z danych 16

40 Po co to? :-) Motywacje Próba a populacja Wnioskowanie statystyczne Pozyskiwanie wiedzy z danych 17