Statystyka Wykład 7 Magdalena Alama-Bućko 16 kwietnia 2017 Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 1 / 35
Tematyka zajęć: Wprowadzenie do statystyki. Analiza struktury zbiorowości miary położenia miary zmienności miary asymetrii miary koncentracji. Analiza współzależności zjawisk. Analiza dynamiki zjawisk. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 2 / 35
załóżmy że dla każdej jednostki statystycznej mamy określone pary wartości (x, y) (czyli obserwacje dwóch cech) ponieważ badamy n obiektów, to dysponujemy n parami obserwacji (x i, y i ), i = 1, 2,..., n szukamy zależności między obserwacjami x i i y i czy istnieje zależność między cechami X i Y? jak silna jest ta zależność? czy można napisać wzór tej zależności? Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 3 / 35
Celem analizy jest stwierdzenie, czy między badanymi zmiennymi zachodza jakieś zależności, jaka jest ich: siła np. słaba albo silna zależność postać ( dopasowanie funkcji reprezentujacych zależność ) kierunek (monotoniczność) czy wraz ze wzrostem jednej cechy, druga rośnie czy maleje? Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 4 / 35
Postać zależności (wzór) gdy y = f (x) to x jest zmienna objaśniajac a (niezależna), a y - zmienna objaśniana (zależna) gdy x = f (y) to y jest zmienna objaśniajac a (niezależna), a x - zmienna objaśniana (zależna) czasami można zamiennie wybierać nasze zmienne jako zmienne zależne i niezależne, a czasami ten wybór jest określony: waga może być funkcja wzrostu, wzrost może być funkcja wagi ilość wyprodukowanych śmieci jest funkcja ilości robionych zakupów ilość wydatków na jedzenie w rodzinie jest funkcja liczby osób w tej rodzinie Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 5 / 35
Wzór zależności zależność między zmiennymi może być liniowa (tzw. korelacja liniowa), zależność między zmiennymi może mieć postać innej funkcji, np. wykładniczej, logarytmicznej, drugiego stopnia itp. (tzw. korelacja krzywoliniowa) Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 6 / 35
Procedura badania zależności między cechami zależy od typów tych cech. Moga być następujace sytuacje: obie cechy sa mierzalne (ilościowe) np. zależność wzrostu od wagi, wydatków od dochodów,... obie cechy sa niemierzalne (jakościowe) np. zależność wykształcenia od preferencji politycznych jedna cecha jest ilościowa i jedna jakościowa np. zależność zarobków od płci. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 7 / 35
Przedstawienie danych (obie ilościowe) Dane (x i, y i ), i = 1, 2,..., n można przedstawić w postaci diagramów korelacyjnych i tabeli korelacyjnych. 1) diagram korelacyjny - to graficzne zaznaczenie na płaszczyźnie punktów (x i, y i ), i = 1, 2,..., n. w Excelu : wykres punktowy danych (X, Y ) Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 8 / 35
2) tablica korelacyjna albo tablica dwudzielcza warunek: n 30 w kolejnych wierszach znajduja się możliwe wartości (warianty) jednej zmiennej {x 1, x 2,..., x r } w kolejnych kolumnach znajduja się możliwe wartości (warianty) drugiej zmiennej {y 1, y 2,..., y k } wewnatrz tabelki znajduja się liczebności konkretnych klas, tzn. n ij - liczebność obiektów które maja równocześnie wartość x i i y j. Y y 1 y 2... y k X x 1 n 11 n 12... n 1k x 2 n 21 n 22... n 2k... x r n r1 n r2... n rk Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 9 / 35
Tak jak dla "pojedynczych" cech czasami lepiej było pracować na szeregach przedziałowych, tak tutaj też może się zdarzyć że wartościami zmiennych moga być przedziały. Y y 01 y 11 y 02 y 12... y 0k y 1k X x 01 x 11 n 11 n 12... n 1k x 02 x 12 n 21 n 22... n 2k... x 0r x 1r n r1 n r2... n rk Pamiętamy, że we wszelkich obliczeniach (średniej, wariancji,...) dla obiektów danej klasy, jako reprezentanta przedziału bierzemy środek danego przedziału przez ˆx i, ŷ j oznaczamy środki odpowiednich klas Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 10 / 35
Zasady tworzenia przedziałów dla cech X i Y te same co dla szeregów rozdzielczych przedziałowych: liczba klas r (dla X) i k (dla Y ) zależna od n rozrzut każdej z cech R x = x max x min, R y = y max y min długość każdego przedziału : d x = R x r kolejne klasy: = x max x min, d y = R y r k = y max y min k [x min, x min + d x ), [x min + d x, x min + 2d x ), [x min + 2d x, x min + 3d x ),... [y min, y min + d y ), [y min + d y, y min + 2d y ), [y min + 2d y, y min + 3d y ),... Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 11 / 35
Przykład 1 40 osobom zadano pytanie o liczbę dzieci (cecha X) i staż pracy (cecha Y, w latach). Otrzymano następujace dane postaci (X, Y ): (0, 0), (0, 0), (0, 1), (0, 1), (0, 2), (0, 5), (1, 0), (1, 1), (1, 1), (1, 2), (1, 2), (1, 3), (1, 3), (1, 3), (1, 4), (1, 5), (1, 5), (1, 5), (1, 6), (1, 7), (2, 2), (2, 3), (2, 3), (2, 4), (2, 4), (2, 4), (2, 4), (2, 5), (2, 5), (2, 5), (2, 6), (2, 6), (2, 6), (3, 6), (3, 7), (3, 8), (3, 9), (3, 10), (4, 8), (4, 10) cecha X: X {0, 1, 2, 3, 4} cecha Y : Y {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10} cecha Y ma wiele wartości, więc wprowadzimy podział na 3 klasy: y min = 0, y max = 10, k = 3. Długość każdego przedziału: d = 10 0 3 = 10 3 = 3 1 3. Przyjmijmy przedziały długości d = 4: [0, 0 + 4) = [0, 4), [4, 4 + 4) = [4, 8), [8, 8 + 4] = [8, 12] Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 12 / 35
Przykład 1 Zatem tabela korelacyjna będzie miała postać: X 0 1 2 3 4 Y [0, 4)] [4, 8)] [8, 12] Trzeba teraz wybełnić tabelę liczebnościami poszczególnych kategorii. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 13 / 35
Przykład 1 Y [0, 4) [4, 8) [8, 12] X 0 1 2 3 4 Zliczamy liczebności przypadków gdy X = 0: (0, 0), (0, 0), (0, 1), (0, 1), (0, 2), (0, 5) - przypadki czerwone : 5 sztuk, - niebieskie : 1 sztuka, - brazowe: 0 sztuk Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 14 / 35
Przykład 1 Y [0, 4) [4, 8) [8, 12] X 0 5 1 0 1 2 3 4 Zliczamy liczebności przypadków gdy X = 1: (1, 0), (1, 1), (1, 1), (1, 2), (1, 2), (1, 3), (1, 3), (1, 3), (1, 4), (1, 5), (1, 5), (1, 5), (1, 6), (1, 7), - przypadki czerwone : 8 sztuk, - niebieskie : 6 sztuk, - brazowe: 0 sztuk Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 15 / 35
Przykład 1 Y [0, 4) [4, 8) [8, 12] X 0 5 1 0 1 8 6 0 2 3 10 0 3 0 2 3 4 0 0 2 Zliczamy liczebności przypadków gdy X = 2: (2, 2), (2, 3), (2, 3), (2, 4), (2, 4), (2, 4), (2, 4), (2, 5), (2, 5), (2, 5), (2, 6), (2, 6), (2, 6), Zliczamy liczebności przypadków gdy X = 3: (3, 6), (3, 7), (3, 8), (3, 9), (3, 10), Zliczamy liczebności przypadków gdy X = 4: (4, 8), (4, 10) Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 16 / 35
Przykład 1 Zatem ostatecznie tabela korelacyjna (dwudzielcza) dla naszych danych przyjmuje postać: Y [0, 4) [4, 8) [8, 12] X 0 5 1 0 1 8 6 0 2 3 10 0 3 0 2 3 4 0 0 2 Warto sprawdzić, że suma wszystkich liczebności z wnętrza tabeli wynosi 40. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 17 / 35
Wprowadźmy pewne dodatkowe oznaczenia: n i jest liczebnościa i- tego wariantu cechy X, tzn. oznacza sumę liczebności w i- tym wierszu, czyli n i = j n ij n j jest liczebnościa j- tego wariantu cechy Y, tzn. oznacza sumę liczebności w j- tej kolumnie, czyli n j = i n ij Y y 1 y 2... y k Suma X x 1 n 11 n 12... n 1k n 1 x 2 n 21 n 22... n 2k n 2...... x r n r1 n r2... n rk n r Suma n 1 n 2... n k n Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 18 / 35
Liczności w tablicy korelacyjnej musza spełniać warunki: mamy łacznie n obserwacji, zatem suma wszystkich liczebności musi dać nam n, tzn: n ij = n i suma elementów w "zbiorczej" ostatniej kolumnie daje n, tzn. j n i = n i suma elementów w "zbiorczym" ostatnim wierszu daje n, tzn. n j = n j Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 19 / 35
Przykład 1 -c.d. Zsumujemy liczebności w każdym wierszu i w każdej kolumnie tabeli korelacyjnej. Y [0, 4) [4, 8) [8, 12] suma X 0 5 1 0 6 1 8 6 0 14 2 3 10 0 13 3 0 2 3 5 4 0 0 2 2 Suma 16 19 5 40 suma elementów w ostatniej kolumnie wynosi 40 suma elementów w ostatnim wierszu wynosi 40 suma elementów z wnętrza tabeli też wynosi 40. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 20 / 35
Z tabeli korelacyjnej cech (X, Y ) można odczytać następujace rozkłady: brzegowe rozkład cechy X (nieistotna wartość cechy Y ) rozkład cechy Y (nieistotna wartość cechy X) warunkowe rozkład warunkowy cechy X przy założeniu, że Y przyjmuje określona wartość rozkład warunkowy cechy Y przy założeniu, że X przyjmuje określona wartość Dla rozkładów brzegowych i warunkowych możemy policzyć wszystkie wcześniej zdefiniowane miary (położenia, zmienności, asymetrii, koncentracji). Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 21 / 35
Jak odczytać rozkłady brzegowe? rozkład cechy X (zupełnie nieistotne wartości cechy Y ) - liczebności to ostatnia kolumna, czyli z liczebnościami n i, i = 1, 2,..., r X x 1 x 2... x r n i n 1 n 2... n r rozkład cechy Y (zupełnie nieistotne wartości cechy X ) - liczebności to ostatni wiersz, czyli z liczebnościami n j, j = 1, 2,..., k Y y 1 y 2... y k n j n 1 n 2... n k Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 22 / 35
Jak odczytać rozkłady warunkowe? z tabeli korelacji można odczytywać rozkłady pewnej cechy pod warunkiem, że druga ma określona wartość warunkowe rozkłady liczebności zmiennych X Y = y j przy przy ustalonym y j znajduja się w j-tej kolumnie tabeli korelacyjnej warunkowe rozkłady liczebności zmiennych Y X = x i przy przy ustalonym x i znajduja się w i-tym wierszu tabeli korelacyjnej Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 23 / 35
Przykład 1 -c.d. (X, Y ), gdzie X-liczba dzieci, Y -staż pracy. Y [0, 4) [4, 8) [8, 12] suma X 0 5 1 0 6 1 8 6 0 14 2 3 10 0 13 3 0 2 3 5 4 0 0 2 2 Suma 16 19 5 40 rozkład brzegowy X - liczby dzieci rozkład brzegowy Y - stażu pracy X 0 1 2 3 4 n i 6 14 13 5 2 Y [0, 4) [4,8) [8,12] n i 16 19 5 Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 24 / 35
Przykład 1 -c.d. rozkład brzegowy X - liczby dzieci x = X 0 1 2 3 4 n i 6 14 13 5 2 0 + 14 + 26 + 15 + 8 40 = 63 = 1.575 1.6 40 Średnia liczba dzieci wśród (wszystkich) badanych wynosi 1.6. rozkład brzegowy Y - stażu pracy y = Y [0,4) [4,8) [8,12] n i 16 19 5 2 16 + 6 19 + 10 5 40 = 196 40 = 4.9 5 Średni staż pracy wśród (wszystkich) badanych wynosi 5 lat. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 25 / 35
Przykład 1 -c.d. Y [0, 4) [4, 8) [8, 12] suma X 0 5 1 0 6 1 8 6 0 14 2 3 10 0 13 3 0 2 3 5 4 0 0 2 2 Suma 16 19 5 40 rozkład warunkowy X Y = [0, 4) - rozkład liczby dzieci tych badanych, którzy pracuja mniej niż 4 lata: X Y = [0, 4) 0 1 2 3 4 n i 5 8 3 0 0 rozkład warunkowy Y X = 2 - rozkład stażu pracy tych badanych, którzy maja 2 dzieci Y X = 2 [0, 4) [4,8) [8,12] n i 3 10 0 Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 26 / 35
X Y = [0, 4) - rozkład liczby dzieci tych badanych, którzy pracuja mniej niż 4 lata: X Y = [0, 4) 0 1 2 3 4 n i 5 8 3 0 0 x = 0 + 8 + 6 16 = 14 16 = 0.875 Osoby, które pracuja mniej niż 4 lata maja średnio 0.875 dziecka. Y X = 2 - rozkład stażu pracy tych badanych, którzy maja 2 dzieci Y X = 2 [0, 4) [4,8) [8,12] n i 3 10 0 y = 2 3 + 6 10 + 0 13 = 66 13 = 5.08 Osoby które maja 2 dzieci pracuja średnio 5 lat. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 27 / 35
Dwie cechy ilościowe Współczynnik kowariancji cov xy = 1 n gdzie n (x i x)(y i y) = 1 n i=1 x, y - średnie arytmetyczne cech X i Y n x i y i x y i=1 x = 1 n n x i, i=1 y = 1 n n i=1 y i cov xy = cov yx kowariancja jest wartościa mianowana (wyrażona w jednostkach "jednostka X jednostka Y", np. kg m) znak kowariancji informuje nas o kierunku zależności liniowej s x s y < cov xy < s x s y Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 28 / 35
Współczynnik korelacji liniowej Pearsona gdzie r XY = cov xy s x s y = n (x i x)(y i y) i=1 n s X s Y = x, y - średnie arytmetyczne danych X i Y 1 n n x i y i x y i=1 s X, s Y - odchylenia standardowe danych X i Y s X s Y s 2 x = 1 n n (x i x) 2 = 1 n i=1 n i=1 x 2 i (x) 2 Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 29 / 35
Dla danych zgrupowanych w tabeli korelacyjnej mamy: r XY = 1 n x i y j n ij x y i,j s X s Y gdzie x, y, s X i s Y obliczone sa dla rozkładów brzegowych x = 1 n r x i n i, y = 1 n k y j n j i=1 j=1 s 2 x = 1 n s 2 y = 1 n r n i (x i x) 2 = 1 n i=1 k n j (y j y) 2 = 1 n j=1 r i=1 k j=1 n i x 2 i (x) 2 n j y 2 j (y) 2 Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 30 / 35
Współczynnik korelacji Pearsona określa kierunek i siłę zależności (liniowej) dwóch zmiennych mierzalnych (ilościowych). Przyjmuje on wartości z przedziału [ 1; 1], im wartość r xy jest bliższa 1 lub 1, tym zależność jest silniejsza, im wartość r xy bliższa 0, tym zależność jest słabsza. miara symetryczna, tzn. r xy = r yx. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 31 / 35
Interpretacja r xy = 0 albo r xy = 1: r xy = 0, gdy brak współzależności (liniowej) Uwaga! - może istnieć zależność nieliniowa, np. kwadratowa r xy = 1, gdy zależność funkcyjna (korelacja doskonała) tzn. istnieja pewne stałe a i b takie, że wszystkie dane spełniaja warunek Y = ax + b Kierunek r xy < 0, gdy korelacja ujemna, tzn. wraz ze wzrostem wartości jednej zmiennej maleja wartości drugiej zmiennej, i odwrotnie, r xy > 0, gdy korelacja dodatnia, tzn. wraz ze wzrostem wartości jednej zmiennej rosna wartości drugiej zmiennej, i odwrotnie, Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 32 / 35
Siła zależności r xy 0.2, praktycznie brak zwiazku liniowego pomiędzy badanymi cechami, 0, 2 < r xy 0, 4 - słaba zależność liniowa 0, 4 < r xy 0, 7 - zależność liniowa umiarkowana (przeciętna) 0, 7 < r xy 0, 9 - zależność liniowa znaczaca (wysoka) 0.9 < r xy 1 - bardzo silna (bardzo wysoka) korelacja liniowa. Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 33 / 35
Wykresy korelacyjne w zależności od wartości współczynnika korelacji Pearsona r moga wygladać następujaco: By Imagecreator at English Wikipedia [Public domain], via Wikimedia Commons, https://upload.wikimedia.org/wikipedia/commons/thumb/0/02/correlation_examples.png/512px-correlation_examples.png" Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 34 / 35
Dziękuję za uwagę! Magdalena Alama-Bućko Statystyka 16 kwietnia 2017 35 / 35