STATYSTYKA I DOŚWIADCZALNICTWO

Transkrypt

1 STATYSTYKA I DOŚWIADCZALNICTWO Wykład 6

2 Test niezależności chi-kwadrat (χ 2 ) Cel: ocena występowania zależności między dwiema cechami jakościowymi/skategoryzowanymi X- pierwsza cecha; Y druga cecha Przykłady cech jakościowych/skategoryzowanych: - kolor (czerwony, różowy, biały) - grupa krwi (A, B, AB, 0) - cechy ilościowe wyrażone w postaci klas np. zawartość białka: niska, średnia, wysoka itp Rozważając liczbę obserwacji sklasyfikowanych wg dwóch kryteriów, np. ludzi wg koloru oczu i koloru włosów (kolory oczu: brązowy, niebieski; kolory włosów: blondyni, szatyni, bruneci) lub np. rośliny pewnego gatunku wg odmiany i stopnia porażenia chorobą (odmiany: A, B, C itd..; stopień porażenia: brak, słaby, średni, duży, bardzo duży) w każdej z klas liczymy liczbę osobników i liczebności te możemy przedstawić w postaci tablicy dwudzielnej zwanej tablicą kontyngencji

3 m liczba klas cechy X; k liczba klas cechy Y n ij - obserwowana liczebność w danej podklasie cechy X i Y N- całkowita liczebność obserwacji Całkowita liczebność powinna być duża (N>30), natomiast liczebności w podklasach (n ij ) nie powinny być zerowe (wskazane by n ij >5)

4 H 0 : Cechy X i Y są niezależne Statystyka testowa: n t ij - liczebność teoretyczna (oczekiwana, w przypadku gdy cechy X i Y są niezależne) n i ; n j sumy liczebności dla poszczególnych klas cechy X i dla klas cechy Y Jeżeli χ 2 emp > χ2 kryt to H 0 odrzucamy, a więc stwierdzamy, że cechy X i Y nie są niezależne, a więc występuje miedzy nimi związek Χ 2 kryt = Χ2 α;(m-1)(k-1) W programach statystycznych otrzymujemy w wyniku wartość p, powyższą hipotezę odrzucamy jeśli p<α

5 Analiza skupień wielowymiarowa klasyfikacja obiektów Metoda, a właściwie to zbiór metod pozwalających na grupowanie obiektów pod względem wielu cech jednocześnie. W przypadku dwóch lub trzech cech możliwe jest wskazanie obiektów podobnych do siebie na podstawie wartości tych cech (X, Y ewentualnie Z) na wykresie punktowym W przypadku grupowania cech pod względem więcej niż 3 cech (zmiennych) nie mam możliwości graficznego przedstawienia na wykresie wartości wszystkich cech. Możliwe jest natomiast określenie odległości między obiektami w przestrzeni wielowymiarowej

6 Odległość Euklidesowa w przestrzeni o p wymiarach między dwoma obiektami: d p ( xi, xk ) = dik = ( xij xkj j= 1 ) 2 X ij; X kj wartości j-tej cechy dla obiektów i oraz k p liczba cech/zmiennych Istnieją również inne miary określania odległości, np. odległość miejska (tzw. city block lub typu Manhattan) Ze względu na stosowanie różnych jednostek poszczególnych cech oraz różnych skal wartości, zwykle odległość między obiektami jest określana na podstawie zmiennych standaryzowanych

7 Metody grupowania Hierarchiczne pozwalają na łączenie obiektów w grupy z zachowaniem hierarchii, tzn. możemy określić na podstawie dendrogramu które obiekty w obrębie wydzielonych grup są podobne, a które bardziej odległe Wybrane metody aglomeracji (łączenia obiektów) w grupowaniu hierarchicznym: -Metoda najbliższego sąsiada - metoda najdalszego sąsiada - metoda Warda - metoda centroidów Niehierarchiczne po zaliczeniu obiektu do danej grupy nie możemy powiedzieć, które z obiektów, które z obiektów w obrębie jednej grupy są bardziej podobne. Metodą niehierarchiczną jest metoda k-średnich

8 Przykładowy dendrogram, powstały jako wynik analizy skupień. Kreskowana linia czerwona przedstawia podział obiektów na 4 grupy. Istnieje dowolność w ustalaniu liczby grup, tak więc można obiekty podzielić na większą lub tez mniejszą liczbę grup w zależności, od stawianych celów analizy

9 Przykłady zastosowań: 1) Wydzielenie grup odmian jabłoni podobnych pod względem wielu cech np.: - koloru owoców (kolor musi być wyrażony ilościowo tzn. w postaci liczby np. w skali 5 stopniowej 1- zielony. 5- czerwony) - wielkości owoców - szybkości wzrostu - wrażliwości na choroby itp. 2) Wydzielenie grup gmin podobnych pod względem wielu cech np.: - liczba mieszkańców - dochody w przeliczeniu na mieszkańca - stopa bezrobocia - udział powierzchni użytków rolnych, lasów, sadów -itp.