Wnioskowanie_Statystyczne_-_wykład Spis treści 1 Elementy statystyki wielowymiarowej 1.1 Kowariancja i współczynnik korelacji 1.2 Macierz kowariancji 1.3 Dwumianowy rozkład normalny 1.4 Analiza składowych głównych (Principal Components Analysis, PCA) 1.5 Analiza wariancji wielu zmiennych (Multivariate ANalysis of VAriance MANOVA) 1.6 Analiza dyskryminacyjna (Discriminant Analysis ) 1.7 Analiza czynnikowa (Factor Analysis ) 1.8 Analiza skupień Cluster Analysis 1.8.1 Metody polegające na kolejnym łączeniu punktów 1.8.2 Metoda K średnich (K means ) Elementy statystyki wielowymiarowej Przypomnijmy najpierw pojęcia Kowariancja i współczynnik korelacji Przykładowe wartości współczynnika korelacji dla 300 par o różnych stopniach współzależności. Miarą związku między zmiennymi i jest kowariancja
lub unormowany do jedności współczynnik korelacji zmiennych i : gdzie i to odpowiednio wartości oczekiwane zmiennych i. Jeśli zmienne i związane są deterministyczną zależnością liniową (typu ), to ich korelacja wynosi (lub, jeśli ). Jeśli wzrostowi zmiennej towarzyszy statystycznie wzrost zmiennej, to ich korelacja jest dodatnia (pomiędzy a ). Dla zmiennych niezależnych korelacja wynosi. Macierz kowariancji dla i Interpretacja współczynnika korelacji znajduje się pod hasłem Regresja liniowa. Dwumianowy rozkład normalny
Dwumianowy rozkład normalny, wartość prawdopodobieństwa jako wysokość nad płaszczyzną wektor zmiennej losowej stała normalizjąca wektor wartości oczekiwanych odwrotność macierzy kowariancji Analiza składowych głównych (Principal Components Analysis, PCA) Macierz kowariancji przedstawiamy w postaci diagonalnej Wielkości są rozwiązaniami równania a wektor osiami nowego układu
współrzędnych. Składowe PCA są liniowymi kombinacjami obserwowanych zmiennych. Kierunki składowych głównych (PCA) w dwóch wymiarach Analiza wariancji wielu zmiennych (Multivariate ANalysis of VAriance MANOVA) Zmienna losowa opisywana wektorem (, podobnie wartość średnia staje się wektorem o tym samym wymiarze: ( Macierz kowariancji zmiennej losowej gdzie: Zakladamy, że dane pochodzą z wielowymiarowego rozkładu normalnego, opisanego macierzą kowariancji Jeśli pochodzą z próby podzielonej na grupy, to podobnie jak w ANOVA możemy skonstruować macierze wariancji wewnątrzgrupowych i międzygrupowych i dowieść, że. Testujemy hipotezę o równości średnich w grupach
Jako statystykę testową możemy wtbrać np. iloraz wyznaczników macierzy rozkładowi Wilksa: i, który podlega Analiza dyskryminacyjna (Discriminant Analysis ) Wielowymiarowe wektory próby X mamy podzielone na grupy, szukamy funkcji najlepiej je rozdzielającej, która umożliwi zaklasyfikowanie nowej obserwacji. Rozdzielenie grup odpowiada w przypadku jednowymiarowym maksymalizacji stosunku wariancji międzygrupowej do wariancji wewnątrzgrupowej W przypadku wielowymiarowym mamy do czynienia z macierzami kowariancji; możemy rozpatrywać wielkość Maksymalizacja tej wielkości względem a daje wektor własny macierzy odpowiadający największej wartości własnej. Wektory własne odpowiadające kolejnym wartościom własnym zwiemy współrzędnymi dyskryminacyjnymi, tworzącymi przestrzeń dyskryminacyjną. Analiza czynnikowa (Factor Analysis ) opiera się na założeniu istnienia ukrytych czynników, stara się przedstawić obserwowane zmienne w postaci: obserwowana zmienna = liniowa kombinacja czynników + błąd w odróżnieniu od PCA, realizującej model składowa = liniowa kombinacja obserwowanych zmiennych
Analiza skupień Cluster Analysis Wejściem dla tej procedury jest zestaw danych, a wyjściem ich podział na grupy. Można go zrealizować na wiele sposobów: punktów z których każdy opisany jest przez cech. Metody polegające na kolejnym łączeniu punktów Startujemy z N klastrów jednopunktowych, w każdym kroku łączymy najbliższe. Wynikiem działania jest drzewo łączenia, na którym sami musimy wybrać ilość klastrów. Wynik zależy silnie od przyjętych definicji odległości między klastrami oraz definicji odległości między punktami. Odległości między punktami: Odległość Euklidesowa (czuła na różne skale cech). Odległość korelacyjna gdzie (znormalizowana do przedziału (0,2), mniejsza im lepiej skorelowane punkty). Odległości między klastrami: Najbliższego sąsiada (single linkage) - odległość między dwoma najbliższymi elementami klastrów A i B: (complete linkage ) - odległość między dwoma najbliższymi elementami klastrów A i B: (centroid) - odległość między środkami klastrów, (average) - średnia odległości, itd... Metoda K średnich (K means ) Wybieramy ilość klastrów, podział dokonywany jest w iteracyjnej procedurze dążącej do minimalizacji stosunku wariancji pomiędzy klastrami do wariancji wewnątrz klastrów - niejako bez ustalonego wstępnie przyporządkowania, maksimum poszukiwane drogą przemieszczania elementów między klastrami.