Korelacja i regresja. Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych. Wykład 12

Transkrypt

1 Wykład Korelacja i regresja Dr Joaa Baaś Zakład Badań Systemowych Istytut Sztuczej Iteligecji i Metod Matematyczych Wydział Iformatyki Politechiki Szczecińskiej

2 Wykład 8. Badaie statystycze ze względu a dwie cechy X, Y cechy mierzale -elemetowa próbka par (x i, y i ), i=,, diagram korelacyjy przedstawieie graficze próbki w układzie współrzędych wstępe wioski o ewetualej zależości cech y a) y b) słaba zależość hiperbolicza y c) sila zależość liiowa brak zależości 0 x 0 x 0 x Rys.8.. Przykłady diagramów korelacyjych

3 Wykład Pomiar zależości Pojęcia wykorzystywae przy badaiu zależości Korelacja mierzy siłę (atężeie) zależości między cechami mierikiem zależości liiowej jest współczyik korelacji ρ -, Regresja ρ = zależość między cechami jest liiowa ρ = 0 cechy są ieskorelowae określa rodzaj zależości między cechami (liiowa, krzywoliiowa) podaje zależość fukcyją zależości, tz. wyzaczaa jest fukcja g taka, że cechę Y moża aproksymować przez g(x ) fukcję regresji g wyzacza się metodą ajmiejszych kwadratów, tz. tak, aby E [ Y g(x ) ] mi

4 Wykład Pomiar zależości (8.) Uwagi a) Jeżeli ρ(x,y ) =, to P ( Y = ax + b ) =, ale korelacja ie precyzuje wartości parametrów a i b (poza zakiem współczyika a) b) Jeżeli iezależe cechy X i Y mają rozkłady ormale, to wektor (X, Y ) ma dwuwymiarowy rozkład ormaly c) Jeżeli wektor (X, Y ) ma dwuwymiarowy rozkład ormaly, to a) cechy X i Y mają rozkłady ormale b) fukcja regresji jest liiowa

5 Wykład Estymacja współczyika korelacji X, Y dowole zmiee losowe Współczyik korelacji wyzaczamy ze wzoru Estymatorem zgodym współczyika korelacji ρ cech X i Y jest estymator R z próby gdzie są wariacjami z próby (8.) Uwagi a) Estymator R jest obciążoy, gdyż (( ) ( )) cov( X, Y ) E X EX Y EY ρ ( X, Y ) = = D X D Y D X D Y R = i= ( X ) ( ) i X Yi Y S S X = ( ) i ( ) i Y = i= i= i S X X S Y Y X Y E( R) ρ

6 Wykład Estymacja współczyika korelacji (8.) Uwagi cd. b) Realizację r estymatora R, zwaą współczyikiem korelacji z próbki wyzaczamy ze wzorów lub cov( x, y) xy x y r = = xy = xi y = s s s s, gdzie i x y x y r = i= ( x x) ( y y) ( x ) ( ) i x y i i i y = = dla daych iezgrupowaych i i i

7 Wykład Estymacja współczyika korelacji (8.) Uwagi cd. c) Dla próbek o liczości od około 30 wzwyż, buduje się tzw. tablicę korelacyją (dwudzielą, dwudzielczą), która jest dwuwymiarowym odpowiedikiem szeregu rozdzielczego przedziałowego X Y y d y g y d y g y kd y kg x d x g k x d x g k x wd x wg w w Wówczas oszacowaia parametrów występujących we wzorach oblicza się z próbki za pomocą sum ważoych, p. w k i= j= xy x y, gdzie x, y to środki odpowiedich klas = i j ij i j wk

8 Wykład Estymacja współczyika korelacji (8.3) Przedział ufości dla współczyika korelacji Model (dwuwymiarowy rozkład ormaly, parametr iezay, 0) (X, Y ) wektor losowy o dwuwymiarowym rozkładzie ormalym, iezay współczyik korelacji ρ Jeśli 0, to statystyka Fishera + R Z = l, R < R ma w przybliżeiu rozkład ormaly N(m,σ), gdzie + ρ ρ m = EZ l +, σ ρ ( ) 3 W praktyce stosujemy zmieą + ρ U = Z l 3 ρ

9 Wykład Estymacja współczyika korelacji Wtedy dla α (0,) otrzymujemy α α ( ) α = P u( ) < U < u( ) α + ρ α = P u( ) < Z l 3 < u( ) ρ α α u( ) ( + ρ u ) = Z < l < Z + 3 ρ 3 Dla próbki (x i, y i ), i=,, otrzymujemy realizację przedziału ufości dla wartości oczekiwaej zmieej Z a poziomie ufości α: α α u( ) u( ) + r z, z +, gdzie z = l 3 3 r

10 Wykład Estymacja współczyika korelacji Ozaczając przez z i z doly i góry koiec przedziału, wyzaczamy graice przedziału (ρ, ρ ) dla współczyika korelacji ρ rozwiązując rówaia + ρ + ρ l = z i l = z ρ ρ Przykład W pewym doświadczeiu farmakologiczym bada się wpływ leku a przyrost ciśieia tęticzego krwi Podao 0 różych dawek x i leku i otrzymao astępujące przyrosty ciśieia krwi x i 0, 0, 0,3 0,4 0,5 0,6 0,7 0,8 0,9,0 y i Na poziomie ufości 0,9 wyzaczyć przedział ufości dla współczyika korelacji ρ

11 Wykład Estymacja współczyika korelacji Model (dwuwymiarowy rozkład ormaly, parametr iezay, duża próba 00) (X, Y ) wektor losowy o dwuwymiarowym rozkładzie ormalym, iezay współczyik korelacji ρ Jeśli 00, to statystyka R ρ U =, R < R ma w przybliżeiu rozkład ormaly N(0,) Na poziomie ufości α otrzymujemy realizację przedziału ufości dla ρ α r α r r u( ), r + u( )

12 Wykład Testy istotości dla współczyika korelacji (8.4) Weryfikacja hipotezy o (braku) korelacji między dwiema cechami Model (-wymiarowy rozkład ormaly, parametr iezay, 3) (X, Y ) wektor losowy o dwuwymiarowym rozkładzie ormalym, iezay współczyik korelacji ρ Jeśli 3, to statystyka R t =, R < R ma rozkład Studeta z stopiami swobody przy założeiu, że prawdziwa jest hipoteza zerowa H 0 : ρ = 0

13 Wykład 0 Weryfikacja hipotezy dla współczyika korelacji model Tablica 8.. Tablica testu dla współczyika korelacji model Hipoteza zerowa alteratywa H : ρ 0 H 0 : ρ = 0 H : ρ < 0 H : ρ > 0 Statystyka testowa t R, R R < Obszar krytyczy K ( ; t(, ) α α t(, ); ) ( ; t( α, ) t( α, ); )

14 Wykład Weryfikacja hipotezy dla współczyika korelacji model Przykład Wiedząc, że w poprzedim przykładzie (przyrost ciśieia krwi) współczyik korelacji z próbki 0-elemetowej wyiósł r = 0.9, zweryfikować hipotezę, że cechy (dawka leku i przyrost ciśieia krwi) są istotie skorelowae (poziom istotości 0.0)

15 Wykład Testy istotości dla współczyika korelacji Model (-wymiarowy rozkład ormaly, parametr iezay, 00) (X, Y ) wektor losowy o dwuwymiarowym rozkładzie ormalym, iezay współczyik korelacji ρ Jeśli 00, to statystyka R U =, R < R ma w przybliżeiu rozkład ormaly N(0,) przy założeiu, że prawdziwa jest hipoteza zerowa H 0 : ρ = 0 Ze względu a podobieństwo fukcji gęstości, obszary krytycze dla hipotez alteratywych H : ρ 0, H : ρ < 0, H : ρ > 0 wyzaczamy aalogiczie do modelu (ie uwzględiamy oczywiści stopi swobody)

16 Wykład Testy istotości dla współczyika korelacji Model 3 (-wymiarowy rozkład ormaly, parametr iezay, 0) (X, Y ) wektor losowy o dwuwymiarowym rozkładzie ormalym, iezay współczyik korelacji ρ Jeśli 0, to statystyka + R + ρ0 U = l l 3, R R < ρ0 ma w przybliżeiu rozkład ormaly N(0,) przy założeiu, że prawdziwa jest hipoteza zerowa H 0 : ρ = ρ 0 Obszary krytycze dla hipotez alteratywych H : ρ ρ 0, H : ρ < ρ 0, H : ρ > ρ 0 wyzaczamy jak w modelu

17 Wykład Estymacja i testy istotości dla współczyików regresji Diagram korelacyjy pozwala ituicyjie oszacować klasę fukcji regresji (liiowa, potęgowa, wykładicza itp.) a podstawie kocetracji puktów w bliskim otoczeiu hipotetyczych liii Fukcja regresji rzadko jest liiowa, ale jest to zależość ajwygodiejsza do oszacowaia i jest dobrym puktem wyjścia do dalszych badań (mimo świadomości popełieia pewych błędów)

18 Wykład Estymacja i testy istotości dla współczyików regresji Z rachuku prawdopodobieństwa wiadomo, że współczyiki liiowej fukcji regresji (II-go rodzaju) y = αx + β wyzaczamy ze wzorów α = cov( X, Y ) D Y ( X, Y ), EY EX D X = ρ D X β = α Zgodymi i ieobciążoymi estymatorami parametrów α i β z próby są odpowiedio SY A = R, B = Y αx S X Realizacje a i b estymatorów A i B odpowiedio wyzaczamy a podstawie próbki ze wzorów s ( x )( ) i x y y i i y = a = r =, b = y ax s x ( x ) i i x =

19 Wykład Estymacja i testy istotości dla współczyików regresji (8.5) Test istotości dla współczyika regresji liiowej α Model (dwuwymiarowy rozkład ormaly, parametr iezay, 3) (X, Y ) wektor losowy o dwuwymiarowym rozkładzie ormalym, iezae parametry Jeśli 3, to statystyka t = A α S Y 0 S X R ma rozkład Studeta z stopiami swobody przy założeiu, że prawdziwa jest hipoteza zerowa H 0 : α = α 0 Obszary krytycze dla hipotez alteratywych H : α α 0, H : α < α 0, H : α > α 0 wyzaczamy tak jak w tablicy 8. (model dla współczyika korelacji)

20 Wykład Estymacja i testy istotości dla współczyików regresji Przykład Badamy zależość między dawką awozu X (w kg) a wielkością przyrostu plou Y Dla 7 obserwacji otrzymao wyiki x i y i a) Oszacować liiową fukcję regresji pomiędzy dawką awozu X, a wielkością przyrostu plou Y Podać iterpretację współczyika regresji liiowej b) Sprawdzić testem serii liiową zależość między zmieymi (poziom istotości 0.0) c) Na poziomie istotości 0.0 zweryfikować hipotezę, że współczyik regresji w populacji jest dodati

21 Wykład Dziękuję za uwagę