Hotellingova T 2 statistika. Mia Franić 6. srpnja 2016.

Transkrypt

1 Hotellingova T statistika Mia Franić 6. srpnja 06.

2 Sadržaj Uvod 3. Linearni model više varijabli Hotellingova statistika Hotellingov T test za dva normalna uzorka 7. Distribucija od S pool Distribucija od T statistike Omjer vjerodostojnosti Primjer 3 3. Normalnost podataka Normalost podataka skupine Thyroxin Normalost podataka skupine Thiouracil Normalost podataka skupine Control Provedba testa omjera vjerodostojnosti

3 Uvod. Linearni model više varijabli Linearni model više varijabli je linearni model koji ima više varijabli odziva. Označavamo ih sa Y, Y,... Y q. Sa Y = (Y,..., Y q ) označimo q-dimenzionalni vektor odziva. Neka je sada Y, Y,... Y n slučanjni uzorak duljine n za vektor odziva Y, pri čemu je Yi = (Y, Y,... Y n ) i-to opažanje od Y. Slučajni uzorak za j -tu komponentu od Y možemo opisati na slijedeći način: Y j = Te vektore možemo zapisati matrično: Y j Y j. Y nj Y = Y Y Y 3... Y q Y Y Y 3... Y q Y 3 Y 3 Y Y 3q Y n Y n Y n3... Y nq. opažanje od Y. opažanje od Y n-to opažanje od Y slučajan uzorak za.komponentu slučajan uzorak za q-tu komponentu Zatim označimo vektop p varijabli poicaja sa x = (x,..., x p ). Slično je dana i matrica dizajna. x x x 3... x p x x x 3... x p X = x 3 x 3 x x 3p x n x n x n3... x np Sada linearni model više varijabli zapisujemo ovako Y = x B + ε () 3

4 . Hotellingova statistika Pretpostavimo da je Y, Y,... Y n slučajni uzorak iz modela N q (µ, Σ), Σ > 0. Model za taj uzorak danje sa Za neki zadani µ 0 želimo testirati Y = n µ + E () H 0 : µ = µ 0 H : µ µ 0 Da bismo to testirali treba nam test koji je analogan Studentovom T testu u jednodimenzionalnom slučaju.može se pkazati da su procjenitelji maksimalne vjrodostojnosti modela jednaki ˆΣ = n n ˆµ = Y n (Y i Y)(Y i Y) i= Definicija.. Neka su X i N q (µ i, Σ), i =,..., n nezavisni normalni slučajni vektori sa istom kovarijacijskom matricom. Kažemo da slučajna matrica reda q q W = X i Xi i= ima Wishartovu distribuciju sa n stupnjeva slobode,kovarijacijskom matricom Σ i matricom parametara necentralnosti Q = Σ n i= µ i µ i Pišemo W w d (n, Σ, Q). Ako je Q 0, onda kažemo da je distribucija centralna i pišemo W w d (n, Σ, Q). Hipotezna statistika je dok je pogreškovna P = (HY XB 0 ) (HY XB 0 ) = n(y µ 0 )(Y µ 0 ) w q (, Σ) G = nˆσ = (n )S w q (n, Σ) 4

5 Definicija.. Hotellingovu statistiku definiramo na sljedeći način: T = (n )tr(p G ) = n(y µ 0 )(Y µ 0 ) Lema. (Tehnička lema) Za A M p,q i B M q,p slijedi det(i p + AB) = det(i p + BA). Teorem.3. Omjer vjerodostojnosti za testiranje hipoteza H 0 : µ = µ 0 H : µ µ 0 dan je sa Dokaz. λ = ( + ) n n T. λ = det(i n + G P ) n = det ( I n + n S n(y µ 0 )(Y µ 0 ) = tehnička lema ( = det + n n (Y µ 0 ) S (Y µ 0 ) ( = + ) n n T ) n ) n QED Definicija.4. Slučajna varijabla ima necentralnu F-distribuciju sa parom stupnjeva slobode (m, n) i parametrom necentralnosti δ ako postoje nezavisne slučajne varijable X χ (m, δ), Y χ (n) takve da Pišemo Z F (m, n; δ). Z = D X/m Y/n Propozicija.5. Ako su Z N d (δ, I), W w d (m), m d, nezavisne, tada je m d + Z W Z F (d, m d + ; d δ ). (3) Propozicija.6. Za n q + imamo n q q uz δ = nσ (µ µ 0 ). n T F (q, n q; δ ) 5

6 Korolar.7. Uz iste pretpostavke na model (), ( α) %00 pouzdano područje za vektor parametara µ je slučajni elipsoid n(y µ 0 ) S (Y µ 0 ) (n )q n q f α(q, n q), gdje je f α (q, n q) ( α)-kvantil centralne F-distribucije, F (q, n q). Dokaz. Dokaz slijedi direktno iz propozicije.6 uz µ 0 = µ. QED 6

7 Hotellingov T test za dva normalna uzorka Neka su x, x,..., x n nezavisni jednakodistribuirani slučajni vektori td. x i N p (µ, Σ), i {,..., n}, te neka su y, y,..., y m nezavisni jednakodistribuirani slučajni vektori td. y i N p (τ, Σ), i {,..., m}, takve da x, x,..., x n i y, y,..., y m čine dva nezavisna uzorka. Pretpostavljamo da je Σ > 0. Definiramo uzoračke varijance uzoraka: te S pool = S x = n S y = m n (x i x)(x i x) i= m (y i y)(y i y) i= n + m [(n )S x + (m )S y ]. Distribucija od S pool Odredimo prvo distribuciju od S pool : Iz prethodnog razmatranja u poglavlju. znamo da je pogreškovna statistika jednaka G x = (n )S x te da je Wishartove distribucije, tj. (n )S x w p (n, Σ). Isto tako vrijedi G y = (m )S y w p (m, Σ). Definicija Wishartove distribucije povlači da postoje nezavisni slučajni vektori X,..., X n N p (0, Σ) i Y,..., Y m N p (0, Σ) tako da vrijedi n (n )S x = X i Xi (m )S y = i= m i= Y i Y i Definiramo Z i := X i za i =..., n i Z n +i := Y i za i =..., m. Sada imamo m + n nezavisnih jednako distribuiranih slučajnih vektora iz N p (0, Σ) za koje vrijedi: (n )S x + (m )S y = pa iz definicije Wishartove distribucije slijedi n+m i= Z i Z i (n )S x + (m )S y w p (n + m, Σ) (n + m )S pool w p (n + m, Σ) 7

8 . Distribucija od T statistike Odredimo dristibuciju od T koju koristimo za testiranje hipoteze H 0 : µ = τ H : µ τ. Sa x i y označimo matrični zapis uzoraka. T definiramo na sljedeći način ( T = n + ) (x y) S pool (x y) m ( m + n T = n + ) (x y) ((m + n )S pool) (x y) m Zapišemo modele: x = n µ + E x N np (0, Σ I n ) (4) y = n τ + E y N mp (0, Σ I m ) (5) U prethodnim razmatranjima smo pokazali da ukoliko je model dan sa Y = XB +E, da je tada ˆµ MLE = (X X) X Y. Dakle, ˆµ = ( n n ) n x = x i analogno se pokaže da je ˆτ = y. (4) n n x = µ + n n E x x = µ + n n E x (5) m n y = τ + m n E y y = τ + m n E y Označimo sa ε x = n n E x i ε y = m n E y, pa je ε x N p (0, n Σ) ε y N p (0, m Σ) Kako je x = µ + ε x te y = τ + ε y ( n + m T = n + ) (µ + ε x τ ε y ) m ((m + n )S pool ) (µ + ε x τ ε y ) ( n + m T = n + ) (µ + ε x τ ε y ) m Σ Σ ((m + n )Spool ) Σ Σ (µ + εx τ ε y ) 8

9 Primijetimo, ε x i ε y nezavisne, a pretpostavka zadatka nam daje još Σ > 0, pa slijedi ( ε x ε y N p (0, n + ) Σ) m. Sa predavanja znamo da vrijedi: A > 0 i X N p (µ, Σ) AX N p (Aµ, AΣA ), pa to možemo primijeniti i na ovaj slučaj. (µ τ + ε x ε y ) N p (µ τ), Σ n + m n + m Definiramo pa je Zatim definiramo Z := Σ (µ τ + ε x ε y ) (6) n + m Z N p Σ n + m (µ τ), I p W := (n + m )Σ Spool Σ (7) te nas zanima njena distribucija. Znamo da je da je (n+m )S pool Wishartove distribucije, pa postoji m + n nezavisnih jednako distribuiranih slučajnih vektora iz N p (0, Σ) za koje vrijedi: (n + m )S pool = n+m i= X i X i. W = (n + m )Σ Spool Σ ( n+m ) = Σ X i Xi = n+m i= i= Σ (Σ Xi )(Σ Xi ) Kako su X i N p (0, Σ) vrijedi Σ X i N p (0, I p ), pa je W w p (n + m ). Primijetimo da sa Z i W definiranim kao u (6) i (7) možemo pisati n + m T = Z W Z 9

10 te ako još definiramo δ := Σ (µ τ) n + m možemo iskoristiti propoziciju.5. Sada slijedi n + m p Z W Z F (p, n + m p ; p δ ) n + m p p.3 Omjer vjerodostojnosti n + m T F (p, n + m p ; δ ) Neka su X, X,..., X n nezavisni jednakodistribuirani slučajni vektori td X i N p (µ, Σ), Σ > 0. Tražimo test omjera vjerodostojnosti za testiranje hipoteze: gdje je H 0 : θ Θ 0 H 0 : µ = τ H : θ / Θ 0 H : µ τ Θ = Θ 0 Θ = {(µ 0, µ, Σ) : µ 0, µ M p,, Σ M n, Σ > 0} Θ 0 = {(µ 0, µ 0, Σ) : µ 0 M p,, Σ M n, Σ > 0} Θ = Θ c 0 Definicija.. Omjer vjerodostojnosti definiramo sa Λ = max L(θ) θ Θ 0 max L(θ) θ Θ pri čemu je L(θ) funkcija vjerodostojnosti. Zatim, sa X označimo matrični zapis uzorka, pa je funkcija distribucije od X jednaka { } f(x) = (π) np det(σ) n exp n (X i µ) Σ (X i µ) i= L(µ, Σ) = (π) np det(σ) n exp { tr(gσ )( n } )(X µ) Σ (X µ) pri čemu je G = (n )S. Takoder znamo da je ˆµ MLE = X i ˆΣ MLE = n n S = n G. L(ˆµ, ˆΣ) = (π) np det(ˆσ) n np e l(ˆµ, ˆΣ) = np log(π) n log det(ˆσ) np 0

11 Primijenimo sada gornje razmatranje na uzorke sa početka zadatka,tj. na x, x,..., x n i y, y,..., y m. Uzorci su nezavisni pa je: L(θ) =L(µ 0, µ, Σ) = (π) (n+m)p det(σ) n+m e tr(gxσ )tr(g yσ )( n )(x µ0) Σ (x µ 0)( m )(y µ) Σ (y µ ) l(µ 0, µ, Σ) = log(π) (n+m)p n + m log det(σ) tr((g x G y )Σ ) n (x µ 0) Σ (x µ 0 ) m (y µ ) Σ (y µ ) Maksimizramo funkciju l(µ 0, µ, Σ). Ekvivalentan problem je minimizacija funkcije g(µ 0, µ, Σ) = (n + m) log det(σ) + tr((g x G y )Σ )+ + (x µ 0 ) Σ (x µ 0 ) + m(y µ ) Σ (y µ ) A g je minimalna za ˆµ 0 = x, ˆµ = y i ˆΣ = n+m (G x + G y ) L(ˆµ 0, ˆµ, ˆΣ) = (π) (n+m)p det(ˆσ) n+m e (n+m)p Uzmimo sada θ Θ 0, tj. pretpostavljamo nultu hipotezu. Analogno slijedi L(θ) = L(µ 0, µ 0, Σ) = (π) (n+m)p det(σ) n+m e tr(gxσ )tr(g yσ )( n )(x µ0) Σ (x µ 0)( m )(y µ0) Σ (y µ 0) l(µ 0, µ 0, Σ) = log(π) (n+m)p n + m log det(σ) tr((g x G y )Σ ) n (x µ 0) Σ (x µ 0 ) m (y µ 0) Σ (y µ 0 ) Ponovo maksimiziramo l(µ 0, µ 0, Σ). Maksimum se postiže za ˆµ 0 = nx + my n + m ˆΣ 0 = n + m (G x + G y + ( n + m ) (x y)(x y) ) L(ˆµ 0, ˆµ, ˆΣ 0 ) = (π) (n+m)p det(ˆσ 0 ) n+m e (n+m)p

12 Pa je Λ = L(µ 0, µ 0, Σ) L(ˆµ 0, ˆµ, ˆΣ 0 ) = (detˆσ 0 ) n+m (detˆσ) n+m = ( n+m (G x + G y + ( n + m ) (x y)(x y) ) n+m (G x + G y ) = [Tehnička lema] ) n+m = det(i + ( n + m ) (x y) (G x G y ) (x y) m+n = det(i + ( n + m ) (x y) ((n + m )S pool ) (x y) m+n Λ = ( + n + m T ) m+n Peta jednakost slijedi iz tehničke leme za A = (G x G y ) (x y) i B = ( n + m ) (x y). Izračunajmo p-vrijednost testa omjera vjerodostojnosti. Ona je definirana na sljedeći način pv = P(Λ c) Zatim primijetimo da je omjer vjerodostojnosti strogo monotona funkcija od T m+n. Definiramo strogo padajuću funkcijuf(t) = ( + n+m t). Očito je Λ = f(t ). pv = P(Λ c) = P(f(T ) c) = P(T f (c)) pv = P( n + m p p(n + m ) T n + m p p(n + m ) f (c)) Pod pretpostavkom H 0 hipozete tj. n + m p p n + m T F (p, n + m p ) za dobivanje p-vrijednosti sada je dovoljno izračunati gornju vjerojatnost.

13 3 Primjer Dani su podaci o težinama triju grupa štakora. Prvoj grupi je stavljen Thyroxin u vodu, drugoj Thiouracil, a treća grupa je bila kontrolna grupa. Težine su mjerene tjedno tokom 5 tjedana i izražene su u gramima. Ispitajte jednakost očekivanja izmedu danih skupina. Thyroxin Time0 Time Time Time3 Time Thiouracil Time0 Time Time Time3 Time Control Time0 Time Time Time3 Time Normalnost podataka Kako bi smo ispitali jednakost očekivanja izmedu svake dvije skupine štakora, moramo koristiti omjer vjerodostojnost koji smo izveli u prethodnom poglavlju, a prvi korak do provodenja tog testa je ispitivanje da li podaci dolaze iz normalne distribucije. 3.. Normalost podataka skupine Thyroxin Jedan od dobrih indikatora normalnosti podataka je normalni vjerojatnosni graf. Na slici su dani normalni vjerojatnosni grafovi za podatke iz skupine Thyroxin. 3

14 Nolmalne vjerojastnosne grafove smo nacrtali u programskom jeziku R koristeći naredbe qqnorm(x) i qqline(y). Primjer koda za skupinu štakora kojima su davali Thyroxin u početnom mjerenju (Time0): > qqnorm ( t ( Thyroxin [ ] ), main = Time 0, sub= Thyroxin, xlab=, ylab= ) > q q l i n e ( t ( Thyroxin [ ] ), c o l= blue ) Zatim provodimo testove normalnosti. Koristimo Kolmogorov-Smirnovljev te Shapiro Wilkinsov test normalnosti. Ukoliko dobimo da je p-vrijednost manje od 0 % odbaciti ćemo hipotezu o normalnosti očekivanja. Dati ćemo primjer samo sa Time 0. import numpy import scipy.stats as stats x=numpy.loadtxt( Thy.txt,delimiter=, ) m=stats.kstest(x[0], norm ) n=stats.shapiro(x[:,0]) Kolmogoro-Smirnovljev test nam je dao p vrijednost = 0.0, dok smo Shapiro Wilkinsovim testom dobili da je p vrijednost = S obzirom da imamo malo podataka, K-S test nije najsretniji izbor, pa ćemo daljne odluke donositi na temelju Shapiro Wilkinsovog testa. Prokomentirajmo prvo grafički test. Podaci se lijepo grupiraju oko pravca uz manja odstupanja na rubovima, pa naslučijemo da podaci dolaze iz normalne distribucije, a to nam dodatno potvrduje i p-vrijednost dobivena S-W testom koja je veća od 0., pa ne odbacujemo nultu hipotezu o normalnosti podataka. Slično dobimo i za ostale Timove, jedinu razliku nam čini Time gdje smo dobili da je 4

15 p vrijednost = , pa ćemo u ovom slučaju odbaciti nultu hipotezu o normalnosti podataka. 3.. Normalost podataka skupine Thiouracil Normalne vjerojatnosne grafove smo dobili korištenjem naredbi qqnorm(x) i qqline(y) u R-u. import numpy import scipy.stats as stats x=numpy.loadtxt( Thi.txt,delimiter=, ) n=stats.shapiro(x[:,0]) Jednako kao i kod testiranja normalnosti kod skupine Thyroxin i ovdje provodimo Shapiro Wilkinsov test. Za Time 0 dobivamo p vrijednost = Slično dobivamo i za ostala vremena, pa u svim slučajevima ne odbacujemo hipotezu o onormalnosti podataka. 5

16 3..3 Normalost podataka skupine Control Ponovo provodenem Shapiro-Wilkinsovog test, te grafičkim ispitivanjem normalnosti podataka, ne odbacujemo nultu hipotezu o normalnosti podataka. 6

17 3. Provedba testa omjera vjerodostojnosti Sada kada smo provjerili da podaci više-manje dolaze iz normalne distribucije, možemo provesti test omjera vjerodostojnosti. Prvo usporedimo skupine Control i Thiouracil.(Kod je raden u programskom jeziku R). > ##omjer v j e r o d o s t o j n o s t i > # m=0, n=0, p=5 > #i n i c i j a l i z i r a m o uzoracke kov. matrice > S< c ( rep ( 0, 5 ) ) > S x< matrix ( S, nrow=5, n c o l =5) > S y< matrix ( S, nrow=5, n c o l =5) > > t h i mean< c (mean( t ( T h i o u r a c i l [ ] ) ), mean( t ( T h i o u r a c i l [ ] ) ), mean( t ( T h i o u r a c i l [ 3 ] ) ), mean( t ( T h i o u r a c i l [ 4 ] ) ), mean( t ( T h i o u r a c i l [ 4 ] ) ) ) > c mean< c (mean( t ( Control [ ] ) ), mean( t ( Control [ ] ) ), mean( t ( Control [ 3 ] ) ), mean( t ( Control [ 4 ] ) ), mean( t ( Control [ 5 ] ) ) ) > f o r ( i i n : 0 ) + S x < S x + ( t ( T h i o u r a c i l [ i,]) t h i mean)% % t ( t ( T h i o u r a c i l [ i,]) t h i mean) > S x< S x/ 9 > f o r ( i i n : 0 ) + S y < S y + ( t ( Control [ i,]) c mean) % % t ( t ( Control [ i,]) c mean) > S y < S y/ 9 > S pool < /(0+0 ) ((0 ) S x+(0 ) S y ) > T < ( / 0)ˆ( ) t ( t h i mean c mean)% % s o l v e ( S pool ) % %( t h i mean c mean) > lambda < (+( /(0+0 )) T)ˆ( 0/ ) > lambda [, ] [, ] e 06 > ## f ˆ( )=( lambda ˆ( /m+n) )(n+m ) > t e s t n a s t a t < (0+0 5 )/((0+0 ) 5) ( lambdaˆ( / 0) ) (0+0 ) > pv < pf ( t e s t n a s tat, 5, 4 ) > pv [, ] [, ] Dakle, dobili smo da je p-vrijednost jako mala, točnije jednaka je pa odbacujemo H 0 hipotezu u korst H na svim razumnim razinama značajnosti, tj. očekivana težina štakora u grupi tretiranoj Thiouracilom i kontorlnoj grupi nije ista. Analogno se pokaže da očekivane težine štakora izmedu grupa Thiouracil i Thyroxin, te izmedu grupa Thyroxin i Control nisu jednake. u ovom primjeru radimo sa malim brojem podataka. Kada bi imali veći broj možda bi se i pokazalo da su svi podaci normalno distribuirani 7