Nieklasyczna analiza skªadowych gªównych

Transkrypt

1 * Wydziaª Matematyki i Informatyki UAM Pozna«Referat ten jest przygotowany na podstawie wspólnych wyników uzyskanych z Karolem Der gowskim z Instytutu Zarz dzania Pa«stwowej Wy»szej Szkoªy Zawodowej w Kaliszu

2 1 2

3 Zaªó»my,»e mamy prób zªo»on z n obiektów charakteryzowanych p zmiennymi, mierzonych w T ró»nych momentach czasowych lub warunkach zycznych. Uzyskane dane okre±lane s jako wielowymiarowe dane z powtarzanych pomiarów lub dane podwójnie wielowymiarowe. Niech X jk b dzie wektorem kolumnowym zªo»onym z pomiarów p cech w k-tym punkcie czasowym na j-tym obiekcie i niech X j = (X j1, X j2,..., X jt ) b dzie macierz rozmiaru p T pomiarów p cech w T momentach czasowych dokonanych na j-tym obiekcie oraz niech x j = vec (X j ), j = 1, 2,..., n.

4 Zakªadamy,»e x j N pt (µ, Ω), gdzie x 1, x 2,..., x n s niezale»ne, Ω > 0, j = 1, 2,..., n.

5 Skªadowe gªówne konstruowane s na podstawie oceny z próby ˆΩˆΩˆΩ macierzy Ω. Ocena ˆΩˆΩˆΩ jest dodatnio okre±lona z prawdopodobie«stwem jeden wtedy i tylko wtedy, gdy n > pt. Dodatnia okre±lono± macierzy ˆΩˆΩˆΩ jest po» dana, poniewa» tylko wówczas warto±ci wªasne i wektory wªasne macierzy ˆΩˆΩˆΩ s ocenami najwi kszej wiarogodno±ci warto±ci wªasnych i wektorów wªasnych macierzy Ω i st d skªadowe gªówne z próby b d ocenami najwi kszej wiarogodno±ci populacyjnych skªadowych gªównych (Seber, 1984, s. 197).

6 Niestety warunek n > pt wymaga bardzo licznych prób, co nie zawsze jest mo»liwe. Mo»na wówczas przyj,»e Ω = V Σ, gdzie V jest dodatnio okre±lon macierz rozmiaru T T oraz Σ jest dodatnio okre±lon macierz rozmiaru p p. Oceny z próby macierzy V i Σ s dodatnio okre±lone z prawdopodobie«stwem jeden wtedy i tylko wtedy, gdy n > max (p, T ).

7 Oceny najwi kszej wiarogodno±ci macierzy V i Σ uzyskujemy rozwi zuj c iteracyjnie ukªad równa«(srivastava i inni, 2008): ˆVˆVˆV = 1 np ˆΣˆΣˆΣ = 1 nt n X ˆΣˆΣˆΣ 1 X jc jc, j=1 n X jc ˆVˆVˆV 1 X, jc j=1 n gdzie X jc = X j X, X = 1 X n j, j = 1, 2,..., n. Srivastava i inni j=1 (2008) pokazali,»e je»eli n > max(p, T ), to iteracyjny algorytm jest zbie»ny do jedynego maksimum.

8 Skªadowe gªówne konstruujemy na podstawie macierzy ˆVˆVˆV ˆΣˆΣˆΣ. Je»eli n > max(p, T ) wówczas macierz ˆVˆVˆV ˆΣˆΣˆΣ jest dodatnio okre±lona z prawdopodobie«stwem jeden i wszystkie jej warto±ci wªasne s rzeczywiste i dodatnie. Jednym z gªównych powodów posªu»enia si iloczynem Kroneckera jest prosty i pi kny zwi zek mi dzy warto±ciami wªasnymi i wektorami wªasnymi macierzy ˆVˆVˆV i ˆΣˆΣˆΣ oraz macierzy ˆVˆVˆV ˆΣˆΣˆΣ (Ortega, 1987, s. 237).

9 Je»eli α 1, α 2,..., α T s warto±ciami wªasnymi macierzy ˆVˆVˆV, a β 1, β 2,..., β p s warto±ciami wªasnymi macierzy ˆΣˆΣˆΣ, to α r β s, r = 1, 2,..., T, s = 1, 2,..., p, s warto±ciami wªasnymi macierzy ˆVˆVˆV ˆΣˆΣˆΣ. Je»eli u = (u 1, u 2,..., u T ) jest wektorem wªasnym macierzy ˆVˆVˆV, odpowiadaj cym warto±ci wªasnej α, a w = (w 1, w 2,..., w p ) jest wektorem wªasnym macierzy ˆΣˆΣˆΣ, odpowiadaj cym warto±ci wªasnej β, to γ = u w = (u 1 w, u 2 w,..., u T w ) jest wektorem wªasnym macierzy ˆVˆVˆV ˆΣˆΣˆΣ, odpowiadaj cym warto±ci wªasnej αβ.

10 Niech λ 1 > λ 2 > > λ pt > 0 b d uporz dkowanymi warto±ciami wªasnymi macierzy ˆVˆVˆV ˆΣˆΣˆΣ. Wówczas istnieje macierz ortogonalna Γ = (γ 1, γ 2,..., γ pt ) taka,»e (ˆVˆVˆV ) Γ ˆΣˆΣˆΣ Γ = D λ = diag(λ 1, λ 2,..., λ pt ).

11 St d, je»eli y = y 1 y 2. y pt = Γ x = to Cov(y) = D λ i zmienne γ 1 γ 2... γ pt x = γ 1 x γ 2 x... γ pt x, y 1 = γ 1 x, y 2 = γ 2 x,..., y pt = γ pt x s nieskorelowane.

12 Zmienna y 1 = γ 1x nazywa si pierwsz skªadow gªówn, y 2 = γ 2x nazywa si drug skªadow gªówn, i tak dalej. Wariancja y i jest równa λ i. Poniewa» ) λ 1 + λ λ pt = tr (ˆVˆVˆV ˆΣˆΣˆΣ, to suma wariancji pt skªadowych gªównych jest równa sumie wariancji p zmiennych pierwotnych mierzonych w T momentach czasowych.

13 Przykªad. Dane s pomiary trzech cech (p = 3) w czterech ró»nych warunkach zycznych (T = 4) na 12 obiektach (n = 12) pochodz cych z dwóch grup. Poniewa» pt = n, to nie istnieje dodatnio okre±lona ocena ˆΩˆΩˆΩ macierzy kowariancji Ω. St d przyjmujemy,»e Ω = V Σ, gdzie V > 0, Σ > 0. Dwie pierwsze skªadowe gªówne obja±niaj 73.75% zmienno±ci caªkowitej.

14 y y 1

15 Niech k : R p R p R b dzie funkcj speªniaj c dla wszystkich x, y R p warunek k(x, y) =< Φ(x), Φ(y) >, (I ) gdzie Φ jest odwzorowaniem na pewn przestrze«h z iloczynem skalarnym. Funkcj k nazywa b dziemy j drem.

16 Denicja (Macierz Gramma) Je±li k jest j drem a x 1, x 2,..., x n R p s danymi wej±ciowymi, to symetryczna macierz stopnia n postaci K : (k(x i, x j )) (II ) nazywa si macierz Gramma lub macierz j drow j dra k wzgl dem x 1, x 2,..., x n.

17 Denicja (Dodatnio okre±lone j dro) J dro k : R p R p R takie,»e dla wszystkich n N oraz x 1, x 2,..., x n R p speªniony jest warunek c i c j k(x i, x j ) 0, c i R (III ) i,j nazywa si dodatnio okre±lonym j drem. Warunek (III ) oznacza,»e macierz K jest nieujemnie okre±lona.

18 Uwaga Poniewa» c i c j < Φ(x i ), Φ(x j ) >=< c i Φ(x i ), i,j i j c j Φ(x j ) > 0, to j dro postaci k(x, y) =< Φ(x), Φ(y) > jest dodatnio okre±lone przy dowolnym wyborze Φ.

19 J dro k(x, y) Jednorodne wielomianowe (x y) d, d N Niejednorodne wielomianowe (x y + c) d, c 0, d N Gaussa exp ( c x y 2), c > 0 Tablica: Przykªady j der dodatnio okre±lonych

20 Niech teraz H oznacza przestrze«hilberta, tj. rzeczywist przestrze«liniow z iloczynem skalarnym, unormowan i zupeªn. Denicja Mówimy,»e H posiada wªasno± reprodukowania, je»eli istnieje rodzina {k x = k(, x)} x R p j der zawarta w H taka,»e dla wszystkich funkcji postaci zachodzi Φ( ) = n c i k(, x i ), c i R, x i R p, i = 1, 2,..., n, i=1 Φ(x) =< Φ, k x >, Φ H, x R p. (IV ) W szczególno±ci k(x, y) =< k y, k x >, x, y R p. (V )

21 Denicja (Patrz np. F. H. Szafraniec, 2004) Funkcj k : R p R p R dan wzorem (V ) nazywamy j drem reprodukuj cym przestrzeni H, a par (H, k) nazywamy przestrzeni Hilberta z j drem reprodukuj cym. Uwaga Konsekwencj wzoru (IV ) jest to,»e j dro reprodukuj ce k jest dodatnio okre±lone. Twierdzenie (Moore'a-Aronszajna (Aronszajn, 1950)) Dla ka»dego dodatnio okre±lonego j dra na R p R p, istnieje jedyna przestrze«hilberta z reprodukuj cym j drem i na odwrót.

22 Problem wykorzystania j der do konstrukcji nieliniowych skªadowych gªównych pochodzi od Schölkopfa, Smoli i Müllera (1998). Niech X b dzie macierz rozmiaru n p zªo»on z n scentrowanych p-wymiarowych obserwacji x 1, x 2,..., x n R p, tj. X = x 1 x 2... x n. Ka»d obserwacj x i R p przeksztaªcamy za pomoc nieliniowej funkcji Φ : R p H, gdzie H jest przestrzeni Hilberta z reprodukuj cym j drem wymiaru N H > p.

23 W celu skonstruowania liniowych skªadowych gªównych w przestrzeni H znajdujemy warto±ci wªasne λ 0 i niezerowe wektory wªasne v H macierzy kowariancji C = 1 n n Φ(x j )Φ (x j ) (1) j=1 scentrowanych i nieliniowo przeksztaªconych wektorów x 1, x 2,..., x n.

24 Je»eli v jest wektorem wªasnym macierzy C odpowiadaj cym warto±ci wªasnej λ 0, to lub równowa»nie Poniewa» Cv = λv (2) Φ (x j )C v = λφ (x j )v, j = 1, 2,..., n. (3) C v = 1 n n Φ(x j )Φ (x j )v, (4) j=1 to wszystkie rozwi zania v odpowiadaj ce niezerowym warto±ciom wªasnym λ nale» do podprzestrzeni rozpi tej przez wektory Φ(x 1 ), Φ(x 2 ),..., Φ(x n ).

25 St d istniej wspóªczynniki α j, j = 1, 2,..., n, takie,»e v = n α j Φ(x j ). (5) j=1 Podstawiaj c (5) do (3) dostajemy: 1 n n n α j Φ(x i ) Φ(x k )Φ (x k )Φ(x j ) = j=1 k=1 n = λ α k Φ (x i )Φ(x k ), i = 1, 2,..., n. (6) k=1

26 W zapisie macierzowym równo± (6) przybiera posta K 2 α = nλkα, (7) gdzie K = (k ij ), α = (α 1, α 2,..., α n ) lub K 2 α = λkα, (8) gdzie λ = nλ.

27 Zauwa»my,»e ka»dy wektor α 0 b d cy rozwi zaniem równania Kα = λα (9) jest zarazem rozwi zaniem równania (8), i»e rozwi zania równa«(8) i (9) ró»ni si tylko wektorami wªasnymi macierzy K odpowiadaj cymi zerowym warto±ciom wªasnym, co nie ma znaczenia w problemie skªadowych gªównych.

28 W ogólnym przypadku wektory {Φ(x i )}, i = 1, 2,..., n, nie s scentrowane. Niech Φ i := Φ i 1 n n Φ k oraz K = ( k ij ) = (< Φ i, Φ j >). k=1 Wówczas K = PKP, gdzie P = (δ ij 1 ) jest operatorem rzutu oraz K jest macierz n j drow na R p. Rzut pierwotnych danych scentrowanych x 1, x 2,..., x n na j-t skªadow gªówn jest równy Kα j.

29 W pierwotnej przestrzeni R p, liniowe skªadowe gªówne wyznaczone s za pomoc wektorów wªasnych u macierzy kowariancji z próby Wektory te speªniaj równanie S = 1 n X X. Su = λu (10) lub 1 n X X u = λu. (11) Dokonajmy reparametryzacji zagadnienia wªasnego przyjmuj c,»e u = X α. Wówczas gdzie λ = nλ. X X X α = λx α, (12)

30 Mno» c lewostronnie (12) przez X otrzymujemy: Zauwa»my,»e X X = = X X X X α = λx X α. (13) x 1 x 2 x n [x 1, x 2,..., x n ] = x 1 x 1 x 1 x 2... x 1 x n x 2 x 1 x 2 x 2... x 2 x n x x n 1 x x n 2... x x n n (14) jest macierz rozmiaru n n par iloczynów skalarnych wektorów x 1, x 1,..., x n.

31 W równo±ci (13) zast pmy macierz X X macierz j drow K. Wówczas równanie (13) przybierze posta i jest to»same z równaniem (7). K 2 α = λkα

32 Przykªad. Wygenerowano 100 punktów z rozkªadu jednostajnego na kole jednostkowym, 100 punktów z rozkªadu jednostajnego na okr gu o promieniu 2 oraz 100 punktów z rozkªadu jednostajnego na okr gu o promieniu 4. W dwóch ostatnich przypadkach rozkªady te zostaªy zaburzone rozkªadem N(0, σ 2 ), gdzie σ = 0.25.

33 Dane te pokazane s na poni»szym rysunku.

34 Dla tego typu danych sferycznych nie mo»na skonstruowa sensownie tradycyjnych skªadowych gªównych. Z poª czonych 300 obserwacji skonstruowane zostaªy skªadowe gªówne w oparciu o dodatnio okre±lone j dro. Jako dodatnio okre±lone j dro wybrano j dro gaussowskie postaci k(x, y) = exp( σ x y 2 ), σ > 0. Utworzona zostaªa macierz j drowa K = (k ij ), gdzie k ij = k(x i, x j ), i, j = 1, 2,..., 300, a nast pnie rozwi zano zagadnienie wªasne Kα = λα. Poniewa» funkcja j drowa k(x, y) zale»y od parametru σ > 0, to wszystkie wielko±ci K, α oraz λ zale» od tego parametru.

35 Przebieg funkcji λ 1 (σ)/ j λ j (σ) oraz λ 2 (σ)/ j λ j (σ), przy zmieniaj cym si σ, pokazany jest na poni»szym rysunku.

36 Funkcja λ 1 (σ) + λ 2 (σ) λ j (σ) j osi ga maksimum dla σ = Dla tak znalezionego σ skonstruowano dwie pierwsze skªadowe gªówne. Trzysta wygenerowanych punktów w ukªadzie dwóch pierwszych skªadowych gªównych pokazanych jest na nast pnym rysunku.

37

38 1 Aronszajn N. (1950), Theory of reproducing kernels, Trans. Amer. Math. Soc. 68, Ortega J.M. (1987), Matrix theory: A second course, Plenum Press, New York. 3 Schölkopf B., Smola A.J., Müller K.R. (1998), Nonlinear component analysis as a kernel eigenvalue problem, Neural Comput. 10, Seber G.A.F. (1984), Multivariate observations, Wiley, New York. 5 Srivastava M.S., von Rosen T., von Rosen D. (2008), Models with a Kronecker product covariance structure: estimation and testing, Mathematical Methods of Statistics 17, Szafraniec F.H.,Przestrzenie Hilberta z j drem reprodukuj cym, Wydawnictwo Uniwersytetu Jagiello«skiego, Kraków 2004.