Statystyka algebraiczna

Trochę o wykorzystaniu geometrii algebraicznej w statystyce Seminarium z geometrii algebraicznej 4 stycznia 2007 r. Referat częściowo opracowany na podstawie folii Setha Sullivanta

Plan referatu 1 2 Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość 3 Parametryzacja modelu torycznego Ideał toryczny Modele graficzne 4

Krótka historia statystyki algebraicznej Choć wszystko zaczęło się znacznie wcześniej... 1998 Zostaje opublikowany artykuł [DS98]: wykorzystanie narzędzi algebry przemiennej w analizie statystycznej tablic kontyngencji. 2000 Ukazuje się monografia [PRW01]: pojawia się pojęcie statystyki algebraicznej, wiele obiektów statystyki znajduje swoje odpowiedniki w algebrze i geometrii. 2005 Pojawia się ksiażka [SP05]: frontalne zaatakowanie metod biologii obliczeniowej z wykorzystaniem geometrii algebraicznej, kilka ciekawych wyników oraz podsumowanie stanu wiedzy. w Europie, statystyka geometryczna za Oceanem.

Cel referatu Czyli czego nie chcemy opowiedzieć. Chcemy: 1 Przedstawić sposób patrzenia algebraików na modele statystyczne. 2 Przedstawić kilka podstawowych problemów statystyki, w których algebra może pomóc. 3 Pokazać, jak rozmaitości algebraiczne pojawiaja się w rozważaniach statystyki algebraicznej. Nie chcemy: Szczegółowo opisywać narzędzi algebraicznych: bazy Gröbnera etc. Wchodzić w techniczne szczegóły.

Model Probabilistyczny Krótka definicja Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Model probabilistyczny to trójka {Ω, F, P}, gdzie: Ω to przestrzeń zdarzeń elementarnych. F to σ-ciało w Ω. P miara probabilistyczna na F. Przykład (Rzut moneta) Ω = {O, R}. F = {, {O}, {R}, {O, R}}. P taka że P( ) = 0, P({O}) = P({R}) = 1 2, P(Ω) = 1.

Model Statystyczny Definicje Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Definicja Zmienna losowa na przestrzeni probabilistycznej {Ω, F, P} nazywamy rzeczywiste F-mierzalne odwzorowanie X = X(ω) na Ω. Definicja Zbiór wartości X zmiennej losowej X nazywamy przestrzenia obserwacji. X może być zbiorem skończonym, przeliczalnym lub stanowić podzbiór R d.

Model Statystyczny Definicje Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Definicja Przestrzeń próby X wraz z rodzina miar probabilistycznych P = {P θ : θ Θ} na σ-ciele zbiorów borelowskich X (lub σ-ciele wszystkich podzbiorów jeśli X skończony) nazywamy modelem statystycznym (oznaczmy zwykle jako M). Uwaga Od tej chwili będziemy zakładać, że zbiór X jest skończony. Z reguły będziemy go utożsamiać ze zbiorem [m] := {1, 2,..., m}.

Simpleks probabilistyczny Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Definicja (Simpleks probabilistyczny) m = {p R m : p i = 1, p i 0 i } Jeśli X X = [m], to rozkład X jest punktem w m : ( ) P(X = 1), P(X = 2),..., P(X = m) = (p 1, p 2,..., p m ). Zatem m to wszystkie możliwe rozkłady prawdopodobieństwa na [m]. Z samej definicji model statystyczny rodzina rozkładów definiujaca model statystyczny dla przestrzeni [m] to pewien podzbiór m.

Przykład: Rozkład dwumianowy Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Przykład (Rozkład dwumianowy Bin(n, θ)) X liczba sukcesów w n próbach; θ [0, 1] prawdopodobieństwo sukcesu w pojedynczej próbie. P(X = j) = ( ) m j θ j (1 θ) m j dla j = 0, 1,..., n. ( M m = { (1 θ) m, ( ) ) m 1 θ(1 θ) m 1,..., θ m : θ [0, 1]}. Na przykład dla m = 2: ) M 2 = { ((1 θ) 2, 2θ(1 θ), θ 2 }

Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Przykład: Niezależność dwóch zmiennych Definicja X = (X 1, X 2 ), X i [m i ], m = m 1 m 2. Zmienne X 1 i X 2 sa niezależne (X 1 X 2 ) dla wszystkich (i, j) [m 1 ] [m 2 ] zachodzi P(X 1 = i, X 2 = j) = P(X 1 = i) P(X 2 = j). Zatem równoważnie dla wszystkich (j 1, j 2 ) [m 1 ] [m 2 ]: m 2 p j1 j 2 = ( p j1 i 2 )( p i1 j 2 ). (1) i 2 =1 m 1 i 1 =1 M X1 X 2 = {p = [p ij ] i,j m : p spełnia (1)}.

Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Przykład: Niezależność dwóch zmiennych cd. Na przykład dla m 1 = m 2 = 2 dostajemy przecięcie dwuwymiarowej powierzchni z trójwymiarowym simpleksem probabilistycznym:

Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Algebraiczny model statystyczny - AMS Definicja Wiele modeli statystycznych daje się przedstawić jako przecięcie m z obrazem przekształcenia wielomianowego. Definicja (Rozmaitość algebraiczna) Niech S k[p] := k[p 1,..., p m ]. Wówczas zbiór V k (S) := {a k m : f (a) = 0 f S} nazywamy rozmaitościa algebraiczna.

Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Algebraiczny model statystyczny - AMS Definicja Wiele modeli statystycznych daje się przedstawić jako przecięcie m z obrazem przekształcenia wielomianowego. Definicja (Rozmaitość algebraiczna) Niech S k[p] := k[p 1,..., p m ]. Wówczas zbiór V k (S) := {a k m : f (a) = 0 f S} nazywamy rozmaitościa algebraiczna. Definicja (Algebraiczny model statystyczny - AMS) V (S) = V R (S) m

Algebraiczny model statystyczny Przykłady: Model niezależności i model dwumianowy Przykład (X 1 X 2 ) M x1 X 2 = V (S), gdzie Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość { m 2 m 1 m 2 m 1 S = p 11 ( p 1i2 )( p i1 1),..., p m1 m 2 ( p m1 i 2 )( i 2 =1 Przykład (Bin(m, θ)) i 1 =1 i 2 =1 M 2 = V (4p 0 p 2 p 2 1 ), a ogólnie M m = V (S m ), gdzie i 1 =1 } p i1 m 2 ). { p0 p 2 S m = ( m 2) p2 1 ) 2, p 0p ) 3 p 1p 2 ),..., p m 2p ) m p2 m 1 ) 2 }. ( m 1 ( m 3 ( m )( m 1 2 ( m m 2 ( m 1

Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Parametryczny algebraiczny model statystyczny Definicja Definicja (Parametryczny model statystyczny) Θ R d przestrzeń parametrów φ : Θ m funkcja ciagła φ(θ) m parametryczny model statystyczny Definicja (Parametryczny algebraiczny model statystyczny ) Niech φ = (φ 1,..., φ m ), gdzie φ i R[t 1,..., t d ] oraz niech Θ R d będzie zbiorem semialgebraicznym. Wówczas φ(θ) m nazywamy parametrycznym algebraicznym modelem statystycznym krócej: PAMS.

Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Parametryczny algebraiczny model statystyczny Przykłady: Model niezależności i model dwumianowy Przykład (Bin(m, θ)) φ j (θ) = Przykład (X 1 X 2 ) Θ = m1 m2 ( ) m θ j (1 θ) j Θ = [0, 1]. j φ j1 j 2 (α, β) = α j1 β j2 = P(X 1 = j 1, X 2 = j 2 ) = p j1 j 2. Idea: Rozkłady brzegowe staja się parametrami modelu.

Niezmienniki modelu Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Niech T k m, zdefiniujmy ideał: I(T ) = {f k[p] : f (a) = 0 a T } Dla zadanej parametryzacji φ definiujacej PAMS znaleźć wielomiany f 1,..., f k takie, że: Narzędzie: bazy Gröbnera. I(φ(Θ)) = f 1,..., f k.

Niezmienniki modelu Niektóre zastosowania Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość 1 Projektowaniu eksperymentu MCMC dla szukania p-value testów dla wielowymiarowych tablic kontyngencji (patrz [DS98]). 2 Wstawiajac empiryczne częstości dla danych do niezmienników możemy ocenić, czy model dobrze opisuje dane (wartości niezmienników powinny być bliskie zera).

Niezmienniki modelu Przykład: niezależność dwóch zmiennych Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Przykład (X 1 X 2 )) M X1 X 2 = V ({p j1 j 2 ( m 2 i 2 =1 p j 1 i 2 )( m 1 i 1 =1 p i 1 j 2 )}) Te wielomiany nie generuja I(M X1 X 2 ). Dla P = p 11 p 1m1..... p m1 1 p M1 m 2 I(M X1 X 2 ) = 2 2 minory P + p i1 i 2 1 W rozważaniach geometrycznych porzucamy ostatnia część ideału. Dostajemy ideał jednorodny.

Twierdzenie o domknięciu Dlaczego rozważania geometryczne dla k = C? Modele statystyczne Algebraiczny model statystyczny Niezmienniki modelu Parametryzacja a rozmaitość Większość rozważań geometrycznych dotyczacych modeli statystycznych prowadzi się nad ciałem liczb zespolonych. Twierdzenie (O domknięciu) V C (I(φ(C d ))) \ φ(c d ) ma wymiar < dim φ(c d ). To znaczy: rozmaitości dobrze przybliżaja parametryzację. Nie prawda nad R! Na przykład: φ : R R, φ(x) = x 2, to M = φ(r) = [0, ), ale V R (I(φ(R))) = R.

Model toryczny Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Niech A N d m, h R m >0 : φ A,h : C d C m, φ A,h j (θ) = h j d i=1 θ a ij i Definicja φ A,h (θ) = 1 Z (θ) φa,h j (θ), Z (θ) = m j=1 Model toryczny: M A,h = φ A,h (R d >0 ) m. Rozmaitość toryczna: V A,h = φ A,h (C d ). φ A,h j (θ).

Model toryczny Przykład: rozkład dwumianowy Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Przykład (Bin(m, θ)) [ ] 0 1 m A =, h = [1, ( ) ( m m m 1 0 1,..., m m 1), 1] Z (θ) = ustalajac θ = θ 1 θ 1 +θ 2 φ A,h j (θ 1, θ 2 ) = m j=0 ( ) m θ j j 1 θm j 2, ( ) m θ j j 1 θm j 2 = (θ 1 + θ 2 ) m daje orginalna parametryzację.

Model toryczny Przykład: Niezależność dwóch zmiennych Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Przykład (X 1 X 2 ) A N (m 1+m 2 ) (m 1 m 2 ) z kolumnami postaci h = [1,, 1] Dla m 1 = 2, m 2 = 3 mamy: A = [ ej1 e j2 ], 1 1 1 0 0 0 0 0 0 1 1 1 1 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1 φ A j 1 j 2 (α, β) = α j1 β j2 oraz Z (α, β) = m 1 m2 i=1 i 2 =1 α i 1 β i2 = 1..

Ideał toryczny Definicja Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Definicja (Ideał toryczny) I A,h := I(V A,h ), gdzie V A,h = φ A,h (C d ) nazywamy ideałem torycznym. Piszemy I A jeśli h = [1,..., 1]. Twierdzenie ([Stu96]) I A = p u p v : Au = Av dla u, v N m Uwaga W wielu przypadkach (również w obu przedstawionych wcześniej) wektor jedynek leży w przestrzeni rozpinanej przez wiersze A. Jeśli tak jest to I A jest ideałem jednorodnym.

Warunkowa niezależność Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Definicja (Warunkowa niezależność X Y X 1,..., X n ) X Y X 1,..., X n wtedy i tylko wtedy, gdy P(X = i, Y = j X 1 = i 1,..., X n = i n ) = P(X = i X 1 = i 1,..., X n = i n ) P(Y = j X 1 = i 1,..., X n = i n ) dla wszystkich dozwolonych i, j, i 1,..., i n.

Model graficzny Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Definicja (Model graficzny) Model graficzny to model statystyczny (X = [m 1 ] [m n ], M G ) dla zmiennej X = (X 1,..., X n ) wraz z grafem nieskierowanym G = {V = [n], E} taki, że rodzina rozkładów M G = {P θ : θ Θ} spełnia P θ (X 1 = i 1,..., X n = i n ) = 1 Ψ F (i F ), Z (θ) F C gdzie C to zbiór klik grafu G, a Ψ F sa funkcjami o dodatnich wartościach.

Model graficzny Graf a warunkowe niezależności Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Twierdzenie M G zapewnia X i X j X \ (X i, X j ) (i, j) / E Przykład zadaje tylko jedna niezależność tego typu: X 1 X 3 (X 2, X 4 )

Model graficzny Globalna własność Markowa Parametryzacja modelu torycznego Ideał toryczny Modele graficzne A, B, C rozłaczne podzbiory zbioru wierzchołków grafu G. Mówimy, że zbiór C separuje zbiory A i B jeśli każda ścieżka w grafie pomiędzy wierzchołkiem z A a wierzchołkiem z B przechodzi przez wierzchołek w C. Istnieje bardzo ważna odpowiedniość pomiędzy teoriografowym pojęciem separowalności w grafie a relacja niezależności warunkowej. Ważna cecha modeli graficznych Model M G spełnia X A X B X C wtedy i tylko wtedy, gdy zbiór C separuje A i B w G.

Model graficzny Model graficzny jest modelem torycznym Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Model graficzny jest modelem torycznym. Kolumny A sa postaci F C ei F F oraz h = [1,..., 1]. Przykład C = {{1, 2, 4}, {2, 3, 4}} i dla (i 1, i 2, i 3, i 4 ) [m 1 ] [m 2 ] [m 3 ] [m 4 ] mamy: F C e F i F = e (1,2,4) i 1 i 2 i 4 e (2,3,4) i 2 i 3 i 4. Wówczas φ j (θ) = θ a j zadaje parametryzację modelu graficznego M G.

Model i jego podmodel Parametryzacja modelu torycznego Ideał toryczny Modele graficzne Często analizujemy podmodele danego modelu. Np. dla M 0 : X Y Z, M 1 : X (Y, Z ) zachodzi inkluzja M 1 M 0. Pytanie: Jak dużo jest rozkładów z M 0, które nie sa w M 1? Prowadzi to do rozwiazania ciekawych problemów teoretycznych i praktycznych.

Modele grafów Prostsza wersja modeli graficznych Parametryzacja podobna, jak dla modeli graficznych lecz generatory F nie przebiegaja zbioru klik grafu G lecz zbiór jego krawędzi oraz izolowanych wierzchołków. Model grafu jest modelem graficznym wtedy i tylko wtedy, gdy G nie zawiera podgrafu pełnego o trzech wierzchołkach. dla [m 1 ] =... = [m n ] = {0, 1}.

Parametryzacja E(G) zbiór krawędzi, Iso(G) zbiór wierzchołków izolowanych. dla każdej krawędzi {j, k}: π j,k : n Z 2 Z 2 Z 2, e (1) i=1 i 1 e (2) i 2 e (n) i n e (j) i j e (k) i k, dla każdego wierzchołka izolowanego π k : n i=1 Z 2 Z 2, e (1) i 1 e (2) i 2 e (n) i n e (k) i k.

Parametryzacja cd. Definiujemy homomorfizm krat A G : n Z 2 Z 2 Z 2 Z 2 (2) i=1 v {j,k} E(G) π j,k (v) {k} Iso(G) {j,k} E(G) {k} Iso(G) π k (v). Macierz, która reprezentuje homomorfizm A G w bazie kraty n i=1 Z2 równej {e i1 i n : (i 1,..., i n ) {0, 1} n } będziemy również oznaczać przez A G.

Parametryzacja cd. Macierz A G indukuje parametryzację modelu torycznego oraz zadaje rozmaitość toryczna φ AG (C d ). Przestrzeń rozpinana przez wiersze A G zawiera wektor jedynek, a zatem ideał toryczny I AG jest jednorodny. Więcej: dla każdego π j,k, π k odpowiednie macierze zawieraja wektor jedynek w przestrzeni rozpinanej przez swoje wiersze. Każda parametryzacja modelu grafu o n wierzchołkach jest zatem postaci: P 1 P 3 P 2n 1, gdzie przestrzenie P 1 odpowiadaja wierzchołkom izolowanym, a P 3 krawędziom G.

Problem badania normalności φ G(C d ) Hipoteza Rozmaitość toryczna V G = φ G (C d ) zwiazana z binarnym modelem grafu G jest normalna wtedy i tylko wtedy, gdy G nie zawiera grafu pełnego o czterech wierzchołkach. Twierdzenie Jeśli G nie ma cykli, to V G jest normalna. Obliczenia pokazuja, że w przypadku grafów cyklicznych przynajmniej dla małej liczby wierzchołków to jest również prawda.

Większość interesujacych modeli statystycznych dla dyskretnych zmiennych losowych to parametryczne algebraiczne modele statystyczne. Zrozumienie algebry i geometrii φ(θ), φ(θ) oraz I(φ(Θ)) może okazać się użyteczne we wnioskowaniu. Poojawiło się kilka pozytywnych przykładów zastosowań statystyki algebraicznej. Problemy Ciagle dużym problemem pozostaje kwestia aplikacji niektórych metod dla rzeczywistych danych. Pozostaje niezbadane na ile geometria abstrakcyjnych rozmaitości pomoże w analizie statystycznej.

Persi Diaconis, Bernd Sturmfels. Algebraic algorithms for sampling from conditional distributions. Ann. Statist., 26(1):363 397, 1998. Giovanni Pistone, Eva Riccomagno, Henry P. Wynn. Algebraic Statistics: Computational Commutative Algebra in Statistics. Chapman&Hall, 2001. Bernd Sturmfels, Lior Patcher, redaktorzy. Algebraic Statistics for Computational Biology. Cambridge University Press, 2005. Bernd Sturmfels. Gröbner bases and convex polytopes, wolumen 8 serii University Lecture Series.

American Mathematical Society, Providence, RI, 1996.