Powtórka z algebry i statystyki

Transkrypt

1 2. Powtórka z algebry i statystyki

2 1. Pojęcie normy, normy wektora [Kiełbasiński, Schwetlick] wektor x R d x =(x1,x2,..., xd) T wektor, punkt w przestrzeni d-wymiarowej norma wektora własności (1) kxk > 0, kxk =0tylko wtedy, gdy x =0 (2) kaxk = a kxk (3) kx + yk 6 kxk + kyk norma typu suma kxk 1 = x1 + x xd = X d xi nieujemna liczba rzeczywista (skalar) x2 r d=2 -r r x1 -r Okrąg o promieniu r

3 norma typu maksimum kxk =max x i nieujemna liczba rzeczywista (skalar),..,d x2 r d=2 -r r x1 -r Okrąg o promieniu r norma euklidesowa v uut kxk 2 = x T x = x x x 2 1/2 X d d = x 2 i nieujemna liczba rzeczywista (skalar) x2 r d=2 -r r x1 -r Okrąg o promieniu r

4 2. Normy macierzy norma macierzy A R m,d indukowana przez normę wektoratypup ( ) kaxkp n kak p =max : x 6= 0 =max kaxk kxk p : kxk p 6 1 p dla p =1 kak 1 = max j=1,...,d m X ai,j dla p =2 tzw. norma spektralna macierzy q kak 2 = λmax(a T A) dla p = kak = max,...,m d X j=1 ai,j o

5 3. Statystyki opisowe zmiennych losowych [Klonecki] ω zdarzenie losowe, ω Ω (Ω tzw. zbiór zdarzeń elementarnych) funkcja X(ω) R zmienna losowa (tu skalar, może być wektorem) dyskretne zmienne losowe gdy zbiór wartości przyjmowanych przez X(ω) jest przeliczalny wartość oczekiwana : EX = X ω Ω X(ω)P (ω) średnie X ważone prawdopodobieństwami (wielkość nie losowa!) wariancja varx = E (X EX) 2ª średni kwadrat odchylenia X od EX ważony prawdopodobieństwami ci agłe zmiennelosowe P (X (a, b)) = EX = f(x) funkcja gęstości prawdopodobieństwa Z Z b a f(x)dx xf(x)dx varx = Z (x EX) 2 f(x)dx 4. Popularne rozkłady rozkład jednostajny (ang. uniform distribution) U[a, b] f(x) = ½ 1 b a,gdyx (a, b) 0, w przeciwnym przypadku

6 EX = varx = Z b a Z b a x 1 µ b a dx = 1 b a x a + b b a b 2 a 2 2 = a + b 2 (b a)2 dx =... = 12 środek przedziału rozkład normalny (ang. normal distribution) N(m, σ 2 ) f(x) = 1 e (x m)2 2σ 2 EX = m varx = σ 2 2πσ rozkład wykładniczy f(x) = ½ αe αx,gdyx > 0 0, w przeciwnym przypadku EX = 1 α varx =? zadanie domowe pakiet STATISTICA hasło dystrybuanty w indeksie pomocy 5. Eksperyment x1,x2,..., xn ci ag liczb losowych (np. realizacje pewnej zmiennej losowej X)

7 6. Typy zbieżności probabilistycznych Fakt zbieżności ci agów deterministycznych (nie losowych) ^ _ ^ lim k = g ^ k ε>0 k0 k>k0 ak g < ε Szybkość zbieżności ci agów deterministycznych symbol o() rz ad niższy ak = o(bk) lim k ak bk =0(iobaci agi d aż adozera) symbol O() ta sama szybkość ak = O(bk) _ c< ak 6 c bk Ciagi zmiennych losowych {κk} tutaj operator limk nie wystarcza, gdyż warunek ak g < ε określa pewne zdarzenie losowe Definicja 1 Ci ag zmiennych losowych {κk} jest przy k zbieżny według prawdopodobieństwa (słabo) do κ # jeśli dla każdego ε > 0 zachodzi lim P k ( κk κ # > ε) =0,lubrównoważnie lim P k ( κk κ # < ε) =1 Wartość κ # nazywamy granic astochastyczn aci agu {κk} izapisujemy P lim k κ k = κ # (1) Zapis PlimN XN = X dla sekwencji wektorów losowych {XN}, oznacza, że XN X według prawdopodobieństwa, gdy N.

8 Definicja 2 Ci ag zmiennych losowych {κk} jest przy k zbieżny z prawdopodobieństwem 1 (mocno) do κ jeśli zachodzi P ( lim κ k = κ )=1 k Lemat 1 Ze zbieżności z prawdopodobieństwem 1 wynika zbieżność według prawdopodobieństwa. Definicja 3 Ci ag zmiennych losowych {κk} jest przy k zbieżny według średniej z potęg a r do κ jeśli zachodzi lim E κ k κ r =0 k w szczególności jest zbieżny według średniej z kwadratem (średniokwadratowo), gdy lim E(κ k κ ) 2 =0 k Definicja 4 Ciag zmiennych losowych {κk} ma szybkość zbieżności rzędu O(ek) według prawdopodobieństwa przy k (tj. asymptotycznie), gdzie {ek} jest ciagiem liczb dodatnich zbieżnym do zera, tzn. n wtedy i tylko wtedy, gdy κ k χ ek k że limk χ k =0. o κk = O(ek) według prawdopodobieństwa jest zbieżny według prawdopodobieństwa do zera dla każdego ci agu liczbowego {χ k },takiego Definicja 5 Ciag zmiennych losowych {κk} ma szybkość zbieżności rzędu O(ek) według średniej z kwadratem przy k jeżeli istnieje stała 0 c<, taka, że Eκ 2 k cek Lemat 2 Jeżeli κk = O(ek) według średniej z kwadratem, to κk = O( ek) według prawdopodobieństwa. Definicja 6 Mówimy, że ciag zmiennych losowych Xk jest zbieżny według rozkładu do zmiennej losowej X, gdy lim F k(x) =F (x) k

9 7. Relacje (zwi azki) pomiędzy różnymi typami zbieżności Lr odp. szybko P1 P odp. szybko D Dowód faktu P 1= P oczywisty, skoro P (limk κk = κ )=1,to P k=1 P ( κ k κ < ε) < i aby szereg ten był zbieżny, musi zachodzić P ( κk κ < ε) 0 dla k Dowód faktu Lr = P zdefinicji Z Z Z E κk κ r = κk κ r dω > κk κ r dω > ε r dω = ε r P ( κk κ > ε) Ω { κk κ >ε} { κk κ >ε} azatem P ( κk κ > ε) 6 1 ε r E κ k κ r w szczególność dlar =2i κ = Eκ P ( κ Eκ > ε) 6 1 ε 2varκ Dowód faktu P k=1 P ( κ k κ < ε) < i κk p κ = κ k p1 κ

10 P (sup k>k0 κk κ > ε) =P ( κk κ > ε dla pewnego (konkretnego) k > k0) =P 6 X P ( κk κ > ε) 0, bo szereg jest zbieżny, zaś k0 k=k0 Przykład jeśli P ( κk κ < ε) =O( 1 k ) wtedy zachodzi κ p k κ p1, ale nie zachodzi κ k κ Problem p jeżeli κk κ,gdyk, to czy wtedy zachodzi g(κ k) p g(κ ),gdyk??? Tak pod warunkiem, że g() jest funkcj aci agł a w punkcie κ Ã [ k=k0! ( κk κ > ε) 6

11 8. Mocne Prawo Wielkich Liczb Kołmogorowa (wersja podstawowa) Założenia (a) X1,X2,..., XN jest ciagiem zmiennych losowych typu i.i.d. niezależnych i o tym samym rozkładzie (ang independent and identically distributed sequence of random variables) (b) istnieje EXi = m< Teza 1 N N X Xi p1 m, gdyn inne wersje MPWL patrz [Feller], [Krzyśko], [Ninness] 9. Mocne Prawo Wielkich Liczb Kołmogorowa (wersja bez wymogu i.i.d.) Założenia (a) X1,X2,..., XN jest ciagiem niezależnych zmiennych losowych, w ogólności o różnych rozkładach (b) istniej a EXi = mi < (c) istniej a varxi = σ 2 i < (d) P Teza σ 2 i i < 2 1 N N X Xi 1 N N X mi p1 0, gdyn

12 10. Centralne Twierdzenie Graniczne Lindenberga Levy ego Założenia (a) X1,X2,..., XN ci ag typu i.i.d. (maj a ten nam, ale dowolny rozkład! niekoniecznie normalny) (b) istnieje EXi = m< (c) istnieje varxi = σ 2 < Teza P N X i Nm σ D N (0, 1), gdyn N Wnioski fundamentalne dla zagadnienia estymacji P 1 N N X i m D 1 N σ N (0, 1) N N X Xi D σ 2 N (m, N ) Oszacowanie dokładności przybliżenia nierówność Barry-Essena P N oznaczmy κn = X i Nm σ N sup x FκN (x) Φ(x) E Xi m 3 σ 3 N = O µ 1 N

13 11. Analiza korelacyjna procesów kowariancja miara zależności liniowej cov(x, Y )=E {(X EX)(Y EY )} cov(x, Y ) 6 varxvary korelacja (znormalizowana kowariancja) ξ(x, Y )= cov(x, Y ) ξ(x, Y ) 6 1 varxvary pojęcie procesu losowego (stochastycznego) X(ω,t) dla ustalonego momentu czasu t = t0 otrzymujemy zmienn alosow a (ω) Xt0 funkcja autokowariancji procesu losowego (stacjonarnego) miara zależności liniowej pomiędzy o przesunięt Xt0 a o τ zmienn a Xt0+τ AX(τ) =cov(xt0,x t0+τ), AX(0) = σ 2 X funkcja autokorelacji procesu losowego rx(τ) = cov(x,x t0 p t0+τ) varx varx t0 t0+τ = A X(τ) σ 2 X, rx(0) = 1 funkcja kowariancji wzajemnej dwóch procesów X(ω,t) i Y (ω,t) WX,Y (τ) =cov(xt0,y t0+τ) funkcja korelacji wzajemnej dwóch procesów X(ω,t) i Y (ω,t) rx,y (τ) = W X,Y (τ) σxσy

14 12. Przejście białego szumu przez układ dynamiczny X yk = γ i uk i Założenia (a) {uk} proces typu i.i.d. (b) układ jest asymptotycznie stabilny tzn. P γ i < (c) dla uproszczenia prezentacji niech Euk =0i varuk =1 Autokowariancja procesu uk ½ = varu k =1,dlaτ =0 Au(τ) = Eukuk+τ = =0,dla τ 6= 0(na podstawie niezależności uk i uk+τ izałożenia (c)) ru(τ) = Au(τ) (patrz założenie (c)) Własości procesu yk Eyk = E varyk = var X γ i uk i = Ã X γ i uk i Ay(τ) = Eykyk+τ = E X! Ã X Eγ i uk i = Euk = X γ i uk i j=0 X γ i =0 var (γ i uk i) =varuk X γ j uk+τ j! = X γ 2 i = E {(γ 0 uk + γ 1 uk 1 + γ 2 uk )(γ 0 uk+τ + γ 1 uk+τ 1 + γ 2 uk+τ γ τ uk + γ τ+1 uk )} = varuk X γ i γ i+τ

15 13. Popularne nierówności Nierówność Czebyszewa P ( κ Eκ > ε) 6 1 ε 2varκ Nierówność Barry-Essena P N oznaczmy κn = X i Nm σ N sup x FκN(x) Φ(x) E Xi m 3 σ 3 N = O µ 1 N Nierówność Jensena g() funkcja wypukła Eg(X) > g(ex) Nierówność Höldera kxk p = (EX p ) 1/p tzw. p-norma zmiennej losowej E XY 6 kxk p ky k p 0,gdzie 1 p + 1 p 0 =1 Nierówność Schwartza(p =2, p 0 =2) EXY 6 E XY 6 EX 2 EY 2 Nierówność Rao-Cramera E(θN θ ) 2 > N R 1 ³ f(x,θ 2 ) θ f(x, θ )dx