1. Pojęcie normy, normy wektora [Kiełbasiński, Schwetlick]

Transkrypt

1 1. Pojęcie normy, normy wektora [Kiełbasiński, Schwetlick] wektor x R d x =(x 1,x 2,..., x d ) T wektor, punkt w przestrzeni d-wymiarowej norma wektora własności (1) kxk > 0, kxk =0tylko wtedy, gdy x =0 (2) kaxk = a kxk (3) kx + yk 6 kxk + kyk norma typu suma kxk 1 = x 1 + x x d = dx x i nieujemna liczba rzeczywista (skalar) x2 r d=2 -r r x1 -r Okrąg o promieniu r

2 norma typu maksimum kxk =max,..,d x i nieujemna liczba rzeczywista (skalar) x2 r d=2 -r r x1 -r Okrąg o promieniu r norma euklidesowa v uut kxk 2 = x T x = x x x 2 1/2 dx d = x 2 i nieujemna liczba rzeczywista (skalar) x2 r d=2 -r r x1 -r Okrąg o promieniu r

3 2. Normy macierzy norma macierzy A R m,d indukowana przez normę wektoratypup ( ) kaxkp n o kak p =max : x 6= 0 =max kaxk kxk p : kxk p 6 1 p dla p =1 kak 1 = max j=1,...,d mx a i,j dla p =2 tzw. norma spektralna macierzy dla p = kak 2 = kak = max,...,m q λ max (A T A) dx a i,j j=1

4 3. Statystyki opisowe zmiennych losowych [Klonecki] ω zdarzenie losowe, ω Ω (Ω tzw. zbiór zdarzeń elementarnych) funkcja X(ω) R zmienna losowa (tu skalar, może być wektorem) dyskretne zmienne losowe gdy zbiór wartości przyjmowanych przez X(ω) jest przeliczalny wartość oczekiwana : EX = X ω Ω X(ω)P (ω) średnie X ważone prawdopodobieństwami (wielkość nie losowa!) wariancja varx = E (X EX) 2ª średni kwadrat odchylenia X od EX ważony prawdopodobieństwami ciagłe zmiennelosowe 4. Popularne rozkłady P (X (a, b)) = EX = f(x) funkcja gęstości prawdopodobieństwa Z Z b a f(x)dx xf(x)dx varx = rozkład jednostajny (ang. uniform distribution) U[a, b] Z (x EX) 2 f(x)dx f(x) = ½ 1 b a,gdyx (a, b) 0, w przeciwnym przypadku

5 EX = varx = Z b a Z b a x 1 b a dx = 1 b 2 a 2 b a 2 µ x a + b 2 = a + b (b a)2 dx =... = b a 12 środek przedziału rozkład normalny (ang. normal distribution) N(m, σ 2 ) rozkład wykładniczy f(x) = 1 2πσ e (x m)2 2σ 2 EX = m varx = σ 2 f(x) = ½ αe αx,gdyx > 0 0, w przeciwnym przypadku EX = 1 α varx =? zadanie domowe pakiet STATISTICA hasło dystrybuanty w indeksie pomocy 5. Eksperyment x 1,x 2,..., x N ci ag liczb losowych (np. realizacje pewnej zmiennej losowej X)

6 6. Typy zbieżności probabilistycznych Fakt zbieżności ciagów deterministycznych (nie losowych) lim a k = g ^ _ ^ a k g < ε k ε>0 k>k 0 Szybkość zbieżności ciagów deterministycznych symbol o() rzad niższy k 0 a k a k = o(b k ) lim =0(iobaci agi daż adozera) k b k symbol O() ta sama szybkość a k = O(b k ) _ c< a k 6 c b k Ciagi zmiennych losowych {κ k } tutaj operator lim k nie wystarcza, gdyż warunek a k g < ε określa pewne zdarzenie losowe Definicja 1 Ciag zmiennych losowych {κ k } jest przy k zbieżny według prawdopodobieństwa (słabo) do κ # jeśli dla każdego ε > 0 zachodzi lim P ( κ k κ # > ε) =0,lubrównoważnie lim P ( κ k κ # < ε) =1 k k Wartość κ # nazywamy granicastochastyczn aci agu {κ k } izapisujemy P lim k κ k = κ # (1) Zapis Plim N X N = X dla sekwencji wektorów losowych {X N }, oznacza, że X N X według prawdopodobieństwa, gdy N.

7 Definicja 2 Ciag zmiennych losowych {κ k } jest przy k zbieżny z prawdopodobieństwem 1 (mocno) do κ jeśli zachodzi P ( lim k κ k = κ )=1 Lemat 1 Ze zbieżności z prawdopodobieństwem 1 wynika zbieżność według prawdopodobieństwa. Definicja 3 Ciag zmiennych losowych {κ k } jest przy k zbieżny według średniej z potęga r do κ jeśli zachodzi lim E κ k κ r =0 k w szczególności jest zbieżny według średniej z kwadratem (średniokwadratowo), gdy lim E(κ k κ ) 2 =0 k Definicja 4 Ciag zmiennych losowych {κ k } ma szybkość zbieżności rzędu O(e k ) według prawdopodobieństwa przy k (tj. asymptotycznie), gdzie {e k } jest ciagiem liczb dodatnich zbieżnym do zera, tzn. n o wtedy i tylko wtedy, gdy κk e k χ k że lim k χ k =0. κ k = O(e k ) według prawdopodobieństwa jest zbieżny według prawdopodobieństwa dozeradlakażdego ciagu liczbowego {χ k },takiego Definicja 5 Ciag zmiennych losowych {κ k } ma szybkość zbieżności rzędu O(e k ) według średniej z kwadratem przy k jeżeli istnieje stała 0 c<, taka, że Eκ 2 k ce k Lemat 2 Jeżeli κ k = O(e k ) według średniej z kwadratem, to κ k = O( e k ) według prawdopodobieństwa. Definicja 6 Mówimy, że ciag zmiennych losowych X k jest zbieżny według rozkładu do zmiennej losowej X, gdy lim k F k(x) =F (x)

8 7. Relacje (zwiazki) pomiędzy różnymi typami zbieżności Lr odp. szybko P1 P odp. szybko Dowód faktu P 1= P oczywisty, skoro P (lim k κ k = κ )=1,to P k=1 P ( κ k κ < ε) < i aby szereg ten był zbieżny, musi zachodzić P ( κ k κ < ε) 0 dla k Dowód faktu Lr = P zdefinicji Z Z Z E κ k κ r = κ k κ r dω > κ k κ r dω > ε r dω = ε r P ( κ k κ > ε) azatem w szczególność dlar =2i κ = Eκ Ω { κ k κ >ε} D P ( κ k κ > ε) 6 1 ε r E κ k κ r { κ k κ >ε} P ( κ Eκ > ε) 6 1 ε 2varκ Dowód faktu P k=1 P ( κ k κ < ε) < i κ k p κ = κ k p1 κ

9 P (sup k>k 0 κ k κ > ε) =P ( κ k κ > ε dla pewnego (konkretnego) k > k 0 )=P 6 X k=k 0 P ( κ k κ > ε) 0, bo szereg jest zbieżny, zaś k 0 Przykład jeśli P ( κ k κ < ε) =O( 1 k ) wtedy zachodzi κ p k κ p1, ale nie zachodzi κ k κ Problem p jeżeli κ k κ,gdyk, to czy wtedy zachodzi g(κ k ) p g(κ ),gdyk??? Tak pod warunkiem, że g() jest funkcjaci agła w punkcie κ Ã [ k=k 0 ( κ k κ > ε)! 6

10 8. Mocne Prawo Wielkich Liczb Kołmogorowa (wersja podstawowa) Założenia (a) X 1,X 2,..., X N jest ciagiem zmiennych losowych typu i.i.d. niezależnych i o tym samym rozkładzie (ang independent and identically distributed sequence of random variables) (b) istnieje EX i = m< Teza 1 NX p1 X i m, gdyn N inne wersje MPWL patrz [Feller], [Krzyśko], [Ninness] 9. Mocne Prawo Wielkich Liczb Kołmogorowa (wersja bez wymogu i.i.d.) Założenia (a) X 1,X 2,..., X N jest ciagiem niezależnych zmiennych losowych, w ogólności o różnych rozkładach (b) istnieja EX i = m i < (c) istnieja varx i = σ 2 i < (d) P σ 2 i i < 2 Teza 1 NX X i 1 NX p1 m i 0, gdyn N N

11 10. Centralne Twierdzenie Graniczne Lindenberga Levy ego Założenia (a) X 1,X 2,..., X N ci ag typu i.i.d. (maja ten nam, ale dowolny rozkład! niekoniecznie normalny) (b) istnieje EX i = m< (c) istnieje varx i = σ 2 < Teza P N X i Nm σ D N (0, 1), gdyn N Wnioski fundamentalne dla zagadnienia estymacji 1 P N N X i m D 1 σ N (0, 1) N N Oszacowanie dokładności przybliżenia nierówność Barry-Essena P N oznaczmy κ N = X i Nm σ N sup F κn (x) Φ(x) 6 33 x 4 E X i m 3 σ 3 N NX = O X i D N (m, σ 2 N ) µ 1 N

12 11. Analiza korelacyjna procesów kowariancja miara zależności liniowej cov(x, Y )=E {(X EX)(Y EY )} cov(x, Y ) 6 varxvary korelacja (znormalizowana kowariancja) ξ(x, Y )= cov(x, Y ) varxvary ξ(x, Y ) 6 1 pojęcie procesu losowego (stochastycznego) X(ω,t) dla ustalonego momentu czasu t = t 0 otrzymujemy zmiennalosow a X t0 (ω) funkcja autokowariancji procesu losowego (stacjonarnego) miara zależności liniowej pomiędzy X t0 o τ zmienna X t0 +τ o przesunięta A X (τ) =cov(x t0,x t0 +τ), A X (0) = σ 2 X funkcja autokorelacji procesu losowego r X (τ) = cov(x t 0,X t0 +τ) p varxt0 varx t0 +τ = A X(τ) σ 2, r X (0) = 1 X funkcja kowariancji wzajemnej dwóch procesów X(ω,t) i Y (ω,t) W X,Y (τ) =cov(x t0,y t0 +τ) funkcja korelacji wzajemnej dwóch procesów X(ω,t) i Y (ω,t) r X,Y (τ) = W X,Y (τ) σ X σ Y

13 12. Przejście białego szumu przez układ dynamiczny y k = X γ i u k i Założenia (a) {u k } proces typu i.i.d. (b) układ jest asymptotycznie stabilny tzn. P γ i < (c) dla uproszczenia prezentacji niech Eu k =0i varu k =1 Autokowariancja procesu u k ½ = varuk =1,dlaτ =0 A u (τ) = Eu k u k+τ = =0,dlaτ 6= 0(na podstawie niezależności u k i u k+τ izałożenia (c)) r u (τ) = A u (τ) (patrz założenie (c)) Własości procesu y k X X Ey k = E γ i u k i = Eγ i u k i = Eu k vary k = var à X! γ i u k i = X γ i =0 X var (γ i u k i )=varu k à X A y (τ) = Ey k y k+τ = E γ i u k i X j=0 γ j u k+τ j! = X γ 2 i X = E {(γ 0 u k + γ 1 u k 1 + γ 2 u k )(γ 0 u k+τ + γ 1 u k+τ 1 + γ 2 u k+τ γ τ u k + γ τ+1 u k )} = varu k γ i γ i+τ

14 13. Popularne nierówności Nierówność Czebyszewa P ( κ Eκ > ε) 6 1 ε 2varκ Nierówność Barry-Essena oznaczmy κ N = P N X i Nm σ N Nierówność Jensena g() funkcja wypukła Nierówność Höldera sup F κn (x) Φ(x) 6 33 x 4 E X i m 3 σ 3 N Eg(X) > g(ex) = O µ 1 N kxk p = (EX p ) 1/p tzw. p-norma zmiennej losowej Nierówność Schwartza(p =2, p 0 =2) E XY 6 kxk p ky k p 0,gdzie 1 p + 1 p 0 =1 EXY 6 E XY 6 EX 2 EY 2 Nierówność Rao-Cramera E(θ N θ ) 2 > N R ³ f(x,θ ) θ 1 2 f(x, θ )dx