TESTY LOSOWOŚCI. Badanie losowości próby - test serii.

Transkrypt

1 TESTY LOSOWOŚCI Badaie losowości próby - test serii. W wielu zagadieiach wioskowaia statystyczego istotym założeiem jest losowość próby. Prostym testem do weryfikacji tej własości jest test serii. 1

2 Dla rozpatrywaego ciągu daych statystyczych obliczamy mediaę m e (wartość środkowa). Jeśli x 1 x... x dae uporządkowae to m e x1 1 x x dlaieparzystych dlaparzystych

3 Przykład. Dla daych (po uporządkowaiu),, 3, 3, 4, 5, 5, 5, 5 mediaą jest 4. Dla daych (po uporządkowaiu),,, 3, 3, 4, 5, 5, 5, 5 mediaą jest 3,5. 3

4 Elemetom próby przypisujemy symbol a lub b: a - gdy x i > m e, b - gdy x i < m e (elemetów x i = m e ie rozpatrujemy). Serie to podciągi złożoe z jedakowych symboli. 4

5 Rozpatrujemy hipotezy H 0 (elemety próby mają charakter losowy), H 1 (elemety próby ie mają charakteru losowego), Stosujemy statystykę: U = liczba serii 5

6 Zbiór krytyczy: K = (-; k 1 > < k ; ) gdzie k 1 odczytujemy z tablicy dla poziomu istotości / i liczb 1 oraz, gdzie k odczytujemy z tablicy dla poziomu istotości 1 - / i liczb 1 oraz, gdzie 1 - liczba symboli a, - liczba symboli b, Decyzje: Jeśli U K to H 0 odrzucamy, Jeśli U K to ie ma podstaw do odrzuceia H 0. 6

7 7 Uwaga. Gdy 1 lub jest większe od 0, to liczba serii ma w przybliżeiu rozkład 1) ( 1; N Dla rozkładu rówomierego i bardzo dużych moża stosować rozkład ; N

8 Tablica rozkładu serii Tablica dla = 0,05: (tablica jest symetrycza)

9 1 4 Tablica rozkładu serii Tablica dla = 0,975: (tablica jest symetrycza)

10 Przykład W celu zbadaia rozkładu wydajości pracy zarejestrowao czas wykoaia detalu przez 15 wylosowaych pracowików i otrzymao wyiki (mi): 16, 0, 5, 34,, 33, 47, 30, 8, 19,, 40, 36, 31, 38. Sprawdzimy a poziomie istotości 0,05 hipotezę, że wybór próby był losowy. 10

11 Rozwiązaie. Wyzaczamy mediaę ( po uporządkowaiu daych iemalejąco) i otrzymujemy m e = 30. Kolejym daym przyporządkowujemy symbole a i b: b b b a b a a b b b a a a a Liczba serii wyosi u = 6 Z tablic rozkładu serii odczytujemy K = (-; 3> < 1 ; ) Poieważ u K to ie ma podstaw do odrzuceia hipotezy H 0, zatem możemy sądzić, że próba ma charakter losowy. 11

12 Badaie losowości próby - ogóly test serii. Rozpatrzmy rodzię testów serii do badaia losowości. Ustalamy liczbę 0 < p < 1. Dla rozpatrywaego ciągu daych statystyczych obliczamy kwatyl x p (wartość dzieląca uporządkowae dae a części p% i (1 - p)%). Liczbę p azywamy rzędem kwatyla. Elemetom próby przypisujemy symbol a lub b: a - gdy x i > x p, b - gdy x i < x p (elemetów x i = x p ie rozpatrujemy). Serie to podciągi złożoe z jedakowych symboli. 1

13 Rozpatrujemy hipotezy H 0 (elemety próby mają charakter losowy), H 1 (elemety próby ie mają charakteru losowego), Stosujemy statystykę: R = liczba serii 13

14 Statystyka ta ma parametry: ER p1 p p 1 p, D R 4p1 p1 3p1 p p1 p3 10 p1 p, gdzie to długość badaego ciągu, a p to rząd kwatyla. Dla dużych statystyka R ER U D R jest zmieą losową o asymptotyczym rozkładzie ormalym N(0, 1). 14

15 Zbiór krytyczy: K = (-; -k> < k ; ) gdzie k odczytujemy z tablicy N(0, 1) dla poziomu istotości 1- /. Decyzje: Jeśli U K to H 0 odrzucamy, Jeśli U K to ie ma podstaw do odrzuceia H 0. 15

16 Uwaga Zgodość uzyskaej liczby serii poszczególych długości z rozkładem teoretyczym moża zbadać wykorzystując test zgodości chi-kwadrat. Po wyzaczeiu liczby wystąpień każdej z długości serii symboli a lub b w badaym ciągu obliczamy statystykę testową: U N k E k Ek k gdzie N k uzyskaa liczba serii długości k, k k E k k 3 p 1 p p 1 p wartość teoretycza liczby serii długości k w ciągu o długości, kwatyla rzędu p. Statystyka U ma w przybliżeiu rozkład o r 1 stopiach swobody, gdzie r jest liczbą długości serii, które zaobserwowao., 16

17 Hipoteza zerowa H 0 ( Ciąg ma charakter losowy). Hipoteza alteratywa H1( losowego). Poziom istotości. Ciąg ie ma charakteru Obliczamy wartość u statystyki U. Wyzaczamy zbiór krytyczy K k ; ), gdzie k wyzaczamy z tablicy rozkładu z r - 1 stopiami swobody. Y k P r 1, Podejmujemy decyzję: odrzucamy hipotezę H 0, gdy przyjmujemy hipotezę H 0, gdy u K u K 17

18 Test losowości Testowaie losowości geeratora ciągu biarego. Hipoteza zerowa H 0 ( Ciąg ma charakter losowy). Hipoteza alteratywa H1( losowego). Ciąg ie ma charakteru poziom istotości. Weryfikacja powyższych hipotez za pomocą testu przebiega astępująco: 1. Geerujemy długi biary ciąg losowy. Dzielimy go a bloki p. 4-bitowe. liczba bloków, > 80, k liczba możliwych wartości w bloku, (dla bloków -bitowych k = 4 liczb dwubitowych, dla bloków 4-bitowych k = 16 liczb czterobitowych) 18

19 1. Przyjmujemy, że p i k. 3. Wyzaczamy liczbę i wystąpień i tej wartości we wszystkich blokach, i = 1,,, k. k i i1 4. Obliczamy u k i1 ( i p p i i ) 1 k i1 p i i 5. Wyzaczamy zbiór krytyczy obustroy K 0 ; k1 k ; ) gdzie k 1,k wyzaczamy z tablicy rozkładu z k - 1 stopiami swobody., PY k k 1, Y k 1 1 P k 1 19

20 Podejmujemy decyzję: odrzucamy hipotezę H 0, gdy przyjmujemy hipotezę H 0, gdy u K u K Test pokerowy 4 bitowy. Hipoteza zerowa H 0 ( Ciąg ma charakter losowy). poziom istotości. Geerujemy długi biary ciąg losowy. Dzielimy go a bloki 4-bitowe. liczba bloków, > 80, k liczba możliwych wartości w bloku, dla bloków 4-bitowych k = 16 liczb czterobitowych) 1 Przyjmujemy, że p i 16. Wyzaczamy liczbę i wystąpień i tej wartości we wszystkich blokach, i = 1,,, i i1 0

21 Obliczamy u i i1 6. Wyzaczamy zbiór krytyczy obustroy K 0 ; k1 k ; ) gdzie k 1,k wyzaczamy z tablicy rozkładu z k - 1 stopiami swobody. PY k 1 k1 1, P Y k 1 k, Podejmujemy decyzję: Nie ma podstaw do odrzuceia ciągu gdy k 1 u k 1

22 Wyzaczaie liczby jedyek w ciągu biarym Przykład. (test moobitowy) Wyzaczaie liczby jedyek w rówomierym ciągu biarym. Niech = 10000, poziom istotości = 0,01. H ( p 0,5), H ( p 0,5) 0 1 K ( ; k k ; ), ( k) 1 W 0,5 U 0,5(1 0,5) gdzie W średia liczba jedyek w ciągu. Wtedy k =,58, K ( ; k k ; ) = = ( ;,58,58 ; )

23 Aby test był pozytywy dla geeratora liczba jedyek k powia być w graicach k 0,5, ,58 0,5(1 0,5) Czyli od 487 do 518 Zadaie: wykoać powyższy przykład dla poziomu istotości = 0,001. Test etropii (Maurera) Geerujemy długi biary ciąg losowy. Dzielimy go a bloki L-bitowe (zwykle L = 8,..., 16). Q sekwecja iicjująca, K sekwecja testowa, Długość próbki N = (Q + K)L. Uwaga, L Q 5, K Q 8 zatem dla p. L = 8 Q

24 Statystyka testowa U L.Kowalski - Test losowości 1 K QK 1 Q log A A odległość -tego bloku od jego ostatiego wystąpieia (lub gdy blok występuje pierwszy raz), Stawiamy hipotezę: H 0 (etropia istota), Pożądaa jest istota etropia. Zbiór krytyczy K r 0 ; k1 k ; ) = Wyzaczaie k1 k : k1 E k, k E k ( k) 1 gdzie, dla poziomu istotości. V K K - długość sekwecji testowej Zestawieie wartości E, V dla przykładowych L. 4

25 L E V 8 7, ,38 9 8, , , , , , , , , , , , , , , ,41 Nie ma podstaw do odrzuceia ciągu gdy k u 1 k 5

26 Testy losowości - testy kombiatorycze. Test permutacji. Hipoteza zerowa H 0 ( Ciąg ma charakter losowy). poziom istotości. Geerujemy ciąg losowy. Dzielimy go a bloki m- elemetowe. Przyporządkowujemy każdemu blokowi permutację m elemetową wg kolejości liczb w bloku (wg kolejości rosącej), Wyzaczamy prawdopodobieństwo teoretycze 1 permutacji ( p i m! ) przy założeiu H 0, 6

27 Badamy testem chi kwadrat zgodość zaobserwowaej liczby wystąpień poszczególych permutacji z rozkładem teoretyczym (rozkład jedostajy) Wyzaczamy zbiór krytyczy K k ; ), gdzie k wyzaczamy z tablicy rozkładu z m! - 1 stopiami swobody. Y k P m! 1, Podejmujemy decyzję: odrzucamy hipotezę H 0, gdy przyjmujemy hipotezę H 0, gdy u K u K 7

28 Dae: 69, 49, 19, 73, 68, 71, 97,,04, 4, 40, 73, 8, 36, 96, 10, 63, 9, 41, 37, 3, 1, 95, 16, 33, 40, 50, 3, 9, 31, 56, 59, 9, 13, 15, 60, 63, 67, 18, 10, 83, 67, 18, 08, 57, 1, 8, 54, 01, 37, 9, 81, 33, 4, 34, 8, 67, 70, 0, 85, 90, 35, 99, 71, 50, 94, 73, 64, 76, 19, 84, 54, 01, 7,, 40, 30, 53, 14, 41, 70 8