WSTĘP DO METODY REPREZENTACYJNEJ Zawartość Podstawowe pojęcia... 2 Rodzaje schematów losowania... 5 Prosta próba losowa... 8 Prosta próba losowa - estymatory średniej i frakcji... 9 Losowanie warstwowe... 12 Losowanie zespołowe... 16
Podstawowe pojęcia Populacja generalna - kompletna zbiorowość jednostek, które chcemy badać. Wbrew pozorom zdefiniowanie populacji generalnej bywa niezwykle trudnym zadaniem. Wyobraź sobie sondaż wyborczy - co powinno być tu populacją generalną - ogół osób uprawnionych do głosowania? osoby deklarujące chęć wzięcia udziału w wyborach? osoby, które wzięły udział w poprzednich wyborach?, etc. Jednostka badania/obserwacji - obiekt dla którego dokonujemy pomiaru interesującej nas cechy statystycznej. Zdefiniowanie jednostki badania też nie zawsze jest oczywiste. Zwykle są to osoby, gospodarstwa domowe, firmy, etc. Próba - podzbiór populacji Jednostka losowania - jednostka, która może zostać poddana losowaniu. Na przykład w badaniu EU- SILC do próby losuje się gospodarstwa domowe, choć jednostkami badania są osoby. Populacja poddana próbkowaniu - część populacji, dla której elementy mają niezerowe prawdopodobieństwo znalezienia się w próbie
"Does research that is not based on a probability or random sample give one the right to generalize from the results of the study to the population at large? If a study is large enough and the sample broad enough, and if one generalizes carefully, yes" Shere Hite s "Women and Love: A Cultural Revolution in Progress" 1987, s. 778 W głośnej książce Shere Hite doszła m.in. do następujących wniosków: 84% kobiet będących w stałych związkach nie jest usatysfakcjonowanych emocjonalnie 70% spośród kobiet będących mężatkami od co najmniej 5 lat zdradziło męża 95% kobiet jest doświadcza fizycznego lub psychicznego znęcania się w bieżącym związku ze strony partnera Przedstawione wyniki spotkały się z ostra krytyką. Wskazywano m.in.: Rozesłała 100 000 ankiet, na które dostała 4500 odpowiedzi Ankiety zostały rozesłane do członkiń różnych organizacji kobiecych (coś jak nasze koła gospodyń wiejskich, kółka różańcowe, ale też organizacje wsparcia dla ofiar przemocy domowej) W ankiecie było 127 pytań, z których większość miała po kilka podpunktów, większość dotyczyła różnych aspektów przemocy w związkach Pytania były formułowane w sposób sugerujący odpowiedź, np. "Czy Twojemu partnerowi zdarza się traktować Cię z góry?" Autorka broniła wyników twierdząc, że zbadana próba była prawie identyczna pod względem podstawowych charakterystyk demograficznych (wiek, rasa, KMZ) do populacji kobiet w USA. Problem do przemyślenia. Spróbuj odpowiedzieć na pytanie postawione na górze strony. Co było tu populacją generalną, a co populacją poddaną próbkowaniu?
Rodzaje schematów losowania Losowanie proste - najprostszy sposób losowania elementów do badania. Każdy element populacji ma równe prawdopodobieństwo trafienia do próby. Operatem losowania są wszystkie jednostki w populacji. Losowanie warstwowe (stratified sampling) - populacja dzielona jest na warstwy. Warstwy są grupami jednostek w populacji, wyodrębnionymi ze względu na określone cechy. W praktyce najczęściej warstwy związane są z podziałami administracyjnymi. Elementy do próby losowane są oddzielnie z każdej warstwy. Losowanie zespołowe (cluster sampling) - populacja dzielona jest na zespoły. Do próby losowane są całe zespoły. Na przykład losujemy szkoły, w których przeprowadzamy badanie uczniów. Losowania warstwowo-zespołowe (stratified cluster sampling) - kombinacja dwóch powyższych. Losowanie systematyczne - do próby brana jest co k-ta jednostka w uporządkowanym zbiorze jednostek z populacji. Problem do przemyślenia. Jaki schemat losowania wykorzystywany jest w badaniach społeczno-ekonomicznych realizowanych przez GUS.
Przykład. Losujemy wg dwóch schematów próbę losową, by oszacować frakcję białych kółek. Problem do przemyślenia. Przy którym schemacie losowania błąd szacunku jest wyższy?
Prosta próba losowa Prosta próba losowa jest podstawową formą losowania i stanowi teoretyczną podstawę dla bardziej zaawansowanych metod doboru próby. Prosta próba może być losowana: ze zwracaniem (każda jednostka może być wylosowana wielokrotnie) bez zwracania (każda jednostka może być wylosowana tylko jeden raz) Ponieważ wylosowanie dwukrotnie tej samej jednostki nie zwiększa zawartości informacji w próbie preferowane jest losowanie bez zwracania. Uwaga! W prostej próbie każda jednostka populacji generalnej ma jednakowe prawdopodobieństwo znalezienia się w próbie. Ale nie każdy schemat losowania, w którym każda jednostka ma jednakowe prawdopodobieństwo wylosowania jest prostą próbą. Z prostą próbą losową mamy do czynienia wtedy, gdy każda możliwa do wylosowania próba ma jednakowe prawdopodobieństwo wylosowania równe /( ) dla losowania bez zwracania, gdzie N oznacza liczebność populacji, a n liczebność próby.
Prosta próba losowa - estymatory średniej i frakcji Niech oznacza wartość parametru - średniej w próbie dla badanej cechy statystycznej. W schemacie PPL do szacowania średniej w populacji używamy średniej z próby: = =. (1) Natomiast wariancję estymatora obliczamy ze wzoru: ( ) = () 1, (2) gdzie () jest wariancją w populacji. Wyrażenie (1 ) określane jest jako korekta związana ze skończoną populacją. Gdy losujemy całą populację, to N=n i wariancja średniej jest równa zero. Im próba jest mniejsza w porównaniu z populacją, tym wariancja oszacowania jest większa. Zwykle wartość () jest nieznana, wykorzystujemy wtedy szacunek oparty o wariancję z próby: Wariancję średniej szacujemy jako: = ( ). (3) ( ) =! 1. (4) Błąd standardowy oszacowania średniej jest pierwiastkiem powyższego oszacowania: "#( ) = $! (1 ). (5)
Prosta próba losowa - estymatory średniej i frakcji c.d. Szacowanie frakcji można potraktować jako szczególny przypadek szacowania średniej, gdy badana cecha przyjmuje tylko dwie wartości 0 i 1. Wszystkie wzory z poprzedniej strony są więc w pełni użyteczne: % = = ; (6) = ( % ) = % (1 % ); (7) "#( ) = $ ()(()) (1 ). (8) Problem do przemyślenia. Udowodnij równanie (7)
Wagi statystyczne Niech * oznacza prawdopodobieństwo znalezienia się w próbie dla i-tej jednostki. Przez wagę wynikającą ze schematu losowania próby (sampling weight) będziemy definiować wagę postaci: + =, -. (9) Wagę możemy interpretować jako liczbę obserwacji z populacji generalnej reprezentowanych przez obserwację i-tą w próbie. W prostej próbie losowej wszystkie obserwację mają jednakowe prawdopodobieństwo znalezienia się w próbie równe.//, w związku z czym wszystkie jednostki mają równe wagi równe //.. Możemy o każdej jednostce myśleć jak o reprezentującej siebie i //. 1 pozostałych jednostek. Próba, w której wszystkie jednostki posiadają jednakowe wagi nazywana jest nieraz próbą samoważącą. Można łatwo zauważyć, że suma wag dla prostej próby losowej jest równa liczebności populacji: + = //. =. = /. (10)
Losowanie warstwowe Przyczyny używania losowania warstwowego: zabezpiecza przed uzyskaniem mało prawdopodobnej "złej" próby - wyobraź sobie próbę 100 elementową losowaną z populacji generalnej. Prawdopodobieństwo wylosowania próby zawierającej zdecydowaną większość kobiet jest bardzo niskie, ale niezerowe przy PPL. Nawet niewielkie zaburzenie proporcji płci może wpływać niekorzystnie na wartości oszacowań. Co więcej, jeśli cech wpływających na wartości cechy statystyczne jest dużo, to prawdopodobieństwo wylosowania próby, w której jedna z cech będzie miała zaburzony rozkład w stosunku do populacji jest również większe. Czasem możemy zaproponować warstwy, które nas przed tym uchronią - w naszym przypadku możemy wylosować po 50 kobiet i mężczyzn i mieć taki sam bilans płci w próbie jak i w populacji. pozwala uzyskać zadowalające badacza błędy oszacowań dla wyróżnionych warstw - wyobraź sobie populację, w której kobiety stanowią rzadkość (np. górnicy pod ziemią). Chcąc oszacować wpływ pracy w górnictwie na zdrowie dla mężczyzn i kobiet warto wylosować oddzielnie próbę mężczyzn i kobiet. Inaczej w próbie może znaleźć się na tyle niewiele kobiet, że wyniki badania będą bezwartościowe. Kontrolowanie wielkości podprób możliwe dzięki warstwom pozwala też obniżyć koszty badania. Błędy szacunku są zwykle mniejsze w próbie pochodzącej z doboru warstwowego, ponieważ każda warstwa posiada reprezentację proporcjonalną do jej udziału w populacji.
Losowanie warstwowe c.d. - oznaczenia W losowaniu warstwowym dzielimy populację N elementową na H warstw, z których każda posiada liczebność równą / 1. Liczebność wszystkich warstw jest równa liczebności całej populacji: / +/ + + / 4 = /. (11) Najprostszą odmianą losowania warstwowego jest losowanie według schematu prostej próby losowej wewnątrz warstw, gdzie liczebności prób w warstwach są proporcjonalne do liczebności warstw w populacji. Przez. 1 będziemy oznaczać liczebność próby w ramach warstwy h. Ponadto wprowadzimy oznaczenia: 1 - wartość parametru w warstwie h 1 - wartość cechy statystycznej dla i-tej jednostki znajdującej się w warstwie h Średnie dla warstw będziemy oznaczać jako: 1 = 6 1 6, (12) korzystając, że losowanie w warstwie jest przeprowadzone według schematu PPL, wariancję dla średniej warstwowej możemy szacować ze wzoru: 1 = 6 6 ( 1 1). (13)
Losowanie warstwowe c.d. - estymatory dla średniej Do szacowania wartości parametru m w próbie losowanej warstwowo będziemy używać średniej ważonej oszacowań średniej w warstwach, gdzie wagi będą proporcjonalne do liczebności warstw w populacji: ; = 789!: 6 4 1 (14) 1. Tak więc aby móc używać tej metody badacz musi znać proporcje warstw w populacji generalnej. Własności tego estymatora wynikają wprost z własności estymatora dla PPL: Nieobciążoność ; ) = #( 789!: 6 6 4 4 1 (15) #( 1) = 1 1 =. Błędy szacunku ;! ) = 4 6 1 6 6 ( 789!: 1 6 6 ; (16) ; ) = $ "#( 789!:! 6 4 1 6 1 6 6 6. (17)
Losowanie warstwowe c.d. - estymatory dla frakcji Do szacowania wartości frakcji będziemy używać tych samych wzorów co dla średniej, przyjmując, że frakcja jest średnią ze zmiennej przyjmującej wartości 0 i 1. Kożystamy więc ze wzorów 14-17, wstawiając jedna % 1 w miejsce 1 oraz 6 6 %) h <1 %) h = w miejsce 1 : ( 789!: ; = 789!: 6 4 1 (18) %) h ; ; %) ) = 4 h <%) h = 1 6 6 1 6 6 ; (19) ; ) = $ "#( 789!: 4 %) h <%) h = 1 6 1 6 6 6. (20)
Losowanie zespołowe Przyczyny używania losowania zespołowego: jest tanie i wygodne gdy niemożliwe jest zastosowanie "lepszego" schematu losowania (np. jak wylosować próbę klientów danego wyciągu narciarskiego lub próbę pszczelich uli w woj. mazowieckim?) populacja może być rozmieszczona na dużym obszarze i w ramach niego podzielona na zespoły (np. szkoły, miejscowości, zakłady pracy, zbiorniki wodne (ryby)). W takiej sytuacji losowanie zespołowe może okazać się dużo tańsze, bo nie wymaga odwiedzania wielu miejsc przez osoby zbierające dane (wyobraź sobie podróż do Suwałk czy Wetliny w celu przeprowadzenia jednego badania ankietowego). czasem nie mamy innej próby, próba zespołowa sama się losuje i trzeba mieć narzędzia do jej analizy. Wyobraź sobie wykopaliska archeologiczne - czy ich wyniki można opisać za pomocą schematu losowania zespołowego?
Losowanie zespołowe jest często mylone z losowaniem warstwowym - w obydwu schematach występują bowiem podgrupy populacji. W losowaniu warstwowym losujemy prostą próbę losową z każdej podgrupy (warstwy), w losowaniu zespołowym losujemy zaś prostą próbę losową spośród podgrup (zespołów). Przykład. Losujemy wg dwóch schematów próbę losową, by oszacować frakcję białych kółek. W losowaniu warstwowym wariancja estymatora zależy od zróżnicowania wewnątrz podgrup (warstw) - dla większej precyzji estymacji warstwy powinny być homogeniczne wewnątrz i różnić się pomiędzy sobą. W losowaniu zespołowym wariancja estymatora zależy w głównej mierze od zróżnicowania pomiędzy podgrupami (zespołami) - dla większej precyzji zespoły powinny nie różnić się między sobą i być możliwie maksymalnie zróżnicowane wewnątrz. Problem do przemyślenia. Uwaga - częstym błędem jest traktowanie próby pochodzącej z losowania zespołowego jako prostej próby losowej. Pomyśl o przykładach takiej sytuacji.
Losowanie zespołowe - podstawowe wzory. W populacji mamy Z zespołów, spośród których losujemy h zespołów. Rozważmy przypadek gdy liczebności we wszystkich zespołach są równe, tj.: / = / = = / > =. Całkowita wielkość próby wynosi / =.?. Zwróćmy uwagę, że każdy zespół możemy traktować jak pojedynczą obserwację (biorąc jej średnią lub sumę wartości) i całą próbę potraktować jako prostą próbę losową złożoną h elementów. W takim przypadku średnią będziemy obliczać jako średnią ze średnich w zespołach: ; =? C? D B =?. = (9óF8 @A!( (9óF8, (21) gdzie C B oznacza średnią w j-tym zespole. Wzór (21) jest taki sam jak w przypadku prostej próby losowej. Korzystając z faktu, że losowanie zespołów odbywa się zgodnie ze schematem prostej próby losowej wariancję estymatora (21) szacujemyy wg wzoru: gdzie: GH I ( @ I) = 1 @! JKLM > @ = Błąd standardowy dla średniej obliczamy ze wzoru: @, (22) ;) @ ( C @ D B @A!(. (23) "#( @ I) = $1 @! JKLM > @. (24)
Współczynnik deff i deft Losowanie zespołowe prowadzi z reguły do otrzymania próby zawierającej mniejszą ilość informacji niż prosta próba losowa o tej samej wielkości. Dzieje się tak dlatego, że obserwacje z tych samych zespołów są zwykle do siebie podobne w większym stopniu niż by były, gdyby było losowane całkowicie niezależnie. Mniejsza ilość informacji prowadzi do większej wariancji estymatorów, czyli ich niższej efektywności. Strata efektywności związana ze sposobem doboru próby w porównaniu do prostej próby losowej nazywana jest efektem schematu losowania lub efektem metody doboru próby (ang. design effect, deff). Efekt schematu losowania będziemy definiować jako iloraz wariancji estymatora dla danego schematu losowania w porównaniu do wariancji tego samego estymatora dla prostej próby losowej o tej samej liczebności. Problem do przemyślenia. Zinterpretuj wartość efektu schematu losowania równą dwa. Dla losowania zespołowego wartość współczynnika deff określamy jako: NOPP = 1 + (.Q 1)R gdzie R jest współczynnikiem określającym korelację wartości badanej cechy wewnątrz klas, a.q jest średnią liczebnością zespołu. Całkowitą zmienność badanej cechy można rozbić na zmienność międzygrupową i zmienność wewnątrzgrupową: S = S 7 + S T wtedy: R = 1 S 7 Problem do przemyślenia. Ile wynosi współczynnik deff jeśli wszystkie zespoły są jednoelementowe? Jak to zinterpretować? Ile wynosi współczynnik deff, gdy zmienność międzygrupowa (międzyzespołowa) jest równa zero? Dlaczego? S
Współczynnik deff i deft c.d. Współczynnik deft jest pierwiastkiem kwadratowym ze współczynnika deff i wskazuje ile razy zwiększa się błąd standardowy szacunku, w porównaniu z prostą próbą losową. Można go używać wprost do tworzenia przedziałów ufności, mnożąc szerokość przedziału przez jego wartość. Wartość współczynnika deff będzie różna dla poszczególnych pytań w ankiecie. Dla przykładu - dla dzieci z jednej klasy wyniki z testów kompetencji będą skorelowane, ale fakt bycia daltonistą już nie.
Losowanie systematyczne - szczególny przypadek losowania zespołowego Na losowanie systematyczne możemy spojrzeć jak na szczególny przypadek losowania zespołowego. Jeśli losujemy co j-tą jednostkę, to istnieje j możliwych do wylosowania prób. Tak więc jest to losowanie zespołowe z pojedynczym zespołem. W przybliżeniu wariancja oszacowania średniej w losowaniu systematycznym jest równa: GH I <!U!: ;= = (1 + (. 1)R) (). Nie da się jej oszacować używając wzoru (23), gdyż mamy tylko jeden wylosowany zespół. Dlatego zwykle używamy wzorów właściwych prostej próbie losowej, ewentualnie modyfikując wynik oszacowanym współczynnikiem deft. Problem do przemyślenia. Kiedy błąd standardowy oszacowania w losowaniu systematycznym będzie taki sam jak w prostej próbie losowej, a kiedy wyższy. Pomyśl o przykładach obydwu sytuacji.