Badania sondażowe Dobór próby do badania Rodzaje błędów w badaniach Agnieszka Zięba Zakład Badań Marketingowych Instytut Statystyki i Demografii Szkoła Główna Handlowa 1
Konstrukcja próby badawczej 2
Dobór respondentów do badania Analityk musi rozumieć podstawowe zasady projektowania badania sondażowego i umieć je tak modyfikować, by mogły służyć określonym celom. Aby odpowiednio dobrać jednostki do badania niezbędna jest znajomość pojęć takich jak: Populacja Próba - losowa - celowa Operat losowania Błędy w badaniu - losowe - nielosowe 3
Populacja Wywiad z kwestionariuszem ankietowym służy po to, aby na podstawie zgromadzonych za jego pomocą informacji możliwe było wnioskowanie o interesującej nas zbiorowości, czyli POPULACJI. POPULACJA wynika z celu badania, jest to zbiorowość, której jednostki mają jedną cechę wspólną, zaś pozostałe różne. Populacja musi być określona precyzyjnie. Przykład: Rodziny (jak traktować kohabitantów) Studenci SGH (co z przebywającymi na urlopie dziekańskim). 4
Cechy populacji Populacja może być: skończona (przeliczalna liczba jednostek pracownicy zakładu ich listę imienną można sporządzić) lub nieskończona (nieskończenie wiele jednostek osoby zwiedzające stare miasto Warszawy zbiorowość nieewidencjonowana np. bezdomni, nabywcy zupek marki GERBER, wspinacze wysokogórscy). Wiedza o populacji może być: bardzo rozległa i opierać się na dostępnych danych lub zweryfikowanych teoriach i hipotezach lub wiedza taka może w ogóle nie istnieć Skład populacji może być: nieustannie lub okresowo weryfikowany w postaci spisów i innych rejestrów (PESEL, REGON, TERYT, lista klientów banku) lub może nie istnieć możliwość utworzenia imiennej listy jednostek tworzących populację (kupujący proszki do prania marki VIZIR). 5
Badanie sondażowe może być realizowane jako: BADANIE PEŁNE (obejmujące wszystkie jednostki populacji) BADANIE FRAGMENTARYCZNE (obejmujące niektóre jednostki populacji, tzw. PRÓBĘ, jednostki te wybierane są wg określonych zasad zwanych METODAMI DOBORU PRÓBY) 6
Sposoby doboru próby DOBÓR LOSOWY DOBÓR CELOWY Jest potrzeba oceny precyzji wyników Próba odzwierciedla populację Oczekiwana precyzja stanowi podstawę określenia liczebności próby każda jednostka ma taką samą szansę trafienia do próby, mechanizm doboru jednostki do próby jest całkowicie niezależny (zewnętrzny) w stosunku do badacza (np. rzetelna moneta przy wchodzeniu do sali) Nie ma potrzeby dowodzenia reprezentatywności i oceny precyzji Nie wiadomo na ile próba zgodna jest z populacją Koszty stanowią podstawę określenia liczebności tej próby dobór jednostki jest subiektywny, szukamy osób, które należą do grupy docelowej, badacz odgórnie rozstrzyga, które jednostki znajdą się w próbie (np. kierowcy i zauważalność bilboardu) 7
Dobór próby O zastosowaniu określonej metody doboru próby decydują: WARUNKI, w jakich realizowane będzie badanie PRZEDMIOT BADANIA PRÓBA REPREZENTATYWNA - to próba odzwierciedlająca strukturę populacji reprezentatywna ze względu na badane cechy (lub cechy silnie skorelowane z cechą badaną) Jeśli celem jest uzyskanie cech ilościowych, np. średniej, frakcji, ocen poziomu zmienności, to wówczas potrzebne jest określenie precyzji i wiarygodności uzyskanych wyników. Tylko dobór losowy stwarza takie możliwości, dlatego jest tu zalecany. PRÓBĘ LOSOWĄ jesteśmy w stanie zbudować jeżeli jest znana wielkość populacji i istnieje możliwość nawiązania kontaktu z każdą jednostką! 8
Operat losowania OPERAT LOSOWANIA wymagany jest w przypadku losowego doboru próby jest to wykaz jednostek tworzących badaną zbiorowość (populację) istnieje, jeśli możliwe jest sporządzenie imiennego wykazu jednostek badanej zbiorowości istnieje tylko dla populacji skończonej jeśli istnieje potrzeba przeprowadzenia złożonego schematu losowania próby powinien zawierać informacje dodatkowe, np. demograficzne jednostek Operat można stworzyć np. na podstawie książki telefonicznej, spisu mieszkańców danego miasta, listy członków organizacji państwowych itd. Aby OPERAT był użyteczny musi być: Kompletny Aktualny Gwarantujący identyfikowalność jednostki (kontakt z nią) Jeśli operat nie istnieje stosowany jest celowy sposób doboru respondenta (np. co dziesiąty turysta przechodzący bulwarem odwiedzający Kazimierz Dolny) 9
Procedura doboru próby Zdefiniowanie populacji badanej Określenie operatu losowania (jeżeli istnieje) Określenie jednostki wyboru (czy pochodzi z operatu, czy jest inny sposób określania jednostki badanej) Wybór metody doboru jednostek (próba losowa, celowa) Ustalenie wielkości próby (zależy od wielu aspektów m.in. technicznych, finansowych, wymaganej jakości pozyskanych danych) 10
Dobór celowy Próba konstruowana jest w sposób SUBIEKTYWNY Dobór może być: KWOTOWY (kwota udział podgrupy w próbie) ustalenie kwot - w warstwach TYPOWY lub PRZEZ ELIMINACJĘ WG. KULI ŚNIEGOWEJ oparty o punkt zaczepienia PRZYPADKOWY Zakłada się, że próba ma być miniaturą populacji, jednak nie można dowieść, że jest reprezentatywna. 11
Dobór celowy: PRZYKŁADY KWOTOWY Dobór osób posiadających telefony komórkowe ze względu typ oferty: Wykształcenie klienta Liczba w populacji w tys. (dane GUS za 2006r.) (%) Liczba w próbie (kwoty) Orange 11,738 33,7 337 Era 11,954 34,4 344 Plus 11,100 31,9 319 Suma 34.792 100,0 1000 TYPOWY gospodarstwa domowe o przeciętnych dochodach PRZEZ ELIMINACJĘ eliminacja nietypowych punktów sprzedaży o najniższych tygodniowych obrotach WG. KULI ŚNIEGOWEJ uprawiający sporty ekstremalne PRZYPADKOWY badanie percepcji ulicznych przekazów reklamowych 12
Zagrożenia w doborze celowym (co zarzuca się próbom celowym) Błędny osąd i intuicja badacza, co do prawidłowości występujących w populacji Nadmierna chęć uczestnictwa w badaniach podyktowana specjalnymi predyspozycjami respondentów, które nie zawsze są zgodne z cechami populacji. Jest to przyczyną SKRZYWIEŃ SYSTEMATYCZNYCH Brak uzasadnienia wiarygodności wyników tego typu badań łatwo jest argumentować przeciw nim, jeśli są niewygodne Próby celowe nie pozwalają ocenić reprezentatywności wyników badania, nie można uogólniać wyników badania na populację Nie można z góry zaplanować liczebności próby, która zagwarantuje żądaną dokładność oszacowań 13
Dobór losowy Istnieje wiele technik losowania w zależności od warunków badania są one mniej lub bardziej efektywne w sensie sprawdzanej precyzji szacowania. W przypadku POPULACJI SKOŃCZONEJ opracowane są wysoce efektywne techniki losowania polegająca na dywersyfikacji szansy trafienia do próby każdej jednostki (np. eliminacja dysproporcji spowodowanych stopą odmów jeśli wiemy, że w Warszawie stopa odmów jest wyższa niż w Lublinie próbę możemy dobrać tak, aby w efekcie utrzymać proporcje z populacji) W przypadku POPULACJI NIESKOŃCZONEJ stosowane są proste techniki losowania o gorszej efektywności 14
Dlaczego próba powinna być losowana? Jest najbardziej wiarygodną informacją o populacji Losując próbę mamy największa szansę trafienia próby o strukturze najbardziej podobnej do struktury populacji Losując próbę kreujemy zmienną losową, co umożliwia wykorzystanie twierdzeń rachunku prawdopodobieństwa w analizie wyników. Twierdzenia rachunku prawdopodobieństwa definiują prawidłowości dotyczące zmiennych losowych dzięki nim możemy wnioskować na temat całej populacji z określoną precyzją. 15
Dlaczego próba powinna być losowana? PRÓBA LOSOWA = REPREZENTATYWNA ROZKŁAD PRAWDOPODOBIEŃSTWA CECHY W PRÓBIE (model wyjaśniający prawidłowości kształtowania się wartości ZMIENNEJ LOSOWEJ) TWIERDZENIA RACHUNKU PRAWDOPODOBIEŃSTWA ROZKŁAD PRAWDOPODOBIEŃSTWA DLA CECHY W POPULACJI 16
Błędy w badaniach sondażowych 17
Jakość danych statystycznych Obszary oceny jakości danych (Eurostat 2003) przydatność danych (reprezentatywność próby) dokładność (błędy losowe i nielosowe) aktualność i terminowość dostępność i przejrzystość porównywalność (w czasie i w przekroju przestrzennym) spójność kompletność 18
Błędy w badaniach ilościowych Nie da się ustalić wielkości błędu całkowitego! BŁĘDY W BADANIACH ILOŚCIOWYCH Losowe gdy próba jest losowana (konsekwencja decyzji o losowaniu) Nielosowe każdy rodzaj próby (czynnik ludzki) Błąd losowy Błędy pokrycia Błędy treści Tylko poziom błędu losowego jesteśmy w stanie określić liczbowo i porównywać! Struktury Wyboru Braku reakcji Zagubienia Odrzucenie Zbiorowość Zbiorowość zdefiniowana badana Pomiaru Analizy Interpretacji Prawda Wynik badania 19
Błąd losowy Wielkość błędu losowego zależy od: Techniki losowania Zróżnicowania populacji Liczebności próby S ( x) n 20
Błędy nielosowe Błędy pokrycia badana grupa jest inną grupą niż tą którą chcemy zbadać Struktury def. populacji nie jest odpowiednio dobrana do rozwiązania problemu badawczego problem z operatem badamy inne osoby niż chcemy: PESEL braki w adresach REGON firmy zlikwidowane KSIĄŻKA TELEFONICZNA niereprezentatywna dla mieszkańców Warszawy Wyboru ankieter nie dotarł do jednostki Braku reakcji jednostka nie udzieliła wywiadu (odpowiedzi) Zagubienia kwestionariusz ginie Odrzucenia podczas kontroli realizacji badania sprawdzanie kwestionariuszy - logika odpowiedzi (ma dwoje dzieci i 14 lat) - kompletność danych (jest wiek, a nie ma miejsca zamieszkania) - tzw. sufity (kwestionariusze wypełnione przez inną osobę niż wskazaną do badania) Zbiorowość Zbiorowość zdefiniowana badana Błędy treści wynik nie jest poprawną wartością zły pomiar zły wpis, wadliwy skaner, zła skala pomiaru zły lub kompromisowy dobór estymatorów, zła metoda analizy brak wiedzy analityka (niewłaściwe metody złe założenia) mamy nic nie znaczące wyniki zła interpretacja (niedopowiedzenia) Prawda Wynik badania 21
Błędy losowe Przyczyną błędu losowego jest fakt korzystania z próby, a nie przeprowadzanie badania na całej populacji. Błąd losowy wyznaczamy na podstawie informacji dotyczących: Szacowanych parametrów (np. wartość przeciętna cechy populacji) Estymatorów tych parametrów (np. średnia arytmetyczna) Schematu losowania (np. warstwowy, wielostopniowy) Wielkości próby (np. 1000 jednostek) 22
Błąd w badaniu fragmentarycznym Zmiana wielkości błędów w zależności od skali badania (analiza zmian całkowitego błędu pomiaru) Błąd losowy (maleje) wielkość próby =n 1 wielkość próby = n 2 >n 1 wielkość próby = n 3 >n 2 >n 1 Błędy nielosowe (rosną) Schemat L. Kish a 23
Jak zapanować nad rozmiarem błędu? Mając ustalone: Parametry, które będziemy szacować Estymatory tych parametrów (np. oszacowanie średniej, frakcji) Należy: Wybrać minimalną liczebność próby w stosunku do założonej precyzji wyników Wybrać schemat losowania tak, aby oszacować parametry z możliwie najniższym błędem losowym Minimalizować błędy nielosowe przez odpowiednią organizację badania 24