Przedwyborcze sondaŝe telefoniczne Fakty i mity

Transkrypt

1 Przedwyborcze sondaŝe telefoniczne Fakty i mity Marketing polityczny, sondaŝ i manipulacja Konferencja, WyŜsza Szkoła Promocji, Kuba Antoszewski, Millward Brown SMG/KRC

2 KaŜdy się myli Błąd pomiaru jest wpisany w zasadę realizacji badań opinii Błąd statystyczny wynikający z badania próby, a nie populacji. Błąd związany z dostępnością operatu. Błąd związany z odmowami. Błąd związany z niepamięcią respondentów. Błąd związany ze świadomą konfabulacją ze strony respondenta. 2

3 Wybory parlamentarne

4 Eurowybory

5 1Q '09 3Q '09 Telefonizacja w Polsce, trend 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 5 3Q '08 1Q '08 1Q '01 3Q '01 1Q '02 3Q '02 1Q '03 3Q '03 1Q '04 3Q '04 1Q '05 3Q '05 1Q '06 3Q '06 1Q '07 3Q '07 Telefony komórkowe Telefony stacjonarne Brak telefonu stacjonarnego i komórkowego Telefony ogółem

6 Błędy pokrycia populacji, telefony stacjonarne Pewne kategorie badanych osób są niedoreprezentowane w dobieranej próbie (bądź w ogóle nie występują) (np.: osoby w wieku lat; osoby nieposiadające telefonu stacjonarnego w domu) Pewne kategorie osób są nadreprezentowane (np.: osoby w wieku lat) Osoby naleŝące do populacji niedostępne pod telefonem stacjonarnym w miejscu zamieszkania nie wchodzą do próby badawczej Osoby dostępne pod telefonem stacjonarnym wyłącznie w miejscu pracy nie podlegają badaniu Mimo, Ŝe operat doboru próby pokrywa się z populacją badaną, niektóre jednostki występują nieproporcjonalnie często, a inne rzadko Populacja badana Osoby dostępne pod telefonem stacjonarnym

7 Błędy pokrycia populacji, telefony komórkowe Pewne kategorie badanych osób są niedoreprezentowane w dobieranej próbie (bądź w ogóle nie występują) (np.: osoby starsze; osoby nieposiadające telefonu stacjonarnego w domu) Pewne kategorie osób są nadreprezentowane (np.: osoby młodsze) Osoby naleŝące do populacji niedostępne pod telefonem komórkowym W praktyce trudno odróŝnić telefony komórkowe prywatne od słuŝbowych, badania są prowadzone na obu typach, więc nie ma osób poza populacją, do których się moŝna dodzwonić Mimo, Ŝe operat doboru próby pokrywa się z populacją badaną, niektóre jednostki występują nieproporcjonalnie często, a inne rzadko Osoby dostępne pod telefonem komórkowym Populacja badana

8 Błędy pokrycia populacji, mix telefonów stacjonarnych i komórkowych Pewne kategorie badanych osób są niedoreprezentowane w dobieranej próbie (bądź w ogóle nie występują) (np.: osoby nieposiadające telefonu stacjonarnego w domu i niedysponujące komórkami) Pewne kategorie osób są nadreprezentowane (np.: osoby dysponujące wieloma komórkami lub/i telefonem stacjonarnym w domu) Osoby naleŝące do populacji niedostępne ani pod telefonem stacjonarnym w miejscu zamieszkania ani nie dysponujące telefonem komórkowym, obszar zdecydowanie ograniczony Osoby dostępne pod telefonem stacjonarnym wyłącznie w miejscu pracy i nie posiadające telefonu komórkowego nie podlegają badaniu Mimo, Ŝe operat doboru próby pokrywa się z populacją badaną, niektóre jednostki występują nieproporcjonalnie często, a inne rzadko, efekt ten częściowo jest kompensowany przez odmienne profile populacji stacjonarnej i komórkowej Osoby dostępne pod telefonem komórkowym Populacja badana Osoby dostępne pod telefonem stacjonarnym

9 Mix telefonów stacjonarnych i komórkowych NiezaleŜnie od błędów związanych z grupami niedoszacowanymi lub przeszacowanymi, mix telefonów stacjonarnych i komórkowych zapewnia najlepszy obecnie dostęp do niemal całej dorosłej populacji Polaków (ponad 90%). 9

10 Eurowybory 2009, doświadczenia zdobyte w badaniach na próbach telefonów komórkowych Szybkość i skuteczność w docieraniu do respondentów: telefon komórkowy zapewnia bezpośredni dostęp do osoby, z którą realizowany będzie wywiad; w odróŝnieniu od wywiadów realizowanych na telefonach stacjonarnych pominięty jest dobór respondenta spośród członków gospodarstwa domowego i związane z tym efekty pośrednictwa i umawiania wywiadu tak, by zastać wskazaną osobę w domu. Lepszy dostęp do respondentów słabo reprezentowanych w sondaŝach face-to-face i badaniach CATI prowadzonych tylko na telefonach stacjonarnych: dzięki włączeniu do badań CATI telefonów komórkowych znacznie poprawiła się reprezentacja respondentów trudno dostępnych, głównie osób aktywnych, spędzających duŝo czasu poza domem, młodych męŝczyzn, mieszkańców duŝych miast osób, których głos w wyborach nie sposób pominąć. 10

11 Eurowybory

12 SondaŜe przedwyborcze 2010 i problem odmów Wyolbrzymiony efekt odmów Non response w badaniach jest czymś normalnym, najczęściej występuje w badaniach internetowych, w badaniach CATI jest dość częsty i rośnie na całym świecie. Specyfika CATI powoduje, Ŝe mamy do czynienia z odmowami okazjonalnymi, wynikającymi z określonej sytuacjin lub z fizyczną niemoŝnością realizacji badania. Nie ma to związku z określonymi opiniami respondentów ani ich cechami demograficznymi (np. jazda samochodem, nieistniejące numery). Nie są to faktycznie odmowy, ale raczej sytuacje uniemoŝliwiające realizację wywiadu. Response rate dla badania CATI w obecnej sytuacji wynosi ok. 20%. W 2010 pojawiło się ok % odmów o charakterze intencjonalnym i odmowy te miały związek z poglądami politycznymi respondentów. Odmowy intencjonalne miały wpływ na zwiększenie błędu do 5-6%. 12

13 SondaŜe CATI po doświadczeniu 2010 kontekst metodologiczny OFBOR powołał specjalną komisję, która pomoŝe lepiej zrozumieć powody powstałych niedokładności oraz sformułuje zalecenia dla instytutów badawczych i publikujących wyniki mediów. Do kwestionariuszy dołączamy pytania o udział w II turze wyborów prezydenckich 2010 oraz o kandydata, na którego oddano głos. Wyniki tego pytania są wykorzystywane przy waŝeniu wyników. Zmodyfikowaliśmy kafeterię w pytaniu filtrującym o zamiar udziału w wyborach z dalszych analiz wykluczamy osoby, które odrzucają udział w wyborach. Jednocześnie do kwestionariuszy dołączamy dodatkowe pytanie filtrujące o udział respondenta w róŝnych wyborach na przestrzeni ostatnich 5 lat. Do dalszych analiz (pytań o preferencje partyjne / prezydenckie) przechodzą tylko osoby aktywne politycznie tzn. takie, które brały udział w minimum 2 z 6 ostatnich wyborów. Realizacja sondaŝy w trybie dwudniowym 13

14 SondaŜe CATI po doświadczeniu 2010 kontekst medialny Wyniki badań prezentowane są w mediach rzadziej. Rozpoczęła się dyskusja na temat rozumienia specyfiki niedokładności badań społecznych. 14

15 Fakty i mity Nie ma recepty na bezbłędność w badaniach opinii. Ale badacze poszukują sposobów na minimalizację błędów. Nie jest tak, Ŝe badania telefoniczne są bardziej podatne na błędy niŝ inne techniki zbierania danych. Niezwykle rzadko lub zgoła w ogóle nie zdarza się, aby błędy pomiaru wynikały z błędów zawinionych przez instytuty badawcze. Realizacja zbyt częstych sondaŝy poparcia dla partii politycznych prowadzi do nadinterpretacji przy analizie róŝnic pomiędzy poszczególnymi pomiarami. Odmowy w badaniach CATI stanowią problem, ale zjawisko to nie jest masowe. Odmowy respondentów o określonych poglądach są skutkiem kryzysu instytucji sondaŝu. Badania w powiązaniu z określonymi mediami stały się elementem walki politycznej. Problem non response i odmów udziału w badaniu nie jest charakterystyczny tylko dla badań telefonicznych. Wyniki badań naleŝy traktować z ostroŝnością, to nie jest pomiar fizyczny, jego precyzja jest ograniczona. 15

16 Dziękuję za uwagę