Ocena metodologii i rezultatów badań poprzedzających pierwszą i drugą turę wyborów prezydenckich w 2010 roku

Transkrypt

1 Ocena metodologii i rezultatów badań poprzedzających pierwszą i drugą turę wyborów prezydenckich w 2010 roku Raport przygotowała Komisja w składzie: prof. dr hab. Henryk Domański (przewodniczący Komisji) prof. dr hab. Radosław Markowski dr hab. Zbigniew Sawiński prof. dr hab. Paweł B. Sztabiński Warszawa, listopad 2010

2 Ocena metodologii i rezultatów badań poprzedzających pierwszą i drugą turę wyborów prezydenckich w 2010 roku Raport przygotowała Komisja w składzie: prof. dr hab. Henryk Domański (przewodniczący Komisji) prof. dr hab. Radosław Markowski dr hab. Zbigniew Sawiński prof. dr hab. Paweł B. Sztabiński Poglądy autorów tekstów zawartych w publikacji są wyrazem ich własnych opinii i nie odzwierciedlają oficjalnego stanowiska OFBOR. Redakcja techniczna: Oficyna Naukowa Projekt okładki: ORA&Funksters Przygotowanie do druku, druk i oprawa Grzegorz Prus, EXPOL P. Rybiński, J. Dąbek Sp. Jawna, ul. Brzeska 4, Włocławek, tel.: Wydanie 1 Nakład 500 egzemplarzy Copyright by Organizacja Firm Badania Opinii i Rynku ISBN

3 Spis treści Wprowadzenie Zestawienie badań objętych oceną Zakres informacji uzyskanych od firm badawczych Ocena trafności sondaży przedwyborczych Klasyfikacja badań objętych analizą Mierniki trafności prognoz Statystyczny model wyników sondaży Zależność wyników od terminu realizacji sondażu Trafność estymacji odsetków głosujących na poszczególnych kandydatów na podstawie sondaży przed pierwszą turą wyborów Odsetek głosów na Grzegorza Napieralskiego Odsetek głosów na Jarosława Kaczyńskiego Odsetek głosów na Bronisława Komorowskiego Trafność estymacji udziału głosów na Bronisława Komorowskiego i Jarosława Kaczyńskiego w sondażach między pierwszą a drugą turą wyborów Ocena trafności sondażu telefonicznego zrealizowanego w dniu 20 czerwca 2010 przez MB SMG/KRC Wnioski dotyczące trafności sondaży przedwyborczych Efekt techniki badawczej Skłonność do udzielania społecznie akceptowanych odpowiedzi Zamiar udziału w wyborach Zamiar głosowania na określonego kandydata (Bronisława Komorowskiego) Niedostępność jednostek badania (non-response) O możliwościach przewidywania wyników wyborów politycznych i rzetelnego odtwarzania preferencji politycznych przez ośrodki badania opinii publicznej Milcząca większość w badaniach badania opinii publicznej Koncepcja wspólnoty politycznej (wyborczej) Polityczne wyrobienie: niewiedza, niepewność, unikanie odpowiedzi Brak wiedzy politycznej a wiedza fałszywa Podsumowanie Literatura cytowana Aneks... 75

4

5 Wprowadzenie Niniejszy raport powstał na zamówienie Organizacji Firm Badania Opinii i Rynku.. W dotychczasowej historii badań przedwyborczych w Polsce jest to pierwsze tego rodzaju przedsięwzięcie, którego zadaniem jest dokonanie oceny tych badań. Inicjatywa sporządzenia raportu wyszła od Zarządu OFBOR, reprezentowanego przez Janusza Durlika i Łukasza Mazurkiewicza, a bezpośrednim tego powodem była wyjątkowo intensywna krytyka jakości sondaży prowadzonych przed wyborami prezydenckimi, które odbyły się 21 czerwca i 5 lipca 2010 roku. W komentarzach powyborczych jeszcze nigdy nie poświęcono tyle uwagi krytycznej ocenie pracy firm badawczych. Kontrowersje wzbudziła trafność prognoz wyborczych formułowanych na podstawie tych badań. w stosunku do faktycznego wyniku i rozbieżności między poszczególnymi firmami. Badania sondażowe są nieodłącznym elementem procesu politycznego w demokracji i nie można się było do tej krytyki nie odnieść. Dla polityków wyniki sondaży są wskaźnikiem preferencji i nastrojów społecznych trzeba się do nich dostosować albo przynajmniej wziąć je pod uwagę, jeżeli myśli się o odniesieniu sukcesu. Wyborcom wyniki te pozwalają na rozpoznanie układu sił politycznych, którym warto udzielić poparcia. Jeżeli zaś chodzi o firmy badawcze, to wyniki sondaży traktowane są jako test ich wiarygodności i profesjonalizmu. Wartości te same w sobie są ważne, a w sytuacji rynkowej przekładają się na bardziej wymierne korzyści, chociaż należy od razu podkreślić, że udział badań wyborczych w budżetach tych firm nie przekracza 5%, a więc jest raczej znikomy. Przedstawiony tu raport należy zatem traktować jako rodzaj audytu wynikającego z potrzeby uwiarygodnienia się i odzyskania zaufania opinii publicznej. W ostatnich dniach lipca 2010 roku firmy zrzeszone w OFBOR zwróciły się z propozycją przeprowadzenia go do badaczy zajmujących się metodologią badań surveyowych, reprezentujących środowisko akademickie, które jest w tej sytuacji czynnikiem zewnętrznym w stosunku do środowiska OFBOR-u. Propozycja dotyczyła powołania Komisji, która miałaby się tym zająć powołano ją w składzie: Henryk Domański (jako przewodniczący) oraz Radosław Markowski, Zbigniew Sawiński i Paweł Sztabiński. Wszyscy są pracownikami instytutów Polskiej Akademii Nauk. Celem raportu miało być przeanalizowanie wyników badań prowadzonych przed wyborami prezydenckimi 2010 roku w celu ustalenia przyczyn rozbieżności między wynikami podawanymi przez firmy a rzeczywistym wynikiem wyborów oraz wskazanie źródeł rozbieżności między firmami. Przedmiotem poniższego raportu jest analiza działalności pięciu firm, które wyraziły gotowość poddania się ocenie zewnętrznej. Są nimi: Centrum Badania Opinii Społecznej, GfK Polonia, TNS OBOP, Pracownia Badań Społecznych DGA i Millward Brown SMG/ KRC. Są to największe i najbardziej renomowane w Polsce ośrodki badawcze, które. w kampanii prezydenckiej były najczęściej cytowane przez media. Analizami objęliśmy okres od 28 maja do 5 lipca 2010 roku, opierając się na uzyskanych od firm informacjach dotyczących metod doboru próby, zastosowanych technik badawczych, przebiegu badania, schematów analizy danych i metody konstruowania prognoz wyborczych. Przedstawione niżej ustalenia i wnioski nie są optymalne, czego jesteśmy świadomi. Fakt, że o sporządzenie raportu zwrócono się do nas po zakończeniu wyborów, 5

6 uniemożliwił przeprowadzenie badań o charakterze eksperymentalnym, które można by było zrealizować w trakcie kampanii wyborczej. Pozostało nam przeprowadzenie analizy ex-post, ale firmy komercyjne realizujące badania na zamówienia klienta działają według innych zasad niż badania akademickie. Na rynku komercyjnym dominuje prawo wyłączności i ochrony własności narzędzi badawczych, zaczynając od brzmienia pytań zadawanych respondentom, a kończąc na technologii opracowywania wyników. Członkowie Komisji nie mieli więc możliwości przeprowadzenia wtórnych analiz, niektóre z firm nie udostępniły nam informacji dotyczących sposobu formułowania pytań, odsetków realizacji próby i sposobu konstruowania prognozy wyborczej. Korzystaliśmy wyłącznie z danych przetworzonych w postaci rozkładów procentowych. Decyzję o nieujawnianiu danych motywowano wartością rynkową produktu, jakim jest prognozowany wynik wyborczy, co Komisja rozumie, chociaż nie zmienia to faktu, że ograniczyło to możliwość dostarczenia dokładnej odpowiedzi na pytania OFBOR-u. Nie było naszym zamierzeniem sporządzanie rankingu firm w podziale na lepsze. i gorsze. Dokonując oceny ich pracy, koncentrujemy się raczej na wskazywaniu, jakie narzędzia należało zastosować, żeby zminimalizować błąd pomiaru, którego wyeliminowanie, oczywiście, nigdy nie jest możliwe. Podsumowaniem naszych ustaleń są rekomendacje dla firm w zakresie metodologii badawczej, które zamieszczamy na końcu. Mimo wspomnianych trudności i barier autorzy raportu wyrażają nadzieję, że analizy ewaluacyjne tego rodzaju, staną się stałym elementem naszej sceny wyborczej, a nasze doświadczenia przetrą szlaki dla kolejnych audytów. 6

7 1. Zestawienie badań objętych oceną Przedmiotem oceny Komisji było 39 badań zrealizowanych przez pięć firm badawczych przed pierwszą i drugą turą wyborów prezydenckich w 2010 roku oraz w ich trakcie. Zestawienie ocenianych badań przedstawiono w tabeli 1. Na rycinie 1 zostały zaprezentowane terminy realizacji poszczególnych badań wraz z wskazaniem stosowanej metody badawczej. Tabela 1. Zestawienie badań podlegających ewaluacji Przedmiot badania Metoda badawcza Firma badawcza Ogółem I tura II tura CATI wywiad f2f exit poll CBOS GfK Polonia Millward Brown SMG/KRC PBS DGA TNS OBOP Ogółem Rycina 1. Terminy realizacji badań i stosowana metoda badawcza data CBOS GfK Polonia MB SMG/KRC PBS DGA TNS OBOP 28 maja 2010 (pi tek) 29 maja 2010 (sobota) maja 2010 (niedziela) 31 maja 2010 (poniedzia ek) wywiady f2f 1 czerwca 2010 (wtorek) 2 czerwca 2010 ( roda) wywiady CATI 3 czerwca 2010 (czwartek) 4 czerwca 2010 (pi tek) exit poll czerwca 2010 (sobota) 6 czerwca 2010 (niedziela) 7 czerwca 2010 (poniedzia ek) czerwca 2010 (wtorek) 9 czerwca 2010 ( roda) 10 czerwca 2010 (czwartek) 11 czerwca 2010 (pi tek) 12 czerwca 2010 (sobota) 13 czerwca 2010 (niedziela) 14 czerwca 2010 (poniedzia ek) czerwca 2010 (wtorek) 16 czerwca 2010 ( roda) 17 czerwca 2010 (czwartek) 18 czerwca 2010 (pi tek) 19 czerwca 2010 (sobota) 20 czerwca 2010 (niedziela) badania I tury czerwca 2010 (poniedzia ek) 22 czerwca 2010 (wtorek) 23 czerwca 2010 ( roda) 24 czerwca 2010 (czwartek) badania II tury czerwca 2010 (pi tek) 26 czerwca 2010 (sobota) czerwca 2010 (niedziela) 28 czerwca 2010 (poniedzia ek) 29 czerwca 2010 (wtorek) czerwca 2010 ( roda) 1 lipca 2010 (czwartek) 2 lipca 2010 (pi tek) lipca 2010 (sobota) 4 lipca 2010 (niedziela) lipca 2010 (poniedzia ek) Uwaga: na rycinie zamieszczono badania zrealizowane od 28 maja do 4 lipca 2010 r. Ze względów technicznych poza ryciną znalazły się dwa badania przeprowadzone przez PBS DGA w terminach wcześniejszych, to jest 7 i 8 maja 2010 r. (badanie CATI) oraz. w dniach maja 2010 (wywiady f2f). 7

8 2. Zakres informacji uzyskanych od firm badawczych W połowie sierpnia 2010 roku Komisja powołana przez OFBOR wysłała do pięciu analizowanych firm arkusz ewaluacyjny z prośbą o przysłanie podstawowych informacji dotyczących procedury realizacji każdego badania i stosowanej przez nie metodologii konstrukcji prognozy wyborczej. Zamieściliśmy w tym arkuszu pytania dotyczące najistotniejszych warunków poprawności badania sondażowego, których realizacja decyduje. o rzetelności i trafności wyników. Zawartość arkusza została przedstawiona na rycinie 2. Rycina 2. Zawartość arkusza informacji o badaniu poz. zakres informacji 1 Nazwa firmy 2 Nazwa badania 3 Metoda gromadzenia danych: np. wywiad ankieterski w domu respondenta, wywiad telefoniczny, sonda uliczny 4 Opis schematu doboru próby. w tym: wykorzystane ród o danych na temat wielko ci i struktury badanej populacji, przyj ta wielko badanej populacji, operat wykorzystany do doboru próby, wielko dobranej próby, wyszczególnienie wyodr bnionych warstw, wielko wi zki, zastosowana metoda doboru badanych osób, oraz parametry: design effect, effective sample size, intracluster correlation (o ile ich wielko ci by y liczone). 5 Krótkie omówienie sposobu szkolenia ankieterów w tym: czy odby o si centralnie, czy w o rodkach, przeci tny czas trwania szkolenia, na ile dni przed badaniem itp. 6 Termin realizacji badania w wypadku wywiadów realizowanych w dniu wyborów prosimy o podanie przedzia u godzin; w wypadku realizacji wielodniowej prosimy o podanie odsetka osób badanych w kolejne dni 7 Krótki opis realizacji badania. w tym: liczba ankieterów realizuj cych badanie. Ile przeci tnie czasu trwa wywiad? Czy pytania dotycz ce zachowa wyborczych czono w ramach wywiadu z inn problematyk (poza metryczk ), a je li tak, to z jak? Czy podczas badania wyst pi y nieprzewidziane trudno ci mog ce mie wp yw na jego wyniki? 8 Liczba zrealizowanych wywiadów oraz poziom realizacji próby (response rate) dla ca ej próby oraz w podzia ach ze wzgl du na p e, kategori wieku oraz wie miasto 9 Opis zastosowanych metod kontroli pracy ankieterów w tym: odsetek skontrolowanych wywiadów, metoda doboru wywiadów do kontroli, sposób dokonania kontroli, procedury gwarantuj ce niezale no kontroli, liczba stwierdzonych uchybie, sposób post powania w wypadku stwierdzonych uchybie oraz inne istotne elementy stosowanych procedur kontroli 10 Opis zastosowanej metodologii wa enia wyników badania (je li stosowano wa enie) dotyczy procedur wa enia wyników ca ego badania (tzw. wa enie stratyfikacyjne), nie za procedur specyficznych dla konstrukcji prognozy wyborczej 11 Opis innych zastosowanych metod korekty wyników (np. imputing, wykluczanie wywiadów nadmiarowych, usuwanie outliers) o ile metody takie stosowano. 12 Sposób konstrukcji przedzia u ufno ci opisa metod lub poda referencj do pozycji literaturowej, zawieraj cej opis stosowanej metody 13 Dok adne sformu owania wszystkich pyta, które wykorzystano w prognozie 14 Rozk ady odpowiedzi na pytania wykorzystane w prognozie w dwóch wariantach: (a) wyniki surowe (wyra one liczb uzyskanych odpowiedzi); (b) wyniki po dokonanej obróbce (wa enie, imputing i inne). 15 Tre prognozy wyborczej w postaci przedstawionej zamawiaj cemu badanie 16 Opis sposobu konstrukcji prognozy metoda przekszta cenia wyników podanych w punkcie 14b w tre prognozy wyborczej (pkt 15) 17 Imi i nazwisko, adres mailowy i telefon osoby kontaktowej w wypadku potrzeby uzupe nienia podanych informacji 8

9 Wszystkie firmy dostarczyły wypełnione arkusze do końca września 2010 roku. Po ich skompletowaniu przystąpiliśmy do drugiej tury, której celem było uzupełnienie brakujących informacji. W pierwszej połowie października Komisja przeprowadziła rozmowy indywidualne z wybranymi firmami. W trakcie rozmów postawiliśmy szczegółowe pytania dotyczące kwestii, na które nie uzyskaliśmy odpowiedzi lub których w arkuszu nie było. Tabela 2 zawiera syntetyczne omówienie informacji uzyskanych od firm w odniesieniu do wybranych punktów arkusza. Tabela 2. Charakterystyka informacji dostarczonych przez firmy badawcze Punkt. arkusza Zakres wymaganych informacji Zakres i charakterystyka podanych informacji 3 Metoda gromadzenia danych Wszystkie firmy udzieliły wymaganych informacji.. W przypadku wywiadów f2f podawano, czy wywiady były wspomagane komputerowo (CAPI), czy realizowano je. z kwestionariuszem papierowym (PAPI). Wszystkie badania f2f były realizowane w domach respondentów. Badania CATI miały charakter dedykowany, to znaczy ich przedmiotem była wyłącznie tematyka wyborów. Badania f2f miały charakter wielotematyczny (omnibusowy). Pytania dotyczące wyborów zajmowały kilka minut wywiadu. 4 Schemat doboru próby W przypadku badań f2f przedstawiano szczegóły konstrukcji schematu próby z podaniem operatu, przyjętego systemu warstwowania oraz wielkości wiązki. W przypadku badań telefonicznych ograniczano się do ogólnej charakterystyki próby (np. próba CATI ). 5 Szkolenie ankieterów W przypadku badań CATI były to szkolenia rutynowe, prowadzone w studiu przed realizacją każdego projektu. Szkolenia do badań f2f były prowadzone przez koordynatorów regionalnych. W żadnym z opisów nie było informacji o tym, że ankieterzy byli specjalnie instruowani co do sposobu zadawania pytań dotyczących głosowania. 6 Termin realizacji badania Wszystkie firmy przedstawiły wymagane informacje.. W przypadku badań CATI podawano, w jakich godzinach prowadzono wywiady. 7 Opis realizacji badania Były to uszczegółowienia informacji podanych w punkcie 3. Żadna z firm nie sygnalizowała szczególnych trudności związanych z problematyką lub samą realizacją badań wyborczych. 9

10 8 Liczba zrealizowanych wywiadów. i poziom realizacji próby We wszystkich przypadkach przedstawiono informację. o liczbie zrealizowanych wywiadów. Odnośnie do poziomu realizacji próby (response rate) podano, co następuje. CBOS: 41% (jedyne badanie w terenie); GfK Polonia: nie podano; PBS DGA: 10-13% (CATI); 23-56% (f2f); SMG/KRC: 7-15% (CATI). Dla badania exit poll podano 87%; TNS OBOP: dla CATI i sondaży f2f nie podano. Dla obu badań exit poll podano 95%. 9 Metody kontroli pracy ankieterów Badania CATI. Wszystkie firmy stosują rutynowy odsłuch rozmów przez supervisorów. GfK Polonia oraz TNS OBOP nie podały żadnych informacji na temat odsetka kontrolowanych wywiadów, liczby stwierdzonych uchybień oraz dalszego postępowania w takich przypadkach. SMG/KRC podało odsetek kontrolowanych wywiadów (od 5 do 10%) oraz liczbę wywiadów usuniętych na skutek stwierdzenia uchybień (od 0 do 5). Firma PBS DGA podała odsetek i liczbę kontrolowanych wywiadów (5%; około 50 sztuk) oraz liczbę wywiadów zakwestionowanych (od 0 do 1). Badania f2f. CBOS: skontrolowano 50 wywiadów w terenie oraz 50 telefonicznie. Nie ma informacji na temat stwierdzonych uchybień. GfK Polonia: podano odsetki kontrolowanych wywiadów (17) bez wyszczególnienia odsetków kontrolowanych za pomocą poszczególnych metod (telefoniczna, pocztowa, terenowa). Nie podano informacji o stwierdzonych uchybieniach. TNS OBOP: podano, że kontrolowano 11 13% wywiadów metodą f2f lub telefoniczną. Nie podano informacji. o stwierdzonych uchybieniach. PBS DGA: wszystkie wywiady kontrolowano metodami nieterenowymi (analiza danych). Podano odsetek wywiadów kontrolowanych metodami terenowymi, który wynosił od 9 do 46. Podano również liczbę wywiadów, w których stwierdzono uchybienia; wynosiła ona od 41 do 79 sztuk. 10 Ważenie wyników W badaniach f2f wszystkie firmy stosują ważenie poststratyfikacyjne (do udziałów populacyjnych) w celu skorygowania niejednakowego non-response w warstwach. W badaniach telefonicznych PBS DGB oraz GfK Polonia stosują ważenie poststratyfikacyjne, TNS OBOP zaś uwzględnia dodatkowo specyfikę doboru w gospodarstwie. Schemat ważenia stosowany przez SMG/KRC jest bardziej złożony, gdyż badania są realizowane na próbie łączonej: telefonów stacjonarnych i komórkowych. Opis schematu został w każdym razie przedłożony. W badaniach exit poll TNS OBOP stosował ważenie poststratyfikacyjne, SMG/KRC ważenia nie stosował. 10

11 11 Metody adjustacji wyników CBOS, PBS DGA oraz SMG/KRC podały, że metod takich nie stosują (w wypadku ostatniej firmy wyjątkiem był exit poll, dla którego przedstawiono sposób postępowania). GfK Polonia oraz TNS OBOP nie udostępniły informacji na temat stosowanych metod. 12 Konstrukcja przedziałów ufności Wszystkie firmy stosują konwencjonalną metodologię, opartą na centralnym twierdzeniu granicznym. Oznacza to, że żadna z firm nie stosuje metod bootstrapingowych, bardziej uzasadnionych w wypadku wysokich odsetków non-response. Ponadto przedziały ufności nie były podane jako integralny składnik wyników przekazywanych klientom (punkt 15). 13 Sformułowania pytań wykorzystanych w prognozie CBOS, PBS DGA oraz SMG/KRC udostępniły treść tych pytań. GfK Polonia oraz TNS OBOP odmówiły ich podania Rozkłady odpowiedzi na pytania wykorzystane w prognozie w wariancie danych surowych oraz wyników po dokonanej obróbce Treść prognozy wyborczej (wersja wyników przekazanych klientowi) CBOS, PBS DGA oraz SMG/KRC podały rozkłady odpowiedzi w obu wariantach. GfK Polonia i TNS OBOP podały jedynie rozkłady w postaci przetworzonej (odmówiły podania danych surowych). Wszystkie firmy przedstawiły rozkłady głosów na poszczególnych kandydatów. 16 Sposób konstrukcji prognozy Prognozy CBOS i SMG/KRC bazują na wynikach surowych. PBS DGA opisał sposób konstrukcji prognozy na podstawie wyników badania. GfK Polonia i TNS OBOP odmówiły ujawnienia metody konstrukcji prognozy. Komisja wyraża ubolewanie wobec faktu, że niektóre firmy nie udostępniły podstawowych informacji o przeprowadzonych badaniach. W szczególności dotyczyło to dokładnego brzmienia pytań dotyczących preferencji wyborczych i odsetków realizacji (response rate). Bez znajomości pytań żadna Komisja nie jest w stanie dokonać całościowej analizy różnic między firmami. Z kolei response rate uznawany jest za kluczowy parametr jakości realizacji badania, a w projektach finansowanych ze środków publicznych jego jawność jest bezwzględnie przestrzeganym wymogiem. Brak tych informacji znacznie ogranicza możliwość identyfikacji przyczyn niskiej wartości prognostycznej niektórych ocenianych badań. 11

12 3. Ocena trafności sondaży przedwyborczych 3.1. Klasyfikacja badań objętych analizą W tej części raportu dokonamy oceny trafności wyników badań, które zaliczyliśmy do kategorii sondaży. Kategoria ta obejmuje badania, których celem jest uzyskanie opinii badanych osób na temat ich postaw, preferencji czy zamierzonych działań. Sondaże nie obejmują obserwacji faktycznych zachowań, lecz opierają się na werbalnych deklaracjach, których zgodność ze stanem faktycznym nie jest weryfikowana. Sondaże na ogół prowadzi się na próbach przekrojowych, reprezentatywnych dla pełnej zbiorowości.. W wypadku analizowanych badań jest to ogólnopolska zbiorowość osób uprawnionych w dniu wyborów do głosowania. Celem sondaży jest bowiem oszacowanie zasięgu zjawiska. Oznacza to, że chodzi nie tylko o określenie udziałów głosów oddanych na poszczególnych kandydatów, lecz również samej gotowości do głosowania. Wśród ocenianych badań do sondaży zaliczymy więc wszystkie poza trzema badaniami przeprowadzonymi techniką exit poll. Ostatnie z wymienionych objęły bowiem zbiorowość ograniczoną do osób, które uczestniczyły w wyborach. Zarazem przedmiotu badań exit poll nie stanowi uzyskanie opinii na temat sposobu głosowania, lecz odtworzenie faktycznych zachowań. Temu celowi podporządkowany jest sposób organizacji badania. Kategoria sondaży obejmuje w sumie 36 badań. Wśród nich 22 dotyczyły głosowania w pierwszej turze wyborów (20 czerwca 2010 r.), a 14 głosowania w drugiej turze. (4 lipca 2010 r.). Obie kategorie badań zostaną omówione osobno. Ponadto jako odrębną kategorię potraktujemy sondaże zrealizowane w dniach głosowania. Powodem jest to, że różnią się one warunkami realizacji, gdyż część respondentów oddała już głos. Część badanych pytana jest więc o opinie, część zaś o faktyczne zachowania co narusza porównywalność z sondażami przeprowadzonymi wcześniej. W dniu pierwszej tury (20 czerwca) zrealizowany był jeden taki sondaż przez MB SMG/KRC. Zostanie on osobno omówiony w sekcji 3.5. W dniu drugiej tury SMG/KRC również przeprowadziła sondaż telefoniczny. Stanowił on jednak składnik realizowanego równolegle badania exit poll, toteż zostanie włączony do omówienia tego ostatniego badania Mierniki trafności prognoz W celu ilościowego określenia trafności wyników sondaży posłużymy się dwoma miernikami. Istotą obu jest porównanie rozkładu głosów na poszczególnych kandydatów estymowanego na podstawie badania z faktycznymi wynikami uzyskanymi przez nich w wyborach. Taki punkt odniesienia jest na ogół stosowany przy ocenie trafności wyników badań przedwyborczych (AAPOR 2009), przy czym należy podkreślić, że mierniki te dotyczą prognostycznej trafności tylko w odniesieniu do wyborów, a nie do badanego zjawiska, którym jest każdorazowo stan świadomości wyborców w dniu realizacji badania. W czasie, gdy prowadzone jest badanie, wyborcy mogą mieć odmienne przekonanie na temat tego, jak zagłosują, w stosunku do faktycznych decyzji, które 12

13 podejmą w dniu głosowania. Taka rozbieżność może się pojawić zwłaszcza w sytuacji, gdy badanie jest prowadzone w znacznym odstępie czasu od wyborów. Proponowane podejście służy więc porównaniu badań realizowanych w podobnym terminie, a także identyfikacji trendów zarysowujących się w wynikach badań. Pierwszym miernikiem jest wskaźnik różnic rozkładów (dissimilarity index; Duncan, Duncan 1955). Ta szeroko stosowana w socjologii miara (Sawiński 2010) jest dogodna do oceny trafności prognoz wyborczych. Jej wartość jest wyrażona wzorem: D = 1 2 k i= 1 p i q i gdzie k oznacza liczbę kandydatów, a pi i qi odpowiednio odsetki głosów prognozowanych oraz faktycznie oddanych (w procentach). Miara pozwala zestawić ze sobą rozkłady głosów dla wszystkich kandydatów. Im wartość tego miernika jest bliższa zeru, tym rozkłady te są bardziej zbieżne. Drugim zastosowanym miernikiem jest wskaźnik Accuracy (Martin, Traugott, Kennedy 2005). Pozwala on porównać trafność prognozy dla dwóch dowolnych kandydatów (np. dwóch, którzy otrzymali najwięcej głosów). Porównuje się w tym wypadku relację udziałów głosów na tych kandydatów w prognozie do analogicznej relacji w wyborach (tzw. odds ratio). Wartość miary wyraża następujący wzór A = ln [( p / p )/( q q )] / gdzie p1 oraz p2 oznaczają prognozowane odsetki głosów oddanych na obu kandydatów (p1 to przykładowo Jarosław Kaczyński, a p2 - Bronisław Komorowski), a q1 i q2 odsetki faktycznie przez nich uzyskane. Zastosowany we wzorze logarytm służy normalizacji wartości miary. Gdyby prognozowana relacja głosów obu kandydatów była dokładnie zgodna z relacją faktyczną, wartość tego miernika wyniosłaby 0. Wartości dodatnie odpowiadają prognozom, w których odsetek głosów na pierwszego kandydata jest przeszacowany, wartości zaś ujemne - prognozom, w których jest on niedoszacowany. Inne własności tego miernika omówione są w podanym tekście źródłowym. 3.3 Statystyczny model wyników sondaży Ponieważ przedmiotem oceny są sondaże zrealizowane w terminach niekiedy odległych na wiele dni od terminu wyborów, należy przyjąć, że wyniki sondaży wyrażają preferencje wyborców w czasie, gdy zostały przeprowadzone, a nie stan tych preferencji w dniu głosowania. Nie oznacza to, że na podstawie wyników sondaży nie można prognozować rzeczywistych zachowań przy urnie. Jednakże wstępna analiza ocenianych sondaży uświadomiła nam, że w większości przypadków firmy nie stosowały żadnych wyspecjalizowanych rozwiązań, które brałyby ten fakt pod uwagę przy konstrukcji prognoz wyborczych. Na ogół ograniczano się do prezentacji wyników w takiej postaci, w jakiej je otrzymano w sondażu, dokonując co najwyżej zabiegów uwzględniających specyfikę schematu doboru próby (takich jak ważenie post-stratyfikacyjne). Rozsądnie jest przyjąć, że preferencje wyborców w okresie kilku tygodni przed wyborami nie muszą być stabilne. Na przykład można podać wiele argumentów na rzecz 2 13

14 tego, że przed pierwszą turą elektorat Grzegorza Napieralskiego stopniowo wzrastał. Nie można też wykluczyć, że zmianom nie ulegała wielkość elektoratu pozostałych kandydatów. Dlatego przyjęliśmy, że wyniki badań realizowanych w różnych terminach układają się w trend, który pozwala zidentyfikować zmiany poparcia dla Jarosława Kaczyńskiego, Bronisława Komorowskiego itd. Jako model trendu przyjęliśmy równanie regresji, w którym uzyskany wynik yi jest liniową funkcją czasu ti wyrażonego w metryce dni: yˈ i = b1t i + b 0 Współczynnik kierunkowy linii regresji b1 wyraża średnią zmianę wielkości szacowanego parametru przypadającą na jeden dzień, a składnik b0 służy normalizacji równania1. Estymowane wartości wyników badań dla kolejnych punktów czasowych będziemy traktować jako wskaźnik poziomu preferencji wyborczych w dniu realizacji sondażu. Przy czym chodzi o zjawisko, które jest wynikiem pomiaru. Mówiąc inaczej, jeśli immanentną cechą sondaży jest zawyżanie rzeczywistego poparcia dla kandydata, to przedmiotem naszej estymacji jest ów poziom zawyżony. Proponowany model służy więc określeniu spójności wyników poszczególnych sondaży (trafności wobec przedmiotu pomiaru), nie zaś identyfikacji faktycznego poparcia dla kandydatów (trafności wobec rzeczywistego zjawiska). To ostatnie wymagałoby niezależnej wiedzy, wykraczającej poza analizowane sondaże (Sawiński 1988), którą to wiedzą nie dysponujemy. Należy też uwzględnić fakt, że sondaże mają charakter badań reprezentacyjnych, realizowanych na próbach o różnej liczebności. Błąd z tym związany opiszemy za pomocą przedziałów ufności, obliczonych w konwencjonalny sposób przy założeniu, że próba ma charakter losowy. Jako poziom ufności przyjmiemy 0,95, co jest najczęściej stosowanym rozwiązaniem przy szacowaniu precyzji wyników w badaniach opinii publicznej. Połowa przedziału ufności wyraża się wtedy jako: 1,96 * p (1 p) n gdzie p oznacza estymowany odsetek głosów, a n liczebność próby (Lissowski, Haman, Jasiński 2008: ). Przedziały ufności będziemy rozpinać nie wokół uzyskanego wyniku, lecz wokół jego estymacji otrzymanej za pomocą modelu regresji. Celem jest bowiem weryfikacja, czy wynik danego badania jest spójny z wynikami pozostałych badań. Jeśli wynik mieści się w przedziale ufności, to przyjmiemy, że jego odstępstwo od tendencji wyrażonej przez wszystkie badania może być wyjaśnione wahaniami losowymi. Jeśli zaś jest poza tym przedziałem, to przyjmiemy, że stosowana w badaniu procedura była specyficzna i nie jest spójna z procedurami stosowanymi w pozostałych badaniach, uwzględnionymi w modelu regresji. Wartość tego składnika zależy od tego, jaki dzień został przyjęty jako początek (pierwszy dzień) stosowanego kalendarza. Obliczenia wykonaliśmy w Excelu, gdzie jako początek kalendarza przyjęto 1 stycznia 1900 roku. Na przykład, 20 czerwca 2010 roku w tej konwencji ma wartość 40349, gdyż tyle dni upłynęło od 1 stycznia 1900 do dnia pierwszej tury wyborów. Prezentowane wartości składnika b 0 są więc efektem konwencji i nie będą przedmiotem interpretacji. Przyjęta konwencja nie ma wpływu na inne parametry modelu regresji, w tym na wartość współczynnika kierunkowego b 1 oraz na wartość kwadratu współczynnika korelacji, wyrażającego skuteczność przewidywania. 14

15 3.4. Zależność wyników od terminu realizacji sondażu W tym fragmencie raportu omawiamy problem zależności między trafnością wyników sondażu a terminem jego realizacji. Ograniczymy się do sondaży przeprowadzonych przed pierwszą turą wyborów. Okres ten był stosunkowo długi (7 tygodni), liczba zaś zrealizowanych w tym czasie sondaży stosunkowo duża (21 sondaży). Analizę sondaży poprzedzających drugą turę przedstawiamy we fragmencie 3.6. Na rycinie 3 przedstawione są wartości miernika rozbieżności rozkładów dla wszystkich 21 sondaży zrealizowanych przed pierwszą turą wyborów. Jako datę realizacji przyjęliśmy każdorazowo ostatni dzień prowadzenia badania w terenie. Najwcześniejszy sondaż przeprowadzony przez PBS DGA zakończył się 8 maja 2010 roku, czyli 7 tygodni przed dniem pierwszej tury głosowania. Wskaźnik rozbieżności wyniósł. w tym sondażu 13,9 punktu procentowego. Oznacza to, że gdyby takiemu odsetkowi respondentów zmienić odpowiednio sposób głosowania, to rozkład głosów pokryłby się dokładnie z uzyskanym w pierwszej turze wyborów. Miernik rozbieżności rozkładów uwzględnia wszystkich kandydatów, których było dziesięciu. Średnia rozbieżność przypadająca na jednego kandydata wynosi więc 1,4 punktu procentowego. Jeśli na uzyskany wynik spojrzymy od tej strony, to można go uznać za nie tak bardzo odległy od rezultatu wyborów. Należy jednak pamiętać, że faktyczny rozkład preferencji wyborców w tym czasie mógł być inny niż w dniu głosowania. Ponieważ rozkład ten nie jest znany, faktycznej trafności omawianego sondażu ocenić nie można. Analiza wartości współczynników przedstawionych na rycinie 3 pozwala jedynie stwierdzić, że badania zrealizowane bliżej dnia wyborów dają trafniejsze predykcje rzeczywistego rozkładu głosów. Tendencję wzrastającej trafności obrazuje linia regresji. Wartość współczynnika kierunkowego regresji informuje, że trafność wyrażona za pomocą współczynnika rozbieżności rozkładów wzrastała średnio o 0,187 punktu procentowego dziennie. Przewidywana na tej podstawie rozbieżność 20 czerwca wyniosłaby 5,9 procenta, co przy dziesięciu kandydatach nie stanowiłoby dużej różnicy, zważywszy na to, że sondaże opierają się wyłącznie na deklaracjach. Rycina 3. Wartości miernika rozbieżności rozkładów dla 21 sondaży przeprowadzonych przed pierwszą turą wyborów CBOS GfK Polonia ,9 y = -0,187 x R 2 = 0,600 MB SMG/KRC 12 12,1 PBS DGA TNS OBOP predykcja na dzie 20 czerwca 20 czerwca ,6 11,2 10,0 9,1 8,5 7,9 7,3 7,5 7,6 7,7 7,0 7,2 6,5 6,6 6,7 5,4 4,8 5,9 4 4,5 2 2, maj 06-maj 08-maj 10-maj 12-maj 14-maj 16-maj 18-maj 20-maj 22-maj 24-maj 26-maj 28-maj 30-maj 01-cze 03-cze 05-cze 07-cze 09-cze 11-cze 13-cze 15-cze 17-cze 19-cze 21-cze 23-cze 15

16 Tabela 3. Parametry modeli regresji wskaźnika różnicy rozkładów dla różnych konfiguracji sondaży przeprowadzonych przed pierwszą turą wyborów Zakres sondaży Liczba sondaży Współczynnik regresji. (zmiany dzienne) Predykcja na. 20 czerwca Wszystkie sondaże 21-0,187 5,87 Sondaże z dwóch ostatnich tygodni (7 19 czerwca) Sondaże z ostatniego tygodnia (14 19 czerwca) 17-0,136 6, ,179 7,13 Sondaże poszczególnych firm a PBS DGA 6-0,106 8,65 GfK Polonia 3 0,094 8,20 MB SMG/KRC 7-0,159 5,81 TNS OBOP 4-0,312 3,99 a Pominięto CBOS, dla którego jest tylko jedna obserwacja i w związku z tym nie można było wyznaczyć równania regresji. Rycina 4. Wartości miernika rozbieżności rozkładów dla 17 sondaży przeprowadzonych w ciągu ostatnich dwóch tygodni przed pierwszą turą wyborów (7-19 czerwca 2010 r.) CBOS 12 y = -0,136 x R 2 = 0,067 GfK Polonia 10 10,0 MB SMG/KRC PBS DGA TNS OBOP predykcja na dzie 20 czerwca 20 czerwca 8 6 7,6 9,1 7,3 7,0 6,5 8,5 7,5 6,6 7,9 7,7 6,7 7,2 6,1 5,4 4,8 4, , cze 07-cze 08-cze 09-cze 10-cze 11-cze 12-cze 13-cze 14-cze 15-cze 16-cze 17-cze 18-cze 19-cze 20-cze 21-cze 16

17 Rycina 5. Wartości miary rozbieżności rozkładów dla 11 sondaży przeprowadzonych w ciągu ostatniego tygodnia przed pierwszą turą wyborów (14-19 czerwca 2010 r.) CBOS 12 y = 0,179 x R 2 = 0,019 GfK Polonia 10 10,0 MB SMG/KRC PBS DGA TNS OBOP predykcja na 20 dzie czerwca 20 czerwca 8 6 7,5 6,6 7,9 7,7 6,7 7,2 7,1 5,4 4 4,8 4,5 2, cze 14-cze 15-cze 16-cze 17-cze 18-cze 19-cze 20-cze 21-cze Jak łatwo zauważyć, o przebiegu linii regresji decydują w gruncie rzeczy najwcześniejsze sondaże, zrealizowane przez PBS DGA. Dlatego warto osobno rozważyć, jak kształtuje się trafność badań przeprowadzonych bliżej terminu głosowania. Na rycinie 4 przedstawiamy wartości współczynników różnic rozkładów dla 17 sondaży zrealizowanych w ciągu dwóch tygodni poprzedzających pierwszą turę wyborów (to jest zakończonych w okresie od 7 do 19 czerwca). Tendencja wzrastającej trafności nie zarysowuje się już tak wyraźnie, jak dla wszystkich 21 sondaży. Współczynnik kierunkowy linii regresji wyniósł 0,136, rozbieżność zaś przewidywana na 20 czerwca wyniosła 6,1 (rycina 4, tabela 3). Co więcej, jeszcze inny obraz uzyskamy, gdy pod uwagę weźmiemy wyłącznie sondaże przeprowadzone w ciągu ostatniego tygodnia poprzedzającego pierwszą turę wyborów (rycina 5, tabela 3). Brak jest tu wyraźnej tendencji do zbliżania się prognoz do faktycznych wyników głosowania. Współczynnik kierunkowy linii regresji przybrał w tym wypadku wartość dodatnią, czyli rozbieżności zamiast maleć nieco wzrastają. Inaczej mówiąc, prognozy formułowane w ostatnim tygodniu zatrzymały się niejako na pewnym poziomie rozbieżności wobec tego, co uzyskali poszczególni kandydaci. w dniu wyborów. Nie można jednak wykluczyć, że sondaże z ostatniego tygodnia nie odzwierciedlają trafnie stanu preferencji wyborców odnośnie do tego, jak głosowali oni faktycznie. Faktyczne wyniki wyborów mogą bowiem zależeć od wielu czynników, które nie dają się przewidzieć na podstawie sondaży. A w każdym razie próba ich identyfikacji nie została podjęta w sondażach zrealizowanych przez oceniane firmy badawcze. Jednym z takich czynników jest niejednakowa mobilizacja elektoratów poszczególnych kandydatów w dniu wyborów. Formułowanie przewidywań w tym zakresie wymaga wiedzy,. w jakim momencie, w jakich okolicznościach i pod czyim wpływem podejmuje decyzje 17

18 ta grupa wyborców, która do końca nie jest zdecydowana, czy w ogóle pójdzie głosować (Janicki, Władyka 2010). Z informacji dostarczonych przez firmy badawcze nie wynika, aby w sondażach gromadzono informacje pozwalające uwzględnić omawiany czynnik w prognozach. Nie jest też wykluczone, że pominięto również i inne mechanizmy, które pozwalają lepiej powiązać wyniki sondaży z faktycznymi zachowaniami wyborców. Do kwestii tych wrócimy w kolejnych częściach raportu. Tak więc udało nam się jedynie stwierdzić, że rezultaty sondaży zależały od terminu ich przeprowadzenia. Sondaże bliższe terminowi wyborów były w większym stopniu zgodne z rzeczywistym sposobem głosowania. Prawdopodobnie odzwierciedla to zmiany w preferencjach wyborców czego jednak nie można bezpośrednio dowieść, gdyż nie mamy wiedzy o tych preferencjach innej niż ta pochodząca z sondaży. Gdyby jednak nawet istniał ścisły związek wyników sondaży z preferencjami wyborców, to nie oznacza to, że na podstawie sondaży można wprost prognozować wyniki wyborów. Na decyzje wyborców co do tego, czy pójść głosować, a jeśli tak, to na kogo, mają wpływ okoliczności i czynniki, których w ocenianych sondażach nie uwzględniono. Firmy nie korygowały pod tymi względami uzyskiwanych wyników i nie uwzględniały tego w formułowanych przez siebie prognozach. Warto zauważyć, że poszczególne firmy różniły się istotnie pod względem trafności wyników. W tabeli 3 przedstawiamy modele regresji dla czterech firm, które w okresie przed pierwszą turą zrealizowały więcej niż jeden sondaż. Najwięcej sondaży zrealizowały PBS DGA i MB SMG/KRC. W przypadku obu tych firm następuje poprawa trafności przewidywań w badaniach realizowanych bliżej terminu wyborów, aczkolwiek rozbieżność formułowanych na tej podstawie prognoz wobec faktycznych wyników wyborów była dla obu firm znaczna. Ilustracji dostarczają wartości przewidywane na 20 czerwca przedstawione w tabeli 3. GfK Polonia zrealizowała wszystkie swoje badania w ciągu dwóch ostatnich tygodni. Ich wyniki okazały się w gruncie rzeczy stabilne i różnią się znacznie od wyniku wyborów. W TNS OBOP wszystkie sondaże również zrealizowano w ciągu dwóch tygodni przed wyborami. Prognozy sformułowane na ich podstawie stopniowo zbliżają się do faktycznego wyniku wyborów. Rozbieżność przewidywana na 20 czerwca wynosi jedynie 4 procent i w porównaniu z prognozami formułowanymi przez pozostałe firmy jest ona najmniejsza. Ponieważ jednak TNS OBOP nie udostępnił Komisji wyników surowych, nie jesteśmy w stanie rozstrzygnąć, czy jest to konsekwencja lepszej realizacji badań w terenie, czy też bardziej skutecznych sposobów formułowania prognoz na podstawie wyników uzyskanych w sondażu.. W dalszych fragmentach raportu pokażemy ponadto, że większa trafność ogólna obejmująca wszystkich kandydatów nie musi przekładać się na trafną estymację szans poszczególnych kandydatów Trafność estymacji odsetków głosujących na poszczególnych kandydatów na podstawie sondaży przed pierwszą turą wyborów Przechodzimy do omówienia prognozowanego poparcia dla trzech głównych kandydatów: Bronisława Komorowskiego, Jarosława Kaczyńskiego oraz Grzegorza Napieralskiego. Odsetki wskazań sondaży na pozostałych kandydatów są zbyt małe, aby móc sensownie wypowiadać się na temat rozbieżności między wynikami badań a odsetkami głosów uzyskanych przez nich w wyborach. 18

19 Odsetek głosów na Grzegorza Napieralskiego Analizę zaczniemy od Grzegorza Napieralskiego, gdyż w jego przypadku relacja między wynikami badań a wynikiem wyborów jest najbardziej czytelna. Kandydat ten wszedł do puli później niż dwaj pozostali, w wyborach zaś osiągnął wynik wyższy niż się spodziewano. Wydaje się zatem uzasadnione przypuszczenie, że odsetek wyborców skłonnych na niego głosować stopniowo wzrastał przez cały okres poprzedzający pierwszą turę wyborów. Rycina 6. Estymacje odsetka głosów oddanych na Grzegorza Napieralskiego w badaniach sondażowych przeprowadzonych przed pierwszą turą wyborów CBOS 30 y = 0,157 x R 2 = 0,435 GfK Polonia 25 MB SMG/KRC PBS DGA 20 TNS OBOP predykcja na 20 dzie czerwca 20 czerwca faktyczny wynik g osowania , , maj 06-maj 08-maj 10-maj 12-maj 14-maj 16-maj 18-maj 20-maj 22-maj 24-maj 26-maj 28-maj 30-maj 01-cze 03-cze 05-cze 07-cze 09-cze 11-cze 13-cze 15-cze 17-cze 19-cze 21-cze 23-cze Na rycinie 6 przedstawiono prognozowane odsetki głosów na Grzegorza Napieralskiego w każdym z 21 uwzględnionych sondaży (zob. też tabela A-1 w aneksie). Czerwoną przerywaną linią oznaczono faktyczny wynik głosowania, który wyniósł 13,7 procenta. W celu ustalenia obserwowanych w czasie zmian w prognozowanych odsetkach posłużyliśmy się metodą regresji liniowej, dopasowując prostą regresji do wyników badań. Na rycinie 3 jest to linia ciągła w kolorze czarnym, która wyraźnie wskazuje na występowanie tendencji rosnącej. Potwierdza to, podany w prawym górnym rogu wykresu, dodatni współczynnik kierunkowy prostej regresji, a jego wielkość wskazuje, że prognozowany odsetek rósł w tempie 0,16 punktu procentowego dziennie. Gdyby na podstawie wszystkich 21 badań sformułować prognozę na dzień wyborów, to odsetek wyborców głosujących na Grzegorza Napieralskiego wyniósłby 11,7 procent. Jak łatwo zauważyć, nachylenie linii regresji wyznaczają w największym stopniu wyniki badań zrealizowanych najwcześniej. Dlatego zanim uznamy, że badania odzwierciedlały zmiany w preferencjach wyborców, konieczne jest sprawdzenie, czy po odrzuceniu wyników najwcześniej zrealizowanych badań odsetki badanych skłonnych głosować na Grzegorza Napieralskiego również wzrastały. W tabeli 4 zostały przedstawione współczynniki kierunkowe modelu regresji z uwzględnieniem badań zrealizowanych w ciągu 19

20 ostatnich dwóch tygodni przed wyborami. Jak widać, w okresie tym również występuje wzrost wypadkowej wyników sondaży o 0,28 punktu procentowego dziennie. Ten sam efekt wystąpił w sondażach zrealizowanych w ostatnim tygodniu. Sygnalizowały one dzienny wzrost poparcia aż o 0,76 punktu procentowego, co prowadziłoby do prognozy na poziomie 14,2 procenta głosów uzyskanych w wyborach. Wyniki sondaży także tych najpóźniej zrealizowanych odzwierciedlały więc rosnące poparcie dla Grzegorza Napieralskiego. Tabela 4. Parametry modeli regresji odsetka głosów oddanych na Grzegorza Napieralskiego według sondaży przeprowadzonych przed pierwszą turą wyborów Zakres sondaży Liczba sondaży Współczynnik regresji. (zmiany dzienne) Predykcja na. 20 czerwca Wszystkie sondaże 21 0,157 11,7 Sondaże z dwóch ostatnich tygodni (7 19 czerwca) Sondaże z ostatniego tygodnia. (14 19 czerwca) sondaże z okresu czerwca (model hipotetyczny) 17 0,283 12,6 11 0,758 14,2 6-0,704 4,8 Sondaże poszczególnych firm a PBS DGA 6 0,059 8,6 GfK Polonia 3-0,090 10,1 TNS OBOP 4 0,068 12,2 MB SMG/KRC 7 0,417 13,6 a Pominięto CBOS, dla którego jest tylko jedna obserwacja i w związku z tym nie można było wyznaczyć równania regresji. Wyniki sondaży są jednak obarczone błędem statystycznym. Dlatego warto sprawdzić, czy wyniki poszczególnych sondaży są ze sobą zgodne co do rosnącej popularności Grzegorza Napieralskiego oraz co do tempa tych zmian. Na rycinie 7 przedstawiono dziewięćdziesięciopięcioprocentowe przedziały ufności dla odsetków wyborców gotowych oddać głos na Grzegorza Napieralskiego. Dokładne wartości liczbowe prezentujemy w tabeli A-1 aneksu. Poza czterema sondażami (PBS DGA z 4 czerwca; GfK Polonia z 14 czerwca; TNS OBOP z 16 czerwca i SMG/KRC z 18 czerwca), wyniki 16 pozostałych mieszczą się w przedziałach ufności rozpiętych wokół linii regresji. Uwzględniając kryteria statystyczne, nie można więc odrzucić hipotezy, że wyniki większości sondaży obrazują to samo zjawisko, czyli są ze sobą zgodne co do tempa zmian odsetka wyborców skłonnych głosować na Grzegorza Napieralskiego. Mówiąc inaczej, niezależnie od tego, która firma realizowała sondaż i w jakim momencie, ich wyniki w sposób wzajemnie spójny odzwierciedlały poparcie dla tego kandydata. 20

21 Rycina 7. Przedziały ufności wokół linii regresji odsetka głosów oddanych na Grzegorza Napieralskiego w sondażach przed pierwszą turą wyborów CBOS górna granica GfK Polonia MB SMG/KRC PBS DGA TNS OBOP predykcja na 20 dzie czerwca 20 czerwca faktyczny wynik g osowania 10,4 7,8 8,6 7,1 8,1 6,4 7,7 6,9 6,4 6,1 5,1 4,6 12,8 12,8 13,0 12,9 12,1 12,3 12,2 11,9 11,6 11,4 12,1 12,1 10,6 8,0 8,1 8,2 8,4 8,3 7,4 13,3 11,4 10,2 9,1 8,1 9,0 8,6 8,8 8,8 8,5 13,6 13,2 13,4 13,0 13,2 13,0 13,1 12,6 12,5 9,0 9,1 9,2 9,0 8,8 8,8 13,9 13,1 12,8 11,8 9,9 9,9 13,7 11, ,4 dolna granica 0 08-maj maj maj 04-cze cze cze cze cze cze cze cze cze cze cze cze cze cze cze cze cze cze cze Nota: Na podstawie wielkości podanych w tabeli A-1 aneksu. Na wykresie linia regresji nie jest linią prostą, gdyż wyniki na skali poziomej nie są rozłożone proporcjonalnie do czasu. Analiza wyników uzyskanych dla Grzegorza Napieralskiego pozwala sformułować jeszcze jeden wniosek. Na ogół dane gromadzone bliżej terminu wyborów pozwalają na sformułowanie trafniejszej prognozy. Gdybyśmy uwzględnili jedynie badania zrealizowane w ciągu dwóch ostatnich tygodni poprzedzających wybory (17 badań, zob. tabela 4), to na ich podstawie można by było prognozować, że na Grzegorza Napieralskiego głosować będzie 12,6 procenta wyborców. W badaniu o przeciętnej wielkości próby (około 1000 osób) wynik taki nie różniłby się w sposób statystycznie istotny od faktycznego, który wyniósł 13,7 procent. Podobnie jest w wypadku sondaży zrealizowanych. w ciągu ostatniego tygodnia. Prognozowany odsetek wyniósłby 14,2, a więc również nie różniłby się w sposób statystycznie istotny od faktycznego wyniku głosowania. Wniosek, że przy prognozowaniu lepiej posługiwać się badaniami zrealizowanymi blisko momentu głosowania, wbrew pozorom nie jest trywialny. Z ekspertyzy przeprowadzonej przez American Association for Public Opinion Research (2009) wynika, że w przypadku badań poprzedzających prawybory prezydenckie z 2008 roku zależności takiej nie udało się stwierdzić. Większa wartość prognostyczna później zrealizowanych badań zależy od wielu czynników, z których najważniejszym jest stabilność preferencji wyborczych. Zwróćmy uwagę, że wyniki badań zrealizowanych między 11 a 15 czerwca wskazują na wyraźnie niższą popularność Grzegorza Napieralskiego niż bezpośrednio przed tym okresem oraz po nim. Być może nastąpiło wtedy zdarzenie, które spowodowało, że część wyborców odwróciła się od tego kandydata. Fakt ten świadczy, że mając do czynienia z niestabilnym elektoratem lepiej posłużyć się w prognozach wynikami obejmującymi dłuższe przedziały czasu. Gdybyśmy. w odniesieniu do Grzegorza Napieralskiego uwzględnili wyłącznie badania zrealizowane w okresie czerwca (przypuśćmy, że obowiązywałby zakaz prowadzenia badań 21

22 przez 5 dni przed wyborami, a więc po 15 czerwca nie przeprowadzono by żadnego sondażu), to przewidywany odsetek głosujących na tego kandydata wyniósłby 4,8 procenta (tabela 4). Uwzględnienie badań z dłuższego okresu chroni przed interpretacją chwilowych wahań w preferencjach wyborców. W sumie dobrze się dzieje, że rynek dysponuje wynikami sondaży zrealizowanych zarówno pewien czas przed wyborami, jak i w dniach poprzedzających wybory. Daje to badaczom bogatszy materiał do konstruowania i weryfikowania własnych modeli dotyczących przewidywania zachowań wyborców Odsetek głosów na Jarosława Kaczyńskiego Przejdźmy obecnie do omówienia wyników uzyskanych przez drugiego z rozpatrywanych kandydatów Jarosława Kaczyńskiego (rycina 8). Właściwie można powiedzieć, że wyniki badań nie wykazują w tym przypadku żadnej tendencji. Współczynnik kierunkowy równania regresji wyniósł dla wszystkich 21 badań zaledwie 0,03 (dzienny przyrost odsetka o 0,03 procenta). Zarazem wyniki prawie wszystkich badań (poza jednym) lokują się poniżej faktycznego odsetka głosów uzyskanego przez Jarosława Kaczyńskiego w pierwszej turze wyborów. Zestawienie obu rezultatów oznacza, że prawie wszystkie badania cechuje niedoszacowanie wielkości elektoratu Jarosława Kaczyńskiego.. W rezultacie skonstruowana na ich podstawie prognoza (33,9 procent) znacznie odbiega od wyniku faktycznego (36,5 procent). Tabela 5. Parametry modeli regresji odsetka głosów oddanych w pierwszej turze na Jarosława Kaczyńskiego według sondaży przeprowadzonych przed pierwszą turą wyborów Zakres sondaży Liczba sondaży Współczynnik regresji. (zmiany dzienne) Predykcja na. 20 czerwca Wszystkie sondaże 21 0,030 33,9 Sondaże z dwóch ostatnich tygodni (7 19 czerwca) Sondaże z ostatniego tygodnia (14 19 czerwca) 17-0,161 32,7 11-0,920 30,0 Sondaże poszczególnych firm GfK Polonia 3 0,250 35,1 PBS DGA 6 0,077 35,2 MB SMG/KRC 7-0,244 31,7 TNS OBOP 4-0,164 34, W tabeli 5 zostały przedstawione wartości współczynników regresji dla sondaży. z dwóch ostatnich tygodni przed pierwszą turą wyborów oraz dla sondaży przeprowadzonych w ostatnim tygodniu. Sondaże z dwóch tygodni przed wyborami świadczą o spadku 22

23 poparcia dla Jarosława Kaczyńskiego w tym czasie. Jeszcze większy spadek odnotowują sondaże z ostatniego tygodnia. Gdyby w prognozie wziąć pod uwagę wyniki tylko tych sondaży, to różnica między prognozą (30,0) a rzeczywistym rezultatem (36,5) byłaby Rycina 8. Estymacje odsetka g osów oddanych na Jaros awa Kaczy skiego w badaniach jeszcze zrealizowanych większa przed niż dla pierwsz prognozy tur wyborów skonstruowanej na podstawie wszystkich sondaży. Rycina 8. Estymacje 50 odsetka głosów oddanych na Jarosława Kaczyńskiego w badaniach zrealizowanych przed pierwszą turą wyborów y = 0,030 x CBOS GfK Polonia CBOS MB SMG/KRC GfK PBS Polonia DGA MB TNS SMG/KRC OBOP PBS predykcja DGA na dzie 20 czerwca TNS OBOP predykcja na 20 dzie czerwca 20 czerwca faktyczny wynik g osowania faktyczny wynik g osowania R 2 = 0,027 y = 0,030 x R 2 = 0, ,5 33, ,5 33, maj 06-maj 08-maj 10-maj 12-maj 14-maj 16-maj 18-maj 20-maj 22-maj 24-maj 26-maj 28-maj 30-maj 01-cze 03-cze 05-cze 07-cze 09-cze 11-cze 13-cze 15-cze 17-cze 19-cze 21-cze 23-cze 04-maj 06-maj 08-maj 10-maj 12-maj 14-maj 16-maj 18-maj 20-maj 22-maj 24-maj 26-maj 28-maj 30-maj 01-cze 03-cze 05-cze 07-cze 09-cze 11-cze 13-cze 15-cze 17-cze 19-cze 21-cze 23-cze Rycina 9. Przedzia y ufno ci wokó linii regresji odsetka g osów oddanych na Jaros awa Rycina 9. Przedziały ufności wokół linii regresji odsetka głosów oddanych na Jarosława. Kaczy skiego w sonda ach przed pierwsz tur wyborów Kaczyńskiego w sondażach przed pierwszą turą wyborów CBOS CBOS ,9 GfK Polonia GfK Polonia 42 MB SMG/KRC MB SMG/KRC ,1 PBS DGA PBS DGA 10 TNS OBOP TNS OBOP predykcja predykcja na na dzie dzie 20 czerwca 20 czerwca 8 39 górna 38,4 38 granica 37 36,7 36,7 36,8 36,7 36,8 36,6 35,9 36,1 37, ,1 34,3 35, , ,9 33, , , ,4 30,5 30,6 30,5 30,7 29,7 29, ,4 29, dolna 27 granica maj 06-maj 08-maj maj maj 10-maj maj 12-maj 04-cze 14-maj maj 07-cze maj 09-cze maj cze 22-maj cze 24-maj cze 26-maj 37,2 37,2 37,0 9,6 35,8 36,1 34,0 30,5 30,3 30, cze 28-maj 37,4 37,2 37,1 10,0 36,9 36,8 36,8 36,8 9,1 36,1 8,5 7,9 36,3 35,2 7,3 34,9 7,5 7,6 7,7 34,5 7,0 7,2 32,6 32,5 6,5 6,6 6,7 33,0 31,9 5,4 5,9 31,5 31,7 4,8 30,7 30,5 30-maj cze 01-cze cze 03-cze cze 05-cze cze 07-cze cze 09-cze y = -0,187 x R 2 = 0,600 11,2 faktyczny wynik g osowania 30,8 30, cze 11-cze 4,5 31,5 30,9 30,9 30,3 30, cze 13-cze 2, cze 15-cze 17-cze cze 19-cze cze 21-cze cze 23-cze 36,5 33, cze Nota: Na podstawie wielkości podanych w tabeli A-2 aneksu. Na wykresie linia regresji nie jest linią prostą, gdyż wyniki na skali poziomej nie są rozłożone proporcjonalnie do czasu. Nota: Na podstawie wielko ci podanych w tabeli A-2 aneksu. Na wykresie linia regresji nie jest lini prost, Tabela gdy 3. wyniki Parametry na skali modeli poziomej regresji nie s wska nika roz o one proporcjonalnie ró nicy rozk adów do czasu. dla ró nych konfiguracji sonda y przeprowadzonych przed pierwsz tur wyborów 23 Zakres sonda y Liczba sonda y Wspó czynnik regresji (zmiany dzienne) Predykcja na 20 czerwca 24