Wywiad CATI jako narzędzie badań socjologicznych

Wywiad CATI jako narzędzie badań socjologicznych Wojciech Jabłoński Uniwersytet Łódzki XV OZS Szczecin 13-09-2013

PLAN Charakterystyka CATI Opis projektu Obszary zastosowań CATI CATI plusy i minusy Problemy Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 2

METODOLOGIA BADAŃ Realizacja: listopad 2009 sierpień 2010 & styczeń 2013 4P research mix ASM ARC Rynek i Opinia Expert-Monitor (obecnie: Kantar Media) GfK Polonia IMAS International IPSOS IQS Group MillwardBrown SMG/KRC PBS TNS Pentor (obecnie: TNS Polska) TNS OBOP (obecnie: TNS Polska) Capacent Gallup (IS) Statistics Norway (NO) Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 5

CATI OBSZARY ZASTOSOWAŃ marketing statystyka publiczna badania akademickie Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 7

CATI OBSZARY ZASTOSOWAŃ marketing W PL w 2011 udział respondentów badanych CATI: 33% (F2F: 37%; CAWI: 21%) Chojnowski & Wódkowski 2012 Wydatki na badania w 2011 na świecie CATI: 17%; F2F: 14%; CAWI: 33% Global Market Research 2012 Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 8

CATI OBSZARY ZASTOSOWAŃ statystyka publiczna W wielu krajach (np. skandynawskich) podstawowa technika zbierania danych W PL podczas NSPLiM 2011 CATI jedną z technik zbierania danych (obok wywiadu osobistego, ankiety internetowej i źródeł administracyjnych); spisanych 3% respondentów w badaniu pełnym; 1% w badaniu reprezentacyjnym Biuletyn informacyjny Centralnego Biura Spisowego nr 48 2011 Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 9

CATI OBSZARY ZASTOSOWAŃ badania akademickie Relatywnie często w USA: National Immunization Survey (NIS), National Survey of Children s Health (NSCH), Behavioral Risk Factor Surveillance System (BRFSS) badania zachowań Bardzo dobra infrastruktura w placówkach naukowych Duże badania międzynarodowe bazują na bezpośrednim kontakcie ankietera z respondentem: World Values Survey (WVS), European Values Study (EVS), International Social Survey Programme (ISSP), Europejski Sondaż Społeczny (ESS), Eurobarometr Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 10

CATI PRZEWAGA Silna standaryzacja zachowań ankieterskich Komputerowe wspomaganie procesu realizacji + Brak wiązkowania próby możliwość uzyskania dużego rozproszenia terytorialnego przypadków Możliwość redukcji błędu nonresponse (dotarcia do osób niedostępnych w badaniach F2F) Kontakt zapośredniczony zredukowany komponent niewerbalny procesu komunikacji większe poczucie anonimowości mniejsza skłonność do udzielania odpowiedzi społecznie akceptowanych Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 12

CATI OGRANICZENIA - Kontakt zapośredniczony zredukowany komponent niewerbalny procesu komunikacji / specyfika rozmowy telefonicznej mniejsze zaangażowanie respondenta (też: multitasking) satisficing Krosnick 1999 ograniczone możliwości stosowania materiałów wizualnych mniejsze możliwości kontrolowania przebiegu wywiadu przez ankietera / mniejsza perswazyjność aranżacji Trudna kontrola reprezentatywności w badaniach populacji generalnych Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 13

CATI REZULTATY PROJEKTU Jabłoński 2012a; 2012b; 2012c; 2012d 1 Przygotowanie narzędzia badawczego / implementacja standardowych pytań kwestionariuszowych do skryptów CATI 2 Dobór próby do badań telefonicznych / kontrola reprezentatywności Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 15

CATI REZULTATY PROJEKTU 1 Przygotowanie narzędzia badawczego / implementacja standardowych pytań kwestionariuszowych do skryptów CATI Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 16

SKRYPT WYWIADU DŁUGOŚĆ WYWIADU ANKIETER: W rozmowie przez telefon ludzie mają inne poczucie czasu. Nawet przy 5-minutowych wywiadach respondenci mówią, że to długo. A co dopiero, jak ankieta ma 20 minut. Raz robiliśmy badanie, które trwało 50 minut. To jest koszmar ( ). Uważam, że ludzie mogliby oskarżyć firmę o dręczenie ( ). Takie wywiady są bardzo często przerywane, ludzie po prostu nie wytrzymują i wysiadają. Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 17

SKRYPT WYWIADU DŁUGOŚĆ WYWIADU ANKIETER: W rozmowie przez telefon ludzie mają inne poczucie czasu. Nawet przy 5-minutowych wywiadach respondenci mówią, że to długo. A co dopiero, jak ankieta ma 20 minut. Raz robiliśmy badanie, które trwało 50 minut. To jest koszmar ( ). Uważam, że ludzie mogliby oskarżyć firmę o dręczenie ( ). Takie wywiady są bardzo często przerywane, ludzie po prostu nie wytrzymują i wysiadają. ANKIETER: Kiedyś robiliśmy wywiady 70-minutowe, w których puszczało się ludziom 30-sekundowe kawałki utworów i później zadawało pytania z nimi związane. Wyobrażasz sobie taki wywiad na komórce? Tego typu rzeczy powinny iść w wywiadzie face-to-face, a nie przez telefon. Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 18

SKRYPT WYWIADU KONSTRUKCJA PYTAŃ ANKIETER: Czasami pytania są tak pokracznie sformułowane, że nawet ja nie wiem, o co chodzi. Więc jak ci biedni respondenci z podstawowym czy zasadniczym wykształceniem mają je zrozumieć? Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 19

SKRYPT WYWIADU KONSTRUKCJA PYTAŃ ANKIETER: Czasami pytania są tak pokracznie sformułowane, że nawet ja nie wiem, o co chodzi. Więc jak ci biedni respondenci z podstawowym czy zasadniczym wykształceniem mają je zrozumieć? ANKIETER: Zdarzają się czasami tak długie pytania, że jak skończę je czytać, to sama nie pamiętam, co było na początku. Respondent nie widząc tekstu tym bardziej. Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 20

SKRYPT WYWIADU KONSTRUKCJA PYTAŃ ANKIETER: Czasami pytania są tak pokracznie sformułowane, że nawet ja nie wiem, o co chodzi. Więc jak ci biedni respondenci z podstawowym czy zasadniczym wykształceniem mają je zrozumieć? ANKIETER: Zdarzają się czasami tak długie pytania, że jak skończę je czytać, to sama nie pamiętam, co było na początku. Respondent nie widząc tekstu tym bardziej. MANAGER: Zdarzają się kwestionariusze niedobre, ale nie dlatego, że my czegoś nie przewidzimy, ale dlatego, że tak chce klient. On mówi: tak to pytanie jest zadawane w całej Europie. Proszę, żeby było zadawane też tak u nas. Koniec, kropka. Klienci są różni. Niekiedy są rozumni i otwarci na wiedzę o tym, jak badania się realizuje i rozumieją na przykład dlaczego w 32 minucie wywiadu respondent jest zdenerwowany. Co jakiś czas trafi się niestety i taki, że my się boimy odezwać, bo on powie, że sobie pójdzie do konkurencji i tam mu zrobią tak, jak on chce. Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 21

SKRYPT WYWIADU TECHNIKI SPECJALNE keyword summary Dillman 1978 Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 22

SKRYPT WYWIADU TECHNIKI SPECJALNE keyword summary Dillman 1978 unfolding Groves 1979 split questions Dillman 1978; Dillman i in. 2009 branching Malhotra, Krosnick & Thomas 2009 Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 23

SKRYPT WYWIADU TECHNIKI SPECJALNE keyword summary Dillman 1978 unfolding Groves 1979 split questions Dillman 1978; Dillman i in. 2009 branching Malhotra, Krosnick & Thomas 2009 Skale graficzne - etykiety dla punktów krańcowych Frey 1989; de Leeuw 2002 - etykieta również dla punktu środkowego Courser & Lavrakas 2012 Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 24

SKRYPT WYWIADU TECHNIKI SPECJALNE keyword summary Dillman 1978 unfolding Groves 1979 split questions Dillman 1978; Dillman i in. 2009 branching Malhotra, Krosnick & Thomas 2009 Skale graficzne - etykiety dla punktów krańcowych Frey 1989; de Leeuw 2002 - etykieta również dla punktu środkowego Courser & Lavrakas 2012 Pytania prekategoryzowane Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 25

CATI REZULTATY PROJEKTU 2 Dobór próby do badań telefonicznych / kontrola reprezentatywności Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 26

SAMPLING W CATI Uzależnienie stosowanych procedur od warunków właściwych dla danego obszaru (kraju) struktura rynku telekomunikacyjnego, wykorzystywane plany numeracyjne, penetracja poszczególnych rodzajów telefonii Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 27

SAMPLING W CATI Uzależnienie stosowanych procedur od warunków właściwych dla danego obszaru (kraju) struktura rynku telekomunikacyjnego, wykorzystywane plany numeracyjne, penetracja poszczególnych rodzajów telefonii Operat problem; w badaniach na zbiorowościach generalnych zwykle list-assisted RDD (Random Digit Dialing) Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 28

SAMPLING W CATI Uzależnienie stosowanych procedur od warunków właściwych dla danego obszaru (kraju) struktura rynku telekomunikacyjnego, wykorzystywane plany numeracyjne, penetracja poszczególnych rodzajów telefonii Operat problem; w badaniach na zbiorowościach generalnych zwykle list-assisted RDD (Random Digit Dialing) Malejąca penetracja telefonii stacjonarnej, rosnąca penetracja telefonii komórkowej dual-frame surveys - problem łączenia segmentów próby - problem stratyfikacji terytorialnej próby RDD komórek Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 29

SAMPLING W CATI Dostęp gospodarstw domowych do telefonii w 2011 r. w wybranych krajach UE oraz w USA Państwo Gospodarstwa domowe S + K S K ---- Polska 35% 9% 52% 4% Czechy 18% 1% 78% 3% Szwecja 94% 5% 2% 0% Niemcy 75% 14% 11% 1% Rumunia 38% 9% 44% 10% USA 53% 10% 34% 2% E-Communications Household Survey: Special Eurobarometer 381 2012; Blumberg & Luke 2012 Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 30

LITERATURA Biuletyn informacyjny Centralnego Biura Spisowego 48 (2011). Warszawa: GUS. Blumberg S.J., Luke J.V. (2012). Wireless Substitution: Early Release of Estimates from the National Health Interview Survey, July-December 2011. Chojnowski P., Wódkowski A. (2012). Rynek badań marketingowych z perspektywy 2012 roku. [w:] Badania marketingowe. Rocznik Polskiego Towarzystwa Badaczy Rynku i Opinii, Edycja XVII. Warszawa: PTBRiO. Courser M.W., Lavrakas P.J. (2012). Item Nonresponse and the 10-Point Response Scale in Telephone Surveys. Survey Practice 5(4). de Leeuw E.D. (2002). Data Quality in Mail, Telephone and Face to Face Surveys. Amsterdam: TT-Publikaties. Dillman D.A. (1978). Mail and Telephone Surveys. The Total Design Method. New York: John Wiley & Sons. Dillman D.A., Smyth J.D., Christian L.M. (2009). Internet, Mail and Mixed-Mode Surveys. The Tailored Design Method. Hoboken: John Wiley & Sons. E-Communications Household Survey: Special Eurobarometer 381 (2012). Frey J.H. (1989). Survey Research by Telephone. Newbury Park: Sage Publications. Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 31

LITERATURA Global Market Research 2012. ESOMAR Industry Report (2012). Amsterdam: ESOMAR. Groves R.M. (1979). Actors and Questions in Telephone and Personal Interview Surveys. Public Opinion Quarterly 43(2). Jabłoński W. (2012a). CATI Interviewers Job Satisfaction Level. Proceedings of the Survey Research Section of the American Statistical Association. http://www.amstat.org/sections/srms/proceedings/y2012/files/400237_500704.pdf Jabłoński W. (2012b). Landline versus Cell Phone Surveys: Interviewers Experience. Proceedings of the ISA RC338th International Conference on Social Science Methodology. http://conference.acspri.org.au/index.php/rc33/2012/paper/view/555/17 Jabłoński W. (2012c). Stressful Situations in Telephone Interviews. Survey Practice 5(4). http://www.surveypractice.org/index.php/surveypractice/article/view/32/pdf Jabłoński W. (2012d). Ankieterzy CATI o swoim zadowoleniu z pracy. Folia Sociologica 42. Krosnick J.A. (1999). Survey Research. Annual Review of Psychology 50. Malhotra N., Krosnick J.A., Thomas R.K. (2009). Optimal Design of Branching Questions to Measure Bipolar Constructs. Public Opinion Quarterly 73(2). Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 32

DZIĘKUJĘ! Wojciech Jabłoński wjablonski@uni.lodz.pl Wojciech Jabłoński UŁ Wywiad CATI jako narzędzie badań socjologicznych 33