Wykorzystanie ankiet internetowych w badaniach ewaluacyjnych Dr III Regionalna Konferencja Ewaluacyjna, Rzeszów, 11 czerwca 2010 Projekt finansowany przez Unię Europejską ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007-2013
O czym powiem? Czym są ankiety internetowe? Kogo można badać przez Internet? Jak realizować badanie? Jak skonstruować narzędzie badawcze? Czego przede wszystkim unikać, na co uważać?
CZYM SĄ ANKIETY INTERNETOWE?
Znaczenie ankiet internetowych Obecnie jest to w pełni uprawniona metoda badawcza Choć stosunkowo młoda, ma wytyczne metodologiczne i standardy warto je stosować Badania realizowane w Internecie, przede wszystkim ankiety (CAWI), mają coraz większy udział w światowym rynku badań W Polsce ich pozycja jest słabsza, ale przewiduje się szybki wzrost udziału tej techniki w najbliższych latach
Zalety i wady ankiet internetowych Zalety Niskie koszty Szybkość realizacji Dotarcie do specyficznych grup Ułatwienia organizacyjne Wygodne dla badanych Wady Brak reprezentatywności dla wielu populacji Niska motywacja badanych Problemy ze standaryzacją Wciąż niewystarczające doświadczenie w realizacji
KOGO MOŻNA BADAĆ PRZEZ INTERNET?
Internauci na tle populacji Obecnie z Internetu korzysta ok. 55% dorosłych Polaków Internauci wyróżniają się na tle wszystkich Polaków są to osoby młodsze, lepiej wykształcone, zamożniejsze i mieszkające w większych miejscowościach Z tego względu nie można prowadzić w Internecie badań reprezentatywnych dla ogółu Polaków Ani badań populacji, gdzie skłonność do korzystania z Internetu jest niska lub bardzo zróżnicowana Ale można badać specyficzne populacje i grupy celowe
odsetek osób korzystających z internetu 100 90 80 70 60 50 40 30 20 10 0 76,5 72,7 86,8 49,2 59,4 73,7 35,2 45,9 62,1 21,6 31,7 39,5 13,7 7,6 2005 2007 2009 16-24 lat 25-34 lat 35-44 lat 45-59 lat 60-64 lat 65 i więcej lat 20,6 2,8 3,6 5,8 Korzystanie z internetu według wieku Korzystanie w największym stopniu związane jest z wiekiem. Z internetu korzysta zdecydowana większość młodych i bardzo niewiele starszych osób. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
odsetek osób korzystających z internetu 100 93,7 90 80 2005 2007 2009 76,9 83,4 84,2 85,3 70 65,5 60 56,4 50 45,4 40 30 20 15,2 19,8 31,3 36,7 10 3,6 3,8 7,2 0 Podstawowe i niższe Zasadnicze/ gimnazjum Średnie Wyższe i policealne Uczący się Korzystanie z internetu według wykształcenia Ogromne znaczenie ma również wykształcenie. Z internetu korzystają przede wszystkim osoby uczące się i lepiej wykształcone. Wśród osób z wykształceniem podstawowym z sieci korzysta zaledwie 7%. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
prac. sektora publicznego prac. sektora prywatnego prywatni przedsiębiorcy rolnicy renciści emeryci uczniowie i studenci bezrobotni inni bierni zawodowo 10,6 13,2 25,3 12,3 17,2 20,3 5,4 8,8 13,3 21,3 21,1 Korzystanie z internetu według statusu społeczno-zawodowego Duże znaczenie dla faktu korzystania z internetu ma również status społeczno zawodowy. Korzysta olbrzymia większość uczniów i studentów, a także większość osób pracujących. Najmniej użytkowników jest wśród emerytów, rencistów i rolników. odsetek osób korzystających z internetu 0 10 20 30 40 50 60 70 80 90 100 27,1 33,6 42,2 40,9 40,9 Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009 51,5 52,3 55,6 66,4 66,3 69,2 76,4 80,5 84,2 85,3 2005 2007 2009 93,7
odsetek osób korzystających z internetu 100 90 80 2005 2007 2009 70 60 50 40 30 20 50,4 67,3 62,8 64,3 60,6 54,8 54,9 45,3 49,9 49,6 44,2 37,0 33,0 41,1 50,2 25,8 20,9 38,0 10 0 miasta powyżej 500 tys. miasta 200-500 tys. miasta 100-200 tys. miasta 20-100 tys. miasta poniżej 20 tys. Korzystanie z internetu według wielkości miejsca zamieszkania wieś Korzystanie z internetu jest też związane z wielkością miejscowości zamieszkania. Im większa miejscowość, tym więcej osób korzysta. Należy jednak podkreślić, że znaczenie wielkości miejsca zamieszkania jest mniejsze niż innych czynników, a dodatkowo jego znacznie maleje. Jest to efektem znacznego przyrostu liczby użytkowników na wsi z 26% w 2007 roku do 38 w 2009. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
odsetek osób korzystających z internetu 100 90 80 70 60 50 40 2005 2007 2009 34,6 33,2 41,1 43,6 52,9 60,2 72,4 30 26,4 20 10 0 pierwszy kwartyl drugi kwartyl trzeci kwartyl czwarty kwartyl Korzystanie z internetu według dochodów w gospodarstwach domowych Osoby mieszkające w gospodarstwach domowych z wyższym dochodem mają większe szanse na korzystanie z Internetu Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
odsetek osób w wieku 16+ z danego województwa 0 10 20 30 40 50 60 70 80 90 100 Dolnośląskie Kujawsko-pomorskie Lubelskie Lubuskie Łódzkie Małopolskie Mazowieckie Opolskie Podkarpackie Podlaskie Pomorskie Śląskie Świętokrzyskie Warmińsko-mazurskie Wielkopolskie Zachodnio-pomorskie 43,6 53,9 35,5 50,2 34,2 43,8 45,1 53,9 40,6 47,8 45,9 44,2 53,0 52,5 39,1 48,9 38,6 44,4 42,1 50,2 53,9 44,5 54,0 30,6 39,3 32,4 44,8 43,5 52,1 36,5 52,7 58,3 2007 korzystanie z internetu 2009 korzystanie z internetu Korzystanie z internetu w województwach Można zaobserwować zróżnicowanie pomiędzy poszczególnymi województwami. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
Jakie populacje badać przez Internet? Można Instytucje Przedsiębiorstwa, zwłaszcza duże i średnie Mikrofirmy związane z e- biznesem i technologiami Przedsiębiorcy Studenci i uczniowie Nie warto Bezrobotni Rolnicy Emeryci Wykluczeni Mieszkańcy terenów wiejskich Badania CAWI mają wiele zalet przy ocenie ex-post lub on going, gdy beneficjenci biorą udział w różnych momentach
JAK REALIZOWAĆ BADANIE?
Najważniejsze sposoby doboru próby i realizacji badania 1. Lista bazowa: wykorzystanie bazy respondentów, zbieranych w trakcie projektu, np. listy z adresami e-mail 2. Korzystanie z panelu internetowego firmy badawczej 3. Ankiety pop-up - w wyskakujących okienkach Metody mieszane: łączenie w obrębie 1 schematu badawczego CAWI i badań telefonicznych lub pocztowych
Lista bazowa W wielu przypadkach zalecana metoda, zwłaszcza w badaniach instytucji i przedsiębiorstw Miejsce badań w strukturze projektu: skłanianie do udziału, dbałość o dobre dane kontaktowe i zabezpieczenie przetwarzania danych osobowych Częstym problemem jest dezaktualizacja danych respondentów, zwłaszcza małych i mikrofirm oraz osób indywidualnych np. zmiany e-maili Warto łączyć sposoby kontaktu: telefon, e-mail, zwykły list
Korzystanie z panelu internetowego Wiele firm badawczych prowadzi panele internetowe, liczące nawet kilkadziesiąt tysięcy osób Można na nich realizować badania ad hoc lub dołączać pytania do badań omnibusowych Ograniczenie: te panele składają się w praktyce w większości z ochotników, a struktura respondentów może być zaburzona Problem małej reprezentacji poszczególnych grup Nie można dotrzeć do beneficjentów danych programów
Ankiety pop-up Zaproszenie do badania, lub wręcz cała krótka ankieta, umieszczone jest w wyskakującym okienku Umożliwia to emisję zaproszeń osobom odwiedzającym określone strony internetowe, gdy nie mamy innych ich danych kontaktowych Problemem jest to, że przypomina nielubiane reklamy Wykorzystywane w przypadku działań prowadzonych w internecie, np. przy ocenie serwisów internetowych Do oceny stron lepiej wykorzystywać dane typu site centric
Znaczenie motywacji do udziału Niechęć do udziału w badaniu jest częstym problemem badań internetowych, więc warto o to zadbać niezależnie od sposobu realizacji badania W ewaluacji dość często badani są przekonani, że badanie ich dotyczy i ma znaczenie, co pozytywnie wpływa na ich motywację Najbardziej skłonni do udziału są beneficjenci bezpośredni Mniej chętni mogą być beneficjenci ostateczni oraz podmioty, które nie dostały wsparcia, choć ubiegały się o nie
Sposoby zwiększania realizacji próby Dostęp do wyników badań i raportów istotne zwłaszcza dla instytucji i przedsiębiorstw Personalizacja kontaktów z respondentami Zachęcające i wyczerpujące zaproszenie do badania Przypomnienia o badaniu w okresie zbierania danych Umożliwienie zapisania ankiety i powrotu do niej Różne techniki ważenia (np. propensity score weighting) umożliwiają korygowanie wyników po zakończeniu badania
JAK SKONSTRUOWAĆ NARZĘDZIE BADAWCZE?
Jakich narzędzi użyć? Warstwa techniczna ankiety internetowej to nie tylko strona z kwestionariuszem i serwer Ważne jest także zarządzanie wysyłką zaproszeń i kontrolowanie, kto bierze udział, itp. Możliwe sposoby realizacji: 1. Tworzenie własnego rozwiązania niezalecane 2. Użycie dedykowanego oprogramowania może mieć sens zwłaszcza przy wielu badaniach 3. Skorzystanie z rozwiązań firm badawczych
Kilka uwag o narzędziu Wskazane jest umieszczanie kwestionariusza na stronie WWW, natomiast inne rozwiązania, np. wysyłanie go w załączniku e-maila, nie są zalecane Cenna jest możliwość łączenia danych z ankiety i z innych źródeł, np. z wniosku, aby nie męczyć badanych niepotrzebnym powtórnym wpisywaniem informacji Wskazane jest kontrolowanie, kto z próby bierze udział w badaniu, za pomocą indywidualnych adresów URL lub logowania oprogramowanie do realizacji umożliwia to
Narzędzie - co jest wskazane? Wskaźnik postępu (np. strona 3 z 7 czy 20% ) Prosty format odpowiedzi, unikanie dużych tabel i niepotrzebnych elementów graficznych itp. Sprawdzenie, czy serwer z ankietą wytrzyma jednoczesny napływ wielu respondentów Należy unikać zbyt długich badań, zwłaszcza w przypadku respondentów indywidualne W długich badaniach szczególnie ważne jest umożliwienie przerwania i zapisania badania oraz powrotu do niego
KILKA UWAG NA ZAKOŃCZENIE
Na co uważać? Czy w ogóle badanie internetowe ma sens w przypadku danej populacji i danego zagadnienia? Uważajmy na generalizację z próby internetowej Od początku projektu zbierajmy dobre dane kontaktowe Zadbajmy o motywację badanych i realizację próby Wybierzmy dobre narzędzie ankieta internetowa to nie tylko kwestionariusz na stronie Badania CAWI nie są już metodą nowatorską spytajmy o doświadczenia i kompetencje wykonawców
Nie tylko ankiety Wykorzystanie CAWI w ewaluacji będzie coraz częstsze, ale nie jest to jedyna metoda badań ilościowych w internecie Wiele nowych metod, wykorzystujący dane zbierane online: Site-centric: statystyki korzystania ze stron internetowych Badania treści dostępnych w sieci i powiązań między nimi, z użyciem crawlerów i automatycznej analizy treści Wykorzystanie innych danych dostępnych w internecie, na przykład o zapytaniach w wyszukiwarkach online W badaniach użyteczności serwisów lepiej niż ankiety sprawdzają się testy scenariuszowe i obserwacje
Dziękuję za uwagę! Dr jzajac@snrs.pl Prezentacja jest dostępna na stronie www.snrs.pl w sekcji Aktualności Dziękuję dr Dominikowi Batorskiemu za udostępnienie wykresów