Wykorzystanie ankiet internetowych w badaniach ewaluacyjnych

Transkrypt

1 Wykorzystanie ankiet internetowych w badaniach ewaluacyjnych Dr III Regionalna Konferencja Ewaluacyjna, Rzeszów, 11 czerwca 2010 Projekt finansowany przez Unię Europejską ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata

2 O czym powiem? Czym są ankiety internetowe? Kogo można badać przez Internet? Jak realizować badanie? Jak skonstruować narzędzie badawcze? Czego przede wszystkim unikać, na co uważać?

3 CZYM SĄ ANKIETY INTERNETOWE?

4 Znaczenie ankiet internetowych Obecnie jest to w pełni uprawniona metoda badawcza Choć stosunkowo młoda, ma wytyczne metodologiczne i standardy warto je stosować Badania realizowane w Internecie, przede wszystkim ankiety (CAWI), mają coraz większy udział w światowym rynku badań W Polsce ich pozycja jest słabsza, ale przewiduje się szybki wzrost udziału tej techniki w najbliższych latach

5 Zalety i wady ankiet internetowych Zalety Niskie koszty Szybkość realizacji Dotarcie do specyficznych grup Ułatwienia organizacyjne Wygodne dla badanych Wady Brak reprezentatywności dla wielu populacji Niska motywacja badanych Problemy ze standaryzacją Wciąż niewystarczające doświadczenie w realizacji

6 KOGO MOŻNA BADAĆ PRZEZ INTERNET?

7 Internauci na tle populacji Obecnie z Internetu korzysta ok. 55% dorosłych Polaków Internauci wyróżniają się na tle wszystkich Polaków są to osoby młodsze, lepiej wykształcone, zamożniejsze i mieszkające w większych miejscowościach Z tego względu nie można prowadzić w Internecie badań reprezentatywnych dla ogółu Polaków Ani badań populacji, gdzie skłonność do korzystania z Internetu jest niska lub bardzo zróżnicowana Ale można badać specyficzne populacje i grupy celowe

8 odsetek osób korzystających z internetu ,5 72,7 86,8 49,2 59,4 73,7 35,2 45,9 62,1 21,6 31,7 39,5 13,7 7, lat lat lat lat lat 65 i więcej lat 20,6 2,8 3,6 5,8 Korzystanie z internetu według wieku Korzystanie w największym stopniu związane jest z wiekiem. Z internetu korzysta zdecydowana większość młodych i bardzo niewiele starszych osób. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej

9 odsetek osób korzystających z internetu , ,9 83,4 84,2 85, , , , ,2 19,8 31,3 36,7 10 3,6 3,8 7,2 0 Podstawowe i niższe Zasadnicze/ gimnazjum Średnie Wyższe i policealne Uczący się Korzystanie z internetu według wykształcenia Ogromne znaczenie ma również wykształcenie. Z internetu korzystają przede wszystkim osoby uczące się i lepiej wykształcone. Wśród osób z wykształceniem podstawowym z sieci korzysta zaledwie 7%. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej

10 prac. sektora publicznego prac. sektora prywatnego prywatni przedsiębiorcy rolnicy renciści emeryci uczniowie i studenci bezrobotni inni bierni zawodowo 10,6 13,2 25,3 12,3 17,2 20,3 5,4 8,8 13,3 21,3 21,1 Korzystanie z internetu według statusu społeczno-zawodowego Duże znaczenie dla faktu korzystania z internetu ma również status społeczno zawodowy. Korzysta olbrzymia większość uczniów i studentów, a także większość osób pracujących. Najmniej użytkowników jest wśród emerytów, rencistów i rolników. odsetek osób korzystających z internetu ,1 33,6 42,2 40,9 40,9 Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej ,5 52,3 55,6 66,4 66,3 69,2 76,4 80,5 84,2 85, ,7

11 odsetek osób korzystających z internetu ,4 67,3 62,8 64,3 60,6 54,8 54,9 45,3 49,9 49,6 44,2 37,0 33,0 41,1 50,2 25,8 20,9 38, miasta powyżej 500 tys. miasta tys. miasta tys. miasta tys. miasta poniżej 20 tys. Korzystanie z internetu według wielkości miejsca zamieszkania wieś Korzystanie z internetu jest też związane z wielkością miejscowości zamieszkania. Im większa miejscowość, tym więcej osób korzysta. Należy jednak podkreślić, że znaczenie wielkości miejsca zamieszkania jest mniejsze niż innych czynników, a dodatkowo jego znacznie maleje. Jest to efektem znacznego przyrostu liczby użytkowników na wsi z 26% w 2007 roku do 38 w Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej

12 odsetek osób korzystających z internetu ,6 33,2 41,1 43,6 52,9 60,2 72, , pierwszy kwartyl drugi kwartyl trzeci kwartyl czwarty kwartyl Korzystanie z internetu według dochodów w gospodarstwach domowych Osoby mieszkające w gospodarstwach domowych z wyższym dochodem mają większe szanse na korzystanie z Internetu Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej

13 odsetek osób w wieku 16+ z danego województwa Dolnośląskie Kujawsko-pomorskie Lubelskie Lubuskie Łódzkie Małopolskie Mazowieckie Opolskie Podkarpackie Podlaskie Pomorskie Śląskie Świętokrzyskie Warmińsko-mazurskie Wielkopolskie Zachodnio-pomorskie 43,6 53,9 35,5 50,2 34,2 43,8 45,1 53,9 40,6 47,8 45,9 44,2 53,0 52,5 39,1 48,9 38,6 44,4 42,1 50,2 53,9 44,5 54,0 30,6 39,3 32,4 44,8 43,5 52,1 36,5 52,7 58, korzystanie z internetu 2009 korzystanie z internetu Korzystanie z internetu w województwach Można zaobserwować zróżnicowanie pomiędzy poszczególnymi województwami. Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej

14 Jakie populacje badać przez Internet? Można Instytucje Przedsiębiorstwa, zwłaszcza duże i średnie Mikrofirmy związane z e- biznesem i technologiami Przedsiębiorcy Studenci i uczniowie Nie warto Bezrobotni Rolnicy Emeryci Wykluczeni Mieszkańcy terenów wiejskich Badania CAWI mają wiele zalet przy ocenie ex-post lub on going, gdy beneficjenci biorą udział w różnych momentach

15 JAK REALIZOWAĆ BADANIE?

16 Najważniejsze sposoby doboru próby i realizacji badania 1. Lista bazowa: wykorzystanie bazy respondentów, zbieranych w trakcie projektu, np. listy z adresami 2. Korzystanie z panelu internetowego firmy badawczej 3. Ankiety pop-up - w wyskakujących okienkach Metody mieszane: łączenie w obrębie 1 schematu badawczego CAWI i badań telefonicznych lub pocztowych

17 Lista bazowa W wielu przypadkach zalecana metoda, zwłaszcza w badaniach instytucji i przedsiębiorstw Miejsce badań w strukturze projektu: skłanianie do udziału, dbałość o dobre dane kontaktowe i zabezpieczenie przetwarzania danych osobowych Częstym problemem jest dezaktualizacja danych respondentów, zwłaszcza małych i mikrofirm oraz osób indywidualnych np. zmiany i Warto łączyć sposoby kontaktu: telefon, , zwykły list

18 Korzystanie z panelu internetowego Wiele firm badawczych prowadzi panele internetowe, liczące nawet kilkadziesiąt tysięcy osób Można na nich realizować badania ad hoc lub dołączać pytania do badań omnibusowych Ograniczenie: te panele składają się w praktyce w większości z ochotników, a struktura respondentów może być zaburzona Problem małej reprezentacji poszczególnych grup Nie można dotrzeć do beneficjentów danych programów

19 Ankiety pop-up Zaproszenie do badania, lub wręcz cała krótka ankieta, umieszczone jest w wyskakującym okienku Umożliwia to emisję zaproszeń osobom odwiedzającym określone strony internetowe, gdy nie mamy innych ich danych kontaktowych Problemem jest to, że przypomina nielubiane reklamy Wykorzystywane w przypadku działań prowadzonych w internecie, np. przy ocenie serwisów internetowych Do oceny stron lepiej wykorzystywać dane typu site centric

20 Znaczenie motywacji do udziału Niechęć do udziału w badaniu jest częstym problemem badań internetowych, więc warto o to zadbać niezależnie od sposobu realizacji badania W ewaluacji dość często badani są przekonani, że badanie ich dotyczy i ma znaczenie, co pozytywnie wpływa na ich motywację Najbardziej skłonni do udziału są beneficjenci bezpośredni Mniej chętni mogą być beneficjenci ostateczni oraz podmioty, które nie dostały wsparcia, choć ubiegały się o nie

21 Sposoby zwiększania realizacji próby Dostęp do wyników badań i raportów istotne zwłaszcza dla instytucji i przedsiębiorstw Personalizacja kontaktów z respondentami Zachęcające i wyczerpujące zaproszenie do badania Przypomnienia o badaniu w okresie zbierania danych Umożliwienie zapisania ankiety i powrotu do niej Różne techniki ważenia (np. propensity score weighting) umożliwiają korygowanie wyników po zakończeniu badania

22 JAK SKONSTRUOWAĆ NARZĘDZIE BADAWCZE?

23 Jakich narzędzi użyć? Warstwa techniczna ankiety internetowej to nie tylko strona z kwestionariuszem i serwer Ważne jest także zarządzanie wysyłką zaproszeń i kontrolowanie, kto bierze udział, itp. Możliwe sposoby realizacji: 1. Tworzenie własnego rozwiązania niezalecane 2. Użycie dedykowanego oprogramowania może mieć sens zwłaszcza przy wielu badaniach 3. Skorzystanie z rozwiązań firm badawczych

24 Kilka uwag o narzędziu Wskazane jest umieszczanie kwestionariusza na stronie WWW, natomiast inne rozwiązania, np. wysyłanie go w załączniku a, nie są zalecane Cenna jest możliwość łączenia danych z ankiety i z innych źródeł, np. z wniosku, aby nie męczyć badanych niepotrzebnym powtórnym wpisywaniem informacji Wskazane jest kontrolowanie, kto z próby bierze udział w badaniu, za pomocą indywidualnych adresów URL lub logowania oprogramowanie do realizacji umożliwia to

25 Narzędzie - co jest wskazane? Wskaźnik postępu (np. strona 3 z 7 czy 20% ) Prosty format odpowiedzi, unikanie dużych tabel i niepotrzebnych elementów graficznych itp. Sprawdzenie, czy serwer z ankietą wytrzyma jednoczesny napływ wielu respondentów Należy unikać zbyt długich badań, zwłaszcza w przypadku respondentów indywidualne W długich badaniach szczególnie ważne jest umożliwienie przerwania i zapisania badania oraz powrotu do niego

26 KILKA UWAG NA ZAKOŃCZENIE

27 Na co uważać? Czy w ogóle badanie internetowe ma sens w przypadku danej populacji i danego zagadnienia? Uważajmy na generalizację z próby internetowej Od początku projektu zbierajmy dobre dane kontaktowe Zadbajmy o motywację badanych i realizację próby Wybierzmy dobre narzędzie ankieta internetowa to nie tylko kwestionariusz na stronie Badania CAWI nie są już metodą nowatorską spytajmy o doświadczenia i kompetencje wykonawców

28 Nie tylko ankiety Wykorzystanie CAWI w ewaluacji będzie coraz częstsze, ale nie jest to jedyna metoda badań ilościowych w internecie Wiele nowych metod, wykorzystujący dane zbierane online: Site-centric: statystyki korzystania ze stron internetowych Badania treści dostępnych w sieci i powiązań między nimi, z użyciem crawlerów i automatycznej analizy treści Wykorzystanie innych danych dostępnych w internecie, na przykład o zapytaniach w wyszukiwarkach online W badaniach użyteczności serwisów lepiej niż ankiety sprawdzają się testy scenariuszowe i obserwacje

29 Dziękuję za uwagę! Dr Prezentacja jest dostępna na stronie w sekcji Aktualności Dziękuję dr Dominikowi Batorskiemu za udostępnienie wykresów