Ray Poynter The Handbook of Online and Social Media Research

Transkrypt

1 Ray Poynter The Handbook of Online and Social Media Research PART I.2 ONLINE QUANTITATIVE SURVEY RESEARCH ILOŚCIOWE BADANIA ONLINE

2 Plan prezentacji 4. Praca na panelach i bazach danych -> Online Access Panels -> Client databases -> In-house, or client, panels 5. Przeprowadzanie badań 2

3 Rozdział 4. Praca na panelach i bazach danych (oryg. Working with Panels and Databases)

4 Online Access Panels - charakterystyka Członkowie są w panelu świadomie i dobrowolnie. Badania rynku, ale nie badania marketingowe. Zbiór danych do określania próby (np.: zmienne demograficzne). Zaproszeniami i zachętami zajmuje się właściciel panelu. 4

5 Wybór panelu Krok po kroku: Częściowy/Pełny serwis Jakość Koszt Możliwości Zmienne w danych Obsługa klienta 5

6 Wybór panelu: Częściowy/Pełny serwis Częściowy: Np.: samo rozsyłanie zaproszeń do członków panelu. Pełny: Także pisanie i hosting kwestionariuszy, lub zapewnienie oprogramowania do tego celu. Cena: Bywa podobna. Firma zaoszczędza nie musząc sprawdzać ankiety i jej implementacji. 6

7 Wybór panelu: Jakość Różne wyniki w różnych panelach. Powód? Różna jakość. ESOMAR (European Society for Opinion and Marketing Research) i 26 pytań o np.: jakość danych, członkowstwo w wielu panelach, metoda rekrutacji, źródło próby itp. 7

8 Wybór panelu: Koszt Rady: a) Dokładna specyfikacja ocena długości i response rate. b) Upewnienie się czy podana cena jest ceną całkowitą. Cztery kroki wyboru: 1) Wykluczenie paneli niespełniających minimalnych wymogów. 2) Koszty wynagrodzeń. 3) Przegląd ew. porad ze strony właściciela panelu. 4) Ostatecznie: najtańszy dopuszczalny vs najlepsza próba Ważne: Jakość obsługi. 8

9 Wybór panelu: Możliwości Szczególnie w przypadku chęci przepytania więcej niż jednej fali respondentów. Problem: dobieranie respondentów z innych paneli. Powtarzanie respondentów. Różnice w panelach różnice w falach. 9

10 Wybór panelu: Zmienne w danych Korzyści zmiennych opisujących respondentów: Mniej niepotrzebnie wysłanych zaproszeń. Mniej przypadków screen out. Mniej pytań w kwestionariuszu. I może większe poczucie anonimowości (?) 10

11 Wybór panelu: Obsługa klienta Najważniejsze cechy dobrej obsługi klienta: Gotowość do dłuższego czasu pracy. Dobrowolne zgłaszanie sugestii poprawy. Sprawny kontakt, dokładne odpowiedzi. Ciężka praca by wyeliminować błędy. 11

12 Praca z panelodawcą Krok po kroku: Cena Booking a job Timeline Monitoring Uwagi i rady 12

13 Praca z panelodawcą: Cena Pierwszy krok otrzymanie propozycji ceny. Badacz powinien jasno opisać projekt podając: charakterystykę próby, długość ankiety, dodatkowe wymagania co do skryptu ankiety, przybliżony timeline. Tu też ważny oczywiście zakres obowiązków firmy panelowej. 13

14 Praca z panelodawcą: Booking a job 14 Jak najwcześniejsze ustalenie terminów. Wypytanie o ew.: (różnice w strefie czasowej), (święta państwowe), dni wolne pracowników, planowane prace konserwacyjne itp. Pozyskanie numeru telefonu wykonawcy ze strony firmy. Zapytanie o jego planowane urlopy. ew. prośba o zmianę wykonawcy.

15 Praca z panelodawcą: Timeline Główne terminy do ustalenia: 1) Specyfikacja próby. 2) (Nadesłanie linku do ankiety, do zatwierdzenia.) 3) Soft launch. 4) Rozpoczęcie właściwych prac. 5) Docelowy termin zakończenia prac. 6) Zgłoszenie problemów i komentarzy firmie panelowej. 15

16 Praca z panelodawcą: Monitoring Postęp w kierunku wytycznych. Completion rates. Ilość i charakterystyka wykluczeń (screen outs). Problematyczni respondenci. Problemy zgłaszane przez respondentów. Czy poszczególne części zamykają się prawidłowo po osiągnięciu wytycznych. Czy badanie zamyka się prawidłowo. 16

17 Praca z panelodawcą: Uwagi Zgłaszanie problemów jak najwcześniej. Przykład: wiele wykluczeń, niski completion rate, wysoka ilość problemów. Czy problem tkwi w ankiecie? Czy firma panelowa wysyła zaproszenia do nieprawidłowej grupy? Wypełnianie wytycznych -> zapobieganie nadliczbowej rekrutacji. 17

18 Praca z panelodawcą: Rady Pilnowanie firmy panelowej: Mała ilość zaproszeń przed zakończeniem soft launch. Zbalansowane ilości zaproszeń w pojedynczej fali. Zadbanie o dostateczne trwanie badania (aż do osiągnięcia własnych celów). 18

19 Response rate / Jakość ankiety Po pierwsze: Warto korzystać z wiedzy i doświadczenia firm panelowych. Po drugie: Panele = wyższy response rate lepsza jakość danych 19

20 Problem: nielosowość próby Panel próba losowa z populacji Sposoby radzenia sobie z tym problemem: Wagi (propensity scoring; CHAID) Zmienne demograficzne (założenie możliwości uogólnienia) Benchmarking (mierzenie zmian) Modelowanie (zależności między panelem a większą populacją) 20

21 Problem: nielosowość próby Zwykle badane zagadnienia niezależne od różnic między panelem a populacją. Testy istotności TAK, ale wnioski płyną dla całego panelu, nie dla całej populacji. 21

22 Panele i jakość ARF s Online Research Quality Council (2009) Różne panele -> różne wyniki. Wewnątrz jednego panelu wyniki te same. Ludzie często biorący udział w ankietach nie dają innych odpowiedzi. QeP Quality Enhancement Process ESOMAR ISO (International Organization for Standardization) ISO

23 Panele i jakość response rate 10% rr vs 50% rr nie ma znaczenia jeśli próba jest niereprezentatywna Ważne czynniki w kontekście rr: 1) Ilość nieaktywnych osób w bazie. 2) Ilość danych dotyczących uczestników panelu. 23

24 Client databases Typy: Klienci Potencjalni nabywcy/ współpracownicy. Ludzie, którzy wnieśli skargi/zażalenia/reklamacje. Ludzie, którzy wzięli udział w konkursach itp. Ludzie, którzy zarejestrowali się na stronie. Ludzie, którzy połączyli się przez serwis społecznościowy (fani na Facebooku, followers na Twitterze, itp.). Ludzie, którzy wzięli już udział w badaniu i wyrazili gotowość wzięcia udziału w następnym. 24

25 Czynniki ograniczające Pozwolenia i regulacje prawne. Zwykle odpowiedzi zapisanego, na pytania o możliwość kontaktu na cele badań itp. Przytoczenie źródła kontaktu (firmy posiadającej bazę kontaktów). Odgórne ograniczenia (firmy posiadającej bazę) powodowane celami marketingowymi. 25

26 Dobór próby Próba z bazy nie zawsze losowo dobrana Bywa np.: 5000 najnowszych, 5000 pierwszych itp. Ochrona danych miewa różny poziom. Czasami niezaszyfrowane. Czasem za wiele danych przesłanych. 26

27 Wysyłanie zaproszeń Przez jednostkę badającą (otrzymane ) Jasno i klarownie. Od kogo, skąd posiadany adres, itp. Tekst vs HTML. Przez właściciela bazy danych Uwaga: ochrona dostępu do ankiety Przez unikalne adresy URL. Przez loginy i hasła <- wadliwe rozwiązanie. Jako linki do ankiety (np.: w newsletterze) Problem: niski response rate. Problem: Cięższa kontrola dostępu Wykorzystanie ciasteczek lub poproszenie respondenta o unikalną informację (ID) 27

28 Radzenie sobie ze skargami Skargi Przekazanie właścicielowi bazy danych, ew. usunięcie z komentarzy badania, przy poinformowaniu, że uwaga została przekazana. Prośby o wypisanie z listy Przekazanie właścicielowi bazy danych, lub dostarczenie linku do samodzielnego wypisania. 28

29 Mixed-Purpose Research Dwa cele naraz Badanie Powiększenie ilości informacji w bazie Konieczność przedstawienia jako Mixed Purpose Research, lub Non-research purposes 29

30 Response Rate Duży czy mały? Zwykle 5-25% Związane z relacją ankietowanych i firmy badającej, marką itp. Związane z długością i atrakcyjnością ankiety. Związane z aktualnością bazy danych (brak nieaktywnych wpisanych). 30

31 Response Rate poniżej 5% Ile jest nieaktywnych wpisów? Ile zaproszeń nie doszło? Ile zaproszeń otwarto? Czy zbyt mało osób weszło, czy zbyt wielu opuściło? Czy zaproszenie można przedstawić jaśniej lub bardziej przekonująco? Czy ankieta może być uczyniona prostszą, jaśniejszą, bardziej angażującą? 31

32 Response Rate - obliczanie I. Podliczenie zaproszonych Czy wszystkie adresy były aktualne? Ile zaproszeń otwarto? a) Odrzucenie zaproszeń które nie dotarły (bounce back). b) Odrzucenie automatycznych odpowiedzi. c) Ewentualnie mały web bug. II. Invitation Response Rate (rozpoczęte/zaproszenia) III. Survey Response Rate (ukończone/zaproszenia) IV. Completion Rate (ukończone/rozpoczęte) 32

33 In-house/client panels Cele badaniowe/wskazówkowe. Małe (od poniżej 500 osób, do np.: 18000). Członkowie panelu świadomi bycia w nim. Zagadnienia: Poziom zaawansowania Kto zarządza panelem Dodatkowe opcje Generalnie do zasięgania opinii i sprawdzania pomysłów. 33

34 Rozdział 5. Przeprowadzanie badania online (oryg. Running an Online Survey)

35 Czy online jest właściwym rozwiązaniem? Zwykle szybsze i tańsze więc: czy jest jakiś powód dla którego nie jest właściwe? Online wolniejsze lub droższe. Bodźce ciężkie do wywołania online. Badanie jest ściśle tajne. Grupa docelowa nie działa online. Badany podmiot jest powiązany z tym czy ktoś jest online. Problemy z porównywalnością. Badanie wymaga próby losowej. 35

36 Dobieranie próby Tak naprawdę panel vs baza klientów Ogólnie jeśli baza się nadaje do celów to lepsza. Panele Wykluczenie wszystkich poniżej wymaganego poziomu. Dokładna specyfikacja wymogów i porównanie cen. 36

37 Projekt ankiety Odpowiednio do pytania badania najkrócej i najbardziej angażująco możliwie (przy spełnianiu dolnych warunków). Zwykle pierwsza wersja drukowana na papier do przejrzenia. 1) Ogólna struktura, konkretne pytania. 2) Wygląd na ekranach respondentów. 37

38 Skryptowanie i testowanie ankiety Większe skomplikowanie ankiety -> dłuższe i trudniejsze jej pisanie. Testowanie: Czy ankieta wygląda jak należy? Czy logika ankiety jest zachowana? Czy ankieta przechowuje wszystkie zebrane dane, w odpowiednim formacie? Przydatne metody: 1) Wydrukowanie ankiety i ręczne przejście przez wszystkie możliwe drogi. 2) Wykorzystanie sztucznych respondentów (dummies) 3) Wymóg zatwierdzenia przez firmę panelową (raczej nie) 38

39 Rozpoczęcie prac Start polecenie rozpoczęcia wysyłania zaproszeń. Nie wszystkie zaproszenia naraz. Różnice między respondentami odpowiadającymi w poszczególnych porach dnia. Utrudnienie poprawy ewentualnych błędów. Soft launch. Najlepszy moment: między 10 rano, a południem, we wtorek, środę lub czwartek. Poniedziałki to pracowity dzień, a piątki wpadają w weekend. Popołudnia mogą uniemożliwić szybkie poprawy. 39

40 Monitoring prac Błędy techniczne. Problemy z ankietą. Czytanie treści pytań otwartych. Paradata (czas trwania, luki, niedokańczanie itp.) Docelowe ilości poszczególnych grup respondentów. Dane i ich jakość. Pomysły analizy. 40

41 Zakończenie prac I) Zamknięcie ankiety i wywieszona informacja o zakończeniu dla potencjalnych respondentów. II) III) IV) Powiadomienie firmy panelowej (by zapobiec nowym zaproszeniom itp.) Oczyszczenie danych z informacji osobistych. Zamknięcie edycji danych, archiwizacja i przekazanie do analizy. V) Zajęcie się nagrodami. W panelach zwykle dokonywane przez firmę panelową. 41

42 Analiza i obróbka zaistniałych problemów Edycja, kodowanie, czyszczenie i dopasowanie statystyczne. 1. Brakujące dane 2. Niedokończone ankiety 3. Zbuntowani respondenci Straight-line, zbytni pośpiech, brak konsekwencji itp. 4. Uzupełnianie wstecz (Back Filling) Braki konsekwencji wynikające z mylącej formy ankiety. Kodowanie (pytań otwartych) Wagi, standaryzacja skal, itp. 42

43 Paradata analysis Istotne przykłady: Dzień i czas przeprowadzenia ankiety Czas trwania ankiety Rodzaj przeglądarki i systemu respondenta Rozmiar ekranu respondenta Liczba znaków wpisywanych w pytaniach otwartych Niedokończone ankiety i moment rezygnacji 43

44 Podsumowanie przeprowadzania badań 1) Czy online się nadaje? 2) Szybki kontakt z firmą panelową, dokładna specyfikacja i wysłuchanie rad i sugestii. 3) Ankieta krótka i angażująca, równocześnie spełniająca swe cele. 4) Testowanie różnego rodzaju + soft launch. 5) Rozciągnięcie zbierania na cały tydzień. 6) Dokładny monitoring danych. 1-6) Ochrona danych i prywatności 44

45 KONIEC