2011 Czynniki wpływające na jakość i reprezentatywność badań dotyczących kompetencji na rynku pracy Anna Ślusarczyk Warszawa, 16 czerwca 2011
Zagadnienia Skala przedsięwzięcia Wykorzystane zasoby Realizacja badań: Organizacja Problemy realizacyjne i przyjęte rozwiązania optymalizacyjne Nowe rozwiązania zastosowane w drugim pomiarze
Skala przedsięwzięcia W ramach badania Bilans Kapitału Ludzkiego Millward Brown SMG/KRC zrealizował 7 projektów od 16 sierpnia do grudnia 2010 roku. Do badania zastosowano rozległe spectrum metod badawczych. Wywiady bezpośrednie 26 851 Ankiety audytoryjne 68 984 Wywiady CATI (B2B) 22 706 Ankiety CAWI 810 Baza ofert pracy 20 009 Zebrany materiał to 119 351 ankiet oraz 20 009 ofert. Łącznie blisko 140 000 rekordów danych
Skala przedsięwzięcia NAZWA BADANIA CZAS METODY LICZBA ANKIET Ludnośd 90 dni CAPI, PAPI 17 904 Uczniowie szkół ponadgimnazjalnych (1600 oddziałów) 90 dni Badanie audytoryjne 35 712 Studenci (1600 kierunków) 90 dni Badanie audytoryjne 33 272 Pracodawcy 90 dni CATI, CAPI, CAWI 16 009 Instytucje szkoleniowe 90 dni CATI, CAWI Bezrobotni (próba imienna i metoda stolikowa - 160 PUP) 4 502 + 3 750 (screener) 60 dni CAPI 8 122 Oferty pracy (z 13-09-2011) 60 dni Internet, teren 20 009
Wykorzystane zasoby NAZWA BADANIA INFORMACJE REALIZACYJNE LICZBA ANKIETERÓW Ludnośd Uczniowie szkół ponadgimnazjalnych Szkolenie ankieterów i nadzór nad pracą w terenie 2 realizatorów 30 koordynatorów Kontrola jakości pracy ankieterów: 15 kontrolerów Tworzenie skryptów do badao, wprowadzanie danych, kodowanie pytao otwartych, kontrolę poprawności zbiorów danych i ich weryfikacja, opracowanie raportów realizacyjnych Studenci 400 Bezrobotni 500 Pracodawcy Instytucje szkoleniowe Baza ofert pracy (z 13-09-2011) Szkolenie ankieterów i nadzór nad pracą w dwóch ośrodkach CATI, weryfikacja baz kontaktów telefonicznych 2 realizatorów 8 supervisorów Nadzór nad realizacją badao przez Internet Tworzenie skryptów do badao, kodowanie pytao otwartych, przygotowanie zbiorów danych, opracowanie raportów realizacyjnych Nadzór nad zbieraniem ogłoszeo z Internetu oraz z 43 Powiatowych Urzędów Pracy, tworzenie bazy ogłoszeo 700 300 150 CATI, 50 CAPI 160 43 teren, 30 CATI
Realizacja badao - organizacja Prawidłowy przebieg całego projektu był uwarunkowany szczegółowym planowaniem i elastycznym kierowaniem zasobów do realizacji poszczególnych badań. Zarządzając badaniami terenowymi korzystano z systemu MRM (Market Research Management), niosącego następujące korzyści: Szybka wysyłka ankieterom CAPI: informacji o zadaniu do wykonania, odpowiednich wersji kwestionariuszy elektronicznych, informacji o terminach realizacji poszczególnych zadań, opisu próby itp. Szybkie pozyskiwanie od ankieterów CAPI: wypełnionych kwestionariuszy, szczegółowych raportów z opisem terminów i rezultatów poszczególnych kontaktów Bieżąca komunikacja z ankieterami w terenie Bieżące raportowanie stopnia realizacji badania Zapewnienie szybkiej reakcji na ewentualne problemy realizacyjne, wypadki losowe, itp. (awaria komputera, konieczność kontaktu centrali z respondentem)
Realizacja badao - organizacja W celu dbałości o najwyższą jakość zbieranego materiału badawczego na różnych etapach realizacji podejmowano szereg ukierunkowanych kroków: Szkolenie ankieterów (standardowe i dedykowane poszczególnym badaniom; akcentowanie elementów kluczowych i trudnych) Kontrola terenowa i nieterenowa Stały nadzór supervisorów nad przebiegiem wywiadów telefonicznych Nagrywanie wywiadów w celu ich weryfikacji Analiza i testowanie skryptów w badaniach CATI, CAPI, CAWI Kontrola i weryfikacja zebranego materiału analiza formalna i logiczna
Realizacja badao - organizacja W przypadku badania Instytucji Szkoleniowych (metodą CATI i CAWI) zastosowano szereg specyficznych rozwiązań poprzedzających właściwą realizację badania: W obliczu braku kompletnego operatu Instytucji szkoleniowych wstępnym zadaniem było stworzenie takiej bazy. Źródłem dla nowego rejestru Instytucji Szkoleniowych były następujące bazy adresowe: Rejestr Instytucji Szkoleniowych REGON GUS System Informacji Oświatowej Baza HBI - Polska Baza Firm Inne źródła dostępne w Internecie Z nowopowstałego rejestru wyeliminowano duplikujące się rekordy poprzez staranną weryfikację pisowni nazw firm, adresów, numerów telefonów etc.
Problemy realizacyjne Jak przy każdym projekcie tak dużej skali napotkano pewne problemy realizacyjne: Nie wystarczająca aktualność baz danych (niewyrejestrowane firmy i nieaktualne telefony, co dotyczy małych przedsiębiorstw; lokalizacji kierunków studiów) Nie w pełni zadowalająca jakość niektórych baz danych (błędne adresy, powtarzające się numery telefonów) Brak zgody Urzędów Pracy na korzystanie z baz bezrobotnych (konieczność realizacji badania w Powiatowych Urzędach Pracy metodą stolikową ) Nierównomierny poziom odmów wśród niektórych grup respondentów: szkoły katolickie odmowa współpracy mieszkańcy dużych miast problemy z dotarciem, niechęć do współpracy Nie zawsze zadowalająca jakość wypełnionych ankiet przez uczniów (ankiety niekompletne, niestaranne, zdawkowe odpowiedzi) Krótki termin realizacji badania wśród studentów z uwagi na początek roku akademickiego w październiku Częste niekompletne wypełnianie ankiet za pośrednictwem Internetu
Przyjęte rozwiązania optymalizacyjne Badania realizowane metodą CATI Pracodawcy, Instytucje Szkoleniowe Szczegółowa analiza liczby kontaktów telefonicznych, rezultatów kontaktów na tej podstawie decyzja o skierowaniu kontaktu do realizacji metodą CAPI bądź CAWI. Kierowanie kontaktów z rezultatem odmowa do ponownej realizacji przez innego, sprawdzonego, znanego z efektywności ankietera. Zmiana aranżacji badania ponowna próba realizacji wywiadu metodą CATI po 2 tygodniach od uzyskania odmowy w firmach spora szansa na kontakt z innym pracownikiem lub trafienie w bardziej dogodną dla respondenta porę. Weryfikacja numerów telefonów wyszukiwanie numerów z dostępnych baz i Internetu.
Przyjęte rozwiązania optymalizacyjne Badania realizowane w terenie Ludnośd, Uczniowie, Studenci, Pracodawcy, Bezrobotni Motywowanie ankieterów do kilkakrotnego odwiedzania wylosowanych adresów z wykorzystaniem różnych metod kontroli i uzależnienie wynagrodzenia ankieterów od stopnia realizacji próby Wysyłanie listów zapowiednich pod wylosowane adresy Prowadzenie aranżacji i motywowanie do udziału w badaniu w rozmowach telefonicznych z dyrektorami placówek oświatowych i edukacyjnych
Przyjęte rozwiązania optymalizacyjne Badania CAWI Pracodawcy, Instytucje szkoleniowe Stosowanie zindywidualizowanego systemu monitów w zależności od postępów wypełniania ankiety przez respondenta różne treści listów przypominających Ponowna próba realizacji wywiadu metodą CATI po kilku nieefektywnych monitach drogą e-mailową. a dodatkowo we wszystkich badaniach zastosowano następujące rozwiązania: Przygotowanie programu wspomagającego kodowanie zawodów według systematyzacji ISCO i rodzaju działalności wg PKD 2007 Weryfikacja poprawności kodowania pytań otwartych przez dwukrotne, niezależne kodowanie części ankiet i badanie zgodności przypisanych kodów
Nowe rozwiązania zastosowane w drugiej fali badania Wprowadzenie procedur określających liczbę i częstotliwość prób kontaktów z wylosowanymi podmiotami w badaniach CATI wraz z określeniem sytuacji, w której zostaną uruchomione inne techniki zbierania informacji Aktualizacja operatu instytucji szkoleniowych o dane zawarte w Almanachu Instytucji Szkoleniowych opublikowanym przez Magazyn Nowoczesna Firma oraz w innych źródłach dostępnych w Internecie Bieżąca weryfikacja operatu instytucji szkoleniowych poprzez dodanie pytania weryfikującego fakt oferowania szkoleń firmom zewnętrznym Wprowadzenie zróżnicowanej treści listów zapowiednich wysyłanych do firm i instytucji szkoleniowych Przyjęcie nowych rozwiązań optymalizujących kontrolę wprowadzania danych i kodowania pytań otwartych
Dziękuję za uwagę, chętnie odpowiem na pytania.