Dobre praktyki dotyczące współpracy zamawiających i wykonawców ewaluacji Na podstawie opracowania zespołu Na Straży Sondaży. Spotkanie GSE PO KL oraz ZSEPS, Kraków, 26.02.2015 r.
Przetarg na badanie. Dwa sposoby. Kryteria oceny: cenowe i merytoryczne (cena a JAKOŚĆ). Konieczność dokładnego opisu SOPZ. Niezbędna wiedza ekspercka i umiejętność oceny jakościowej ofert. tylko cena: SOPZ bardzo szczegółowy, brak miejsca na różnicowanie jakością.
Opis populacji. Jednoznaczny - nie pozostawiający wątpliwości w interpretacji; Obiektywny - nie zawierający określeń wartościujących oraz opinii; Wyczerpujący - pozbawiony niedopowiedzeń, określający możliwie największą ilość cech populacji.
Trudności a termin realizacji. Trudności Możliwa niedostępność respondentów w terminie wybranym na realizację badania. Optymalizacja czasu trwania badania
Dobór próby. Operat Sposób warstwowania Liczebność Szczegółowość pomiaru Dobór próby w SOPZ Kary finansowe Liczba kontaktów Listy zapowiednie Pilotaż (kryteria, technika)
Przykład 1. Badania ludności wymagać będą od Wykonawcy przeprowadzenia przynajmniej 500 wywiadów CATI w każdym z 6 obszarów terytorialnych, co oznacza łącznie przeprowadzenie przynajmniej 3000 wywiadów. Zadaniem wykonawcy w ramach prowadzonych badań będzie przygotowanie formularza kwestionariusza dostosowanego do techniki badawczej (narzędzia badawczego), jaką jest CATI, na podstawie pytań zawartych w załączonym kwestionariuszu. Maksymalny czas przeprowadzenia wywiadu kwestionariuszowego na podstawie opracowanego kwestionariusza nie powinien przekraczać 15 min. Wykonawca uwzględni w narzędziu CATI uwagi Zamawiającego odnośnie reguł kontroli kompletności, powiązań logicznych, zależności rachunkowych. Kolejność pytań zostanie zaproponowana przez Wykonawcę i przedstawiona do akceptacji Zamawiającemu. Źródło: Badanie opinii mieszkańców Małopolski na temat istotnych dla rozwoju województwa obszarów działań samorządu wojewódzkiego.
Przykład 2. Równocześnie Wykonawca zapewni dobór kwotowy osób w ramach gospodarstw domowych, z którymi zostanie przeprowadzony wywiad, według podanych niżej kwot. Źródło: Badanie opinii mieszkańców małopolski na temat istotnych dla rozwoju województwa obszarów działań samorządu wojewódzkiego.
Kwestionariusz wymagania. Konsultacje Narzędzia, certyfikat? Język, forma Czas trwania Rodzaj pytań
Przykład 3. Maksymalny czas przeprowadzenia wywiadu kwestionariuszowego na podstawie opracowanego kwestionariusza nie powinien przekraczać 20 min. Wykonawca uwzględni w narzędziu CATI uwagi Zamawiającego odnośnie reguł kontroli kompletności, powiązań logicznych, zależności rachunkowych. Kolejność pytań zostanie zaproponowana przez Wykonawcę i przedstawiona do akceptacji przez Zamawiającego. W przypadku zgłoszonych uwag do narzędzia badawczego, w tym merytorycznych, Wykonawca zgłosi je niezwłocznie Zamawiającemu. Źródło: Badanie opinii mieszkańców Małopolski na temat uzależnień od substancji psychoaktywnych i korzystania z Internetu oraz uczestniczenia w grach hazardowych, Małopolski Urząd Wojewódzki.
Realizacja, kontrola prac. Kontrola podstawą zaufania! częste kontakty, raporty cząstkowe, szkolenie/kontrola ankieterów, rzetelność zbierania informacji (informacje w posiadaniu Zamawiającego).
Przykład 4. Wykonawca przedstawi dokładny sposób pracy nad prawidłową realizacją zlecenia, w tym osób odpowiedzialnych za zbieranie i analizowanie danych zarówno jakościowych jak i ilościowych. Zamawiający zastrzega sobie prawo do przeprowadzenia kontroli u wybranych respondentów i wglądu w kwestionariusze dotychczas przeprowadzonych badań na dowolnym etapie realizacji przedmiotu zamówienia. Wykonawca zobowiązany jest do informowania Zleceniodawcy na każdym etapie trwania prac o wszelkich nieprawidłowościach i trudnościach mających lub mogących mieć wpływ na prawidłowość i terminowość zrealizowania zamówienia. Tylko wskazane trudności i nieprawidłowości będą stanowiły podstawę do wprowadzenia ewentualnych zmian w Umowie. Zamawiający w każdej chwili będzie miał możliwość odsunięcia od realizacji badań, ankietera wobec którego pojawią się zastrzeżenia odnośnie jakości realizowanych wywiadów. W trakcie realizacji badania, Wykonawca na prośbę/żądanie Zamawiającego, bezzwłocznie przedstawi w wersji elektronicznej, raport z postępu prac z realizacji przedmiotowego badania. Źródło: Usługa przeprowadzenia badania ewaluacyjnego pn. Ewaluacja działao podejmowanych na rzecz systemu kształcenia i szkolnictwa zawodowego w województwie zachodniopomorskim.
Więcej informacji: http://nastrazysondazy.uw.edu.pl/
Dziękuję za uwagę Michał Sułkowski Departament Europejskiego Funduszu Społecznego