Dobre praktyki dotyczące współpracy zamawiających i wykonawców ewaluacji Na podstawie opracowania zespołu Na Straży Sondaży.

Transkrypt

1 Dobre praktyki dotyczące współpracy zamawiających i wykonawców ewaluacji Na podstawie opracowania zespołu Na Straży Sondaży. Spotkanie GSE PO KL oraz ZSEPS, Kraków, r.

2 Przetarg na badanie. Dwa sposoby. Kryteria oceny: cenowe i merytoryczne (cena a JAKOŚĆ). Konieczność dokładnego opisu SOPZ. Niezbędna wiedza ekspercka i umiejętność oceny jakościowej ofert. tylko cena: SOPZ bardzo szczegółowy, brak miejsca na różnicowanie jakością.

3 Opis populacji. Jednoznaczny - nie pozostawiający wątpliwości w interpretacji; Obiektywny - nie zawierający określeń wartościujących oraz opinii; Wyczerpujący - pozbawiony niedopowiedzeń, określający możliwie największą ilość cech populacji.

4 Trudności a termin realizacji. Trudności Możliwa niedostępność respondentów w terminie wybranym na realizację badania. Optymalizacja czasu trwania badania

5 Dobór próby. Operat Sposób warstwowania Liczebność Szczegółowość pomiaru Dobór próby w SOPZ Kary finansowe Liczba kontaktów Listy zapowiednie Pilotaż (kryteria, technika)

6 Przykład 1. Badania ludności wymagać będą od Wykonawcy przeprowadzenia przynajmniej 500 wywiadów CATI w każdym z 6 obszarów terytorialnych, co oznacza łącznie przeprowadzenie przynajmniej 3000 wywiadów. Zadaniem wykonawcy w ramach prowadzonych badań będzie przygotowanie formularza kwestionariusza dostosowanego do techniki badawczej (narzędzia badawczego), jaką jest CATI, na podstawie pytań zawartych w załączonym kwestionariuszu. Maksymalny czas przeprowadzenia wywiadu kwestionariuszowego na podstawie opracowanego kwestionariusza nie powinien przekraczać 15 min. Wykonawca uwzględni w narzędziu CATI uwagi Zamawiającego odnośnie reguł kontroli kompletności, powiązań logicznych, zależności rachunkowych. Kolejność pytań zostanie zaproponowana przez Wykonawcę i przedstawiona do akceptacji Zamawiającemu. Źródło: Badanie opinii mieszkańców Małopolski na temat istotnych dla rozwoju województwa obszarów działań samorządu wojewódzkiego.

7 Przykład 2. Równocześnie Wykonawca zapewni dobór kwotowy osób w ramach gospodarstw domowych, z którymi zostanie przeprowadzony wywiad, według podanych niżej kwot. Źródło: Badanie opinii mieszkańców małopolski na temat istotnych dla rozwoju województwa obszarów działań samorządu wojewódzkiego.

8 Kwestionariusz wymagania. Konsultacje Narzędzia, certyfikat? Język, forma Czas trwania Rodzaj pytań

9 Przykład 3. Maksymalny czas przeprowadzenia wywiadu kwestionariuszowego na podstawie opracowanego kwestionariusza nie powinien przekraczać 20 min. Wykonawca uwzględni w narzędziu CATI uwagi Zamawiającego odnośnie reguł kontroli kompletności, powiązań logicznych, zależności rachunkowych. Kolejność pytań zostanie zaproponowana przez Wykonawcę i przedstawiona do akceptacji przez Zamawiającego. W przypadku zgłoszonych uwag do narzędzia badawczego, w tym merytorycznych, Wykonawca zgłosi je niezwłocznie Zamawiającemu. Źródło: Badanie opinii mieszkańców Małopolski na temat uzależnień od substancji psychoaktywnych i korzystania z Internetu oraz uczestniczenia w grach hazardowych, Małopolski Urząd Wojewódzki.

10 Realizacja, kontrola prac. Kontrola podstawą zaufania! częste kontakty, raporty cząstkowe, szkolenie/kontrola ankieterów, rzetelność zbierania informacji (informacje w posiadaniu Zamawiającego).

11 Przykład 4. Wykonawca przedstawi dokładny sposób pracy nad prawidłową realizacją zlecenia, w tym osób odpowiedzialnych za zbieranie i analizowanie danych zarówno jakościowych jak i ilościowych. Zamawiający zastrzega sobie prawo do przeprowadzenia kontroli u wybranych respondentów i wglądu w kwestionariusze dotychczas przeprowadzonych badań na dowolnym etapie realizacji przedmiotu zamówienia. Wykonawca zobowiązany jest do informowania Zleceniodawcy na każdym etapie trwania prac o wszelkich nieprawidłowościach i trudnościach mających lub mogących mieć wpływ na prawidłowość i terminowość zrealizowania zamówienia. Tylko wskazane trudności i nieprawidłowości będą stanowiły podstawę do wprowadzenia ewentualnych zmian w Umowie. Zamawiający w każdej chwili będzie miał możliwość odsunięcia od realizacji badań, ankietera wobec którego pojawią się zastrzeżenia odnośnie jakości realizowanych wywiadów. W trakcie realizacji badania, Wykonawca na prośbę/żądanie Zamawiającego, bezzwłocznie przedstawi w wersji elektronicznej, raport z postępu prac z realizacji przedmiotowego badania. Źródło: Usługa przeprowadzenia badania ewaluacyjnego pn. Ewaluacja działao podejmowanych na rzecz systemu kształcenia i szkolnictwa zawodowego w województwie zachodniopomorskim.

12 Więcej informacji:

13 Dziękuję za uwagę Michał Sułkowski Departament Europejskiego Funduszu Społecznego