Zalecenia praktyczne w przeprowadzaniu ewaluacji

Transkrypt

1 Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów aktywnej polityki rynku pracy Zalecenia praktyczne w przeprowadzaniu ewaluacji Karolina Goraus-Tańska, Gdańsk, 23 lutego 2017 r.

2 Ewaluacja wpływu krok po kroku 8. Ogłoszenie wyników 1. Zidentyfikowanie problemu 7. Analiza danych 2. Określenie interwencji, która mogłaby problem rozwiązać 6. Dane końcowe 3. Zaplanowanie ewaluacji 5. Przydział losowy 4. Dane początkowe

3 Ewaluacja wpływu krok po kroku 3. Zaplanowanie ewaluacji Stworzenie zespołu Zespół badawczy Zespół programowy 1. Główny badacz 2. Koordynator ewaluacji 3. Ekspert ds. doboru próby 4. Ekspert ds. jakości danych 1. Twórcy polityki/programu 2. Osoby wdrażające program

4 Modele współpracy między zespołami Model outsourcingu Model partnerski Zespół programowy Firma badawcza Zespół badawczy: pomoc techniczna od firmy lub licznych konsultantów Model w pełni zintegrowany Zespół programowy Zespół badawczy Zespół badawczy Zespół programowy

5 Przeprowadzenie wysokiej jakości ewaluacji wpływu ma największe szanse, gdy główny badacz jest równocześnie osobą projektującą i wprowadzającą program A.Prawda B. Fałsz

6 Wytyczne do współpracy pomiędzy zespołami decydenckimi i badawczymi Wczesne zaangażowanie w celu zmaksymalizowania możliwości metodologicznych zaplanownia ewaluacji i zapewnienia efektywnego partnerstwa między zespołami programowymi i ewaluacyjnymi. Posiadanie jasnego planu ewaluacji wpływu w momencie początkowym. Zrozumienie funkcji, obowiązków i motywacji różnych interesariuszy i objaśnienie im ich udziału w ewaluacji. Pozostawanie zaangażowanym przez cały czas ewaluacji, aby zapewnić odpowiednie dostosowanie między ewaluacją i interwencją poddawaną ewaluacji. Dostrzeganie i zarządzanie zagrożeniami i korzyściami, otwarte komunikowanie tego, co ewaluacje wpływu mogą, a czego nie mogą zrobić. Przykładanie dużej wagi do transparentności i zapewnienie obiektywności oraz bycie przygotowanym do respektowania wyników, dobrych czy złych.

7 Omówmy konkretny przypadek

8 Następuje zamknięcie kopalni Mokoszowy w Zabrzu. Lokalny UP właśnie zaplanował program specjalny dla osób 50+. Dyrektor PUP bardzo martwi się przewidywanym spadkiem wskaźników efektywności i mniejszą dotacją w przyszłym roku. Żałuje również, że nowy program specjalny nie został wprowadzony wcześniej, kiedy z pewnością zostałby lepiej oceniony. Co możemy dyrektorowi tego PUP zaproponować?

9 Po warsztatach Banku Światowego chciałbyś wykorzystać metody ewaluacji wpływu, by lepiej dopasować oferowane instrumenty do potrzeb zgłaszających się bezrobotnych. W ramach pierwszej analizy chciałbyś zbadać szkolenia. Pytanie: w jakich grupach wiekowych szkolenia najbardziej zwiększają szanse na zatrudnienie? Proponujesz dyrektorowi PUP, że wśród osób zakwalifikowanych na praktyki, losowo wybierzesz połowę która te praktyki otrzyma. Co odpowiada Ci dyrektor PUP?

10 Ewaluacja wpływu krok po kroku 3. Projektowanie ewaluacji Budowanie zespołu Badacze Zespół programowy Budżet Główny badacz Koordynator ewaluacji Ekspert ds. doboru grupy Ekspert ds. jakości danych Twórcy polityki/programu Osoby wdrażające program

11 Szablon budżetu

12 Budżet Zespół ewaluacji wpływu czas całego personelu i konsultantów Pomoc techniczna czas ewentualnych dodatkowych konsultantów? Zbieranie danych wymagane wszelkie dane początkowe i końcowe [Uwaga: ankietowanie gospodarstw domowych jest kosztowne] Podróże bilety, hotele, wyżywienie Plan rozpowszechniania raporty, warsztaty Inne Niższy koszt, jeśli są potrzebne tylko dane administracyjne

13 Ewaluacja wpływu krok po kroku 3. Projektowanie ewaluacji Budowanie zespołu Badacze Zespół programowy Ramy czasowe Główny badacz Koordynator ewaluacji Ekspert ds. doboru grupy Ekspert ds. jakości danych Twórcy polityki/programu Osoby wdrażające program

14 Rozplanowanie ewaluacji w czasie Projekt programu Projekt ewaluacji wpływu Przygotowanie ewaluacji Zbieranie danych bazowych Rozpoczęcie interwencji Ekspozycja na oddziaływanie Dokumentowanie i przechowywanie danych bazowych Analiza i raport danych bazowych Przygotowanie ewaluacji Zbieranie danych końcowych Dokumentowanie i przechowywanie danych końcowych Analiza i raport wpływu Etap Rok 1 Rok 2 Rok 3 Rok 4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4

15 Ewaluacja wpływu krok po kroku Plan ewaluacji 3. Projektowanie ewaluacji Cel / Pytanie badawcze Projekt ewaluacji: stan kontrfaktyczny Plan wstępnej analizy Plan zbierania danych Produkty, które mają zostać dostarczone Plan rozpowszechniania Protokoły etyczne Ramy czasowe Budżet i finansowanie Skład i zadania zespołu ewaluacyjnego

16 Zlecanie ewaluacji: SIWZ 1. Dlaczego i dla kogo jest prowadzona ewaluacja 2. Co ma być dzięki niej osiągnięte 3. Jak zostanie to osiągnięte 4. Kto będzie zaangażowany w ewaluację 5. Kiedy poszczególne etapy zostaną osiągnięte i kiedy ewaluacja zostanie zakończona 6. Jakie zasoby są dostępne do przeprowadzenia ewaluacji. SIWZ stanowi bazę dla zobowiązania umownego między zleceniodawcą i 1) zewnętrznym zespołem ewaluacyjnym 2) wewnętrznym personelem prowadzącym ewaluację wpływu

17 Zasoby do przygotowania SIWZ: IE Toolkit

18 Ocena proponowanej ewaluacji Pytanie: Czy ewaluacja odpowie na pytania będące przedmiotem zainteresowania? Metoda: Kto stanowi grupę kontrfaktyczną? Czy jest to dobra grupa kontrfaktyczna? Czy istnieje jakaś lepsza opcja do przedyskutowania? Moc testu: Czy próba jest odpowiednio duża (liczba klastrów, liczba jednostek)? Rezultaty: Czy zawarte są rezultaty będące przedmiotem zainteresowania? Czy zawarte są rezultaty pośrednie Dane: Czy ewaluacja może opierać się o dane administracyjne? Czy istnieje potrzeba badań akietowych? Budżet i ramy czasowe: Czy są realne? Aspekty prawne i etyczne

19 Ćwiczenie Problem: Niskie wskaźniki zatrudnienia dorosłych kobiet poniżej 30. roku życia. Głowny powód: koszt opieki. Program: bony opiekuńcze dla gospodarstw domowych z dziećmi w wieku 0-3 o dochodzie na osobę poniżej 1000 zł Funusze na pilotaż: 500 osób Cel: Ocenić efekt bonu na rezultaty grupy badanej na rynku pracy OTRZYMUJESZ NASTĘPUJĄCĄ PROPOZYCJĘ EWALUACJI Pytanie: Czy bony opiekuńcze poprawią stopy zatrudnienia? Plan ewalucji: a) Porównać stopy zatrudnienia osób otrzymujących bon przed i po jego otrzymaniu. b) Porównać kobiety do 30 roku życia jakie otrzymały bon (uboższe) do tych, które bonu nie otrzymały Dane: Rejestr osób w UP Okres: jeden miesiąc

20 Ocena Prosimy o ocenę sesji

21 Prosimy o ocenę tempa prezentacji A. Akurat B. Zbyt wolne C. Zbyt szybkie D. Nie mam zdania

22 Prosimy o ocenę przydatności wybranego materiału technicznego A. Bardzo przydatny B. Częściowo przydatny C. Nieprzydatny D. Nie mam zdania

23 Prosimy o ocenę jasności i efektywności przekazu A. Doskonała B. Dobra C. Dostateczna D. Słaba E. Nie mam zdania

24 Dziękujemy!