Zalecenia praktyczne w przeprowadzaniu ewaluacji

Wielkość: px

Rozpocząć pokaz od strony:

Download "Zalecenia praktyczne w przeprowadzaniu ewaluacji"

Damian Janowski
5 lat temu
Przeglądów:

1 Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów Aktywnej Polityki Rynku Pracy Zalecenia praktyczne w przeprowadzaniu ewaluacji Karolina Goraus-Tańska, Kraków, 7 czerwca 2017 r.

2 Ewaluacja wpływu krok po kroku 8. Ogłoszenie wyników 1. Zidentyfikowanie problemu 7. Analiza danych 2. Określenie interwencji, która mogłaby problem rozwiązać 6. Dane końcowe 3. Zaplanowanie ewaluacji 5. Przydział losowy i interwencja 4. Dane początkowe

3 Ewaluacja wpływu krok po kroku 3. Zaplanowanie ewaluacji Stworzenie zespołu Zespół badawczy Zespół programowy 1. Główny badacz 2. Koordynator ewaluacji 3. Ekspert ds. doboru próby 4. Ekspert ds. jakości danych 1. Twórcy polityki/programu 2. Osoby wdrażające program

4 Modele współpracy między zespołami Model outsourcingu Model partnerski Zespół programowy Firma badawcza Zespół badawczy: pomoc techniczna od firmy lub licznych konsultantów Model w pełni zintegrowany Zespół programowy Zespół badawczy Zespół badawczy Zespół programowy

5 Przeprowadzenie wysokiej jakości ewaluacji wpływu ma największe szanse, gdy główny badacz jest równocześnie osobą projektującą i wprowadzającą program A.Prawda B. Fałsz

6 W naszym ragionie ma być wprowdzony program 1000plus gospodarstwa z dochodem poniżej 1000 zł na osobę otrzymają dodatkowe 1000 zł na każdego dorosłego członka gospodarstwa. Podejrzewamy negatywny wpływ na rynek pracy. Planujemy ewaluację i będziemy korzystać z metody regresji nieciągłej. Możemy zaangażować zespół badawczy już po zebraniu danych końcowych. A.Prawda B. Fałsz

7 Wytyczne do współpracy pomiędzy zespołami decydenckimi i badawczymi Posiadanie jasnego planu ewaluacji wpływu w momencie początkowym. Wczesne zaangażowanie w celu zmaksymalizowania możliwości metodologicznych zaplanownia ewaluacji i zapewnienia efektywnego partnerstwa między zespołami programowymi i ewaluacyjnymi. Pozostawanie zaangażowanym przez cały czas ewaluacji, aby zapewnić odpowiednie dostosowanie między ewaluacją i interwencją poddawaną ewaluacji. Przykładanie dużej wagi do transparentności i zapewnienie obiektywności oraz bycie przygotowanym do respektowania wyników, dobrych czy złych. Zrozumienie funkcji, obowiązków i motywacji różnych interesariuszy i objaśnienie im ich udziału w ewaluacji.

8 Główne podmioty zaangażowane w projektowanie i wykonanie oceny wpływu Wojewódzki Urząd Pracy Wykonawca usługi Powiatowy Urząd Pracy Instytut Badawczy

9 Główne podmioty zaangażowane w projektowanie i wykonanie oceny wpływu: role Więsze możliwości zdobycia środków finansowych na ewaluację Dba o wykonanie oceny wpływu Wojewódzki Urząd Pracy Wykonawca usługi Implementuje program Może zbierać nowe dane o beneficjentach Dobiera uczestników do programu Nadzoruje wykonanie programu Zbiór i zarządzanie danymi Powiatowy Urząd Pracy Zespół Badawczy Wykonuje analizę danych początkowych i końcowych Może zbierać nowe dane

10 Ewaluacja wpływu krok po kroku 3. Projektowanie ewaluacji Budowanie zespołu Badacze Zespół programowy Ramy czasowe Główny badacz Koordynator ewaluacji Ekspert ds. doboru grupy Ekspert ds. jakości danych Twórcy polityki/programu Osoby wdrażające program

11 Rozplanowanie ewaluacji w czasie Projekt interwencji Projekt ewaluacji wpływu Przygotowanie ewaluacji Zbieranie danych bazowych Rozpoczęcie interwencji Ekspozycja na oddziaływanie Dokumentowanie i przechowywanie danych bazowych Analiza i raport danych bazowych Przygotowanie ewaluacji Zbieranie danych końcowych Dokumentowanie i przechowywanie danych końcowych Analiza i raport wpływu Etap Rok 1 Rok 2 Rok 3 Rok 4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4

12 Ewaluacja wpływu krok po kroku 3. Projektowanie ewaluacji Budowanie zespołu Badacze Zespół programowy Budżet Główny badacz Koordynator ewaluacji Ekspert ds. doboru grupy Ekspert ds. jakości danych Twórcy polityki/programu Osoby wdrażające program

13 Szablon budżetu

14 Budżet Zespół ewaluacji wpływu czas całego personelu i konsultantów Pomoc techniczna czas ewentualnych dodatkowych konsultantów? Zbieranie danych wymagane wszelkie dane początkowe i końcowe [Uwaga: ankietowanie gospodarstw domowych jest kosztowne] Podróże bilety, hotele, wyżywienie Plan rozpowszechniania raporty, warsztaty Inne Niższy koszt, jeśli są potrzebne tylko dane administracyjne

15 Ewaluacja wpływu krok po kroku 3. Zaplanowanie ewaluacji DANE

16 Dane do zarządzania programem vs dane do ewaluacji programu Nr uczestn ika Dane Osobowe Dane demograficzne Dane początkowe Interwe ncja Imię Nazwisk o PESEL Nr Telefon u Adres Wiek Wykszt ałcenie Płeć Status zatrudn ienia Zarobki Grupa badana /kontro lna Dane końcowe Status zatrudn ienia Zarobki

17 Dane do ewaluacji wpływu mogą być analizowane w formie zanonimizowanej # Dane Osobowe 1 # Dane Demograficzne Dane początkowe 1 Interw encja Dane końcowe Anonimizacja

18 Baza danych do ewaluacji: Syriusz Baza operacyjna dla Powiatowych Urzędów Pracy Wszystkie potrzebne zmienne do zarządzania programem (osobowe, demograficzne) Zbiera kluczowe zmienne do ewaluacji programu (uczestnictwo w programie, czas pozostawania na bezrobociu, status zatrudnienia w czasie w połączeniu z danymi z ZUS) Zaprojektowana i połączona z centralną bazą danych w MRPiPS (CEZAR) i bazą danych ZUS (BROKER)

19 Systemy informacyjne umożliwiające przeprowadzenie oceny oddziaływania APRP Sprawdzanie bieżącej, dotychczasowej i przyszłej sytuacji zarejestrowanych bezrobotnych na rynku pracy BROKER: platforma MRPiPS Baza danych ZUS Syriusz: baza danych PUP Aplikacja centralna: baza danych MRPiPS (dane osobowe niezanonimizowane) Viator: baza danych WUP PESEL, udział w programie, a nawet informacje z profilowania Statystyki MRPiPS CEZAR (dane zanonimizowane)

kontrfaktyczny Plan wstępnej analizy Plan zbierania danych Produkty, które mają

20 Ewaluacja wpływu krok po kroku Plan ewaluacji 3. Projektowanie ewaluacji Cel / Pytanie badawcze Projekt ewaluacji: stan kontrfaktyczny Plan wstępnej analizy Plan zbierania danych Produkty, które mają zostać dostarczone Plan rozpowszechniania Protokoły etyczne Ramy czasowe Budżet i finansowanie Skład i zadania zespołu ewaluacyjnego

21 Zlecanie ewaluacji: SIWZ 1. Dlaczego i dla kogo jest prowadzona ewaluacja 2. Co ma być dzięki niej osiągnięte 3. Jak zostanie to osiągnięte 4. Kto będzie zaangażowany w ewaluację 5. Kiedy poszczególne etapy zostaną osiągnięte i kiedy ewaluacja zostanie zakończona 6. Jakie zasoby są dostępne do przeprowadzenia ewaluacji. SIWZ stanowi bazę dla zobowiązania umownego między zleceniodawcą i 1) zewnętrznym zespołem ewaluacyjnym 2) wewnętrznym personelem prowadzącym ewaluację wpływu

22 Zasoby do przygotowania SIWZ: IE Toolkit

23 Ocena proponowanej ewaluacji Pytanie: Czy ewaluacja odpowie na pytania będące przedmiotem zainteresowania? Metoda: Kto stanowi grupę kontrfaktyczną? Czy jest to dobra grupa kontrfaktyczna? Czy istnieje jakaś lepsza opcja do przedyskutowania? Moc testu: Czy próba jest odpowiednio duża? Rezultaty: Czy zawarte są rezultaty będące przedmiotem zainteresowania? Czy zawarte są rezultaty pośrednie? Dane: Czy ewaluacja może opierać się o dane administracyjne? Czy istnieje potrzeba badań akietowych? Budżet i ramy czasowe: Czy są realne? Aspekty prawne i etyczne

24 Ćwiczenie Problem: Niskie wskaźniki zatrudnienia dorosłych kobiet poniżej 30. roku życia. Główny powód: koszt opieki. Program: bony opiekuńcze dla gospodarstw domowych z dziećmi w wieku 0-3 o dochodzie na osobę poniżej 1000 zł Fundusze na pilotaż dla 500 osób Cel: Ocenić efekt bonu na rezultaty grupy badanej na rynku pracy OTRZYMUJESZ NASTĘPUJĄCĄ PROPOZYCJĘ EWALUACJI Pytanie: Czy bony opiekuńcze poprawią stopy zatrudnienia? Plan ewalucji: a) Porównać stopy zatrudnienia osób otrzymujących bon przed i po jego otrzymaniu. b) Porównać kobiety do 30 roku życia jakie otrzymały bon (uboższe) do tych, które bonu nie otrzymały Dane: Rejestr osób w UP Okres: trzy miesiące

Podobne dokumenty

Zalecenia praktyczne w przeprowadzaniu ewaluacji

Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów aktywnej polityki rynku pracy Zalecenia praktyczne w przeprowadzaniu ewaluacji Karolina Goraus-Tańska, Gdańsk, 23 lutego 2017 r. Ewaluacja