PROGRAM. Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy 5-8 czerwca 2017 r.

Transkrypt

1 PROGRAM Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy 5-8 czerwca 2017 r. Co? Celem warsztatów jest budowanie świadomości i umiejętności ewaluacji wpływu 1 (zwanej również ewaluacją ze scenariuszem kontrfaktycznym) w celu opartego na dowodach planowania aktywnych środków wpływu na rynek pracy. Warsztaty wyposażą uczestników w umiejętności i narzędzia umożliwiające planowanie ewaluacji wpływu oraz nadzór nad nimi. Kto? Warsztaty są przeznaczone dla pracowników wojewódzkich i powiatowych urzędów pracy zaangażowanych w planowanie, projektowanie oraz monitorowanie i ewaluację programów i polityk zatrudnienia. Do wyrażenia zainteresowania wzięciem udziału w szkoleniu w szczególności zaprasza się personel odpowiedzialny za nadzorowanie i/lub wdrażanie gromadzenia i analizy danych administracyjnych. Jak? Struktura warsztatów to połączenie dwóch równoległych ścieżek (ścieżki technicznej oraz ścieżki decyzyjnej), ogólnych sesji plenarnych oraz pracy w niewielkich grupach. Obydwie ścieżki są zaprojektowane w taki sposób, aby rozwinąć intuicję w zakresie metod stosowanych do ewaluacji wpływu, tego jak oceniać jakość dowodów oraz lepszego użytkowania informacji. Warsztaty będą prowadzone przez zarówno zagranicznych, jak i polskich pracowników naukowych i praktyków, a ich treść będzie przekazywana w języku polskim i angielskim dzięki tłumaczeniu symultanicznemu. Ścieżka techniczna (trzy i pół dnia) Kurs zaprojektowany dla specjalistów, którzy chcą zdobyć zarówno intuicję, jak i podstawową wiedzę w zakresie ilościowych metod ewaluacji wpływu. Najlepiej, gdy będą to osoby odpowiedzialne za wdrażanie i logistykę ewaluacji na poziomie lokalnym. Słuchaczami będą na przykład kierownicy/dyrektorzy jednostek ewaluacyjnych/obserwatoriów rynku pracy w wojewódzkich i powiatowych urzędach pracy. Mimo że od uczestników ścieżki technicznej nie oczekuje się bezpośredniego wdrażania ewaluacji wpływu, odpowiadają oni lub będą odpowiadać za zapewnienie, że projekt interwencji umożliwi ewaluację ze scenariuszem kontrfaktycznym, sporządzenie opisu przedmiotu zamówienia oraz nadzór nad ich wdrożeniem. Ścieżka decyzyjna (dwa dni) Kurs przeznaczony dla dyrektorów odpowiedzialnych za ogólny projekt programów i polityk. Sesje te stanowią podstawy do zrozumienia tego, jak ważne jest stosowanie ewaluacji ze scenariuszem kontrfaktycznym oraz intuicji w różnych metodach. Ewaluacje ze scenariuszem kontrfaktycznym umożliwiają decydentom zrozumienie, czy program osiąga swoje zamierzone wyniki lub które opcje konstrukcji projektu są najbardziej opłacalne. 1 Ewaluacja wpływu składa się z zestawu metodologii umożliwiających pomiar efektu programu, który da się przypisać samemu programowi, a nie innym czynnikom, takim jak cechy uczestników lub inne programy mogące mieć wpływ na zaobserwowane rezultaty.

2 Sesje plenarne są przeznaczone dla wszystkich uczestników. Sesje w niewielkich grupach utrwalają materiał omawiany na sesjach plenarnych i ścieżkach równoległych oraz sprzyjają udziałowi i interakcji wśród uczestników. Profesjonalni moderatorzy będą pracować z każdą grupą, aby wspierać rozmowy i zapewniać pomoc techniczną. Każdego dnia grupy będą skupiać się na opracowaniu rygorystycznego projektu ewaluacji wpływu dla swoich własnych projektów. W ostatnim dniu grupy robocze przedstawią przygotowany projekt ewaluacji wpływu większej grupie w celu uzyskania informacji zwrotnej. Kluczowe tematy sesji ścieżki technicznej: teoria, metody i zastosowania Wnioskowanie przyczynowo-skutkowe Projekty eksperymentalne: losowy przydział do programów Model regresji nieciągłej Różnica w różnicy Inne techniki Obliczenia mocy Projektowanie i planowanie ewaluacji Studia przypadków pochodzących od praktyków i decydentów Kluczowe tematy sesji ścieżki decyzyjnej: zarządzanie badaniami wpływu oraz wykorzystywanie wyników w celu zwiększenia efektywności programów Powody ewaluacji oraz problem przyczynowości Wykorzystywanie wyników ewaluacji w podejmowaniu decyzji Powiązanie systemów monitorowania/danych z monitorowania oraz ewaluacji wpływu Projektowanie i planowanie ewaluacji Przykłady z ewaluacji programów szkoleniowych dla młodych ludzi

3 Ścieżka techniczna 5-8 czerwca 2017 r. Poniedziałek 5 czerwca 2017 r. 9:00-9:30 Rejestracja 9:30-9:40 Powitanie uczestników Edyta Klimowska Bobula, Wicedyrektor Wojewódzkiego Urzędu Pracy w Krakowie 9:40-10:50 Wstęp do ewaluacji wpływu 10:50-11:00 Przerwa kawowa 11:00-12:15 Projektowanie eksperymentu Część 1: Dobre i złe scenariusze kontrfaktyczne Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute 12:15-13:15 Studium przypadku: Wybór właściwego scenariusza kontrfaktycznego 3 przykłady z Polski Tomasz Gajderowicz, Uniwersytet Warszawski 13:15-14:00 Obiad 14:00-15:30 Projektowanie eksperymentu Część 2: Przydział losowy Lucilla Bruni, Bank Światowy 15:30-15:40 Przerwa kawowa 15:40-17:00 Sesja praktyczna: Randomizacja w praktyce z użyciem programu Excel Piotr Ćwiakowski, Tomasz Gajderowicz, Uniwersytet Warszawski

4 Wtorek 6 czerwca 2017 r. 8:30-9:25 Model regresji nieciągłej Maciej Wilamowski, Uniwersytet Warszawski 9:25-10:25 Różnica w różnicy oraz inne metody 10:25-10:35 Przerwa kawowa 10:35-12:35 12:35-13:05 Sesja praktyczna: Wybierz własną metodę ewaluacji, używając Excela Moderatorzy: Piotr Ćwiakowski, Tomasz Gajderowicz, Maciej Wilamowski, Uniwersytet Warszawski Studium przypadku: Przykład ewaluacji wpływu Francja Céline Ferré, World Bank 13:05-13:50 Obiad 13:50-14:50 14:50-15:20 15:20-15:50 Ramy wyników Z jakiego powodu nasze programy mogą nie działać? Jakob Rusinek, Bank Światowy Praca w grupach: Zidentyfikuj problem w swoim programie i pomyśl o możliwych rozwiązaniach Moderator: Jakob Rusinek, Bank Światowy 15:50-16:00 Przerwa kawowa 16:00-17:00 Praca w grupach: Projekt ewaluacji I Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami ścieżki technicznej w celu opracowania ram wyników dla projektu i określenia, w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia w ciągu tygodnia. Przez resztę tygodnia zespół będzie pracował nad projektem ewaluacji. 18:00 Kolacja

5 Środa 7 czerwca 2017 r. 8:30-9:30 Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych Karolina Goraus-Tańska, Bank Światowy 9:30-10:30 Dobór metody ewaluacji wpływu 10:30-10:40 Przerwa kawowa 10:40-12:15 Ustalanie mocy testu i optymalnej wielkości próby Piotr Ćwiakowski, Uniwersytet Warszawski 12:15-13:00 Obiad 13:00-13:30 wraz ze 13:30-14:15 wraz ze 14:15-14:45 Studium przypadku: Ewaluacja Aktywnych Polityk Rynku Pracy - Dania Lekcje płynące z niepowodzeń Praca w grupach: Projekt ewaluacji II: Pytanie badawcze i metodologia Każdy z zespołów będzie kontynuował pracę nad wybranym projektem z pomocą moderatora. Zespół określi pytania, na które należy odpowiedzieć z pomocą ewaluacji oraz metodę, która zostanie zastosowana. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia. 14:45-15:00 Przerwa kawowa 15:00-16:00 16:00-16:45 wraz ze Praca w grupach: Projekt ewaluacji II: Pytanie badawcze i metodologia (kontynuacja) Zalecenia praktyczne w planowaniu ewaluacji wpływu Karolina Goraus-Tańska, Bank Światowy Kolacja

6 Czwartek 8 czerwca 2017 r. 08:30-10:00 Praca w grupach: Projekt ewaluacji III Każdy z zespołów będzie kontynuował pracę nad projektem ewaluacji z pomocą moderatora. Zespół określi również rezultaty, wskaźniki oraz źródło danych. 10:00-10:15 Przerwa kawowa 10:15-11:30 Prezentacje grupowe Zespoły projektowe zaprezentują swoje wyniki grupie plenarnej przy użyciu szablonu PowerPoint. Praktyczne informacje zwrotne dotyczące projektu zostaną udzielone przez pracowników naukowych, moderatorów oraz pozostałe zespoły. 11:30-12:00 Ocena 12:00-12:30 Zakończenie i rozdanie certyfikatów Lucilla Bruni, Bank Światowy 12:30-13:30 Obiad

7 Ścieżka decyzyjna 6-7 czerwca 2017 r. Wtorek 6 czerwca 2017 r. 08:45-9:15 Rejestracja 09:15-9:30 Powitanie Przemysław Herman, Naczelnik Wydziału Ewaluacji, Departament Europejskiego Funduszu Społecznego, Ministerstwo Rozwoju Carlos Piñerúa, Przedstawiciel Banku Światowego na Polskę i kraje bałtyckie 09:30-11:00 Przegląd ewaluacji wpływu Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute 11:00-11:10 Przerwa kawowa 11:10-13:05 Pomiar wpływu I: Jak mierzyć wpływ. Wstęp do projektowania doświadczeń Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute 13:05-13:55 Obiad 13:55-14:50 14:50-15:20 15:20-15:50 Ramy wyników Z jakiego powodu nasze programy mogą nie działać? Jakob Rusinek, Bank Światowy Praca w grupach: Zidentyfikuj problem w swoim programie i pomyśl o możliwych rozwiązaniach Moderator: Jakob Rusinek, Bank Światowy 15:50-16:00 Przerwa kawowa 16:00-17:00 Praca w grupach: Projekt ewaluacji I Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami ścieżki technicznej w celu opracowania ram wyników dla projektu i określenia, w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia w ciągu tygodnia. Przez resztę tygodnia zespół będzie pracował nad projektem ewaluacji. 18:00 Kolacja

8 Środa 7 czerwca 2017 r. 08:30-8:55 Studium przypadku: Wybór właściwego scenariusza kontrfaktycznego 3 przykłady z Polski Tomasz Gajderowicz, Uniwersytet Warszawski 8:55-10:10 Pomiar wpływu II: Podstawowe koncepcje wyników quasi-doświadczalnych (model regresji nieciągłej, różnica w różnicy oraz inne metody) Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute 10:10-10:30 Sesja praktyczna: Wybierz własną metodę ewaluacji, używając Excela Moderatorzy: Tomasz Gajderowicz, Maciej Wilamowski, Uniwersytet Warszawski 10:30-10:40 Przerwa kawowa 10:40-12:00 Sesja praktyczna: Wybierz własną metodę ewaluacji, używając Excela (kontynuacja) Tomasz Gajderowicz, Maciej Wilamowski, Uniwersytet Warszawski 12:00-12:15 Podsumowanie sesji praktycznej dot. wyboru metody ewaluacji 12:15-13:00 Obiad 13:00-13:30 13:30-14:15 14:15-14:45 Studium przypadku: Ewaluacja Aktywnych Polityk Rynku Pracy - Dania Lekcje płynące z niepowodzeń Praca w grupach: Projekt ewaluacji II: Pytanie badawcze i metodologia Każdy z zespołów będzie kontynuował pracę nad wybranym projektem z pomocą moderatora. Zespół określi pytania, na które należy odpowiedzieć z pomocą ewaluacji oraz metodę, która zostanie zastosowana. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia. 14:45-15:00 Przerwa kawowa 15:00-16:00 16:00-16:45 wraz ze Praca w grupach: Projekt ewaluacji II: Pytanie badawcze i metodologia (kontynuacja) Zalecenia praktyczne w planowaniu ewaluacji wpływu Karolina Goraus-Tańska, Bank Światowy 16:45-17:00 Zakończenie i rozdanie certyfikatów Małgorzata Jabłecka-Kiluk, Zastępca Naczelnika Wydziału Ewaluacji, Departament Europejskiego Funduszu Społecznego, Ministerstwo Rozwoju Lucilla Bruni, Bank Światowy