PROGRAM Warsztaty budowania umiejętności w zakresie ewaluacji wpływu programów zatrudnienia 20-24 lutego 2017 r. Co? Celem warsztatów jest budowanie świadomości i umiejętności ewaluacji wpływu 1 (zwanej również ewaluacją ze scenariuszem kontrfaktycznym) w celu opartego na dowodach planowania aktywnych programów rynku pracy. Warsztaty wyposażą uczestników w umiejętności i narzędzia umożliwiające planowanie ewaluacji wpływu oraz nadzór nad nimi. Kto? Warsztaty są przeznaczone dla pracowników wojewódzkich i powiatowych urzędów pracy zaangażowanych w planowanie, projektowanie oraz monitorowanie i ewaluację programów i polityk zatrudnienia. Do wyrażenia zainteresowania wzięciem udziału w szkoleniu w szczególności zaprasza się personel odpowiedzialny za nadzorowanie i/lub wdrażanie gromadzenia i analizy danych administracyjnych. Jak? Struktura warsztatów to połączenie dwóch równoległych ścieżek (ścieżki technicznej oraz ścieżki decyzyjnej), ogólnych sesji plenarnych oraz pracy w niewielkich grupach. Obydwie ścieżki są zaprojektowane w taki sposób, aby rozwinąć intuicję w zakresie metod stosowanych do ewaluacji wpływu, tego jak oceniać jakość dowodów oraz lepszego użytkowania informacji. Warsztaty będą prowadzone przez zarówno zagranicznych, jak i polskich pracowników naukowych i praktyków, a ich treść będzie przekazywana w języku polskim i angielskim dzięki tłumaczeniu symultanicznemu. Ścieżka techniczna (pięć dni) Kurs zaprojektowany dla specjalistów, którzy chcą zdobyć zarówno intuicję, jak i podstawową wiedzę w zakresie ilościowych metod ewaluacji wpływu. Najlepiej, gdy będą to osoby odpowiedzialne za wdrażanie i logistykę ewaluacji na poziomie lokalnym. Słuchaczami będą na przykład kierownicy/dyrektorzy jednostek ewaluacyjnych/obserwatoriów rynku pracy w wojewódzkich i powiatowych urzędach pracy. Mimo że od uczestników ścieżki technicznej nie oczekuje się bezpośredniego wdrażania ewaluacji wpływu, odpowiadają oni lub będą odpowiadać za zapewnienie, że projekt interwencji umożliwi ewaluację ze scenariuszem kontrfaktycznym, oraz za sporządzenie opisu przedmiotu zamówienia i nadzór nad ich wdrożeniem. Ścieżka decyzyjna (dwa dni) Kurs przeznaczony dla dyrektorów odpowiedzialnych za ogólny projekt programów i polityk. Sesje te stanowią podstawy do zrozumienia tego, jak ważne jest stosowanie ewaluacji ze scenariuszem kontrfaktycznym oraz intuicji w różnych metodach. Ewaluacje ze scenariuszem kontrfaktycznym umożliwiają decydentom zrozumienie, czy program osiąga swoje zamierzone wyniki lub które opcje konstrukcji projektu są najbardziej opłacalne. 1 Ewaluacja wpływu składa się z zestawu metodologii umożliwiających pomiar efektu programu, który da się przypisać samemu programowi, a nie innym czynnikom, takim jak cechy uczestników lub inne programy mogące mieć wpływ na zaobserwowane rezultaty.
Sesje plenarne są przeznaczone dla wszystkich uczestników. Sesje w niewielkich grupach utrwalają materiał omawiany na sesjach plenarnych i ścieżkach równoległych oraz sprzyjają udziałowi i interakcji wśród uczestników. Profesjonalni moderatorzy będą pracować z każdą grupą, aby wspierać rozmowy i zapewniać pomoc techniczną. Każdego dnia grupy będą skupiać się na opracowaniu rygorystycznego projektu ewaluacji wpływu dla swoich własnych projektów. W ostatnim dniu grupy robocze przedstawią przygotowany projekt ewaluacji wpływu większej grupie w celu uzyskania informacji zwrotnej. Kluczowe tematy sesji ścieżki technicznej: teoria, metody i zastosowania Wnioskowanie przyczynowo-skutkowe Projekty eksperymentalne: losowy przydział do programów Model regresji nieciągłej Różnica w różnicy Inne techniki Obliczenia mocy Projektowanie i planowanie ewaluacji Studia przypadków pochodzących od praktyków i decydentów Kluczowe tematy sesji ścieżki decyzyjnej: zarządzanie badaniami wpływu oraz wykorzystywanie wyników w celu zwiększenia efektywności programów Powody ewaluacji oraz problem przyczynowości Wykorzystywanie wyników ewaluacji w podejmowaniu decyzji Powiązanie systemów monitorowania/danych oraz ewaluacji wpływu Projektowanie i planowanie ewaluacji Przykłady z ewaluacji programów szkoleniowych dla młodych ludzi
Ścieżka techniczna 20-24 lutego 2017 r. Poniedziałek 20 lutego 2017 r. 9:30-10:00 Rejestracja 10:00-10:15 Powitanie Joanna Witkowska, Dyrektor Wojewódzkiego Urzędu Pracy w Gdańsku 10:15-11:30 Wstęp do ewaluacji wpływu 11:30-11:45 Przerwa kawowa 11:45-13:00 Projektowanie eksperymentu Część 1: Dobre i złe scenariusze kontrfaktyczne 13:00-14:00 Obiad 14:00-15:00 Studium przypadku: W poszukiwaniu metody ewaluacji dla projektów realizowanych w Polsce Tomasz Gajderowicz, Uniwersytet Warszawski 15:00-16:00 Studium przypadku: Eksperymenty kontrolowane 16:00-16:30 Przerwa kawowa 16:30-17:30 Ćwiczenia: Przydział losowy w praktyce Piotr Ćwiakowski, Uniwersytet Warszawski, Ministerstwo Finansów Wtorek 21 lutego 2017 r. 09:15-9:30 Przypomnienie informacji z dnia poprzedniego 09:30-11:00 Projektowanie eksperymentu Część 2 11:00-11:30 Przerwa kawowa 11:30-12:30 Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych 12:30-14:00 Obiad
14:00 15:30 Ramy wyników (sesja plenarna wspólnie ze ścieżką decyzyjną) 15:30-15:45 Przerwa kawowa 15:45-17:45 Praca w grupach: Wybór programu do ewaluacji oraz konstrukcji ram wyników wspólnie ze Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami ścieżką ścieżki decyzyjnej w celu opracowania ram wyników dla projektu i określenia, decyzyjną) w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia w ciągu tygodnia. Przez resztę tygodnia zespół będzie pracował nad projektem ewaluacji. 18:00 Kolacja Środa 22 lutego 2017 r. 08:30-10:30 Dostępność danych o beneficjentach programów rynku pracy w Polsce (sesja plenarna Matteo Morgandi, Bank Światowy wraz ze ścieżką decyzyjną) 10:30-10:45 Przerwa kawowa 10:45-12:00 Model regresji nieciągłej Maciej Wilamowski, Uniwersytet Warszawski 12:00-13:30 Obiad 13:30-14:30 Różnica w różnicy oraz inne metody 14:30-15:45 Zastosowania: Ewaluacje programów rynku pracy w Danii i na Łotwie 15:45-16:00 Przerwa kawowa 16:00-17:15 Praca w grupach II: Projekt ewaluacji wspólnie ze Każdy z zespołów będzie kontynuował pracę nad wybranym projektem z pomocą ścieżką moderatora. Zespół określi pytania, na które należy odpowiedzieć z pomocą decyzyjną) ewaluacji oraz metodę, która zostanie zastosowana. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia.
Czwartek 23 lutego 2017 r. 08:30-10:00 Dobór metody ewaluacji wpływu 10:00-10:30 Przerwa kawowa 10:30-12:00 Ustalanie mocy testu i optymalnej wielkości próby Piotr Ćwiakowski, Uniwersytet Warszawski 12:00-13:30 Obiad 13:30-14:30 Zalecenia praktyczne w planowaniu ewaluacji wpływu Karolina Goraus-Tańska, Bank Światowy 14:30-15:00 Ocena 15:00-17:15 Praca w grupach III: Projekt ewaluacji i dane (przerwa Moderator: Specjalista ds. ewaluacji wpływu kawowa Każdy z zespołów będzie kontynuował pracę nad projektem ewaluacji z pomocą 16:15-16:30) moderatora. Zespół określi również rezultaty, wskaźniki oraz źródło danych. 17:45 Kolacja Piątek 24 lutego 2017 r. 08:30-10:30 Prezentacje grupowe Moderator: Tomasz Gajderowicz, Uniwersytet Warszawski Zespoły projektowe zaprezentują swoje wyniki grupie plenarnej przy użyciu szablonu PowerPoint. Praktyczne informacje zwrotne dotyczące projektu zostaną udzielone przez pracowników naukowych, moderatorów oraz pozostałe zespoły. 10:30-11:00 Przerwa kawowa 11:00-12:00 Zakończenie i rozdanie certyfikatów 12:00-13:30 Obiad
Ścieżka decyzyjna 21-22 lutego 2017 r. Wtorek 21 lutego 2017 r. 08:45-9:15 Rejestracja 09:15-9:30 Powitanie Przemysław Herman, Naczelnik Wydziału Ewaluacji, Departament Europejskiego Funduszu Społecznego, Ministerstwo Rozwoju 09:30-11:00 Przegląd ewaluacji wpływu 11:00-11:30 Przerwa kawowa 11:30-13:00 Pomiar wpływu I: Jak mierzyć wpływ? Wstęp do projektowania eksperymentów 13:00-14:00 Obiad 14:00-15:30 Ramy wyników (sesja plenarna wraz ze ścieżką techniczną) 15:30-15:45 Przerwa kawowa 15:45-17:45 Praca w grupach: Wybór programu do ewaluacji oraz konstrukcji ram wyników wspólnie ze ścieżką Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami techniczną) ścieżki technicznej w celu opracowania ram wyników dla projektu i określenia, w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia. 18:00 Kolacja Środa 22 lutego 2017 r. 08:30-10:30 Dostępność danych o beneficjentach programów rynku pracy w Polsce (sesja plenarna Matteo Morgandi, Bank Światowy wraz ze ścieżką decyzyjną) 10:30-10:45 Przerwa kawowa 10:45-12:30 Pomiar wpływu II: Podstawowe koncepcje wyników quasi-eksperymentalnych (model regresji nieciągłej, różnica w różnicy oraz inne metody)
12:30-13:45 Obiad 13:45-14:45 Studium przypadku: W poszukiwaniu metody ewaluacji dla projektów realizowanych w Polsce Tomasz Gajderowicz, Uniwersytet Warszawski 14:45-15:45 Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych Karolina Goraus-Tańska, Bank Światowy 15:45-16:00 Przerwa kawowa 16:00-17:15 Praca w grupach II: Projekt ewaluacji wspólnie ze ścieżką Każdy z zespołów będzie kontynuował pracę nad wybranym projektem techniczną) z pomocą moderatora. Zespół określi pytania, na które należy odpowiedzieć za pomocą ewaluacji oraz metodę, która zostanie zastosowana. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia. 17:15-17:30 Zakończenie i rozdanie certyfikatów Julieta Trias, World Bank Lucilla Bruni, World Bank