PROGRAM. Warsztaty budowania umiejętności w zakresie ewaluacji wpływu programów zatrudnienia lutego 2017 r.

Transkrypt

1 PROGRAM Warsztaty budowania umiejętności w zakresie ewaluacji wpływu programów zatrudnienia lutego 2017 r. Co? Celem warsztatów jest budowanie świadomości i umiejętności ewaluacji wpływu 1 (zwanej również ewaluacją ze scenariuszem kontrfaktycznym) w celu opartego na dowodach planowania aktywnych programów rynku pracy. Warsztaty wyposażą uczestników w umiejętności i narzędzia umożliwiające planowanie ewaluacji wpływu oraz nadzór nad nimi. Kto? Warsztaty są przeznaczone dla pracowników wojewódzkich i powiatowych urzędów pracy zaangażowanych w planowanie, projektowanie oraz monitorowanie i ewaluację programów i polityk zatrudnienia. Do wyrażenia zainteresowania wzięciem udziału w szkoleniu w szczególności zaprasza się personel odpowiedzialny za nadzorowanie i/lub wdrażanie gromadzenia i analizy danych administracyjnych. Jak? Struktura warsztatów to połączenie dwóch równoległych ścieżek (ścieżki technicznej oraz ścieżki decyzyjnej), ogólnych sesji plenarnych oraz pracy w niewielkich grupach. Obydwie ścieżki są zaprojektowane w taki sposób, aby rozwinąć intuicję w zakresie metod stosowanych do ewaluacji wpływu, tego jak oceniać jakość dowodów oraz lepszego użytkowania informacji. Warsztaty będą prowadzone przez zarówno zagranicznych, jak i polskich pracowników naukowych i praktyków, a ich treść będzie przekazywana w języku polskim i angielskim dzięki tłumaczeniu symultanicznemu. Ścieżka techniczna (pięć dni) Kurs zaprojektowany dla specjalistów, którzy chcą zdobyć zarówno intuicję, jak i podstawową wiedzę w zakresie ilościowych metod ewaluacji wpływu. Najlepiej, gdy będą to osoby odpowiedzialne za wdrażanie i logistykę ewaluacji na poziomie lokalnym. Słuchaczami będą na przykład kierownicy/dyrektorzy jednostek ewaluacyjnych/obserwatoriów rynku pracy w wojewódzkich i powiatowych urzędach pracy. Mimo że od uczestników ścieżki technicznej nie oczekuje się bezpośredniego wdrażania ewaluacji wpływu, odpowiadają oni lub będą odpowiadać za zapewnienie, że projekt interwencji umożliwi ewaluację ze scenariuszem kontrfaktycznym, oraz za sporządzenie opisu przedmiotu zamówienia i nadzór nad ich wdrożeniem. Ścieżka decyzyjna (dwa dni) Kurs przeznaczony dla dyrektorów odpowiedzialnych za ogólny projekt programów i polityk. Sesje te stanowią podstawy do zrozumienia tego, jak ważne jest stosowanie ewaluacji ze scenariuszem kontrfaktycznym oraz intuicji w różnych metodach. Ewaluacje ze scenariuszem kontrfaktycznym umożliwiają decydentom zrozumienie, czy program osiąga swoje zamierzone wyniki lub które opcje konstrukcji projektu są najbardziej opłacalne. 1 Ewaluacja wpływu składa się z zestawu metodologii umożliwiających pomiar efektu programu, który da się przypisać samemu programowi, a nie innym czynnikom, takim jak cechy uczestników lub inne programy mogące mieć wpływ na zaobserwowane rezultaty.

2 Sesje plenarne są przeznaczone dla wszystkich uczestników. Sesje w niewielkich grupach utrwalają materiał omawiany na sesjach plenarnych i ścieżkach równoległych oraz sprzyjają udziałowi i interakcji wśród uczestników. Profesjonalni moderatorzy będą pracować z każdą grupą, aby wspierać rozmowy i zapewniać pomoc techniczną. Każdego dnia grupy będą skupiać się na opracowaniu rygorystycznego projektu ewaluacji wpływu dla swoich własnych projektów. W ostatnim dniu grupy robocze przedstawią przygotowany projekt ewaluacji wpływu większej grupie w celu uzyskania informacji zwrotnej. Kluczowe tematy sesji ścieżki technicznej: teoria, metody i zastosowania Wnioskowanie przyczynowo-skutkowe Projekty eksperymentalne: losowy przydział do programów Model regresji nieciągłej Różnica w różnicy Inne techniki Obliczenia mocy Projektowanie i planowanie ewaluacji Studia przypadków pochodzących od praktyków i decydentów Kluczowe tematy sesji ścieżki decyzyjnej: zarządzanie badaniami wpływu oraz wykorzystywanie wyników w celu zwiększenia efektywności programów Powody ewaluacji oraz problem przyczynowości Wykorzystywanie wyników ewaluacji w podejmowaniu decyzji Powiązanie systemów monitorowania/danych oraz ewaluacji wpływu Projektowanie i planowanie ewaluacji Przykłady z ewaluacji programów szkoleniowych dla młodych ludzi

3 Ścieżka techniczna lutego 2017 r. Poniedziałek 20 lutego 2017 r. 9:30-10:00 Rejestracja 10:00-10:15 Powitanie Joanna Witkowska, Dyrektor Wojewódzkiego Urzędu Pracy w Gdańsku 10:15-11:30 Wstęp do ewaluacji wpływu 11:30-11:45 Przerwa kawowa 11:45-13:00 Projektowanie eksperymentu Część 1: Dobre i złe scenariusze kontrfaktyczne 13:00-14:00 Obiad 14:00-15:00 Studium przypadku: W poszukiwaniu metody ewaluacji dla projektów realizowanych w Polsce Tomasz Gajderowicz, Uniwersytet Warszawski 15:00-16:00 Studium przypadku: Eksperymenty kontrolowane 16:00-16:30 Przerwa kawowa 16:30-17:30 Ćwiczenia: Przydział losowy w praktyce Piotr Ćwiakowski, Uniwersytet Warszawski, Ministerstwo Finansów Wtorek 21 lutego 2017 r. 09:15-9:30 Przypomnienie informacji z dnia poprzedniego 09:30-11:00 Projektowanie eksperymentu Część 2 11:00-11:30 Przerwa kawowa 11:30-12:30 Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych 12:30-14:00 Obiad

4 14:00 15:30 wspólnie ze ścieżką Ramy wyników 15:30-15:45 Przerwa kawowa 15:45-17:45 wspólnie ze ścieżką Praca w grupach: Wybór programu do ewaluacji oraz konstrukcji ram wyników Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami ścieżki decyzyjnej w celu opracowania ram wyników dla projektu i określenia, w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia w ciągu tygodnia. Przez resztę tygodnia zespół będzie pracował nad projektem ewaluacji. 18:00 Kolacja Środa 22 lutego 2017 r. 08:30-10:00 Model regresji nieciągłej Maciej Wilamowski, Uniwersytet Warszawski 10:00-10:30 Przerwa kawowa 10:30-12:00 Różnica w różnicy oraz inne metody 13:30-14:15 14:15-15:15 Zastosowania: Ewaluacje programów szkolenia młodych ludzi Dostępność danych o beneficjentach programów rynku pracy w Polsce Matteo Morgandi, Bank Światowy 15:15-15:45 Przerwa kawowa 15:45-17:30 wspólnie ze ścieżką Praca w grupach II: Projekt ewaluacji Każdy z zespołów będzie kontynuował pracę nad wybranym projektem z pomocą moderatora. Zespół określi pytania, na które należy odpowiedzieć z pomocą ewaluacji oraz metodę, która zostanie zastosowana. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia.

5 Czwartek 23 lutego 2017 r. 08:30-10:00 Dobór metody ewaluacji wpływu 10:00-10:30 Przerwa kawowa 10:30-12:00 Ustalanie mocy testu i optymalnej wielkości próby Piotr Ćwiakowski, Uniwersytet Warszawski 13:30-14:30 Zalecenia praktyczne: SIWZ oraz wskazówki dotyczące wyboru ofert Karolina Goraus-Tańska, Uniwersytet Warszawski, Bank Światowy Lucilla Bruni, Bank Światowy 14:30-15:00 Ocena 15:00-17:30 (przerwa kawowa 16:15-16:30) Praca w grupach III: Projekt ewaluacji i dane Każdy z zespołów będzie kontynuował pracę nad projektem ewaluacji z pomocą moderatora. Zespół określi również rezultaty, wskaźniki oraz źródło danych. 17:45 Kolacja Piątek 24 lutego 2017 r. 08:30-10:30 Prezentacje grupowe Moderator: Tomasz Gajderowicz, Uniwersytet Warszawski Zespoły projektowe zaprezentują swoje wyniki grupie plenarnej przy użyciu szablonu PowerPoint. Praktyczne informacje zwrotne dotyczące projektu zostaną udzielone przez pracowników naukowych, moderatorów oraz pozostałe zespoły. 10:30-11:00 Przerwa kawowa 11:00-12:00 Zakończenie i rozdanie certyfikatów Małgorzata Jabłecka-Kiluk, Zastępca Naczelnika Wydziału Ewaluacji, Departament Europejskiego Funduszu Społecznego, Ministerstwo Rozwoju Ścieżka decyzyjna

6 Wtorek 21 lutego 2017 r. 08:45-9:15 Rejestracja 09:15-9:30 Powitanie Przemysław Herman, Naczelnik Wydziału Ewaluacji, Departament Europejskiego Funduszu Społecznego, Ministerstwo Rozwoju 09:30-11:00 Przegląd ewaluacji wpływu 11:00-11:30 Przerwa kawowa 11:30-13:00 Pomiar wpływu I: Jak mierzyć wpływ? Wstęp do projektowania eksperymentów 13:00-14:00 Obiad 14:00-15:30 Ramy wyników 15:30-15:45 Przerwa kawowa 15:45-17:45 wspólnie ze ścieżką Praca w grupach: Wybór programu do ewaluacji oraz konstrukcji ram wyników Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami ścieżki technicznej w celu opracowania ram wyników dla projektu i określenia, w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia. 18:00 Kolacja Środa 22 lutego 2017 r. 08:30-10:00 Pomiar wpływu II: Podstawowe koncepcje wyników quasi-eksperymentalnych (model regresji nieciągłej, różnica w różnicy oraz inne metody) 10:00-10:30 Przerwa kawowa 10:30-12:00 Studium przypadku: W poszukiwaniu metody ewaluacji dla projektów realizowanych w Polsce Tomasz Gajderowicz, Uniwersytet Warszawski

7 13:30-14:15 14:15-15:15 Zastosowania: Ewaluacje programów szkolenia młodych ludzi Dostępność danych o beneficjentach programów rynku pracy w Polsce Matteo Morgandi, Bank Światowy 15:15-15:45 Przerwa kawowa 15:45-17:15 wspólnie ze ścieżką Praca w grupach II: Projekt ewaluacji Każdy z zespołów będzie kontynuował pracę nad wybranym projektem z pomocą moderatora. Zespół określi pytania, na które należy odpowiedzieć za pomocą ewaluacji oraz metodę, która zostanie zastosowana. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia. 17:15-17:30 Zakończenie i rozdanie certyfikatów Matteo Morgandi, Bank Światowy