Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy Studium przypadku: W poszukiwaniu grupy porównawczej dla ewaluacji interwencji realizowanych w Polsce Tomasz Gajderowicz, Kraków, 5 czerwca 2017 r.
Pytania na początek: Program Rodzina 500+: Jak oceniane są efekty programu? Dlaczego akurat 500 zł (a nie np. 400+ lub 600+)? Program kierunków zamawianych: Jak wyglądał proces konstrukcji programu kierunków zamawianych? Jak oceniano jego efekty? Dotacje na rozpoczęcie działalności gospodarczej: Jak tworzono kryteria dostępu? Dlaczego akurat takie kwoty?
Agenda Jak w Polsce (nie)przeprowadzane są ewaluacje wpływu Projektowanie wartościowej ewaluacji dla realizowanych sztandarowych projektów Rodzina 500+ Program kierunków zamawianych Dotacje na podjęcie działalności gospodarczej w ramach pomocy de minimis A później sami zrobimy ewaluację!
Ewaluacja w Polsce: w teorii
Ewaluacja kontrfaktyczna w Polsce: w praktyce
Ewaluacja interwencji w Polsce Do chwili obecnej nie udało się znaleźć zrealizowanego projektu dot. rynku pracy, którego konstrukcja byłaby oparta o rzetelny eksperyment z grupą kontrfaktyczną.
Przykłady najlepszych ewaluacji
Przykłady najlepszych ewaluacji
Czemu tego nie zrobiono, skoro to takie proste? W jaki sposób można poprawni znaleźć grupę kontrolną dla ewaluacji programu? Rodzina 500+ Program kierunków zamawianych Dotacje na działalność gospodarczą?
Czemu tego nie zrobiono, skoro to takie proste? W jaki sposób można poprawnie znaleźć grupę kontrolną dla ewaluacji programu? Rodzina 500+ Program kierunków zamawianych Dotacje na działalność gospodarczą
Program 500+: fakty Program Rodzina 500 Plus ma na celu pomoc w wychowaniu dzieci poprzez wsparcie finansowe. Dofinansowanie w wysokości 500 zł na dziecko w formie bezzwrotnego zasiłku. Świadczenie można pobierać na pierwsze dziecko jeśli spełniamy limity dochodowe oraz na drugie i kolejne dziecko niezależnie od osiąganych dochodów. Koszt programu w 2017 roku to 23 mld 166 mln zł
Program 500+: medialna ewaluacja Skutki programu to zmniejszenie skrajnego ubóstwa wśród najmłodszych o 94 proc. (Dziennik, 1.06.2017) Tautologia? Program Rodzina 500 plus działa ledwie pół roku, a już widać jego efekty pro demograficzne. Po prostu rodzi się więcej dzieci. (W Polityce, 13.09.2016) Czy na pewno obserwowany wzrost dzietności to zasługa programu rodzina 500+? Program 500 plus powoduje bierność zawodową kobiet w kluczowych dla ich życia zawodowego latach (money.pl, 31.05.2017) Czy na pewno dezaktywizacja była efektem 500+? Wprawdzie dane BAEL dotyczące kobiet aktywnych zawodowo pokazują, że ich liczba zmniejszyła się w pierwszym kwartale 2017 r., ale trend ten jest obserwowany od 2014 r. (Gazeta Prawna, 2.06.2017) I co z tego wynika?
Program 500+: pytania Czy możliwe byłoby przeprowadzenie eksperymentu z grupą kontrolną (RCT)? Czy eksperyment byłby zaakceptowany społecznie? Czy Rząd mógłby się na to zdecydować? (świadczenie dla wylosowanych w grupie) Jaki efekt powinien być badany? Zmniejszenie ubóstwa? Wzrost dzietności? Efekty dla rynku pracy? Efekt dla wychowania dzieci? oczywistość horyzont? aktywność zawodowa? horyzont?
Program 500+: pytania Czy możliwe byłoby przeprowadzenie eksperymentu z grupą kontrolną (RCT)? Czy eksperyment byłby zaakceptowany społecznie? Czy Rząd mógłby się na to zdecydować? (świadczenie dla wylosowanych w grupie) Jaki efekt powinien być badany? Zmniejszenie ubóstwa? Wzrost dzietności? Efekty dla rynku pracy? Efekt dla wychowania dzieci? Dlaczego akurat 500 zł??? oczywistość horyzont? aktywność zawodowa? horyzont? Możliwości ewaluacji zastosowania innych kwot
Program 500+: pytania Podsumowując trudności z doborem grupy kontrolnej do eksperymentu: Nie można ustanowić transferu dla wybranych obywateli Długookresowość skutków programu Wobec trudności w przeprowadzeniu eksperymentu konieczność zastosowania innych metod Czy w trakcie funkcjonowania programu możliwe jest znalezienie grupy kontrolnej? Osoby które dobrowolnie nie pobierają świadczenia? Mieszkańcy innych krajów? Może osoby ledwo niespełniające kryterium dochodowego?
Program 500+: pytania Trudności z doborem grupy kontrolnej do eksperymentu Nie można ustanowić transferu dla wybranych obywateli Długookresowość skutków programu Wobec trudności w przeprowadzeniu eksperymentu konieczność zastosowania innych metod Czy w trakcie funkcjonowania programu możliwe jest znalezienie grupy kontrolnej? Osoby które dobrowolnie nie pobierają świadczenia? Mieszkańcy innych krajów? Może osoby ledwo niespełniające kryterium dochodowego? Możliwe ale niezwykle kontrowersyjne i obarczone błędami o tym jutro
Czemu tego nie zrobiono, skoro to takie proste? W jaki sposób można poprawni znaleźć grupę kontrolną dla ewaluacji programu? Rodzina 500+ Program kierunków zamawianych Dotacje na działalność gospodarczą
Program kierunków zamawianych: fakty Celem programu było zwiększenie liczby absolwentów kierunków technicznych o kluczowym znaczeniu dla gospodarki. Program opierał się na: tworzeniu systemów stypendiów dla studentów specjalności zamawianych, prowadzeniu zajęć wyrównawczych z kluczowych przedmiotów dla studentów I roku specjalności zamawianej, wprowadzaniu innych form dydaktycznych uatrakcyjniających kształcenie. W ramach programu od roku 2009 zawarto łącznie ponad 270 umów na kwotę 1,2 mld zł.
Program kierunków zamawianych: fakty ex-post Program przyniósł efekt w postaci zwiększenia naboru na wybranych kierunkach (trudno by 1,2 mld zł nie przyniosło żadnego efektu!) czy na pewno to efekt programu?! Nasilił się problem przerywania studiów na kierunkach zamawianych. Brak dowodów na osiągnięcie celów związanych z rynkiem pracy. Grupa kontrolna do badania, dobrana ex-post brak możliwości poprawnej oceny skutków
Program kierunków zamawianych: pytania Czy możliwe byłoby przeprowadzenie eksperymentu z grupą kontrolną (RCT)? Jak można wyłonić grupę kontrolną? Maturzystów? Czy eksperyment byłby sprawiedliwy społecznie? mniej kontrowersyjnie niż w przypadku programu 500+ Jaki efekt powinien być badany? Wzrost liczby studentów? Wzrost liczby absolwentów? Jakość edukacji? Praca zgodna z wykształceniem? udziału wybierających? horyzont? trudność pomiaru? horyzont?
Czemu tego nie zrobiono, skoro to takie proste? W jaki sposób można poprawni znaleźć grupę kontrolną dla ewaluacji programu? Rodzina 500+ Program kierunków zamawianych Dotacje na działalność gospodarczą
Dotacje na rozpoczęcie działalności gospodarczej: fakty Jednorazowa forma wsparcia udzielana osobom bezrobotnym, absolwentom integracji społecznej oraz absolwentom klubów integracji społecznej, którzy pragną rozpocząć własną działalność gospodarczą. 4-6 krotność średniego wynagrodzenia w sektorze przedsiębiorstw. W latach 2008-2014 na podjęcie działalności gospodarczej przez bezrobotnych ze środków Funduszu Pracy przeznaczono ok. 3,5 mld zł. Każdy Powiatowy Urząd Pracy może posiadać również swój wewnętrzny regulamin przyznawania jednorazowo środków na podjęcie działalności gospodarcze
Dotacje na rozpoczęcie działalności gospodarczej: pytania Czy realnie możliwe byłoby przeprowadzenie eksperymentu z grupą kontrolną? Jak można byłoby wyłonić grupę kontrolną? Jakie efekty powinny być oceniane? 12 miesięcy działalności? 24 miesiące działalności? Zatrudnienie nowych pracowników? Gdyby chcieć optymalizować program warto rozważyć: Kryteria dostępu Wartość przyznanych środków Te wszystkie aspekty mogłyby być efektywnie oceniane w ramach eksperymentu z grupą kontrfaktyczną. Pozwala na to (w pewnym zakresie) konstrukcja programu.
Quiz Rozważmy następujące sytuacje
Program Rodzina 500+: czy można za grupę kontrolną uznać dziś A. Osoby, które mają 1 dziecko i znajdują się tuż pod kryterium dochodowym? B. Osoby, które nie mają dzieci? C. Osoby, które z przyczyn moralnych nie pobierają świadczenia? D. Nie ma możliwości poprawnego wyodrębnienia takich osób? 0% 0% 0% 0% A. B. C. D.
Program Kierunków zamawianych: czy można za grupę kontrolną uznać dziś A. Studentów kierunków, które były zamawiane na uczelniach, które nie zostały objęte programem? B. Studentów innych kierunków? C. Osoby, które przerwały studia? D. Grupa kontrolna mogła być wyodrębniona jedynie na etapie przed wdrożeniem programu? 0% 0% 0% 0% A. B. C. D.
Program Dotacji na rozpoczęcie: czy można za grupę kontrolną uznać dziś A. Osoby które ubiegały się, lecz nie dostały dofinansowania? B. Osoby, które założyły działalność gospodarczą, a nie aplikowały o program? C. Osoby, którym losowo nie przyznano dotacji (wśród aplikujących, spełniających wymagania)? D. Losowo wybranych pracodawców w regionie? 0% 0% 0% 0% A. B. C. D.
To teraz sami zróbmy własną ewaluację Czego potrzebujemy do Ewaluacji? Danych! Jak trzeba dobrać grupę kontrfaktyczną? Sprawiedliwie Prosto Transparentnie Czyli konkretnie jak? Trudnie pytania, aby na nie odpowiedzieć, potrzeba nam energii!
Wyniki po przerwie:) Dziękuję za uwagę!