Wstęp do ewaluacji wpływu

Transkrypt

1 Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów aktywnej polityki rynku pracy Wstęp do ewaluacji wpływu Celine Ferre, Gdańsk, 20 lutego 2017 r.

2 Wstęp: Dlaczego, co i jak? Warsztaty w Gdańsku lutego 2017 r. Poniedziałek:

3 Co możne podlegać ewaluacji? Uwagi dotyczące słownictwa Ewaluacji (ocenie skutków i wpływu) podlegać mogą wszelkiego rodzaju interwencje prowadzone przez podmioty na różnych szczeblach, zarówno ogólnokrajowym jak i lokalnym. Podczas warsztatów będziemy zajmować się głównie przykładami interwencji z zakresu rynku pracy. Interwencja, w kontekście ewaluacji wpływu, jest to ogólna nazwa działanie, projekt, program lub politykę przeznaczoną do ewaluacji. Dla celów przejrzystości, w prezentacjach metodologicznych będziemy posługiwać się skrótowo słowami program lub interwencja, dla określenia interwencji na rynku pracy w kontekście ewaluacji wpływu.

4 Skąd wiedzieć, czy interwencje na rynku pracy są skuteczne? Krótkie omówienie ostatnich doświadczeń w zakresie aktywnych polityk rynku pracy (APRP): Usługi pośrednictwa (np. pomoc w poszukiwaniu pracy) Szkolenia i przekwalifikowywanie Tworzenie miejsc pracy: Programy robót publicznych (PRP) Zarobki i subsydiowanie zatrudnienia Pomoc przy samozatrudnieniu. Cel wzrost zatrudnienia i dochodów poprzez: Podniesienie podaży pracy (np. szkolenia) Zwiększenie popytu na pracę (np. roboty publiczne, subsydiowanie zatr.) Ulepszone funkcjonowanie rynku pracy (np. usługi pośrednictwa). Ocena oddziaływania ma na celu określenie wpływu interwencji na późniejsze zatrudnienie i zarobki ich uczestników: Czy interwencja zmniejszyła liczbę miesięcy potrzebnych osobie bezrobotnej do znalezienia pracy? Czy w wyniku interwencji zwiększyły się zarobki osób objętych interwencją?

5 Dlaczego warto zadbać o ewaluację interwencji? Kraje UE wprowadzają coraz więcej interwencji w ramach APRP W obliczu reform ekonomicznych, postępującej liberalizacji rynków i rosnących obaw związanych z problemami bezrobocia działania w ramach APRP coraz częściej są atrakcyjną opcją dla decydentów. ale budżety są nadal ograniczone, więc kluczowe jest efektywny przydział środków. Należy zatem badać skuteczność interwencji względem deklarowanych celów: Potrzebne jest coś więcej niż program, projekt potrzebna jest interwencja, która działa. Ustalenie, które interwencje się sprawdzają, a które nie: Rozwijanie dobrze rokujących Przerwanie tych ze słabymi wynikami Poprawa funkcjonowania istniejących interwencji Porównanie pod względem opłacalności: ustalenie, które interwencje są najbardziej opłacalne i zmniejszają relatywne koszty.

6 Wydatki na bezrobotnego (PPS w UE) Wydatki publiczne na funkcjonowanie rynku pracy w przeliczeniu na bezrobotnego są w Polsce raczej niskie, więc ważne jest skuteczne przydzielanie środków FI13 AT NL FR12 BE13 IE SI13 DE13 SK13 CY11 LV13 EU15 11 PT13 EU MT12 EE13 LT13 IT BG13 PL12 EL10 ES12 0 RO12 HR12 CZ PKB na mieszkańca (PPS) Źródło: Eurostat 2012

7 Przegląd badań międzynarodowych Bardzo dobra metaanaliza efektu oddziaływania APRP: Card i in. (2010, 2015) Średnie efekty oddziaływania są bliskie 0 w krótkim okresie i zwiększają się po 2-3 latach. Większe korzyści z interwencji mających na celu akumulację kapitału ludzkiego i finansowego Niejednorodny efekt oddziaływania: Większe korzyści dla kobiet poszukujących pracy Większe korzyści dla długotrwale bezrobotnych Zwykle APRP oddziałują pozytywnie w okresach recesji gospodarczej. Wpływ APRP w Europie centralnej i wschodniej: Lehmann i Kluve (2008) Najbardziej obiecujące APRP: pośrednictwo pracy, szkolenia oraz programy przekwalifikowania Roboty publiczne (bardzo popularne): prawie zawsze negatywny wpływ na wyniki na rynku pracy Metaanaliza efektu oddziaływania APRP na młodych: Staneva i in. (2015) Rozbieżne wnioski o skuteczności APRP wśród młodych: Niektóre badania wykazują pozytywne efekty. Inne z kolei wskazują na negatywne efekty wynikające z trudności dotarcia do młodych: Ewaluacje prowadzone w długim okresie zwykle dają bardziej pozytywne wyniki. Subsydiowanie wynagrodzeń jest skuteczniejsze niż szkolenia i roboty publiczne. Lepsze efekty u kobiet niż u mężczyzn.

8 Przegląd badań międzynarodowych (cd.) Interwencje tego samego typu są bardzo niejednorodne: Zarówno w zakresie, jak i w nasileniu usług: Na przykład poradnictwo zawodowe dot. pracy może obejmować jedno spotkane albo trwać 6 miesięcy ze spotkaniami co tydzień. Pośrednictwo pracy: aktywne doradztwo zawodowe i/lub wysyłanie ofert. Ponadto mają one też wiele warunków i etapów: Przykład: programy bonów zatrudnieniowych Poszukujący pracy przekazują potencjalnemu pracodawcy bon, który ten musi przedłożyć w danym miejscu, aby uzyskać subsydium. Przykład: program samowystarczalności (Self-Sufficiency Program) w Kanadzie: Trwający 1 rok pierwszy etap, w którym uczestnicy poszukują pracy, po czym następuje kwalifikacja do drugiego etapu przyznania uczestnikom dofinansowania.

9 Przegląd badań międzynarodowych (cd.) Ze względu na braki w danych, zwykle nie ma możliwości skorzystania ze wszystkich użytecznych zmiennych dotyczących oddziaływania: W większości ewaluacji APRP analizuje się status zatrudnienia. To przydatne dane, ale nie pozwalają poznać mechanizmu APRP. Przykładowo, nie można ustalić efektu APRP dla zarobków. Pomimo braków danych wyniki wskazują, że: Efekty oddziaływania APRP są zwykle bardzo ograniczone, o ile nie zerowe lub ujemne: Pośrednictwo pracy sprawdza się w kwestii faktu zatrudnienia, ale co z zarobkami i jakością pracy? Bony zatrudnieniowe dają efekty w czasie trwania programu, jednak szybko one zanikają. Szkolenia raczej nie spełniają oczekiwań, zwłaszcza przy zastosowaniu badań randomizowanych z grupą kontrolną (RCT). To znacznie poniżej oczekiwań decydentów.

10 Przegląd badań międzynarodowych (cd.) Co zaskakuje, w literaturze jest bardzo mało analiz kosztów i korzyści. Byłyby one bardzo przydatne, bo z uwagi na wyniki dotyczące zatrudnienia, stopień niepewności jest duży: Czy te programy są opłacalne dla poszukujących pracy, urzędów, rządów, społeczeństw? W dużych interwencjach APRP w Ameryce Północnej udało się zebrać niezbędne dane do analizy kosztów i korzyści: Interwencje często nie przechodzą pomyślnie takiej weryfikacji. Korzyści wynikające ze świadczeń dla bezrobotnych nie zawsze pokrywają koszty interwencji szczególnie tych drogich. Podsumowanie: Nie ma jednoznacznego dowodu na to, że istnieje silne powiązanie APRP z zatrudnieniem, a konsekwencje finansowe dla obywateli, rządów i społeczeństwa nie są rzetelnie analizowane.

11 Dlaczego? Potrzebne jest coś więcej niż program potrzebna jest interwencja, która faktycznie działa: Dobre chęci i wysokie budżety nie gwarantują lepszych efektów. Przeszkolenie młodych osób nie oznacza automatycznego zwiększenia ich szans na znalezienie pracy po ukończeniu szkolenia. Opracowywanie programów zatrudnienia dla młodzieży nie oznacza zmniejszenia bezrobocia wśród młodych. Przykład interwencji, która nie ma oczekiwanego pozytywnego wpływu na osobę poszukującą pracy Załóżmy, że pracy szuka Jan, który ma ograniczony zakres umiejętności. Jan zostaje poddany ocenie doradcy zawodowego w Powiatowym Urzędzie Pracy. Otrzymuje propozycję 3-miesięcznego kursu stolarskiego i ją przyjmuje, chociaż nie interesuje go stolarstwo. Po zakończeniu kursu otrzymuje propozycję pracy w firmie remontowej, ale po 2 miesiącach zostaje zwolniony za lenistwo i nieefektywność. Może gdyby Janowi nie zaproponowano tego kursu, sam szukałby stażu i załatwił sobie praktykę u piekarza, co zawsze go interesowało. Po 2 miesiącach praktyki, w czasie której otrzymywałby najniższą krajową, Janowi zaproponowano by pracę dla tego piekarza i po roku byłby nadal przez niego zatrudniany. Jakie oddziaływanie ma program zaoferowany przez PUP?

12 Dlaczego? Ustalenie, które interwencje się sprawdzają, a które nie: Rozwijanie dobrze rokujących Przerwanie tych ze słabymi wynikami Przykład z USA: Job Training Partnership Program JTPA (Partnerski Program Szkolenia Zawodowego) W 1986 r. Departament Pracy Stanów Zjednoczonych (USDOL) rozpoczął ogólnopaństwowe badanie JTPA polegające na wieloletniej ocenie skuteczności programów finansowanych na mocy ustawy o partnerskich szkoleniach zawodowych (Job Training Partnership Act). Badanie randomizowane w celu oszacowania efektów oddziaływania programu na zarobki, zatrudnienie i świadczenia socjalne osób obsługiwanych w ramach programu: Rygorystyczna ocena tej interwencji wykazała, że program miał bardzo odmienne wyniki u dorosłych i u młodych: U dorosłych program był sukcesem zwiększył zarobki o od 7% do 11% i przyniósł korzyści rzędu 1,50 USD na każdego zainwestowanego dolara. U młodych program nie był sukcesem nie miał wpływu na zarobki, a jego koszty były większe niż korzyści dla społeczeństwa. Po opublikowaniu tych wyników w 1994 r. Kongres zmniejszył o ponad 500 milionów USD (80%) budżet na część programu JPTA przeznaczoną dla młodych, a budżet na część dla dorosłych zwiększył o 11%.

13 Dlaczego? Dopracowanie założeń interwencji Poprawa istniejących interwencji Przykład z Polski: programy robót publicznych (PRP) W Polsce w połowie lat 90. XX w. roboty publiczne uznano za zbyt kosztowną interwencję z niewielką liczbą uczestników, którzy mogli zyskać zatrudnienie dające stałe zarobki. W ocenie programu stwierdzono, że wskaźnik ponownego zatrudnienia na niedofinansowywanych stanowiskach był znacznie wyższy, jeżeli robotami publicznymi zarządzały firmy prywatne. W efekcie władze zmodyfikowały założenia programu zmieniono przepisy z myślą o prywatnych przedsiębiorstwach realizujących projekty robót publicznych, co z czasem przyniosło większą opłacalność programu.

14 Dlaczego? Zastosowanie analizy kosztów i korzyści wskazanie najbardziej opłacalnych interwencji: Jeśli zainwestujemy 100 złotych w program szkoleń, uzyskamy wyższą czy niższą zatrudnialność, niż w wypadku zainwestowania 100 złotych w program doradztwa zawodowego? Nowa umowa (ang. New Deal) dla młodych bezrobotnych w Wielkiej Brytanii Program wprowadzony 1998 r. pomaga młodym (18-24 lat) bezrobotnym pobierającym zasiłek przez sześć miesięcy lub dłużej znaleźć pracę i poprawić długoterminową zdolność do zatrudnienia. Najnowsze oceny programu wskazują, że w wyniku programu New Deal młodzi bezrobotni mężczyźni w danym okresie znajdują pracę o 20% częściej. Oceny pokazują też, że element pomocy w poszukiwaniu pracy w programie New Deal jest bardziej opłacalny niż inne APRP, bo nie zakłada żadnego rzeczowego świadczenia. OPŁACALNOŚĆ: DODATKOWE LATA UCZESTNICTWA UCZNIÓW NA 100 USD 20,7 LAT Informacje o powrocie do nauki dla rodziców (MADAGASKAR) (1) 13,9 LAT *Odrobaczenie w szkołach podstawowych (KENIA) (2) 0,71 ROKU Nieodpłatny mundurek w szkołach podstawowych (KENIA) (2) 0,27 ROKU 0,09 ROKU 0,7 ROKU 0,2 ROKU * Stypendia dla dziewczyn za osiągnięcia (KENIA) (4) Przelewy warunkowe dla dziewczyn (kwota średnia) (MALAWI) (5) Przelewy warunkowe dla dziewczyn (kwota średnia) (MALAWI) (6) AFRYKA *Program przynosi wiele różnych efektów Przelewy bezwarunkowe (średnia kwota) (MALAWI) (7)

15 Co? Ewaluacja wpływu jest często mylona z następującymi ocenami: Ocena potrzeb: przed projektem jakie potrzeby mają beneficjenci? W jakim celu chcemy realizować APRP? Kto stanowi docelową grupę? Dlaczego uważamy, że dana interwencja (program robót publicznych, przekwalifikowanie, pomoc w poszukiwaniu pracy) w naszym kontekście się sprawdzi? Ocena procesów: w trakcie interwencji jak realizowany jest projekt? Czy i jak usługi są świadczone za pośrednictwem PUP? Czy osoby poszukujące pracy są zadowolone? Czy usługi świadczone w ramach APRP docierają do docelowej grupy ludności? Ocena interwencji: kiedy program się kończy jak różnią się wskaźniki początkowe i końcowe? Ile osób uczestniczyło w interwencji? Jaki jest wskaźnik zatrudnienia uczestników 3 miesiące po zakończeniu działań? Tymczasem ewaluacja wpływu pozwala określić efekt oddziaływania interwencji na beneficjentów: Czy programy szkoleniowe zwiększają zatrudnialność osób poszukujących pracy? Czy ARPR zmniejszają długoterminowe bezrobocie?

16 Co? Nakłady Działania Produkty Rezultaty Wpływ, Oddziaływanie długoterminowe Ludzie Pieniądze Materiały Szkolenia Szukanie pracy Dopasowanie Programy robót publicznych Uczestnicy nabywają nowe umiejętności Uczestnicy znajdują odpowiednią pracę Pracodawcy znajdują odpowiednie profile poszukujących pracę Osoby w trudnym położeniu mają podstawowe zatrudnienie i dochód Uczestnicy łatwiej znajdują pracę Uczestnicy znajdują lepiej płatną pracę Siła robocza jest lepiej wykwalifikowana Niższa stopa bezrobocia Bardziej produktywna siła robocza Większy wzrost PKB

17 Co? Ocena efektu oddziaływania APRP: stanowi analizę ilościową, wskazuje jeden lub kilka istotnych zmiennych efektu (np. zarobki, zatrudnienie), oszacowuje wpływ interwencji pod względem wartości wskazanych zmiennych efektu. Przykład: Ocena różnicy pomiędzy średnimi zarobkami uczestników a średnimi zarobkami uczestników, jaki otrzymywaliby oni, gdyby n i e wzięli udziału w programie. Po programie Przed programem Efekt oddziaływania dla uczestników Efekt oddziaływania Efekt oddziaływania dla uczestników, gdyby nie wzięli udziału (stan kontrfaktyczny) Przed programem W trakcie programu Po programie Oś czasu Uwaga: Efekt oddziaływanie interwencji stanowi różnicę pomiędzy zmiennymi efektu dotyczącymi uczestników a tym, co uzyskaliby uczestnicy, gdyby nie wzięli udziału w interwencji.

18 Jak? Trudność w skonstruowaniu stanu kontrfaktycznego, czyli sytuacji uczestników, gdyby nie wzięliby oni udziału w danym programie. Grupa docelowa Grupa niedocelowa Zły wybór może skutkować porównywaniem dwóch zupełnie nieprzystających rzeczy. Wyróżnia się dwa rodzaje technik ewaluacji: Metody eksperymentalne wymagają wybrania grupy badanej i grupy kontrolnej przed interwencją. Badania quasi-eksperymentalne grupy badana i kontrolna wybiera się po interwencji. Aby obliczyć skuteczność interwencji, stosuje się techniki statystyczne niwelujące różnice w charakterystyce obu grup. Zestaw narzędzi do oceny efektu oddziaływania.

19 Jak? Zestaw narzędzi do oceny efektu oddziaływania Badania randomizowane z grupą kontrolną (RCT) METODA EKSPERYMENTALNA Metoda różnicy w różnicach (DiD) Metoda regresji nieciągłej (RDD) Zmienne instrumentalne METODA QUASIEKSPERYMENTALNA Propensity Score Matching (PSM)

20 Przykład, na którym będziemy pracować podczas warsztatów: PROGRESA PROGRESA jest interwencją publiczną w celu przeciwdziałania ubóstwu w Meksyku. Rodziny otrzymują przelewy pieniężne warunkowane obecnością ich dzieci w szkole. Selekcja: Etap 1: wskazanie ubogich wiosek Etap 2: losowe przydzielenie wiosek do udziału od 1998 r. lub od 2000 r. Etap 3: wybranie gospodarstw domowych na podstawie wskaźnika ubóstwa (tj. wskazanie wyłącznie ubogich gospodarstw)

21 Etap 1: Selekcja wiosek MEKSYK RANKING MIEJSCOWOŚCI WIEJSKICH 100% 0% DUŻE UBÓSTWO Etap 2: Losowy przydział wiosek UBOGIE WIOSKI NIEUBOGIE WIOSKI BRAK UBÓSTWA FAZA 1 (1998 r.) FAZA 2 (2000 r.) Etap 3: wybór beneficjentów na podstawie rankingu ubóstwa 100% DOCHÓD GOSPODARSTW 0% DOCHÓD GOSPODARSTW 100% 0% DUŻE UBÓSTWO BRAK UBÓSTWA DUŻE UBÓSTWO BRAK UBÓSTWA BENEFICJENCI 1988 NIE-BENEFICJENCI BENEFICJENCI 2000 NIE-BENEFICJENCI

22 Ocena Prosimy o ocenę sesji

23 Prosimy o ocenę tempa prezentacji A. Akurat B. Zbyt wolne C. Zbyt szybkie D. Nie mam zdania 94% 0% 0% 6% A. B. C. D.

24 Prosimy o ocenę przydatności wybranego materiału technicznego A. Bardzo przydatny B. Częściowo przydatny C. Nieprzydatny D. Nie mam zdania 44% 50% 6% 0% A. B. C. D.

25 Prosimy o ocenę jasności i efektywności przekazu A. Doskonała B. Dobra C. Dostateczna D. Słaba E. Nie mam zdania 63% 31% 0% 6% 0% A. B. C. D. E.

26 Dziękujemy!