Lekcje płynące z niepowodzeń

Transkrypt

1 Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy Lekcje płynące z niepowodzeń Celine Ferre, Kraków, 7 czerwca 2017 r.

2 WARSZTAT DOTYCZĄCY OCENY WPŁYWU Czy dobre opracowanie oceny wystarczy? Andrés Ham Uniwersytet Illinois w Urbana-Champaign 5 kwietnia 2017 r. Gwatemala

3 Źródło Książka Failing in the Field ( Klęska w danej dziedzinie ) Publikacja dostępna wyłącznie w języku angielskim. Więcej informacji:

4 Załóżmy, że opracowaliśmy ocenę z dobrym scenariuszem alternatywnym. Czy należy zatroszczyć się o coś 67% więcej? 0% 33% A. Tak B. Nie C. Być może

5 Częste problemy 1. Potrzeba programu 2. Błędy realizacyjne 3. Problemy związane z monitorowaniem i pozyskiwaniem danych 4. Niski wskaźnik uczestnictwa

6 Potrzeba programu Przykład: program w celu ograniczenia stopy bezrobocia wśród młodzieży Losowo wybrane zostają dwie agencje pośrednictwa pracy, w których jest oferowany/nie jest oferowany program, co daje nam dobry scenariusz alternatywny

7 Potrzeba programu W którym z poniższych scenariuszy program ma większe prawdopodobieństwo porażki pomimo zastosowania losowania? A. Wskaźnik bezrobocia wynosi 4% B. Wskaźnik bezrobocia wynosi 90% C. Wskaźnik bezrobocia nie ma znaczenia 85% 11% 4% A. B. C.

8 Potrzeba programu Przykład: program na rzecz podnoszenia kwalifikacji młodzieży poszukującej pracy Losowo wybrane zostają dwie agencje pośrednictwa pracy, w których jest oferowany/nie jest oferowany program, co daje nam dobry scenariusz alternatywny

9 Potrzeba programu Mamy dwa regiony, Wielkopolskę i Małopolskę. W Wielkopolsce 5% młodzieży nie ma pracy. W Małopolsce 40% młodzieży nie ma pracy. Gdzie należy przeprowadzić program? A. Wielkopolska B. Małopolska 15% 85% A. B.

10 Potrzeba programu Należy upewnić się, że ocena dotyczy istniejącego, istotnego problemu Choćby ocena została opracowana w sposób idealny (z zapewnieniem dobrego scenariusza alternatywnego), to nie wystarczy, aby zagwarantować sukces programu

11 Błędy realizacyjne Należy mieć na uwadze ograniczenia fizyczne, społeczne, czasowe oraz technologiczne Przykład: kury w Indiach Program rozpoczął się późno z uwagi na opóźnienia administracyjne, dokładnie w porze deszczowej! Jazda po drogach była niemożliwa. Warunki do hodowli kur nie były idealne

12 Błędy realizacyjne Który z poniższych wymogów jest niezbędny, aby sprawdził się program wykorzystujący wiadomości tekstowe do komunikacji z osobami poszukującymi pracy? A. Beneficjent musi posiadać telefon komórkowy umożliwiający odbiór wiadomości SMS B. Beneficjent musi posiadać telefon marki iphone C. Beneficjent musi posiadać dostęp do energii elektrycznej 94% 0% 6% A. B. C.

13 Błędy realizacyjne Niczego nie należy przyjmować jako pewnik. Przykład: DVD w Peru Prezentacja DVD na temat edukacji finansowej. W poszczególnych społecznościach zapewniano o dostępności odtwarzaczy i telewizorów. W rzeczywistości nagranie mogło obejrzeć mniej niż 10% beneficjentów z uwagi na problemy techniczne.

14 Błędy realizacyjne Niektórzy uczestnicy nagle postanawiają, że nie wezmą udziału w ocenie. Wylosowano 50 agencji pośrednictwa pracy do realizacji programu na rzecz podnoszenia kwalifikacji dla młodzieży poszukującej pracy. Po rozpoczęciu programu 10 agencji postanawia wycofać swój udział. Co robić? A. Nic. B. Wykorzystać zapasowe agencje C. Zaoferować program w 10 porównywalnych agencjach 4% 36% 61% A. B. C.

15 Błędy realizacyjne Należy zapewnić spójność wszystkich elementów programu. Przykład: edukacja finansowa w Peru Pewna spółdzielnia udzielająca kredytów postanowiła zorganizować pogadanki w celu ograniczenia opóźnień w spłatach pożyczek. Nie zatrudniono do tego nowego personelu, lecz wykorzystano pracowników istniejących. Pracownicy nie byli w stanie jednocześnie wykonywać swojej pracy i zapewniać wsparcia edukacyjnego klientom.

16 Błędy realizacyjne Należy zachować podejście ostrożne i praktyczne, aby nie dopuścić do zmarnowania dobrego opracowania. Choćby ocena została opracowana w sposób idealny (z zapewnieniem dobrego scenariusza alternatywnego), wiele elementów może zawieść na etapie realizacji. W miarę możliwości należy je przewidzieć.

17 Problemy związane z monitorowaniem i pozyskiwaniem danych Bez wiarygodnych pomiarów ocena programu jest niemożliwa. Czy możemy przeprowadzić własne ankiety? Czy da się uzyskać dane administracyjne? Przykład: wskaźniki odpowiedzi na ankiety Ankieta 40-minutowa: 97% Ankieta 300-minutowa: 66%

18 Problemy związane z monitorowaniem i pozyskiwaniem danych Będziemy pracować z firmą, której zlecamy szkolenie osób poszukujących zatrudnienia. Obiecują nam informacje na temat beneficjentów przed rozpoczęciem programu. Postanawiają nie gromadzić innych danych. Co może się nie udać? A. Nic. B. Nie uzyskamy danych przed rozpoczęciem programu. C. Ocena programu będzie niemożliwa. 0% 22% 78% A. B. C.

19 Problemy związane z monitorowaniem i pozyskiwaniem danych Zawsze należy rozpocząć od badania pilotażowego, ponieważ umożliwia ono określenie najistotniejszych problemów. Przykład: kandydaci na studia Przedstawienie uczniom szkoły średniej informacji na temat zysków i kosztów uniwersytetu. Ile może zarabiać wykładowca uniwersytecki? W ramach badania pilotażowego: wartość pieniężna; później: przedziały wartości

20 Problemy związane z monitorowaniem i pozyskiwaniem danych Dane stanowią nasz dowód w sprawie, nie wystarczy wyrywkowe opracowanie. Jeżeli zadamy niewłaściwe pytania, niczego się nie nauczymy na podstawie dokonanej oceny. Należy każdorazowo zapewnić, aby dane zostały uzyskane w odpowiednim momencie i bez możliwości manipulacji. Badania pilotażowe przed realizacją programu są bardzo skutecznym narzędziem umożliwiającym właściwe ukierunkowanie oceny.

21 Niski wskaźnik uczestnictwa Poszukując uczestników, należy ostrożnie opracować wymogi. Przykład: szkolenie zawodowe w Argentynie Egzamin kwalifikacyjny, wymagany udział 90 osób. Ponad 90 osób przystąpiło do egzaminu, lecz zdało go tylko próby przyniosły podobny efekt. Nie można było dokonać oceny przy udziale mniej niż 90 osób, zatem zrezygnowano z programu.

22 Niski wskaźnik uczestnictwa Pomimo istnienia oceny z dobrym scenariuszem alternatywnym powinniśmy również zatroszczyć się o wskaźniki uczestnictwa. Przykład: mikrokredyty w Ghanie. Ogromne opóźnienie procedur administracyjnych. Wiele osób nie ukończyło procesu. Do oceny programu potrzebujemy większej liczby osób ubiegających się o pożyczkę, co na tym etapie jest niełatwe!

23 Niski wskaźnik uczestnictwa Co mogłoby prowadzić do niepełnego uczestnictwa w ramach oceny programu przedsiębiorczości dotyczącego nowych mikroprzedsiębiorców w 100 agencjach pośrednictwa pracy (50 omówionych i 50 porównywalnych)? 52% 48% A. Nic. B. Nowi mikroprzedsiębiorcy nie wiedzą o istnieniu programu C. Zajęcia informacyjne i szkoleniowe odbywają się zbyt daleko od miejsca, w którym znajdują się mikroprzedsiębiorcy 0% A. B. C.

24 Niski wskaźnik uczestnictwa Młodzieży w wieku lat oferowany jest program szkolenia zawodowego. 50% zgłasza swoje uczestnictwo, 20% bierze udział w warsztatach. Czego uczymy się podczas oceny tego programu? A. Programy szkoleniowe są złe. B. Nie ma dużego zainteresowania programami szkoleniowymi. C. Niczego. 67% 26% 7% A. B. C.

25 Niski wskaźnik uczestnictwa Do wskaźników uczestnictwa nie należy podchodzić zbyt optymistycznie. Dwie kluczowe chwile Przed losowaniem: spadki uczestnictwa pozostawiają nam niereprezentatywną próbę. Po losowaniu: efekty programu zostają rozmyte, ponieważ w rzeczywistości dociera on do niewielu osób. Rozwiązaniem jest większa liczba beneficjentów.

26 Podsumowanie Dobrze opracowana ocena pomaga w realizacji programu, lecz nie gwarantuje jego sukcesu. Na wszystkich etapach realizacji należy mieć oczy otwarte to Wy macie najlepszą wizję w każdym z obszarów.