Ewaluacja efektów netto

Transkrypt

1 Ewaluacja efektów netto interwencji publicznych Stanisław Bienias Podyplomowe studium SGH Ewaluacja projektów i programów unijnych Marzec 2012

2 Zasady Jeżeli coś jest niezrozumiałe pytamy Jeżeli coś jest niezrozumiałe pytamy!!

3

4 Plan zajęć 1. Wprowadzenie do ewaluacji efektów netto 2. Metody eksperymentalne i quasieksperymentalne 3. Przykłady badań ewaluacyjnych

5 Wprowadzenie do ewaluacji efektów netto

6 Who wants to know? What does he want to know? What is the sufficient evidence to convince him? Jaime Quizon, WBI

7 Wprowadzenie Ewaluacja efektów netto = impact assessment = impact evaluation = ewaluacja rzeczywistych oddziaływań = counterfactual evaluation = rigorous evaluation

8 Wprowadzenie Ewaluacja efektów netto ma na celu ocenę bezpośrednich efektów wynikających z realizacji konkretnej interwencji publicznej w porównaniu z nierzeczywistą sytuacją gdyby dana interwencja nie została zrealizowana.

9 Projektowanie ewaluacji Istotą ewaluacji jest określenie, czy zmiany które zaszły u beneficjentów naszego projektu/programu (takie jak: zatrudnienie, wzrost obrotów firmy, zarobki) są wynikiem realizowanej przez nas interwencji (szkoleń, grantów, świadczonego doradztwa), czy też są efektem innych zdarzeń zewnętrznych (koniunktury gospodarczej, ogólnego wzrostu zatrudnienia w gospodarce)

10 Wewnętrzna vs Zewnętrzna Rzetelność (validity) Wewnętrzna rzetelność (internal validity) jest to stopień w jakim oszacowane efekty mogą być wywołane realizacją programu Na ile precyzyjnie oszacowaliśmy efekty? Zewnętrzna rzetelność (external validity) odnosi się do możliowości generalizowania wyników na inne populacje, inne sytuacje W jakim stopniu wyniki badania mogą nam pomóc w realizacji innych interwencji

11 Efekt przyczynowo-skutkowy czasami jest pozorny Nie lubię gdy włączają znak ZAPIĄĆ PASY, zawsze potem zaczyna strasznie trząść samolotem

12 Projektowanie ewaluacji Ewaluacja powinna więc odnosić efekty naszej interwencji np. dochody beneficjentów projektu/programu do analogicznej sytuacji, w której ci sami beneficjenci nie otrzymują wsparcia. Pojawia się w tym miejscu pewien obiektywny problem mamy bowiem trudność z obserwowaniem efektów w ramach równoległych rzeczywistości.

13 Projektowanie ewaluacji: metoda przed i po W nielicznych wypadkach możemy określić te efekty poprzez prostą analizę sytuacji naszych beneficjentów przed i po interwencji. Otrzymaną różnicę możemy zinterpretować jako efekt naszej interwencji pod warunkiem, że mamy absolutną pewność, że bez tej interwencji żadna zmiana by nie zaszła. Metoda może być skuteczna ale raczej w trzecim świecie (np. budowa studni na pustyni). W przypadku polityki spójności w Polsce w ograniczonym stopniu wiarygodna. NIE BĘDZIEMY SIĘ TYM DZISIAJ ZAJMOWAĆ

14 Efekty interwencji CZAS Źródło: World Bank Institute

15 Efekty interwencji Obserwacja Źródło: World Bank Institute Realizacja projektu/programu

16 Efekty interwencji Obserwacja Sytuacja kontrfaktyczna Źródło: World Bank Institute Realizacja projektu/programu

17 Efekty interwencji Wpływ = Y1-Y1* Źródło: World Bank Institute

18 Projektowanie ewaluacji Możliwe jest stworzenie sztucznej sytuacji kontrfaktycznej poprzez odpowiednie dobranie grupy kontrolnej/porównawczej. Istotne jest, by grupa ta była możliwie najbardziej podobna do grupy eksperymentalnej (grupy beneficjentów wsparcia). Grupa ta powinna być w sposób maksymalny zbliżona do grupy eksperymentalnej.

19 Projektowanie ewaluacji Wpływ Źródło: World Bank Institute

20 Obciążenia selekcyjne Jak dobieramy beneficjentów wsparcia (np. w działaniach dot grantów dla przedsiębiorstw): - Kryteria formalne które definiują nam grupę potencjalnych aplikujących - Aby aplikowali muszą mieć dostęp do informacji - Następnie muszą chcieć aplikować - Kryteria merytoryczne oceniające jakość projektu i warunkujące otrzymanie wsparcia istnieje więc szansa, że nasi beneficjenci nieco różnią się od całej populacji

21 Obciążenia selekcyjne Dlaczego nasi beneficjenci są inni niż reszta populacji? Creaming effect skrzywiony sposób doboru beneficjentów, tak by maksymalizować szanse sukcesu Zjawisko samoselekcji bardziej aktywne jednostki same zabiegają o zakwalifkowanie się do wsparcia Souring effect dobór najtrudniejszych przypadków

22 Dlaczego warto włożyć tyle pracy w ewaluację z wykorzystaniem metod kontrfaktycznych Ewaluacja ta daje mocne dowody Otrzymane wyniki są łatwo interpretowalne Wyniki można zastosować do analiz kosztów i korzyści i efektywności kosztowej O ile zawczasu uwzględnione przy planowaniu można określić efekty dla różnych podgrup beneficjentów

23 Projektowanie ewaluacji Jak stworzyć rzeczywistość wirtualną? Metody eksperymentalne Metody nieeksperymentalne / quasi- eksperymentalne

24 Metody eksperymentalne Zabieg polegający na planowanej zmianie przez badacza jednych czynników w badanej sytuacji, przy równoczesnej kontroli innych czynników, podjęty w celu uzyskania w drodze obserwacji odpowiedzi na pytanie o skutki tej zmiany W najczystszej postaci dobór obu grup następuje w sposób losowy mamy wówczas do czynienia z tzw. złotym standardem

25 Metody eksperymentalne - przebieg 1. Spośród całej populacji wybiera się próbę, która będzie podlegać badaniu (kryteria formalne lub w idealnej sytuacji randomizacja) 2. Próba za pomocą mechanizmu losowego jest następnie dzielona na grupę eksperymentalną i grupę kontrolną Pojęcie single i double blind

26 Metody eksperymentalne CECHY: - Losowy dobór jednostek zarówno do grupy eksperymentalnej, jak i grupy kontrolnej gwarantuje bezpośrednią porównywalność obu grup - Precyzja oszacowania związku przyczynowo-skutkowego Metody eksperymentalne dają najmocniejsze dowody!

27 Metody eksperymentalne Jeżeli są takie dobre, to dlaczego zawsze nie stosujemy metod eksperymentalnych?: kwestie etyczne (efekty negatywne dla grupy eksperymentalnej jazda w pasach bezpieczeństwa) poprawność polityczna (interwencja realizowana pod ewaluację) koszt czas i ryzyko nieaktualności wyników nie można zdecydować o przeprowadzeniu badania w trakcie realizacji interwencji (bo brak wpływu na dobór grupy eksperymentalnej) Obecnie stosunkowo często stosowana w krajach rozwijających się, ale również do testowania projektów/programów pilotażowych (USA)

28 Metody eksperymentalne Dodatkowo nie jesteśmy wolni od błędów badawczych: wpływ badaczy na przebieg eksperymentu (Poprzez np. wskazywanie innych rozwiązań) lub samomobilizacja osób z grupy kontrolnej) wypadanie jednostek z grupy eksperymentalnej Efekt Hawthorne to zjawisko będące źródłem błędów podczas prowadzenia badań na grupie ludzi, wynikające z tego, że wiedzą oni o tym, że uczestniczą w eksperymencie. Zjawisko to odkryte zostało przez Eltona Mayo podczas badań nad wydajnością pracy wśród pracowników Western Electric Company w USA, gdy badacze próbowali mierzyć w jakich warunkach oświetleniowych wydajność pracy będzie wzrastać. Efekt Pigmaliona odmiana samospełniającego się proroctwa zidentyfikowana po raz pierwszy przez socjologa Roberta Mertona. Polega na spełnianiu się pozytywnego oczekiwania wobec kogoś dlatego, że to pozytywne oczekiwanie sobie wytworzyliśmy (uczniowie i nauczyciele) Sam eksperyment może zaburzyć otoczenie w którym funkcjonuje populacja Źródło:

29 Konieczność stosowania tych samych metod badawczych

30 Metody nieeksperymentalne / quasieksperymentalne Difference-in-difference Matching Propensity score matching Discontinuity design Podejście pipeline

31 Metoda: Difference-in-difference

32 Difference-in-difference Wpływ Źródło: World Bank Institute

33 Difference-in-difference problemy gdy grupa porównawcza i eksperymentalna rozwijają się w różnym tempie Wpływ? Źródło: World Bank Institute Tutaj grozi nam przeszacowanie efektu

34 Difference-in-difference problemy gdy grupa porównawacza i eksperymentalna rozwijają się w różnym tempie Źródło: World Bank Institute Tutaj grozi nam niedoszacowanie efektu

35 Difference-in-difference Istotne byśmy mieli pewność po jakich trajektoriach poruszają się obydwie populacje warto sięgnąć po wcześniejsze obserwacje dla obydwu grup (t-1, t-2 )

36 Difference-in-difference więcej o metodzie Angrist J., Pischke J.S. [2008], Mostly Harmless Econometrics, Princeton University Press, NJ Bertrand M., Duflo E. and Mullainathan S. [2004], How Much Should We Trust Differences-in-Differences Estimates?, in «The Quarterly Journal of Economics», 2004, vol. 119, n. 1, pp Card D., Krueger A. [1994], Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania, in «The American Economic Review», 1994, vol. 84, n. 4, pp Card D., Krueger A. [1997], Myth and Measurement: The New Economics of the Minimum Wage, Princeton, NJ, Princeton University Press. ITPS [2004], The EC Regional Structural Funds impact in Sweden :A quantitative analysis, Swedish Institute for Growth Policy Studies, University of Umeå, Department of Geography.

37 Matching - próby dopasowane według cech

38 Matching - próby dopasowane według cech Minimalizacja obciążenia może zostać uzyskana poprzez zapewnienie podobieństwa porównywanych grup (eksperymentalnej i kontrolnej) w zakresie określonych, obserwowalnych charakterystyk. W praktyce powyższe podejście realizowane jest poprzez znalezienie dla każdej jednostki z grupy uczestniczącej w danym działaniu, co najmniej jednej jednostki z puli kontrolnej. Łączenie, czy też parowanie, odbywa się na podstawie wartości zmiennych, opisujących osoby z obu grup. W pary dobierane są jednostki o takich samych wartościach wszystkich zmiennych Dokonane następnie porównanie uśrednionych wyników osób z grupy objętej działaniem z wynikami osób z grupy kontrolnej ma przedstawiać nieobciążony efekt interwencji. Źródło: R. Trzcinski, Wykorzystanie techniki propensity score matching w badaniach ewaluacyjnych, PARP,2009

39 Obejrzało reklamę Farbuje włosy Kupiła szampon Pula kontrolna Źródło: Na podstawie: R. Trzcinski, Wykorzystanie techniki propensity score matching w badaniach ewaluacyjnych, PARP,2009

40 Propensity Score Matching

41 Propensity score matching Metoda pozwala na dopasowanie grupy porównawczej do grupy badanych beneficjentów pod względem badanych charakterystyk Propensity score jest to prawdopodobieństwo zostania beneficjentem programu przy uwzględnieniu pewnego zestawu cech Propensity score nie jest znany i musi zostać oszacowany dla wszystkich jednostek z obydwu grup Źródło: Trzcinski R. proezentacja w DG Regio, z dnia , PARP, Bruksela

42 Propensity score matching w najprostszej formie: Grupa eksperymentalna Grupa porównawcza ps= 0,1 ps= 0,8 ps= 0,9 ps= 0,4 ps= 0,2 ps= 0,5 ps= 0,6 ps= 0,1 ps= 0,01 ps= 0,3 ps= 0,2 ps= 0,8 ps= 0,3 Źródło: Trzcinski R. proezentacja w DG Regio, z dnia , PARP, Bruksela ps= 0,4 ps= 0,9

43 Źródło: R. Trzcinski, Wykorzystanie techniki propensity score matching w badaniach ewaluacyjnych, PARP,2009

44 Przykładowy rozkład propensity score Źródło: World Bank Institute

45 Propensity score matching metody doboru grupy kontrolnej Przed rozpoczęciem procedury łączenia należy dokonać trzech decyzji: 1) czy dokonywać dopasowania ze zwracaniem czy bez zwracania, tzn., czy raz wykorzystaną jednostkę z puli kontrolnej włączać na powrót do tej puli, 2) ile jednostek kontrolnych ma przypadać na jednego beneficjenta, i finalnie, 3) jaką metodę łączenia zastosować.

46 Propensity score matching metody doboru grupy kontrolnej Metoda najbliższego sąsiada W podstawowej wersji tej metody dla każdej jednostki z grupyinterwencji dobiera się jedną jednostkę z puli kontrolnej o najbliższym propensity score. Metoda z limitem Metoda z limitem (ang. nearest neighbor with caliper) jest modyfikacją metody najbliższego sąsiada. W sposób kontrolowany rozwiązuje problem możliwych słabych czy też dalekich dopasowań, poprzez zdefiniowanie maksymalnej akceptowalnej różnicy między wartościami propensity score dopasowywanych jednostek. Metoda z promieniem W wariancie tym do każdej jednostki z grupy interwencji dobierane są wszystkie obserwacje z puli kontrolnej, których propensity score nie różni się więcej niż przyjęta wartość c. Innymi słowy dobierane są wszystkie jednostki w obrębie określonego promienia. Źródło: R. Trzcinski, Wykorzystanie techniki propensity score matching w badaniach ewaluacyjnych, PARP,2009 Metoda Kernel

47 Propensity score matching więcej o metodzie Angrist J, Pischke J.S. [2008], Mostly Harmless Econometrics, Princeton University Press, NJ. Bryson A., Dorsett R. and Purdon S. [2002], The Use of Propensity Score Matching in the Evaluation of Active Labour Market Policies, UK Department for Work and Pensions, London. Caliendo M., Kopeinig S. [2008], Some Practical Guidance for the Implementation of Propensity Score Matching, «Journal of Economic Surveys», 22(1), pp Cochrane W., Chambers S. [1965],The Planning of Observational Studies of Human Populations, in «Journal of the Royal Statistical Society», Series A, 128, pp Gadd H., Hansson G. and Månsson J. [2008], Evaluating the Impact of Firm Subsidy Using a Multilevel Propensity Score Approach, Centre for Labour Market Policy Research (CAFO), School of Management and Economics, Växjö University. Hirano K., Imbens G. [2004], The Propensity Score with Continuous Treatments, in Missing Data and Bayesian Methods in Practice: Contributions by Donald Rubin's Statistical Family, Wiley, NYC. Imbens G. [2004], Nonparametric Estimation of Average Treatment Effects under Exogeneity: A Review, in «The Review of Economics and Statistics», 86(1), pp Lechner M. [2002], Some practical issues in the evaluation of heterogeneous labour market programmes by matching methods, in «Journal of the Royal Statistical Society», Series A, 165, pp Rosenbaum P., Rubin D. [1983], The Central Role of the Propensity Score in Observational Studies for Causal Effects, in «Biometrika», 70, pp Strawiński P. (2008). Quasi-eksperymentalne metody ewaluacji. W: A. Haber, M. Szałaj (red.), Środowisko i warsztat ewaluacji. Warszawa: Polska Agencja Rozwoju Przedsiębiorczości R. Trzcinski, Wykorzystanie techniki propensity score matching w badaniach ewaluacyjnych, PARP,2009

48 Discontinuity design

49 Discontinuity design Metodę tę można zastosować wówczas, gdy mamy do czynienia z sytuacją w której o możliwości uzyskania wsparcia decyduje zasada, że poniżej/powyżej pewnej wartości cechy (o charakterze ciągłym np. wiek, dochód, miejsce rankingowe w konkursie) przysługuje wsparcie.

50 Discontinuity design Grupę kontrolną i grupę porównawczą tworzy się z jednostek znajdujących się w bezpośrednim sąsiedztwie granicy kwalifikowalności. Mamy wówczas sytuację bardzo zbliżoną do eksperymentu z wykorzystaniem randomizacji, ponieważ o otrzymaniu lub nie wsparcia decyduje niejako przypadek (znalezienia się po jednej lub drugiej stronie granicy).

51 Discontinuity design Źródło: Strona Komisji Europejskiej sekcja dot. impact assessment

52 Discontinuity design Źródło: Strona Komisji Europejskiej sekcja dot. impact assessment

53 Discontinuity design Metoda ta daje bardzo mocne argumenty jeśli chodzi o oceną wpływu na grupę badaną. Problemem może pojawić się, gdy jesteśmy świadomi, że funkcjonowanie jednostek w obu grupach bardzo istotnie zmienia się wraz z oddaleniem się od granicy. Wówczas precyzyjnie możemy określić wpływ tylko dla jednostek blisko granicy i nie mamy prawa uogólniać wyników na całą pulę badawczą.

54 Discontinuity design: więcej o metodzie Battistin E. Rettore E [2008] 'Ineligibles and eligible non participants as a double comparison group in a regression discontinuity design', «Journal of Econometrics», vol. 142, n. 2,pp Cook T. [2008], Waiting for Life to Arrive: a History of the Regressiondiscontinuity Design in Psychology, Statistics and Economics, in «Journal of Econometrics», vol. 142, n. 2, pp Hahn J., Todd P., Van der Klaauw W. [2001], Identification and Estimation of Treatment Effects with a Regression-Discontinuity Design, in «Econometrica», vol. 69, n. 1, pp Serrano-Velarde N. [2008], The Financing Structure of Corporate R&D - Evidence from Regression Discontinuity Design, Working Paper, European University Institute, Department of Economics, Firenze. Thistlewaite D.L., Campbell D.T. [1960], Regression-discontinuity Analysis: An Alternative to the Ex-post Facto Experiment, in «Journal of Educational Psychology», n. 51, pp Trochim W. [1984], Research Design for Program Evaluation: The Regression-discontinuity Approach, Beverly Hills, CA, Sage Publications.

55 Podejście pipeline Polega na tym, że cała grupa beneficjentów podzielona jest na tury w których otrzymują wsparcie. Grupę porównawczą stanowią jednostki które jeszcze wsparcia nie otrzymały i na nie oczekują.

56 Efekt Odwieczny problem z czasem. Kiedy przeprowadzać ewaluację by poznać rzeczywiste efekty Grupa kontrolna/ porównawcza Beneficjenci Start projektu Koniec projektu

57 Potencjalne problemy Pamiętajmy, że beneficjenci naszego projektu (grupa eksperymentalna) i nasza grupa kontrolna/porównawcza mogą być beneficjentami innych interwencji. Fakt ten dosyć prawdopodobny może istotnie włynąć na wyniki badania.

58 Pamiętajmy, że metody te pozwalają precyzyjnie odpowiedzieć jak duże są efekty nie dają nam jednak pogłębionej informacji dlaczego te efekty zaszły

59 Pamiętajmy też, że metody stosowane w ewaluacji efektów netto sprawdzają się dla raczej prostych interwencji ewaluacja działań, większych projektów a nie wielowymiarowych interwencji na poziomie całego programu operacyjnego

60 Pamiętajmy też, że stosujące te metody jesteśmy w stanie precyzyjnie oszacować zamierzone efekty naszej interwencji jednocześnie tracąc z oczu wszelkie niezamierzone, a być może ważne rezultaty i oddziaływania

61 Pamiętajmy o etyce badań

62 W pogoni za twardymi dowodami czy można przesadzić?? Żródło:

63 Różne typy inwestycji w ramach polityki spójności Możliwość wykorzystania impact evaluation Wsparcie dla B+R Granty dla firm Odnawialne źródła energii Rewitali zacja Infrastruktura transportowa Wysoka Wysoka Średnia Niska Niska Wys oka Inwestycje w kapitał ludzki Powtarzalność Duże liczby obserwacji Homogeniczność wsparcia Źródło: Alberto Martini, VI th european evaluation confernce, Warsaw 2009

64 Opis przykładowych badań z wykorzystaniem metodologii mierzenia efektu netto

65 Projekt Alternatywa II realizowany w ramach ostatniej edycji Phare SSG RZL 2003 Żródło: Case opracowany w całości za: R. Trzcinski, Wykorzystanie techniki propensity score matching w badaniach ewaluacyjnych, PARP,2009 oraz PAG Uniconsult, ARC Rynek i Opinia (2007). Ewaluacja ex-post Phare 2003 Spójność Społeczna i Gospodarcza komponent Rozwój Zasobów Ludzkich.

66 Cele projektu Projekt Alternatywa II realizowany był od 2005 do 2006 roku w wybranych z całej Polski 59 powiatach. Głównym celem projektu było zapobieganie bezrobociu wśród osób młodych. Cel ten miał być osiągnięty dzięki zwiększeniu potencjału uczestników projektu do bycia zatrudnionym. Przyjęto, że należy w tym celu pomóc młodym osobom w: a) dostosowywaniu umiejętności i kwalifikacji zawodowych do zmieniających się potrzeb rynku pracy dotyczyło to zwłaszcza umiejętności związanych z technologiami informatycznymi; b) zdobyciu doświadczenia zawodowego. Operacyjnym celem projektu było osiągnięcie poziomu zatrudnialności wśród jego beneficjentów na poziomie 40%

67 Założenia Do projektu zaproszone były powiaty, które miały szczególnie trudną sytuację na rynku pracy, tj. takie, w których odsetek bezrobotnej młodzieży w ogólnej liczbie bezrobotnych przekraczał 18% i gdzie stopa bezrobocia wynosiła powyżej 20%. W projekcie mogły wziąć udział osoby z powiatu, w którym był on realizowany. Zastosowano dodatkowo dwa formalne kryteria rekrutacyjne. Pierwszym z nich był obowiązek bycia zarejestrowanym w powiatowym urzędzie pracy jako osoba bezrobotna. Drugim było kryterium wieku w projekcie mogły uczestniczyć osoby, które nie ukończyły 25 roku życia lub które nie ukończyły 27 roku życia i ukończyły studia wyższe w okresie 12 miesięcy przed dokonaniem rejestracji w rejestrze bezrobotnych. W sumie w projekcie uczestniczyło 5657 młodych osób bezrobotnych, a całkowite wydatki projektu wyniosły ,03 euro.

68 Cel ewaluacji W ewaluacji poszukiwano odpowiedzi na pytanie o to, jaka jest sytuacja zawodowa beneficjentów projektu po jego zakończeniu oraz na ile ewentualną zmianę (poprawę) sytuacji zawodowej można przypisać oddziaływaniu samego projektu Alternatywa II. Inaczej mówiąc, celem szczegółowym ewaluacji było oszacowanie efektu netto działań podjętych w ramach projektu. W ewaluacji projektu Alternatywa II zdecydowano się wykorzystać technikę PSM w celu wyeliminowania potencjalnego obciążenia selekcyjnego.

69 Sposób realizacji - dane Zbiór danych który posłuży do robienia analiz powinien spełniać następujące warunki: dane w nim zawarte powinny zawierać informację o osobach, które były uczestnikami Projektu Alternatywa II, zbiór danych powinien zawierać odpowiednio większy zbiór osób niebędących beneficjentami Phare, jednak pochodzący z tej samej populacji oraz z tego samego środowiska ekonomicznego co uczestnicy Phare, zbiór ten powinien zawierać odpowiednio bogate informacje charakteryzujące zgromadzone w nim osoby, w tym w szczególności powinien zawierać informacje na temat ich sytuacji zawodowej oraz zmienne, które powinny być odpowiedzialne jednocześnie za udział w projekcie, jak i późniejszy jego efekt w tym przypadku zmianę sytuacji zawodowej, dane zawarte w zbiorze musiały być aktualne w momencie rozpoczęcia realizacji projektu (z wyłączeniem zmiennych odnoszących się do badanych efektów), dane w grupie beneficjentów i w potencjalnej grupie kontrolnej powinny być zbierane tą samą metodą. Wymagania te mogły zostać spełnione przez funkcjonujący w Polsce System Informatyczny PULS

70 Regionalny rozkład beneficjentów Alternatywy II i jednostek w puli kontrolnej

71 Zmienne wykorzystane w modelu 1. Cechy społeczno-demograficzne: płeć, wiek, stan cywilny, samotne wychowywanie dzieci, liczba dzieci, wykształcenie, powiat.

72 Zmienne wykorzystane w modelu Cechy związane z zatrudnieniem, aktywnością zawodową i rodzajem tej aktywności, odnoszące się do sytuacji aktualnej w momencie przystępowania poszczególnych osób do programu: zawód (klasyfikacja zgodna z rozporządzeniem z 8 grudnia 2004 r. w sprawie klasyfikacji zawodów i specjalności na potrzeby rynku pracy oraz zakresu jej stosowania Dz. U. z 16 grudnia 2004 r.), staż pracy, sumaryczna liczba wykonywanych zawodów, liczba dni na bezrobociu przed udziałem w Phare, liczba dni na zasiłku przed udziałem w programie, liczba propozycji pracy w ciągu roku przed Phare, liczba dni przepracowanych w ramach staży absolwenckich, prac interwencyjnych, robót publicznych, liczba dni bezrobocia ciągłego (w okresie 2 lat przed projektem), praca lub staż +/- 7 dni od programu.

73 Zmienne wykorzystane w modelu 3. Cechy związane z wcześniejszym podnoszeniem kwalifikacji, aktywnością szkoleniową: liczba szkoleń, w których osoba wzięła udział w ciągu roku przed udziałem w Phare, liczba dni spędzonych na szkoleniach, udział w stażu przed rozpoczęciem Phare. 4. Cechy odnoszące się do względnej motywacji osób do poszukiwania pracy: odsetek stawień się na wezwanie z urzędu, posiadanie prawa do zasiłku w momencie przystępowania do programu. 5. Cechy dotyczące posiadanych umiejętności: posiadanie prawa jazdy kat. B.

74 Realizacja Grupa beneficjentów Alternatywy II znacząco różniła się od osób, które mogły wziąć udział w projekcie. Do oszacowania wartości propensity score Do oszacowania wartości propensity score posłużyła regresja logistyczna, której analiza została przeprowadzona z użyciem pakietu statystycznego SPSS. Analizy były prowadzone w każdym województwie osobno, w związku z czym finalnie utworzono 13 modeli prawdopodobieństwa

75

76 Dobór grupy porównawczej Zdecydowano, że efektywną metodą doboru grupy kontrolnej będzie dobór jednostek bez zwracania oraz w układzie 1 do 1. Z kolei liczebność w poszczególnych przedziałach prawdopodobieństwa wskazywała na to, że skuteczną może okazać się technika najbliższego sąsiada, nawet bez konieczności określania górnej wartości różnicy prawdopodobieństwa (caliper). Każdemu beneficjentowi projektu przyporządkowano jedną osobę spośród osób znajdujących się w puli kontrolnej, której wynikające z modelu prawdopodobieństwo wzięcia udziału w projekcie było najbliższe prawdopodobieństwu danego beneficjenta. Ponieważ liczebność grupy osób nieuczestniczących w projekcie była w przypadku każdego województwa wielokrotnie wyższa niż liczba uczestników, w pewnych przypadkach zachodziła konieczność wyboru osoby do grupy kontrolnej w sytuacji dopasowania 1 do n (gdy np. w grupie kontrolnej występowało kilka jednostek o takim samym propensity score). W takim przypadku wybierano jedną osobę w sposób losowy.

77

78 Wybrane statystyki dla zmiennej propensity score w grupie beneficjentów projektu Alternatywa II i w grupie kontrolnej

79 Efekty projektu Odsetki zatrudnionych w grupie beneficjentów, w grupie kontrolnej oraz w puli kontrolnej, w kolejnych miesiącach od zakończenia udziału w projekcie

80 Odsetek zatrudnionych w grupie beneficjentów, w grupie kontrolnej oraz w puli kontrolnej, w kolejnych miesiącach od zakończenia udziału w projekcie oraz oszacowany efekt netto projektu Alternatywa II

81 Podsumowanie efektywności projektu Alternatywa II

82 Bibliografia Sułek A. (1979). Eksperyment w badaniach społecznych. Warszawa: Państwowe Wydawnictwo Naukowe. Strona Komisji Europejskiej sekcja dot. impact assessment aluation/evalsed/index_en.htm R. Trzcinski, Wykorzystanie techniki propensity score matching w badaniach ewaluacyjnych, PARP,2009 World Bank Institute training materials Bamberger M., Institutionalizing impact evaluation within the framework of a monitoring and evaluation system, IEG World Bank

83 Dziękuję za uwagę! wytrwałość