Modele quasi-eksperymentalne: Model regresji nieciągłej

Transkrypt

1 Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy Modele quasi-eksperymentalne: Model regresji nieciągłej Maciej Wilamowski, Kraków, 6 czerwca 2017 r.

2 Metody ewaluacji Instrumentarium Przydział losowy Model regresji nieciągłej Metoda różnic w różnicach Metody quasieksperymentalne (wymagają większej liczby założeń) PSM (Dopasowanie)

3 Przypomnienie: potrzebny jest stan kontrfaktyczny Przy dużej próbie, losowy przydział do programu zapewnia, że obie grupy mają ŚREDNIO bardzo podobną charakterystykę Losowanie zapewnia, że obie grupy są takie same

4 Co zrobić, jeśli przydział losowy jest niemożliwy? GRUPA EKSPERYMENTALNA GRUPA PORÓWNAWCZA nie takie same

5 Metody ewaluacji Przydział losowy Instrumentarium Model regresji nieciągłej Metoda podwójnej różnicy Dopasowanie

6 MODEL REGRESJI NIECIĄGŁEJ REGRESSION DISCONTINUITY DESIGN - RDD

7 Model regresji nieciągłej W wielu programach, dobór uczestników odbywa się na podstawie pewnego wskaźnika lub wyniku: Programy przeciwdziałania ubóstwu Emerytury Edukacja Praca - Skierowane do gospodarstw domowych o dochodach poniżej progu ubóstwa - Skierowane do osób powyżej pewnego wieku - Stypendia dla uczniów osiągających wysoki wynik w standaryzowanym teście - Programy dla grup w określonym wieku (młodzież, osoby starsze) - Programy związane z okresem trwania bezrobocia

8 Model regresji nieciągłej Porównanie wyniku Y dla jednostek tuż powyżej i poniżej punktu odcięcia Jednostki tuż powyżej punktu odcięcia są bardzo podobne do tych tuż poniżej dobre porównanie. Punkt odcięcia 0 MŁODZI 100 Wiek

9 Model regresji nieciągłej wartości bazowe Wynik (np. prawdopodobieństwo zatrudnienia) Spełnia kryteria Nie spełnia kryteriów Wartość (np. wiek)

10 Model regresji nieciągłej wartości po interwencji Wynik (np. prawdopodobieństwo zatrudnienia) WPŁYW Wartość (np. wiek)

11 W nieciągłym modelu regresji potrzebne są 1) Ciągły wskaźnik jako kryterium kwalifikacyjne np. dochody np. wiek np. okres bezrobocia (w miesiącach) 2) Jasno zdefiniowany punkt odcięcia. Uczestnicy z wynikiem odcięcia kwalifikują się Uczestnicy z wynikiem > odcięcia nie kwalifikują się Lub odwrotnie

12 Przykład z dwoma progami: CCT w Kambodży Kwalifikacja oparta jest na wskaźniku prawdopodobieństwa porzucenia szkoły. 2 punkty odcięcia w każdej szkole: Uczniom o najwyższym ryzyku porzucenia szkoły oferowane jest stypendium w wysokości 60 USD rocznie Uczniom o średnim ryzyku porzucenia szkoły oferowane jest stypendium w wysokości 45 USD rocznie Uczniom o niskim ryzyku porzucenia szkoły nie jest oferowane stypendium Brak stypendium Stypendium 45 USD Stypendium 60 USD Odcięcie1 Odcięcie 2 Prawdopodobieństwo porzucenia szkoły

13 Przykład z dwoma progami: Znaczący wpływ stypendium 45 USD prawdopodobieństwo prawdopodobieństwo Brak stypendium a 45 USD 60 USD a 45 USD Szacowany wpływ Probability Szacowany wpływ Probability Relatywny Relative ranking Nie objęci Recipients Uczestnicy Non-recipients programem Relatywny Relative ranking Nie objęci Recipients Uczestnicy Non-recipients programem Źródło: Filmer, and Schady Does More Cash in Conditional Cash Transfer Programs Always Lead to Larger Impacts on School Attendance?, Journal of Development Economics

14 Zalety modelu regresji nieciągłej dla ewaluacji Daje nieobciążony szacunek wpływu interwencji w punkcie odcięcia Można skorzystać z istniejącej reguły przyznawania świadczeń: o o Powszechne przy projektowaniu interwencji społecznych Nie ma potrzeby wyłączania z interwencji grupy kwalifikujących się osób/gospodarstw domowych

15 Uwaga! Potrzebna jest wystarczająco duża próba osób plasujących się w pobliżu punktu odcięcia, ponieważ tylko takie osoby podlegają porównaniu. Większość kwalifikujących się osób musi uczestniczyć w programie. Nie zawsze istnieje możliwość uogólnienia: wiemy, jaki jest wpływ programu na osoby będące w pobliżu punktu odcięcia. Programy dla młodzieży: czy program miałby taki sam wpływ na uczestników bardzo młodych (16-20 lat) i nieco starszych (20-24 lat)?

16 Przykład: Wpływ programu gwarantowanego zatrudnienia dla młodzieży [Szwecja] Program CO? Program aktywizacji i zatrudnienia młodzieży (<25) jeśli osoba była zarejestrowana w PUP przez ponad 90 dni GDZIE? Rozpoczęty w 2007 r. w Szwecji Otwarta rejestracja bezrobotnych w PUP (3 miesiące) Gwarantowane Zatrudnienie dla Młodzieży: - Szczegółowa ocena i doradztwo - Doradztwo zawodowe i coaching (zazwyczaj co najmniej 3 miesiące) Gwarantowane Zatrudnienie dla Młodzieży: - Staż lub szkolenie - Doradztweoco najmniej 4 godz/tyg (12 mies., łącznie max. 15 mies.) DLACZEGO? W celu zwiększenia zatrudnienia wśród młodzieży trwale bezrobotnej Metoda/kryteria kwalifikacji o o Dane Osoby zarejestrowane jako bezrobotne przez ponad 90 dni, poniżej 25 roku życia kwalifikują się Osoby zarejestrowane jako bezrobotne przez ponad 90 dni, ale mające ukończone 25 lat lub więcej, nie kwalifikują się Dwa roczniki: 2008 i 2009 Połączone dane z PUP i rejestrów zdrowia

17 Przykład: Wpływ programu Gwarantowane Zatrudnienie dla Młodzieży: [Szwecja] Wyniki Uczestnictwo w programie gwarantowanego zatrudnienia zwiększało prawdopodobieństwo znalezienia pracy w ciągu pierwszych 90 dni bezrobocia o około 2 punkty procentowe Uwzględniając fakt, że około 28 proc. 25-latków znajduje pracę w ciągu 90 dni, oznacza to wzrost o około 7 procent WPŁYW= 2 pkt proc. (=30%-28%)

18 Przykład: Rozszerzenie okresu świadczeń dla bezrobotnych [Austria] Program CO? Rozszerzenie okresu świadczeń dla bezrobotnych z 30 do 209 tygodni dla osób 50+. GDZIE? W 1988 w Austrii DLACZEGO? Wsparcie osób starszych silniej zagrożonych bezrobociem Metoda/kryteria kwalifikacji Osoby zarejestrowane jako bezrobotne, ale poniżej 50 roku życia nie kwalifikują się Osoby zarejestrowane jako bezrobotne, mające ukończone 50 lat lub więcej, kwalifikują się Dane Dwa roczniki: Austriacka baza danych ubezpieczeń społecznych Austriacki rejestr osób bezrobotnych

19 Przykład: Rozszerzenie okresu świadczeń dla bezrobotnych [Austria] Wyniki Uczestnictwo w programie zwiększonego okresu świadczeń wydłużało czas pozostawania bezrobotnym o 14 tygodni dla mężczyzn i 109 tygodni dla kobiet. WPŁYW= 27-13= 14 tygodni WPŁYW= = 109 tygodni

20 Polska: Kiedy korzystać z modelu RDD? Przykłady/dyskusja Rodzina 500+ Środki na podjęcie działalności gospodarczej Czy programy wymienione powyżej są dobrymi kandydatami do ewaluacji przy zastosowaniu nieciągłego modelu regresji? Dlaczego tak? Dlaczego nie? Jakie należy przyjąć kryteria kwalifikacji? Jaki powinien być cel ewaluacji?

21 Polska: Kiedy korzystać z modelu RDD? Rodzina 500+ Kryterium kwalifikacji: Dochody do dyspozycji poniżej 800 PLN na osobę. Poniżej punktu odcięcia rodzina otrzymuje wsparcie na każde dziecko. Grupa eksperymentalna: Rodziny z 1 dzieckiem i dochodami poniżej 800 PLN na osobę. Grupa porównawcza: Rodziny z 1 dzieckiem i dochodami powyżej 800 PLN na osobę. Cel ewaluacji: Wskaźnik dzietności Wydatki gospodarstw domowych Wyniki osiągane przez dzieci w szkole Skutki dla rynku pracy Problemy: Selekcja. Rodziny plasujące się blisko punktu odcięcia mają kontrolę nad swoimi dochodami.

22 Polska: Kiedy korzystać z modelu RDD? Środki na podjęcie działalności gospodarczej Kryterium kwalifikacji: Osoby w wieku poniżej 30 lat Grupa eksperymentalna: Bezrobotni w wieku poniżej 30 lat Grupa porównawcza: Bezrobotni w wieku powyżej 30 lat Cel ewaluacji: Ocena wpływu na trwałe zatrudnienie Problemy: Większość osób kwalifikujących się do wsparcia nie otrzymuje go. Osoby rejestrują się jako bezrobotni tylko po to, by wnioskować o środki. Gdyby program nie istniał, nie zarejestrowaliby się jako bezrobotni i istnieje duże prawdopodobieństwo, że i tak założyliby działalność gospodarczą.

23 O czym należy pamiętać Model regresji nieciągłej Wymaga ciągłego kryterium kwalifikacyjnego i ostrego punktu odcięcia. Daje nieobciążony szacunek skutku interwencji: Obserwacja próby tuż poniżej lub powyżej punktu odcięcia daje dobre porównanie. Nie ma potrzeby wyłączania z interwencji grupy kwalifikujących się gospodarstw domowych/osób. Czasem można wykorzystać ten model do ewaluacji już realizowanych programów.

24 Test

25 Kiedy można zastosować nieciągły model regresji? A. Kiedy istnieje ciągłe kryterium kwalifikacji i jasny punkt odcięcia. B. Kiedy istnieje porównywalna grupa osób nie uczestniczących w programie. C. Kiedy rząd losowo przydziela do programu niektóre osoby, a inne nie. 96% 4% 0% A. B. C.