Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów aktywnej polityki rynku pracy Modele quasi-eksperymentalne: Model regresji nieciągłej Maciej Wilamowski, Gdańsk, 22 lutego 2017 r.
Metody ewaluacji Instrumentarium Przydział losowy Model regresji nieciągłej Metoda różnic w różnicach Metody quasieksperymentalne (wymagają większej liczby założeń) PSM (Dopasowanie)
Przypomnienie: potrzebny jest stan kontrfaktyczny Przy dużej próbie, losowy przydział do programu zapewnia, że obie grupy mają ŚREDNIO bardzo podobną charakterystykę Losowanie zapewnia, że obie grupy są takie same
Co zrobić, jeśli przydział losowy jest niemożliwy? GRUPA EKSPERYMENTALNA GRUPA PORÓWNAWCZA nie takie same
Metody ewaluacji Przydział losowy Instrumentarium Model regresji nieciągłej Metoda podwójnej różnicy Dopasowanie
MODEL REGRESJI NIECIĄGŁEJ REGRESSION DISCONTINUITY DESIGN - RDD
Model regresji nieciągłej W wielu programach, dobór uczestników odbywa się na podstawie pewnego wskaźnika lub wyniku: Programy przeciwdziałania ubóstwu Emerytury Edukacja Praca - Skierowane do gospodarstw domowych o dochodach poniżej progu ubóstwa - Skierowane do osób powyżej pewnego wieku - Stypendia dla uczniów osiągających wysoki wynik w standaryzowanym teście - Programy dla grup w określonym wieku (młodzież, osoby starsze) - Programy związane z okresem trwania bezrobocia
Model regresji nieciągłej Porównanie wyniku Y dla jednostek tuż powyżej i poniżej punktu odcięcia Jednostki tuż powyżej punktu odcięcia są bardzo podobne do tych tuż poniżej dobre porównanie. Punkt odcięcia 0 MŁODZI 100 Wiek
Model regresji nieciągłej wartości bazowe Wynik (np. prawdopodobieństwo zatrudnienia) Spełnia kryteria Nie spełnia kryteriów Wartość (np. wiek)
Model regresji nieciągłej wartości po interwencji Wynik (np. prawdopodobieństwo zatrudnienia) WPŁYW Wartość (np. wiek)
W nieciągłym modelu regresji potrzebne są 1) Ciągły wskaźnik jako kryterium kwalifikacyjne np. dochody np. wiek np. okres bezrobocia (w miesiącach) 2) Jasno zdefiniowany punkt odcięcia. Uczestnicy z wynikiem odcięcia kwalifikują się Uczestnicy z wynikiem > odcięcia nie kwalifikują się Lub odwrotnie
Przykład: Progresa (warunkowy transfer pieniężny, CCT ) Kwalifikacja do programu Progresa oparta jest na krajowym wskaźniku ubóstwa (ekwiwalent dochodów gospodarstwa domowego) Gospodarstwo uważane jest za ubogie, jeśli jego wynik 750 Kwalifikacja do programu Progresa: o Kwalifikacja jeśli wynik 750 o Brak kwalifikacji jeśli wynik > 750
Wydatki Wartości Fitted generowane values przez model Przykład programu Progresa wskaźnik ubóstwa a wydatki wartości bazowe, bez interwencji 379.224 153.578 276 1294 puntaje estimado en focalizacion Wskaźnik ubóstwa
Wydatki gospodarstw Wartości Fitted dopasowane values Przykład programu Progresa Wynik a wydatki, okres po interwencji 399.51 30.58** Szacowany wpływ na wydatki gospodarstw (Y) 183.647 276 1294 puntaje estimado en focalizacion Wskaźnik ubóstwa (**) Znaczący przy 1%
Rekomendacje dla polityki Progresa? Wpływ programu Progresa na wydatki gospodarstw domowych (Y) Przypadek 1: Przed i Po 34.28** Przypadek 2: Zapisani i niezapisani -4.15 Przypadek 3: Przydział losowy 29.75** Przypadek 4: Model nieciągły 30.58** Uwaga: Jeśli efekt jest znaczący statystycznie przy 1% poziomu znaczenia, oznaczony jest dwiema gwiazdkami (**). Jeśli jest znaczący na poziomie 10%, oznaczony jest symbolem +
Przykład z dwoma progami: CCT w Kambodży Kwalifikacja oparta jest na wskaźniku prawdopodobieństwa porzucenia szkoły. 2 punkty odcięcia w każdej szkole: Uczniom o najwyższym ryzyku porzucenia szkoły oferowane jest stypendium w wysokości 60 USD rocznie Uczniom o średnim ryzyku porzucenia szkoły oferowane jest stypendium w wysokości 45 USD rocznie Uczniom o niskim ryzyku porzucenia szkoły nie jest oferowane stypendium Brak stypendium Stypendium 45 USD Stypendium 60 USD Odcięcie1 Odcięcie 2 Prawdopodobieństwo porzucenia szkoły
Przykład z dwoma progami: Znaczący wpływ stypendium 45 USD prawdopodobieństwo Probability prawdopodobieństwo Probability Brak stypendium a 45 USD 60 USD a 45 USD 1 1 0.8 0.6 0.4 Szacowany wpływ 0.8 0.6 0.4 Szacowany wpływ 0.2 0.2 0-25 -15-5 5 15 25 Relatywny Relative ranking Nie objęci Recipients Uczestnicy Non-recipients programem 0-25 -15-5 5 15 25 Relatywny Relative ranking Nie objęci Recipients Uczestnicy Non-recipients programem Źródło: Filmer, and Schady. 2011. Does More Cash in Conditional Cash Transfer Programs Always Lead to Larger Impacts on School Attendance?, Journal of Development Economics
Zalety modelu regresji nieciągłej dla ewaluacji Daje nieobciążony szacunek wpływu interwencji w punkcie odcięcia Można skorzystać z istniejącej reguły przyznawania świadczeń: o o Powszechne przy projektowaniu interwencji społecznych Nie ma potrzeby wyłączania z interwencji grupy kwalifikujących się osób/gospodarstw domowych
! Uwaga Potrzebna jest wystarczająco duża próba osób plasujących się w pobliżu punktu odcięcia, ponieważ tylko takie osoby podlegają porównaniu. Większość kwalifikujących się osób musi uczestniczyć w programie. Nie zawsze istnieje możliwość uogólnienia: wiemy, jaki jest wpływ programu na osoby będące w pobliżu punktu odcięcia. Programy dla młodzieży: czy program miałby taki sam wpływ na uczestników bardzo młodych (16-20 lat) i nieco starszych (20-24 lat)? Progresa: czy program miałby taki sam wpływ na bardzo ubogie i nieco mniej ubogie gospodarstwa domowe?
Przykład: Wpływ programu gwarantowanego zatrudnienia dla młodzieży [Szwecja] Program CO? Program aktywizacji i zatrudnienia młodzieży (<25) jeśli osoba była zarejestrowana w PUP przez ponad 90 dni GDZIE? Rozpoczęty w 2007 r. w Szwecji Otwarta rejestracja bezrobotnych w PUP (3 miesiące) Gwarantowane Zatrudnienie dla Młodzieży: - Szczegółowa ocena i doradztwo - Doradztwo zawodowe i coaching (zazwyczaj co najmniej 3 miesiące) Gwarantowane Zatrudnienie dla Młodzieży: - Staż lub szkolenie - Doradztweoco najmniej 4 godz/tyg (12 mies., łącznie max. 15 mies.) DLACZEGO? W celu zwiększenia zatrudnienia wśród młodzieży trwale bezrobotnej Metoda/kryteria kwalifikacji o o Dane Osoby zarejestrowane jako bezrobotne przez ponad 90 dni, poniżej 25 roku życia kwalifikują się Osoby zarejestrowane jako bezrobotne przez ponad 90 dni, ale mające ukończone 25 lat lub więcej, nie kwalifikują się Dwa roczniki: 2008 i 2009 Połączone dane z PUP i rejestrów zdrowia
Przykład: Wpływ programu Gwarantowane Zatrudnienie dla Młodzieży: [Szwecja] Wyniki Uczestnictwo w programie gwarantowanego zatrudnienia zwiększało prawdopodobieństwo znalezienia pracy w ciągu pierwszych 90 dni bezrobocia o około 2 punkty procentowe Uwzględniając fakt, że około 28 proc. 25-latków znajduje pracę w ciągu 90 dni, oznacza to wzrost o około 7 procent WPŁYW= 2 pkt proc. (=30%-28%)
Polska: Kiedy korzystać z modelu RDD? Przykłady/dyskusja Rodzina 500+ Środki na podjęcie działalności gospodarczej Czy programy wymienione powyżej są dobrymi kandydatami do ewaluacji przy zastosowaniu nieciągłego modelu regresji? Dlaczego tak? Dlaczego nie? Jakie należy przyjąć kryteria kwalifikacji? Jaki powinien być cel ewaluacji?
Polska: Kiedy korzystać z modelu RDD? Rodzina 500+ Kryterium kwalifikacji: Dochody do dyspozycji poniżej 800 PLN na osobę. Poniżej punktu odcięcia rodzina otrzymuje wsparcie na każde dziecko. Grupa eksperymentalna: Rodziny z 1 dzieckiem i dochodami poniżej 800 PLN na osobę. Grupa porównawcza: Rodziny z 1 dzieckiem i dochodami powyżej 800 PLN na osobę. Cel ewaluacji: Wskaźnik dzietności Wydatki gospodarstw domowych Wyniki osiągane przez dzieci w szkole Skutki dla rynku pracy Problemy: Selekcja. Rodziny plasujące się blisko punktu odcięcia mają kontrolę nad swoimi dochodami.
Polska: Kiedy korzystać z modelu RDD? Środki na podjęcie działalności gospodarczej Kryterium kwalifikacji: Osoby w wieku poniżej 30 lat Grupa eksperymentalna: Bezrobotni w wieku poniżej 30 lat Grupa porównawcza: Bezrobotni w wieku powyżej 30 lat Cel ewaluacji: Ocena wpływu na trwałe zatrudnienie Problemy: Większość osób kwalifikujących się do wsparcia nie otrzymuje go. Osoby rejestrują się jako bezrobotni tylko po to, by wnioskować o środki. Gdyby program nie istniał, nie zarejestrowaliby się jako bezrobotni i istnieje duże prawdopodobieństwo, że i tak założyliby działalność gospodarczą.
O czym należy pamiętać Model regresji nieciągłej Wymaga ciągłego kryterium kwalifikacyjnego i ostrego punktu odcięcia. Daje nieobciążony szacunek skutku interwencji: Obserwacja próby tuż poniżej lub powyżej punktu odcięcia daje dobre porównanie. Nie ma potrzeby wyłączania z interwencji grupy kwalifikujących się gospodarstw domowych/osób. Czasem można wykorzystać ten model do ewaluacji już realizowanych programów.
Test
Kiedy można zastosować nieciągły model regresji? A. Kiedy istnieje ciągłe kryterium kwalifikacji i jasny punkt odcięcia. B. Kiedy istnieje porównywalna grupa osób nie uczestniczących w programie. C. Kiedy rząd losowo przydziela do programu niektóre osoby, a inne nie. 33% 33% 33% A. B. C.
Ocena Prosimy o ocenę sesji
Prosimy o ocenę tempa prezentacji A. Akurat B. Zbyt wolne C. Zbyt szybkie D. Nie mam zdania
Prosimy o ocenę przydatności wybranego materiału technicznego A. Bardzo przydatny B. Częściowo przydatny C. Nieprzydatny D. Nie mam zdania
Prosimy o ocenę jasności i efektywności przekazu A. Doskonała B. Dobra C. Dostateczna D. Słaba E. Nie mam zdania
Dziękujemy!