Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów Aktywnej Polityki Rynku Pracy Projektowanie eksperymentu Część 1 Maciej Jakubowski, Gdańsk, 20 lutego 2017 r.
Ocena efektu oddziaływania Jaki jest nasz cel?
Zarys Cel oceny efektu oddziaływania Idealne stany kontrfaktyczne Chybione stany kontrfaktyczne Przed i po Zapisani a niezapisani
Nasz cel Oszacowanie efektu przyczynowego (wpływu) interwencji (P) na efekt oddziaływania (Y). Efekt oddziaływania = Y T Y C P = interwencja (program), czyli czynnik eksperymentalny Y = wskaźnik, czyli miara sukcesu Y T = efekt z interwencją Y C = efekt bez interwencji (kontrola)
Przykład: Progresa Warunkowy przelew pieniężny Państwowy program przeciwdziałania ubóstwu w Meksyku Przelewy pieniężne warunkowane obecnością w szkole i ośrodkach służby zdrowia Wskazanie grupy docelowej Kwalifikowanie na podstawie wskaźnika ubóstwa Czas: Rozpoczęcie w 1997 roku Realizacja etapowa, 5 milionów uczestników do 2004 roku
Pytanie badawcze Jaki jest efekt oddziaływania warunkowego przelewu pieniężnego (P) na wydatki w gospodarstwach domowych (Y)
Trudność brak stanu kontrfaktycznego Efekt oddziaływania = Y T Y C Nie obserwujemy, co działoby się z uczniami, gdyby nie otrzymywali oni przelewów pieniężnych (stan kontrfaktyczny)?
Idealny stan kontrfaktyczny KLON/RÓWNOLEGŁY ŚWIAT
Idealne badanie eksperymentalne Wskazanie najpierw docelowych uczestników
Idealne badanie eksperymentalne klony a później sklonowanie docelowych uczestników
Idealne badanie eksperymentalne klony Wykonywanie przelewów pieniężnych do jednego zbioru klonów
Idealne badanie eksperymentalne klony i porównanie jakiś czas później wydatków (konsumpcji) w gospodarstwach domowych Ponieważ ludzie otrzymujący przelewy pieniężne są identyczni jak ludzie nieotrzymujący przelewów pieniężnych, można wskazać faktyczną różnicę wynikającą z programu.
Chybione stany kontrfaktyczne Sytuacja 1: Przed i po
Sytuacja 1: Przed i po (1) Obserwowanie wyłącznie uczestników Y 268 A (2) Dwie obserwacje w czasie: - Wydatki w 1997 r. - Wydatki w 1998 r. 233 B 35 USD t = 1997 t = 1998 Czas OSZACOWANIE EFEKTU ODDZIAŁYWANIA: A B = 35 USD
Sytuacja 1: Przed i po Problem: nie wiemy, co by się stało, gdyby nie było programu. Boom gospodarczy: o Rzeczywisty efekt oddziaływania = A C o A B zawyża efekt oddziaływania Spowolnienie gospodarcze: o Rzeczywisty efekt oddziaływania = A D o A B zaniża efekt oddziaływania Y 268 233 B A C? D? t = 0 t = 1 Efekt oddziaływania? α = 35 USD Efekt oddziaływania? Czas
Sytuacja 1: Przed i po Wydatki (konsumpcja): Y Wydatki po rozpoczęciu programu (czynnik eksperymentalny) 268,7 Wydatki przed rozpoczęciem programu (stan kontrolny - kontrfaktyczny) 233,4 Oszacowanie efektu oddziaływania 35,3*** Uwaga: Jeżeli efekt jest statystycznie istotny na poziomie 1%, szacunkowy efekt oznacza się 2 gwiazdkami (**)
Sytuacja 1: Przed i po Przykład APRP: program szkoleniowy dla młodzieży Prawdopodobieństwo zatrudnienia po 6 miesiącach szkolenia (1) Obserwowanie wyłącznie uczestników interwencji Y 80 B (2) Dwie obserwacje w czasie: 1997/8 1998/9 70 A 10% t = 1997 t = 1998 Czas OSZACOWANIE EFEKTU ODDZIAŁYWANIA: A B = -10%
Chybione stany kontrfaktyczne Sytuacja 2: Porównanie zapisanych z niezapisanymi
Sytuacja 2: Jedni się zapisują, inni nie Niespełniający warunków (nieubodzy) Spełniający warunki (ubodzy = docelowa grupa ludności) Niezapisani Zapisani
Sytuacja 2: Jedni się zapisują, inni nie GRUPA PODDANA ODDZIAŁYWANIU GRUPA KONTROLNA
Sytuacja 2: Jedni się zapisują, inni nie Problem błędu systematycznego w doborze Co, jeśli osoby, które postanowiły się nie zapisywać, są inne?
Sytuacja 2: Jedni się zapisują, inni nie Problem błędu systematycznego w doborze A co, jeśli nie możemy obserwować (kontrolować pod względem) tych różnic
Sytuacja 2: Jedni się zapisują, inni nie Problem błędu systematycznego w doborze a te różnice mają wpływ na efekty oddziaływania? Czy czynniki decydujące o zapisywaniu się są skorelowane z wydatkami (konsumpcją)?
Sytuacja 2: Jedni się zapisują, inni nie Wydatki (konsumpcja): Y Wydatki uczestników interwencji (zapisani) Wydatki tych, którzy nie byli uczestnikami interwencji (niezapisani kontrola) Oszacowanie efektu oddziaływania 268 290 22** Uwaga: Jeżeli efekt jest statystycznie istotny na poziomie 1%, szacunkowy efekt oznacza się 2 gwiazdkami (**)
Sytuacja 2: Jedni się zapisują, inni nie Przykład programu robót publicznych (PRP) podlegającego kolejności zgłoszeń Czy osoby poszukujące pracy, którym udało się zapisać, są podobne do tych, które zgłosiły się za późno? Bezrobotni, którzy zgłosili się wcześnie i zostali zapisani do programu Bezrobotni, którzy zgłosili się później, kiedy nie było już dostępnych miejsc Jaki może być problem w porównaniu tych dwóch grup?
Co można powiedzieć o efekcie oddziaływania programu Progresa?
Jakie należałoby wydać zalecenie dotyczące programu Progresa? Efekt dla wydatków (Y) Sytuacja 1: Przed i po 35,27** Sytuacja 2: Zapisani a niezapisani 22** Uwaga: Jeżeli efekt jest statystycznie istotny na poziomie 1%, szacunkowy efekt oznacza się 2 gwiazdkami (**)
Warto zapamiętać Porównanie przed po Problem: inne istotne czynniki również zmieniają się z czasem Porównanie zapisanych z niezapisanymi Problem: Błąd systematyczny w doborze Zapisani mogą się odróżniać, a te różnice nie podlegają obserwacji. Wykorzystanie obu grupy porównawczych może prowadzić do systematycznie błędnych szacunków efektu oddziaływania programu.
Przykład: efekt programu Gwarancja Pracy dla Młodych (Dania) Program CO? Program zatrudnienia dla młodych (< 30) GDZIE? W Danii (lata 2009 2010) DLACZEGO? Zwiększenie zatrudnienia wśród długotrwale bezrobotnych młodych osób Metoda/Uprawnieni Aby sprawdzić efekt oddziaływania zintensyfikowanego programu APRP na zatrudnienie młodych i na poziom wykształcenia, badacze przeprowadzili randomizowane badanie kontrolowane (RCT). Trwający 32 tygodnie program był skierowany do osób bezrobotnych w wieku poniżej 30 lat, które w okresie od listopada 2009 r. do lutego 2010 r. już były lub stały się bezrobotne. Z 3380 uczestników badacze losowo przypisali 1683 bezrobotnych do grupy poddanej interwencji oraz 1697 do grupy porównawczej. Wyniki Interwencja zmniejszyła bezrobocie wśród młodych bez wykształcenia i nie miał żadnego efektu na młodych z wykształceniem. Ponadto osoby bezrobotne z grupy poddanej oddziaływaniu więcej czasu pobierały świadczenia, przebywając na zwolnieniu lekarskim. Realizacja programu nie spełniła jego pierwotnych założeń; jedyną różnicą pomiędzy grupą poddaną oddziaływaniu a grupą porównawczą były częstsze spotkania z opiekunem odbywane przez osoby poszukujące pracy z grupy poddanej oddziaływaniu.
Dziękujemy!