Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów aktywnej polityki rynku pracy Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych Karolina Goraus-Tańska, Gdańsk, 22 lutego 2017 r.
Czym są dane administracyjne? Dane zebrane w trzech głównych celach: monitorowanie programów i interwencji rządowych, planowanie interwencji rządowych, umożliwienie regulacji i audytu Pochodzą ze źródeł administracyjnych, zazwyczaj z jednostki rządowej (ministerstw, jednostek wdrażających programy i jednostek administracyjnych itd.) Często charakteryzują się wysoką częstotliwością i dotyczą dużej grupy docelowej (np. dzieci przyjęte do szkoły, dane dotyczące migracji, dane z urzędów stanu cywilnego, dane z systemów ubezpieczeń społecznych itd.) 2
Korzyści płynące z użycia danych administracyjnych Duża wielkość próby / wysoka częstotliwość Sprawozdawczość na poziomie lokalnym Oficjalne definicje danych Niski koszt Możliwość rutynowego, szybkiego i niedrogiego powtarzania analizy
Wady i ograniczenia Problem ochrony danych osobowych Dostęp Wymaga koordynacji pomiędzy różnymi poziomami rządowymi i instytucjami W administracji czasem brak jest potencjału badawczego Braki istotnych zmiennych mogą ograniczać cel analizy Dane mogą nie obejmować populacji niezbędnej do przeprowadzenia ewaluacji, na przykład grupy nieobjętej programem Format Informacje są gromadzone na różnych platformach danych i bywają nieprzygotowane do wykorzystania w analizie statystycznej
W jaki sposób możemy wyeliminować niektóre ograniczenia? Anonimizacja danych Uzupełnienie danych administracyjnych za pomocą ankiet w celu zebrania dodatkowych danych Zanonimizowany Zanonimizowany częściowo lub w sposób ograniczony Identyfikowalny Bardzo trudny lub niemożliwy do zidentyfikowania Trudniejszy do zidentyfikowania, ale nadal jest to możliwe, szczególnie z dodatkową wiedzą Bardzo łatwy do zidentyfikowania w sposób pewny do konkretnej osoby
Czy rząd może wykorzystać dane administracyjne w celu poprawy efektywności działań? Czy program działa? Jaki jest wpływ długoterminowy? Jaki sposób przeprowadzenia programu jest najbardziej efektywny kosztowo? Jaki jest wpływ ulepszenia programu w stosunku do poprzedniego modelu? [Ulepszony program a zwykła działalność] Ale też bardziej podstawowe pytania: Jak zwiększyć udział w programie?
Wielka Brytania i BIT (Behavioral Insight Team) Behavioral Insight Team, początkowo w Kancelarii Premiera, wykorzystał RCT i dane administracyjne do poprawy efektywności interwencji w Wielkiej Brytanii i za granicą. Potrzeba udowodnienia, że korzyści finansowe ich działań przewyższyły koszty.
W jaki sposób pomóc ludziom wrócić do pracy? Program pilotażowy mający na celu przeorganizowanie procesu administracyjnego w Urzędach Pracy Działanie: Większy nacisk na zaangażowanie Stan kontrolny: Poprzedni system Zwiększenie o 5 pp stopy wypadania ze świadczeń 1. Ograniczenie biurokracji 2. Zobowiązania 3. Większe poczucie odpowiedzialności
Wykorzystanie wiadomości tekstowych do zachęcania ludzi do pojawiania się na wydarzeniach rekrutacyjnych Odsetek pojawiający się na wydarzeniach rekrutacyjnych po różnych typach wiadomości tekstowych N=1224 Grupa kontrolna + imię osoby + imię doradcy + życzenia powodzenia Źródło: Behavioural Insights Team, Raport Roczny 2013-2015
Zwiększona spłacalność kar sądowych 30% Stopy spłacalności 20% 14% 17% 19% 21% 10% 5% 0% Bez wiadomości No text Standardowa text Kwota Amount Kwota Amount + nazwisko + Name Nazwisko Name wiadomość Źródło: Behavioural Insights Team & HMCTS, 2012
Eksperyment dotyczący ubezpieczeń zdrowotnych w Oregonie - USA W 2008 r. Oregon dysponował środkami finansowymi na pokrycie ubezpieczenia, niektórych osób spośród kwalifikowanych do wcześniej porzuconego rozszerzenia programu zdrowotnego Medicaid Skierowany na najuboższych i nieubezpieczonych dorosłych niekoniecznie kwalifikowalnych do Medicaid (np. niebędących osobami niepełnosprawnymi, czy korzystających z pomocy społecznej) Losowanie uczestników, zostało wybrane jako sprawiedliwy sposób Zainteresowane jednostki zostały poproszone o zapisanie się na listę Losowo wybrano około 30 000 spośród 75 000 Dzięki przydziałowi losowemu możliwa stała się ewaluacja wpływu programu Medicaid na uboższych i nieubezpieczonych dorosłych
Dane i wyniki Dane administracyjne (ok. 75 000): Dokumentacja wypisów szpitalnych, wizyty na szpitalnych oddziałach ratunkowych, dochody etc. Ankiety mailowe (wysłane do ok. 55 000 osób): opieka medyczna, obciążenia finansowe, samoocena stanu zdrowia i dobrostanu Osobiste wywiady zdrowotne i badania zdrowia psychicznego (ok. 12 000) : Pomiary kliniczne (ciśnienie krwi, cholesterol, poziom cukru we krwi etc.), lekarstwa, historia medyczna (np. daty diagnoz) Wyniki: Wzrost jakości opieki medycznej Brak wpływu na zatrudnienie czy dochód Redukcja wydatków z własnej kieszeni na ochronę zdrowia Polepszenie samooceny stanu zdrowia i zdrowia psychicznego
Długoterminowa analiza: projekt STAR Uczniowie do klas trzecich i nauczyciele losowo przydzieleni do różnych sal (Tennessee, połowa lat 80.) Pierwsza analiza wykazała: Przydział do mniejszej klasy lub z dodatkowym nauczycielem wiązał się z lepszymi wynikami Jednak różnice zanikły do ósmej klasy Analiza długoterminowa Połączenie informacji o tych uczniach z danymi podatkowymi w celu analizy ich osiągnięć w wieku 25-27 (ostatecznie nawet dłużej) Znaleziono lepsze wskaźniki osiągnięć dorosłych Dochody, uczęszczanie na studia, prestiż uczelni, własność domu Potencjalne wytłumaczenie/powiązanie: poprawa umiejętności społecznych
Doradztwo zawodowe we Francji: publiczne czy prywatne? Uczestnicy na doradcę Częstotliwość spotkań Działanie 1: Publiczne, intensywne Działanie 2: Prywatne, intensywne 40 40 120 Tygodniowe przez 6 miesięcy Tygodniowe przez 6 miesięcy Koszt 657 900-3947 Grupa kontrolna: Publiczne, standardowe Miesięczne 120 Wskaźnik przejść do zatrudnienia Publiczne, intensywne 3 miesiące 6 miesięcy 9 miesięcy 12 miesięcy WYNIKI: Działanie 1 przyspieszyło przejście do zatrudnienia w porównaniu do standardowego programu o niskiej intensywności Działanie 1 działa szybciej i ma większy wpływ niż program prywatny i intensywny Działanie 1 również miało lepsze wyniki jeśli chodzi o znalezienie stabilnej pracy przez uczestników Prywatne agencje były też mniej efektywne kosztowo Grupa kontrolna
Czy w Polsce były wykorzystywane dane administracyjne? Wysiłki podejmowane w celu połączenia informacji Przykład: Losy absolwentów Uniwersytetu Warszawskiego Projekt finansowany z funduszy UE analiza losów absolwentów. Jakie dane są dostępne? UW śledzi losy absolwentów za pomocą dobrowolnych ankiet czy jest to wystarczające? USOS dane o studentach i ich procesie edukacji ZUS posiada dane dotyczące rezultatów na rynku pracy (zatrudnieni, dochód, firma, podatek etc). Dane zostały zagregowane i zanonimizowane.
Analiza trendów, lecz nie ewaluacja wpływu % absolwentów niezatrudnionych w kolejnych miesiącach po ukończeniu studiów Średnie zarobki w kolejnych miesiącach zatrudnieni w pełnym wymiarze czasu pracy Średni czas w miesiącach potrzebny do znalezienia jakiegokolwiek zatrudnienia po uzyskaniu dyplomu: 0.31 miesiąca Średni czas w miesiącach do otrzymania zatrudnienia na umowę o pracę: 2.83 miesięcy
Rozszerzanie danych Projekt ZUS/IBE/UW został wykorzystany do stworzenia podobnego systemu dla całego kraju Podobne systemy stworzono m.in. w krajach skandynawskich, w Hiszpanii, Austrii, na Litwie i na Węgrzech. Połączenie systemów ZUS oraz POL-on http://absolwenci.nauka.gov.pl/ - System monitoringu zawodowych losów absolwentów Ale teraz ewaluacja musi być zaprojektowana
Próba przeprowadzenia eksperymentu kontrolowanego (RCT): Cyfrowa Szkoła Cyfryzacja szkół jest od lat jednym z priorytetów rządu Pytanie: Jak wspierać szkoły, żeby cyfryzacja wspierała rozwój kompetencji uczniów i dawała dostęp do zasobów cyfrowych? Projektom unijnym obejmującym cały kraj (zasoby cyfrowe, szkolenia) towarzyszył projekt rządowy o ograniczonym zasięgu Do projektu zgłosiło się kilkaset samorządów o określonych charakterystykach Losowo wybrano samorządy, które uzyskały wsparcie i te, które wsparcia nie uzyskały
Monitorowanie efektywności APRP Projekt zrealizowany przez zespół naukowy na Uniwersytecie Mikołaja Kopernika (2010-2012) Dane z systemu ewidencji bezrobotnych z lat 2009 2010 (system Syriusz) połączone z danymi z sondażu po zakończeniu programu Ewaluacja głównych APRP: szkolenia, staże, prace interwencyjne, wsparcie działalności gospodarczej, roboty publiczne, prace społecznie użyteczne Okres obserwacji: 28 miesięcy (różny czas trwania poszczególnych programów) Cel: zbadanie wpływu na zatrudnienie Nowe możliwości: połączenie z danymi ZUS, zaprojektowanie eksperymentu?
Dyskusja Jak korzystać z dostępnych Państwu danych administracyjnych i metody RCT w celu ewaluacji programów? Czy istnieją inne dane administracyjne, które byłyby dla Państwa przydatne, a do których nie mają Państwo dostępu? O jakich ograniczeniach mowa? Co jest konieczne, aby pracować nad tymi ograniczeniami? Jakie są korzyści dla Państwa pracy? Dlaczego potrzebna jest ewaluacja wpływu?
Dziękujemy!