Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych

Transkrypt

1 Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych Karolina Goraus-Tańska, Kraków, 7 czerwca 2017 r.

2 Czym są dane administracyjne? Dane zebrane w trzech głównych celach: monitorowanie programów i interwencji rządowych, planowanie interwencji rządowych, umożliwienie regulacji i audytu Pochodzą ze źródeł administracyjnych, zazwyczaj z jednostki rządowej (ministerstw, jednostek wdrażających programy i jednostek administracyjnych itd.) Często charakteryzują się wysoką częstotliwością i dotyczą dużej grupy docelowej (np. dzieci przyjęte do szkoły, dane dotyczące migracji, dane z urzędów stanu cywilnego, dane z systemów ubezpieczeń społecznych itd.) 2

3 Korzyści płynące z użycia danych administracyjnych Duża wielkość próby / wysoka częstotliwość Sprawozdawczość na poziomie lokalnym Oficjalne definicje danych Niski koszt Możliwość rutynowego, szybkiego i niedrogiego powtarzania analizy

4 Wady i ograniczenia Problem ochrony danych osobowych Dostęp Wymaga koordynacji pomiędzy różnymi poziomami rządowymi i instytucjami W administracji czasem brak jest potencjału badawczego Braki istotnych zmiennych mogą ograniczać cel analizy Dane mogą nie obejmować populacji niezbędnej do przeprowadzenia ewaluacji, na przykład grupy nieobjętej programem Format Informacje są gromadzone na różnych platformach danych i bywają nieprzygotowane do wykorzystania w analizie statystycznej

5 W jaki sposób możemy wyeliminować niektóre ograniczenia? Anonimizacja danych Uzupełnienie danych administracyjnych za pomocą ankiet w celu zebrania dodatkowych danych Zanonimizowany Zanonimizowany częściowo lub w sposób ograniczony Identyfikowalny Bardzo trudny lub niemożliwy do zidentyfikowania Trudniejszy do zidentyfikowania, ale nadal jest to możliwe, szczególnie z dodatkową wiedzą Bardzo łatwy do zidentyfikowania w sposób pewny do konkretnej osoby

6 Czy rząd może wykorzystać dane administracyjne w celu poprawy efektywności działań? Czy program działa? Jaki jest wpływ długoterminowy? Jaki sposób przeprowadzenia programu jest najbardziej efektywny kosztowo? Jaki jest wpływ ulepszenia programu w stosunku do poprzedniego modelu? [Ulepszony program a zwykła działalność] Ale też bardziej podstawowe pytania: Jak zwiększyć udział w programie?

7 Wielka Brytania i BIT (Behavioral Insight Team) Behavioral Insight Team, początkowo w Kancelarii Premiera, wykorzystał RCT (eksperymenty kontrolowane) i dane administracyjne do poprawy efektywności interwencji w Wielkiej Brytanii, jak i w innych krajach. Potrzeba udowodnienia, że korzyści finansowe ich działań przewyższyły koszty.

8 Wsparcie w znalezieniu pracy Program pilotażowy mający na celu przeorganizowanie procesu administracyjnego w Urzędach Pracy Działanie: Większy nacisk na zaangażowanie Stan kontrolny: Poprzedni system Zwiększenie o 5 pp stopy wypadania ze świadczeń 1. Ograniczenie biurokracji 2. Zobowiązania 3. Większe poczucie sprawczości

9 Doradztwo zawodowe we Francji: publiczne czy prywatne? Uczestnicy na doradcę Częstotliwość spotkań Działanie 1: Publiczne, intensywne Działanie 2: Prywatne, intensywne Tygodniowe przez 6 miesięcy Tygodniowe przez 6 miesięcy Koszt Grupa kontrolna: Publiczne, standardowe Miesięczne 120 Wskaźnik przejść do zatrudnienia Publiczne, intensywne 3 miesiące 6 miesięcy 9 miesięcy 12 miesięcy WYNIKI: Działanie 1 przyspieszyło przejście do zatrudnienia w porównaniu do standardowego programu o niskiej intensywności Działanie 1 działa szybciej i ma większy wpływ niż program prywatny i intensywny Działanie 1 również miało lepsze wyniki jeśli chodzi o znalezienie stabilnej pracy przez uczestników Prywatne agencje były też mniej efektywne kosztowo Grupa kontrolna

10 Długoterminowa analiza: projekt STAR Uczniowie i nauczyciele szkoły podstawowej losowo przydzieleni do różnych klas (Tennessee, połowa lat 80.) 6500 uczniów w 330 klasach w 80 szkołach Grupa kontrolna: Klasy standardowe (22-25 uczniów) Małe klasy (13-17 uczniów) Klasy standardowe (22-25 uczniów) z dodatkowym nauczycielem

11 Długoterminowa analiza: projekt STAR Pierwsza analiza: Przydział do mniejszej klasy wiązał się z lepszymi wynikami, jednak różnice zanikły do ósmej klasy! Analiza długoterminowa Połączenie informacji o tych uczniach z danymi podatkowymi w celu analizy ich osiągnięć w wieku (ostatecznie nawet dłużej) Znaleziono lepsze wskaźniki osiągnięć dorosłych Dochody, uczęszczanie na studia, prestiż uczelni, własność domu Potencjalne wytłumaczenie/powiązanie: poprawa umiejętności społecznych

12 Eksperyment dotyczący ubezpieczeń zdrowotnych w Oregonie - USA W 2008 r. Oregon dysponował środkami finansowymi na pokrycie ubezpieczenia niektórych osób spośród kwalifikowanych do wcześniej porzuconego rozszerzenia programu zdrowotnego Medicaid Skierowany na najuboższych i nieubezpieczonych dorosłych niekoniecznie kwalifikowalnych do Medicaid (np. niebędących osobami niepełnosprawnymi, czy korzystających z pomocy społecznej) Losowanie uczestników zostało wybrane jako sprawiedliwy sposób Zainteresowane jednostki zostały poproszone o zapisanie się na listę Losowo wybrano około spośród Dzięki przydziałowi losowemu możliwa stała się ewaluacja wpływu programu Medicaid na uboższych i nieubezpieczonych dorosłych

13 Dane i wyniki Dane administracyjne (ok ): Dokumentacja wypisów szpitalnych, wizyty na szpitalnych oddziałach ratunkowych, dochody etc. Ankiety mailowe (wysłane do ok osób): opieka medyczna, obciążenia finansowe, samoocena stanu zdrowia i dobrostanu Osobiste wywiady zdrowotne i badania zdrowia psychicznego (ok ) : Pomiary kliniczne (ciśnienie krwi, cholesterol, poziom cukru we krwi etc.), lekarstwa, historia medyczna (np. daty diagnoz) Wyniki: Częstsze korzystanie z opieki medycznej Redukcja wydatków z własnej kieszeni na ochronę zdrowia Brak wpływu na zatrudnienie czy dochód Polepszenie samooceny stanu zdrowia i zdrowia psychicznego

14 Czy w Polsce były wykorzystywane dane administracyjne do przeprowadzenia ewaluacji?

15 Monitorowanie efektywności APRP Projekt zrealizowany przez zespół naukowy na Uniwersytecie Mikołaja Kopernika ( ) Dane z systemu ewidencji bezrobotnych z lat (system Syriusz) połączone z danymi z sondażu po zakończeniu programu Ewaluacja głównych APRP: szkolenia, staże, prace interwencyjne, wsparcie działalności gospodarczej, roboty publiczne, prace społecznie użyteczne Okres obserwacji: 28 miesięcy (różny czas trwania poszczególnych programów) Cel: zbadanie wpływu na zatrudnienie Nowe możliwości: połączenie z danymi ZUS, zaprojektowanie eksperymentu?

16 Losy absolwentów Uniwersytetu Warszawskiego Wysiłki podejmowane w celu połączenia informacji Projekt finansowany z funduszy UE analiza losów absolwentów. Jakie dane są dostępne? UW śledzi losy absolwentów za pomocą dobrowolnych ankiet czy jest to wystarczające? USOS dane o studentach i ich procesie edukacji ZUS posiada dane dotyczące rezultatów na rynku pracy (zatrudnienie, dochód, firma, podatek etc). Dane zostały zagregowane i zanonimizowane.

17 Analiza trendów, lecz nie ewaluacja wpływu % absolwentów niezatrudnionych w kolejnych miesiącach po ukończeniu studiów Średnie zarobki w kolejnych miesiącach zatrudnieni w pełnym wymiarze czasu pracy

18 Rozszerzanie danych Projekt ZUS/IBE/UW został wykorzystany do stworzenia podobnego systemu dla całego kraju Podobne systemy stworzono m.in. w krajach skandynawskich, w Hiszpanii, Austrii, na Litwie i na Węgrzech. Połączenie systemów ZUS oraz POL-on - System monitoringu zawodowych losów absolwentów Ale teraz ewaluacja musi być zaprojektowana

19 Próba przeprowadzenia eksperymentu kontrolowanego (RCT): Cyfrowa Szkoła Cyfryzacja szkół jest od lat jednym z priorytetów rządu Pytanie: Jak wspierać szkoły, żeby cyfryzacja wspierała rozwój kompetencji uczniów i dawała dostęp do zasobów cyfrowych? Projektom unijnym obejmującym cały kraj (zasoby cyfrowe, szkolenia) towarzyszył projekt rządowy o ograniczonym zasięgu ( ) Organy prowadzące szkoły mogły składać do wojewodów wnioski o udzielenie wsparcia finansowego łącznie złożono 3525 wniosków Losowo wyłoniono 399 szkół, które zostały włączone do programu 44 mln zł dotacji na zakup pomocy dydaktycznych

20 Cyfrowa Szkoła ewaluacja Lepsze wyposażenie szkół w sprzęt elektroniczny i łatwiejszy dostęp uczniów do indywidualnych komputerów, większe wykorzystanie na lekcjach technologii informacyjno-komunikacyjnych Jednak... brak wpływu na wyniki na sprawdzianie szóstoklasisty czytanie pisanie korzystanie z informacji rozumowanie wykorzystanie wiedzy Grupa eksperymentalna Grupa kontrolna