Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych

Transkrypt

1 Warsztaty szkoleniowe z zakresu oceny oddziaływania instrumentów aktywnej polityki rynku pracy Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych Karolina Goraus-Tańska, Gdańsk, 21 lutego 2017 r.

2 Czym są dane administracyjne? Dane zebrane w trzech głównych celach: monitorowanie programów i interwencji rządowych, planowanie interwencji rządowych, umożliwienie regulacji i audytu Pochodzą ze źródeł administracyjnych, zazwyczaj z jednostki rządowej (ministerstw, jednostek wdrażających programy i jednostek administracyjnych itd.) Często charakteryzują się wysoką częstotliwością i dotyczą dużej grupy docelowej (np. dzieci przyjęte do szkoły, dane dotyczące migracji, dane z urzędów stanu cywilnego, dane z systemów ubezpieczeń społecznych itd.) 2

3 Korzyści płynące z użycia danych administracyjnych Duża wielkość próby / wysoka częstotliwość Sprawozdawczość na poziomie lokalnym Oficjalne definicje danych Niski koszt Możliwość rutynowego, szybkiego i niedrogiego powtarzania analizy

4 Wady i ograniczenia Problem ochrony danych osobowych Dostęp Wymaga koordynacji pomiędzy różnymi poziomami rządowymi i instytucjami W administracji czasem brak jest potencjału badawczego Braki istotnych zmiennych mogą ograniczać cel analizy Dane mogą nie obejmować populacji niezbędnej do przeprowadzenia ewaluacji, na przykład grupy nieobjętej programem Format Informacje są gromadzone na różnych platformach danych i bywają nieprzygotowane do wykorzystania w analizie statystycznej

5 W jaki sposób możemy wyeliminować niektóre ograniczenia? Anonimizacja danych Uzupełnienie danych administracyjnych za pomocą ankiet w celu zebrania dodatkowych danych Zanonimizowany Zanonimizowany częściowo lub w sposób ograniczony Identyfikowalny Bardzo trudny lub niemożliwy do zidentyfikowania Trudniejszy do zidentyfikowania, ale nadal jest to możliwe, szczególnie z dodatkową wiedzą Bardzo łatwy do zidentyfikowania w sposób pewny do konkretnej osoby

6 Czy rząd może wykorzystać dane administracyjne w celu poprawy efektywności działań? Czy program działa? Jaki jest wpływ długoterminowy? Jaki sposób przeprowadzenia programu jest najbardziej efektywny kosztowo? Jaki jest wpływ ulepszenia programu w stosunku do poprzedniego modelu? [Ulepszony program a zwykła działalność] Ale też bardziej podstawowe pytania: Jak zwiększyć udział w programie?

7 Wielka Brytania i BIT (Behavioral Insight Team) Behavioral Insight Team, początkowo w Kancelarii Premiera, wykorzystał RCT i dane administracyjne do poprawy efektywności interwencji w Wielkiej Brytanii i za granicą. Potrzeba udowodnienia, że korzyści finansowe ich działań przewyższyły koszty.

8 W jaki sposób pomóc ludziom wrócić do pracy? Program pilotażowy mający na celu przeorganizowanie procesu administracyjnego w Urzędach Pracy Działanie: Większy nacisk na zaangażowanie Stan kontrolny: Poprzedni system Zwiększenie o 5 pp stopy wypadania ze świadczeń 1. Ograniczenie biurokracji 2. Zobowiązania 3. Większe poczucie odpowiedzialności

9 Wykorzystanie wiadomości tekstowych do zachęcania ludzi do pojawiania się na wydarzeniach rekrutacyjnych Odsetek pojawiający się na wydarzeniach rekrutacyjnych po różnych typach wiadomości tekstowych N=1224 Grupa kontrolna + imię osoby + imię doradcy + życzenia powodzenia Źródło: Behavioural Insights Team, Raport Roczny

10 Zwiększona spłacalność kar sądowych 30% Stopy spłacalności 20% 14% 17% 19% 21% 10% 5% 0% Bez wiadomości No text Standardowa text Kwota Amount Kwota Amount + nazwisko + Name Nazwisko Name wiadomość Źródło: Behavioural Insights Team & HMCTS, 2012

11 Eksperyment dotyczący ubezpieczeń zdrowotnych w Oregonie - USA W 2008 r. Oregon dysponował środkami finansowymi na pokrycie ubezpieczenia, niektórych osób spośród kwalifikowanych do wcześniej porzuconego rozszerzenia programu zdrowotnego Medicaid Skierowany na najuboższych i nieubezpieczonych dorosłych niekoniecznie kwalifikowalnych do Medicaid (np. niebędących osobami niepełnosprawnymi, czy korzystających z pomocy społecznej) Losowanie uczestników, zostało wybrane jako sprawiedliwy sposób Zainteresowane jednostki zostały poproszone o zapisanie się na listę Losowo wybrano około spośród Dzięki przydziałowi losowemu możliwa stała się ewaluacja wpływu programu Medicaid na uboższych i nieubezpieczonych dorosłych

12 Dane i wyniki Dane administracyjne (ok ): Dokumentacja wypisów szpitalnych, wizyty na szpitalnych oddziałach ratunkowych, dochody etc. Ankiety mailowe (wysłane do ok osób): opieka medyczna, obciążenia finansowe, samoocena stanu zdrowia i dobrostanu Osobiste wywiady zdrowotne i badania zdrowia psychicznego (ok ) : Pomiary kliniczne (ciśnienie krwi, cholesterol, poziom cukru we krwi etc.), lekarstwa, historia medyczna (np. daty diagnoz) Wyniki: Wzrost jakości opieki medycznej Brak wpływu na zatrudnienie czy dochód Redukcja wydatków z własnej kieszeni na ochronę zdrowia Polepszenie samooceny stanu zdrowia i zdrowia psychicznego

13 Długoterminowa analiza: projekt STAR Uczniowie do klas trzecich i nauczyciele losowo przydzieleni do różnych sal (Tennessee, połowa lat 80.) Pierwsza analiza wykazała: Przydział do mniejszej klasy lub z dodatkowym nauczycielem wiązał się z lepszymi wynikami Jednak różnice zanikły do ósmej klasy Analiza długoterminowa Połączenie informacji o tych uczniach z danymi podatkowymi w celu analizy ich osiągnięć w wieku (ostatecznie nawet dłużej) Znaleziono lepsze wskaźniki osiągnięć dorosłych Dochody, uczęszczanie na studia, prestiż uczelni, własność domu Potencjalne wytłumaczenie/powiązanie: poprawa umiejętności społecznych

14 Doradztwo zawodowe we Francji: publiczne czy prywatne? Uczestnicy na doradcę Częstotliwość spotkań Działanie 1: Publiczne, intensywne Działanie 2: Prywatne, intensywne Tygodniowe przez 6 miesięcy Tygodniowe przez 6 miesięcy Koszt Grupa kontrolna: Publiczne, standardowe Miesięczne 120 Wskaźnik przejść do zatrudnienia Publiczne, intensywne 3 miesiące 6 miesięcy 9 miesięcy 12 miesięcy WYNIKI: Działanie 1 przyspieszyło przejście do zatrudnienia w porównaniu do standardowego programu o niskiej intensywności Działanie 1 działa szybciej i ma większy wpływ niż program prywatny i intensywny Działanie 1 również miało lepsze wyniki jeśli chodzi o znalezienie stabilnej pracy przez uczestników Prywatne agencje były też mniej efektywne kosztowo Grupa kontrolna

15 Czy w Polsce były wykorzystywane dane administracyjne? Wysiłki podejmowane w celu połączenia informacji Przykład: Losy absolwentów Uniwersytetu Warszawskiego Projekt finansowany z funduszy UE analiza losów absolwentów. Jakie dane są dostępne? UW śledzi losy absolwentów za pomocą dobrowolnych ankiet czy jest to wystarczające? USOS dane o studentach i ich procesie edukacji ZUS posiada dane dotyczące rezultatów na rynku pracy (zatrudnieni, dochód, firma, podatek etc). Dane zostały zagregowane i zanonimizowane.

16 Analiza trendów, lecz nie ewaluacja wpływu % absolwentów niezatrudnionych w kolejnych miesiącach po ukończeniu studiów Średnie zarobki w kolejnych miesiącach zatrudnieni w pełnym wymiarze czasu pracy Średni czas w miesiącach potrzebny do znalezienia jakiegokolwiek zatrudnienia po uzyskaniu dyplomu: 0.31 miesiąca Średni czas w miesiącach do otrzymania zatrudnienia na umowę o pracę: 2.83 miesięcy

17 Rozszerzanie danych Projekt ZUS/IBE/UW został wykorzystany do stworzenia podobnego systemu dla całego kraju Podobne systemy stworzono m.in. w krajach skandynawskich, w Hiszpanii, Austrii, na Litwie i na Węgrzech. Połączenie systemów ZUS oraz POL-on - System monitoringu zawodowych losów absolwentów Ale teraz ewaluacja musi być zaprojektowana

18 Próba przeprowadzenia eksperymentu kontrolowanego (RCT): Cyfrowa Szkoła Cyfryzacja szkół jest od lat jednym z priorytetów rządu Pytanie: Jak wspierać szkoły, żeby cyfryzacja wspierała rozwój kompetencji uczniów i dawała dostęp do zasobów cyfrowych? Projektom unijnym obejmującym cały kraj (zasoby cyfrowe, szkolenia) towarzyszył projekt rządowy o ograniczonym zasięgu Do projektu zgłosiło się kilkaset samorządów o określonych charakterystykach Losowo wybrano samorządy, które uzyskały wsparcie i te, które wsparcia nie uzyskały

19 Cyfrowa Szkoła ewaluacja Potencjalna ewaluacja metodą RCT Nie zebrano jednak danych od samorządów nieobjętych programem Nie dokonano oceny kompetencji uczniów przed i po badaniu, a nawet podstawowych danych dotyczących użytkowania zasobów cyfrowych czy komputerów. Czy można było takie dane zebrać? Jakie są ograniczenia? Jakie kwestie trzeba by rozwiązać? Jakie są ograniczenia takiej metody?

20 Monitorowanie efektywności APRP Projekt zrealizowany przez zespół naukowy na Uniwersytecie Mikołaja Kopernika ( ) Dane z systemu ewidencji bezrobotnych z lat (system Syriusz) połączone z danymi z sondażu po zakończeniu programu Ewaluacja głównych APRP: szkolenia, staże, prace interwencyjne, wsparcie działalności gospodarczej, roboty publiczne, prace społecznie użyteczne Okres obserwacji: 28 miesięcy (różny czas trwania poszczególnych programów) Cel: zbadanie wpływu na zatrudnienie Nowe możliwości: połączenie z danymi ZUS, zaprojektowanie eksperymentu?

21 Dyskusja Jak korzystać z dostępnych Państwu danych administracyjnych i metody RCT w celu ewaluacji programów? Czy istnieją inne dane administracyjne, które byłyby dla Państwa przydatne, a do których nie mają Państwo dostępu? O jakich ograniczeniach mowa? Co jest konieczne, aby pracować nad tymi ograniczeniami? Jakie są korzyści dla Państwa pracy? Dlaczego potrzebna jest ewaluacja wpływu?

22 Ocena Prosimy o ocenę sesji

23 Prosimy o ocenę tempa prezentacji A. Akurat B. Zbyt wolne C. Zbyt szybkie D. Nie mam zdania

24 Prosimy o ocenę przydatności wybranego materiału technicznego A. Bardzo przydatny B. Częściowo przydatny C. Nieprzydatny D. Nie mam zdania

25 Prosimy o ocenę jasności i efektywności przekazu A. Doskonała B. Dobra C. Dostateczna D. Słaba E. Nie mam zdania

26 Dziękujemy!