Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy Projektowanie eksperymentu część 2 Lucilla Bruni, Kraków, 5 czerwca 2017 r.
Idealne badanie eksperymentalne klony a później sklonowanie docelowych beneficjentów
Idealne badanie eksperymentalne klony przydzial losowy
Video: What is an Impact Evaluation
Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech interwencji, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?
Podstawowa konstrukcja eksperymentu kontrolowanego Osoby indywidualne/klastry Działania wielokrotne/łączone Populacja docelowa Wyłączone z ewaluacji Dobór losowy próby Próba poddana ewaluacji Badanie początkowe Przydział losowy Grupa eksperymentalna Grupa kontrolna Badanie końcowe Wiarygodność zewnętrzna Wiarygodność wewnętrzna Kontrola zbilansowania Pomiar wpływu
Losowy dobór próby i losowy przydział Losowy dobór próby z obszaru zainteresowania
Losowy dobór próby i losowy przydział Losowy dobór próby spośród obszaru zainteresowania Losowy przydział do grupy eksperymentalnej i grupy kontrolnej Losowy dobór próby z grupy eksperymentalnej i grupy kontrolnej
Możliwości losowego przydziału przy ograniczonych zasobach
Losowanie w przypadku nadsubskrybcji (większy popyt na program niż podaż miejsc) Osób kwalifikowalnych jest więcej, niż wolnych miejsc w ramach programu
Losowanie w przypadku nadsubskrybcji: Szeroko zakrojone szkolenie zawodowe w Turcji
Losowanie ukierunkowane Losowe wyłączenie niektórych osób
Losowanie ukierunkowane Losowanie z pozostałych osób, które są kwalifikowane
okres ewaluacji Losowa decyzja o czasie (momencie, edycji) udziału w programie Przed W trakcie Po Czas
Losowa decyzja odnośnie czasu udziału w programie: Urzędy pracy w Essex, Wielka Brytania
Losowy przydział wartości w programie
Próbka losowa to nie to samo co losowy przydział! Uczestnicy programu Nie uczestniczący w programie Losowani próbki z dwóch grup, nie czyni ich porównywalnymi!
Próbka losowa to nie to samo co losowy przydział! Uczestnicy programu Nie uczestniczący w programie Losowy przydział uczestników pozwala na porównywanie obu grup, to prawie to samo co klonowanie!
Należy rozważyć Podsumowanie: możliwości losowania 1. Zasady doboru grupy docelowej: Kto się kwalifikuje do programu? Czy uczestnictwo w programie jest ograniczone, czy może w pełni otwarte? 2. Zasoby: Czy zasoby w ramach programu są wystarczające, aby dotrzeć do wszystkich kwalifikowalnych uczestników? 3. Czas: W jaki sposób przyjmuje się potencjalnych uczestników programu - wszystkich jednocześnie czy etapami?
Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech interwencji, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?
Kto ma odnieść korzyści z programu? Cała populacja Populacja docelowa Osoby niekwalifikowane
Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech programu, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?
Testowanie różnych wariantów programu Podstawow a konstrukcja Osoby indywidualne/klastry Metody randomizacji Wyłączone z ewaluacji Grupa eksperymentalna 1 Cała Populacja Populacja docelowa Grupa eksperymentalna 2 Próba poddana ewaluacji Przydział losowy Grupa eksperymentalna 3 Grupa kontrolna
Łączone warianty programu Osoby indywidualne/klastry Działania wielokrotne/łączone Metody randomizacji Wyłączone z ewaluacji Populacja docelowa T 1 C 1 Próba poddana ewaluacji Przydział losowy T 2 T1*T2 T2 C 2 T1 C
Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech programu, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?
Jak przeprowadzić losowanie? Jednostka INDYWIDUALNA: np. uczeń/uczennica, matka, ojciec, gospodarstwo Jednostka KLASTROWA: np. klasa, przychodnia, wieś
Jak przeprowadzić losowanie? Osoby indywidualne czy klastry?
Jak przeprowadzić losowanie? Osoba indywidualna
Jak przeprowadzić losowanie? Klaster (grupa)
Jak przeprowadzić losowanie? Na przykład szkoła
Jak przeprowadzić losowanie? Istotne czynniki 1. Jednostka wdrażająca 2. Efekty spillover 3. Jednostka doboru próby i moc statystyczna 4. Etyka i zasady fair play
Jak przeprowadzić losowanie? Społeczność Szkoła Klasa Uczeń/uczennica Jednostka powinna być co najmniej na poziomie jednostki pośredniczącej w programie Przykład: program jest skierowany do klas Randomizacja może się odbywać na poziomach klasy, szkoły, gminy
Jak przeprowadzić losowanie? 1. Jednostka wdrażająca 2. Oddziaływanie zewnętrzne (efekt spillover): Osoba w grupie kontrolnej także korzysta z działania Praca z indywidualnym tutorem 3. Dobór próby i koszty 4. Etyka i zasady fair play Oddziaływanie (efekt spillover): uczniowie/ uczennice korzystający z programu rozmawiają z kolegami/koleżanka mi z klasy
Przeszacowanie/niedoszacowanie wpływu na skutek skutków ubocznych (efektów zewnętrznych) Wpływ Zmierzony wpływ Oddziaływanie Prawdziwy wpływ Działanie Grupa kontrolna
Większa jednostka losowania zmniejsza ryzyko skutków ubocznych (efektów zewnętrznych) Przykład: losowaniena poziomie szkoły w celu zmniejszenia interakcji pomiędzy uczniami/uczennicami z grup eksperymentalnej i kontrolnej Szkoła Uczeń/uczennica
Pytanie: Czy w następujących interwencjach zachodzi ryzyko wystąpienia skutków ubocznych? Przykład 1: Program szkoleń pod kątem znalezienia zatrudnienia Osoby bezrobotne w grupie kontrolnej mają mniejsze szanse na znalezienie pracy wskutek programu, jeśli dostępne stanowiska pracy są przydzielane osobom, które ukończyły szkolenie. Zmierzony wpływ programu = miejsca pracy w grupie eksperymentalnej - miejsca pracy w grupie porównawczej. To powoduje, że zmierzone oddziaływanie programu jest wyższe niż rzeczywisty wpływ.
Pytanie: Czy w następujących programach zachodzi ryzyko wystąpienia skutków ubocznych? Przykład 2: Program edukacyjny z zakresu HIV-AIDS Osoby biorące udział w programie opowiedzą o nim znajomym Zmierzony wpływ programu = świadomość w zakresie HIV-aids w grupie eksperymentalnej - świadomość w zakresie HIV-aids w grupie porównawczej To powoduje, że zmierzone oddziaływanie jest niższe niż rzeczywiste
Jak przeprowadzić losowanie? A. Jednostka wdrażająca B. Efekty spillover C. Jednostka doboru próby i moc statystyczna D. Etyka i zasady fair play
Większa jednostka doboru losowego wymaga większej próby Taka sama moc statystyczna: Losowanie na poziomie szkoły: 800 w grupie eksperymentalnej i 800 w grupie kontrolnej... w 40 szkołach w grupie eksperymentalnej i 40 szkołach w grupie kontrolnej, 20 uczniów/ uczennic na szkołę Losowanie na poziomie uczniów/uczennic 393 w grupie eksperymentalnej i 393 w grupie kontrolnej Założenie korelacji wewnątrzklastrowej na poziomie 0,05
Jak przeprowadzić losowanie? A. Jednostka wdrażająca B. Efekty spillover C. Jednostka doboru próby i moc statystyczna D. Etyka i zasady fair play
Może się pojawić poczucie niesprawiedliwości w grupie kontrolnej, jeśli losowo dobiera się rówieśników/rówieśniczki, członków/członkinie społeczności
Efekt będzie mniejszy, jeśli w grupie kontrolnej będą wszyscy z danej grupy czy wsi
Jak przeprowadzić losowanie? A. Jednostka wdrażająca B. Efekty spillover C. Jednostka doboru próby i moc statystyczna D. Etyka i zasady fair play
Kilka przykładów
Na jakim poziomie należy przeprowadzić dobór losowy w przypadku programu dezinsekcji szkoły? A. Szkoła B. Nauczyciel(ka) C. Klasa D. Przychodnia E. Społeczność F. Uczeń/uczennica 0% 0% 0% 0% 0% 0% A. B. C. D. E. F.
Na jakim poziomie należy przeprowadzić dobór losowy w przypadku programu warunkowego transferu środków finansowych? A. Osoba indywidualna B. Gospodarstwo C. Wieś/społeczność 0% 0% 0% A. B. C.
Na jakim poziomie należy przeprowadzić dobór losowy w przypadku programu szkolenia nauczycieli/nauczycielek? A. Szkoła B. Nauczyciel(ka) C. Klasa D. Uczeń/uczennica 0% 0% 0% 0% A. B. C. D.
Spis 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech programu, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?
Czy konieczna jest ewaluacja wpływu? Należy rozważyć Cel: Maksymalizacja wiedzy 1. Czy znamy już odpowiedzi na stawiane pytania? 2. Czy jest to istotne dla polityki? a) Czy w razie sukcesu rząd mógłby zwiększyć skalę tego projektu? b) Czy jest to istotne pod względem strategicznym w celu zmniejszenia ubóstwa? 3. Czy ewaluacja wniesie coś do stanu wiedzy? 4. Czy program jest gotowy, aby na jego podstawie przeprowadzić ewaluację oddziaływania? 5. Czy istnieją opcje planowanego programu, które należy porównać? 6. Czy istnieje ograniczenie w zakresie zasobów, które mogłoby dać pole do przeprowadzenia doboru losowego?
Źródła wiedzy: Dostępne za darmo Strategic Impact Evaluation Fund, World Bank http://runningres.com/