Projektowanie eksperymentu część 2

Transkrypt

1 Warsztaty szkoleniowe z zakresu ewaluacji wpływu instrumentów Aktywnych Polityk Rynku Pracy Projektowanie eksperymentu część 2 Lucilla Bruni, Kraków, 5 czerwca 2017 r.

2 Idealne badanie eksperymentalne klony a później sklonowanie docelowych beneficjentów

3 Idealne badanie eksperymentalne klony przydzial losowy

4 Video: What is an Impact Evaluation

5 Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech interwencji, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?

6 Podstawowa konstrukcja eksperymentu kontrolowanego Osoby indywidualne/klastry Działania wielokrotne/łączone Populacja docelowa Wyłączone z ewaluacji Dobór losowy próby Próba poddana ewaluacji Badanie początkowe Przydział losowy Grupa eksperymentalna Grupa kontrolna Badanie końcowe Wiarygodność zewnętrzna Wiarygodność wewnętrzna Kontrola zbilansowania Pomiar wpływu

7 Losowy dobór próby i losowy przydział Losowy dobór próby z obszaru zainteresowania

8 Losowy dobór próby i losowy przydział Losowy dobór próby spośród obszaru zainteresowania Losowy przydział do grupy eksperymentalnej i grupy kontrolnej Losowy dobór próby z grupy eksperymentalnej i grupy kontrolnej

9 Możliwości losowego przydziału przy ograniczonych zasobach

10 Losowanie w przypadku nadsubskrybcji (większy popyt na program niż podaż miejsc) Osób kwalifikowalnych jest więcej, niż wolnych miejsc w ramach programu

11 Losowanie w przypadku nadsubskrybcji: Szeroko zakrojone szkolenie zawodowe w Turcji

12 Losowanie ukierunkowane Losowe wyłączenie niektórych osób

13 Losowanie ukierunkowane Losowanie z pozostałych osób, które są kwalifikowane

14 okres ewaluacji Losowa decyzja o czasie (momencie, edycji) udziału w programie Przed W trakcie Po Czas

15 Losowa decyzja odnośnie czasu udziału w programie: Urzędy pracy w Essex, Wielka Brytania

16 Losowy przydział wartości w programie

17 Próbka losowa to nie to samo co losowy przydział! Uczestnicy programu Nie uczestniczący w programie Losowani próbki z dwóch grup, nie czyni ich porównywalnymi!

18 Próbka losowa to nie to samo co losowy przydział! Uczestnicy programu Nie uczestniczący w programie Losowy przydział uczestników pozwala na porównywanie obu grup, to prawie to samo co klonowanie!

19 Należy rozważyć Podsumowanie: możliwości losowania 1. Zasady doboru grupy docelowej: Kto się kwalifikuje do programu? Czy uczestnictwo w programie jest ograniczone, czy może w pełni otwarte? 2. Zasoby: Czy zasoby w ramach programu są wystarczające, aby dotrzeć do wszystkich kwalifikowalnych uczestników? 3. Czas: W jaki sposób przyjmuje się potencjalnych uczestników programu - wszystkich jednocześnie czy etapami?

20 Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech interwencji, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?

21 Kto ma odnieść korzyści z programu? Cała populacja Populacja docelowa Osoby niekwalifikowane

22 Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech programu, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?

23 Testowanie różnych wariantów programu Podstawow a konstrukcja Osoby indywidualne/klastry Metody randomizacji Wyłączone z ewaluacji Grupa eksperymentalna 1 Cała Populacja Populacja docelowa Grupa eksperymentalna 2 Próba poddana ewaluacji Przydział losowy Grupa eksperymentalna 3 Grupa kontrolna

24 Łączone warianty programu Osoby indywidualne/klastry Działania wielokrotne/łączone Metody randomizacji Wyłączone z ewaluacji Populacja docelowa T 1 C 1 Próba poddana ewaluacji Przydział losowy T 2 T1*T2 T2 C 2 T1 C

25 Agenda 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech programu, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?

26 Jak przeprowadzić losowanie? Jednostka INDYWIDUALNA: np. uczeń/uczennica, matka, ojciec, gospodarstwo Jednostka KLASTROWA: np. klasa, przychodnia, wieś

27 Jak przeprowadzić losowanie? Osoby indywidualne czy klastry?

28 Jak przeprowadzić losowanie? Osoba indywidualna

29 Jak przeprowadzić losowanie? Klaster (grupa)

30 Jak przeprowadzić losowanie? Na przykład szkoła

31 Jak przeprowadzić losowanie? Istotne czynniki 1. Jednostka wdrażająca 2. Efekty spillover 3. Jednostka doboru próby i moc statystyczna 4. Etyka i zasady fair play

32 Jak przeprowadzić losowanie? Społeczność Szkoła Klasa Uczeń/uczennica Jednostka powinna być co najmniej na poziomie jednostki pośredniczącej w programie Przykład: program jest skierowany do klas Randomizacja może się odbywać na poziomach klasy, szkoły, gminy

33 Jak przeprowadzić losowanie? 1. Jednostka wdrażająca 2. Oddziaływanie zewnętrzne (efekt spillover): Osoba w grupie kontrolnej także korzysta z działania Praca z indywidualnym tutorem 3. Dobór próby i koszty 4. Etyka i zasady fair play Oddziaływanie (efekt spillover): uczniowie/ uczennice korzystający z programu rozmawiają z kolegami/koleżanka mi z klasy

34 Przeszacowanie/niedoszacowanie wpływu na skutek skutków ubocznych (efektów zewnętrznych) Wpływ Zmierzony wpływ Oddziaływanie Prawdziwy wpływ Działanie Grupa kontrolna

35 Większa jednostka losowania zmniejsza ryzyko skutków ubocznych (efektów zewnętrznych) Przykład: losowaniena poziomie szkoły w celu zmniejszenia interakcji pomiędzy uczniami/uczennicami z grup eksperymentalnej i kontrolnej Szkoła Uczeń/uczennica

36 Pytanie: Czy w następujących interwencjach zachodzi ryzyko wystąpienia skutków ubocznych? Przykład 1: Program szkoleń pod kątem znalezienia zatrudnienia Osoby bezrobotne w grupie kontrolnej mają mniejsze szanse na znalezienie pracy wskutek programu, jeśli dostępne stanowiska pracy są przydzielane osobom, które ukończyły szkolenie. Zmierzony wpływ programu = miejsca pracy w grupie eksperymentalnej - miejsca pracy w grupie porównawczej. To powoduje, że zmierzone oddziaływanie programu jest wyższe niż rzeczywisty wpływ.

37 Pytanie: Czy w następujących programach zachodzi ryzyko wystąpienia skutków ubocznych? Przykład 2: Program edukacyjny z zakresu HIV-AIDS Osoby biorące udział w programie opowiedzą o nim znajomym Zmierzony wpływ programu = świadomość w zakresie HIV-aids w grupie eksperymentalnej - świadomość w zakresie HIV-aids w grupie porównawczej To powoduje, że zmierzone oddziaływanie jest niższe niż rzeczywiste

38 Jak przeprowadzić losowanie? A. Jednostka wdrażająca B. Efekty spillover C. Jednostka doboru próby i moc statystyczna D. Etyka i zasady fair play

39 Większa jednostka doboru losowego wymaga większej próby Taka sama moc statystyczna: Losowanie na poziomie szkoły: 800 w grupie eksperymentalnej i 800 w grupie kontrolnej... w 40 szkołach w grupie eksperymentalnej i 40 szkołach w grupie kontrolnej, 20 uczniów/ uczennic na szkołę Losowanie na poziomie uczniów/uczennic 393 w grupie eksperymentalnej i 393 w grupie kontrolnej Założenie korelacji wewnątrzklastrowej na poziomie 0,05

40 Jak przeprowadzić losowanie? A. Jednostka wdrażająca B. Efekty spillover C. Jednostka doboru próby i moc statystyczna D. Etyka i zasady fair play

41 Może się pojawić poczucie niesprawiedliwości w grupie kontrolnej, jeśli losowo dobiera się rówieśników/rówieśniczki, członków/członkinie społeczności

42 Efekt będzie mniejszy, jeśli w grupie kontrolnej będą wszyscy z danej grupy czy wsi

43 Jak przeprowadzić losowanie? A. Jednostka wdrażająca B. Efekty spillover C. Jednostka doboru próby i moc statystyczna D. Etyka i zasady fair play

44 Kilka przykładów

45 Na jakim poziomie należy przeprowadzić dobór losowy w przypadku programu dezinsekcji szkoły? A. Szkoła B. Nauczyciel(ka) C. Klasa D. Przychodnia E. Społeczność F. Uczeń/uczennica 0% 0% 0% 0% 0% 0% A. B. C. D. E. F.

46 Na jakim poziomie należy przeprowadzić dobór losowy w przypadku programu warunkowego transferu środków finansowych? A. Osoba indywidualna B. Gospodarstwo C. Wieś/społeczność 0% 0% 0% A. B. C.

47 Na jakim poziomie należy przeprowadzić dobór losowy w przypadku programu szkolenia nauczycieli/nauczycielek? A. Szkoła B. Nauczyciel(ka) C. Klasa D. Uczeń/uczennica 0% 0% 0% 0% A. B. C. D.

48 Spis 1. Możliwości przeprowadzenia doboru losowego 2. Zdefiniowanie grupy docelowej 3. Zdefiniowanie cech programu, które będą podlegały ewaluacji 4. Przeprowadzanie losowania 5. Czy należy ewaluować?

49 Czy konieczna jest ewaluacja wpływu? Należy rozważyć Cel: Maksymalizacja wiedzy 1. Czy znamy już odpowiedzi na stawiane pytania? 2. Czy jest to istotne dla polityki? a) Czy w razie sukcesu rząd mógłby zwiększyć skalę tego projektu? b) Czy jest to istotne pod względem strategicznym w celu zmniejszenia ubóstwa? 3. Czy ewaluacja wniesie coś do stanu wiedzy? 4. Czy program jest gotowy, aby na jego podstawie przeprowadzić ewaluację oddziaływania? 5. Czy istnieją opcje planowanego programu, które należy porównać? 6. Czy istnieje ograniczenie w zakresie zasobów, które mogłoby dać pole do przeprowadzenia doboru losowego?

50 Źródła wiedzy: Dostępne za darmo Strategic Impact Evaluation Fund, World Bank