Ewaluacja w polityce społecznej Ewaluacja oparta na teorii projektu Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2018/2019
Podejścia do ewaluacji, modele ewaluacji W jednej z publikacji* wyróżniono 23 podejścia do ewaluacji, podzielone one zostały na kilka kategorii Pseudo-ewaluacje (7 podejść, np. badania prowadzone pod wpływem polityki) Quasi-ewaluacje (8 podejść, np. podejście eksperymentalne i quasieksperymentalne, ewaluacja oparta na teorii projektu omówiona poniżej) Ewaluacje nastawione na doskonalenie i rozliczalność (3 podejścia, w tym podejście CIPP omówione na kolejnym wykładzie) Ewaluacje nastawione na cele społeczne i rzecznictwo (4 podejścia) Ewaluacje eklektyczne (2 podejścia) *D. L. Stufflebeam, C. L. S. Coryn, Evaluation Theory, Models, and Applications, 2014
Teoria projektu a teoria problemu Teoria projektu Czynnik 1 zwiększający problem Teoria problemu Projekt oddziaływania na czynniki 1 i 2 Czynnik 2 zmniejszający problem Problem, który ma rozwiązać projekt Czynnik 3 zmniejszający problem Teoria problemu opisuje zależność między czynnikami wpływającymi na problem (zwiększająco lub zmniejszająco) a samym problemem. Na kolejnych slajdach mowa o wynikach projektu, które w kontekście tego schematu należy interpretować jako stany znaczącego zmniejszenia lub całkowitego usunięcia problemu poprzez odziaływanie na czynniki zwiększające i zmniejszające problem. Teoria projektu opisuje zależność między działaniami (produktami) projektu a czynnikami wpływającymi na problem, czyli na schemacie oddziaływania destymulujące (zmniejszające) czynnik 1 oraz stymulujące (zwiększające) czynnik 2.
Koncepcje powiązań projektu z wynikami Koncepcja wpływu bezpośredniego i jej ograniczenia Projekt Bezpośredni wpływ Wynik Czy są projekty, które osiągają wyniki bezpośrednio? Wywieranie wpływu na zachowania zawsze są zapośredniczone poprzez bodźce (np. kary, nagrody, kazania) Koncepcja wpływu pośredniego z jednym mediatorem Projekt Mediator Wpływ zapośredniczony Wynik ostateczny Mediator: czynnik na który należy oddziałać, aby osiągnąć wynik ostateczny Koncepcja wpływu pośredniego z wieloma mediatorami i moderatorami Projekt Moderator Mediator Mediator Moderator Wynik ostateczny Dwie ścieżki oddziaływania projektu na wynik ostateczny Moderator: czynnik zewnętrzny, który wpływa na siłę oddziaływania projektu w relacji projekt - mediator lub mediator - wynik S I. Donaldson, Program Theory-Driven Evaluation Science: Strategies and Approaches, 2007
Miejsce teorii zmiany w logice projektu społecznego Przygotowanie projektu Ostateczne wyniki projektu Teoria zmiany Pośrednie wyniki projektu Teoria zmiany Produkt projektu Działania / interwencja Nakłady na projekt Realizacja projektu M. Koopman i in red., Performance Measurement in the Dutch Social Rented Sector, 2008, s. 20. Modyfikacje R.S.
Przykłady prostych teorii zmiany Wynik pośredni Wynik ostateczny Teoria zmiany w projekcie kampanii medialnej Kampania medialna na temat zdrowego żywienia Wzrost wiedzy i świadomości w społeczeństwie Zdrowsza dieta Wyniki pośrednie 1 Kwalifikacje zawodowe Wynik pośredni 2 Wynik ostateczny Teoria zmiany w projekcie szkolenia zawodowego Szkolenie zawodowe Umiejętności poszukiwania pracy Lepsza praca Poprawa sytuacji materialnej Motywacja do pracy P. R. Rossi, M. W. Lipsey, H. E. Freeman, Evaluation: A Systematic Approach, 2004, s. 143
Przykłady prostych teorii zmiany cd. Wyniki pośrednie Teoria zmiany w projekcie innowacji w lekcjach matematyki Lekcje matematyki wspomagane komputerowo w szkole średniej Wzrost wiedzy matematycznej uczniów Wzrost umiejętności komputerowych uczniów Wyniki ostateczne Praktyczne umiejętności życiowe Zmniejszenie liczby nauczycieli Zmniejszone koszty systemu edukacyjnego Rossi, Lipsey, Freeman 2004, s. 143
Zintegrowana ewaluacja realizacji i osiągania wyników projektu w podejściu linearnym Projekt i jego uzasadnienie Realizacja projektu Interwencja (produkt) Przyczyny (mediatory i moderatory) Wyniki Sukces / porażka implementacji i realizacji Ewaluacyjna interpretacja informacji uzyskanych o realizacji projektu, np. nie udało się zrealizować jednego z modułów projektu, realizacja jednego z modułów przebiegała z licznymi trudnościami Sukces / porażka teorii działania Sukces / porażka teorii zmiany Ewaluacyjna interpretacja informacji uzyskanych o wpływie produktów projektu, np. nie udało się uzyskać wpływu na mediator, wpływ na mediator był mniejszy niż zakładano, wpływ mediatora na wynik ostateczny nie wystąpił, wpływ mediatora na wynik ostateczny był za mały H.-T. Chen, Theory-Driven Evaluation, w: S. Mathison red., Encyclopedia of Evaluation, 2005, s. 417
Zasoby Organizacja realizująca MODEL DZIAŁANIA Organizacje powiązane oraz partnerzy w społeczności Katalog usług i procedury ich udzielania Środowisko Projekt Koncepcja teorii projektu podejście nielinearne Kontekst otoczenia Realizatorzy Grupy docelowe MODEL ZMIANY Realizacja programu Interwencja Determinanty Wyniki H.-T. Chen, Program Theory, w: S. Mathison red., Encyclopedia of Evaluation, 2005, s. 341
Zastosowanie teorii programu do interpretacji wyników ewaluacji Czy implementacja interwencji była odpowiednia? Czy wystarczające były zaangażowanie, rekrutacja, wypełnianie zaleceń? Czy wyniki pośrednie zostały osiągnięte? Czy wyniki ostateczne zostały osiągnięte? Interpretacja Niepowodzenie implementacji Niepowodzenie zaangażowania lub zgodności (pierwszy łącznik przyczynowo-skutkowy) Niepowodzenie teorii (wcześniejszy łącznik przyczynowo-skutkowy) Niepowodzenie teorii (późniejszy łącznik przyczynowo-skutkowy) Zgodność z teorią Niepowodzenie teorii (inna ścieżka przyczynowo-skutkowa) S. C. Funnell, P. J. Rogers,, Purposeful Program Theory: Effective Use of Theories of Change and Logic Models, 2011
Przykład teorii konkretnego projektu Jabłka dla studentów Przygotowanie projektu Studenci są zdrowi Teoria zmiany Poziom witaminy C wzrasta Teoria zmiany Studenci konsumują jabłka Działania / interwencja Wynajęcie personelu, zakup jabłek Realizacja projektu M. Koopman i in red., Performance Measurement in the Dutch Social Rented Sector, 2008, s. 20. Modyfikacje i adaptacja R.S.
Zastosowanie teorii projektu do interpretacji wyników ewaluacji projekt Jabłka dla studentów Czy jabłka zostały dostarczone? Czy jabłka zostały zjedzone? Czy poziom witaminy C we krwi wzrósł? Czy poprawił się poziom zdrowia? Interpretacja Niepowodzenie implementacji Niepowodzenie w zaangażowaniu i zgodności zachowań (pierwszy łącznik przyczynowy) Niepowodzenie teorii (wcześniejszy łącznik przyczynowy) Niepowodzenie teorii (późniejszy łącznik przyczynowy) Zgodność z teorią Częściowe niepowodzenie teorii (działa tylko w pewnych kontekstach Niepowodzenie teorii (odmienna ścieżka przyczynowa) S. C. Funnell, P. J. Rogers,, Purposeful Program Theory: Effective Use of Theories of Change and Logic Models, 2011