Ewaluacja w polityce społecznej Kryteria ewaluacji skuteczność Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2018/2019
trafność Wpływ wyników pośrednich i ostatecznych na sytuację społecznoekonomiczną Potrzeby oszczędność Wpływ otoczenia na wyniki Wpływ wyników pośrednich na ostateczne Sytuacja społecznoekonomiczna Wpływ interwencji na wyniki pośrednie Polityka, program, projekt Cele Nakłady Działania Produkty wydajność użyteczność i trwałość koszty do skuteczności Otoczenie Wyniki ostateczne Wyniki pośrednie skuteczność Logika projektu z uwzględnieniem kryteriów ewaluacji Ewaluacja projektu pod względem kryteriów: Trafności (7) Oszczędności (8) Wydajności (9) Kosztów do skuteczności (10) Użyteczności i trwałości (11) Skuteczności (12) C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16
Zestawienie typowych kryteriów ewaluacji Skuteczność: jaki był wpływ produktów projektu na jego wyniki? Na ile wyniki projektu odpowiadają jego celom? Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, wyniku? Oszczędność jak najmniejsze nakłady przy ustalonych produktach Wydajność jak największe produkty przy ustalonych kosztach Koszty-skuteczność jak najlepszy stosunek kosztów do wyników Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów? Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów? Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?
Skuteczność projektu w kontekście celów, produktów i wyników projektu Podstawowe elementy skuteczności projektu Cele co chcemy osiągnąć Produkt za pomocą czego chcemy to osiągnąć Wynik to co zostało w rzeczywistości osiągnięte Przykład projektu jabłka dla studentów Cel zmniejszyć zachorowalność studentów Produkt dostarczenie studentom jabłek Wynik zmiana lub brak zmiany zachorowalności studentów związana z dostarczeniem jabłek studentom Pytanie o skuteczność: jaki wpływ miało dostarczenie jabłek (produkt projektu) na zachorowalność studentów?
Cztery rodzaje celów polityk, programów, projektów Czy to mamy? Czy chcemy to mieć? Tak Nie Tak Cel: zachować Cel: usunąć Nie Cel: osiągnąć Cel: unikać Przykładowa interpretacja: jeżeli polityka czy projekt mają rozwiązywać jakiś problem, to celem jest usuwanie lub zmniejszanie tego, co mamy, a czego nie chcemy mieć M. Q. Patton, Utilization-Focused Evaluation, 2008, s. 236
Cele projektu w stosunku do usługi, czy w stosunku do wyników? Cele w stosunku do usługi Udzielać dobrze skoordynowanych usług zdrowotnych dla nastolatek w ciąży Poprawić jakość usług z zakresu ochrony dzieci Udzielać usług edukacyjnych wysokiej jakości Pomagać rodzicom w decyzjach dotyczących pracy i życia rodzinnego Bardziej poprawne jest ustalanie celów projektów w stosunku do wyników, a nie do usług. Wyniki są tym co chcemy ostatecznie osiągnąć Cele w stosunku do wyników Nastolatki w ciąży rodzą zdrowe dzieci, którymi potem właściwie się opiekują Dzieci są bezpieczne, nie są wykorzystywane ani zaniedbywane Uczniowie mają odpowiednią wiedzę i umiejętności Dzieci rodziców, którzy chcą pracować mają odpowiednią opiekę M. Q. Patton, Utilization-Focused Evaluation, 2008, s. 242
Wyniki projektu jako rodzaj zmiany Rodzaj zmiany Zmiana warunków Zmiana statusu Zmiana zachowania Zmiana funkcjonowania Zmiana postawy Zmiana wiedzy Zmiana umiejętności Utrzymanie Zapobieganie Przykład Dziecko z rodziny zastępczej bezpiecznie wraca do rodziny biologicznej Bezrobotny stał się zatrudniony Wagarowicze zaczynają regularnie chodzić do szkoły Zwiększenie poziomu samoobsługi; punktualność w przychodzeniu do pracy Większa wiara w siebie Zrozumienie potrzeb dzieci w różnych stadiach rozwoju Poprawa płynności czytania Osoba starsza bezpiecznie pozostaje w domu Młodzież nie zażywa narkotyków M. Q. Patton, Utilization-Focused Evaluation,, 2008, s. 245
Skutki projektu Ocenianie projektów po skutkach Mamy zamierzenia i plany Podejmujemy działania, które mają rozmaite skutki Skutki projektu, wybrane rodzaje: Zamierzone, niezamierzone Przewidywane, nieprzewidywane Oceniane pozytywnie (korzyści, nabytki), oceniane negatywnie (koszty, ubytki) W krótkim, średnim i długim okresie Bezpośrednie, pośrednie Interesujące są skutki podobne do zamierzonych, ale niebędące wynikiem naszego projektu
Dziewięć możliwych ocen skuteczności projektu społecznego Wpływ na pozostałe cele Wpływ na cel zasadniczy Brak skutków ubocznych Pozytywne skutki uboczne Negatywne skutki uboczne Skuteczność dodatnia - osiągnięcie celu zasadniczego (1) Skuteczność prosta (działanie zgodne z planem) (2) Skuteczność plus korzyść (cel osiągnięty przy jednoczesnym wzmocnieniu innych celów) (3) Skuteczność plus strata (cel osiągnięty przy jednoczesnym poświęceniu części innych celów) Nieskuteczność - brak skutku Skuteczność ujemna (przeciwskuteczność) - efekty odwrotne do zamierzonych (4) Nieskuteczność prosta (np. same słowa i zero czynów w ramach projektu) (7) Przeciwskuteczność prosta (wynik odwrotny do zamierzonego) (5) Nieskuteczność plus korzyść (główny cel nieosiągnięty przy jednoczesnym uzyskaniu pozytywnych skutków ubocznych) (8) Przeciwskuteczność plus korzyść (wynik odwrotny w przypadku celu zasadniczego przy jednoczesnym uzyskaniu pozytywnych skutków ubocznych) (6) Nieskuteczność plus strata (główny cel nieosiągnięty przy dodatkowych negatywnych skutkach ubocznych) (9) Przeciwskuteczność plus strata (efekt odwrotny w przypadku celu zasadniczego przy jednoczesnym wystąpieniu negatywnych skutków ubocznych) Za: C. Demmke, T. Moilanen, Efektywność dobrego rządzenia i etyki w administracji centralnej: ocena wyników reform w kontekście kryzysu finansowego, 2011
Zmiana poziomu wyników Wyniki projektu w sensie brutto i netto Wyniki Wyniki brutto: A Wyniki netto (wpływ projektu): B Wyniki bez projektu: C = A - B Poziom wyników po projekcie B A C Co by było, gdyby nie zrealizowano projektu? Myślenie kontrfaktyczne Stan przed projektem Przed projektem W trakcie projektu Po projekcie Czas P.H. Rossi, M.W. Lipsey, H.E. Freeman, Evaluation: A Systematic Approach, 2004, s. 207