Ewaluacja w polityce społecznej Kryteria ewaluacji efektywność Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2018/2019
trafność Potrzeby oszczędność Sytuacja społecznoekonomiczna Organizacja lub projekt wydajność użyteczność i trwałość Otoczenie Wyniki ostateczne Wyniki pośrednie Cele Nakłady Działania Produkty koszty do skuteczności skuteczność Sprawność działania ramy pojęciowe Ewaluacja projektu pod względem kryteriów: Trafności (7) Oszczędności (8) Wydajność (9) Kosztów do skuteczności (10) Użyteczności i trwałości (11) Skuteczności (12) C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16
Zestawienie typowych kryteriów ewaluacji Skuteczność: jaki był wpływ produktów projektu na jego wyniki? Na ile wyniki projektu odpowiadają jego celom? Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, wyniku? Oszczędność jak najmniejsze nakłady przy ustalonych produktach Wydajność jak największe produkty przy ustalonych kosztach Koszty-skuteczność jak najlepszy stosunek kosztów do wyników (wpływu) Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów? Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów? Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?
Efekt a skutek możliwe nieporozumienia Efektywność to słowo, które pochodzi od efektu, a efekt to skutek, lub rodzaj skutku Wnioski Efektywność może być mylona ze skutecznością Zamiast efektywności można stosować nazwę ekonomiczność, gdyż ekonomizacja działania polega na poprawie bilansu jego korzyści i kosztów. Inna alternatywna nazwa dla efektywności to gospodarność, jest to nazwa jednego z kryteriów kontroli Najwyższej Izby Kontroli
Wysiłek i osiągnięcia 1. Planujemy coś osiągnąć (pożądane wyniki działania) 2. Żeby to osiągnąć potrzebne są zasoby i działania 3. Zasoby i działania kosztują, można je wycenić (wycena nakładów) 4. Zdobywamy zasoby i działamy 5. W wyniku zużycia zasobów i wykonania działań osiągamy skutki (produkty, wyniki) 6. Wartość produktów, wyników można również wycenić (wycena produktów, wyników) 7. Porównujemy wycenione nakłady z wycenionymi produktami, wynikami 8. Ocena wyników porównania
Wycena i bilansowanie nakładów i produktów Nakłady Projekt X działania Produkty WYCENA WYCENA Wartość pieniężna nakładów WN WN-WP>0 Koszty netto PORÓWNANIE Możliwe wyniki WN-WP=0 Wartość pieniężna produktów WP WN-WP<0 Korzyści netto Produktem w projektach społecznych są świadczenia, rzeczy lub usługi udzielane adresatom. Pytanie o nakłady dotyczy tego, co trzeba mieć, aby zrealizować projekt. Pytanie o produkty dotyczy tego, co zostało dostarczone adresatom
Wydajność (produktywność) ilość, jakość, cena 1. 2. Produkt Nakład Ilość produktu Ilość nakładu Ale aby można było podzielić w liczniku i mianowniku powinny być liczby Ale liczy się nie tylko ilość, ale również jakość Problem z definiowaniem produktu i nakładu w projektach społecznych, które polegają na udzielaniu usług 3. 4. Ilość produktu Ilość nakładu Ilość produktu Ilość nakładu x x x x Jakość produktu Jakość nakładu Cena produktu Cena nakładu Ale na rynku mamy ceny Wydajność (produktywność) ekonomiczna Problem: czy cena dokładnie informuje o jakości, np. czy zawsze wyższa cena oznacza wyższą jakość? P. Dunleavy, L. Carrera, Growing the Productivity of Government Services, 2013
Nakłady do produktów poziomy wydajności w zależności od oceny skali nakładów i produktów Ocena skali nakładów Ocena skali produktów Duże Małe Duże Średnia efektywność Niska efektywność Małe Wysoka efektywność Średnia efektywność
Wydajność (produktywność) cztery możliwości zmiany na przykładzie Wskaźnik produktów, np. liczba obsłużonych klientów Więcej obsłużonych klientów i mniej C A Mniej obsłużonych klientów i mniej B Więcej obsłużonych klientów i więcej D Mniej obsłużonych klientów i więcej Opis zmiany A wzrost wydajności B zależy od porównania wzrostu liczby obsłużonych ze wzrostem liczby (np. większy wzrost obsłużonych niż oznacza wzrost wydajności) C zależy od porównania spadku liczby obsłużonych ze spadkiem liczby D spadek wydajności Wskaźnik nakładów, np. liczba
Odmiany analizy koszty-korzyści Czy efektywność jest jedynym celem projektu? Czy wszystkie wyniki projektu da się przedstawić na skali pieniężnej? Tak Nie Tak Nie Formalna analiza kosztykorzyści Zmodyfikowana analiza koszty-korzyści Jakościowa analiza kosztykorzyści Analiza koszty-skuteczność: z ustalonym budżetem lub z ustaloną skutecznością Analiza z wieloma celami W projektach społecznych ważne są też inne cele niż efektywność, a więc właściwa dla nich jest analiza koszty skuteczność Na podstawie A. E. Boardman, Cost-Benefit Analysis: Concepts and Practice, 4 wydanie 2014
Koszty do skuteczności 1. Badamy wpływ produktów projektu na wyniki i uzyskujemy dane o wpływie, np. nasze usługi zwiększyły dobrostan odbiorców średnio o 10% 2. Szacujemy koszty produktów projektu, czyli ile kosztowało udzielenie usług (projekt), np. nasze usługi kosztowały 50 tys. złotych Wynik dotyczący stosunku kosztów do skuteczności: osiągnęliśmy wynik zwiększenia o 10% dobrostanu odbiorców, co kosztowało nas 50 tys. zł Wynik w porównaniu: jeżeli ktoś osiągnął również zwiększenie o 10%, ale kosztowało to 40 tys. zł, wówczas ten projekt jest lepszy pod względem stosunku kosztów do skuteczności
Wycena i bilansowanie nakładów i wpływu Nakłady Projekt X działania Produkt Wpływ WYCENA WYCENA Wartość pieniężna nakładów WN WN-WW>0 Koszty netto PORÓWNANIE Możliwe wyniki WN-WW=0 WN-WW<0 Korzyści netto Wartość pieniężna wpływu WW Oszacowanie wartości pieniężnej uzyskanego wpływu jest trudne (np. jak wycenić zmianę postaw, zmianę statusu), m.in. dlatego stosowana jest ocena koszty do skuteczności, a nie koszty do korzyści
Wydajność (produktywność) w stosunku do wyników cztery możliwości zmiany na przykładzie Wskaźnik wyniku, np. liczba usamodzielnionych klientów Więcej usamodzielnionych klientów i mniej C A Mniej usamodzielnionych klientów i mniej B Więcej usamodzielnionych klientów i więcej D Mniej usamodzielnionych klientów i więcej Opis zmiany A wzrost wydajności B zależy od porównania wzrostu liczby usamodzielnionych ze wzrostem liczby (np. większy wzrost usamodzielnionych niż oznacza wzrost wydajności) C zależy od porównania spadku liczby usamodzielnionych ze spadkiem liczby D spadek wydajności Wskaźnik nakładów, np. liczba
Skuteczność a efektywność hierarchia ważności 1. Skuteczne są projekty, których skutki osiągane (wyniki uzyskane dzięki produktom) zgodne są z zamierzonymi (z celami) 2. Efektywne są programy, które mają najlepszy stosunek produktów (wyników) do nakładów Hierarchia ważności: najpierw program powinien być skuteczny (osiąganie wpływu zgodnego z celami, potrzebami), a następnie należy zadbać o jego efektywność