Ewaluacja w polityce społecznej

Transkrypt

1 Ewaluacja w polityce społecznej Kryteria ewaluacji efektywność Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2018/2019

2 trafność Potrzeby oszczędność Sytuacja społecznoekonomiczna Organizacja lub projekt wydajność użyteczność i trwałość Otoczenie Wyniki ostateczne Wyniki pośrednie Cele Nakłady Działania Produkty koszty do skuteczności skuteczność Sprawność działania ramy pojęciowe Ewaluacja projektu pod względem kryteriów: Trafności (7) Oszczędności (8) Wydajność (9) Kosztów do skuteczności (10) Użyteczności i trwałości (11) Skuteczności (12) C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16

3 Zestawienie typowych kryteriów ewaluacji Skuteczność: jaki był wpływ produktów projektu na jego wyniki? Na ile wyniki projektu odpowiadają jego celom? Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, wyniku? Oszczędność jak najmniejsze nakłady przy ustalonych produktach Wydajność jak największe produkty przy ustalonych kosztach Koszty-skuteczność jak najlepszy stosunek kosztów do wyników (wpływu) Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów? Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów? Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?

4 Efekt a skutek możliwe nieporozumienia Efektywność to słowo, które pochodzi od efektu, a efekt to skutek, lub rodzaj skutku Wnioski Efektywność może być mylona ze skutecznością Zamiast efektywności można stosować nazwę ekonomiczność, gdyż ekonomizacja działania polega na poprawie bilansu jego korzyści i kosztów. Inna alternatywna nazwa dla efektywności to gospodarność, jest to nazwa jednego z kryteriów kontroli Najwyższej Izby Kontroli

5 Wysiłek i osiągnięcia 1. Planujemy coś osiągnąć (pożądane wyniki działania) 2. Żeby to osiągnąć potrzebne są zasoby i działania 3. Zasoby i działania kosztują, można je wycenić (wycena nakładów) 4. Zdobywamy zasoby i działamy 5. W wyniku zużycia zasobów i wykonania działań osiągamy skutki (produkty, wyniki) 6. Wartość produktów, wyników można również wycenić (wycena produktów, wyników) 7. Porównujemy wycenione nakłady z wycenionymi produktami, wynikami 8. Ocena wyników porównania

6 Wycena i bilansowanie nakładów i produktów Nakłady Projekt X działania Produkty WYCENA WYCENA Wartość pieniężna nakładów WN WN-WP>0 Koszty netto PORÓWNANIE Możliwe wyniki WN-WP=0 Wartość pieniężna produktów WP WN-WP<0 Korzyści netto Produktem w projektach społecznych są świadczenia, rzeczy lub usługi udzielane adresatom. Pytanie o nakłady dotyczy tego, co trzeba mieć, aby zrealizować projekt. Pytanie o produkty dotyczy tego, co zostało dostarczone adresatom

7 Wydajność (produktywność) ilość, jakość, cena Produkt Nakład Ilość produktu Ilość nakładu Ale aby można było podzielić w liczniku i mianowniku powinny być liczby Ale liczy się nie tylko ilość, ale również jakość Problem z definiowaniem produktu i nakładu w projektach społecznych, które polegają na udzielaniu usług Ilość produktu Ilość nakładu Ilość produktu Ilość nakładu x x x x Jakość produktu Jakość nakładu Cena produktu Cena nakładu Ale na rynku mamy ceny Wydajność (produktywność) ekonomiczna Problem: czy cena dokładnie informuje o jakości, np. czy zawsze wyższa cena oznacza wyższą jakość? P. Dunleavy, L. Carrera, Growing the Productivity of Government Services, 2013

8 Nakłady do produktów poziomy wydajności w zależności od oceny skali nakładów i produktów Ocena skali nakładów Ocena skali produktów Duże Małe Duże Średnia efektywność Niska efektywność Małe Wysoka efektywność Średnia efektywność

9 Wydajność (produktywność) cztery możliwości zmiany na przykładzie Wskaźnik produktów, np. liczba obsłużonych klientów Więcej obsłużonych klientów i mniej C A Mniej obsłużonych klientów i mniej B Więcej obsłużonych klientów i więcej D Mniej obsłużonych klientów i więcej Opis zmiany A wzrost wydajności B zależy od porównania wzrostu liczby obsłużonych ze wzrostem liczby (np. większy wzrost obsłużonych niż oznacza wzrost wydajności) C zależy od porównania spadku liczby obsłużonych ze spadkiem liczby D spadek wydajności Wskaźnik nakładów, np. liczba

10 Odmiany analizy koszty-korzyści Czy efektywność jest jedynym celem projektu? Czy wszystkie wyniki projektu da się przedstawić na skali pieniężnej? Tak Nie Tak Nie Formalna analiza kosztykorzyści Zmodyfikowana analiza koszty-korzyści Jakościowa analiza kosztykorzyści Analiza koszty-skuteczność: z ustalonym budżetem lub z ustaloną skutecznością Analiza z wieloma celami W projektach społecznych ważne są też inne cele niż efektywność, a więc właściwa dla nich jest analiza koszty skuteczność Na podstawie A. E. Boardman, Cost-Benefit Analysis: Concepts and Practice, 4 wydanie 2014

11 Koszty do skuteczności 1. Badamy wpływ produktów projektu na wyniki i uzyskujemy dane o wpływie, np. nasze usługi zwiększyły dobrostan odbiorców średnio o 10% 2. Szacujemy koszty produktów projektu, czyli ile kosztowało udzielenie usług (projekt), np. nasze usługi kosztowały 50 tys. złotych Wynik dotyczący stosunku kosztów do skuteczności: osiągnęliśmy wynik zwiększenia o 10% dobrostanu odbiorców, co kosztowało nas 50 tys. zł Wynik w porównaniu: jeżeli ktoś osiągnął również zwiększenie o 10%, ale kosztowało to 40 tys. zł, wówczas ten projekt jest lepszy pod względem stosunku kosztów do skuteczności

12 Wycena i bilansowanie nakładów i wpływu Nakłady Projekt X działania Produkt Wpływ WYCENA WYCENA Wartość pieniężna nakładów WN WN-WW>0 Koszty netto PORÓWNANIE Możliwe wyniki WN-WW=0 WN-WW<0 Korzyści netto Wartość pieniężna wpływu WW Oszacowanie wartości pieniężnej uzyskanego wpływu jest trudne (np. jak wycenić zmianę postaw, zmianę statusu), m.in. dlatego stosowana jest ocena koszty do skuteczności, a nie koszty do korzyści

13 Wydajność (produktywność) w stosunku do wyników cztery możliwości zmiany na przykładzie Wskaźnik wyniku, np. liczba usamodzielnionych klientów Więcej usamodzielnionych klientów i mniej C A Mniej usamodzielnionych klientów i mniej B Więcej usamodzielnionych klientów i więcej D Mniej usamodzielnionych klientów i więcej Opis zmiany A wzrost wydajności B zależy od porównania wzrostu liczby usamodzielnionych ze wzrostem liczby (np. większy wzrost usamodzielnionych niż oznacza wzrost wydajności) C zależy od porównania spadku liczby usamodzielnionych ze spadkiem liczby D spadek wydajności Wskaźnik nakładów, np. liczba

14 Skuteczność a efektywność hierarchia ważności 1. Skuteczne są projekty, których skutki osiągane (wyniki uzyskane dzięki produktom) zgodne są z zamierzonymi (z celami) 2. Efektywne są programy, które mają najlepszy stosunek produktów (wyników) do nakładów Hierarchia ważności: najpierw program powinien być skuteczny (osiąganie wpływu zgodnego z celami, potrzebami), a następnie należy zadbać o jego efektywność