Ewaluacja w polityce społecznej

Transkrypt

1 Ewaluacja w polityce społecznej Kryteria ewaluacji użyteczność, trwałość, trafność Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2018/2019

2 trafność Potrzeby oszczędność Sytuacja społecznoekonomiczna Organizacja lub projekt wydajność użyteczność i trwałość koszty do skuteczności Otoczenie Wyniki ostateczne Wyniki pośrednie Cele Nakłady Działania Produkty skuteczność Sprawność działania ramy pojęciowe Ewaluacja projektu pod względem kryteriów: Trafności (7) Oszczędności (8) Wydajność (9) Kosztów do skuteczności (10) Użyteczności i trwałości (11) Skuteczności (12) C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16

3 Zestawienie typowych kryteriów ewaluacji Skuteczność: jaki był wpływ produktów projektu na jego wyniki? Na ile wyniki projektu odpowiadają jego celom? Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, wyniku? Oszczędność jak najmniejsze nakłady przy ustalonych produktach Wydajność jak największe produkty przy ustalonych kosztach Koszty-skuteczność jak najlepszy stosunek kosztów do wyników Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów? Użyteczność: na ile wyniki projektu zaspokajają potrzeby jego adresatów? Trwałość: jak długo będą trwać wyniki projektu po jego zakończeniu?

4 Trafność, użyteczność i trwałość wymagają określenia potrzeb 1. Trafność: porównujemy potrzeby z celami i projektu 2. Użyteczność: porównujemy potrzeby z wynikami projektu 3. Trwałość: porównujemy potrzeby z czasem trwania wyników projektu Stąd zasadnicze pytanie o to, jak rozumieć potrzeby, jak je operacjonalizować, jak je opisywać i mierzyć? Dla ewaluacji pod względem tych kryteriów niezbędne są też: 1) Określenie i opisanie celów projektu 2) Zidentyfikowanie wyników projektu na tle innych czynników (patrz skuteczność) 3) Zmierzenie czasu trwania wyników (skuteczność w czasie)

5 Potrzeby a pragnienia: ujęcie subiektywne i obiektywne Czy A potrzebuje X subiektywnie? Tzn. czy A jest przekonany, że X jest mu niezbędny? Czy A potrzebuje X obiektywnie? Tzn. czy z zewnętrznego punktu widzenia wiemy, że X jest niezbędny dla A? TAK NIE TAK Potrzeba subiektywnoobiektywna (niekontrowersyjna potrzeba) Potrzeba subiektywnonieobiektywna (konflikt opinii) NIE Potrzeba obiektywnoniesubiektywna (konflikt opinii) Nie ma potrzeby (chociaż A może nadal chcieć X, a wtedy jest to czyste pragnienie, tzn. bez domieszki potrzeb)

6 Potrzeby, pragnienia, produkty projektu produkty 2 1 potrzeby 1 produkty, które są niechciane, ale potrzebne 2 produkty, które są chciane, ale niepotrzebne 3 brak produktów, które są chciane i potrzebne 4 produkty, które nie są ani chciane, ani potrzebne 5 brak produktów, które są chciane, ale niepotrzebne 6 produkty, które są chciane i potrzebne pragnienia Produkty mają mieć zamierzony wpływ na adresatów projektu i prowadzić do wyników w krótkim, średnim i długim okresie. Podobny schemat można więc skonstruować dla wyników, które mogą być chciane/niechciane, potrzebne/niepotrzebne

7 Potrzeby, pragnienia, wyniki projektu wyniki 2 1 potrzeby 1 wyniki, które są niechciane, ale potrzebne 2 wyniki, które są chciane, ale niepotrzebne 3 brak wyników, które są chciane i potrzebne 4 wyniki, które nie są ani chciane, ani potrzebne 5 brak wyników, które są chciane, ale niepotrzebne 6 wyniki, które są chciane i potrzebne pragnienia Wynik projektu to wpływ produktu na jego adresatów, odbiorców, np. produktem w programie edukacyjnym jest wykład, a wynikiem wpływ wykładu na mózg słuchaczy, a inaczej na ich wiedzę i postawy. Pytanie więc teraz, czy ten wpływ był im potrzebny

8 Proces zaspokajania potrzeb oraz możliwe problemy wymagające interwencji Wpływ zwrotny procesu zaspokajania oraz stanu zaspokojenia na odczuwanie potrzeby Problemy z wpływem doświadczeń z przeszłości na odczuwanie i zaspokajanie, np. szkodliwe nawyki Uświadomienie, że X jest potrzebny Zdobywanie X Korzystanie z X, konsumowanie X Stan zaspokojenia Wpływ zaspokojenia na funkcjonowanie Problemy z uświadomieniem, np. nie wiem, że coś mi potrzebne; uważam za potrzebne coś, co takim nie jest Problemy ze zdobywaniem, np. nie mam za co kupić; muszę się nadmiernie zadłużać Problemy z korzystaniem, np. nie wiem, jak należy korzystać; korzystam niewłaściwie Problemy z osiąganiem zaspokojenia, np. zaspokajacz nie spełnia swoich funkcji; nie jestem z niego zadowolony; kupuję ale nie wykorzystuję Problemy z wpływem zaspokojenia, np. mimo zaspokojenia potrzeby funkcjonowanie nadal nie jest prawidłowe

9 Powiązanie produktów projektu z procesem zaspokajania potrzeb Produkty projektu rozwiązują problemy z odczuwaniem i identyfikowaniem tego, co jest potrzebne Produkty projektu rozwiązują problemy z dostępnością tego, co jest potrzebne Produkty projektu rozwiązują problemy z użytkowaniem, konsumowaniem tego, co jest potrzebne Produkty projektu rozwiązują problemy z osiąganiem stanu zaspokojenia potrzeby przez to co potrzebne Produkty projektu rozwiązują problemy z wpływem procesu zaspokajania potrzeb w przeszłości na ten proces w przyszłości Produkty projektu rozwiązują problemy z wpływem stanu zaspokojenia potrzeby na funkcjonowanie podmiotu potrzeby

10 Grupa docelowa, beneficjenci, adresaci, klienci Komu ma służyć dany projekt? Kto ma na nim skorzystać? Czyje dobro ma być za jego pomocą powiększone? Pytania o kategorię docelową projektu Kto z kategorii docelowej projektu ma być obsłużony przez nasz projekt? Pytanie o zamierzonych i bezpośrednich beneficjentów (adresatów) projektu Kto jeszcze odniesie korzyści, jeżeli na programie skorzystają, ci którym miał on służyć? Czyje jeszcze dobro będzie powiększone dzięki temu? Pytania o pośrednich beneficjentów (adresatów)

11 Potrzeby w grupie docelowej projektu Grupa docelowa Moje potrzeby to Moje potrzeby to Moje potrzeby to Moje potrzeby to Moje potrzeby to Moje potrzeby to PYTANIA DO DIAGNOZY POTRZEB: Jakie potrzeby mają zamierzeni beneficjenci? Czego potrzebują? Co będzie dla nich dobre? Co będzie dla nich najlepsze? Czego potrzebują, aby zmieniło się ich funkcjonowanie, ich realne szanse życiowe? Projekt, jego cele, produkty i wyniki Jak ma się dany projekt do potrzeb zamierzonych beneficjentów? Czyli jaka jest jego użyteczność dla nich (użyteczność jego celów, produktów )?

12 Diagnoza potrzeb przykładowe pytania dotyczące rodzin w społeczności W jakim zakresie i jak rodzice (biologiczni, zastępczy) są zaangażowani w wychowywanie swoich dzieci? W jakim zakresie i czy rodziców stać na zaspokajanie potrzeb ich dzieci? Jakie problemy mają matki i ojcowie w wypełnianiu ról rodzicielskich? Jakie są trendy w zakresie zjawisk takich, jak nieletnie macierzyństwo, dzieci pozamałżeńskie, samotne rodzicielstwo, rozwody? Czy są to trendy wzrostowe, czy spadkowe? W jakim zakresie dostępne są usługi wspomagające rodziców w wypełnianiu ról rodzicielskich? Jakie są cechy demograficzne (np. wiek) ojców i matek, którzy korzystają z tych usług? Jakie są cechy demograficzne tych rodziców, którzy z nich nie korzystają? Jakie są bariery w dostępie i w korzystaniu z usług?

13 Uproszczona procedura oceny trafności celów projektu 1. Diagnozowanie potrzeb grupy docelowej (adresatów) projektu 2. Produkt diagnozowania potrzeb raport z diagnozy potrzeb, część diagnostyczna projektu 3. Formułowanie celów projektu 4. Produkt formułowania celów projektu raport z procesu formułowania celów, wyliczenie i opis celów projektu, część strategiczna projektu 5. Porównanie diagnozy potrzeb adresatów z celami projektu (czyli porównanie treści 2 z 4) 6. Produkt porównania potrzeb z celami stwierdzenie ewentualnych rozbieżności między potrzebami adresatów projektu a celami projektu 7. Ocena poziomu trafności celów projektu

14 Uproszczona procedura oceny użyteczności wyników projektu 1. Diagnozowanie potrzeb grupy docelowej projektu 2. Produkt diagnozowania potrzeb raport wyliczający i opisujący potrzeby adresatów projektu, część diagnostyczna projektu 3. Określanie wyników projektu (badanie wpływu produktów projektu na adresatów) 4. Produkt procesu określania wyników projektu raport wyliczający i opisujący wyniki projektu 5. Porównanie potrzeb adresatów projektu z wynikami projektu (czyli porównanie treści 2 z 4) 6. Produkt porównania potrzeb adresatów z wynikami projektu raport wyliczający i opisujący podobieństwa i różnice między potrzebami i wynikami 7. Ocena poziomu użyteczności wyników projektu

15 Satysfakcja, zadowolenie adresatów projektu a użyteczność wyników projektu Ocena użyteczności projektu opiera się na porównaniu potrzeb jego adresatów z wynikami projektu, czyli z wpływem produktów projektu na adresatów w krótkim, średnim i w długim okresie Jak jednak oceniać użyteczność, jeżeli nie mamy informacji ani o potrzebach adresatów, ani o wynikach projektu? Dwie możliwe odpowiedzi na to pytanie 1. Jeżeli nie mamy informacji o potrzebach i/lub o wynikach projektu, należy uznać, że nie ma możliwości oceny użyteczności ALBO 2. Jeżeli nie mamy informacji potrzebach i/lub o wynikach projektu, należy wykorzystać informację pośrednio dotyczącą użyteczności, np. zadowolenie adresatów z otrzymanych produktów W przypadku odpowiedzi 2 należy pamiętać, że zadowolenie z czegoś, co otrzymujemy bezpłatnie (projekty społeczne) niekoniecznie dobrze informuje o tym, że otrzymaliśmy to, co było niezbędne (w zakresie zasobów i/lub działań) dla naszego lepszego funkcjonowania życiowego

16 Wyniki projektu w czasie, czyli kryterium trwałości Wyniki duże małe Przebieg relacji między programem a jego efektami w czasie może być różny, co symbolizują krzywe o różnych kolorach Jaki jest przebieg wyników projektu po jego zakończeniu? Niebieska krzywa reprezentuje niską trwałość w porównaniu z pozostałymi projektami Rozpoczęcie przygotowań Rozpoczęcie realizacji Zakończenie realizacji czas Realizacja programu Donaldson, Program s. 36

17 Użyteczność Ocena projektów pod względem kilku kryteriów min min min min min Skuteczność Efektywność Użyteczność Skuteczność Efektywność max max max max max Program / projekt X Który projekt jest lepszy? Jak porównać oceny wielokryterialne? Program / projekt Y Dla każdego z kryteriów skonstruowane zostały porównywalne skale oceny Każdy z projektów został oceniony pod względem każdego z kryteriów na skalach Oceny obu projektów różnią się pod względem tych samych kryteriów Program X jest lepszy pod względem skuteczności i efektywności, ale gorszy pod względem użyteczności min max