Ewaluacja w polityce społecznej Metoda ewaluacji Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2018/2019
Od pytań ewaluacyjnych do ocen ewaluacyjnych metody ewaluacji Ewaluacja Projekt i kryteria Jaka jest ocena projektu pod względem wybranych kryteriów? 1 Metody ilościowe/jakościowe/mieszane Źródła danych o projekcie Uzyskiwanie danych Techniki uzyskiwania danych Uzyskane dane o projekcie Metody i techniki czystej ewaluacji 1 wybór, zdefiniowanie i zoperacjonalizowanie kryteriów 2 ocena projektu pod względem wybranych kryteriów (oceny cząstkowe dla każdego kryterium, łączna dla wszystkich kryteriów) Analizowanie danych Techniki analizowania danych Wyniki analizy danych 2 Ocena Odpowiedź na pytania o ocenę projektu pod względem wybranych kryteriów
Sześć kroków w procedurze czystej ewaluacji 1. Wybór kryteriów ewaluacyjnych odpowiednich dla danego projektu (odpowiadamy na pytanie, jakie kryteria oceny powinien mieć dany projekt, pod jakimi względami mamy go ocenić?) 2. Określenie ważności poszczególnych kryteriów (np. kryterium użyteczności wydaje się ważniejsze od kryterium skuteczności, ale o ile ważniejsze? Na jakiej skali mamy to oceniać?) 3. Określenie miar potrzebnych do pomiaru wyników ewaluowanego projektu pod względem poszczególnych kryteriów (jaka miara skuteczności, użyteczności, efektywności?) 4. Podział skali miar na przedziały i przypisanie im ocen, ustalenie progów minimalnych dla ocen pozytywnych (jeżeli skala skuteczności jest od 0 do 100%, to jaką ocenę powinny mieć pozycje na tej skali, np. czy 30% to niedostateczna, dostateczna, dobra skuteczność?) POMIARY (metody badania projektu i jego wpływu ilościowe, jakościowe, mieszane) 5. Wyprowadzenie ocen cząstkowych pod względem każdego z kryteriów na podstawie pomiarów i skal ocen (np. pod względem skuteczności dobry, pod względem efektywności dostateczny) 6. Agregowanie ocen cząstkowych do oceny łącznej z uwzględnieniem ustalonych wcześniej wag
Metoda ewaluacji przykład szkolnej ewaluacji porównawczej Zadania dotyczące kryteriów Zadania pomiarowe Zadanie wystawienia ocen cząstkowych Zadanie dot. wyprowadzenia oceny całościowej Ranking ewaluacyjny Wybór kryteriów ewaluacji Określenie wagi kryteriów Wymiar kryteriów Określenie wagi wymiarów Narzędzia zbierania danych Uczeń A Uczeń B Jakie są oceny łączne? Porównanie ocen łącznych Uczestnictw o Wiedza Umiejętności mało ważne średnio ważna bardzo ważne obecność mało ważna Narzędzie 1 bardzo dobrze aktywność test wiadomości praca pisemna zadanie praktyczne bardzo ważna bardzo ważny średnio ważna bardzo ważna Narzędzie 2 bardzo aktywny poniżej minimum średnio aktywny Narzędzie 3 celujący dobry Narzędzie 4 dobra bardzo dobra Narzędzie 5 Kierunek prowadzenia czynności ewaluacyjnych dostateczny plus dobry Uczeń A ocena łączna Uczeń B ocena łączna Uczeń A ma lepszą ocenę niż uczeń B Uczeń B ma lepszą ocenę niż uczeń A Obaj uczniowie mają podobne oceny
Metoda ewaluacji przykład ewaluacji porównawczej dwóch projektów Wybór kryteriów ewaluacji Zadania dotyczące kryteriów Określenie wagi kryteriów Wymiar kryteriów Określenie wagi wymiarów Zadania pomiarowe Narzędzia zbierania danych Zadanie wystawienia ocen cząstkowych Projekt A Projekt B Zadanie dot. wyprowadzenia oceny całościowej Jakie są oceny łączne? Ranking ewaluacyjny Porównanie ocen łącznych Koszty Efektywność Skuteczność Średnio ważne średnio ważna bardzo ważne Pieniądze Czas Liczba usług do kosztu Ilu pomógł Jak bardzo pomógł Średnio ważne bardzo ważny bardzo ważna średnio ważna bardzo ważna Narzędzie 1 Umiarkowanie drogi Bardzo drogi Narzędzie 2 Krótki czas Średni czas Narzędzie 3 Wysoka Średnia Narzędzie 4 dobra bardzo dobra Narzędzie 5 dostateczny plus dobry Projekt A ocena łączna Projekt B ocena łączna Projekt A ma lepszą ocenę niż projekt B Projekt B ma lepszą ocenę niż projekt A Oba projekty mają podobne oceny Kierunek prowadzenia czynności ewaluacyjnych
Sześć sposobów wyznaczania ważności kryteriów 1. Zebranie opinii interesariuszy (sondaż dotyczący hierarchii ważności) 2. Oparcie się na wiedzy wybranych interesariuszy (wywiady z najlepiej poinformowanymi) 3. Przegląd literatury na temat programów danego typu 4. Wykorzystanie ocen specjalistów od danych programów (co zwykle odpowiada za sukces lub porażkę programów danego typu?) 5. Wykorzystanie informacji zgromadzonych w trakcie diagnozy potrzeb (zaspokojenie których potrzeb ma mniej lub bardziej istotne znaczenie dla powodzenia lub niepowodzenia programu?) 6. Wykorzystanie teorii programu i informacji dotyczących związków przyczynowo-skutkowych między głównymi komponentami programu a jego pośrednimi wynikami
Jedna z metod ustalania hierarchii ważności kryteriów: metoda dwóch pytań Jak bardzo pozytywne konsekwencje dla programu będzie miała jego bardzo wysoka ocena pod względem danego kryterium? Niewielkie Jak bardzo negatywne konsekwencje dla programu będzie miała jego bardzo niska ocena pod względem danego kryterium? Niewielkie Umiarkowanie ważne Znaczne Ważne Duże Ważne Dość ważne Maksymalnie duże Bardzo ważne Najważniejsze Nie do zaakceptowania Ważne (ustalenie progu) Bardzo ważne (ustalenie progu) Najważniejsze (ustalenie progu) E. J. Davidson, Evaluation Methodology Basics: The Nuts and Bolts of Sound Evaluation, s. 108.
Zastosowanie metody dwóch pytań do ustalenia ważności kryteriów - przykład Zadanie polega na tym, aby określić na skali ważności pozycję kilku kryteriów, które mają być jednocześnie zastosowane w danej ewaluacji Przy każdym z kryteriów stawiamy dwa pytania Jak bardzo pozytywne konsekwencje dla programu będzie miała jego bardzo wysoka ocena pod względem danego kryterium? Jak bardzo negatywne konsekwencje dla programu będzie miała jego bardzo niska ocena pod względem danego kryterium? Przykład z dwoma kryteriami: skuteczność i efektywność Bardzo wysoka ocena pod względem skuteczności ma maksymalnie pozytywne znaczenie dla projektu, bardzo niska ocena pod tym względem jest nie do zaakceptowania, co daje nam pozycję z tabeli: najważniejsze z możliwością ustalenia progu dla oceny niedostatecznej Bardzo wysoka ocena pod względem efektywności ma duże pozytywne znaczenie dla programu, bardzo niska ocena pod względem efektywności ma znaczne negatywne konsekwencje dla projektu, co daje nam pozycję dość ważne Wniosek: kryterium skuteczności jest najważniejsze, a kryterium efektywności jest dość ważne, pierwsze jest ważniejsze niż drugie
Szablon do zestawienia kryteriów ewaluacyjnych Nazwa kryterium Krótki opis i definicja kryterium w kontekście ewaluowanego projektu Miary i skale do pomiaru wyników programu pod względem danego kryterium Informacja o wielkości progu minimalnego na danej skali Pozycja danego kryterium na wybranej skali ważności............ To narzędzie można wykorzystać w analizie raportów ewaluacyjnych np. skala kosztów skala pieniężna, skala czasu; skala skuteczności odsetek osób, którym program znacząco pomógł np. jaki poziom kosztów jest nieakceptowalny? jaka skuteczność jest nieakceptowalna? np. bardzo ważne, średnio ważne, umiarkowanie ważne
Dane o nakładach lub wpływie nie są jeszcze ocenami! Opisowa informacja dotycząca wyników + Wskazówki na temat określania stopnia jakości lub wartości Wnioski o charakterze ewaluacyjnym, czyli oceny np. projekt kosztował 1000 zł na uczestnika, skuteczność wyniosła 50% np. koszt poniżej 500 zł na uczestnika bardzo tanio., skuteczność 30% - nieakceptowalna np. koszt programu był umiarkowanie drogi, skuteczność była dostateczna
Narzędzie do wystawiania ocen: tabela konwersji Jakie wyniki i pod jakim względem będą decydowały o ocenie projektu? Ocena Celująca Bardzo dobra Dobra Dostateczna Mierna lub niedostateczna Wyjaśnienie Przykład najlepszej praktyki nie pozostawiający żadnych wątpliwości; oceny najwyższe pod każdym względem; żadnych słabości Bardzo dobre wyniki pod wszystkimi lub większością względów; ogólnie bardzo dobry, ale nie będący wzorem; brak słabości, które miałyby znaczące konsekwencje Dobre ogólne wyniki; może mieć kilka umiarkowanych słabości, ale żadnej poważnej Wyniki zadawalające; kilka poważnych, ale nie krytycznych słabości pod kilkoma względami Nie pozostawiające wątpliwości dowody niezadawalającego funkcjonowania; poważne słabości pod prawie wszystkimi względami lub w przypadku najważniejszych kryteriów E. J. Davidson, op. cit., s. 136
Zastosowanie tabeli konwersji przykłady Zadanie polega na tym, aby wystawić ocenę ewaluacyjną mając informację o ocenach projektu pod względem kilku kryteriów Przykłady z trzema kryteriami Załóżmy, że mamy trzy kryteria i ewaluator wystawił dla każdego kryterium oceny maksymalne. Posługując się tabelą konwersji z poprzedniego slajdu wystawiamy ocenę celującą Załóżmy, że mamy trzy kryteria i ewaluator wystawił dla każdego kryterium oceny bardzo niskie. Posługując się tabelą konwersji z poprzedniego slajdu wystawiamy ocenę mierną lub niedostateczną Załóżmy, że mamy trzy kryteria, z których jedno jest bardzo ważne, a dwa pozostałe są mniej ważne. Ewaluator wystawił bardzo niską ocenę dla pierwszego kryterium, ale wysokie dla pozostałych dwóch. Posługując się tabelą konwersji z poprzedniego slajdu wystawiamy ocenę mierną lub niedostateczną
Tabela konwersji dla ocen relatywnych Przykład dla wyników na skali koszty do skuteczności: jakie wyniki pod względem stosunku kosztów do skuteczności będą decydowały o jakiej ocenie? Ocena Najlepsza praktyka (celująca) Powyżej średniej (bardzo dobra) Średnia (dobra) Poniżej średniej (dostateczna) Najgorsza praktyka (mierna lub niedostateczna Wyjaśnienie Alternatywa mająca najlepszy stosunek kosztów do skuteczności Znacząco lepszy stosunek kosztów do skuteczności niż większość innych alternatyw W przybliżeniu ma taki stosunek kosztów do skuteczności jak większość alternatyw Znacząco gorszy stosunek kosztów do skuteczności w porównaniu z większością alternatyw Bez wątpienia najgorszy stosunek kosztów do skuteczności spośród dostępnych alternatyw E. J. Davidson, op. cit., s. 146.
Konkretyzacja zasad konwersji Celująca ocena łączna wydawana jest, gdy: 1) co najmniej połowa ocen cząstkowych jest równa celującej, 2) żadna z ocen cząstkowych nie jest niższa niż dobra, Bardzo dobra ocena łączna wydawana jest gdy: 1) co najmniej połowa ocen cząstkowych równa jest bardzo dobrej lub jest wyższa, 2) żadna z ocen cząstkowych nie jest niższa niż dobra, Dobra ocena łączna wydawana jest gdy: 1) co najmniej połowa ocen cząstkowych równa jest dobrej lub jest wyższa, 2) mniej niż 35% ocen cząstkowych jest niższa niż dobra, 3) żadna z ocen cząstkowych nie jest niższa niż dostateczna 4)
Złożona tabela konwersji z konkretnymi zasadami Ocena łączna programu (syntetyczna, przykładowe zasady) Warunki, jakie muszą spełniać oceny cząstkowe wydane pod względem poszczególnych kryteriów ewaluacyjnych Wszystkie kryteria Krytycznie i bardzo ważne kryteria Umiarkowanie ważne i pożądane kryteria Najwyższa jakość Bardzo wysoka jakość Żadna z ocen cząstkowych nie może być niższa niż dobra i znacząca większość (np. 80%) powinna być równa celującej Żadna z ocen cząstkowych nie może być niższa niż dobra i znacząca większość (np. 80%) powinna być bardzo dobra lub celująca Ocenione jako dobre lub wyżej Maksymalnie jedna ocena dobra, wszystkie inne bardzo dobre lub celujące Tylko jedno może być ocenione jako dobre, a pozostałe mają mieć oceny bardzo dobre lub celujące Maksymalnie dwie oceny dostateczne, pozostałe ocenione jako dobre lub wyższe Wysoka jakość Znaczna większość (np. 80%) ocen co najmniej dobra lub lepsza Maksymalnie jedna ocena dostateczna, pozostałe dobre lub wyższe Nie więcej niż jedna ocena mierna Umiarkowana jakość Nie więcej niż dwie oceny mierne Żadnych ocen miernych Nie więcej niż jedna ocena mierna Niska jakość Jedna lub więcej ocena mierna pod względem kryteriów krytycznie i bardzo ważnych, albo więcej niż dwie oceny mierne
Graficzne przedstawianie ocen ewaluacyjny pod względem kilku kryteriów: profil ewaluacyjny SKALA OCEN KRYTERIA Mierny Dostateczny Dobry Bardzo dobry Celujący Kryterium 1 Krytycznie ważne Kryterium 2 Bardzo ważne Kryterium 3 Ważne Kryterium 4 Mało ważne WAGI E. J. Davidson, op. cit., s. 101
Profil ewaluacyjny z kilkoma wymiarami dla każdego kryterium Kryterium Wymiary Oceny K1 (krytycznie ważne) K2 (bardzo ważne) K3 (umiarkowanie ważne) K4 (pożądane) W1K1 W2K1 W3K1 W1K2 W2K2 W3K2 W1K3 W2K3 W3K3 W1K4 W2K4 W3K4 M DST DB BDB C Źródło: E. J. Davidson, op. cit., s. 168 (tabela uproszczona przez R.S.)
Macierz ewaluacyjna dla kilku projektów Kryteria Wymiary, miary Wagi Ocena trzech podobnych projektów społecznych A B C K1 MK1.1 WDK1.1 OC1A OC1B OC1C K2 MK2.1 WDK2.1 OC2A OC2B OC2C K3 MK3.1 WDK3.1 OC3A OC3B OC3C Ocena łączna OŁA OŁB OŁC Ranking ewaluacyjny * *** ** W przypadku większej liczby wymiarów dla poszczególnych kryteriów najpierw ocena łączna dla danego kryterium, a następnie ocena łączna dla wszystkich kryteriów, aby w końcu dokonać porównań ocen i dojść do rankingu ewaluacyjnego
Ewaluacja porównawcza projektów ilościowe metody relatywne 1. Obliczenie sumy ważonej oceny i wagi sprowadzamy do liczb i obliczamy sumy ocen pomnożonych przez wagi O1*W1+O2*W2+ OnWn = Ważona Ocena Łączna Metoda ta ma sens gdy: liczba kryteriów ewaluacyjnych nie jest duża uwzględnione zostały progi minimalne, o ile takie ustanowiono dla niektórych kryteriów określenie ważności kryteriów zostało przeprowadzone w sposób nie budzący wątpliwości np. na podstawie diagnozy potrzeb 2. Porównanie sum ważonych => ranking ewaluacyjny według wielkości sum ważonych, lepsze są te projekty, dla których suma jest większa
Ewaluacja porównawcza projektów jakościowe metody relatywne Wagi mają charakter nieliczbowy symboliczny Skala ważności wyrażana jest w kategoriach maksymalnej możliwej wartości przypisanej najlepszemu wynikowi pod względem danego kryterium Każdemu ze stopni ważności (bardzo wartościowy, średnio wartościowy, umiarkowanie wartościowy) przyporządkowujemy trzy różne symbole, np. gwiazdka, trójkąt i plus Przykład: ustalenie wag dla programu szkoleń najlepszy wynik pod względem tego, czy program szkoleń był interesujący dla uczestników może być uznany za umiarkowanie wartościowy (plus) najlepszy wynik pod względem dopasowania programu i treści do potrzeb uczestników - jako średnio wartościowy (trójkąt) najlepszy wynik pod względem kosztów dla organizacji wysyłającej pracowników na szkolenie - jako bardzo wartościowy (gwiazdka)
Przykładowa tabela wyników dla ewaluacji porównawczej metodą relatywną i jakościową Kryterium ewaluacyjne Maksymalna Symbol rzeczywistej wartości wartość, wagi Projekt 1 Projekt 2 K1 Gwiazdka Gwiazdka Trójkąt K2 Gwiazdka Trójkąt Gwiazdka K3 Trójkąt Trójkąt Plus K4 Trójkąt Trójkąt Plus K5 Plus Plus Łącznie Liczba gwiazdek 1 1 Liczba trójkątów 3 1 Liczba plusów 3 Osiąganie dobrych wyników dla kryteriów K1 i K2 jest bardzo wartościowe, dla kryteriów K3 i K4 średnio wartościowe, a dla K5 umiarkowanie wartościowe Projekt 1 osiągnął lepszy wynik od projektu 2 pod względem kryterium bardzo wartościowego K1 (gwiazdka dla najlepszego, trójkąt dla drugiego), i odwrotnie dla K2 itd.