Ewaluacja w polityce społecznej

Transkrypt

1 Ewaluacja w polityce społecznej Modele, metody i techniki ewaluacji Dr hab. Ryszard Szarfenberg rszarf.ips.uw.edu.pl/ewalps/

2 Sześć modeli ewaluacji Model ewaluacji Pytania Kryteria ewaluacyjne 1. Modele rezultatów Model osiągania celów W jakim stopniu zostały osiągnięte cele? Wyprowadzone na podstawie celów Model efektów Jakie są skutki programu? Otwarte, wszystkie konsekwencje programu powinny zostać uwzględnione przy ocenie 2. Model wyjaśniania procesu Czy podejmowane działania są odpowiednie? Czy są problemy z realizacją programu? 3. Model systemowy Jakie rezultaty osiąga całościowo ujęty program? 4. Model teorii programu Co się sprawdza, dla kogo i w jakim kontekście? Czy można określić błędy w teorii programu? Proces analizuje się od pomysłu do decyzji i realizacji oraz reakcji grup docelowych Zrealizowane nakłady, procesy, struktury i wyniki ocenione w stosunku do zaplanowanych lub porównawczo Zrekonstruowana teoria programu jest oceniana poprzez analizę danych empirycznych Hansen, 2005, s. 449

3 Sześć modeli ewaluacji cd. Model ewaluacji Pytania Kryteria ewaluacyjne 5. Modele ekonomiczne Koszty-efektywność Czy produktywność jest satysfakcjonująca? Produkt mierzony w stosunku do wydatków Koszty-skuteczność Czy skuteczność jest satysfakcjonująca? Efekt mierzony w stosunku do wydatków Koszty-korzyści (w dłuższym okresie) Czy użyteczność jest satysfakcjonująca? Użyteczność mierzona w stosunku do wydatków 6. Modele aktora Ukierunkowane na klienta Czy klienci są zadowoleni? Czy ich potrzeby są zaspokojone? Sformułowane przez klienta Ukierunkowane na interesariuszy Model oceny przez środowisko (peer review) Czy interesariusze są zadowoleni? Czy ich potrzeby są zaspokojone? Czy profesjonalna jakość jest na odpowiednim poziomie? Sformułowane przez interesariuszy Sformułowane przez osoby z danego środowiska Hansen, 2005, s. 449

4 Jak wybrać model ewaluacji? Kryterium 1: wybór modelu zależy od celu ewaluacji Kryterium 2: wybór modelu zależy od cech ewaluowanego programu Kryterium 3: wybór modelu zależy od problemu, który ma rozwiązywać ewaluowany program

5 Kryterium celu ewaluacji Projekt ewaluacji Cel ewaluacji Kontrola nad programem Uczenie się Model ewaluacji Model ukierunkowany na Model wyjaśniania procesu rezultaty Organizacja Odgórna Autoewaluacja lub zewnętrzny ekspert/konsultant Kryteria Wyprowadzone z celów na Wyprowadzone na podstawie wyższym poziomie hierarchii życzeń interesariuszy organizacji Metoda Przede wszystkim ilościowy pomiar efektów Przede wszystkim badania jakościowe procesu Upowszechnianie rezultatów ewaluacji W górę hierarchii organizacynej Poprzez interakcje z wieloma zainteresowanymi stronami Zastosowania Sankcje i decyzje kontrolne wydawane przez zwierzchników Zwiększenie wiedzy i świadomości lokalny rozwój organizacyjny Hansen, 2005, s. 452

6 Kryterium cech ewaluowanego programu Cele programu Jasne, mierzalne, ograniczone w czasie, niekwestionowane Niejasne, niemierzalne, bez ograniczenia czasowego, kontrowersyjne Wiedza o teorii programu Doskonała Niedoskonała Model ekonomiczny Ewaluacja porównawcza Model osiągania celów Ewaluacja porównawcza Hansen, 2005, s. 453 Ewaluacja porównawcza benchmarking: - na podstawie porównania do wyznaczonego poziomu wyników (standard) - na podstawie porównania ze średnimi wynikami wielu podobnych programów - na podstawie porównania z programami uznawanymi za najlepsze praktyki

7 Kryterium cech cd. Model w stosunku do państwa Suwerenny Autonomiczny Negocjacyjny Odpowiedni do potrzeb (responsive) Kontekst organizacyjny Demokracja parlamentarna Profesje (m.in. społeczne) Zainteresowane strony (np. partnerzy społeczni) Klienci (np. publicznych szkół, szpitali, ośrodków pomocy) Model ewaluacji Model osiągania celów Model oceny środowiskowej Model interesariuszy Model ukierunkowany na klienta Hansen, 2005, s. 454

8 Podejścia ewaluacyjne z informacją o metodach Olejniczak, Teoria, s. 33

9 Metody - zbliżenie Jakie dane są potrzebne do ewaluacji programu społecznego? O celach programu O planach programu O działaniach programu O wynikach programu Jak uzyskać te dane? Metody uzyskiwania danych, np. lektura dokumentów programu, obserwacja, ankieta, wywiad, dyskusja Jak analizować uzyskane dane? Metody analizy danych, np. opisowe, klasyfikacyjne, przyczynowe Jak na podstawie uzyskanych danych i wniosków z ich analizy ocenić jakość i wartość programu? Metody ewaluacji, np. skale ocen jakości, agregowanie ocen cząstkowych

10 Źródła danych Od źródeł danych do oceny Typowe badania naukowe Dane Wyniki analizy danych, np. opis, klasyfikacja, wyjaśnienie Określenie jakości i wartości programu Uzyskanie danych Analiza przedewaluacyjna danych Analiza ewaluacyjna Metody uzyskiwania danych Metody analizy danych Metody analizy ewaluacyjnej

11 Proces badawczy E. Babbie, Badania społeczne w praktyce, s. 128

12 Etapy procesu badawczego F. Sztabiński, Podstawowe techniki badań socjologicznych w ewaluacji

13 Rodzaje danych Nominalne, porządkowe, przedziałowe, interwałowe Ilościowe (liczby), jakościowe (teksty, zdjęcia, zapisy rozmów, filmy) Subiektywne (opinie badanych), obiektywne (niezależne od opinii badanych) Przekrojowe, panelowe (wzdłużne, szeregi czasowe) Pierwotne, wtórne (przetworzone) Wywołane (zebrane w badaniu), zastane (dane z innych badań)

14 Pomiar i dane nominalne, porządkowe, interwałowe i ilorazowe E. Babbie, Badania społeczne w praktyce, s. 158

15 Techniki zdobywania danych empirycznych J. Lutyński, za: L. A. Gruszczyński, Kwestionariusze w socjologii

16 Metody uzyskiwania danych F. Sztabiński, Podstawowe techniki badań socjologicznych w ewaluacji

17 Metody uzyskiwania danych - wywiad M. Theiss, Metody zbierania danych - wywiady socjologiczne

18 Wywiad grupowy a wywiad fokusowy Wywiad grupowy opisuje sytuację, w której odpowiedzi na postawione przez badacza pytania udziela kilkukilkunastoosobowa grupa respondentów. Może mieć on różne formy grupą respondentów mogą być członkowie gospodarstwa domowego, kilkuosobowa grupa pracowników instytucji lub kilkunastoosobowa grupa odbiorców określonego programu Szczególnym typem wywiadu grupowego jest wywiad zogniskowany (fokusowy). wyróżnikiem jest specyficzny dobór respondentów i forma prowadzenia tego typu badania. Specyfika doboru respondentów polega na zgromadzeniu w badaniu fokusowym stosunkowo niewielkiej (ok. 4-12, zwykle 7-8 osobowej) grupy rozmówców, których łączy określone wspólne doświadczenie, będące przedmiotem rozmowy Poszukiwanie w wywiadzie fokusowym obszaru zgody między respondentami to coś więcej, niż np. liczenie, ile osób zgadza się z danym stanowiskiem. Przesłanką dla realizacji wywiadu grupowego tego typu jest raczej próba uwspólnienia perspektywy znalezienia wspólnego języka lub definicji sytuacji, np. opisującej określony problem lokalny, czy funkcjonowanie programu. Celem takiego wywiadu może być więc przykładowo odpowiedź na pytania: jak dana grupa odbiorców postrzega korzyści z programu, jak wypowiada się o programie, jak postrzega jego rolę dla społeczności lokalnej, itp. M. Theiss, Metody zbierania danych - wywiady socjologiczne

19 Wywiad kwestionariuszowy a wywiad pogłębiony Charakter badania Dobór respondentów Narzędzie Elastyczność narzędzia Wywiad kwestionariuszowy Ilościowy celem badania jest ustalenie skali zjawiska Szczególnie wskazana reprezentatywna próba losowa lub badania całościowe lub dobór celowy ze względu na określone kryterium Kwestionariusz (zbiór pytań o ściśle ustalonej kolejności, obejmujący pytania zamknięte z odpowiedziami do wyboru) Bardzo mała wszystkim respondentom zadaje się identyczne pytania Wywiad pogłębiony Jakościowy celem badania jest ustalenie charakteru zjawiska Zwykle dobór celowy lub nielosowy, podyktowany dostępnością określonych respondentów Scenariusz wywiadu (zespół pytań wątków do poruszenia, o częściowo dowolnej kolejności) Bardzo duża scenariusz jest dostosowywany do naturalnego przebiegu rozmowy M. Theiss

20 Badania sondażowe - techniki F. Sztabiński, Podstawowe techniki badań socjologicznych w ewaluacji

21 Badania sondażowe - techniki PAPI CATI Ankieta pocztowa Ankieta audytoryjna CAWI Strona WWW F. Sztabiński, Podstawowe techniki badań socjologicznych w ewaluacji

22 Rodzaje pytań kwestionariuszowych L. A. Gruszczyński, Kwestionariusze w socjologii, s

23 Rodzaje pytań kwestionariuszowych cd. L. A. Gruszczyński, Kwestionariusze w socjologii, s

24 Zalety i wady pytań otwartych i zamkniętych A. N. Oppenheim, Kwestionariusze, wywiady, pomiary postaw, s. 137

25 Wybrane zasady formułowania pytań F. Sztabiński w: Ewaluacja wobec wyzwań stojących przed sektorem finansów publicznych

26 Wybrane zasady formułowania pytań cd. F. Sztabiński w: Ewaluacja wobec wyzwań stojących przed sektorem finansów publicznych

27 Wybrane zasady formułowania pytań cd. F. Sztabiński w: Ewaluacja wobec wyzwań stojących przed sektorem finansów publicznych

28 Podstawowe źródła błędów 1. niedostosowanie pytania do sytuacji Respondenta, 2. trudność pytania dla Respondenta, 3. niejasność pytania dla Respondenta, 4. drażliwość pytania dla Respondenta oraz 5. sugestia zawarta w pytaniu F. Sztabiński w: Ewaluacja wobec wyzwań stojących przed sektorem finansów publicznych

29 Badania ilościowe a jakościowe D. Silverman, Prowadzenie badań jakościowych, s. 151

30 Badania ilościowe a jakościowe często kontrastowane cechy Ilościowe Liczby Punkt widzenia badacza Badacz na odległość Testowanie teorii Statyczne Standaryzowane Uogólnienie Twarde wiarygodne dane Poziom makro Zachowania Sztuczne warunki Jakościowe Słowa Punkt widzenia uczestników Badacz jest blisko Tworzenie teorii Proces Niestandaryzowane Kontekstowe rozumienie Bogate, głębokie dane Poziom mikro Znaczenie Warunki naturalne A. Bryman, Social research methods, s. 285

31 Metody ilościowe i jakościowe F. Sztabiński, Podstawowe techniki badań socjologicznych w ewaluacji

32 Dane i metody ilościowe Źródła danych, np.: Urzędowe rejestry z danymi o populacji Wypełnione ankiety Metody analizy danych, np.: Statystyka opisowa Statystyczne testowanie hipotez (wnioskowanie statystyczne)

33 Jednostki analizy E. Babbie

34 Populacja 100 osób Dobór próby Przebadanie wszystkich 100 osób nie jest dużym problemem, ale przy większych populacjach jest to już większy kłopot Próba oparta na łatwej dostępności, łatwa ale niereprezentatywna dla populacji E. Babbie

35 Dobór losowy E. Babbie

36 Próba warstwowa Populacja została uporządkowana według płci i rasy, od losowo wybranego numeru 3 losowana jest co 10 osoba E. Babbie

37 Badania eksperymentalne losowanie Grupa docelowa losowanie Problem do rozwiązania Potrzeba do zaspokojenia Program społeczny Wpływ programu P E1 program społeczny P E2 P K1 P K2 d=(p E2 -P E1 )-(P K2 -P K1 ) Babbie, s. 248, 257

38 Procedura 1. Gdy mamy już wybrane dwie grupy, eksperymentalną i kontrolną, w obu grupach dokonujemy pomiaru przynajmniej wartości zmiennej zależnej - tego na co chcemy wpłynąć działaniem (czyli wykonujemy tzw. pretest) 2. Następnie grupę eksperymentalną poddajemy oddziaływaniu bodźca, czyli danego działania z zakresu programu / projektu społecznego (ma on zmienić wartość zmiennej zależnej) 3. Po odpowiednim czasie ponownie dokonujemy pomiaru wartości zmiennej zależnej w obu grupach (czyli wykonujemy tzw. posttest). Jeśli pretest w grupie eksperymentalnej oznaczymy Pre E1, zaś w grupie kontrolnej Pre K1, natomiast posttest w grupie eksperymentalnej Post E2, zaś w grupie kontrolnej Post K2, wówczas wpływ bodźca (programu) wyraża różnica (d), którą obliczamy korzystając z poniższego wzoru: d = (Post E2 - Pre E1 ) - (Post K2 - Pre K1 ) A. Kurowska, Schematy badań metody eksperymentalne i quasieksperymentalne

39 Dane i metody jakościowe Źródła danych, np.: Notatki z obserwacji Zdjęcia, filmy Treść dokumentów publicznych i osobistych Zapisane wypowiedzi, rozmowy Treść przeprowadzonych wywiadów swobodnych Metody analizy, np.: Analiza dyskursu Analiza indukcyjna Metoda teorii ugruntowanej

40 Cele badań jakościowych Zdobycie ogólnych, wstępnych, podstawowych informacji o temacie zainteresowania (badanie eksploracyjne) Generowanie / opracowywanie hipotez badawczych, które mogą być poddane dalszemu badaniu i testowane przy użyciu technik ilościowych Stymulowanie powstawania nowych pomysłów i konceptów kreatywnych (reklamowych) Diagnozowanie potencjalnych problemów związanych z nowymi produktami, usługami, programami Zbieranie wrażeń dotyczących produktów, programów, usług, instytucji i innych przedmiotów zainteresowania Zdobywanie wiedzy o tym, jak respondenci mówią o przedmiocie badania, co może ułatwić tworzenie kwestionariuszy, narzędzi do sondaży i badań ilościowych Interpretowanie uprzednio zebranych danych / wyników ilościowych Prezentacja, Badania jakościowe w ewaluacji - FGI

41 Dane i metody ilościowe i jakościowe Typy danych i metody w kontekście programów rozwojowych Metody Ilość Subiektywny dobrostan Typowe badania gospodarstw domowych Jakość Ilość Dane Etnografia Rapid Rural Appraisal, Participatory Rural Appraisal Antropologia ekonomiczna (ekonometria uczestnicząca) Porównania małej liczby przypadków Jakość Za: Impact of Economic Policies on Poverty and Income Distribution, s. 169

42 Metody mieszane Model 1: metody jakościowe (dane i wyniki) zastosowane w celu rozwoju narzędzi zbierania danych ilościowych Model 2: metody jakościowe zastosowane w celu ubarwienia metod ilościowych Model 3: metody jakościowe zastosowane w celu wyjaśnienia wyników metod ilościowych Model 4: metody ilościowe i jakościowe zastosowane równolegle w celu osiągnięcia wyników

43 Jakościowe metody stosowane są w celu rozwijania ilościowych miar i instrumentów JAKOŚCIOWE ILOŚCIOWE WYNIKI Ilościowe metody stosowane są w celu ubarwienia badania przede wszystkim jakościowego JAKOŚCIOWE WYNIKI ILOŚCIOWE Metody jakościowe stosowane są w celu wyjaśnienia wyniki analizy ilościowej ILOŚCIOWE WYNIKI JAKOŚCIOWE Metody jakościowe i ilościowe stosowane są w równym stopniu i równolegle JAKOŚCIOWE WYNIKI ILOŚCIOWE

44 Modele równoległe metody mieszanej Model triangulacji ILO Dane & wyniki Interpretacja JAK dane & wyniki Model zagnieżdżony ILO Pre-test Dane & wyniki Interwencja JAK proces ILO Post-test Dane & wyniki Interpretacja J. Creswell, Mixed Methods Research: State of the Art

45 J. Creswell, Mixed Methods Research: State of the Art Modele sekwencyjne metody mieszanej Model wyjaśniający ILO Dane & wyniki następstwo JAK Dane & wyniki Interpretacja Model eksplorujący JAK Dane & wyniki nadbudowa ILO Dane & wyniki Interpretacja Model sekwencyjny zagnieżdżony Przed interwencją ILO JAK Interwencja Po interwencji ILO Interpretacja

46 Modele równoległe (równoczesne) Równoczesne triangulacyjne ILO JAK ILO ILO Zbieranie danych JAK Zbieranie danych ILO Analiza danych Porównanie wyników JAK Analiza danych Równoczesne zagnieżdżone jak ILO ilo JAK Analiza wyników Analiza wyników Crewswell et al. An Expanded Typology for Classifying Mixed Methods Research Into Designs

47 Modele sekwencyjne Sekwencyjne wyjaśniające ILO jak ILO Zbieranie danych ILO Analiza danych jak Zbieranie danych jak Analiza danych Interpretacja całości analizy Sekwencyjne eksploracyjne JAK ilo JAK Zbieranie danych JAK Analiza danych ilo Zbieranie danych ilo Analiza danych Interpretacja całości analizy Crewswell et al. An Expanded Typology for Classifying Mixed Methods Research Into Designs

48 Metody stosowane w ewaluacji ilustracja 1 K. Olejniczak

49 (cechy otoczenia) (cechy organizacji) Analiza SWOT/TOWS Analiza wzajemnych powiązań: 1. Czy dana mocna strona pozwoli nam wykorzystać daną szansę? 2. Czy dana mocna strona pozwoli nam zniwelować dane zagrożenie? 3. Czy dana słaba strona ogranicza możliwość wykorzystania danej szansy? 4. Czy dana słaba strona potęguje ryzyko związane z danym zagrożeniem? Wikipedia Analizę można też przeprowadzić w odwrotnym kierunku, tzn. od zewnątrz do wewnątrz (TOWS): 1. Czy dana szansa wzmacnia daną silną stronę? 2. Czy dana szansa pozwala zniwelować daną słabość? 3. Czy dane zagrożenie niweluje daną silną stronę? 4. Czy dane zagrożenie uwypukla daną słabość?

50 Matryca logiczna P. Sadowski:

51 Metaplan

52 Metody stosowane w ewaluacji ilustracja 2 METODY Kontekst Nakłady Proces Wpływ Efektywność Trwałość Przenośność Sondaże Przegląd literatury Przegląd dokumentów Wizytacje innych programów Zespoły rozwoju i oceny alternatywnych strategii działania Technika delficka Bazy danych programu, profil programu Obserwacje na miejscu Studia przypadków Metody porównawcze i eksperymentalne Wywiady z interesariuszami Grupy fokusowe Wysłuchania Analiza kosztów Analiza danych zastanych Ewaluacja wolna od celów Dokumentacja fotograficzna Raporty zadań / spotkania na temat doświadczeń Synteza, raport ostateczny

53 Metodologia dokonywania ocen ewaluacyjnych

54 Źródła danych Od źródeł danych do oceny Dane Wyniki analizy danych, np. opis, klasyfikacja, wyjaśnienie Określenie jakości i wartości programu Uzyskanie danych Analiza przedewaluacyjna danych Analiza ewaluacyjna Metody uzyskiwania danych Metody analizy danych Metody analizy ewaluacyjnej

55 Kroki w analizie ewaluacyjnej 1 1. wybór kryteriów ewaluacyjnych odpowiednich dla danego przedmiotu (odpowiadamy na pytanie, jakie kryteria oceny powinien mieć dany program działań służb społecznych, pod jakimi względami mamy go ocenić?); 2. określenie ważności poszczególnych kryteriów (np. kryterium użyteczności wydaje się ważniejsze od kryterium skuteczności, ale o ile ważniejsze? Na jakiej skali mamy to oceniać?);

56 Kroki w analizie ewaluacyjnej cd. 3. określenie miar lub skal potrzebnych do pomiaru wyników ewaluowanego programu; 4. podział miar lub skal na przedziały i przypisanie im ocen, ustalenie progów minimalnych ocen pozytywnych; 5. po uzyskaniu ocen cząstkowych agregowanie ich do oceny łącznej z uwzględnieniem ustalonych wcześniej wag

57 Metoda ewaluacji przykład ewaluacji szkolnej Zadania ewaluacyjne Oceny cząstkowe Wybór kryteriów ewaluacji Określenie wagi kryteriów Wymiar kryteriów Określenie wagi wymiarów Uczeń A Uczeń B Uczestnictwo mało ważne obecność mało ważna bardzo dobrze aktywność bardzo ważna bardzo aktywny poniżej minimum średnio aktywny Wiedza średnio ważna test wiadomości bardzo ważny celujący dobry Umiejętności bardzo ważne praca pisemna zadanie praktyczne średnio ważna bardzo ważna dobra dostateczny plus bardzo dobra dobry

58 Metoda ewaluacji przykład ewaluacji porównawczej dwóch programów lub alternatyw Zadania ewaluacyjne Oceny cząstkowe, opisowe Wybór kryteriów ewaluacji Określenie wagi kryteriów Wymiar kryteriów Określenie wagi wymiarów Program A Program B Koszty Średnio ważne pieniądze czas Średnio ważne bardzo ważny Umiarkowanie drogi Krótki czas Bardzo drogi Średni czas Efektywność średnio ważna Ilość usług do kosztu bardzo ważny Wysoka Średnia Skuteczność bardzo ważna Ilu pomógł Jak bardzo pomógł średnio ważna bardzo ważna dobra dostateczny plus bardzo dobra dobry

59 Jak dobrać kryteria? Cele programu jako kryteria jego oceny, ale muszą być one S konkretne, jednoznaczne, jasne M mierzalne, sprawdzalne A akceptowalne, stosowalne, uzgodnione R realistyczne, do osiągnięcia T określone w czasie, z konkretnymi terminami E etyczne, ekscytujące, angażujące R nagradzające, poświadczone

60 Jakość kryteriów prakryteria

61 Sześć strategii wyznaczania ważności kryteriów 1. Zebranie opinii interesariuszy (sondaż dotyczący hierarchii ważności) 2. Oparcie się na wiedzy wybranych interesariuszy (wywiady z najlepiej poinformowanymi) 3. Przegląd literatury na temat programów danego typu 4. Wykorzystanie ocen specjalistów od danych programów (co zwykle odpowiada za sukces lub porażkę programów danego typu?) 5. Wykorzystanie informacji zgromadzonych w trakcie diagnozy potrzeb (zaspokojenie których potrzeb ma mniej lub bardziej istotne znaczenie dla powodzenia lub niepowodzenia programu?) 6. Wykorzystanie teorii programu i informacji dotyczących związków przyczynowo-skutkowych między głównymi komponentami programu a jego pośrednimi wynikami

62 Jedna z metod ustalania hierarchii ważności kryteriów

63 Nazwa kryterium Szablon do zestawienia kryteriów Krótki opis i definicja kryterium w kontekście ewaluowanego programu ewaluacyjnych Miary i skale do pomiaru wyników programu pod względem danego kryterium Informacja o wielkości progu minimalnego na danej skali, o ile taki przewidziano Pozycja danego kryterium na wybranej skali ważności np. skala kosztów skala pieniężna, skala czasu; skala skuteczności odsetek osób, którym program znacząco pomógł np. jaki poziom kosztów jest nieakceptowalny, jaka skuteczność jest nieakceptowalna np. bardzo ważne, średnio ważne, umiarkowanie ważne

64 Same wyniki programu nie są jeszcze ocenami Opisowa informacja dotycząca wyników + Wskazówki na temat określania stopnia jakości lub wartości Wnioski o charakterze ewaluacyjnym np. program kosztował 1000 zł na uczestnika, skuteczność wyniosła 50% np. koszt poniżej 500 zł na uczestnika bardzo tanio., skuteczność 30% - nieakceptowalna np. koszt programu umiarkowanie drogi, skuteczność dostateczna

65 Tabela konwersji Jakie wyniki i pod jakim względem będą decydowały o ocenie programu? Ocena Wyjaśnienie Celująca Przykład najlepszej praktyki nie pozostawiający żadnych wątpliwości; oceny najwyższe pod każdym względem; żadnych słabości Bardzo dobra Bardzo dobre wyniki pod wszystkimi lub większością względów; ogólnie bardzo dobry, ale nie będący wzorem; brak słabości, które miałyby znaczące konsekwencje Dobra Dobre ogólne wyniki; może mieć kilka umiarkowanych słabości, ale żadnej poważnej Dostateczna Wyniki zadawalające; kilka poważnych, ale nie krytycznych słabości pod kilkoma względami Mierna lub Nie pozostawiające wątpliwości dowody niezadawalającego niedostateczna funkcjonowania; poważne słabości pod prawie wszystkimi względami lub w przypadku najważniejszych kryteriów E. J. Davidson, op. cit., s. 136

66 Tabela konwersji dla ocen relatywnych Przykład dla wyników na skali koszty do skuteczności Ocena Najlepsza praktyka Powyżej średniej Średnia Poniżej średniej Najgorsza praktyka Wyjaśnienie Alternatywa mająca najlepszy stosunek kosztów do skuteczności Znacząco lepszy stosunek kosztów do skuteczności niż większość innych alternatyw W przybliżeniu ma taki stosunek kosztów do skuteczności jak większość alternatyw Znacząco gorszy stosunek kosztów do skuteczności w porównaniu z większością alternatyw Bez wątpienia najgorszy stosunek kosztów do skuteczności spośród dostępnych alternatyw Źródło: E. J. Davidson, op. cit., s. 146.

67 Profil ewaluacyjny SKALA OCEN KRYTERIA Mierny Dostateczny Dobry Bardzo dobry Celujący Kryterium 1 Krytycznie ważne Kryterium 2 Bardzo ważne Kryterium 3 Ważne Kryterium 4 Mało ważne WAGI Davidson, s. 101

68 Profil ewaluacyjny Kryterium Wymiary Oceny M DST DB BDB C K1 (krytycznie ważne) W1K1 W2K1 W3K1 K2 (bardzo ważne) W1K2 W2K2 W3K2 K3 (umiarkowanie ważne) K4 (pożądane) W1K3 W2K3 W3K3 W1K4 W2K4 W3K4 Źródło: E. J. Davidson, op. cit., s. 168 (tabela uproszczona przez autora)

69 Oceny łączne dla poszczególnych kryteriów przykładowe zasady konwersji Celująca ocena łączna wydawana jest, gdy: 1) co najmniej połowa ocen cząstkowych jest równa celującej, 2) żadna z ocen cząstkowych nie jest niższa niż dobra, 3) żadna z ocen cząstkowych nie jest niższa niż dostateczna;??? Bardzo dobra ocena łączna wydawana jest gdy: 1) co najmniej połowa ocen cząstkowych równa jest bardzo dobrej lub jest wyższa, 2) żadna z ocen cząstkowych nie jest niższa niż dobra, 3) żadna z ocen cząstkowych nie jest niższa niż dostateczna;??? Dobra ocena łączna wydawana jest gdy: 1) co najmniej połowa ocen cząstkowych równa jest dobrej lub jest wyższa, 2) mniej niż 35% ocen cząstkowych jest niższa niż dobra, 3) żadna z ocen cząstkowych nie jest niższa niż dostateczna. 4)

70 Ocena łączna programu (syntetyczna, przykładowe zasady) Najwyższa jakość Bardzo wysoka jakość Warunki, jakie muszą spełniać oceny cząstkowe wydane pod względem poszczególnych kryteriów ewaluacyjnych Wszystkie kryteria Krytycznie i bardzo ważne kryteria Umiarkowanie ważne i pożądane kryteria Żadna z ocen cząstkowych nie może być niższa niż dobra i znacząca większość (np. 80%) powinna być równa celującej Żadna z ocen cząstkowych nie może być niższa niż dobra i znacząca większość (np. 80%) powinna być bardzo dobra lub celująca Wysoka jakość Znaczna większość (np. 80%) ocen co najmniej dobra lub lepsza Umiarkowana jakość Niska jakość Ocenione jako dobre lub wyżej Maksymalnie jedna ocena dobra, wszystkie inne bardzo dobre lub celujące Tylko jedno może być ocenione jako dobre, a pozostałe mają mieć oceny bardzo dobre lub celujące Maksymalnie dwie oceny dostateczne, pozostałe ocenione jako dobre lub wyższe Maksymalnie jedna Nie więcej niż jedna ocena ocena dostateczna, mierna pozostałe dobre lub wyższe Nie więcej niż dwie oceny Żadnych ocen Nie więcej niż jedna ocena mierne miernych mierna Jedna lub więcej ocena mierna pod względem kryteriów krytycznie i bardzo ważnych albo więcej niż dwie oceny mierne

71 Macierz ewaluacyjna Kryteria Wymiary, miary Wagi Ocena trzech podobnych programów społecznych A B C K1 MK1.1 WDK1.1 OC1A OC1B OC1C K2 MK2.1 WDK2.1 OC2A OC2B OC2C K3 MK3.1 WDK3.1 OC3A OC3B OC3C Ocena łączna OŁA OŁB OŁC Ranking ewaluacyjny * *** ** W przypadku większej liczby wymiarów dla poszczególnych kryteriów najpierw ocena łączna dla danego kryterium, a następnie ocena łączna dla wszystkich kryteriów, aby w końcu dokonać porównań ocen i dojść do rankingu ewaluacyjnego

72 Ewaluacja wielu programów ilościowe metody relatywne 1. Obliczenie sumy ważonej oceny i wagi sprowadzamy do liczb i obliczamy sumy ocen pomnożonych przez wagi O1*W1+O2*W2+ OnWn = Ważona Ocena Łączna Metoda ta ma sens gdy: liczba kryteriów ewaluacyjnych nie jest duża uwzględnione zostały progi minimalne, o ile takie ustanowiono dla niektórych kryteriów określenie ważności kryteriów zostało przeprowadzone w sposób nie budzący wątpliwości np. na podstawie diagnozy potrzeb 2. Porównanie sum ważonych => ranking ewaluacyjny według wielkości sum ważonych, lepsze są te programy, dla których suma jest większa

73 Ewaluacja wielu programów jakościowe metody relatywne Wagi mają charakter nieliczbowy symboliczny Skala ważności wyrażana jest w kategoriach maksymalnej możliwej wartości przypisanej najlepszemu wynikowi pod względem danego kryterium Każdemu ze stopni ważności (bardzo wartościowy, średnio wartościowy, umiarkowanie wartościowy) przyporządkowujemy trzy różne symbole, np. gwiazdka, trójkąt i plus

74 Jakościowe metody relatywne - przykład Ustalenie wag dla programu szkoleń najlepszy wynik pod względem tego, czy program szkoleń był interesujący dla uczestników może być uznany za umiarkowanie wartościowy (plus) najlepszy wynik pod względem dopasowania programu i treści do potrzeb uczestników - jako średnio wartościowy (trójkąt) najlepszy wynik pod względem kosztów dla organizacji wysyłającej pracowników na szkolenie - jako bardzo wartościowy (gwiazdka)

75 Jakościowe metody relatywne tabela wyników Kryterium Maksymalna Symbol rzeczywistej wartości ewaluacyjne wartość, wagi Program 1 Program 2 K1 Gwiazdka Gwiazdka Trójkąt K2 Gwiazdka Trójkąt Gwiazdka K3 Trójkąt Trójkąt Plus K4 Trójkąt Trójkąt Plus K5 Plus Plus Łącznie Liczba gwiazdek 1 1 Liczba trójkątów 3 1 Liczba plusów 3 Osiąganie dobrych wyników dla kryteriów K1 i K2 jest bardzo wartościowe, dla kryteriów K3 i K4 średnio wartościowe, a dla K5 umiarkowanie wartościowe Program 1 osiągnął lepszy wynik od programu 2 pod względem kryterium bardzo wartościowego K1 (gwiazdka dla najlepszego, trójkąt dla drugiego), i odwrotnie dla K2 itd..

76 Jeden z podstawowych wniosków Pytanie, czy i jaki wpływ miał program działań służb społecznych na sytuację (dobro) zamierzonych klientów ma charakter przedewaluacyjny Dokładny pomiar tego wpływu jest oczywiście potrzebny, ale daje jedynie podstawę do wydania oceny, co wymaga jak widzieliśmy wyżej metodycznego postępowania o innym charakterze (analiza ewaluacyjna)