Ewaluacja w polityce społecznej 2012/2013

Transkrypt

1 Ewaluacja w polityce społecznej 2012/2013 Wprowadzenie Dr hab. Ryszard Szarfenberg rszarf.ips.uw.edu.pl/ewalps/dzienne

2 Słowa, słowa, słowa Z łaciny: valeo, valere być zdrowym, silnym, mieć się dobrze Ang.: value, valuation, evaluation, worth Niem.: bewertung, das Wert Językowe odpowiedniki polskie Ocenianie, ocena, ocenny (wycena, cena, cenowy) Wartościowanie, wartość, wartościowy Waloryzacja, walor, waloryzacyjny Ewaluowanie, ewaluacja, ewaluacyjny

3 Pytania o ocenianie Co, kogo oceniamy? Pytanie o przedmiot oceny Kto ocenia? Pytanie o podmiot oceny Pod jakim względem oceniamy? Pytanie o kryteria oceny W jaki sposób oceniamy? Pytanie o metodę oceny Za pomocą czego oceniamy? Pytanie o narzędzia oceny Jakie są oceny oceniających w stosunku do przedmiotów oceny? Pytanie o to, jaka jest ocena przedmiotu oceny

4 Ewaluowanie jako rodzaj oceniania Wymiary porównania Jakie są kryteria oceny? Informacje o przedmiocie oceny W jaki sposób dokonuje się oceny? Kto dokonuje oceny? Ocenianie potoczne Nieustalone, niezdefiniowane, przypadkowe, niejasne, zmienne Wyrywkowe, zasłyszane, subiektywne Intuicyjny, momentalny, przypadkowy Każdy Ocenianie ewaluacyjne Ustalone, zdefiniowane, określone przed przystąpieniem do procesu zbierania informacji i oceniania Rzetelne, obiektywne, zebrane metodami naukowymi według kryteriów oceny Metodyczny, przemyślany, czasochłonny, według ustalonych procedur porównywania informacji o przedmiocie oceny z kryteriami oceny i wyciągania wniosków z takich porównań wg ustalonych zasad Profesjonalista, ewaluator

5 Ewaluowanie jako czynność Ewaluowanie Podstawowe pytanie Nazwa Podmiot Kto ewaluuje? Ewaluator Przedmiot Co jest ewaluowane? Ewaluandum, przedmiot ewaluacji Kryteria Pod jakim względem ewaluowane jest ewaluandum? Kryteria ewaluacyjne Cel Po co ewaluować, po co Cele ewaluacji ewaluowano? Sposób Jak ewaluowano? Podejście, metoda ewaluacyjna Narzędzia Za pomocą czego Narzędzia ewaluacyjne ewaluowano? Wytwór, produkt Co jest wytworem, produktem ewaluowania? Ewaluacja (w sensie wystawionej oceny, oszacowanej jakości i wartości) Wpływ Na co i jaki wpływ miał produkt ewaluacji? zawarta w raporcie Efekty ewaluacyjne, wpływ ewaluacji

6 Podmiot, przedmiot i cała reszta Podmiot X ewaluuje przedmiot Y według kryteriów K, stosując metodę M i narzędzia N według planu Pl, w wyniku czego powstaje produkt Pr, który ma wpływ W na przedmiot Y Przykład: Firma ewaluacyjna IBS (podmiot) dokonała ewaluacji programu Pierwsza Praca dla absolwentów w powiecie Podlaskim (przedmiot) według kryteriów trafności, skuteczności, efektywności, trwałości i użyteczności, w wyniku czego powstał raport ewaluacyjny z oceną ewaluacyjną (produkt), po którego przeczytaniu dyrektor PUP postanowił nie kontynuować tego programu (wpływ)

7 Schemat ewaluacji z wpływem Przedmiot X wpływ oceny X na X Dane o X Ewaluator Y Kryteria oceny X wpływ oceny X na X Pozytywna Jaka ocena X? Negatywna

8 Definicje ewaluacji proces określania jakości, wartości lub ważności czegoś, albo rezultat tego procesu [ ] Nazwa autonomicznej dyscypliny co oznacza badania i zastosowania procedur prowadzenia obiektywnej i systematycznej ewaluacji w pierwszym sensie (Scriven, 1991, s. 139, 141). systematyczne stosowanie procedur nauk społecznych w celu oceny (assessing) konceptualizacji, projektu, realizacji i użyteczności programów interwencji społecznej (Rossi et al. 1993, V wyd., s. 5) Ewaluacja to systematyczne zbieranie informacji o działaniach, charakterystykach i wynikach programów w celu dokonania ich oceny, poprawienia skuteczności i/lub wspomagania decyzji o ich przyszłości (Patton, 1997, s. 23)

9 Definicje ewaluacji Ewaluacja jest procesem badawczym nastawionym na praktykę i polegającym na zbieraniu i dokonywaniu syntezy dowodów, który kulminuje się we wnioskach o sytuacji, wartości, jakości, znaczeniu programu, produktu, personelu, polityki, propozycji lub planu (Fournier, w Encyclopedia of Evaluation, 2005, s. 139) Ewaluacja to systematyczny proces określania, uzyskiwania, referowania i stosowania informacji opisowych i ocennych o jakości, wartości, rzetelności, wykonalności, bezpieczeństwie, ważności i/lub sprawiedliwości (equity) danego przedmiotu (Stufflebeam, Shinkfield, 2007, s. 18) Ewaluacja to systematyczne badanie, prowadzone z użyciem zróżnicowanych metod, złożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesu oraz efektów wdrażania interwencji publicznych (Olejniczak, et al., s. 22).

10 Wybrana definicja Ewaluacja to systematyczne zbieranie, analiza i interpretacja danych w celu określenia wartości polityki społecznej lub programu pomocowego. Dane te mogą być wykorzystane przy podejmowaniu decyzji dotyczących owej polityki czy programu. Uzyskane informacje powinny być przydatne dla planowania, rozwoju i realizacji aktualnie prowadzonego programu (J. Krzyszkowski, za: K. Ornacka, 2003, s. 125).

11 Elementy wybranej definicji Ewaluowanie Pytanie Treść wybranej definicji Podmiot Kto ewaluuje? Nie wyszczególniono Przedmiot Co jest ewaluowane? Polityka społeczna, program pomocowy Kryteria Według jakich kryteriów Nie wyszczególniono Wytwór, produkt Cel, funkcja, wpływ ewaluowane? Co jest wytworem, produktem ewaluowania? Jaki cel ma ewaluowanie? Do czego służy jej produkt? Określenie wartości polityki społecznej lub programu pomocowego Podejmowanie decyzji dotyczących planowania, realizacji, rozwoju programu Sposób Jak ewaluowano? Systematyczne zbieranie, analiza i interpretacja danych Narzędzia Za pomocą czego ewaluowano? Nie wyszczególniono

12 Jakość a wartość programu Jakość: czy polityka, program dobrze robi to, do czego ją/go powołano? Jeżeli tak, ma wysoką jakość Wartość: jeżeli program jest wysokiej jakości, czy jest potrzebny tym, dla których go zaprojektowano? Wysoka jakość nie oznacza automatycznie wysokiej wartości: program robi bardzo dobrze to do czego został powołany, ale nie odpowiada to potrzebom tych, którym miał on służyć, (np. bardzo dobre szkolenie, ale w zakresie, który nie daje szansy na znalezienie pracy)

13 Jakość a wartość Jaka jest wartość polityki, programu? Czy program zaspokaja potrzeby tych, którym miał służyć? Czy jest użyteczny? Tak Jaka jest jakość polityki, programu? Czy program osiąga swoje cele? Czy jest skuteczny? Tak Polityka lub program dobrze realizuje swoje cele i jednocześnie zaspokaja ważne potrzeby Nie 2. Polityka lub program nie osiąga swoich celów, ale zaspokaja ważne potrzeby Nie 1. Polityka lub program dobrze spełnia swoje cele, ale nie jest szczególnie potrzebny Polityka lub program nie osiąga swoich celów i nie jest też potrzebny Przykład 1: celem programu było przeszkolenie 10 bezrobotnych w zakresie ICT, szkolenie było świetne, bezrobotni dużo się nauczyli, ale w ich mieście poszukiwani są ochroniarze, murarze i spawacze Przykład 2: celem programu było przeszkolenie 10 bezrobotnych w zakresie ICT, szkolenie było słabe, bezrobotni niczego się nie nauczyli, ale grupa zżyła się ze sobą, powstały nowe przyjaźni i więzi

14 Przedmiot ewaluacji program/projekt społeczny i jego logika Zasoby Działania Produkt Klienci, użytkownicy oraz ich potrzeby, problemy Planowanie i realizowanie planów przez projektodawców i personel programu Logika każdego programu społecznego: zasoby przekształcane są poprzez działania w produkt, który ma wywołać pożądane efekty społeczne (czyli odpowiednio wpłynąć na jednostki i/lub zbiorowości) E F E K T Y Wyniki w krótkim okresie Wyniki w średnim okresie Wyniki w długim okresie

15 Społeczny wymiar ewaluowanych programów (interesariusze) Sponsorzy, grantodawcy, zamawiający program Politycy, dziennikarze, eksperci, naukowcy zainteresowani programem Rodziny, sąsiedzi, lokalna społeczność bliska klientom programu Program jego treść, cele, plany, harmonogramy itd. Klienci programu, beneficjenci, odbiorcy usług Dyrektorzy, kierownicy, kadra zarządzająca programem Pracownicy programu udzielający usług

16 Problemy/potrzeby społeczne Przedmiot ewaluacji polityka społeczna Prawo społeczne UE Strategia społeczna UE Polityka społeczna państwa A Polityka społeczna państwa B Ustawy Programy Programy Ustawy Działania stałe Projekt A1 Projekt A2 Projekt B1 Projekt B2 Działania stałe Otoczenie Zasoby, nakłady, personel i jego praca, infrastruktura Produkty, np. rzeczy, pieniądze, usługi, regulacje WPŁYW, EFEKTY, REZULTATY, WYNIKI

17 Cele i funkcje ewaluacji

18 Cele ewaluacji Oszacowanie jakości i wartości polityki lub programu społecznego Usprawnienie programu i jego realizacji Nadzór i stosowanie się do przepisów Rozwój wiedzy Wsparcie dla funkcji kontrolnej sprawowanej przez demokratyczne instytucje Tworzenie wiedzy, która będzie lepszą podstawą projektowania polityki i programów Pomaganie agencjom publicznym w zwiększaniu ich zdolności planistycznych, realizacyjnych i analitycznych Informowanie opinii publicznej o działaniach władz publicznych poprzez upowszechnianie wyników ewaluacji Wszechstronna i całościowa ocena programu Uczenie się i poprawianie funkcjonowania programu Rozliczenie z efektywnego wykorzystania zasobów i osiągnięcia oczekiwanych wyników (accountability) Monitoring działania programu Rozwój i zmiana sposobu działania - dostosowanie do złożonych, nowych i zmiennych warunków Tworzenie wiedzy Autor i źródło Mark, Henry i Julnes, 2000, s. Chelimsky, 2006, s. 39 Patton, 2008, s

19 Funkcje ewaluacji Wspomaganie decyzji związanej z zarządzaniem programami społecznymi Określenie jakości i wartości programu dla tych, którym ma on służyć Budowanie partnerstwa i współwłasności Poprawa wdrażania i bieżącej jakości Racjonalizowanie planowania Funkcja poznawcza Rozliczanie i wzmocnienie odpowiedzialności Poprawa planowania przez zagwarantowanie racjonalnego uzasadnienia dla danej interwencji Poprawa wdrażania i kontrola jakości m.in. istniejącej struktury, procedur i procesu zarządzania interwencją publiczną Wzmocnienie odpowiedzialności przez zwiększenie skuteczności i wydajności działań publicznych Wspieranie procesów uczenia się m.in. przez budowanie zdolności ewaluacyjnych, weryfikowanie teorii leżących u podstaw danych polityk czy programów Wzmacnianie partnerstwa i poczucia współwłasności przez realizowanie zasady empowerment, aktywizowanie i wzmacnianie powiązań, relacji, współpracy, interakcji między uczestnikami określonego przedsięwzięcia Autor i źródło Scriven, 1993, s. 9 (autor argumentował, że główną funkcją powinna być druga z nich) Olejniczak, 2008, s Ornacka, 2008, s. 28

20 Funkcje nieuprawnione ewaluacji Odwlekanie decyzji Uzasadnianie decyzji, które zostały już podjęte Unikanie lub rozpraszanie odpowiedzialności za podjęte decyzje Poprawa wizerunku osoby lub instytucji zamawiającej ewaluację ewaluowanie tylko wybranych aspektów programu, żeby ukazać go w lepszym świetle unikanie ewaluacji pewnych aspektów programów, aby ukryć jego porażkę

21 Ewaluacja a działania podobne Weryfikacja wstępna i retrospektywana (A. Podgórecki w kontekście toku postępowania legislacyjnego, 1957) Kontrola (J. Supińska w kontekście procedury programowania polityki społecznej, 1991; kontrola NIK) Audyt (audit w kontekście norm ISO zarządzania jakością z serii 9000) Monitoring

22 Ewaluacja a audyt i monitoring

23 Olejniczak, 2005

24

25

26 Kontrola NIK a ewaluacja Kryteria kontroli Najwyższej Izby Kontroli: legalność, gospodarność, celowość, rzetelność. Legalność obejmuje badanie zgodności działania z przepisami prawa (powszechnego, wewnętrznego oraz umowami, decyzjami podjętymi i zawartymi przez uprawnione podmioty itp.). Gospodarność obejmuje badanie oszczędnego i wydajnego wykorzystania środków; uzyskania właściwej relacji nakładów do efektów; wykorzystania możliwości zapobieżenia lub ograniczenia wysokości zaistniałych szkód. Celowość obejmuje badanie zapewnienia zgodności z celami określonymi dla kontrolowanej jednostki lub działalności; zapewnienia odpowiedniości zastosowanych metod i środków dla osiągnięcia założonych celów; osiągnięcia tych celów (skuteczność). Rzetelność obejmuje badanie wypełniania obowiązków z należytą starannością, sumiennie i we właściwym czasie; wypełniania zobowiązań zgodnie z ich treścią; dokumentowania określonych działań lub stanów faktycznych zgodnie z rzeczywistością, we właściwej formie i wymaganych terminach, bez pomijania określonych faktów i okoliczności.

27 Przykład oceny negatywnej Na przykładzie wniosków pokontrolnych, przypadki: nielegalności, np. wydatkowanie środków pochodzących z opłat za korzystanie z zezwoleń na sprzedaż napojów alkoholowych na zadania nie ujęte w gminnych programach profilaktyki i rozwiązywania problemów alkoholowych niegospodarności, np. nieegzekwowanie w pełnej wysokości opłat za korzystanie z zezwoleń nierzetelności, np. zamieszczanie w gminnych programach profilaktyki i rozwiązywania problemów alkoholowych zadań sformułowanych w sposób ogólnikowy, bez rozpoznania występujących zagrożeń oraz znaczne opóźnienia w uchwalaniu programów niegospodarności i nierzetelności, np. przyjmowanie przez gminy oświadczeń o wartości sprzedaży bez podejmowania czynności zmierzających do ich weryfikacji

28 Kryteria ewaluacji

29 Logika programu i kryteria ewaluacyjne PROBLEMY SPOŁECZNO- EKONOMICZNE PROGRAM EWALUACJA Efektywność: oszczędność / wydajność

30 Wybrane kryteria ewaluacyjne Skuteczność: na ile rezultaty i wpływ programu przyczyniły się do osiągnięcia jego celów? Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, rezultatów i wpływu? Oszczędność jak najmniejsze nakłady przy ustalonych celach Wydajność jak największe osiągnięcia przy ustalonych kosztach Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów? Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów? Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?

31 Skuteczność

32 Różne rodzaje celów programów / projektów Czy to mamy? Czy chcemy to mieć? Tak Nie Tak Cel: zachować Cel: usunąć Nie Cel: osiągnąć Cel: unikać Patton, 2008, s. 236

33 Cele w stosunku do usług czy wyników? Cele w stosunku do usługi Udzielać dobrze skoordynowanych usług zdrowotnych dla nastolatek w ciąży Poprawić jakość usług z zakresu ochrony dzieci Udzielać usług edukacyjnych wysokiej jakości Pomagać rodzicom w decyzjach dotyczących pracy i życia rodzinnego Cele w stosunku do wyników Nastolatki w ciąży rodzą zdrowe dzieci, którymi potem właściwie się opiekują Dzieci są bezpieczne, nie są wykorzystywane ani zaniedbywane Uczniowie mają odpowiednią wiedzę i umiejętności Dzieci rodziców, którzy chcą pracować mają odpowiednią opiekę Patton, 2008, s. 242

34 Niektóre problemy z celami 1. Różne strony zaangażowane w program (politycy, urzędnicy, sponsorzy, personel programu) mają często różne, sprzeczne ze sobą cele 2. Cele są na ogół ogólnie sformułowane, można je różnie interpretować i nie wiadomo jak je mierzyć 3. Cele oficjalne czasem są krytykowane i same uznawane za problem (np. stwierdzenie, że cele są niejasne i ogólnikowe oznacza, że istnieje potrzeba ich rozjaśnienia i skonkretyzowania) 4. Skutki uboczne mogą doprowadzić do upadku programu niezależnie od jego celów (spoglądanie wyłącznie na skutki zamierzone pomija kwestię skutków ubocznych zarówno pozytywnych i negatywnych)

35 Rodzaje wyników Rodzaj zmiany Zmiana warunków Zmiana statusu Zmiana zachowania Zmiana funkcjonowania Zmiana postawy Zmiana wiedzy Zmiana umiejętności Utrzymanie Zapobieganie Przykład Dziecko z rodziny zastępczej bezpiecznie wraca do rodziny biologicznej Bezrobotny stał się zatrudniony Wagarowicze zaczynają regularnie chodzić do szkoły Zwiększenie poziomu samoobsługi; punktualność w przychodzeniu do pracy Większa wiara w siebie Zrozumienie potrzeb dzieci w różnych stadiach rozwoju Poprawa płynności czytania Osoba starsza bezpiecznie pozostaje w domu Młodzież nie zażywa narkotyków Patton, 2008, s. 245

36 Skutki działania Ocenianie działań po skutkach Mamy zamierzenia i plany Podejmujemy działania, które mają rozmaite skutki Skutki działań, wybrane rodzaje: Zamierzone, niezamierzone Przewidywane, nieprzewidywane Oceniane pozytywnie (korzyści, nabytki), oceniane negatywnie (koszty, ubytki) W krótkim, średnim i długim okresie Bezpośrednie, pośrednie Interesujące są skutki podobne do zamierzonych, ale niebędące wynikiem naszych działań

37 Rodzaje skutków cd. Ocena skutków Pozytywna Skutki osiągnięte a skutki zaplanowane Osiągnięte i zaplanowane Zamierzone korzyści Osiągnięte i niezaplanowane Niezamierzone korzyści Negatywna Zamierzone koszty Niezamierzone koszty

38 Wpływ brutto i netto Wpływ brutto Ogół czynników Inne czynniki Ogół skutków zgodnych z celem Polityka, program X Realizacja PX Skutki polityki, programu X Wpływ netto T1 T2 Czas Który rodzaj wpływu należy wziąć pod uwagę przy ocenie skuteczności polityki lub programu X?

39 Przykład: wpływ netto a brutto Program pierwsza praca dla absolwentów W gminie było 100 bezrobotnych absolwentów W programie wzięło udział 30 Po roku pracę znalazło 50 absolwentów, a więc: Część znalazła pracę nie uczestnicząc w programie Czy wszyscy, którzy wzięli udział w programie znaleźli pracę dzięki niemu? Skuteczność programu z pewnością jest mniejsza niż 50%, możliwe też, że mniejsza niż 30%, np. 5 absolwentów znalazło pracę nie dzięki swojemu udziałowi w programie

40 Skuteczność różne przypadki Skutki osiągnięte = skutkom zamierzonym, zaplanowanym (skuteczność) Skutki osiągnięte > skutków zamierzonych, zaplanowanych (przekroczenie celów) Skutki osiągnięte < skutków zamierzonych, zaplanowanych (niedostateczna realizacja celów) Skutki osiągnięte skutków zamierzonych (brak realizacji celów, co nie oznacza, że nie było żadnych skutków)

41 Efektywność (ekonomiczność)

42 Efekt a skutek Efektywność to słowo, które pochodzi od efektu, a efekt to skutek, lub rodzaj skutku Wnioski Efektywność może być mylona ze skutecznością Zamiast efektywności można stosować nazwę ekonomiczność, gdyż ekonomizacja działania polega na poprawie bilansu jego korzyści i kosztów

43 Wysiłek i osiągnięcia Planujemy coś osiągnąć Żeby to osiągnąć potrzebne są zasoby i działania Zasoby i działania kosztują, można je wycenić (cena wkładu, nakłady) Zdobywamy zasoby i działamy W wyniku zużycia zasobów i wykonania działań osiągamy skutki Wartość osiągniętych skutków można również wycenić (cena efektu) Porównujemy wycenione nakłady z wycenionymi efektami (koszty z korzyściami)

44 Wycena i bilansowanie nakładów i efektów Nakłady Program X działania Efekty WYCENA Wartość pieniężna nakładów WN WN-WE>0 Koszty netto PORÓWNANIE Możliwe wyniki WN-WE=0 WN-WE<0 Korzyści netto WYCENA Wartość pieniężna efektów WE

45 Nakłady do efektów Nakłady (ubytki, koszty) planowane lub osiągnięte Efekty (nabytki, korzyści) planowane lub osiągnięte Duże Małe Duże Średnia efektywność Niska efektywność Małe Wysoka efektywność Średnia efektywność

46 Odmiany metody koszty-korzyści Czy efektywność jest jedynym celem programu? Czy wszystkie konsekwencje programu da się przedstawić na skali pieniężnej? Tak Nie Tak Formalna analiza kosztykorzyści Jakościowa analiza kosztykorzyści Nie Zmodyfikowana analiza koszty-korzyści Analiza koszty-skuteczność: (z ustalonym budżetem lub z ustaloną skutecznością) Analiza z wieloma celami

47 Skuteczność a efektywność Skuteczne są programy, których skutki osiągane zgodne są z zamierzonymi (z celami) Efektywne są programy, które osiągają zamierzone i osiągane skutki przy jak najmniejszym poziomie nakładów Hierarchia ważności: najpierw program powinien być skuteczny (osiąganie skutków zgodnych z celami), a następnie należy zadbać o jego efektywność

48 Użyteczność

49 Beneficjenci, adresaci, klienci Komu ma służyć dany program? Kto ma na nim skorzystać? Czyje dobro ma być za jego pomocą powiększone? Pytania o zamierzonych i bezpośrednich beneficjentów (adresatów) Kto jeszcze odniesie korzyści, jeżeli na programie skorzystają, ci którym miał on służyć? Czyje jeszcze dobro będzie powiększone dzięki temu? Pytania o pośrednich beneficjentów

50 Beneficjenci zamierzeni, faktyczni i pośredni - przykład Program X dla 10 alkoholików (zamierzeni beneficjenci) miał na celu zwiększenie skuteczności leczenia odwykowego Dzięki programowi 7 z tych alkoholików utrzymało trzeźwość dłużej niż alkoholicy poddani zwykłemu leczeniu (faktyczni beneficjenci) W przypadku 4 z tych alkoholików, dzięki wydłużeniu trzeźwości znacznie się poprawiły ich relacje małżeńskie i z dziećmi, czyli wzrosło też dobro ich małżonek i dzieci (pośredni beneficjenci)

51 Potrzeby beneficjentów Grupa docelowa Moje potrzeby to Moje potrzeby to Moje potrzeby to Moje potrzeby to Moje potrzeby to Jakie potrzeby mają zamierzeni beneficjenci? Czego potrzebują? Co będzie dla nich dobre? Co będzie dla nich najlepsze? Program, jego cele i skutki Jak ma się dany program do potrzeb zamierzonych beneficjentów? Czyli jaka jest jego użyteczność dla nich (użyteczność jego celów i skutków)?

52 Trzy kryteria razem Użyteczność min min Skuteczność Efektywność max max Program / projekt X min Użyteczność max Który program jest lepszy? Jak porównać oceny wielokryterialne? min min Skuteczność Efektywność max max Program / projekt Y min max

53 Źródła kryteriów oceny osiągnięć programu/projektu Potrzeby i pragnienia grup docelowych Cele i zadania programu Standardy profesjonalne Zwyczajowe praktyki; normy dla innych programów Wymogi prawne Wartości etyczne i moralne, np. sprawiedliwość społeczna Osiągnięcia w przeszłości; dane historyczne Cele ustalone przez zarządzających programem Opinie ekspertów Poziom ustalony dla docelowej grup przed interwencją Warunki oczekiwane bez interwencji programu Koszty lub koszty względne

54 Ewaluacja w kontekście dynamiki programu (projektu)

55 Fazy rozwoju programu (projektu) 1. Diagnoza problemów społecznych i potrzeb 2. Określenie celów 3. Zaprojektowanie alternatywnych sposobów działania 4. Wybieranie jednego z alternatywnych sposobów działania 5. Wdrażanie programu 6. Realizacja programu 7. Wyniki programu 8. Koszty i wyniki programu

56 Faza projektowa i realizacyjna Faza projektowa Diagnoza Cele Alternatywy Wybór Faza realizacyjna Wdrożenie Realizacja Skutki Wyniki i koszty Działanie Wpływ działania

57 Cykl programu (interwencji) a rodzaje ewaluacji Może być rozumiana jako ewaluacja alternatywnych rozwiązań lub już przyjętego rozwiązania Olejniczak, Mechanizmy, s. 91

58 Typowe pytania ewaluacyjne diagnoza potrzeb Na czym polega problem, który mamy rozwiązać, jakie jest jego natężenie? Jakie cechy ma grupa mająca problem (potrzebująca pomocy)? Czego potrzebuje grupa docelowa? Jakie usługi są potrzebne? Jak dużo usług potrzeba i w jakim czasie mają być udzielane? Jak należy zorganizować udzielanie usług, aby otrzymała je grupa, która ich potrzebuje?

59 Typowe pytania ewaluacyjne ocena teorii programu Jacy klienci powinni być obsłużeni? Jakie usługi powinny być udzielone? Jaki jest najlepszy system udzielania usług? Jak program będzie identyfikował, rekrutował i utrzymywał docelowych klientów? Jak program powinien być zorganizowany? Jakie zasoby są konieczne i odpowiednie dla programu?

60 Przykłady teorii programu Kampania medialna na temat zdrowego żywienia Wzrost wiedzy i świadomości w społeczeństwie Zdrowsza dieta Kwalifikacje zawodowe Szkolenie zawodowe Umiejętności poszukiwania pracy Lepsza praca Poprawa sytuacji materialnej Motywacja do pracy Rossi, Lipsey, Freeman 2004, s. 143

61 Przykłady teorii programu cd. Lekcje matematyki wspomagane komputerowo w szkole średniej Wzrost wiedzy matematycznej uczniów Wzrost umiejętności komputerowych uczniów Praktyczne umiejętności życiowe Zmniejszenie liczby nauczycieli Zmniejszone koszty systemu edukacyjnego Rossi, Lipsey, Freeman 2004, s. 143

62 Zastosowanie teorii programu do interpretacji wyników ewaluacji Czy implementacj a interwencji była odpowiednia? Czy wystarczające były zaangażowanie, rekrutacja, wypełnianie zaleceń? Czy cele pośrednie zostały osiągnięte? Czy cele ostateczne zostały osiągnięte? Interpretacja Niepowodzenie implementacji Niepowodzenie zaangażowania lub zgodności (pierwszy łącznik przyczynowo-skutkowy) Niepowodzenie teorii (wcześniejszy łącznik przyczynowo-skutkowy) Niepowodzenie teorii (późniejszy łącznik przyczynowo-skutkowy) Zgodność z teorią Niepowodzenie teorii (inna ścieżka przyczynowo-skutkowa) Funnell, Rogers, Purposeful Program Theory: Effective Use of Theories of Change and Logic Models

63 Zastosowanie teorii programu do interpretacji wyników ewaluacji - przykład Przykładowy program Jabłka dla studentów Czy jabłka zostały dostarczone? Czy jabłka zostały zjedzone? Czy poziom witaminy C we krwi wzrósł? Czy poprawił się poziom zdrowia? Interpretacja Niepowodzenie implementacji Niepowodzenie w zaangażowaniu i zgodności zachowań (pierwszy łącznik przyczynowy) Niepowodzenie teorii (wcześniejszy łącznik przyczynowy) Niepowodzenie teorii (późniejszy łącznik przyczynowy) Zgodność z teorią Częściowe niepowodzenie teorii (działa tylko w pewnych kontekstach Niepowodzenie teorii (odmienna ścieżka przyczynowa) Funnell, Rogers, Purposeful Program Theory: Effective Use of Theories of Change and Logic Models

64 Typowe pytania ewaluacyjne ocena procesu Czy cele administracyjne i w stosunku do usług zostały zrealizowane? Czy zamierzone usługi zostały udzielone zamierzonym klientom? Czy są osoby potrzebujące, które nie otrzymały usług z programu? Czy program ukończyła wystarczająca liczba klientów? Czy klienci byli zadowoleni z usług? Czy funkcje administracyjne, organizacyjne i związane z personelem zostały dobrze wykonane?

65 Typowe pytania ewaluacyjne ocena wpływu Czy cele i zadania dotyczące produktu (np. ile usług udzielono) zostały osiągnięte? Czy usługi miały korzystny wpływ na grupę docelową? Czy usługi miały jakieś negatywne skutki uboczne dla klientów? Czy wśród klientów byli tacy, na których usługi wpłynęły bardziej niż na innych? Czy problem, który miały rozwiązać usługi zmniejszył się?

66 Program i jego efekty w ujęciu dynamicznym efekty Przebieg relacji między programem a jego efektami w czasie może być różny, co symbolizują krzywe o różnych kolorach duże małe Rozpoczęcie przygotowań Rozpoczęcie realizacji Zakończenie realizacji czas Realizacja programu Donaldson, Program s. 36

67 Zmiana poziomu efektów Efekty i dynamika programu Efekty Poziom efektów po programie Poziom efektów przed programem Przed programem W trakcie programu Po programie Rossi, Lipsey, Freeman 2004, s. 207

68 Typowe pytania ewaluacyjne ocena efektywności Czy zasoby zostały wykorzystane efektywnie? Czy koszty są rozsądne w stosunku do wielkości osiągniętych korzyści? Czy jakieś alternatywne podejście dałoby podobne korzyści przy mniejszych kosztach?

69 Hierarchia pytań ewaluacyjnych Poziom wymagający wiedzy osiągniętej w wyniku przejścia przez pozostałe Ocena kosztów i efektywności programu Ocena wyników i rezultatów programu Ocena procesu programu i jego implementacji Ocena kształtu i teorii programu Ocena czy i na ile program jest/był potrzebny Poziom najbardziej podstawowy Rossi, Lipsey, Freeman 2004, s. 80

70 Fazy rozwoju programu, pytania ewaluacyjne i funkcje ewaluacji Faza rozwoju programu Pytanie ewaluacyjne Funkcja ewaluacji Diagnoza problemów, potrzeb Określenie celów Zaprojektowanie alternatywnych sposobów działania Wybieranie jednej z alternatyw Wdrażanie programu Realizacja programu Wyniki programu Wyniki a koszty programu W jakim stopniu i jakie potrzeby (standardy) są niezaspokojone? Co musi być zrobione, żeby zaspokoić te potrzeby i spełnić standardy? Jakich usług i komu trzeba udzielić, aby osiągnąć pożądane zmiany? Który z możliwych sposobów działania jest najlepszy? Jak rozpocząć realizację programu? Czy program realizowany jest zgodnie z planem? Diagnoza potrzeb; opis problemu Diagnoza potrzeb; zapotrzebowanie na usługi Ocena logiki i teorii programu Studium wykonalności; ewaluacja formatywna (ex ante) Ocena implementacji Ewaluacja procesu; monitoring programu Czy program ma pożądane skutki? Ewaluacja wyników Czy koszty osiągnięcia skutków programu były rozsądne? Analiza koszty-korzyści; analiza koszty-skuteczność

71 Elementy teorii programu jako podstawa ewaluacji Haber Ewaluacja ex-post, s. 131

72 Definicja problemu

73 Krytyczne zasoby

74 Procesy pośredniczące

75 Oczekiwane rezultaty

76 Czynniki zewnętrzne

77 Wdrożenie

78 Teoria i logika programu razem Program dostarczający szkoleń w zakresie przywództwa społecznością oraz usług dla społeczności Nakłady Działania Produkt Wyniki bezpośrednie Wyniki pośrednie Wyniki w długim okresie Wpływ na społeczność Program theories and logic models

79 Rodzaje ewaluacji

80 Podziały ewaluacji na rodzaje Kryterium podziału Fazy procesu programu Cel Pozycja ewaluatora wobec programu Udział personelu, klientów Liczba kryteriów Rodzaj kryteriów Źródło kryteriów Składniki programu Rodzaj wyników Przykładowy podział ewaluacji na rodzaje Ex ante / interim (w tym mid-term, on-going) / ex post Podsumowująca / usprawniająca / kontrolna / poznawcza Wewnętrzna / zewnętrzna Współzarządzana / uczestnicząca / nieuczestnicząca (administracyjna) Jednokryterialna / wielokryterialna Skuteczności / efektywności / użyteczności / trafności itd. Kryteria określone z góry (m.in. poprzez cele programu) / kryteria odkrywane w trakcie Planu / zasobów (w tym personelu, kosztów itp.) / działań / produktu (np. dobra, usługi) Wyników w krótkim okresie / w średnim / w długim Wyniki bezpośrednie / wyniki pośrednie Wykorzystywana metoda Metodami eksperymentalnymi / metodami nieeksperymentalnymi / metodami mieszanymi Metodami ilościowymi / metodami jakościowymi / metodami mieszanymi Kontekst W polityce społecznej / w pracy socjalnej / w edukacji / w ochronie zdrowia / w kulturze / w ochronie środowiska / w polityce rynku pracy itd.