Ewaluacja w polityce społecznej

Transkrypt

1 Ewaluacja w polityce społecznej Standardy ewaluacji i metaewaluacja Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/

2 Dwa pojęcia standardu Standard jako pojęcie statystyczne X jest standardem = X jest powszechny, X jest stosowany przez większość, X występuje w większości przypadków Standard jako pojęcie normatywne X jest standardem Y = Y powinien odpowiadać X, Y ma mieć cechy oznaczone przez X, Y powinien być wzorowany na X, Y ma być podobny do X Słowa bliskoznaczne: wzór, norma, model

3 Po co standardy? Istnienie standardów zwiększa jakość ewaluacji jako odrębnego typu stosowanych badań społecznych i służy promocji ewaluacji w społeczeństwie Przy pomocy owych standardów dokonuje się metaewaluacji, czyli oceny zarówno planowanych, jak i realizowanych ewaluacji Standardy dostarczają początkującym ewaluatorom wskazówek, jak powinien planować badania, co jest w nich istotne B. Szatur-Jaworska red., Ewaluacja w służbach społecznych, rozdział 6

4 Po co standardy? Cd. Standardy pomagają ewaluatorom i osobom z nimi współpracującym rozstrzygać wątpliwości, co do słuszności i etyczności postępowania ewaluatora w trakcie realizacji badań Standardy zwiększają wiarygodność środowiska ewaluatorów i podnoszą zaufanie do ich pracy ze strony zleceniodawców ewaluacji, uczestników ocenianych programów i innych stron zainteresowanych ewaluacją Standardy chronią osobiste dobra innych, niż zamawiający i ewaluatorzy, osób zaangażowanych w ewaluację B. Szatur-Jaworska i na kolejnych slajdach

5 Różne nazwy standardów na świecie Standardy (np. Standardy ewaluacji Polskiego Towarzystwa Ewaluacyjnego, Standardy SEVAL Szwajcarskiego Towarzystwa Ewaluacyjnego, The Program Evaluation Standards Joint Committee on Standards for Educational Evaluation) Wytyczne / wskazówki (np. Guidelines for the Ethical Conduct of Evaluations, Australoazjatyckiego Towarzystwa Ewaluacyjnego [Australasian Evaluation Society]) Zasady (np. Les principes de l évaluation en France zawarte w dokumencie Francuskiego Towarzystwa Ewaluacyjnego [Société Française de l Évaluation] pt. Charte de l Évaluation des politiques publiques et des programmes publics oraz Guiding Principles for Evaluators Amerykańskiego Towarzystwa Ewaluacyjnego [American Evaluation Association]) Normy (np. The United Nations Norms for Evaluation Organizacji Narodów Zjednoczonych) Reguły (np. opracowane przez Grupę ONZ do spraw ewaluacji Règles d évaluation applicables au sein du système des Nations Unies )

6 Czego dotyczą standardy? 1. Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego? 2. Jak postępować, by nie naruszać prawa? 3. Jak postępować, by być rzetelnym warsztatowo? 4. Jak postępować, by być sprawnym w działaniu? 5. Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji? 6. Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?

7 Kategorie standardów Standardy etyczne Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego? Jak postępować, by nie naruszać prawa? Standardy metodologiczne Jak postępować, by być rzetelnym warsztatowo? Standardy prakseologiczne Jak postępować, by być sprawnym w działaniu? Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji? Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?

8 Standardy ewaluacji przykład z USA: The Program Evaluation Standards Standardy została podzielone na 5 części (łącznie 32 standardy) dotyczące Użyteczności (8 standardów, np. U1 wiarygodność ewaluatora: ewaluacja powinna być przeprowadzana przez wykwalifikowanego ewaluatora dbającego o swoją wiarygodność) Wykonalności (4 standardy, np. F4 wykorzystanie zasobów: ewaluacja powinna wykorzystywać zasoby efektywnie) Uczciwości (7 standardów, np. P4 jasność i bezstronność: ewaluacja powinna być zrozumiała i fair w stosunku do potrzeb interesariuszy) Dokładności (8 standardów, np. A7 jasne rozumowanie ewaluacyjne: wnioskowanie ewaluacyjne prowadzące od zebranych danych i ich analiz do wniosków i ocen powinno być jasno i kompletnie udokumentowane) Kontroli (3 standardy, np. E2 wewnętrzna metaewaluacja: ewaluatorzy powinni zastosować odpowiednie standardy, aby zapewnić jakość projektu ewaluacji, zastosowanych procedur, zebranych wyników i wniosków)

9 Standardy ewaluacji Polskiego Towarzystwa Ewaluacyjnego (PTE)

10 Standardy etyczne PTE ( ) Określenie przejrzystych kryteriów wyboru ewaluatora Zlecający, w przypadku zamówień publicznych, nie powinien przygotowywać badania ewaluacyjnego pod kątem konkretnego wykonawcy. Zlecający powinien umożliwić różnym wykonawcom równe szanse w dążeniach do realizacji ewaluacji. Przygotowanie zamówienia, jak również wyłonienie wykonawcy, powinno mieć charakter jawny i powinno opierać się na zasadach czytelnych dla wszystkich zainteresowanych podmiotów. ( )

11 Standardy etyczne PTE cd. Zapewnienie niezależności ewaluacji. Ewaluator, podejmując się realizowania ewaluacji, powinien być niezależny w stosunku do ewaluowanego przedmiotu oraz zlecającego. w przypadku pojawienia się konfliktu interesów powinien odstąpić od realizacji ewaluacji i/lub otwarcie poinformować o jego występowaniu. Pożądane jest również zapewnienie maksymalnej niezależności osób bezpośrednio przygotowujących, zlecających i odbierających wykonaną ewaluację od działów realizujących ewaluowane przedsięwzięcie w ramach struktur organizacyjnych zlecającego.( )

12 Standardy etyczne PTE cd. Ewaluator powinien: okazywać szacunek dla osób i podmiotów zaangażowanych w badanie ewaluacyjne, co przejawia się w szczególności w stosowaniu zasady poufności i anonimowości, zachować neutralność i obiektywizm wobec badanych, poznać kontekst sytuacji badanych, cechować się wrażliwością i empatią, zapewnić wszystkim badanym odpowiednie do potrzeb warunki/możliwości wypowiedzenia się. ( )

13 Standardy metodologiczne PTE Precyzyjne określenie celu, przedmiotu i zakresu badania. Dla powodzenia ewaluacji podstawowe znaczenie ma precyzyjne i logicznie spójne określenie przedmiotu i celu ewaluacji, kluczowych pytań, na które poszukuje się odpowiedzi oraz kryteriów, z zastosowaniem których przedmiot ewaluacji będzie ewaluowany. ( ) Aby cele ewaluacji były w pełni zrozumiałe dla wszystkich zaangażowanych podmiotów, powinno się zidentyfikować sposób wykorzystania wyników badania. ( ) Na etapie planowania ewaluacji powinno się sformułować kryteria oceny jakości raportu ewaluacyjnego.

14 Standardy metodologiczne PTE Zapewnienie trafności i rzetelności badań ewaluacyjnych. ( )Realizacja ewaluacji opiera się na metodologii badań naukowych. W badaniach ewaluacyjnych uprawnione jest stosowanie różnych podejść metodologicznych, ich wybór powinien być dokonywany w relacji do celów i zakresu badania oraz dostępnych / posiadanych zasobów.( )

15 Standardy metodologiczne PTE cd. Zapewnienie przejrzystości struktury i języka raportu ewaluacyjnego. Zapewnienie rzetelności raportu ewaluacyjnego. ( ) Tezy raportu powinny bazować na zebranym materiale empirycznym. Zamawiający nie powinien ingerować w wyniki badań ewaluacyjnych. Wprowadzenie zmian w raporcie może mieć miejsce wyłącznie za zgodą ewaluatora.

16 Standardy prakseologiczne PTE Zasadność podejmowania ewaluacji. Powinno się zlecać realizację tylko takich ewaluacji, które są istotne dla zarządzania danym przedsięwzięciem i/lub charakteryzują się wysokimi walorami poznawczymi oraz praktycznymi. Realistyczne określenie sposobu przeprowadzenia ewaluacji. Sposób realizacji badania powinien być adekwatny do celu, przedmiotu i zakresu ewaluacji. Dlatego też niezbędne jest racjonalne oraz precyzyjne oszacowanie zasobów potrzebnych do przeprowadzenia prac ewaluacyjnych w sposób zgodny z zapotrzebowaniem. ( )

17 Standardy prakseologiczne PTE cd. Dbanie o partycypacyjność i jakość współpracy w procesie ewaluacji. Komunikacja w procesie ewaluacji powinna być oparta na stałym dialogu pomiędzy ewaluatorem a zlecającym. Konsultowanie wniosków i rekomendacji. Po wstępnym sformułowaniu wniosków i rekomendacji powinna odbyć się dyskusja nad ich trafnością, poprowadzona w gronie interesariuszy. ( ) W razie potrzeby powinien być opracowany protokół rozbieżności, jako produkt procesu konsultacji. Wykorzystanie rekomendacji. ( ) W ramach procesu ewaluacji powinno zadbać się o opracowanie przejrzystych procedur wdrożenia rekomendacji, w tym określić cel i sposób ich wdrożenia wraz z podaniem, o ile możliwe, adresatów rekomendacji oraz wstępnego harmonogramu. ( )

18 Metaewaluacja Metaewaluacja jest to ewaluacja ewaluacji, czyli systematyczny i metodyczny proces, w wyniku którego powstaje ocena jakości i wartości ewaluacji Teoria ewaluacji odnosi się również do metaewaluacji Kryteria specyficzne dla metaewaluacji zawarte są w standardach ewaluacji określających pożądane właściwości ewaluacji Metaewaluacja nie jest metaanalizą, nie jest więc podsumowaniem wielu badań na dany temat (np. wpływu projektu na potrzeby i problemy ludzi) Metaewaluacja może być zastosowana do jednej ewaluacji i do wielu ewaluacji

19 Metaewaluacja w Polsce? Przykład 1 Metaewaluacja projektów systemowych realizowanych w Działaniu 7.1 Programu Operacyjnego Kapitał Ludzki na podstawie raportów końcowych z ewaluacji przeprowadzonych przez Regionalne Ośrodki Polityki Społecznej w 2010 r. Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości ewaluacji przeprowadzonych przez ROPSy, ale podsumowanie wyników wielu ewaluacji na podobny temat

20 Metaewaluacja w Polsce? Przykład 2 Szczegółowy Opis Zadania na wykonanie badania ewaluacyjnego pt. Metaewaluacja wyników Badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości ewaluacji dotyczących PO IG, ale przegląd i podsumowanie wyników wielu ewaluacji na podobny temat