Ewaluacja w polityce społecznej Standardy ewaluacji i metaewaluacja Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/
Dwa pojęcia standardu Standard jako pojęcie statystyczne X jest standardem = X jest powszechny, X jest stosowany przez większość, X występuje w większości przypadków Standard jako pojęcie normatywne X jest standardem Y = Y powinien odpowiadać X, Y ma mieć cechy oznaczone przez X, Y powinien być wzorowany na X, Y ma być podobny do X Słowa bliskoznaczne: wzór, norma, model
Po co standardy? Istnienie standardów zwiększa jakość ewaluacji jako odrębnego typu stosowanych badań społecznych i służy promocji ewaluacji w społeczeństwie Przy pomocy owych standardów dokonuje się metaewaluacji, czyli oceny zarówno planowanych, jak i realizowanych ewaluacji Standardy dostarczają początkującym ewaluatorom wskazówek, jak powinien planować badania, co jest w nich istotne B. Szatur-Jaworska red., Ewaluacja w służbach społecznych, rozdział 6
Po co standardy? Cd. Standardy pomagają ewaluatorom i osobom z nimi współpracującym rozstrzygać wątpliwości, co do słuszności i etyczności postępowania ewaluatora w trakcie realizacji badań Standardy zwiększają wiarygodność środowiska ewaluatorów i podnoszą zaufanie do ich pracy ze strony zleceniodawców ewaluacji, uczestników ocenianych programów i innych stron zainteresowanych ewaluacją Standardy chronią osobiste dobra innych, niż zamawiający i ewaluatorzy, osób zaangażowanych w ewaluację B. Szatur-Jaworska i na kolejnych slajdach
Różne nazwy standardów na świecie Standardy (np. Standardy ewaluacji Polskiego Towarzystwa Ewaluacyjnego, Standardy SEVAL Szwajcarskiego Towarzystwa Ewaluacyjnego, The Program Evaluation Standards Joint Committee on Standards for Educational Evaluation) Wytyczne / wskazówki (np. Guidelines for the Ethical Conduct of Evaluations, Australoazjatyckiego Towarzystwa Ewaluacyjnego [Australasian Evaluation Society]) Zasady (np. Les principes de l évaluation en France zawarte w dokumencie Francuskiego Towarzystwa Ewaluacyjnego [Société Française de l Évaluation] pt. Charte de l Évaluation des politiques publiques et des programmes publics oraz Guiding Principles for Evaluators Amerykańskiego Towarzystwa Ewaluacyjnego [American Evaluation Association]) Normy (np. The United Nations Norms for Evaluation Organizacji Narodów Zjednoczonych) Reguły (np. opracowane przez Grupę ONZ do spraw ewaluacji Règles d évaluation applicables au sein du système des Nations Unies )
Czego dotyczą standardy? 1. Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego? 2. Jak postępować, by nie naruszać prawa? 3. Jak postępować, by być rzetelnym warsztatowo? 4. Jak postępować, by być sprawnym w działaniu? 5. Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji? 6. Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?
Kategorie standardów Standardy etyczne Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego? Jak postępować, by nie naruszać prawa? Standardy metodologiczne Jak postępować, by być rzetelnym warsztatowo? Standardy prakseologiczne Jak postępować, by być sprawnym w działaniu? Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji? Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?
Standardy ewaluacji przykład z USA: The Program Evaluation Standards Standardy została podzielone na 5 części (łącznie 32 standardy) dotyczące Użyteczności (8 standardów, np. U1 wiarygodność ewaluatora: ewaluacja powinna być przeprowadzana przez wykwalifikowanego ewaluatora dbającego o swoją wiarygodność) Wykonalności (4 standardy, np. F4 wykorzystanie zasobów: ewaluacja powinna wykorzystywać zasoby efektywnie) Uczciwości (7 standardów, np. P4 jasność i bezstronność: ewaluacja powinna być zrozumiała i fair w stosunku do potrzeb interesariuszy) Dokładności (8 standardów, np. A7 jasne rozumowanie ewaluacyjne: wnioskowanie ewaluacyjne prowadzące od zebranych danych i ich analiz do wniosków i ocen powinno być jasno i kompletnie udokumentowane) Kontroli (3 standardy, np. E2 wewnętrzna metaewaluacja: ewaluatorzy powinni zastosować odpowiednie standardy, aby zapewnić jakość projektu ewaluacji, zastosowanych procedur, zebranych wyników i wniosków) http://www.eval.org/p/cm/ld/fid=103
Standardy ewaluacji Polskiego Towarzystwa Ewaluacyjnego (PTE)
Standardy etyczne PTE ( ) Określenie przejrzystych kryteriów wyboru ewaluatora Zlecający, w przypadku zamówień publicznych, nie powinien przygotowywać badania ewaluacyjnego pod kątem konkretnego wykonawcy. Zlecający powinien umożliwić różnym wykonawcom równe szanse w dążeniach do realizacji ewaluacji. Przygotowanie zamówienia, jak również wyłonienie wykonawcy, powinno mieć charakter jawny i powinno opierać się na zasadach czytelnych dla wszystkich zainteresowanych podmiotów. ( )
Standardy etyczne PTE cd. Zapewnienie niezależności ewaluacji. Ewaluator, podejmując się realizowania ewaluacji, powinien być niezależny w stosunku do ewaluowanego przedmiotu oraz zlecającego. w przypadku pojawienia się konfliktu interesów powinien odstąpić od realizacji ewaluacji i/lub otwarcie poinformować o jego występowaniu. Pożądane jest również zapewnienie maksymalnej niezależności osób bezpośrednio przygotowujących, zlecających i odbierających wykonaną ewaluację od działów realizujących ewaluowane przedsięwzięcie w ramach struktur organizacyjnych zlecającego.( )
Standardy etyczne PTE cd. Ewaluator powinien: okazywać szacunek dla osób i podmiotów zaangażowanych w badanie ewaluacyjne, co przejawia się w szczególności w stosowaniu zasady poufności i anonimowości, zachować neutralność i obiektywizm wobec badanych, poznać kontekst sytuacji badanych, cechować się wrażliwością i empatią, zapewnić wszystkim badanym odpowiednie do potrzeb warunki/możliwości wypowiedzenia się. ( )
Standardy metodologiczne PTE Precyzyjne określenie celu, przedmiotu i zakresu badania. Dla powodzenia ewaluacji podstawowe znaczenie ma precyzyjne i logicznie spójne określenie przedmiotu i celu ewaluacji, kluczowych pytań, na które poszukuje się odpowiedzi oraz kryteriów, z zastosowaniem których przedmiot ewaluacji będzie ewaluowany. ( ) Aby cele ewaluacji były w pełni zrozumiałe dla wszystkich zaangażowanych podmiotów, powinno się zidentyfikować sposób wykorzystania wyników badania. ( ) Na etapie planowania ewaluacji powinno się sformułować kryteria oceny jakości raportu ewaluacyjnego.
Standardy metodologiczne PTE Zapewnienie trafności i rzetelności badań ewaluacyjnych. ( )Realizacja ewaluacji opiera się na metodologii badań naukowych. W badaniach ewaluacyjnych uprawnione jest stosowanie różnych podejść metodologicznych, ich wybór powinien być dokonywany w relacji do celów i zakresu badania oraz dostępnych / posiadanych zasobów.( )
Standardy metodologiczne PTE cd. Zapewnienie przejrzystości struktury i języka raportu ewaluacyjnego. Zapewnienie rzetelności raportu ewaluacyjnego. ( ) Tezy raportu powinny bazować na zebranym materiale empirycznym. Zamawiający nie powinien ingerować w wyniki badań ewaluacyjnych. Wprowadzenie zmian w raporcie może mieć miejsce wyłącznie za zgodą ewaluatora.
Standardy prakseologiczne PTE Zasadność podejmowania ewaluacji. Powinno się zlecać realizację tylko takich ewaluacji, które są istotne dla zarządzania danym przedsięwzięciem i/lub charakteryzują się wysokimi walorami poznawczymi oraz praktycznymi. Realistyczne określenie sposobu przeprowadzenia ewaluacji. Sposób realizacji badania powinien być adekwatny do celu, przedmiotu i zakresu ewaluacji. Dlatego też niezbędne jest racjonalne oraz precyzyjne oszacowanie zasobów potrzebnych do przeprowadzenia prac ewaluacyjnych w sposób zgodny z zapotrzebowaniem. ( )
Standardy prakseologiczne PTE cd. Dbanie o partycypacyjność i jakość współpracy w procesie ewaluacji. Komunikacja w procesie ewaluacji powinna być oparta na stałym dialogu pomiędzy ewaluatorem a zlecającym. Konsultowanie wniosków i rekomendacji. Po wstępnym sformułowaniu wniosków i rekomendacji powinna odbyć się dyskusja nad ich trafnością, poprowadzona w gronie interesariuszy. ( ) W razie potrzeby powinien być opracowany protokół rozbieżności, jako produkt procesu konsultacji. Wykorzystanie rekomendacji. ( ) W ramach procesu ewaluacji powinno zadbać się o opracowanie przejrzystych procedur wdrożenia rekomendacji, w tym określić cel i sposób ich wdrożenia wraz z podaniem, o ile możliwe, adresatów rekomendacji oraz wstępnego harmonogramu. ( )
Metaewaluacja Metaewaluacja jest to ewaluacja ewaluacji, czyli systematyczny i metodyczny proces, w wyniku którego powstaje ocena jakości i wartości ewaluacji Teoria ewaluacji odnosi się również do metaewaluacji Kryteria specyficzne dla metaewaluacji zawarte są w standardach ewaluacji określających pożądane właściwości ewaluacji Metaewaluacja nie jest metaanalizą, nie jest więc podsumowaniem wielu badań na dany temat (np. wpływu projektu na potrzeby i problemy ludzi) Metaewaluacja może być zastosowana do jednej ewaluacji i do wielu ewaluacji
Metaewaluacja w Polsce? Przykład 1 Metaewaluacja projektów systemowych realizowanych w Działaniu 7.1 Programu Operacyjnego Kapitał Ludzki na podstawie raportów końcowych z ewaluacji przeprowadzonych przez Regionalne Ośrodki Polityki Społecznej w 2010 r. Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości ewaluacji przeprowadzonych przez ROPSy, ale podsumowanie wyników wielu ewaluacji na podobny temat
Metaewaluacja w Polsce? Przykład 2 Szczegółowy Opis Zadania na wykonanie badania ewaluacyjnego pt. Metaewaluacja wyników Badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013. Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości ewaluacji dotyczących PO IG, ale przegląd i podsumowanie wyników wielu ewaluacji na podobny temat