Czynniki wpływające na użyteczność rekomendacji w poszukiwaniu rozwiązań problemu POLSKIE TOWARZYSTWO EWALUACYJNE ul. Elektronowa 2 p.14 03-219 Warszawa www.pte.org.pl
Użyteczność (rekomendacji z) ewaluacji Czyli jak schudnąć 20 kg w 6 miesięcy? PRZEPIS NA DIETĘ CUD POLSKIE TOWARZYSTWO EWALUACYJNE ul. Elektronowa 2 p.14 03-219 Warszawa www.pte.org.pl
SKOJARZENIE Decydenci Zamawiający i Wykonawcy 3
AGENDA 1. Użyteczna ewaluacja to użyteczna rekomendacja 2. Dotychczasowe doświadczenia związane z użytecznością ewaluacji 3. Użyteczna rekomendacja czyli jaka? 4. Przyczyny problemów z użytecznością rekomendacji 5. Propozycje rozwiązań po stronie Polskiego Towarzystwa Ewaluacyjnego a. Okrągły Stół szanse i zagrożenia b. System certyfikacji ewaluatorów szanse i zagrożenia c. Monitoring przez instytucje sygnalizujące szanse i zagrożenia 6. Podsumowanie 4
UŻYTECZNA EWALUACJA TO UŻYTECZNA REKOMENDACJA Tabela rekomendacji jest kluczowym elementem raportu ewaluacyjnego, stanowiącym wyciąg najważniejszych ustaleń badania i przepis na ich wykorzystanie w procesie zarządzania RPO Tomasz Kupiec, Użyteczność ewaluacji jako narzędzia zarządzania regionalnymi programami operacyjnymi 5
DOTYCHCZASOWE DOŚWIADCZENIA Z WYKORZYSTANIEM EWALUACJI Wykonawcy czerpią wiedzę o procesach wdrażania, efektach programów czy nawet mechanizmach zmiany częściej z bieżących kontaktów z odbiorcami pomocy niż z ewaluacji (Ledzion, Olejniczak 2013) 49% ewaluacji z RPO jest zlecanych w nieodpowiednim momencie przez co problematyczne jest wykorzystanie ich rekomendacji (Kupiec, 2014) Nawet dobrze przeprowadzone badanie, oparte na rzetelnych danych nie podnosi prawdopodobieństwa wykorzystania wyników ewaluacji (Stern, 2014) Wiedza płynąca z ewaluacji nie posłużyła jako źródło informacji na temat możliwych działań dotyczących zmniejszania obciążeń dla beneficjentów w okresie 2014-2020.(Fundacja Idea Rozwoju, 2014) 6
UŻYTECZNA REKOMENDACJA CZYLI JAKA? Zgodna z celami badania i potrzebami informacyjnymi Zamawiającego Oparta na rzetelnej analizie (rozumienie mechanizmów interwencji) Wiarygodna (powiązana z wnioskami) Jednoznacznie rozumiana Związana z rodzajem wykonywanej ewaluacji Odkrywcza Istotna wdrożeniowo (i wykonalna) Odnosząca się do całego cyklu polityk publicznych i odpowiednio z nim powiązana (na poziomie makro) 7
PRZYCZYNY PROBLEMÓW Z UŻYTECZNOŚCIĄ REKOMENDACJI Źródło: Tomasz Kupiec, Wykorzystanie ewaluacji w zarządzaniu programem operacyjnym na przykładzie RPO, Warszawa, 6 marca 2014 8
MOŻLIWE ROZWIĄZANIA PROBLEMU 3 PROPOZYCJE ROZWIĄZAŃ PROBLEMU BUDOWANIA BARDZIEJ UŻYTECZNYCH REKOMENDACJI, W KTÓRYCH POLSKIE TOWARZYSTWO EWALUACYJNE MOŻE ODGRYWAĆ ISTOTNĄ ROLĘ 9
PROPOZYCJE ROZWIĄZAŃ (I) 1. Okrągły Stół Cykliczne spotkania między Wykonawcami a Zleceniodawcami poza konkretnymi projektami, których celem byłoby wzajemne zrozumienie warunków pracy oraz budowanie wzajemnego zaufania. Dotychczasowe doświadczenia nie są związane z dialogiem, informacje płyną raczej jednostronnie (np. z IDI), ewentualnie spotkania odbywają się projektowo lub tematycznie. 10
PROPOZYCJE ROZWIĄZAŃ (II) 2. Certyfikacja ewaluatorów Certyfikat pozyskanych umiejętności uzyskiwany przez ewaluatora wydawany przez jedną instytucję (specjalnie do tego przygotowaną/ powołaną), po przejściu odpowiednich testów (np. odpowiednie wykształcenie, rozmowa z ekspertami, złożone raporty do recenzji). Z zcentralizowanej akredytacji, recenzji i innych form certyfikowania pracy ewaluatorów od dawna korzysta Kanada, Japonia, a obecnie także UK i EES. 11
RAMY KWALIFIKACJI Ramy Kwalifikacji dla ewaluatorów NIE ISTNIEJĄ w Polsce - Rozwiązania obecne w Niemczech, Kanadzie, UK i EES 1. Wiedza o ewaluacji 2. Praktyka zawodowa 3. Nastawienie i postawa 12
PROPOZYCJE ROZWIĄZAŃ (III) 3. Monitoring przez instytucje sygnalizujące Możliwość zgłaszania nieprawidłowości po obu stronach do Polskiego Towarzystwa Ewaluacyjnego czy Krajowej Jednostki Ewaluacji na każdym etapie badań. To się poniekąd już dzieje, ale w sposób dalece nieusystematyzowany - działania podejmowane są ad hoc, przez co jest to obecnie rozwiązanie potrzebne, ale dalece niesatysfakcjonujące. 13
KOMENTARZE Czy mają Państwo komentarze do tych pomysłów/ inne propozycje działań? JAKIE DZIAŁANIA PTE POWINNO PODJĄĆ, ABY PAŃSTWA WSPIERAĆ W PAŃSTWA PRACY?(od tego jesteśmy) DZIĘKUJĘ ZA UWAGĘ Weronika Felcis Prezes Polskiego Towarzystwa Ewaluacyjnego weronika.felcis@pte.org.pl ZAPRASZAMY DO WSTĄPIENIA DO PTE! 14