Mocne i słabe strony procesu ewaluacji 2007-2013 Pożądane kierunki zmian na lata 2014-2020 Tomasz Kot Krajowa Jednostka Ewaluacji Departament Koordynacji Strategii i Polityk Rozwoju, MIR Ewaluacja programów operacyjnych w ramach polityki spójności 2007-2013 doświadczenia i wnioski na przyszłość Akademia im. Leona Koźmińskiego Warszawa, 6 marca 2014
Systemu ewaluacji w Polsce o czym należy pamiętad Ewaluacja w Polsce nie wykształciła się w wyniku naturalnego procesu rozwoju kultury ewaluacyjnej ale została wprowadzona jako wymóg formalny związany z wdrażaniem funduszy strukturalnych Kultura ewaluacyjna nie rozwija się w próżni jest pochodną poziomu rozwoju kultury politycznej, kultury organizacyjnej w administracji publicznej oraz poziomu rozwoju społeczeostwa obywatelskiego Powyższą tezę potwierdzają przykłady międzynarodowe: wysoka kultura ewaluacyjna (stosowanie koncepcji evidence based policy) obserwowana jest w krajach anglosaskich jak Wielka Brytania, niższa np. w Hiszpanii. Powyższe uwarunkowania stanowid powinny tło dla analiz słabych i mocnych stron systemu ewaluacji w Polsce (i jego porównao w czasie)
Systemu ewaluacji w Polsce synteza stanu strony popytowej Rozwiązania organizacyjno-prawne Kształtowanie kultury ewaluacyjnej Zasoby kadrowe, finansowe Planowanie badao Realizacja i jakośd badao Wykorzystanie wyników Podejście odbiorców badao
Słabe strony systemu ewaluacji PS w Polsce Ryzyko związane z niewystarczającym poziomem integracji procesu ewaluacji z procesem planowania i realizacji polityk publicznych w Polsce: wciąż niewystarczająca świadomośd korzyści ze stosowania koncepcji evidence based policy w administracji zbyt małe zaangażowanie podmiotów odpowiedzialnych za programowanie i wdrażanie w procesy analityczno-ewaluacyjne niedopasowanie wyników badao ewaluacyjnych do potrzeb informacyjnych administracji autonomizacja systemu ewaluacji względem procesu wdrażania (wymogi formalne jako główne uzasadnienie funkcjonowania systemu) Duże obciążenie administracji zadaniami biurokratycznymi koncentracja na problemach bieżących i brak perspektywy długoterminowej ewaluacja często traktowana instrumentalnie lub jako narzędzie rozwiązywania bieżących problemów ( ostatnia deska ratunku )
Słabe strony systemu ewaluacji PS w Polsce Zachowawcza interpretacja zasad i procedur prawa zamówieo jako istotny czynnik wpływający na proces ewaluacji polityk publicznych: duża rola ceny w kryteriach wyboru wykonawców zbyt mała rola kryteriów jakościowych, w tym w szczególności związanych z metodologią, nieróżnicujący charakter kryteriów (coraz rzadsze zjawisko) procedury PZP niedostosowane do sposobów określania parametrów zadania w przypadku działao badawczo- analitycznych lęk przed stosowaniem dostępnych instrumentów prawnych (kar) Uwarunkowania związane z procedurami PZP stanowią często czynnik wpływający negatywnie na jakośd merytoryczną produktów procesu ewaluacji
Słabe strony systemu ewaluacji PS w Polsce Zróżnicowany poziom jakości merytorycznej produktów ewaluacji (raportów, wniosków i rekomendacji) ilośd vs jakośd Ograniczona jakośd usług ewaluacyjnych: obecnośd na rynku wykonawców dostarczających niskiego poziomu badao Zbyt mała aktywnośd ośrodków akademickich na rynku badao ewaluacyjnych Niewystarczająca świadomośd i determinacja do wdrażania koncepcji evidence based policy Niewystarczające wykorzystanie wyników badao (ale nie jest tak źle jak to malują, przykłady Ocena korzyści krajów UE, timing+jakośd+odpowiedź na zapotrzebowanie = sukces)
Baza rekomendacji Krajowej Jednostki Ewaluacji Stan na 4.03.2014 900 846 800 700 698 600 500 400 362 wdrożone do wdrożenia odrzucone 300 247 288 224 200 100 53 31 31 0 operacyjne kluczowe horyzontalne
Baza rekomendacji Krajowej Jednostki Ewaluacji Stan na 4.03.2014 1400 1200 31 224 1000 288 800 362 600 horyzontalne kluczowe operacyjne 400 846 698 31 53 200 247 0 wdrożone do wdrożenia odrzucone
Mocne strony systemu ewaluacji PS w Polsce System cały czas w dynamicznym rozwoju zbudowany od 0 Znaczne zasoby systemu ewaluacji: rozbudowany system Jednostek Ewaluacyjnych na poziomie krajowym i regionalnym koordynowany przez Krajową Jednostkę Ewaluacji generalnie wysoki poziom merytoryczny pracowników Jednostek Ewaluacyjnych wysoki poziom kultury ewaluacyjnej wewnątrz systemu ewaluacji (świadomośd korzyści z realizacji zasady evidence based policy) znaczny poziom usieciowienia współpracy w ramach systemu ewaluacji (współpraca formalna/zinstytucjonalizowana jak i nieformalna) wysokie nakłady finansowe na działania ewaluacyjne zaawansowane instrumenty techniczne: ogólnodostępna baza badao ewaluacyjnych, baza Strateg, baza ZSZWiR
Mocne strony systemu ewaluacji w Polsce Zdecentralizowany system ewaluacji pozwalający na dostosowanie procesu ewaluacji do specyficznych potrzeb sektorowych czy regionalnych Systematyczny i zauważalny wzrost poziomu jakości metodologii badao ewaluacyjnych w wybranych przykładach podejście metodologiczne stanowi innowacje w skali europejskiej (np. ewaluacja dot. korzyści płatników netto z realizacji polityki spójności) Rosnąca aktywnośd naukowo- badawcza w dziedzinie ewaluacji i metodologii badao wiodących ośrodków akademickich (UJ, UW, Koźmioski itp.) Duża aktywnośd w zakresie budowy potencjału ewaluacyjnego (szkolenia, studia podyplomowe, konferencje itp.) Coraz bardziej sprzyjające uwarunkowania formalno-prawne
Kierunki rozwoju systemu ewaluacji w Polsce kontekst prawny Zwiększenie roli ewaluacji oraz wymagao formalnych w procesie realizacji polityki spójności w okresie 2014-2020 w tym m.in.: bardziej szczegółowe uregulowanie kwestii ewaluacji w rozporządzeniach UE, planowanie procesu ewaluacji w celu ściślejszego powiązania z procesem wdrażania programów operacyjnych, stosowanie zaawansowanych metod badawczych w celu podniesienia wiarygodności ewaluacji jako instrumentu zarządzania programami, większy nacisk na wykorzystywanie wyników ewaluacji w procesie wdrażania programów operacyjnych (monitorowane przez KE).
Kierunki rozwoju systemu ewaluacji w Polsce kontekst prawny Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju wprowadza istotne zmiany w obszarze ewaluacji polityki rozwoju w Polsce w tym w szczególności: wprowadzenie procedury koordynacji przez MIR procesu ewaluacji polityki rozwoju (art. 4a i 6b) m.in. poprzez przygotowywanie standardów i zaleceo w zakresie ewaluacji instytucjonalizacja procesu koordynacji ewaluacji polityki rozwoju poprzez wskazanie Krajowej Jednostki Ewaluacji jako podmiotu odpowiedzialnego za ww. zadanie (art. 6b)
Kierunki rozwoju systemu ewaluacji w Polsce Nowe uwarunkowania realizacji polityki spójności i polityki rozwoju powodują koniecznośd dostosowania systemu ewaluacji w Polsce Prace nad przebudową systemu ewaluacji ukierunkowane są w szczególności na dwa podstawowe cele: (1) Dalsze systematyczne podnoszenie jakości procesu ewaluacji (2) Zwiększenie użyteczności i zakresu wykorzystywania wyników badao ewaluacyjnych w procesie wdrażania polityki spójności i polityki rozwoju
Wybrane kierunki rozwoju systemu ewaluacji w Polsce większa koordynacja Koniecznośd koordynacji wielu równoległych procesów w ramach systemu ewaluacji: realizacja i koordynacja procesów badawczych (ocena efektów + formułowanie rekomendacji) w ramach polityki spójności oraz polityki rozwoju rozwój i promocja zaawansowanych metod badawczych koordynacja procesów gromadzenia danych na potrzeby ewaluacji dalsza budowa kultury ewaluacyjnej w Polsce (evaluation capacity building) animacja debaty publicznej ukierunkowanej na ocenę efektów prowadzonych polityk publicznych
Wybrane kierunki rozwoju systemu ewaluacji w Polsce większa koordynacja (1) Wzmocnienie funkcji koordynacyjnych w ramach systemu ewaluacji w Polsce Plany ewaluacji jako instrument koordynacji procesu ewaluacji: proces ewaluacji realizowany na podstawie planów ewaluacji umożliwiający badania horyzontalne i tematyczne za pomocą ustandaryzowanej metodologii umożliwiającej agregację wyników i prowadzenie metaanaliz (w tym realizacja badao wg zakresów rekomendowanych przez KJE) integracja procesu planowania z procesem wdrażania programów operacyjnych (Plany ewaluacji wynikające z logiki interwencji programów)
Wybrane kierunki rozwoju systemu ewaluacji w Polsce większa koordynacja ściślejszy monitoring procesu ewaluacji, w tym postępów w realizacji Planów ewaluacji oraz sposobów wykorzystywania wyników ewaluacji: JE zobowiązane będą do bieżącego sprawozdawania z realizacji procesu ewaluacji w ramach poszczególnych programów przedstawiane (w tym sprawozdania rocznego z procesu ewaluacji sprawozdanie spójne z raportem rocznym) dywersyfikacja zadao i kompetencji w ramach systemu ewaluacji - praca w ramach systemu oparta na grupach tematycznych ( centrach kompetencji ) z udziałem partnerów grupy tematyczne wg zadao oraz obszarów interwencji
Wybrane kierunki rozwoju systemu ewaluacji w Polsce większa koordynacja współpraca grup z Komitetami Monitorującymi Grupa ds. ewaluacji polityki spójności koordynowana przez KJE jako forum dyskusji i wymiany doświadczeo pomiędzy JE standaryzacja zasad prowadzenia ewaluacji w ramach całej polityki rozwoju (zalecenie i standardy określane przez KJE)
Kierunki rozwoju systemu ewaluacji w Polsce (2) Integracja systemu ewaluacji koniecznośd uwzględnienia zintegrowanego podejścia do polityki rozwoju potrzeba uchwycenia i koordynacji wszystkich działao ewaluacyjnych podejmowanych w systemie integracja systemu w wymiarze funduszowym (ERDF + ESF) podejście horyzontalne/tematyczne do procesu ewaluacji
Kierunki rozwoju systemu ewaluacji w Polsce (3) Wzmocnienie roli Jednostek Ewaluacyjnych w procesie wdrażania programów operacyjnych wyodrębnienie w ramach każdego z programów operacyjnych Jednostek Ewaluacyjnych mających w swoim zakresie kompetencji jedynie zadania ewaluacyjne redefinicja roli Jednostek Ewaluacyjnych w procesie wykorzystania wyników ewaluacji (pełnienie funkcji brokerów wiedzy co miałoby to oznaczad w praktyce?) zwiększenie zasobów kadrowych w wymiarze ilościowym i jakościowym (zwiększanie kompetencji merytorycznych, szkolenia) docelowe zwiększanie niezależności JE (reorganizacja całego systemu ewaluacji w kierunku ustanowienia funkcjonalnie niezależnych jednostek ewaluacyjnych w chwili obecnej niemożliwa do realizacji)
Kierunki rozwoju systemu ewaluacji w Polsce (4) Standaryzacja wymagao metodologicznych ukierunkowanie na stosowanie rygorystycznych metod ewaluacyjnych dopasowanie metod ewaluacyjnych do poszczególnych obszarów interwencji oraz potrzeb informacyjnych (w tym na użytek Planów ewaluacji) przygotowanie przez KJE wytycznych/zaleceo metodologicznych przebudowa systemu zbierania danych na potrzeby ewaluacji (w tym w szczególności na potrzeby zaawansowanych metod badawczych)
Kierunki rozwoju systemu ewaluacji w Polsce (5) Ukierunkowanie procesu ewaluacyjnego na odbiorców wypracowanie procedur identyfikacji potrzeb informacyjnych dostosowanie produktów ewaluacyjnych do potrzeb informacyjnych odbiorców w szczególności decydentów (nowe standardy dot. raportów ewaluacyjnych i materiałów towarzyszących prezentacje, syntezy, dokumenty typu policy implications itp.) koordynacja procesów informacyjno-promocyjnych (stworzenie strategii komunikacji w ramach systemu ewaluacji) zwiększenie użyteczności produktów ewaluacji wykorzystanie wniosków i rekomendacji (m.in. zmiany w ZSWiR)
Pytania - Jak polepszyd jakośd badao ewaluacyjnych? - Jak zwiększyd wykorzystanie wyników? - Co z ewaluacją po 2022 r.?
Dziękuję za uwagę Tomasz Kot Tomasz.kot@mir.gov.pl www.ewaluacja.gov.pl