Ewaluacja polityki spójności Trendy i kierunki rozwoju

Transkrypt

1 Ewaluacja polityki spójności Trendy i kierunki rozwoju Tomasz Kot Krajowa Jednostka Ewaluacji Departament Koordynacji Strategii i Polityk Rozwoju, MIR OPOLSKA KONFERENCJA MONITOROWANIA I EWALUACJI POLITYK PUBLICZNYCH doświadczenia przeszłości wyzwaniem dla przyszłości grudzień 2014.

2 Plan I. Miejsce systemu ewaluacji w systemie tworzenia wiedzy w ramach polityki spójności II. Uwarunkowania (formalno-prawne i wynikające z doświadczeń okresu ) III. Strategia trendy i kierunki rozwoju ewaluacji

3 Systemy pozyskiwania wiedzy w polityce spójności system sprawozdawczości i monitorowania (bieżący monitoring postępów rzeczowych i finansowych we wdrażaniu programów operacyjnych) system ewaluacji system krajowych i regionalnych jednostek ewaluacyjnych (ocena efektów krótko i długoterminowych efektów realizacji programów operacyjnych) system analitycznodiagnostyczny system obserwatoriów terytorialnych (analizy i diagnozy dotyczące głównie kontekstu wdrażania programów operacyjnych) inne źródła wiedzy kontrole, audyty, nieusystematyzowane: np. obserwacje uczestników systemu wdrażania, szkolenia itp.

4 System ewaluacji a system analitycznodiagnostyczny System ewaluacji System analitycznodiagnostyczny Rodzaj pozyskiwanej wiedzy Użyteczność dla procesu decyzyjnego Podstawy formalnoprawne System instytucjonalny Efekty realizacji polityk publicznych skuteczność, efektywność, trafność, użyteczność, trwałość programu/programów Wnioski i rekomendacje dotyczące bieżącego wdrażania programów (zmiany programów/realokacje) lub przyszłych interwencji (programowanie) + podsumowanie realizacji (ex post) Proces ewaluacji ściśle uregulowany przepisami unijnymi i krajowymi (rozporządzenie, ustawa, wytyczne) System centralnych i regionalnych jednostek ewaluacyjnych koordynowany przez Krajową Jednostkę Ewaluacji w MIiR (DKS) Badania i analizy dotyczące kontekstu społeczno- ekonomicznego realizacji polityk przedmiot analizy szerszy niż zakres programów Aktualizacja diagnozy, problemów i potrzeb społeczno- ekonomicznych (zmiany programów) + przyszłe interwencje (programowanie) Krajowa Strategii Rozwoju Regionalnego + Zarządzenie Ministra Infrastruktury i Rozwoju System Regionalnych Obserwatoriów Regionalnych (ROT) koordynowany przez KOT w MIiR (DKS)

5 System ewaluacji a system analitycznodiagnostyczny -kooperacja Konieczność koordynacji i ścisłej współpracy w ramach systemów zarządzania wiedzą komplementarność systemów przy zachowaniu odpowiedniego zakresu funkcjonalnego wyodrębnienia systemów zgodnie z wymogami unijnymi: jasne rozgraniczenie kompetencji zgodnie z unijnymi i krajowymi wymogami formalno-prawnymi dotyczącymi monitoringu strategicznego i ewaluacji, w tym m.in. konieczność zapewnienia odpowiedniego poziomu funkcjonalnej niezależności procesu ewaluacji przepływ informacji i koordynacja działań pomiędzy systemami monitoringu, ewaluacji oraz analiz i diagnoz

6 Nowe uwarunkowania formalno-prawne dla systemu ewaluacji Rozszerzone i bardziej szczegółowe uregulowanie kwestii ewaluacji zwiększone wymagania w zakresie ewaluacji ex ante konieczność realizacji ewaluacji przez wszystkie IZ konieczność ewaluacji każdego priorytetu przynajmniej raz w całym okresie programowania co najmniej dwukrotnie dokonana powinna zostać ewaluacja wsparcia udzielanego z EFS funkcjonalna niezależność od instytucji odpowiedzialnej za wdrażania programu operacyjnego (bardziej rygorystyczna zasada) obowiązek włączenia partnerów w proces ewaluacji (Europejski Kodeks Postępowania ws. Partnerstwa) Zmienione wymagania dotyczące planowania procesu ewaluacji obowiązkowe Plany ewaluacji na cały okres programowania przedkładane Komitetowi Monitorującemu do akceptacji nie później niż rok po przyjęciu programu operacyjnego zmiany w Planie ewaluacji wymagają akceptacji Komitetu Monitorującego postęp z realizacji planu ewaluacji podlega monitorowaniu KE oraz jest rozpatrywany ( examine ) na forum Komitetu Monitorującego

7 Nowe uwarunkowania formalno-prawne dla systemu ewaluacji Większy nacisk na stosowanie zaawansowanych metod badawczych zwiększenie rygorów metodologicznych (Guidance document on Monitoring and Evaluation) wykorzystywanie metod kontrfaktycznych (CIE) oraz ewaluacji opartej o teorię (TBIE) w celu ustalania wpływu interwencji konieczność dopasowania metodologii do poszczególnych obszarów tematycznych (jeden z elementów planów ewaluacji) Większy nacisk na wykorzystywanie wyników ewaluacji w procesie wdrażania IZ zobowiązane są do wykorzystywania wyników ewaluacji (tzw. działania następcze ) coroczne raportowania syntezy wszystkich wyników ewaluacji oraz postępów z realizacji planu ewaluacji w tym sposobu wdrożenia rekomendacji dodatkowo do końca 2022 w ramach każdego z programów musi zostać przygotowany raport stanowiący syntezę wyników wszystkich badań ewaluacyjnych

8 Doświadczenia i wnioski z okresu System ewaluacji polityki spójności osiągnął wysoki stopień funkcjonalności w wymiarze: instytucjonalno-organizacyjnym m.in. sieć współpracy jednostek ewaluacyjnych, duża ilość działań ewaluacyjnych technicznym narzędzia informatyczne finansowym stosunkowo wysokie nakłady finansowe merytorycznym wysoki poziom merytoryczny większości pracowników JE, wysoki poziom wewnętrznej kultury ewaluacyjnej ale wyzwaniami pozostają: poziom użyteczności oraz wykorzystania ewaluacji w procesach zarządzania i wdrażania poziom zaangażowania w proces ewaluacji uczestników wdrażania spoza systemu ewaluacji jakość merytoryczna i metodologiczna badań ewaluacyjnych

9 Cel strategiczny i kierunki rozwoju Cel strategiczny ewaluacji w okresie jako punkt wyjścia do planowanych działań: Zwiększenie poziomu użyteczności i wykorzystywania ewaluacji jako narzędzia zarządzania i wdrażania programów operacyjnych i polityki spójności. Ewaluacja jako praktyczne narzędziepolityki rozwoju a nie jedynie wymóg formalny Główne priorytety/kierunki rozwoju: Integracja i koordynacja procesu ewaluacji z procesem wdrażania programów operacyjnych i polityki spójności Zwiększenie poziomu partycypacji w procesie ewaluacji uczestników systemu wdrażania polityki spójności Podnoszenie jakości procesów badawczych Kontynuacja budowy potencjału nowa rola jednostek ewaluacyjnych?

10 1. Integracja i koordynacja procesu ewaluacji z procesem wdrażania potrzeby informacyjne i decyzyjne jako punkt wyjścia ewaluacji nasze obserwacje (analiza dobrych praktyk) potwierdzają, że identyfikacja potrzeb informacyjnych stanowi pierwszy krok umożliwiający skuteczne wykorzystanie wyników ewaluacji zgodnie ze słowami klasyka ewaluacji Michael Q. Patton a: utilization-focused evaluation emphasises that what happens from the very beginning of a study will determine its eventual impact long before a final report is produced stąd silny akcent na proces planowania procesu ewaluacji w nowym okresie logika interwencji programów operacyjnych jako podstawa procesu planowania co, kiedy i jak ewaluować uzyskanie odpowiedniego timingu procesu ewaluacji

11 1. Integracja i koordynacja procesu ewaluacji z procesem wdrażania w ramach systemu ewaluacji polityki spójności dominuje podejście operacyjne czyli ewaluacje procesowe ukierunkowane na usprawnienia procesów wdrażania deficyt badań wpływu stanowiących podstawę dla decyzji strategicznych ukierunkowujących interwencję niezbędne wzmocnienie wymiaru strategicznego w tym zakresie kluczowa rola ewaluacji w systemie ram wykonania (warunkowości ex post) ewaluacja jako uzupełnienie monitoringowego systemu wczesnego ostrzegania a także źródło rekomendacji naprawczych oraz ukierunkowujących interwencję w ramach ewentualnych realokacji e-ewaluacja potrzeby koordynacyjne oraz zwiększone wymagania informacyjne KE powodują konieczność rozbudowy wspierających narzędzi informatycznych baza badań ewaluacyjnych, System Wdrażania Rekomendacji

12 2. Zwiększenie poziomu partycypacji w procesie ewaluacji Uczestnictwo interesariuszy jako warunek zwiększenia użyteczności ewaluacji włączanie decydentów oraz kluczowych uczestników systemu wdrażania polityki spójności nasze obserwacje: im większe zaangażowanie uczestników systemu wdrażania na wszystkich etapach procesu ewaluacji tym większy zakres wykorzystania wyników partycypacyjny model ewaluacji włączanie ewaluatorów nasze obserwacje: im większa intensywność interakcji z ewaluatorem tym większa użyteczność wyników większe otwarcie na pozostałych interesariuszy w tym m.in. beneficjentów i przedstawicieli świata akademickiego reorganizacja systemu instytucjonalnego nowy model funkcjonowania grup sterujących (rozbudowa i rozszerzenie sieci współpracy) nowa rola komitetów monitorujących (ściślejszy monitoring procesu ewaluacji)

13 3. Podnoszenie jakości procesów badawczych jakość badań jako warunek sine qua non użyteczności i wykorzystania ewaluacji w procesie wdrażania polityk publicznych rozwój metodologii a jakość procesu ewaluacji Impact Evaluation jako główny trend i standard metodologiczny nowe uwarunkowania i wymogi KE: wiarygodny pomiar efektów + wyczerpujące wyjaśnienie mechanizmów interwencji Impact Evaluation = Counterfactual Impact Evaluation + Theory Based Impact Evaluation zwiększenie znaczenia metod metaanalitycznych dostosowanie systemów gromadzenia/generowania danych w szczególności na potrzeby rygorystycznych metod badawczych wypracowanie bardziej adekwatnych zasad realizacji zamówień na badania ewaluacyjne cena vs kryteria jakościowe

14 . 4. Kontynuacja budowy potencjału nowa rola jednostek ewaluacyjnych? Krajowa Jednostka Ewaluacji budowa systemu ewaluacji polityki spójności koordynacja procesów badawczych Plany ewaluacji i monitoring ich realizacji realizacja procesów badawczych o charakterze horyzontalnym monitorowanie i zarządzanie systemem rekomendacji realizacja procesu ex post budowa kultury ewaluacyjnej w Polsce rozwój i promocja zaawansowanych metod badawczych Centralne i regionalne jednostki ewaluacyjne przygotowanie Planów ewaluacji i realizacja na ich podstawie procesu ewaluacji na poziomie programów operacyjnych monitoring wdrażania wniosków i rekomendacji w ramach wdrażania programów operacyjnych budowa kultury ewaluacyjnej na poziomie regionalnym

15 4. Kontynuacja budowy potencjału nowa rola jednostek ewaluacyjnych? Koncepcja brokerów wiedzy Możliwa nowa rola jednostek ewaluacyjnych w kontekście ściślejszej koordynacji z wdrażania i ukierunkowaniem systemu na wykorzystania wyników ewaluacji brokerzy wiedzy aktywna identyfikacja potrzeb informacyjnych pozyskiwanie wiedzy (zarządzanie procesem badawczym) i jej synteza przekazywanie wyników ewaluacji uczestnikom wdrażania w odpowiedniej formie i czasie budowa powiązań pomiędzy ewaluatoramia odbiorcami i adresatami wniosków i rekomendacji możliwe wyzwanie dla JE rola brokera wiedzy wymaga pogłębionej wiedzy i umiejętności nie tylko w zakresie ewaluacji (metodologia, zarządzanie procesem ewaluacji, rozpowszechnianie wyników itd..) ale jednocześnie w zakresie innych systemów pozyskiwania wiedzy oraz innych obszarach interwencji programów stanowiących przedmiot ewaluacji (w szczególności w zakresie zastosowanie rekomendacji)

16 4. Kontynuacja budowy potencjału nowa rola jednostek ewaluacyjnych? Zarządzanie dostępną wiedzą w kierunku podejścia metaanalitycznego Podejście metaanalityczne metaanalizy, przeglądy systematyczne (systematic reviews), syntezy koordynacyjna rola Krajowej Jednostki Ewaluacji konieczność przeorganizowania sposobu pracy koncentracja na istniejących dowodach i praca z nimi w usystematyzowany sposób (przykład What works centres wuk):

17 Dziękuję za uwagę Tomasz Kot