PROCES EWALUACJI POLITYKI SPÓJNOŚCI W POLSCE

PROCES EWALUACJI POLITYKI SPÓJNOŚCI W POLSCE 2004-2014 Warszawa, 2014 UNIA EUROPEJSKA EUROPEJSKI FUNDUSZ ROZWOJU REGIONALNEGO 1 Z_47.indd 1 17-10-2014 14:23:57

Proces ewaluacji Polityki Spójności w Polsce 2004-2014 Ministerstwo Infrastruktury i Rozwoju Warszawa 2014 Opracował zespół Krajowej Jednostki Ewaluacji Redakcja: Jakub Jąkalski ISBN: 978-83-7610-516-1 Wydawca: Ministerstwo Infrastruktury i Rozwoju ul. Wspólna 2/4, 00-926 Warszawa www.mir.gov.pl www.funduszeeuropejskie.gov.pl Departament Koordynacji Strategii i Polityk Rozwoju Tel. (+48 22) 273 76 00, (+48 22) 273 76 01, Fax 22 273 89 08 e-mail: sekretariatdks@mir.gov.pl, e-mail: ewaluacja@mir.gov.pl Egzemplarz bezpłatny UNIA EUROPEJSKA EUROPEJSKI FUNDUSZ ROZWOJU REGIONALNEGO Z_47.indd 2 17-10-2014 14:24:01

SPIS TREŚCI 1. WPROWADZENIE................................................................................................. 5 2. EWALUACJA POLITYKI SPÓJNOŚCI W POLSCE RYS HISTORYCZNY......................................................... 6 3. SYSTEM EWALUACJI POLITYKI SPÓJNOŚCI........................................................................... 12 4. BADANIA EWALUACYJNE, RYNEK EWALUACJI......................................................................... 15 5. WYBRANE RAPORTY EWALUACYJNE 2004-14......................................................................... 25 6. ROZWÓJ KULTURY EWALUACYJNEJ I WSPARCIE SYSTEMU.............................................................. 27 7. WYZWANIA NA PRZYSZŁOŚĆ...................................................................................... 36 3 Z_47.indd 3 17-10-2014 14:24:01

4 Z_47.indd 4 17-10-2014 14:24:01

1. Wprowadzenie Przystąpienie do struktur europejskich w 2004 r. stało się momentem przełomowym w sposobie realizacji polityk publicznych w Polsce. Rozpoczęcie wdrażania strategii zdefiniowanej w ramach Narodowego Planu Rozwoju na lata 2004-2006, a następnie Narodowych Strategicznych Ram Odniesienia 2007-2013, poza istotnym efektem rozwojowym jakie przyniosło polskiej gospodarce, spowodowało także przełom w funkcjonowaniu administracji publicznej w naszym kraju. Do tego czasu, takie instrumenty zorientowania polityk na rezultaty jak wskaźniki i monitoring czy ewaluacja były znane stosunkowo wąskiej grupie specjalistów i nie znajdowały wystarczającego odzwierciedlenia w opracowywanych dokumentach strategicznych i operacyjnych. Od 2004 r. obserwuje się stały wzrost zainteresowania ewaluacją jako ważnym elementem realizacji polityk publicznych w Polsce. Wyraźnie zmienił się sposób myślenia o ewaluacji oraz znacznie rozszerzył się zakres wykorzystywania jej w codziennej pracy administracji publicznej. O ile w momencie akcesji Polski do UE ewaluacja była rzadkością, stanowiła uciążliwy wymóg formalny i utożsamiana była z kontrolą, o tyle w chwili obecnej jest nieodłącznym elementem procesów programowania i wdrażania programów operacyjnych w ramach polityki spójności. O dynamice tego rozwoju świadczy nie tylko systematycznie rosnąca liczba badań ewaluacyjnych, ale przede wszystkim stale rosnące ich wykorzystanie. Dowody gromadzone w procesie ewaluacji stanowią istotne źródło informacji dla osób podejmujących decyzje strategiczne, a zgromadzony materiał analityczny stanowi zarówno bazę dla przyszłej oceny wdrażania polityki spójności, jak i pomocne narzędzie oceny polityk krajowych. W ostatnich latach jesteśmy także świadkami dyfuzyjnego procesu przenikania ewaluacji na grunt polityk krajowych. Ewaluacja została wpisana do polskiego prawodawstwa jako wymóg dla programów i strategii realizowanych ze środków krajowych, co jest dowodem docenienia jej znaczenia. Wprowadzenie Celem niniejszej publikacji jest syntetyczne podsumowanie dziesięciu lat ewaluacji polityki spójności realizowanej w Polsce, przedstawienie przyjętych rozwiązań systemowych, przegląd wybranych badań oraz prezentacja informacji związanych z rozwojem kultury ewaluacyjnej. Niniejsze opracowanie nie tylko pozwoli zapoznać się z wieloletnim dorobkiem ewaluacji polityki spójności w naszym kraju, ale będzie również stanowiło inspirację dla rozwinięcia własnych działań. 5 Z_47.indd 5 17-10-2014 14:24:01

2. Ewaluacja polityki spójności w Polsce rys historyczny Ewaluacja polityki spójności w Polsce rys historyczny Ewaluacja funduszy przedakcesyjnych (przed 2004 r.) Rozwój ewaluacji w Polsce jest ściśle powiązany z procesem przyjęcia naszego kraju do struktur europejskich. Pierwsze działania ewaluacyjne były związane z funduszami przedakcesyjnymi: Phare, ISPA czy SAPARD i realizowane sporadycznie na zasadzie autonomicznych przedsięwzięć. Zaledwie kilka instytucji miało do czynienia z działaniami w obszarze ewaluacji (takimi jak badania, szkolenia czy publikacje). Nie następował też satysfakcjonujący proces wymiany doświadczeń. Większość badań dot. funduszy przedakcesyjnych była realizowana bezpośrednio przez Komisję Europejską. Między rokiem 1999 a 2004 polska administracja zakontraktowała zaledwie 10 badań wszystkie o charakterze ex post dot. efektów wdrażanych programów przedakcesyjnych. Badania te wynikały z cyklu życia programu, ukierunkowane były na zaspokojenie bieżących potrzeb informacyjnych i nie wpisywały się w szersze ramy systemowe, przez co mogły służyć celom prowadzonej polityki rozwoju w ograniczonym zakresie. Ważnym krokiem milowym dla rozwoju ewaluacji było powstanie w 2000 r. Polskiego Towarzystwa Ewaluacyjnego, które było ówcześnie mocno ukierunkowane na ewaluację programów edukacyjnych oraz programów dot. rozwoju zasobów ludzkich wdrażanych przez UKIE. Wstąpienie Polski do UE okres przygotowawczy systemu ewaluacji (lata 2004-2005) W maju 2004 r., kiedy Polska przystępowała do UE, nie istniał w naszym kraju w pełni funkcjonalny system ewaluacji. Pierwszym zadaniem było więc stworzenie w Polsce odpowiedniego potencjału dla prowadzenia działań ewaluacyjnych w wybranych instytucjach, jak również uruchomienie ewaluacji polityki spójności. Przyjęto następujące założenia związane z realizacją procesu ewaluacji: wszystkie badania są realizowane przez niezależnych, zewnętrznych ewaluatorów wybieranych zgodnie z Ustawą Prawo Zamówień Publicznych; ewaluacje w ramach Narodowego Planu Rozwoju/Podstaw Wsparcia Wspólnoty 2004-2006 są realizowane na dwóch poziomach: 6 Z_47.indd 6 17-10-2014 14:24:01

na poziomie NPR/PWW za ewaluacje horyzontalne odpowiedzialna jest Krajowa Jednostka Oceny 1 (KJO).; na poziomie poszczególnych programów operacyjnych ewaluacje dotyczące poszczególnych programów operacyjnych są zlecane przez jednostki ewaluacyjne ulokowane w strukturach instytucji zarządzających poszczególnymi programami operacyjnymi; wyniki ewaluacji są poddawane dyskusji (pod kątem trafności i użyteczności) na spotkaniach grupy sterującej, a następnie przekazywane decydentom w celu ich wykorzystania; wszystkie wyniki badań dostępne są na stronie internetowej dotyczącej ewaluacji. Zaplanowane do realizacji badania dot. perspektywy 2004-2006 zostały sprecyzowane w Planie ewaluacji Narodowego Planu Rozwoju na lata 2004-2006 2 dokumencie, którego celem było zapewnienie sprawnej i skutecznej realizacji procesu ewaluacji w Polsce. Utworzono przy tym Grupę sterującą procesem ewaluacji NPR/PWW, której zadaniem była horyzontalna koordynacja wszystkich badań ewaluacyjnych realizowanych na różnych poziomach wdrażania. Utworzono ponadto sektorowe grupy sterujące dot. procesu ewaluacji SPO RZL i Inicjatywy EQUAL. Z kolei podstawy metodologiczne realizacji procesu ewaluacji zostały sformułowane w ramach Poradnika ewaluacji Narodowego Planu Rozwoju i Programów Operacyjnych w Polsce 3. W związku z ograniczeniami kadrowymi (oprócz KJO jednostki ewaluacyjne zostały utworzone tylko w ramach programów operacyjnych Rozwój Zasobów Ludzkich, Wzrost Konkurencyjności Przedsiębiorstw, Zintegrowany Program Operacyjny Rozwoju Regionalnego), jak również problemami związanymi ze zlecaniem badań w ramach Prawa Zamówień Publicznych oraz opóźnieniami z uruchomieniem pomocy technicznej, w 2005 r. udało się zrealizować tylko kilka badań. Były to na ogół niewielkie badania dotyczące wybranych obszarów interwencji funduszy strukturalnych. W większości były to badania pilotażowe, a ich użyteczność była ograniczona. 1 Krajowa Jednostka Oceny została powołana na mocy ustawy o Narodowym Planie Rozwoju z 20 kwietnia 2004 r. 2 Po długotrwałych konsultacjach w ramach polskiej administracji, jak również ze służbami Komisji Europejskiej dokument został przyjęty 7 grudnia 2005 r. przez Komitet Monitorujący NPR. Faktyczna realizacja wszystkich zaplanowanych działań okazała się trudna. Zakres poszczególnych przedsięwzięć był zbyt precyzyjnie sformułowany, co rozmijało się z rzeczywistymi potrzebami informacyjnymi decydentów. Doświadczenia związane ze stworzeniem planu ewaluacji były jednak bardzo pomocne w trakcie definiowania założeń systemu ewaluacji na kolejny okres programowania. 3 Poradnik został przygotowany przez Krajową Jednostkę Oceny w 2005 r. Do jego opracowania wykorzystano wyniki zewnętrznych ekspertyz wykonanych przez B. Ciężką, J. Ratajczak, K. Olejniczaka, T. Skierniewskiego i B. Ledziona (tekst Poradnika oraz ekspertyz dostępny jest na stronie www.ewaluacja.gov.pl zakładka: Dokumenty ewaluacyjne/ekspertyzy, analizy i opracowania). Ewaluacja polityki spójności w Polsce rys historyczny 7 Z_47.indd 7 17-10-2014 14:24:01

Ewaluacja ex ante dokumentów programowych dla okresu programowania 2007-2013 (lata 2006-2007) Ewaluacja polityki spójności w Polsce rys historyczny Proces przygotowania nowej perspektywy finansowej 2007-2013 przyspieszył rozwój systemu ewaluacji w Polsce. Konieczne było wykonanie ewaluacji ex ante dla nowych programów operacyjnych. Proces ten obejmował Narodowe Strategiczne Ramy Odniesienia i 22 programy operacyjne, z których 16 miało charakter regionalny. Proces ewaluacji był uzupełniony o przygotowane prognozy oddziaływania makroekonomicznego, jak również strategiczne prognozy oddziaływania na środowisko. Proces ewaluacji ex ante Narodowych Strategicznych Ram Odniesienia 2007-2013 i programów operacyjnych był największym przedsięwzięciem tego typu. W przeciągu niespełna roku przygotowano badania oceniające plany wydatkowania przeszło 65 mld euro. Czynnikami które w największym stopniu zdeterminowały proces ewaluacji ex ante były skala i złożoność procesu badawczego, silna presja czasu i niewielki potencjał ewaluacyjny polskiej administracji (zwłaszcza na poziomie regionalnym). Mając to wszystko na uwadze zdecydowano się dokonać centralizacji procesu ewaluacji na poziome Ministerstwa Rozwoju Regionalnego. Odpowiedzialność za przygotowanie ewaluacji ex ante w zakresie ewaluacji regionalnych programów operacyjnych powierzono instytucjom zarządzającym krajowymi programami operacyjnymi oraz Krajowej Jednostce Oceny. Zdecydowano się ponadto powierzyć realizację ewaluacji wszystkich szesnastu regionalnych programów operacyjnych oraz programu dotyczącego Rozwoju Polski Wschodniej jednemu ewaluatorowi. W celu zapewnienia koordynacji procesu ewaluacji powołano Komitet ds. Koordynacji Procesu Ewaluacji Dokumentów Programowych na lata 2007-2013. Wszystkie dokumenty, zarówno raporty metodologiczne, jak i raporty końcowe były prezentowane na forum Komitetu, a konkluzje i rekomendacje były przedmiotem dyskusji. Ponadto zdecydowano się powołać interdyscyplinarny zespół ekspertów, którego zadaniem było wspieranie Krajowej Jednostki Oceny w zakresie zarządzania całym procesem, w tym odbiorem raportów końcowych. Użyteczność procesu ewaluacji była zróżnicowana i zależała głównie od jakości produktów przygotowanych przez ewaluatorów zewnętrznych. W związku z silną presją czasu, jak również zaawansowanym stanem przygotowań dokumentów programowych, większość z wykorzystanych rekomendacji miała raczej charakter techniczny. W znacznie mniejszym stopniu zostały wykorzystane rekomendacje o charakterze strategicznym. Subiektywna ocena jakości raportów końcowych, dokonana przez instytucje zlecające, wahała się od 2 do 5 (gdzie 5 było najwyższą oceną) i średnio kształtowała się na poziomie dobrym (4). Doświadczenia zdobyte w trakcie realizacji procesu ewaluacji ex ante, stanowiącego olbrzymie wyzwanie organizacyjne dla polskiej administracji, pozwoliły na zdefiniowanie kierunków reorganizacji systemu ewaluacji w naszym kraju. W roku 2007 uruchomiono system ewaluacji bieżącej integrujący proces ewaluacji Narodowego Planu Rozwoju 2004-2006 i Narodowych Strategicznych Ram Odniesienia 2007-2013. W jego ramach powstało kilkanaście jednostek ewaluacyjnych w Instytucjach Zarządzających nowymi programami operacyjnymi. 8 Z_47.indd 8 17-10-2014 14:24:01

Pierwsza edycja Akademii Ewaluacji i zmiany w ustawodawstwie krajowym (2008 r.) Kontynuując proces budowy potencjału kadr ewaluacji, w 2008 roku Krajowa Jednostka Oceny zleciła pierwszą edycję Akademii Ewaluacji. Była to inicjatywa mająca na celu podniesienie kwalifikacji pracowników jednostek ewaluacyjnych i pokrewnych. Akademia realizowana była przez Uniwersytet Warszawski (Centrum Europejskich Studiów Regionalnych i Lokalnych EUROREG). Do 2014 roku Akademię ukończyło około 180 uczestników pracowników administracji szczebla centralnego, regionalnego i lokalnego. W tym samym roku po raz pierwszy w Ustawie o Zasadach Prowadzenia Polityki Rozwoju z dnia 6. grudnia 2006 roku pojawił się wymóg ewaluacji ex ante krajowych dokumentów planistycznych. Rola ewaluacji została także podkreślona w Założeniach Systemu Zarządzania Rozwojem Polski (dokument przyjęty przez RM w kwietniu 2009 roku). Jest to wydarzenie o tyle znaczące, że dotąd żadne krajowe dokumenty nie wymagały realizacji ewaluacji do ich wdrożenia. Wpisanie wymogu ewaluacji do ustawy jest świadectwem przenikania dobrych praktyk z polityki spójności. Ewaluacja ex post NPR 2004-2006 (lata 2009-2010) Kolejnym ważnym etapem w rozwoju ewaluacji polityki spójności w Polsce było przeprowadzenie w 2010 r. przez Krajową Jednostkę Oceny pełnej oceny ex post realizacji pierwszej perspektywy finansowej polityki spójności w Polsce. Ewaluacja przybrała formę serii badań tematycznych w ramach trzech wymiarów: horyzontalnym (badania dotyczyły: oddziaływania makroekonomicznego, wpływu realizacji polityki spójności realizowanej w Polsce na gospodarki krajów UE-15, wpływu na poziom i jakość zatrudnienia, komplementarności interwencji oraz systemu zarządzania i wdrażania polityki spójności); sektorowym (badania dotyczyły: rozwoju infrastruktury transportowej, rozwoju infrastruktury ochrony środowiska, konkurencyjności przedsiębiorstw oraz rozwoju zasobów ludzkich); terytorialnym (badania dotyczyły wpływu polityki spójności na: rozwój ośrodków miejskich, rozwój obszaru Polski Wschodniej, zarządzania strategicznego na poziomie regionalnym oraz efektów programów transgranicznych). Ewaluacja polityki spójności w Polsce rys historyczny Wszystkie powyższe badania zostały zlecone i zrealizowane przez zewnętrznych wykonawców w latach 2009-2010. Badania te stanowiły bazę dla przeprowadzenia wewnętrznej metaewaluacji, której dokonała KJO. Projekt raportu podsumowującego był przedmiotem dyskusji w trakcie VI. konferencji ewaluacyjnej, a następnie został uzupełniony o konkluzje wynikające z przeprowadzonej debaty. Proces ewalu- 9 Z_47.indd 9 17-10-2014 14:24:02

acji ex post pozwolił na dokonanie oceny polityki spójności poprzez wskazanie najbardziej efektywnych i skutecznych form wsparcia, ale również poprzez identyfikację obszarów charakteryzujących się stosunkowo niższym poziomem efektywności interwencji podejmowanych w ramach polityki spójności. Przeprowadzona analiza pozwoliła na sformułowanie wniosków i rekomendacji o charakterze horyzontalnym użytecznych dla wszystkich obszarów wsparcia na różnych poziomach zarządzania. Należy podkreślić, że Polska była jednym z niewielu krajów, które podjęły się samodzielnej realizacji ewaluacji ex post. Ewaluacja polityki spójności w Polsce rys historyczny Ewaluacja ex ante UP i PO 2014-2020 oraz przygotowania do nowego okresu programowania (lata 2013-2014) W latach 2011-2012 działania w zakresie ewaluacji skupiły się na dalszym rozwoju potencjału administracyjnego oraz ewaluacji bieżącej wdrażanych programów. Kolejny rok przyniósł początek szerzej zakrojonych przygotowań do nowej perspektywy finansowej 2014-2020 i związane z tym rozpoczęcie ewaluacji ex ante. Krajowa Jednostka Oceny (która w 2013 roku zmieniła nazwę na Krajową Jednostkę Ewaluacji) opracowała wytyczne dla Instytucji Zarządzających, które wskazały zalecany sposób jej przeprowadzania. Rekomendowanym sposobem realizacji badań była ewaluacja partycypacyjna, tj. ścisła współpraca zlecającego z wykonawcą badania. Dodatkiem do wytycznych był przykładowy opis przedmiotu zamówienia zawierający optymalne pytania i obszary badawcze. Dzięki zastosowaniu tego zabiegu udało się zrealizować proces ewaluacji ex ante programów operacyjnych 2014-2020 w sposób sprawny, a jednocześnie skupić uwagę ewaluatorów na wymaganych obszarach badawczych. Ponadto Polska zdecydowała się poddać ewaluacji ex ante Projekt Umowy Partnerstwa (UP) zgodnie z zakresem wskazanym w rozporządzeniu (WE) nr 1303/2013. Ramy metodyczne badania opierały się na założeniach ewaluacji wspieranej teorią. Zespół badawczy dokonał odtworzenia zawartej w dokumencie logiki interwencji, co pozwoliło na zbudowanie modelu logicznego interwencji wskazanych w Umowie Partnerstwa. Odtworzona logika poddana została analizie eksperckiej polegającej na gruntownej weryfikacji projektu UP z punktu widzenia dopasowania do potrzeb społeczno-gospodarczych kraju, spójności wewnętrznej i zewnętrznej, wkładu w realizację celów strategii Europa 2020 i in. Zadanie to zostało przeprowadzone w oparciu o dostępny materiał empiryczny, w tym w szczególności wyniki krajowych i międzynarodowych badań ewaluacyjnych. Zgodnie z założeniami przyjętego modelu partycypacyjnego proces ewaluacji ex ante realizowany był w ścisłej współpracy z autorami dokumentu oraz jego najważniejszymi interesariuszami. Zespół badawczy współpracował z zespołami przygotowującymi Umowę Partnerstwa poprzez bieżący kontakt, serie spotkań bilateralnych oraz przygotowywanie zestawów cząstkowych ocen tematycznych. Takie podejście 10 Z_47.indd 10 17-10-2014 14:24:02

pozwoliło na dwustronną wymianę informacji i opinii z zespołem badawczym oraz umożliwiło autorom ocenianego dokumentu dostęp do wniosków i rekomendacji płynących z ewaluacji podczas prac nad kolejnymi wersjami Umowy Partnerstwa. Istotnym elementem ewaluacji była seria warsztatów z udziałem głównych interesariuszy, w tym przedstawicieli regionów. Zorganizowane zostały 24 warsztaty poświęcone poszczególnym celom tematycznych oraz kwestiom horyzontalnym, w trakcie których dokonano m.in. identyfikacji najważniejszych wyzwań rozwojowych dla interwencji EFSI, opracowano modele logiczne oraz zdefiniowano oczekiwane rezultaty realizacji Umowy Partnerstwa. W ramach procesu ewaluacji szczególny nacisk położono na poprawę wewnętrznej spójności logiki interwencji w zakresie właściwej identyfikacji i poprawnego zdefiniowania oczekiwanych rezultatów wdrażania UP. W celu urzeczywistnienia zasady zorientowania na rezultaty, głównym priorytetem oraz przedmiotem pogłębionej analizy ze strony ewaluatora oraz autorów dokumentu i głównych interesariuszy były opisy celów szczegółowych oraz wskaźniki realizacji i ich spójność ze zdefiniowanymi w procesie oceny relacjami przyczynowo-skutkowymi w ramach planowanej interwencji. Dokonano standaryzacji opisu celów szczegółowych. Cele szczegółowe w ramach poszczególnych celów tematycznych uległy znacznej redefinicji. Dokonano identyfikacji i zdefiniowania najważniejszych warunków, które powinny zostać spełnione, aby interwencja miała szanse przynieść zakładane efekty. Wskazano uwarunkowania skuteczności i efektywności EFSI, które zakresem wykraczają poza obszar interwencji UP, w tym m.in. komplementarność z działaniami finansowanymi ze środków krajowych czy istnienie przejrzystych i prorozwojowych rozwiązań systemowych w poszczególnych obszarach wsparcia. Przedmiotem oceny był również system realizacji, w tym system monitoringu i ewaluacji. W związku z silnym zorientowaniem realizacji polityki spójności na rezultaty, przedmiotem szczegółowej analizy pod kątem wskaźników Strategii Europa 2020 były wskaźniki realizacji zaproponowane w UP. Wspólnie z wykonawcą badania wypracowano podejście do szacowania wartości docelowych wskaźników makroekonomicznych i wskaźników rezultatu strategicznego. Wartości pośrednie i docelowe wskaźników poddane zostały ocenie i weryfikacji pod kątem realności ich osiągnięcia za pomocą modelu makroekonomicznego oraz modeli logicznych interwencji. Ewaluator ocenił spójność alokacji środków na poszczególne cele tematyczne pod względem adekwatności zdiagnozowanych potrzeb oraz oczekiwanych rezultatów interwencji. W dniu 24 maja 2014 roku weszła w życie nowelizacja Ustawy o Zasadach Prowadzenia Polityki Rozwoju, która nałożyła obowiązek realizacji ewaluacji ex ante dla wszystkich strategii rządowych oraz dla programów krajowych o budżecie powyżej 300 mln zł. Dodatkowo wskazano, iż minister właściwy ds. rozwoju regionalnego odpowiedzialny jest za koordynację i realizację ewaluacji polityki rozwoju w Polsce, a także za ustalanie standardów i zaleceń dla ewaluacji. Określono także, że w ramach urzędu obsługującego ministra zadania te pełni KJE. Rozszerzanie obowiązków ewaluacyjnych na gruncie polityk krajowych świadczy o rosnącej świadomości polskich decydentów, a także o potrzebie ustalenia obiektywnych metodologicznie kryteriów ewaluacji dokumentów programowych. Ewaluacja polityki spójności w Polsce rys historyczny 11 Z_47.indd 11 17-10-2014 14:24:02

3. System ewaluacji polityki spójności System ewaluacji polityki spójności Polski system ewaluacji, ukształtowany w formie dojrzałej w 2007 roku na potrzeby perspektywy finansowej 2007-2013, jest silnie zdecentralizowany. Zgodnie z zasadą subsydiarności, kompetencje w zamawianiu i realizacji badań ewaluacyjnych zostały przyznane instytucjom najbardziej zainteresowanym wnioskami i rekomendacjami na odpowiednich poziomach wdrażania. Taka organizacja procesu ewaluacji pozwala na to, by ewaluacja była możliwie blisko pojawiających się problemów, a jednocześnie poprzez zaangażowanie szerokiego grona interesariuszy zapewniała właściwe identyfikowanie tematów badawczych, co w konsekwencji prowadzi do pełniejszego wykorzystania jej wyników. Dotychczas system ewaluacji określony był przez Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych na lata 2007-2013. Dokument, zatwierdzony w 2007 roku, określał podmioty systemu ewaluacji oraz ich podstawowe obowiązki. W związku z postulowanymi przez Komisję Europejską zmianami dla okresu 2014-2020 rozpoczęto tworzenie nowego, bardziej złożonego i precyzyjnego zbioru zasad dla polskiego systemu ewaluacji. W kolejnym okresie programowania będą nim Wytyczne w zakresie systemu ewaluacji polityki spójności oraz realizacji ewaluacji programów operacyjnych perspektywy 2014-20. Dokument ten integruje zarówno kwestie systemowe, definiując kształt systemu ewaluacji, ale i wskazuje sposoby wykorzystania wyników badań oraz obowiązki poszczególnych jednostek. Struktura instytucjonalna systemu ewaluacji polityki spójności została przedstawiona na wykresie na kolejnej stronie. Najważniejszymi aktorami systemu ewaluacji polityki spójności w Polsce są: Krajowa Jednostka Ewaluacji (do 2013 roku Krajowa Jednostka Oceny), jednostki ewaluacyjne zlokalizowane w ramach instytucji zarządzających programami operacyjnymi i w ramach instytucji pośredniczących pierwszego i drugiego stopnia. Ponadto analizy i badania ewaluacyjne realizowane są także przez niektóre instytucje koordynujące kwestie horyzontalne, takie jak Departament Informacji i Promocji, zajmujący się ewaluacją działań promocyjnych lub Departament Koordynacji Funduszy Unii Europejskiej MIR, skupiający się na kwestiach instytucjonalno-systemowych. Działania jednostek ewaluacyjnych wspierane są przez pozostałych interesariuszy procesu ewaluacji w ramach prac grup sterujących oraz przez komitety monitorujące. Zakres odpowiedzialności najważniejszych instytucji przedstawiony został poniżej. Krajowa Jednostka Ewaluacji (KJE) Krajowa Jednostka Ewaluacji (KJE) ulokowana w strukturze Departamentu Koordynacji Strategii i Polityk Rozwoju Ministerstwa Infrastruktury i Rozwoju odpowiedzialna jest za koordynację całego systemu ewaluacji (działań pozostałych jednostek ewaluacyjnych). Ponadto, do zadań 12 Z_47.indd 12 17-10-2014 14:24:02

Krajowa Jednostka Ewaluacji Jednostka Ewaluacyjna IZ POWER Jednostki Ewaluacyjne Instytucji Pośredniczących Jednostka Ewaluacyjna IZ PO PC Jednostki Ewaluacyjne Instytucji Pośredniczących Jednostka Ewaluacyjna IZ POIiŚ Jednostki Ewaluacyjne Instytucji Pośredniczących Jednostka Ewaluacyjna IZ PO POIR Jednostki Ewaluacyjne Instytucji Pośredniczących Jednostka Ewaluacyjna IZ PO RPW Jednostki Ewaluacyjne Instytucji Pośredniczących 16 jednostek Ewaluacyjnych IZ RPO Jednostka Ewaluacyjna programów EWT jednostki należy realizacja badań ewaluacyjnych na poziomie NSRO/UP oraz koordynacja procesu budowy kultury ewaluacyjnej w administracji polskiej. Zgodnie ze znowelizowaną Ustawą o Zasadach Prowadzenia Polityki Rozwoju Krajowa Jednostka Ewaluacji odpowiedzialna jest także za realizację ewaluacji strategii krajowych pozostających w kompetencji ministra właściwego do spraw rozwoju regionalnego, a także za sporządzanie standardów i zaleceń dla krajowych dokumentów ewaluacyjnych. Tym samym KJE ustanowiona została ośrodkiem koordynacji ewaluacji krajowych polityk rozwoju. System ewaluacji polityki spójności Jednostki ewaluacyjne Wraz z decentralizowaniem systemu wdrażania polityki spójności w Polsce, zdecydowano się zdecentralizować proces ewaluacji. Jednostki ewaluacyjne, ulokowane w ramach każdego programu operacyjnego (zarówno krajowego, jak i regionalnego), są kluczowymi aktorami systemu ewaluacji w Polsce i są odpowiedzialne za organizację procesu ewaluacji w ramach danego programu. Instytucje zarządzające mają prawo delegować kompetencje w zakresie ewaluacji na niższe poziomy wdrażania (poziom instytucji pośredniczących). W ramach większości programów operacyjnych stworzono grupy sterujące, których zadaniem jest wsparcie jednostek ewaluacyjnych w realizacji procesu ewaluacji. 13 Z_47.indd 13 17-10-2014 14:24:02

Według danych za rok 2013, przy realizacji badań ewaluacyjnych w całym systemie zatrudnionych było prawie 160 osób. W nowym okresie programowania w systemie ewaluacji będzie funkcjonowało 6 jednostek ewaluacyjnych Instytucji Zarządzających dla programów krajowych, 16 jednostek IZ regionalnych oraz jednostki ewaluacyjne Instytucji Pośredniczących. Ze względu na koordynację działań związanych z Europejskim Funduszem Społecznym szczególna rola przypada w systemie jednostce ewaluacyjnej przy IZ POKL/POWER. System ewaluacji polityki spójności 14 Z_47.indd 14 17-10-2014 14:24:02

4. Badania ewaluacyjne, rynek ewaluacji Plany ewaluacji Badania ewaluacyjne realizowane przez jednostki systemu ewaluacji realizowane są na podstawie planów ewaluacji. Obowiązek przygotowania planów ewaluacji zdecydowano się wprowadzić w wytycznych ogłoszonych w 2007 r. Zgodnie z Wytycznymi w zakresie ewaluacji programów operacyjnych na lata 2007-2013, plany ewaluacji przygotowywane są zarówno na poziomie NSRO, jak i na poziomie programów operacyjnych (w przypadku delegacji kompetencji również na niższych poziomach wdrażania). W okresie 2007-13 funkcjonowały dwa rodzaje planów: strategiczne i operacyjne. Plany strategiczne obejmowały cały okres wdrażania przedstawiając organizację systemu ewaluacji, jak również najważniejsze obszary badań. Plany operacyjne natomiast definiowały najważniejsze działania jakie zostaną podjęte w danym roku kalendarzowym: konkretne tematy badań, jak i inne działania związane z budową kultury ewaluacyjnej (konferencje, szkolenia, publikacje itp.). Wszystkie plany ewaluacji dostępne są na stronie internetowej, tak by potencjalni wykonawcy badań mieli możliwość lepiej przygotować się do przyszłych postępowań przetargowych. Realizacja wyżej wymienionych planów jest monitorowana przez KJE. W okresie programowania 2014-2020 w sposób znaczący zwiększają się wymagania KE dotyczące procesu planowania ewaluacji. Plany ewaluacji stają się obowiązkiem wynikającym z zapisów rozporządzenia, a ich zakres i sposób przygotowania oraz zatwierdzania został szczegółowo doprecyzowany w wytycznych KE. Badania ewaluacyjne W latach 2002-2014 zrealizowano w skali kraju łącznie 976 badań ewaluacyjnych 4. Do tej wartości zaliczają się wszystkie badania zrealizowane na poziomach wdrażania wyższych, niż projektowy w ramach kolejnych perspektyw finansowych (2004-2006, 2007-2013 oraz 2014-2020). Poniższy wykres przedstawia liczbę zrealizowanych badań ewaluacyjnych w poszczególnych latach. Badania ewaluacyjne, rynek ewaluacji 4 Dane według bazy badań ewaluacyjnych na dzień 1.08.2014 r. Faktyczna liczba zrealizowanych badań może być nieco niższa, jako że w bazie znajdują się także ekspertyzy oraz oceny oddziaływania na środowisko. 15 Z_47.indd 15 17-10-2014 14:24:02

200 Badania ewaluacyjne, rynek ewaluacji 180 160 140 120 100 80 60 40 20 0 21 54 61 148 147 2 2 5 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014* 172 Liczba badań ewaluacyjnych w poszczególnych latach Źródło: Baza badań ewaluacyjnych wg stanu na dzień 01.08.2014 r. oraz plany ewaluacji KJE i IZ na rok 2014(*). W pierwszych latach swojego istnienia ewaluacja w Polsce była zjawiskiem nowym, a niewielka liczba zrealizowanych w tym czasie badań to ewaluacje programów przedakcesyjnych. Począwszy od akcesji Polski do Unii Europejskiej w 2004 roku zaczęło się to zmieniać, a liczba ewaluacji dość dynamicznie zaczęła rosnąć. Zmiana w ilości realizowanych badań może być obserwowana zwłaszcza między rokiem 2007 a 2008. Wzrost ten był spowodowany wdrożeniem nowego systemu ewaluacji, w ramach którego obowiązek przeprowadzania badań został powierzony instytucjom zarządzającym na poziomie regionalnym. Równocześnie jednostki ewaluacyjne funkcjonujące w ramach Ministerstwa Rozwoju Regionalnego zwiększyły swój potencjał, co także miało wpływ na globalny wzrost liczby realizowanych badań. Ten wzrost liczby realizowanych badań związany był z uruchomieniem nowego okresu programowania 2007-2013. Po osiągnięciu maksymalnego poziomu w roku 2010, liczba rokrocznie realizowanych badań spadała do roku 2013. Wyjaśnić to można tym, iż większość badań o charakterze operacyjnym, tzn. dotyczących systemu wdrażania, realizowanych jest na początku perspektywy finansowej. Przeprowadzona analiza planów ewaluacji na rok 2014 wykazała, że jednostki ewaluacyjne zaplanowały w tym roku realizację 156 badań. Wiąże się to z dużym zapotrzebowaniem na ewaluację ex ante perspektywy 2014-2020. Ponadto, w związku z planowanym uruchomieniem ewaluacji ex post okresu 2007-2013 należy spodziewać się, że i w kolejnym roku trend wzrostu liczby badań może się utrzymać. Można także wysnuć tezę, iż liczba realizowanych ewaluacji podlegać będzie powtarzalnym trendom o charakterze cyklicznym, związanym z kolejnymi okresami programowania UE przy założeniu minimalnych zmian systemu ewaluacji. 140 119 99 156 16 Z_47.indd 16 17-10-2014 14:24:02

Liczba badań według poszczególnych obszarów tematycznych wpływ NPR/NSRO; 33; 3% środowisko; 22; 2% rozwój i modernizacja infrastruktury; 104; 11% good governance; 270; 28% rozwój zasobów ludzkich; 249; 26% Źródło: Baza badań ewaluacyjnych wg stanu na dzień 01.08.2014 r. innowacyjność gospodarki; 102; 10% rozwój regionalny i terytorialny; 199; 20% Biorąc pod uwagę strukturę przeprowadzonych badań wg strategicznych obszarów wsparcia, najwięcej ewaluacji zostało zrealizowanych w obszarze good governance, obejmującym głównie analizy systemu wdrażania oraz procedur systemowych. Tak duża liczba badań w tym obszarze (prawie 1/3 wszystkich przeprowadzonych ewaluacji) związana jest przede wszystkim ze skupieniem instytucji zarządzających na wsparciu i ulepszaniu systemu wdrażania, zwłaszcza w latach 2008 i 2009. Stosunkowo duża liczba badań zrealizowana została również w obszarze zasobów ludzkich oraz rozwoju regionalnego i terytorialnego. Obszar zasobów ludzkich wydaje się być zarazem najlepiej przebadanym pod kątem efektów interwencji polityki spójności. Badania ewaluacyjne, rynek ewaluacji 17 Z_47.indd 17 17-10-2014 14:24:02

Liczba badań w podziale na typ względem cyklu interwencji 33 5 90 ex ante Badania ewaluacyjne, rynek ewaluacji Źródło: Baza badań ewaluacyjnych wg stanu na dzień 01.08.2014 r. 851 ewaluacje bieżące Ponad 80% badań realizowanych w Polsce ma charakter ewaluacji bieżących. Wynika to ze specyfiki ewaluowanych przedsięwzięć programy operacyjne współfinansowane z funduszy unijnych mają charakter złożonych i wieloletnich interwencji publicznych wymagających realizacji serii różnorodnych badań dokonywanych w trakcie ich wdrażania. Należy ponadto zwrócić uwagę, że w Polsce zdecydowano się przeprowadzić we własnym zakresie ewaluację ex post 2004-2006, mimo że zgodnie z wymaganiami rozporządzeń jest to obowiązek Komisji Europejskiej. Ewaluacje w Polsce są głównie zlecane na zewnątrz, niezależnym wykonawcom (98% badań). W pełni gwarantuje to zachowanie obiektywności prowadzonych ewaluacji, a jednocześnie zapewnia wysoką efektywność całego procesu (znacznie szybciej można zlecić i odebrać badanie niż przeprowadzić je siłami wewnętrznymi). Z drugiej strony ewaluacja wewnętrzna (2% badań) jest znakomitym narzędziem podnoszenia potencjału własnego jednostek administracji publicznej. Co więcej, wnioski i rekomendacje, które powstają w wyniku realizacji ewaluacji wewnętrznej są często lepiej osadzone w aktualnym kontekście procesów decyzyjnych i bardziej odpowiadają potrzebom decydentów. Wydaje się więc wskazane zwiększenie roli ewaluacji wewnętrznej, zwłaszcza w kontekście realizacji badań metaewaluacyjnych. ex post inne 18 Z_47.indd 18 17-10-2014 14:24:02

1% 2% 3% 17% Podział badań na okresy programowania 4% 2004-2006 2004-2006 i 2007-2013 14% 23% 73% 1% 2007-2013 2007-2013 i 2014-2020 2014-2020 inne Badania ewaluacyjne w podziale na wielkość budżetu 26% duże średnie małe Badania ewaluacyjne, rynek ewaluacji brak danych 36% nie dotyczy Źródło: Baza badań ewaluacyjnych wg stanu na dzień 01.08.2014 r. Ponad 1/4 przeprowadzonych badań ewaluacyjnych w okresie 2004-14 zostało zakwalifikowane jako duże (z budżetem przekraczającym 75 tys. zł), 36% ewaluacji to badania średnie (o wartości pomiędzy 30 a 75 tys. zł). Pozostałe 14% ewaluacji, to badania małe (poniżej 30 tys. zł). Relatywnie duży udział badań o średnich budżetach wynika w znacznej mierze z operacyjnego charakteru dużej części zlecanych ewaluacji, w tym w szczególności na poziomie regionalnym. 19 Z_47.indd 19 17-10-2014 14:24:02

Rynek ewaluacji strona popytowa Stronę popytowa rynku ewaluacji tworzy Krajowa Jednostka Ewaluacji oraz jednostki ewaluacyjne zlokalizowane przy Instytucjach Zarządzających. Aktywność instytucji zlecających badania przedstawia poniższy wykres. Najbardziej aktywni zlecający od 2004 roku (powyżej 30 zleconych badań) Badania ewaluacyjne, rynek ewaluacji 569 31 32 32 33 33 38 47 59 102 UM Lubuskie UM Kujawsko-Pomorskie UM Pomorskie UM Łódzkie UM Małopolskie IZ POIR (IZ POIG / IZ SPO WKP) PARP IZ POWER (IZ POKL / IZ SPO RZL) KJE (KJO) Inne instytucje poniżej 30 badań Źródło: Baza badań ewaluacyjnych wg stanu na dzień 01.08.2014 r. Do dnia dzisiejszego jednostki ewaluacyjne zarządzające programami krajowymi (lub realizujące badania horyzontalne) zleciły 535 ewaluacji, natomiast instytucje regionalne 441 w tej liczbie zawierają się także badania regionalne instytucji pośredniczących POKL. Krajowa Jednostka Ewaluacji jest najbardziej aktywnym podmiotem zlecającym badania w ramach polskiego systemu ewaluacji. Ponad 100 badań które zrealizowała, to prawie tyle samo co dwie kolejne najbardziej aktywne jednostki ewaluacyjne. 59 badań zostało zrealizowane przez najbardziej doświadczoną z poziomu instytucji zarządzających jednostkę w ramach POKL/POWER (wcześniej SPO RZL). Należy również docenić ważną rolę w tym zakresie PARP, która, mimo że pełni funkcje wdrożeniowe w systemie realizacji polityki spójności, zrealizowała aż 47 badań. Jednostka ewaluacyjna w ramach programu POIG/POIR (wcześniej SPO WKP) zleciła realizację przeszło trzydziestu badań. Pięć 20 Z_47.indd 20 17-10-2014 14:24:02