Ewaluacja w Polsce na tle innych państw europejskich. Studium przypadku wykorzystania ewaluacji w Hiszpanii. Zespół projektu Warszawa, 6 marca 2014
Ewaluacja polityk publicznych w Hiszpanii Początki stosowania ewaluacji lata 80. Stopieo instytucjonalizacji i faktycznego wykorzystania ewaluacji w politykach publicznych jest jednym z najniższych wśród paostw UE Najsilniejszy impuls (essential boost (Munoz 2009), factor clave (Naarich 2005); principales agentes promotores (Rivero Recuenco 2011), basic motor (Fernández-Ramírez i Rebolloso 2006) do rozwoju ewaluacji w Hiszpanii związany był z przystąpieniem paostwa do Unii Europejskiej W latach 2007-2011 zrealizowano 71 prawdziwych (hiszp. verdaderas) ewaluacji polityk i programów zarządzanych przez administrację centralną
System ewaluacji PO FEDER w Hiszpanii System wdrażania polityki spójności zaliczany jest do zdecentralizowanych: realizowanych jest 19 PO FEDER w każdej ze wspólnot autonomicznych Ale system ewaluacji charakteryzuje się wysokim stopniem centralizacji. Zakres ewaluacji PO FEDER określa Plan Monitoringu Strategicznego i ewaluacji ciągłej EFRR, EFS i Funduszu Spójności (Plan) W Hiszpanii nie istnieje system monitorowania implementacji rekomendacji wynikających z przeprowadzonych ewaluacji (Weremiuk 2010).
Założenia Planu W ramach ewaluacja bieżącej PO przewiduje prowadzenie dwóch rodzajów ewaluacji: - tematycznych (odpowiedzialnośd za ich przeprowadzenie leży po stronie jednostek ministerialnych. Rola administracji regionalnej ogranicza się w tym przypadku do współpracy, polegającej na zapewnieniu niezbędnych danych. (Plan.. s. 15). - operacyjnych: podejmowanych w wyniku zaistnienia wyjątkowych okoliczności, tj.: (i) (ii) w przypadku, gdy rozważane jest wprowadzenie zmian w PO lub gdy ujawnione zostaną znaczne odchylenia w realizacji zakładanych celów, które przejawiają się odchyleniami tzw. wskaźników ostrzegawczych ( indicadores de alerta ). Do takich przeprowadzenia ewaluacji zobligowane są jednostka ministerialna, region lub - działając wspólnie - obie te jednostki.
Przesłanki badao porównawczych Polska- Hiszpania Hiszpania jest krajem o podobnej ścieżce rozwoju kultury ewaluacyjnej: do momentu wstąpienia do UE brak własnej tradycji ewaluacji. Regiony polskie i hiszpaoskie jako beneficjenci celu 1 Konwergencja w ramach polityki regionalnej realizują cele polityki spójności. Znaczna różnica w przyjętych systemach ewaluacji i liczbie realizowanych badao.
Badania stosowania i wykorzystania ewaluacji RPO w Hiszpanii podejście badawcze Analiza literatury przedmiotu i stron internetowych instytucji związanych z wdrażaniem EFRR oraz ewaluacją. Studia przypadku w trzech regionach celu 1 Konwergencja: Andaluzji, Kastylia-la Mancha i Estremadurze (wywiady pogłębione z dyrektorami instytucji pośredniczących wdrażanie PO FEDER, analiza dokumentów i stron internetowych desk research) Cele badawcze: (1) określenie stopnia stosowania i wykorzystania wyników ewaluacji (2) identyfikacja barier w rozwoju ewaluacji (3) określenie narzędzi zastępujących ewaluację (źródła wiedzy wspomagające zarządzanie RPO).
Wyniki badao narzędzia wspomagające strategiczne i operacyjne zarządzanie PO FEDER Programy we wszystkich regionach poddane były co najmniej 5 ewaluacjom wynikającym z wytycznych Planu (ewaluacja ex-ante, 4 ewaluacje tematyczne). Rola regionu ograniczała się do współpracy z jednostkami realizującymi ewaluacje. Brak ewaluacji PO FEDER nie wskazanych w Planie. W żadnym z regionów nie wykorzystano wyników badao z przeprowadzonych ewaluacji. Informacje wykorzystywane przy zarządzaniu PO FEDER ograniczają się do danych gromadzonych w ramach monitoringu oraz obserwacji własnych. Praktycznie brak refleksji nad prowadzonymi działaniami (np. posiedzenia Komitetu Monitorującego odbywają się raz w roku).
Wyniki badao główne bariery rozwoju ewaluacji PO FEDER wskazywane przez respondentów Nie istnieje jednostka/instytucja specjalnie zainteresowana rozwojem ewaluacji na poziomie regionów. Badaniem efektywności polityki regionalnej nie są zainteresowane także władze regionów. Wnioski i rekomendacje ze zrealizowanych ewaluacji mało odkrywcze, często nieprzystające do realiów administracji. Niska wiedza nt metod ewaluacji i możliwości ich zastosowania. Stosunkowo niskie nakłady na PT. Braki kadrowe i niskie kwalifikacje osób, które mogłyby byd zaangażowane w realizację ewaluacji
Wyniki badao typu desk research W literaturze przedmiotu podkreśla się: stały rozwój instytucji specjalizujących się w realizacji ewaluacji (Madryt, Barcelona, Sewilla). uruchamianie studiów zawierających w programach zagadnienia związane z ewaluacją polityk publicznych lub kierunków (w tym studiów podyplomowych) specjalnie dedykowanych ewaluacji (Naarich 2005, Fernández-Ramírez i Rebolloso 2006, Vinas 2009, Weremniuk 2010) brak woli politycznej do prowadzenia badao wskazujących na faktyczne rezultaty polityki spójności.
Porównanie wybranych aspektów ewaluacji RPO w Polsce i Hiszpanii Ewaluacja w politykach publicznych POLSKA Brak systemowego podejścia poza polityką spójności System ewaluacji RPO Zdecentralizowany HISZPANIA Brak spójnego systemu, ewaluacje sporadyczne Zcentralizowany, Nakłady na PT 3% - 4% alokacji Do 1% alokacji Liczba ewaluacji 10-20 na region 5-7 na region Stopień wykorzystania wniosków Wykonawcy Bardzo niski Wystarczająca podaż wykonawców, kompetencje oceniane nisko. Brak wykorzystania Za mała podaż, kompetencje kadr rosną.
Wnioski, czyli zaczynek do dyskusji Polska Hiszpania 1:0 Polska-Hiszpania 0:1 A może: Polska Hiszpania 0:1 (do przerwy)?