PROWADZĄCY KONSULTACJE METODY EWALUACJI PROJEKTÓW I PROGRAMÓW Dwiczenia laboratoryjne Rok akademicki 2012/2013, semestr letni, Katedra Ekonometrii Przestrzennej UŁ www.em.kep.prv.pl Poniedziałek: 12.00-13.00 Wtorek: 16.40-17.40 Pokój F022, Wydział Ekonomiczno-Socjologiczny UŁ ZASADY ZALICZENIA PRZEDMIOTU Kolokwium zaliczeniowe; LITERATURA PODSTAWOWA Podręcznik ewaluacji: http://www.funduszestrukturalne.gov.pl/nr/rdonlyres/1e4270ca-330b-43af- 93EE-C1923381510D/49897/podrecznik_infrastruktura.pdf Dokumenty na stronie: www.ewaluacja.gov.pl. Kierzkowski T, Ocena (ewaluacja) programów i projektów o charakterze społeczno-gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002, Polska Agencja Rozwoju Regionalnego. LITERATURA UZUPEŁNIAJĄCA Babbie E., Badania społeczne w praktyce, Warszawa 2008, PWN Dokumenty ewaluacyjne dostępne na www.mrr.gov.pl. Ekiert K, Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, Rządowe Centrum Studiów Strategicznych, Warszawa 2004. Haber A. (red.), Ewaluacja ex-post. Teoria i praktyka badawcza, Warszawa 2007, Polska Agencja Rozwoju Przedsiębiorczości Mazur S. (red.), Ewaluacja funduszy strukturalnych perspektywa regionalna, Kraków 2007, Małopolska Szkoła Administracji Publicznej TREŚCI PROGRAMOWE Definicje, cele i znaczenie ewaluacji, 2 godz. Rodzaje ewaluacji (wg kryterium celu, czasu, zasięgu itp.), 2 godz. Narodowe Strategiczne Ramy Odniesienia (NSRO) 2007-2013 jako dokument określający kierunki wsparcia ze środków finansowych UE oraz definiujący wskaźniki pomiaru stopnia osiągania celów NSRO; Pojęcie konwergencji; 2 godz. Metody i techniki prowadzenia ocen ewaluacji programów i projektów; 4 godz. Etapy procesu, obszar i zakres ewaluacji, plan ewaluacji na przykładzie projektu infrastrukturalnego. Plan ewaluacji POIiŚ 2007-2013; 2 godz. Baza i raporty z badao ewaluacyjnych na przykładzie strategicznej oceny wpływu realizacji Regionalnego Programu Operacyjnego dla Województwa Łódzkiego na środowisko naturalne; 2 godz. Zajęcia 1. Materiały pomocnicze do dwiczeo Strona 1 z 5 METODY EWALUACJI PROJEKTÓW I PROGRAMÓW
ZAJĘCIA 1. EWALUACJA podstawowe zagadnienia Podstawą zarządzania projektami rozwoju regionalnego jest zasada dokonywania ich oceny na wszystkich etapach procedury planistycznej. Swoim zasięgiem ocena, ta obejmuje zarówno plany rozwoju, plany operacyjne, jak i subwencje ogólne. Zasadę tę uznaje się, jako dopełnienie zasady programowania, której zadaniem jest wyjaśnienie strategii rozwoju, natomiast ewaluacja ma wskazad na efekty podjętych działao, wynikających ze strategii 1. Koniecznośd prowadzenia oceny stanowi jedną z najważniejszych zmian wprowadzonych do polityki regionalnej na mocy reformy funduszy strukturalnych z 1988 r. Od 1989 r. zasada ewaluacji stała się działaniem obligatoryjnym. Definicja ewaluacji W znaczeniu semantycznym ewaluacja oznacza oszacowanie wartości. Ewaluacja, zgodnie z definicją przedstawioną przez Mathisona 2 jest procesem polegającym na użyciu metod badań społeczno-ekonomicznych do systematycznego gromadzenia danych, analizy, interpretacji, oceny i informowania o skuteczności programów publicznych. Ewaluacja a ocena kontrola i audyt Zasadniczą kwestię stanowi odróżnienie ewaluacji od innych badao dotyczących sektora publicznego tj. kontroli, audytu, analizy. Ewaluacja zawiera składnik empiryczny, który bada założenia prowadzonego programu i jego efekty oraz oddziaływanie normatywne, mające na celu ocenę struktury działao, ich logikę oraz wartośd. Zasadniczym elementem ewaluacji jest proces uczenia się w toku prowadzonych negocjacji oraz zachodzących interakcji. Zgodnie z treścią dokumentów Unii Europejskiej, pojęcie ewaluacji określane jest jako ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma spełniad 3. Funkcje ewaluacji W literaturze przedmiotu autorzy tacy jak Chelimsky (1997), czy Blachtler (2000) przedstawiają różne funkcje ewaluacji określanych, jako cele ewaluacji. Do głównych funkcji należy m.in. poprawianie jakości planowania, co ma prowadzid do wydajnej i racjonalnej alokacji zasobów, poprawy wdrażania programów poprzez podnoszenie jakości struktur zarządzania programem oraz implementacją działao, wzmocnienie odpowiedzialności instytucji zarządzających, poszerzanie wiedzy i wspieranie procesów uczenia się polegające na wyjaśnianiu czynników i procesów warunkujących powodzenie programów, weryfikowaniu teorii będących podstawą polityk, promowanie dobrych wzorców, wzmacnianie instytucji. minimalizowanie negatywnych skutków zarządzania opartego na wynikach (ang. performance management). Do dysfunkcji zarządzania opartego na wynikach należy przywiązywanie większej wagi do pomiaru sukcesu niż rzeczywistych efektów (ang. measure fixation). System wskaźników i pomiarów może zniechęcad do wprowadzania innowacji (ang. ossification). Koncentrowanie uwagi na kwantyfikowalnych efektach, może przyczynid się do ignorowania jakościowych efektów programów (ang. tunel vision). 1 Por. Irena Pietrzyk, Polityka regionalna, op. cit., s. 190. 2 Por. Karol Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeo europejskich, Studia Regionalne i Lokalne, 2005 nr 4 (22), s. 35. 3 Ibidem, s. 36. Zajęcia 1. Materiały pomocnicze do dwiczeo Strona 2 z 5
Przeciwdziałanie stosowaniu tej praktyki, w myśl zasad ewaluacji, polega głównie na użyciu narzędzi analizy społeczno-ekonomicznej tj, wywiadów, ankiet lub obserwacji uczestniczących w programie. Do innych efektów ubocznych zarządzania opartego na wynikach należy skupianie uwagi na wąskich celach krótkookresowych, kosztem celów strategicznych całego programu czy polityki (ang. suboptimization and myopia), niewłaściwe interpretowanie danych kontekstowych, co skutkuje budowaniem błędnych założeo programu i ocen (ang. misinterpretation), manipulowanie danymi, tak aby wykazad znacznie korzystniejsze efekty programu (ang. misrepresentation). eliminowanie przedstawionych dysfunkcji poprzez weryfikowanie w jakim stopniu realizacja określonego projektu przyczyniła się do wykonania zadao wynikających ze strategii, użycie kilku rodzajów narzędzi badawczych do oceny jednej kwestii (tzw. triangulacja), kontrolowanie efektów na podstawie różnych źródeł danych 4 Przedmiot ewaluacji Przedmiot ewaluacji może stanowid projekt, program, polityka, określona kwestia (tematyka) lub metaewaluacja. PROJEKT W przypadku ewaluacji projektu badanie koncentruje się na skutkach realizacji określonej inwestycji, jest elementem składowym oceny całości programu, wykonywane są dla działao pilotażowych w celu uruchomienia większych inwestycji. PROGRAM Najczęściej spotykana forma ewaluacji bada oddziaływanie programów i dotyczy zarówno pojedynczych programów sektora publicznego jak i całych projektów inwestycyjnych składających się na działania i priorytety. POLITYKA Ewaluacja polityki w literaturze nazywana jest też analizą polityk (ang. policy analysis). Składa się z szeregu długoletnich badao i analiz dokonywanych w administracjach paostw członkowskich, rzadziej na poziomie Unii Europejskiej (np. polityka spójności). TEMAT Ewaluacja tematyczna (ang thematic/horizontal evaluation), inaczej przekrojowa, prowadzona jest z uwzględnieniem kilkunastu programów lub projektów, celem jej jest ocena problemu zarządzania lub kwestii interwencji (np. zasady partnerstwa w korzystaniu z funduszy strukturalnych w ramach kilku celów polityki regionalnej Unii Europejskiej). METAEWALUACJA Analizę porównawczą podsumowującą obserwacje, wnioski i rekomendacje kilku ewaluacji z wielu podobnych programów jest metaewaluacja (ang. meta-evaluation). Jej przedmiotem jest również badanie podejśd i technik, a więc jakości dokonanych ewaluacji. Cel ewaluacji Ze względu na cel ewaluacji wyróżnia się ewaluację formatywną i podsumowującą. EWALUACJA FORMATYWNA 4 Ibidem, s. 38. Zajęcia 1. Materiały pomocnicze do dwiczeo Strona 3 z 5
Zadaniem ewaluacji formatywnej jest ocena formy i procesu wdrażania określonej inwestycji przed jej rozpoczęciem lub w czasie jej trwania. Skupia się na doradzeniu zarządzającym programem sposobu poprawy płynności wdrażanego programu, co ma prowadzid do podniesienia jego ostatecznej jakości. EWALUACJA PODSUMOWUJĄCA Ewaluacja podsumowująca ma dokonad całościowej oceny danej inwestycji, najczęściej po jej zakooczeniu, ma charakter opisowy i wyjaśniający 5. Czas prowadzenia ewaluacji Zgodnie z podziałem uwzględniającym moment prowadzenia ewaluacji 6 wyodrębnia się ewaluacje wstępną (ang. ex-ante evaluation), ewaluację śródokresową (ang. mid-term evaluation), ewaluację ciągłą (bieżącą) (ang. on-going evaluation) oraz ewaluację koocową (ang. ex-post evaluation). EWALUCJA EX-ANTE Ewaluacja wstępna należy do obowiązku władz odpowiedzialnych za przygotowanie planów i dokumentów uzupełniających planowanie w krajach członkowskich. Prowadzona przed rozpoczęciem interwencji uwzględnia sytuację społeczno-ekonomiczna paostwa, regionu lub sektora, ocenia spójnośd przyjętej strategii i jej celów ze specyfiką gospodarczą i demograficzną regionu, zjawiska zachodzące na rynku pracy wraz ze zapisami strategii odnoszącymi się do rozwoju zasobów ludzkich wraz z oczekiwanymi efektami, stan środowiska naturalnego w regionie, ocenę wpływu programów na sytuację w dziedzinie równości kobiet i mężczyzn na rynku pracy oraz w zakresie warunków zatrudnienia 7. Zadaniem ewaluacji jest postawienie diagnozy, czy oczekiwane oddziaływanie wynikające z założeo postawionych w strategii jest realne. Ponadto, ewaluacja ex ante szacuje rezultaty podejmowanych działao, ustala kwantyfikowalne cele, co stwarza podstawy prowadzonego monitoringu oraz dalszej ewaluacji. EWALUACJA MID-TERM Ocena w połowie okresu realizacji projektu przeprowadzana jest na zasadzie współpracy jednostki zarządzającej programem i Komisji Europejskiej. Dokonywana jest przez niezależnych ewaluatorów i przekazywana w pierwszej kolejności komitetowi monitorującemu program, a następnie Komisji Europejskiej. Ewaluacja koncentruje się na ocenie dotychczasowego sposobu realizacji interwencji, weryfikuje jej kierunki oraz aktualnośd założeo, wskazuje na pierwsze efekty interwencji, rekomenduje wprowadzenie korekt w procesie zarządzania implementacją projektu. EWALUACJA ON-GOING Ewaluacja ciągła (bieżąca) wykonywana jest w trakcie realizacji programu, może mied charakter badania punktowego, lub składad się z szeregu badao. Zapewnia wsparcie dla zarządzania programem. Ma na celu przeprowadzenie analizy kwestii problemowych, z jednoczesnym wskazaniem konkretnych rozwiązao. Prowadzi do wzmocnienia relacji między operatorami programu, sprzyjając akumulacji doświadczeo. EWALUACJA EX-POST Ewaluacja ex post jest wykonywana najczęściej dwa lata po zakooczeniu interwencji. Odpowiedzialnośd za ocenę ex post spoczywa na Komisji Europejskiej przy współpracy z paostwem 5 Ibidem, s. 40. 6 Zgodnie z wytycznymi przyjętymi przez Ministerstwo Rozwoju Regionalnego wyróżnia się trzy rodzaje ewaluacji, według kryterium czasu przeprowadzanych analiz w relacji do etapu wdrażanego projektu: ewaluację ex ante, ewaluację bieżącą oraz ewaluację ex post. (Por. http://www.ewaluacja.gov.pl/ ewaluacja_wstep/strony/definicja.aspx, stan na dzieo 30.01.2010 r.) 7 Por. Irena Pietrzyk, Polityka regionalna, op. cit., s. 192. Zajęcia 1. Materiały pomocnicze do dwiczeo Strona 4 z 5
członkowskim i podmiotem zarządzającym programem. Dokonywana jest przez niezależnych ekspertów, co świadczy o zewnętrznej formie oceny. Istotą tego rodzaju ewaluacji jest porównywanie celów z osiągniętymi wynikami, oparte na danych statystycznych (regionalnych oraz krajowych), dotyczących wskaźników makroekonomicznych i sektorowych, również na danych uzyskanych z analiz opisowych oraz na analizach typu jakościowego. Głównym zadaniem oceny ex post jest przedstawienie wykorzystania środków i uzyskanych dzięki nim efektów oraz wykazanie poziomu skuteczności, efektywności i spójności podjętych działao z oceną ex ante. Administracyjna organizacja badania ewaluacyjnego Dokonując podziału metodologii prowadzenia ewaluacji ze względu na administracyjną organizację badania wyróżnia się ewaluację wewnętrzną oraz zewnętrzną. EWALUACJA WEWNĘTRZNA Ewaluacja wewnętrzna prowadzona jest przez podmiot odpowiedzialny za wdrażanie określonej interwencji, najczęściej przez departament lub komórkę organizacyjną działająca w ministerstwie kierującym danym programem. EWALUACJA ZEWNĘTRZNA Ewaluacja zewnętrzna zlecana jest innym instytucjom, poza podmiot prowadzący projekt czy program, złożonym z niezależnych ekspertów wyłonionych w ramach postępowania przetargowego (np. instytuty naukowe, firmy konsultingowe). Podsumowując, ocena prowadzonych projektów pozwala na ciągłe doskonalenie polityki wsparcia. Ponadto przyczynia się do upowszechniania w paostwach członkowskich praktyk wzorcowych (ang. best practices) i kultury ewaluacyjnej, prowadzi do stałego ulepszana technik oraz systemu kryteriów i wskaźników ewaluacji. Konsekwentne stosowanie ewaluacji przynosi w dłuższym okresie znaczący wzrost efektywności prowadzonych działao, co w ostateczności służy doskonaleniu polityki regionalnej. Unia Europejska stopniowo rozwija praktykę ewaluacji. Jej przedmiotem jest dokonywanie stałych ocen efektów polityki spójności. Należy wspomnied, że w ramach programu MEANS (fr. Méthodes d Evaluation des Actions de Nature Structurelle, ang. Evaluation Methods for Actions of Structural Nature) uruchomionego przez Dyrekcję ds. Polityki Regionalnej (DG-Regio) w 1994 r. prowadzono działania zmierzające do koordynacji, wymiany doświadczeo, opracowaniu spójnych standardów dla praktyk ewaluacji programów strukturalnych w paostwach członkowskich 8. 8 Por. Karol Olejniczak, Mechanizmy wykorzystania ewaluacji. Studium ewaluacji średniookresowych INTERREG III, Wydawnictwo Naukowe Scholar, Warszawa 2008 r., s. 85. Zajęcia 1. Materiały pomocnicze do dwiczeo Strona 5 z 5