Jakość, użyteczność, mocne i słabe strony procesu ewaluacji 2007-2013 Pożądane kierunki zmian na lata 2014-2020 Perspektywa odbiorcy badania Sławomir Sobieszek Dyrektor Wydziału Zarządzania Regionalnym Programem Operacyjnym Urząd Marszałkowski Województwa Dolnośląskiego Warszawa, 6 marca 2014 r.
Ewaluacja w IZ RPO Województwa Dolnośląskiego 1.Rolę Jednostki Ewaluacyjnej pełni w IZ RPO WD Dział Programowania i Ewaluacji w Wydziale Zarządzania RPO, obecnie pracują w niej 2 osoby (wcześniej 3), oprócz ewaluacji mają one również inne obowiązki m.in. związane z programowaniem; 2. Podstawą działao ewaluacyjnych w ramach RPO WD jest Plan Ewaluacji. Zgodnie z Planem nacisk został położony na ewaluacje sektorowe badające efekty poszczególnych priorytetów w RPO WD;
Ewaluacja w IZ RPO Województwa Dolnośląskiego 1. Do tej pory zrealizowaliśmy 10 badao ewaluacyjnych (w tym jedną ewaluację wewnętrzną): Badania przeprowadzone w latach 2008-2010 dotyczyły: przygotowania do aplikowania o środki w ramach RPO WD (2008 r.); działao informacyjno-promocyjnych(2008 r.); oceny listy wskaźników (2009 r.); problemów przy rozliczaniu wniosków o płatnośd (2010r.)
Ewaluacja w IZ RPO Województwa Dolnośląskiego w roku 2011 przeprowadzono ewaluację dot. Krajowej Rezerwy Wykonania; od 2012 rozpoczęliśmy realizację ewaluacji dotyczących poszczególnych priorytetów RPO WD w pierwszej kolejności dotyczyły one obszaru zdrowia i edukacji (2012 r.), następnie transportu (2012 r.), rewitalizacji (2013 r.) i wsparcia dla przedsiębiorstw (2013 r.). W marcu br. zakooczony się badanie dot. środowiska i energetyki, a w kwietniu rozpocznie się badanie dot. społeczeostwa informacyjnego.
Ewaluacja w IZ RPO Województwa Dolnośląskiego 2. Ponadto zleciliśmy także wykonanie trzech analiz: - dotyczących oszacowania wartości wskaźników oszczędności czasu na drogach i liniach kolejowych (2011 r. ), - analizy wybranych powiatów Dolnego Śląska pod kątem przyczyn niskiej absorpcji środków (2012 r.), - błędów popełnianych przez beneficjentów przy udzielaniu zamówieo publicznych (2013 r.)
Co wpływa na jakośd i użytecznośd procesu ewaluacji?
Co wpływa na jakość i użyteczność procesu ewaluacji? 1. Świadomośd procesu ewaluacji od samego początku funkcjonowania programu, realizowana m.in. przez: - szkolenia dla wszystkich pracowników IZ RPO WD, członków KM oraz beneficjentów; - korzystanie ze wsparcie eksperta zewnętrznego; - powołanie grupy wewnętrznej ds. ewaluacji; - zaangażowanie zarówno pracowników jednostki ewaluacyjnej jak i chęd współpracy przedstawicieli innych wydziałów i jednostek UMWD (np. DRPO-W, DIP);
Co wpływa na jakość i użyteczność procesu ewaluacji? 2.Podczas procesu wyboru wykonawcy: nacisk na kryteria dostępowe i pozacenowe. 3. Podczas realizacji badania: - dobra jakośd dostępnych danych (współpraca w tym zakresie z przedstawicieli innych wydziałów i jednostek UMWD (np. DRPO-W, DIP); - współpraca z wykonawcą na każdym etapie badania (przede wszystkim spotkanie przed rozpoczęciem badania); - otwartośd IZ RPO WD na konstruktywną krytykę wynikającą z badania; -zaangażowanie grupy ds. ewaluacji oraz potencjalnych adresatów rekomendacji już w trakcie realizacji badania; - nacisk na przystępny język raportów.
Co wpływa na jakość i użyteczność procesu ewaluacji? 4. Wspólne wypracowywanie decyzji o wdrożeniu rekomendacji: - Komitet Monitorujący zapoznaje się w wynikami badania i zaleca podjęcie decyzji o wdrażaniu rekomendacji; - tabela wdrażania rekomendacji jest konstruowana w oparciu o dialog z adresatami rekomendacji; - projekt decyzji jest konsultowany z podgrupą ds. ewaluacji.
Co wpływa na jakość i użyteczność procesu ewaluacji? 6. Wykorzystywanie i rozpowszechnianie wyników oraz rekomendacji płynących z badania: - prezentacja wyników na posiedzeniach KM, komisji sejmikowej ds. rozwoju regionalnego oraz konferencjach; - informowanie Zarządu Województwa o wynikach badania, - broszura ewaluacyjna niezbędnym elementem badania (umieszczana na stronie oraz dystrybuowana wśród odbiorców badania); - wykorzystywanie wniosków z badania w systemie monitorowania i sprawozdawczości oraz informacji i promocji.
Problemy i bariery procesu ewaluacji w Województwie Dolnośląskim
Problemy i bariery procesu ewaluacji CZAS, CZAS, CZAS. - ewaluacje sektorowe (poszczególnych priorytetów) - mogliśmy rozpocząd dopiero w momencie zgromadzenia odpowiednich danych, a konsekwencją takiego działania jest m.in. brak możliwości wdrożenia niektórych istotnych i ciekawych rekomendacji w bieżącej perspektywie; - zbyt długi proces ewaluacji od stworzenia OPZ do otrzymania wyników upływa ok.7-9 miesięcy, a wnioski potrzebne są często w krótkim czasie, - krótki czas badania może skutkowad gorszą jakością badania (do realizacji takich badao często zgłaszają się firmy z niewystarczającym zapleczem i doświadczeniem).
Problemy i bariery procesu ewaluacji Problemy dotyczące zamówieo publicznych: - brak zgody na niektóre formułowane kryteria dostępu (np. związane z doświadczeniem członków zespołu badawczego); - badania ewaluacyjne są zlecane w trybie przetargu nieograniczonego UE, co skutkuje 40 dniowym terminem oczekiwania na złożenie ofert. Problemy przy wdrażaniu rekomendacji strategicznych: - są to często bardzo istotne rekomendacje, ale trudne do wdrożenia (powody: rozbudowana struktura IZ oraz systemu zarządzania funduszami strukturalnymi w Polsce i KE, adresaci na poziomie poszczególnych ministerstw czy Komisja Europejska, względy polityczne).
Wnioski na przyszłośd, czyli co możemy zmienid, by ewaluacja była efektywna i użyteczna
Wnioski na przyszłość - ewaluacja nie może byd traktowana wyłącznie jako obowiązek; - język ewaluacji powinien byd jasny i przystępny; - adresaci ewaluacji powinni byd otwarci na krytykę płynącą z raportów; - należy podjąd działania zmierzające do niepowielania się badao w różnych programach; - należy wypracowywad sposób efektywnego wdrażania rekomendacji strategicznych;
Wnioski na przyszłość - należy rozważyd możliwośd realizowania ewaluacji na poziomie krajowym w dziedzinach, w których jest to możliwe, np. oceniających przekrojowo kwestie istotne dla co najmniej kilku województw /programów (przykład: brak przekrojowej ewaluacji po rozdzieleniu środków w ramach KRW); - należy korzystad w większym stopniu z wyników badao ewaluacyjnych w codziennej pracy np. w sprawozdawczości czy promocji; Czas życia programu a ewaluacje kwestia do rozważania - co zrobid, by przezwyciężyd ograniczenia czasowe procesu ewaluacji (może ewaluacje priorytetów w dwóch etapach?).