PROJEKT Planu Ewaluacji RPO WP 2014-2020 Radomir Matczak Departament Rozwoju Regionalnego i Przestrzennego UMWP V posiedzenie Komitetu Monitorującego Regionalny Program Operacyjny Województwa Pomorskiego Gdańsk, 12 lutego 2016
Założenia Planu jeden Plan Ewaluacji w okresie 2016-2023 raz w roku przegląd Planu aktualizacja wzmocnienie roli Komitetu Monitorującego: rozpatrywanie i zatwierdzanie Planu Ewaluacji oraz jego aktualizacji możliwość rekomendowania obszarów i tematów wymagających oceny zgłaszanie uwag i sugestii dot. procesu ewaluacji RPO WP KM jest informowany o postępie w realizacji Planu, wynikach badań oraz sposobach ich wykorzystania (co najmniej raz w roku)
Informacyjno-zarządcze wsparcie realizacji polityk publicznych w Pomorskiem Strona internetowa PSME Pomorski System Monitoringu i Ewaluacji Zespół Sterujący Strategią Zarząd Województwa Pomorskiego Koordynator Strategii Pomorskie Forum Terytorialne Raporty, rekomendacje Bazy danych i informacji PZPWP ewaluacje wskaźniki PZPWP SRWP ewaluacje wskaźniki SRWP RPS analizy / badania analizy / badania analizy / badania analizy / badania analizy / badania ewaluacje wskaźniki RPS RPO ewaluacje wskaźniki RPO inne bank informacji kontekstowych
Środowiska eksperckie Organizacja procesu ewaluacji: zaangażowane podmioty Instytucja Zarządzająca RPO WP Jednostka ewaluacyjna (Zespół ds. ewaluacji, Referat Planowania Strategicznego, DRRP) Komitet Monitorujący RPO WP Zespół Sterujący SRWP Partnerzy spoza administracji publicznej
Uwarunkowania realizacji Planu (1) ZOBOWIĄZANIA DOTYCZĄCE REALIZACJI BADAŃ Zamknięcie perspektywy 2007-2013 (całościowa ocena efektów RPO WP i jego wkład w realizację Strategii EU 2020) Zobowiązania wobec strony rządowej (Wytyczne MIR w zakresie ewaluacji) Postęp rzeczowy (wskaźniki) (Rozporządzenie EFS nr 1304/2013 / zapisy RPO WP / Wytyczne MIR) Ocena efektów realizacji poszczególnych Osi Priorytetowych (Rozporządzenie Ogólne nr 1303/2013) LICZBA BADAŃ 3 5 2 13 Warunek ex-ante dla Inteligentnych Specjalizacji 1 Potrzeby informacyjne IZ RPO WP 6 RAZEM 30
Uwarunkowania realizacji Planu (2) Wytyczne MIR kryteria i system wyboru projektów polityki horyzontalne postęp rzeczowy RPO WP dla potrzeb przeglądu śródokresowego (RW) system realizacji podsumowanie rezultatów RPO WP, w tym wpływ na realizację strategii Europa 2020 Potrzeby informacyjne IZ RPO WP aktualizacja oceny ex-ante instrumentów finansowych ocena realizacji instrumentów finansowych komplementarność projektów realizowanych w ramach RPO WP z projektami z innych PO efekty wykorzystania instrumentów terytorialnych (ZIT/ZPT) wpływ RPO WP na realizację celów SRWP 2020 ocena ex-ante RPO WP 2021+
Badania planowane do realizacji: podsumowanie efektów RPO WP 2007-2013 Lp. Tytuł badania Zakres badania 1. 2. 3. Ocena efektów realizacji RPO WP Ocena wpływu RPO WP na realizację celów Strategii Europa 2020 Oszacowanie wybranych wskaźników dla Osi Priorytetowej 7. Ochrona zdrowia i system ratownictwa RPO WP wpływ Programu na rozwój społeczno-gospodarczy regionu stworzenie regionalnego modelu pomiaru interwencji ocena efektów jakościowych realizacji RPO WP 2007-2013 rekomendacje dot. wdrażania RPO WP 2014-2020 wpływ Programu na realizację celów, priorytetów i inicjatyw przewodnich Strategii Europa 2020 identyfikacja mechanizmów wzmacniających lub ograniczających wpływ Programu na realizację Strategii Europa 2020 Oszacowanie wskaźników: rezultatu: obszar województwa objęty ścieżką życia 8 minut oddziaływania: śmiertelność ofiar zdarzeń nagłych w ścieżce życia (%)
Badania planowane do realizacji: EFS + rewitalizacja 1. Ocena wpływu realizacji RPO WP 2014-2020 na wybrane wskaźniki rezultatu 2. 3. 4. 5. 6. 7. Wpływ wsparcia EFS w ramach RPO WP 2014-2020 na jakość i dostępność edukacji ogólnej i przedszkolnej Ocena wsparcia w zakresie kształcenia zawodowego w ramach RPO WP 2014-2020 (EFS/EFRR) Ocena skuteczności i efektywności wsparcia w ramach OP 5. Zatrudnienie RPO WP 2014-2020 Ocena efektów wsparcia realizowanego w ramach Działania 5.4 Zdrowie na rynku pracy RPO WP 2014-2020 Ocena skuteczności i efektywności wsparcia w ramach OP 6. Integracja RPO WP 2014-2020 Ocena wpływu interwencji w zakresie kompleksowej rewitalizacji zdegradowanych obszarów miejskich w ramach RPO WP 2014-2020 (EFS/EFRR)
Badania planowane do realizacji: EFRR 1. Efekty wsparcia działalności B+R w ramach RPO WP 2014-2020 2. 3. 4. 5. Efekty wsparcia konkurencyjności, innowacyjności i internacjonalizacji MŚP w ramach RPO WP 2014-2020 Ocena mechanizmu identyfikacji i weryfikacji Inteligentnych Specjalizacji Pomorza w ramach RPO WP 2014-2020 Ocena wsparcia w zakresie poprawy dostępności do specjalistycznych usług zdrowotnych i rozwoju usług e-zdrowia w ramach RPO WP 2014-2020 Ocena wpływu interwencji w zakresie atrakcyjności przyrodniczej i kulturowej w ramach RPO WP 2014-2020 6. Ocena efektów realizacji projektów środowiskowych RPO WP 2014-2020 7. Ocena efektów realizacji projektów w zakresie energetyki w ramach RPO WP 2014-2020 8. Ocena efektów realizacji projektów transportowych w ramach RPO WP 2014-2020 9. Ocena wewnętrznej dostępności komunikacyjnej województwa pomorskiego w odniesieniu do wsparcia realizowanego w ramach RPO WP 2014-2020 10. Ocena realizacji instrumentów finansowych w ramach RPO WP 2014-2020 11. Aktualizacja oceny ex ante instrumentów finansowych w ramach RPO WP 2014-2020
Badania planowane do realizacji: horyzontalne oraz perspektywa 2021+ 1. Ocena kryteriów i systemu wyboru projektów RPO WP 2014-2020 2. Ocena wdrażania polityk horyzontalnych w ramach RPO WP 2014-2020 3. Ewaluacja mid-term postępu rzeczowego realizacji RPO WP 2014-2020 4. Ocena podsumowująca system realizacji RPO WP 2014-2020 5. 6. 7. 8. Ewaluacja podsumowująca postęp rzeczowy i rezultaty RPO WP 2014-2020 (w tym wpływ na realizację Strategii Europa 2020) Ocena komplementarności projektów realizowanych w ramach RPO WP 2014-2020, Polityki Spójności, Wspólnej Polityki Rolnej i Wspólnej Polityki Rybackiej w województwie Ocena efektów wykorzystania instrumentów terytorialnych w ramach RPO WP 2014-2020 Wpływ RPO WP 2014-2020 na realizację celów Strategii Rozwoju Województwa Pomorskiego 2020 9. Ocena ex ante RPO WP 2021+
Środki na ewaluację RPO WP 2014+ Rok 2016 2017 2018 2019 2020 2021 2022 2023 Ogółem Liczba ewaluacji Budżet (tys. PLN) 4 3 2 4 4 9 5 6 600 445 380 570 600 1 505 1 250 1 470 6 820 Obszar Kwota (tys. PLN) zamknięcie RPO WP 2007-2013 500 EFS + rewitalizacja 1 990 EFRR 2 870 horyzontalne 1 310 perspektywa 2021+ 150 SUMA 6 820 Całkowity budżet Planu Ewaluacji (tys. PLN) badania w planie 6 820 badania ad hoc 2 496 budowa potencjału ewaluacyjnego 410 SUMA 9 726
Środki na ewaluację w innych RPO 2014+ Lp. Województwo Środki UE kategoria 122 (tys. EUR) 1 Łódzkie 5 612 2 Małopolskie 5 000 3 Warmińsko-Mazurskie 4 000 4 Świętokrzyskie 3 500 5 Dolnośląskie 3 000 6 Wielkopolskie 2 700 7 Pomorskie 2 556 8 Podlaskie 2 500 9 Śląskie 2 500 10 Lubelskie 2 125 11 Podkarpackie 2 036 12 Lubuskie 1 805 13 Kujawsko-pomorskie 1 798 14 Zachodniopomorskie 1 601 15 Mazowieckie 800 16 Opolskie 378 9% 8% 7% 6% 5% 4% 3% 2% 1% 0% Udział kat. 122 w Pomocy Technicznej RPO 8,30% 7,00% 6,89% 6,33% 5,00% 4,91% 3,92% 3,82% 3,79% 3,06% 3,00% 2,92% 2,50% 2,27% 1,10% 1,00%
Wydatki na badania/ewaluacje w okresie 2007-2013 Wyszczególnienie Liczba badań Koszt (mln zł) Badania ewaluacyjne RPO WP 2007-2013 11 1,5 Badania ewaluacyjne PO KL 21 1,9 Projekt badawczy PO KL MID RBS 8 1,1 Projekt badawczy PO KL SIR 4 0,5 Projekty badawcze w ramach konkursów PO KL 12 9,0 RAZEM 56 14,0
Badania ewaluacyjne na osi czasu Badania cykliczne Pomiar wskaźników EFS Wpływ RPO WP na SRWP Wewnętrzna dostępność komunikacyjna województwa Aktualizacja oceny ex-ante IF Ocena mechanizmu identyfikacji i weryfikacji ISP 2016 2017 2018 2019 2020 2021 2022 2023 Ex post 2007-2013 (3 badania) Kryteria i system oceny projektów Badania jednorazowe Mid term 2014-2020 System realizacji RPO WP Ex-ante RPO 2021+ Polityki horyzontalne Instrumenty terytorialne Komplementarność wsparcia Ocena OP: 3, 3/4, 7, 9, 11 (5 badań) Ocena OP: 1, 2, 8, 10 (4 badania) Postęp rzeczowy, Wkład w EU 2020 Ocena realizacji IF Ocena OP: 5, 5(8vi), 6, 6/8 (4 badania)
Inne ważne działania ewaluacyjne planowane w roku 2016 Tytuł badania: Ocena ex post efektów polityki spójności 2007-2013 z perspektywy regionalnej na przykładzie województwa pomorskiego (pilotaż) 1. Ocena efektów zrealizowanych projektów oraz ocena ich wpływu na rozwój społeczno-gospodarczy województwa pomorskiego Cele: 2. Wyjaśnienie związków przyczyno-skutkowych między planowaniem, realizacją a efektami interwencji 3. Sformułowanie rekomendacji dla przyszłej interwencji 4. Stworzenie podejścia badawczego możliwego do zastosowania w innych regionach Zakres: Czas realizacji: Etap przygotowania: RPO WP, POIS, POIG i PO KL (ponad 5,5 tys. projektów) 40 tygodni Uzgodniony SOPZ (30.11.2015) KJE przygotowuje się do uruchomienia procedury przetargowej
Wstępna koncepcja ewaluacji procesowej ad hoc w zakresie Inteligentnych Specjalizacji Pomorza (1) Obszary (dla cyklu 3-letniego): 1. Dynamika i kierunki rozwoju gospodarki regionu w obszarach ISP. 2. Ocena stopnia realizacji celów ISP. 3. Ocena efektywności wsparcia publicznego w formie Porozumień na rzecz ISP. Narzędzia monitorowania Analiza statystyczna Analiza realizacji Porozumień na rzecz ISP Badanie jakościowe Interesariuszy Panele weryfikacji strategicznej Częstotliwość zastosowania 2 razy (raport cząstkowy co 1,5 roku) 1 raz (na zakończenie cyklu) 1 raz (9 miesięcy przed decyzją o przedłużeniu Porozumienia) 2 razy (organizacja co 1,5 roku) Na zakończenie cyklu raport podsumowujący.
Schemat organizacji badania Wstępna koncepcja ewaluacji procesowej ad hoc w zakresie Inteligentnych Specjalizacji Pomorza (2)
Oczekiwania KE względem ISP Oczekiwania KE Zarządzanie Podejście do IS oparte na silnym liderze i stałym doradztwie ze strony istotnych departamentów UMWP Ustrukturyzowane podejście do angażowania ekspertów i regionalnych interesariuszy Policy mix Tworzenie warunków dla synergicznych powiązań między interesariuszami ISP/RPS/RPO WP Monitoring i ewaluacja Rozszerzenie systemu wskaźników o wskaźniki specyficzne mierzące postęp w obszarach specjalizacji Określenie budżetu na działania monitoringowe Podjęte działania przez IZ zaprojektowane (i wdrożone) zaprojektowane (i wdrożone) przygotowywane do uruchomienia przygotowywane we współpracy z ekspertami średniorocznie ~100 tys. zł
Harmonogram zatwierdzenia Planu Lp. Działania Terminy 1. Projekt Planu otrzymał pozytywną opinię KJE 30.12.2015 2. Rozpatrzenie projektu Planu przez ZWP 21.01.2016 3. Przekazanie projektu Planu do KM RPO WP 25.01.2016 4. Przekazanie uwag do projektu Planu przez KE 03.02.2016 08.02.2016 5. Rozpatrzenie projektu Planu przez KM RPO WP 12.02.2016
Uwagi KE do projektu Planu (DG Employment) UWAGA KE Umożliwienie partnerom naukowym i społecznym udziału w posiedzeniach Grupy Sterującej Ewaluacją Stanowisko IZ Otwarte konsultacje pytań badawczych przed opublikowaniem specyfikacji - + (bz) Uwzględnienie w tematach ewaluacji realizacji zasady partnerstwa + (z) Rezygnacja z przeprowadzenia 3 osobnych ewaluacji ex-post. - Uwzględnienie dodatkowych pytań badawczych w ewaluacji dotyczącej kryteriów i systemu wyboru projektów Poszerzenie badania dedykowanego ocenie wdrażania polityk horyzontalnych o kwestię dostępności dla osób z niepełnosprawnościami Uwzględnienie kwestii oddziaływania RPO WP na realizację Zaleceń Rady dla Polski W ramach badania OP 6. Integracja ocena współpracy między instytucjami pomocy społecznej, rynku pracy i trzecim sektorem oraz zaangażowania w realizację projektów organizacji pozarządowych W ramach badania OP 6. Integracja ocena komplementarności RPO WP z PO Pomoc Żywnościowa + (bz) + (z) + (z) + (z) + (z)
Uwagi KE do projektu Planu (DG Regio) UWAGA KE Stanowisko IZ Doprecyzowanie zapisu dot. kompetencji i doświadczenia pracowników JE + (z) Odwołanie do doświadczeń wynikających z ewaluacji w okresie 2007-2013 + (bz) Oddzielny harmonogram pokazujący wpisywanie się planowanych badań w proces zarządzania Programem Całościowe podejście do zarządzania jakością ewaluacji + (bz) Uszczegółowienie zakresu badań (metodologia + pytania badawcze) - Szersze zastosowanie metod kontrfaktycznych + (bz) Zastosowanie kryterium efektywności + (bz) Analiza dostępności danych, wskazanie źródeł danych + (bz) Wykorzystanie mediów społecznościowych + (z) Publikowanie materiałów uzupełniających do raportów końcowych z badań + (bz) -
Dziękuję za uwagę Radomir Matczak Departament Rozwoju Regionalnego i Przestrzennego UMWP V posiedzenie Komitetu Monitorującego Regionalny Program Operacyjny Województwa Pomorskiego Gdańsk, 12 lutego 2016