SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA

Transkrypt

1 numer sprawy: załącznik nr 2 do specyfikacji istotnych warunków zamówienia SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA na przeprowadzenie badania pn. Ewaluacja mid-term dot. postępu rzeczowego RPO WM dla potrzeb przeglądu śródokresowego, w tym realizacji zapisów ram i rezerwy wykonania, realizowanego w ramach projektu współfinansowanego ze środków Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata nr RPMA /15, pn.: PLAN DZIAŁAŃ POMOCY TECHNICZNEJ UMWM na lata w zakresie wsparcia procesów ewaluacji w ramach RPO WM, Priorytet XI Pomoc Techniczna. Symbol usług zgodnie z CPV: usługi badawcze usługi doradcze w zakresie badań usługi analizy danych CEL BADANIA Celem badania jest dokonanie oceny postępów w realizacji celów szczegółowych określonych dla priorytetów RPO WM dla potrzeb przeglądu śródokresowego, w tym realizacji zapisów ram i rezerwy wykonania oraz ocena wkładu interwencji w realizację celów Strategii Europa W badaniu należy uwzględnić następujące kryteria ewaluacyjne: Trafność, pozwalająca ocenić czy cele realizowanych w ramach Programu projektów rozwiązują zidentyfikowane w diagnozie problemy. Skuteczność, pozwalająca ocenić w jakim stopniu zostały osiągnięte cele Programu oraz jego postęp rzeczowy na roku. Przewidywana skuteczność pozwalająca oszacować przewidywany stopień osiągnięcia celów Programu oraz jego postępu rzeczowego w roku UZASADNIENIE Na podstawie Rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 1303 z dnia 17 grudnia 2013 r. 1 oraz zgodnie z zapisami sekcji Zakres tematyczny planów ewaluacji pkt. 2c Wytycznych w zakresie ewaluacji polityki spójności na lata Ministra Infrastruktury i Rozwoju 2, a także Planu Ewaluacji RPO WM na lata , obowiązkiem każdej Jednostki Ewaluacyjnej jest przeprowadzenie ewaluacji mid-term do końca kwietnia 2019 r. Badanie ewaluacyjne mid-term ma za zadanie zdiagnozować stopień, w jakim udało się osiągnąć zakładane cele i wskaźniki w połowie realizacji Programu, a także dostarczyć informacji o możliwości osiągnięcia docelowych wskaźników, mając na uwadze dotychczas podjęte działania w ramach Programu. Dzięki przeprowadzonym analizom zostaną zidentyfikowane obszary wymagające usprawnień oraz zalecenia o sposobie ich wdrożenia, a także propozycje realokacji dostępnych środków. Badanie ewaluacyjne mid-term pozwoli zatem zwiększyć docelową skuteczność i efektywność interwencji, uwzględniając zmieniający się kontekst społeczno-gospodarczy oraz instytucjonalny. Ewaluacja zostanie zrealizowana z wykorzystaniem technik ilościowych i jakościowych. Zastosowanie różnego rodzaju metod, technik i narzędzi badawczych zapewni triangulację metodologiczną. 1 Rozporządzenie Parlamentu Europejskiego i Rady (UE) Nr 1303/2013z dnia 17 grudnia 2013 r. ustanawiające wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego oraz ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności i Europejskiego Funduszu Morskiego i Rybackiego oraz uchylające rozporządzenie Rady (WE) nr 1083/ Wytyczne w zakresie ewaluacji polityki spójności na lata , Minister Infrastruktury i Rozwoju, r.(obecnie Minister Inwestycji i Rozwoju). 3 Przyjęty uchwałą Nr 16/IX/2016Komitetu Monitorującego RPO WM z dnia r. (aktualizacja).

2 ODBIORCY RAPORTU Bezpośredni: 1. Samorząd Województwa Mazowieckiego. 2. Instytucja Zarządzająca RPO WM Komitet Monitorujący RPO WM członkowie zespołu przygotowującego projekt Regionalnego Programu Operacyjnego Województwa Mazowieckiego dla kolejnej perspektywy finansowej UE Pośredni: 5. Beneficjenci RPO WM Komisja Europejska. 7. IK UP. 8. IP RPO WM. Raport będzie opublikowany na ogólnodostępnej stronie internetowej ZAKRES PRZEDMIOTU ZAMÓWIENIA Zakres czasowy Badanie powinno obejmować okres od zatwierdzenia RPO WM ( r.) do r. Zakres podmiotowy Dla właściwego przeprowadzenia badania konieczne jest dotarcie do następujących osób grup respondentów: - Beneficjenci RPO WM na lata , - Wnioskodawcy, którzy ubiegali się o dofinansowanie projektów w ramach działań RPO WM na lata , - Członkowie KM RPO WM , - Przedstawiciele IZ i IP zaangażowanych w realizację RPO WM , - Eksperci oceniający wnioski o dofinansowanie projektu. Zakres przedmiotowy Dla właściwego przeprowadzenia badania konieczne jest dotarcie m.in. do następujących dokumentów: Dokumenty programowe i strategiczne: Umowa Partnerstwa Strategia na rzecz Odpowiedzialnego Rozwoju do roku 2020 z perspektywą do 2030 r. Krajowa Strategia Rozwoju Regionalnego Regiony, miasta, obszary wiejskie; Strategia Rozwoju Województwa Mazowieckiego do 2030 roku; Regionalny Program Operacyjny Województwa Mazowieckiego na lata ; Szczegółowy Opis osi Priorytetowych Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata SZOOP) wraz z załącznikami; Strategia Zintegrowanych Inwestycji Terytorialnych dla Warszawskiego Obszaru Funkcjonalnego Porozumienie z Instytucji Pośredniczącej MJWPU w sprawie realizacji Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata Porozumienie z Instytucji Pośredniczącej WUP w sprawie realizacji Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata Porozumienie z Instytucji Pośredniczącej ZIT w sprawie realizacji Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata Instrukcja Wykonawcza Instytucji Zarządzającej Regionalnym Programem Operacyjnym Województwa Mazowieckiego na lata Instrukcja Wykonawcza Instytucji Pośredniczącej MJWPU Regionalnym Programem Operacyjnym Województwa Mazowieckiego na lata Instrukcja Wykonawcza Instytucji Pośredniczącej WUP Regionalnym Programem Operacyjnym Województwa Mazowieckiego na lata Instrukcja Wykonawcza Instytucji Pośredniczącej ZIT Regionalnym Programem Operacyjnym Województwa Mazowieckiego na lata Plan inwestycyjny dla subregionu ciechanowskiego objętego OSI problemowymi w ramach Regionalnych Inwestycji Terytorialnych Plan inwestycyjny dla subregionu płockiego objętego OSI problemowymi w ramach Regionalnych Inwestycji Terytorialnych Plan inwestycyjny dla subregionu ostrołęckiego objętego OSI problemowymi w ramach Regionalnych Inwestycji Terytorialnych Strona 2 z 10

3 Plan inwestycyjny dla subregionu siedleckiego objętego OSI problemowymi w ramach Regionalnych Inwestycji Terytorialnych Plan inwestycyjny dla subregionu radomskiego objętego OSI problemowymi w ramach Regionalnych Inwestycji Terytorialnych Kontrakt terytorialny dla Województwa Mazowieckiego Opis Funkcji i Procedur Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata Harmonogramy naborów Dokumentacja konkursowa naborów obejmujących wymiar terytorialny wsparcia, stanowiąca załączniki do ogłoszenia o naborze wniosków o dofinansowanie (w tym m.in. regulamin konkursu, wzór wniosku, instrukcja wypełniania wniosku, wzór umowy) Plan działań dla OP VIII, IX, X RPO WM Regionalne programy operacyjne 15 województw wraz ze Szczegółowymi Opisami Osi Priorytetowych Regionalna Strategia Innowacji dla Mazowsza do 2020 roku Rozporządzenia, ustawy, wytyczne: Rozporządzenie Parlamentu Europejskiego i Rady (UE) NR 1303/2013 z dnia 17 grudnia 2013 r. ustanawiające wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego oraz ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności i Europejskiego Funduszu Morskiego i Rybackiego oraz uchylające rozporządzenie Rady (WE) nr 1083/2006; Rozporządzenie Ministra Infrastruktury i Rozwoju z dnia 3 września 2015 r. w sprawie udzielania regionalnej pomocy inwestycyjnej w ramach regionalnych programów operacyjnych na lata ; Rozporządzenie wykonawcze Komisji (UE) NR 215/2014 z dnia 7 marca 2014 r. ustanawiające zasady wykonania rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 1303/2013 ustanawiającego wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego oraz ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności i Europejskiego Funduszu Morskiego i Rybackiego w zakresie metod wsparcia w odniesieniu do zmian klimatu, określania celów pośrednich i końcowych na potrzeby ram wykonania oraz klasyfikacji kategorii interwencji w odniesieniu do europejskich funduszy strukturalnych i inwestycyjnych; Ustawa z dnia 11 lipca 2014 r. o zasadach realizacji programów w zakresie polityki spójności finansowanych w perspektywie finansowej (tj. Dz. U. z 2016 r.. poz. 217); Wytyczne oraz rozporządzenia Ministra właściwego ds. rozwoju i finansów regulujące kwestie objęte przedmiotem badania w tym m.in.: Wytyczne w zakresie sprawozdawczości na lata , Warszawa luty 2017, Wytyczne w zakresie realizacji zasady równości szans i niedyskryminacji, Warszawa, 8 maja 2015, Wytyczne w zakresie monitorowania postępu rzeczowego realizacji programów operacyjnych na lata , Warszawa 18 maja 2017, EUROPA 2020 Strategia na rzecz inteligentnego i zrównoważonego rozwoju sprzyjającego włączeniu społecznemu Analiza danych związanych z wdrażaniem RPO WM Analiza literatury naukowej, wyników badań, ewaluacji, analiz, ekspertyz dotyczących obszarów funkcjonalnych w województwie mazowieckim w tym min. Nast. badania: Analiza ex-ante zawodności rynku i nieoptymalnego poziomu inwestycji na Mazowszu w odniesieniu do RPO WM Ewaluacja ex-ante Regionalnego Programu Operacyjnego Województwa Mazowieckiego , W ramach badania ewaluacyjnego Wykonawca powinien dokonać szerokich analiz, popartych jakościową oceną zjawisk, w następujących obszarach (celach szczegółowych): 1. Ocena postępu rzeczowego i finansowego RPO WM na lata Etap będzie polegał na analizie i ocenie poziomu wdrażania Programu na podstawie wykorzystanej alokacji przez beneficjentów dla wszystkich osi, działań i poddziałań oraz z uwzględnieniem transpozycji na priorytety inwestycyjne (PI), a także kategorie interwencji. Strona 3 z 10

4 Następnie zostanie dokonana ocena poziomu realizacji wskaźników wybranych do ram wykonania, zarówno w zakresie rzeczowym, jak i finansowym. W analizach wyodrębnione zostaną kwestie wdrażania instrumentów finansowych, ring fencing-ów, polityki terytorialnej, w tym zintegrowanych inwestycji terytorialnych, Obszarów Strategicznej Interwencji oraz Obszarów Rozwoju Społeczno-Gospodarczego, a także instrumentu RIT i inteligentnych specjalizacji oraz wsparcia celów dotyczących zmian klimatu. Analizy zostaną przeprowadzone w oparciu o wygenerowane na dzień r. dane i przekazane przez Zamawiającego. Wykonawca wskaże obszary, które osiągnęły zakładane cele i wartości pośrednie wskaźników oraz te, które nie osiągnęły założonych celów pośrednich wraz z wskazaniem przyczyn i uzasadnieniem ich niewykonania. Ponadto ustali obszary rokujące na wykonanie założonych celów i wartości końcowych wszystkich wskaźników w 2023 r. oraz obszary zagrożone, nierokujące sukcesu. Ważnym elementem tej części badania będzie rozpoznanie przyczyn zidentyfikowanych zagrożeń oraz wskazanie rozwiązań pozwalających odnieść sukces lub łagodzących skutki nieuniknionego niepowodzenia. Oczekuje się również propozycji w zakresie realokacji dostępnych środków przy uwzględnieniu: terminowego (zgodnie z zasadą n+3) wydatkowania dodatkowych środków z rezerwy wykonania, które nie mogą nadmiernie powiększać alokacji w danym priorytecie, zapewnienia współfinansowania oraz podaży projektów. Badaniem powinny zostać objęte następujące kategorie wskaźników: 1. Wskaźniki objęte ramami wykonania ram wykonania 2. Wskaźniki produktu 3. Wskaźniki rezultatu:bezpośredniego i długoterminowego. 2. Analiza diagnozy społeczno-gospodarczej województwa zawartej w Programie pod kątem zmian i aktualności potrzeb rozwojowych Na podstawie diagnozy wyzwań, potrzeb i potencjałów sektorów regionu zawartej w RPO WM Wykonawca dokona analizy zapisów i oceny jak zmieniła się sytuacja społeczno-gospodarcza województwa w połowie okresu wdrażania RPO. Aktualizacja diagnozy powinna być przeprowadzona na najbardziej aktualnych danych. Ważnym elementem będą tutaj zidentyfikowane zmiany w zakresie potrzeb rozwojowych województwa mazowieckiego bądź potwierdzenie ich aktualności od momentu przyjęcia Programu. Wykonawca powinien również ustalić czy doszło do kluczowych zmian w warunkach zewnętrznych, które oddziałują na proces realizowania interwencji. Na podstawie analizy zmian sytuacji społeczno-gospodarczej regionu oraz postępów we wdrażaniu Programu Wykonawca dokona także oceny jego wkładu w realizację celów wynikających ze Strategii na rzecz inteligentnego i zrównoważonego rozwoju sprzyjającego włączeniu społecznemu (Europa 2020) oraz Strategii rozwoju województwa mazowieckiego do roku 2030 z uwzględnieniem podziału na obszary NUTS2. 3. Weryfikacja przyjętej logiki interwencji RPO WM Przyjęta logika interwencji Programu była po raz pierwszy oceniana na etapie ewaluacji exante. W niniejszym badaniu należy dokonać ponownej jej weryfikacji, uwzględniając dotychczasowy przebieg realizacji Programu. Wykonawca powinien przeprowadzić ocenę pod kątem aktualności przyjętych celów programu i osi priorytetowych, przyjętych rozwiązań i sposobów wdrażania interwencji dla osiągania celów, a także trafności zaplanowanej alokacji i jej podziału na poszczególne obszary wsparcia oraz przyjętego sposobu szacowania wartości pośrednich i docelowych wskaźników. Ponadto Wykonawca powinien ustalić w jakim stopniu założenia/logika interwencji jest spójna względem innych podejmowanych działań i trafna względem obecnych warunków społecznogospodarczych. 4. Analiza obciążeń administracyjnych dla beneficjentów oraz systemu instytucjonalnego realizacji Programu. Wykonawca dokona identyfikacji obciążeń administracyjnych dla beneficjenta na poszczególnych etapach realizacji Programu, z uwzględnieniem cyklu życia projektu. Na tej podstawie zostaną wskazane etapy o największym obciążeniu administracyjnym dla beneficjentów, przy jednoczesnym poszukiwaniu uproszczeń zmniejszających te obciążenia. Ponadto Wykonawca zidentyfikuje źródła tych obciążeń oraz pokaże ich wpływ na realizację celów pośrednich i końcowych założonych w Programie. Kolejną kwestią analizy będzie przebadanie systemu instytucjonalnego realizacji Programu pod kątem zastosowanych rozwiązań w zakresie zarządzania i wdrażania interwencji. Strona 4 z 10

5 5. Analiza polityk horyzontalnych. Wykonawca na podstawie stanu wdrażania RPO WM oraz projektów, które uzyskały dofinansowanie, zweryfikuje wypełnianie celów polityk horyzontalnych, tj. zrównoważonego rozwoju, równości szans i niedyskryminacji, w tym dostępności dla osób z niepełnosprawnościami oraz równości szans kobiet i mężczyzn. Na każdym etapie badania Wykonawca pokaże zidentyfikowane problemy, wnioski i rekomendacje oraz sposób ich rozwiązania lub wdrożenia. Szczególną uwagę należy zwrócić na wypracowanie rekomendacji w zakresie ukierunkowania inwestycji w wyniku zarządzania środkami rezerwy wykonania po dokonaniu śródokresowego przeglądu wyników. Przedstawione rekomendacje powinny zawierać: uzasadnienie proponowanej zmiany w tym wskazanie konkretnych danych wskazujących na zasadność dostosowań; charakterystykę rekomendowanych do wprowadzenia zmian w interwencji na poziomie osi priorytetowej, a także strukturę alokacji; odwołanie do celów strategicznych zawartych w Umowie Partnerstwa, średniookresowej strategii rozwoju kraju, Strategii rozwoju województwa mazowieckiego do roku 2030 oraz Regionalnej Strategii Innowacji dla Mazowsza do 2020 roku. Badanie powinno udzielić odpowiedzi na co najmniej następujące problemy badawcze w ramach poszczególnych obszarów badawczych: 1. Ocena postępu rzeczowego i finansowego RPO WM na lata : Jakie są wyniki wdrażanej osi priorytetowej w kontekście oczekiwań, celów i potencjału podmiotów zaangażowanych w realizację? (odpowiadając na pytanie Wykonawca powinien ocenić skuteczność i efektywność interwencji w zakresie stopnia osiągania założonych w programie celów). Jaki jest poziom realizacji wskaźników z Programu oraz wskaźników wybranych do Ram Wykonania w RPO WM w kontekście realizacji celów pośrednich i końcowych? Które wskaźniki osiągnęły zakładane cele i wartości pośrednie? Jakie były przyczyny nieosiągnięcia zakładanych celów pośrednich? Czy aktualny stan wdrażania zapewnia realizację wartości docelowych wskaźników określonych na rok 2023? Które wskaźniki rokują na wykonanie założonych celów i wartości końcowych w 2023 r.? Czy i w jakim stopniu aktualny stan wdrażania zapewnia realizację wartości docelowych specyficznych dla programu wskaźników rezultatu/rezultatu długoterminowego/bezpośredniego? Jakie są podstawowe przyczyny nieosiągnięcia zakładanych wielkości (w kontekście nieosiągnięcia wartości śródokresowych/ ryzyka nieosiągnięcia wartości docelowych) wskaźników ram wykonania, wskaźników rezultatu i wskaźników produktowych założonych na etapie programowania interwencji? Odpowiadając na to pytanie wykonawca zidentyfikuje w jakim stopniu na skuteczność interwencji oddziaływały: czynniki wewnętrzne to jest kontekst instytucjonalny, system wdrażania i realizacji projektów, wnioskodawcy (beneficjenci, beneficjenci nieskuteczni, potencjalni wnioskodawcy), realizowane projekty; czynniki zewnętrzne to jest społeczne, gospodarcze, środowiskowe; Wykonawca powinien również ustalić czy doszło do kluczowych zmian w warunkach zewnętrznych, które oddziałują na proces realizowania interwencji oraz w jakim stopniu założenia/logika interwencji jest spójna względem innych podejmowanych działań i trafna względem obecnych warunków społeczno-gospodarczych; błędy w szacowaniu wartości wskaźników na etapie programowania interwencji, trafność doboru wskaźników do charakteru interwencji oraz zdefiniowanych priorytetów rozwojowych, stopień w jakim wskaźniki odzwierciedlają efekty odpowiadające postawionym przed interwencją celom. Jakie podjęto do tej pory środki zaradcze, aby poprawić poziom wdrożenia Programu, i czy przyniosły one pożądany efekt? Jakie działania należy podjąć, aby osiągnąć założone wartości docelowe wskaźników (w kontekście art Rozporządzenia ogólnego)? Jakie są propozycje modyfikacji wartości docelowych wskaźników, alokacji, harmonogramu konkursów itp., aby efektywnie wykorzystać środki z Rezerwy Wykonania? W jaki sposób można zmniejszyć ryzyko dotychczasowych niepowodzeń w realizacji Ram Wykonania? Strona 5 z 10

6 2. Analiza diagnozy społeczno- gospodarczej województwa zawartej w Programie pod kątem zmian i aktualności potrzeb rozwojowych. Jak zmieniła się sytuacja społeczno-gospodarcza województwa na podstawie diagnozy wyzwań, potrzeb i potencjałów sektorów regionu zawartej w RPO WM ? Jaki jest wkład RPO WM w realizację Strategii na rzecz inteligentnego i zrównoważonego rozwoju sprzyjającego włączeniu społecznemu (Europa 2020)? Jaki jest wkład RPO WM w realizację Strategii Rozwoju Województwa Mazowieckiego do 2030 oraz Regionalnej Strategii Innowacji dla Mazowsza do 2020 roku? Jak zmieniły się wartości strategicznych wskaźników rezultatu pochodzących ze statystyki publicznej? Czy zidentyfikowane w Programie potrzeby rozwojowe są nadal aktualne? Czy pojawiły się nowe obszary wymagające wsparcia? 3. Weryfikacja przyjętej logiki interwencji RPO WM Czy zaproponowana w ramach programu operacyjnego logika interwencji jest nadal aktualna i skutecznie przyczyni się do realizacji założonych celów rozwojowych? Czy przyjęte cele RPO WM pozostają aktualne na obecnym etapie realizacji Programu? Czy przyjęte sposoby wdrażania interwencji pozwolą na osiągnięcie celów końcowych RPO WM ? Czy doszło do kluczowych zmian w warunkach zewnętrznych (czynniki społeczne, gospodarcze, środowiskowe), które oddziałują na proces realizowania interwencji? W jakim stopniu założenia/logika interwencji jest spójna względem innych podejmowanych działań i trafna względem obecnych warunków społeczno-gospodarczych? Czy przyjęte wskaźniki produktu i rezultatu w ramach RPO WM są prawidłowo dobrane, realnie oszacowane, zarówno na połowę okresu realizacji Programu jak i na jego zakończenie? Czy zaplanowana alokacja finansowa dla realizacji RPO WM oraz jej podział na osie priorytetowe i działania jest trafna i pozwoli na osiągnięcie zaplanowanych celów Programu? W jakim stopniu zwiększenie/zmniejszenie alokacji na Osi przyczyni się do zmiany osiąganych efektów? Czy wartość środków finansowych przeznaczonych na poszczególne kategorie interwencji jest wystarczająca do realizacji wszystkich zobowiązań wskaźnikowych nalata ? W jakim stopniu zwiększenie/zmniejszenie alokacji na Osi przyczyni się do zmiany osiąganych efektów? Czy i w jakim zakresie realizowane projekty przyczyniają się do uzyskania efektów założonych na etapie programowania? 4. Analiza obciążeń administracyjnych dla beneficjentów oraz systemu instytucjonalnego realizacji Programu. Czy zostały zrealizowane założenia zmniejszenia obciążeń administracyjnych dla beneficjentów zapisane w RPO WM ? Których obciążeń nie udało się zmniejszyć/ zniwelować i dlaczego? Czy jest szansa na wprowadzenie tych zmian przed zakończeniem wdrażania Programu? Które obciążenia administracyjne sprawiają największą trudność dla beneficjentów? Jakie jest źródło tych obciążeń? Czy ich zmniejszenie mogło mieć lub może mieć w przyszłości wpływ na skuteczność realizacji założonych celów pośrednich i końcowych? Czy i w jakim stopniu system instytucjonalny skutecznie wspiera realizację interwencji, czy potrzebne są dostosowania w zakresie wsparcia instytucjonalnego w tym stworzenie dodatkowych regulacji wspierających system realizacji polityki spójności? W jakim stopniu działania związane z zarządzaniem interwencją wpływały na skuteczność i efektywność udzielanego wsparcia? Czy należy wdrożyć dodatkowe rozwiązania instytucjonalne w celu zapewnienia większej skuteczności i efektywności realizacji interwencji? Strona 6 z 10

7 Czy i w jakim stopniu system instytucjonalny skutecznie wspiera realizację interwencji, czy potrzebne są dostosowania w zakresie wsparcia instytucjonalnego w tym stworzenie dodatkowych regulacji wspierających system realizacji polityki spójności? W jakim stopniu działania związane z zarządzaniem interwencją wpływały na skuteczność i efektywność udzielanego wsparcia? (tj. harmonogram realizacji projektów, proces wyboru i działania informacyjno - promocyjne) 5. Analiza polityk horyzontalnych Czy i w jakim zakresie RPO WM uwzględnia i przyczynia się do realizacji celów polityk horyzontalnych (zrównoważonego rozwoju, równości szans i niedyskryminacji, w tym dostępności dla osób z niepełnosprawnościami oraz równości szans kobiet i mężczyzn)? Jakie są efekty realizacji zasad horyzontalnych w ramach Programu? Jakie ciekawe rozwiązania w tym zakresie można zidentyfikować poprzez wskazanie dobrych praktyk? Czy pojawiają się bariery wdrażania zasad horyzontalnych w RPO WM ? Jakie to są bariery? Jak je zniwelować? Powyższy katalog pytań badawczych jest otwarty i może zostać poszerzony w ofercie składanej przez Wykonawcę o dodatkowe pytania niezadane przez Zamawiającego, a dotyczące innych kwestii, istotnych z punktu widzenia celów przedmiotowego badania. Ponadto, Wykonawca może przedstawić pytania rozwijające/ uszczegóławiające postawione problemy badawcze, ale nie będą one oceniane na etapie wyboru ofert. Zadaniem Wykonawcy będzie też powiązanie pytań badawczych z celami szczegółowymi oraz kryteriami ewaluacyjnymi. METODOLOGIA Od Wykonawcy oczekuje się przedstawienia spójnej koncepcji realizacji badania. Wykonawca, przeprowadzając badanie, będzie korzystał z różnorodnych metod i technik badawczych przy zachowaniu zasady triangulacji metod. Zaproponowana do badania metodologia powinna obejmować następujące minimum: 1. Analizę podstawowych dokumentów źródłowych (Desk research); 2. Analizy ekonometryczne i statystyczne pozwalające określić dynamikę postępu rzeczowego interwencji oraz ocenić możliwości osiągnięcia w 2023 r. zaplanowanych wartości wskaźników docelowych. Ponadto pozwalające wykonać analizy wrażliwości w zakresie wpływu czynników związanych ze zmianą wysokości finansowania (lub innych czynników) na wyniki możliwe do osiągnięcia w ramach danej Osi. 3. Wywiady indywidualne IDI pogłębione rozmowy z przedstawicielami następujących instytucji/gremiów: przedstawiciele IZ (minimum 5) i IP (minimum 4), członkowie KM i eksperci oceniający wnioski; 4. Wywiady CATI z Beneficjentami RPO WM na lata na reprezentatywnej próbie badawczej; 5. Wywiady CAWI/CATI z Wnioskodawcami, którzy złożyli wnioski o dofinansowanie w ramach RPO WM na lata na reprezentatywnej próbie badawczej. 6. Warsztat ewaluacyjny z adresatami rekomendacji. Zakłada się, że Wykonawca w ofercie na realizację przedmiotowego badania przedstawi propozycję doboru próby badawczej, wielkość próby i opis jej struktury. Metodologia badania ewaluacyjnego zaproponowana w ofercie powinna być adekwatna do przedstawionych obszarów badawczych w SOPZ. Jej wybór będzie miał istotny wpływ na wartość analizy i uzyskane wyniki. Dopuszcza się możliwość zaproponowania przez Wykonawcę dodatkowych metod/technik badawczych ze wskazaniem danych niezbędnych do ich przeprowadzenia z zastrzeżeniem, że zaproponowane metody/techniki są użyteczne i adekwatne z punktu widzenia celu badania oraz obszarów problemowych. Na etapie raportu metodologicznego Wykonawca zobowiązany będzie opracować projekt wszystkich proponowanych narzędzi badawczych, ewentualnych zestawień i schematów badawczych. Projekt każdego narzędzia badawczego będzie mógł podlegać modyfikacjom i/lub uzupełnieniom przed jego zastosowaniem. Ostateczna wersja narzędzia wymagała będzie akceptacji Zamawiającego. W realizacji badania Wykonawca będzie współpracował z Zamawiającym. WYMAGANIA ODNOŚNIE RAPORTOWANIA Głównym produktem badania jest przedstawienie przez Wykonawcę Raportu końcowego z ewaluacji, realizującego cel główny ewaluacji oraz zawierającego odpowiedzi na pytania badawcze postawione w sekcji,,zakres przedmiotu zamówienia (oraz ewentualnie dodatkowe wskazane w ofercie i na etapie konsultacji metodologii badania). Zakłada się, że w trakcie realizacji badania Wykonawca przedstawi Zamawiającemu łącznie następujące raporty: 1. Raport metodologiczny, który będzie zawierał następujące elementy: Strona 7 z 10

8 a) zidentyfikowane podstawowe obszary problemowe; b) zbudowane narzędzia badawcze oraz doprecyzowanie zasad doboru prób badawczych; projekt każdego narzędzia badawczego będzie mógł podlegać modyfikacjom i/lub uzupełnieniom przed jego zastosowaniem. Ostateczna wersja narzędzia wymagała będzie akceptacji Zamawiającego; c) plan analizy danych; d) szczegółowy harmonogram badania. 2. Raport końcowy z realizacji badania. Wymaga się od Wykonawcy, aby raport końcowy z realizacji badania został przedłożony w dwóch egzemplarzach wydruku dwustronnego w kolorze oraz dwóch egzemplarzach na nośniku CD/DVD i zawierał co najmniej następujące elementy: a) streszczenie raportu nie więcej niż 6 stron A4, mogące stanowić samodzielny dokument (dodatkowo przetłumaczone na język angielski); b) spis treści; c) wprowadzenie zawierające opis przedmiotu badania, głównych założeń i celów badania, opis okoliczności towarzyszących badaniu, d) charakterystyka zbioru danych badania, e) analiza i wnioski wraz z wyróżnionymi rekomendacjami (dokonany w oparciu o pytania badawcze); f) aneksy zawierające m.in. narzędzia badawcze, transkrypcje, zestawienia danych utworzonych przez Wykonawcę; g) bibliografię. Ponadto, raport końcowy musi : a) być zgodny z zapisami Szczegółowego Opisu Przedmiotu Zamówienia, ofertą Wykonawcy oraz raportem metodologicznym, b) być sporządzony w języku polskim (oprócz streszczenia raportu, które sporządzone zostanie w języku polskim i angielskim), c) być sporządzony poprawnie pod względem stylistycznym i ortograficznym, d) zawierać informacje i dane wolne od błędów rzeczowych i logicznych, e) być uporządkowany pod względem wizualnym formatowanie tekstu oraz rozwiązania graficzne zastosowane w sposób jednolity wpływając na czytelność i przejrzystość raportu, f) zawierać optymalną objętość (liczba stron) raportu końcowego i streszczenia wyniki badania muszą zostać przedstawione w sposób przystępny dla jego odbiorców, g) zawierać streszczenie raportu w sposób syntetyczny przedstawiający cel badania, jego zakres, zastosowaną metodologię oraz najważniejsze wyniki i rekomendacje wypływające z badania ewaluacyjnego, h) nie stanowić jedynie zreferowania (streszczenia) uzyskanych danych i odpowiedzi respondentów, i) w sposób rzetelny przedstawiać wyniki badania tzn. przedstawiać analizę i interpretację danych zebranych w ramach wszystkich zastosowanych metod badawczych (metod zbierania danych), j) w sposób wyczerpujący przedstawiać wszystkie oczekiwane wyniki badania i odpowiedzi na wszystkie postawione pytania badawcze, k) zawierać sformułowane wnioski poparte przedstawionymi wynikami badania, stanowiącymi rezultat analizy i interpretacji wyników badania przeprowadzonej przez zespół badawczy, l) zawierać rekomendacje do wszystkich istotnych sformułowanych wniosków, m) przedstawiać rekomendacje wynikające w sposób logiczny z wniosków, n) zawierać rekomendacje sformułowane w sposób precyzyjny oraz umożliwiający ich bezpośrednie zastosowanie w praktyce tzn. dokładnie i szczegółowo przedstawione do wykonania zadania mające służyć realizacji rekomendacji. Rekomendacje muszą zostać przedstawione w formie pozwalającej na bezpośrednie operacyjne zastosowanie np..w postaci konkretnych wniosków dotyczących programowania przyszłej perspektywy dla regionu. Wykonawca dokona priorytetyzacji rekomendacji. Wnioski i rekomendacje powinny zostać przedstawione również w języku angielskim. o) zawierać tabelę rekomendacji zgodną z poniżej przedstawionym wzorem: Strona 8 z 10

9 L.p. a) treść wniosku (wraz ze wskazaniem strony w raporcie) b) Treść rekomendacji (wraz ze wskazaniem strony w raporcie) c) Adresat rekomendacji (Instytucja odpowiedzialna za wdrożenie rekomendacji) d) Sposób wdrożenia (syntetyczne przedstawienie sposobu wdrożenia rekomendacji) e) termin wdrożenia rekomendacji f) Klasa rekomendacji W przypadku trudności, Zamawiający będzie udzielał pomocy Wykonawcy w kontakcie z badanymi instytucjami, w pozyskaniu dokumentów do badania oraz uszczegółowieniu sposobu wdrożenia rekomendacji przez jego adresata. Wykonawca będzie współpracował z Zamawiającymi innymi zainteresowanymi podmiotami. Zarazem zachowa on swoją niezależność i będzie miał na uwadze jak najpełniejszą realizację celów ewaluacji oraz dążenie do poprawnych metodologicznie, prawdziwych i uzasadnionych założeń problemowych, zgodnie ze standardami naukowymi i potrzebami informacyjnymi odbiorców. Dodatkowo, raport w wersji końcowej powinien zostać wydrukowany (oprawiony) w 2 egzemplarzach. Wydruk powinien mieć następujące parametry: a) format A4, b) kolorystyka: okładka 4/0, środek 4/4; c) papier okładki: kreda matowa od 250 g, papier środka: od 80g d) oprawa miękka klejona. Wykonawca będzie miał za zadanie przedstawienie projektu/ projektów okładki w kolorystyce Regionalnego Programu Operacyjnego Województwa Mazowieckiego Wykonawca zobowiązany jest do umieszczenia na raportach, wszystkich zastosowanych narzędziach badawczych oraz slajdach prezentacji multimedialnej wymogów wizualizacji wynikających ze sposobu finansowania projektu w ramach Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata , w tym co najmniej na stronie tytułowej i końcowej nazwę i logo Zamawiającego. Przy wykonywaniu przedmiotu zamówienia Wykonawca zobowiązany jest uwzględniać uwagi Zamawiającego. HARMONOGRAM PRAC Wykonawca zobowiązany jest do stałej współpracy z Zamawiającym. Wykonawca na żądanie Zamawiającego jest zobowiązany do przedstawienia bieżących wyników prac w siedzibie Zamawiającego (Warszawa). Wykonawca będzie informował Zamawiającego na bieżąco o stanie badania i ewentualnych problemach. W tym celu Wykonawca będzie sporządzał elektronicznie, co 2 tygodnie, roboczą informację o postępie realizacji badania, w tym z realizacji narzędzi badawczych. Badanie będzie realizowane w następujących etapach: 1) Opracowanie raportu metodologicznego. 2) Opracowanie raportu końcowego. 3) Przygotowanie broszury i prezentacji w PowerPoint. 4) Prezentacja wyników badań. Etap 1 Wykonawca przygotuje raport metodologiczny, którego projekt w formie elektronicznej, zostanie przekazany Zamawiającemu w terminie 3 tygodni od daty zawarcia umowy. Następnie raport zostanie skonsultowany z Zamawiającym, a Wykonawca przygotuje jego ostateczną wersję i przekaże do Zamawiającego w formie elektronicznej 5 tygodni od daty zawarcia umowy. Zatwierdzona przez Zamawiającego ostateczna wersja raportu metodologicznego zostanie przekazana w wersji papierowej w 2 egzemplarzach wraz z płytami CD. Raport powinien być podpisany i opieczętowany przez kierownika badania lub inną uprawnioną osobę wraz z pieczątką nagłówkową Wykonawcy. Etap 2 Strona 9 z 10

10 Raport końcowy, którego projekt w formie elektronicznej zostanie przekazany do Zamawiającego w terminie 12 tygodni od daty zawarcia umowy. Projekt raportu końcowego zostanie skonsultowany, a następnie Wykonawca przygotuje ostateczną wersję raportu. Ostateczna wersja raportu końcowego zostanie przesłana do Zamawiającego w terminie 15 tygodni od daty zawarcia umowy. Po zatwierdzeniu przez Zamawiającego Raportu końcowego, zostanie przesłana wersja papierowa w 2 egzemplarzach wraz z płytami CD. Raport końcowy powinien być podpisany i opieczętowany przez kierownika badania lub inną uprawnioną osobę wraz z pieczątką nagłówkową Wykonawcy. Etap 3 Wykonawca przygotuje prezentację w PowerPoint zawierającą informacje o celu badania, metodologii i przebiegu badania oraz wnioskach i rekomendacjach. Wykonawca po zatwierdzeniu raportu końcowego prześle prezentację do akceptacji Zamawiającego w formie elektronicznej. Ponadto Wykonawca przygotuje broszurę informacyjną. Prezentacja powinna zostać przekazana w formie elektronicznej i na płycie CD, natomiast broszura w pdf i wersji edytowalnej w formie elektronicznej i papierowej. Etap 4 Wykonawca w ciągu 2 tygodni od ukończenia ewaluacji przeprowadzi 2 prezentacje wyników badania ewaluacyjnego w terminie uzgodnionym z Zamawiającym. (prezentacja zostanie przeprowadzona na terenie województwa mazowieckiego). Wykonawca na spotkania przygotuje prezentacje w formacie PowerPoint, przy czym na każde spotkanie prezentacja powinna być dostosowana do odbiorców. Jednocześnie Wykonawca powinien przygotować materiały informacyjne dla uczestników spotkań (wydruk prezentacji, broszury oraz ewentualne zestawienia danych), po uzgodnieniu z Zamawiającym. Badanie ewaluacyjne powinno zostać dobrze zaplanowane, tak aby jego realizacja przebiegała sprawnie i terminowo. Wykonawca powinien zaproponować harmonogram prac nad badaniem, w którym zarezerwuje odpowiedni czas na konsultacje poszczególnych etapów badania z Zamawiającym. Całość prac zostanie zamknięta w terminie nie dłuższym niż 17 tygodni od dnia podpisania umowy. UWAGA: Wszystkie produkty badania muszą być zgodne ze standardami realizacji przedsięwzięć finansowanych ze środków UE, pod kątem dostępności dla osób z niepełnosprawnościami stanowiącymi załącznik do Wytycznych w zakresie realizacji zasady równości szans i niedyskryminacji, w tym dostępności dla osób z niepełnosprawnościami oraz zasady równości szans kobiet i mężczyzn w ramach funduszy unijnych na lata FINANSOWANIE BADANIA EWALUACYJNEGO Projekt będzie finansowany ze środków Unii Europejskiej przeznaczonych na Regionalny Program Operacyjny Województwa Mazowieckiego , w ramach Osi priorytetowej 11Pomoc Techniczna. Wykonawca badania ewaluacyjnego zostanie wybrany w wyniku udzielenia zamówienia publicznego w trybie przetargu nieograniczonego zgodnie z przepisami ustawy Prawo Zamówień Publicznych (Dz.U. z 2017 roku poz z późn. zm. Koszt wykonania badania obejmuje: przygotowanie narzędzi badawczych, przeprowadzenie badania, sporządzenie raportu metodologicznego, wstępnego i końcowego, przygotowanie prezentacji multimedialnych (PowerPoint), wydruk raportu końcowego, wydruk broszur informacyjnych, wytłoczenie płyt z raportem końcowym, przekazanie praw autorskich na rzecz Zamawiające Strona 10 z 10