SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA

Transkrypt

1 SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA na przeprowadzenie badania ewaluacyjnego Ocena systemu monitorowania postępu rzeczowego wraz z oszacowaniem wartości docelowych wskaźników mierzonych na poziomie projektu w ramach Regionalnego Programu Operacyjnego Województwa Lubelskiego na lata Załącznik nr 1 do SIWZ UZASADNIENIE BADANIA W perspektywie finansowej Komisja Europejska zwiększyła rolę monitorowania postępów rzeczowych i finansowych programów operacyjnych m.in. poprzez wprowadzenie rezerwy finansowej przyznawanej na podstawie wyników osiągniętych dla Ram Wykonania. Wywiązanie się z założonych wartości docelowych wskaźników wybranych do Ram Wykonania i tym samym możliwość wykorzystania rezerwy finansowej wymaga stworzenia spójnego systemu monitorowania postępów realizacji programu operacyjnego na każdym etapie jego wdrażania. W celu zagwarantowania skuteczności procesu monitorowania postępów rzeczowych programu operacyjnego zgodnie z wymogami 7. ogólnego warunku ex-ante a także zgodnie z art. 26 pkt. 5 ustawy z dnia 11 lipca 2014 r. o zasadach realizacji programów w zakresie polityki spójności finansowanych w perspektywie finansowej oraz w myśl Wytycznych w zakresie monitorowania postępu rzeczowego realizacji programów operacyjnych na lata , IZ RPO WL uznała za konieczne zlecenie niezależnemu Wykonawcy przeprowadzenia badania ewaluacyjnego dotyczącego oceny systemu monitorowania postępu rzeczowego Programu. CEL BADANIA Ocena systemu monitorowania postępu rzeczowego RPO WL pod kątem jego trafności oraz rzetelności zbieranych danych dotyczących wskaźników. CELE SZCZEGÓŁOWE 1. Ocena spójności systemu wskaźników monitorujących postęp rzeczowy na poziomie projektu wraz z oszacowaniem brakujących wartości docelowych wskaźników zawartych w Szczegółowym Opisie Osi Priorytetowych. 2. Ocena wartości docelowych wskaźników wskazanych w Szczegółowym Opisie Osi Priorytetowych w zakresie realności ich osiągnięcia oraz spójności w zakresie wytycznych horyzontalnych. 3. Opracowanie Podręcznika monitorowania wskaźników na poziomie projektu w ramach RPO WL zawierającego definicje oraz metodologie obliczania poszczególnych wskaźników mierzonych na poziomie projektu (metryki wskaźników). 4. Ocena systemu instytucjonalnego realizującego proces monitorowania postępu rzeczowego programu operacyjnego (procedury na etapie: oceny wniosków o dofinansowanie projektów, realizacji projektów oraz ich rozliczania z osiągniętych wartości docelowych wskaźników, a także na etapie monitorowania postępów osiągania Strona 1 z 10

2 wskaźników ram wykonania oraz sprawozdawania rocznego z wdrażania programu operacyjnego). 5. Oszacowanie wartości docelowej w roku 2023 wskaźnika rezultatu strategicznego Odsetek obywateli korzystających z e-administracji. Zakres przedmiotowy badania System monitorowania postępu rzeczowego RPO WL Zakres podmiotowy badania Instytucja Zarządzająca Regionalnym Programem Operacyjnym Województwa Lubelskiego na lata , Instytucje Pośredniczące Regionalnego Programu Operacyjnego Województwa Lubelskiego na lata PYTANIA EWALUACYJNE Zadaniem Wykonawcy jest odpowiedź na sformułowane poniżej pytania ewaluacyjne w ramach poszczególnych celów szczegółowych badania. Na podstawie odpowiedzi na poniższe pytania Wykonawca sformułuje wnioski i rekomendacje. 1. Czy wszystkie przewidziane do realizacji typy projektów mają przyporządkowane wskaźniki produktu i rezultatu? Jakie są rekomendowane wskaźniki uzupełniające zidentyfikowane braki? 2. Jaka jest jakość poszczególnych wskaźników na poziomie projektu? Jakie są rekomendacje podnoszące jakość tych wskaźników? 3. Czy istnieją metryki dla poszczególnych wskaźników mierzonych na poziomie projektu? Jaka jest jakość tych metryk? Jakie są rekomendacje podnoszące jakość metryczek? Jakie są rekomendowane metryki uzupełniające zidentyfikowane braki? 4. Jakie są oczekiwane brakujące wartości docelowe w roku 2023 dla wskaźników zawartych w Szczegółowym Opisie Osi Priorytetowych (SzOOP)? 5. Jakie są oczekiwane brakujące wartości pośrednie w roku 2018 wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL? 6. Czy wartości docelowe wszystkich wskaźników z poziomu programu użyte w SzOOP są spójne z zapisami Programu i realne do osiągnięcia? 7. W jakim stopniu wartości docelowe wskaźników rezultatu bezpośredniego określonych w RPO WL na podstawie Wytycznych w zakresie monitorowania postępu rzeczowego realizacji programów operacyjnych na lata są spójne z poziomem wskaźników efektywności zatrudnieniowej oraz efektywności społeczno zatrudnieniowej określonych w wytycznych horyzontalnych? 8. Czy procedury na poszczególnych etapach wdrażania RPO WL gwarantują: a. rzetelne zbieranie danych wskaźnikowych, b. skuteczne monitorowanie postępu rzeczowego RPO WL, c. informowanie o zaistnieniu ryzyka nieosiągnięcia wartości pośrednich i końcowych wskaźników Ram Wykonania? 9. Jakie są rekomendacje w zakresie istniejącego systemu monitorowania postępu rzeczowego programu poprawiające jego skuteczność, przydatność i efektywność? Strona 2 z 10

3 10. Czy dane zbierane za pomocą wskaźników z poziomu projektu pozwalają na ocenę wpływu interwencji RPO WL , w tym na poziomie wskaźników rezultatu strategicznego poszczególnych Priorytetów Inwestycyjnych? Jakie dane i z jakich źródeł powinny zostać zebrane by uzupełnić zidentyfikowane braki? 11. Jaka jest oczekiwana wartość docelowa wskaźnika rezultatu strategicznego Priorytetu Inwestycyjnego 2c (Wzmocnienie zastosowań TIK dla e-administracji, e-uczenia się, e-włączenia społecznego, e-kultury i e-zdrowia): Odsetek obywateli korzystających z e-administracji? Lista pytań badawczych jest listą otwartą, zatem może zostać rozszerzona przez Wykonawcę o dodatkowe pytania istotne w kontekście przedstawionych celów badania, co musi znaleźć odzwierciedlenie w ofercie. Kryteria ewaluacyjne: Trafność kryterium to znajdzie zastosowanie w: ocenie jakości wskaźników mierzonych na poziomie projektu, ocenie procedur monitorowania postępu rzeczowego na poszczególnych etapach wdrażania RPO WL, ocenie oszacowania brakujących wartości docelowych: wskaźników w SzOOP, wskaźnika rezultatu strategicznego Priorytetu Inwestycyjnego 2c oraz wartości pośrednich wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL. Skuteczność kryterium to znajdzie zastosowanie w: ocenie procedur monitorowania postępu rzeczowego na poszczególnych etapach wdrażania RPO WL, ocenie możliwości oszacowania wpływu interwencji RPO WL , w tym na wskaźniki rezultatu strategicznego. Efektywność kryterium to znajdzie zastosowanie w: ocenie jakości wskaźników mierzonych na poziomie projektu, ocenie procedur monitorowania postępu rzeczowego na poszczególnych etapach wdrażania RPO WL, ocenie możliwości oszacowania wpływu interwencji RPO WL , w tym na wskaźniki rezultatu strategicznego. Użyteczność kryterium to znajdzie zastosowanie w: ocenie jakości wskaźników mierzonych na poziomie projektu, ocenie procedur monitorowania postępu rzeczowego na poszczególnych etapach wdrażania RPO WL, ocenie możliwości oszacowania wpływu interwencji RPO WL , w tym na wskaźniki rezultatu strategicznego. Spójność kryterium to znajdzie zastosowanie w: Strona 3 z 10

4 ocenie listy wskaźników mierzonych na poziomie projektu, ocenie efektywności zatrudnieniowej rezultatu bezpośredniego z efektywnością zatrudnieniową/ efektywnością społeczno-zatrudnieniową określoną w wytycznych horyzontalnych, ocenie procedur monitorowania postępu rzeczowego na poszczególnych etapach wdrażania RPO WL, ocenie możliwości oszacowania wpływu interwencji RPO WL , w tym na wskaźniki rezultatu strategicznego, ocenie oszacowania brakujących wartości docelowych: wskaźników w SzOOP, wskaźnika rezultatu strategicznego Priorytetu Inwestycyjnego 2c oraz wartości pośrednich wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL. Określone powyżej kryteria ewaluacyjne są propozycją Zamawiającego i będą konsultowane z Wykonawcą na etapie opracowania raportu metodologicznego, w celu uzgodnienia lub potwierdzenia sposobu rozumienia kryteriów ewaluacyjnych przez Zamawiającego i Wykonawcę. Wskazane jest aby na etapie przygotowania oferty Wykonawca odniósł się do przedstawionych kryteriów ewaluacyjnych w szczególności w kontekście ich jednoznaczności i adekwatności do celów szczegółowych badania. SPOSÓB REALIZACJI BADANIA WYMAGANIA DOTYCZĄCE METODOLOGII BADANIA Wykonawca przedstawi w ofercie wstępną metodologię realizacji badania ewaluacyjnego. Metodologia ewaluacji zastosowana przez Wykonawcę powinna umożliwić udzielenie wyczerpujących odpowiedzi na postawione przez Zamawiającego pytania ewaluacyjne. Odrębną część opisu metodologii Wykonawca powinien poświęcić opisowi sposobu szacowania brakujących wartości: - docelowych dla wskaźników znajdujących się w Szczegółowym Opisie Osi Priorytetowych RPO WL, - pośrednich - dla wskaźników Ram Wykonania znajdujących się w Szczegółowym Opisie Osi Priorytetowych RPO WL, - docelowej dla wskaźnika rezultatu strategicznego Odsetek obywateli korzystających z e-administracji. Od Wykonawcy oczekuje się pogłębionej analizy przedmiotu badania z zastosowaniem triangulacji: metod i technik badawczych, źródeł i typów danych, technik analitycznych. Do minimum metodycznego Zamawiający zalicza: Badanie desk research na bazie listy podstawowych dokumentów. Strona 4 z 10

5 Indywidualne wywiady pogłębione: z przedstawicielami IZ RPO WL, z przedstawicielami IP RPO WL. sposób szacowania wartości docelowej wskaźnika rezultatu strategicznego Odsetek obywateli korzystających z e-administracji oparta na analizie statystycznej, sposób szacowania brakujących wartości docelowych wskaźników w SzOOP oraz wartości pośrednich wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL oparta na analizie statystycznej danych monitoringowych z systemu LSI (dla dostępnych w nim wskaźników) oraz danych pozyskanych z innych źródeł (dla wskaźników, których nie ma w systemie LSI). Zamawiający dopuszcza uwzględnienie innych, dodatkowych metod i technik badawczych, adekwatnych do udzielenia odpowiedzi na pytania badawcze i realizację celów badawczych. Wykonawca może rozszerzyć zakres użytych metod i technik zarówno o charakterze jakościowym jak i ilościowym. Dodatkowe metody i techniki wraz z uzasadnieniem ich użycia będą poddane ocenie i punktowane zgodnie z kryterium trafność dodatkowych narzędzi badawczych w kontekście celu głównego i celów szczegółowych badania (SIWZ Kryteria oceny ofert). Końcowy, szczegółowy i wyczerpujący opis sposobu realizacji badania ewaluacyjnego powinien być przedstawiony w raporcie metodologicznym, który powstanie po podpisaniu umowy. SPOSÓB PREZENTACJI WYNIKÓW BADANIA W wyniku realizacji procesu badawczego przygotowane zostaną następujące najważniejsze produkty: raport metodologiczny, cotygodniowe raporty cząstkowe z postępów prac badawczych, raport końcowy, cząstkowe i końcowe prezentacje wyników prac na spotkaniach z Zamawiającym, Podręcznik monitorowania wskaźników na poziomie projektu w ramach RPO WL zawierający metryki wszystkich wskaźników pomiaru postępów realizacji projektów spójne z formatem stanowiącym załącznik nr 5 do Wytycznych w zakresie monitorowania postępu rzeczowego realizacji programów operacyjnych na lata , Metodologia szacowania wartości docelowej wskaźnika rezultatu strategicznego Odsetek obywateli korzystających z e-administracji w formacie określonym w załączniku nr 5 do Wytycznych w zakresie monitorowania postępu rzeczowego realizacji programów operacyjnych na lata , Metodologia szacowania wartości docelowych wskaźników w SzOOP oraz wartości pośrednich wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL spójna z formatem zawartym w załącznikach nr 3 i 4 do Wytycznych w zakresie Strona 5 z 10

6 monitorowania postępu rzeczowego realizacji programów operacyjnych na lata WYMAGANIA WOBEC WYKONAWCY / WSPÓŁPRACA Z ZAMAWIAJĄCYM opracowanie szczegółowego harmonogramu uwzględniającego przyporządkowanie zadań do poszczególnych członków zespołu badawczego; przyporządkowanie zakresu prac poszczególnym ekspertom oraz gwarantującego terminowość i rzetelność wykonania badania poprzez uwzględnienie czasu na poprawki i uwagi Zamawiającego do projektu raportu końcowego; realizacja badania zgodnie z założeniami i konsultowanie z Zamawiającym wszystkich narzędzi badawczych; pozostawanie w stałym kontakcie z Zamawiającym oraz umożliwienie kontaktu ze wszystkimi członkami zespołu badawczego (spotkania odpowiednio do potrzeb minimum 3 z całym zespołem badawczym, kontakt telefoniczny, , wyznaczenie osoby do kontaktów roboczych); prezentacja wyników badania, w tym cotygodniowych raportów cząstkowych; przedstawianie bezzwłocznie na żądanie Zamawiającego elektronicznego raportu z postępu i realizacji badania; niezwłoczne informowanie o pojawiających się problemach, trudnościach i innych zagadnieniach istotnych dla realizacji badania; konsultowanie z Zamawiającym wszelkich decyzji związanych z metodologią, podejmowanych w wyniku trudności pojawiających się w trakcie realizacji badania; zapewnienie respondentom pełnej anonimowości, w celu uzyskania jak najbardziej wiarygodnych danych; przekazanie Zamawiającemu na zakończenie badania pełnej dokumentacji badania ewaluacyjnego (m.in. narzędzi badawczych, opracowanej bazy danych, transkrypcji wywiadów pogłębionych, metodologii szacowania wartości docelowych i pośrednich wskaźników, etc.). HARMONOGRAM I KOORDYNACJA PROCESU EWALUACJI Badanie zostanie zrealizowane w ciągu 60 dni kalendarzowych liczonych od dnia podpisania umowy do dnia odbioru 1 wydrukowanego egzemplarza ostatecznej wersji raportu końcowego wraz z aneksami oraz prezentacji wyników badania. W ciągu 50 dni kalendarzowych liczonych od dnia podpisania umowy Wykonawca jest zobowiązany do przekazania projektu raportu końcowego wraz z aneksami w wersji elektronicznej. Na etapie przygotowania oferty Wykonawca jest zobowiązany do uszczegółowienia harmonogramu ze wskazaniem elementów realizacji badania, które zostaną wykonane w poszczególnych tygodniach jego realizacji. Wykonawca jest zobowiązany również do przedstawienia koncepcji współpracy z Zamawiającym. PODSTAWOWE DOKUMENTY ŹRÓDŁOWE, KTÓRE POWINNY ZOSTAĆ PODDANE ANALIZIE: Strona 6 z 10

7 Dokumenty regionalne: Regionalny Program Operacyjny Województwa Lubelskiego na lata , przyjęty dnia 12 lutego 2015 r. przez Komisję Europejską decyzją wykonawczą nr C(2015)887, Szczegółowy Opis Osi Priorytetowych RPO WL , Aktualny projekt Instrukcji Wykonawczej IZ RPO, Metodologia szacowania wartości docelowych dla wskaźników wybranych do realizacji w Regionalnym Programie Operacyjnym Województwa Lubelskiego na lata , Załącznik do Regionalnego Programu Operacyjnego Województwa Lubelskiego na lata zawierający informacje dotyczące ustanowienia ram wykonania do przekazania KE, Raporty monitoringowe wygenerowane z systemu LSI. Dokumenty krajowe: Wytyczne w zakresie monitorowania postępu rzeczowego realizacji programów operacyjnych na lata , Wytyczne w zakresie sprawozdawczości na lata , Wytyczne w zakresie ewaluacji polityki spójności na lata , Wytyczne w zakresie gromadzenia i przekazywania danych w postaci elektronicznej na lata , Wytyczne w zakresie realizacji przedsięwzięć w obszarze włączenia społecznego i zwalczania ubóstwa z wykorzystaniem Europejskiego Funduszu Społecznego i Europejskiego Funduszu Rozwoju Regionalnego na lata , Wytyczne w zakresie realizacji przedsięwzięć z udziałem środków Europejskiego Funduszu Społecznego w obszarze rynku pracy na lata Dokumenty Komisji Europejskiej: Rozporządzenie Parlamentu Europejskiego i Rady (UE) Nr 1303/2013 z dnia 17 grudnia 2013 r. ustanawiające wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego oraz ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności i Europejskiego Funduszu Morskiego i Rybackiego oraz uchylające rozporządzenie Rady (WE) nr 1083/2006, Rozporządzenie Parlamentu Europejskiego i Rady (UE) Nr 1304/2013 z dnia 17 grudnia 2013 r. w sprawie Europejskiego Funduszu Społecznego i uchylające rozporządzenie Rady (WE) nr 1081/2006, Guidance document on monitoring and evaluation European Regional Development Fund and Cohesion Fund, Strona 7 z 10

8 Guidance document on monitoring and evaluation of Cohesion Policy European Social Fund, Results indicators 2014+: Report on pilot tests in 23 regions/ops across 15 ms of the EU. Powyższa lista ma charakter otwarty. W ofercie Wykonawca powinien przedstawić dodatkowe opracowania i źródła danych, które zostaną wykorzystane do analizy. FORMAT RAPORTU KOŃCOWEGO Raport powinienmieć następującą strukturę: 1. streszczenie raportu nie więcej niż 5 stron A4, 2. streszczenie raportu w języku angielskim - nie więcej niż 5 stron A4, 3. spis treści, 4. wprowadzenie, 5. ogólny opis przebiegu procesu ewaluacji, 6. syntetyczny opis zastosowanych metod badawczych, 7. opis wyników badania, 8. wnioski i rekomendacje, 9. aneksy (m.in.: narzędzia badawcze, Podręcznik monitorowania wskaźników na poziomie projektu w ramach RPO WL , Metodologia szacowania wartości docelowej wskaźnika rezultatu strategicznego Odsetek obywateli korzystających z e-administracji, Metodologia szacowania wartości docelowych wskaźników w SzOOP oraz wartości pośrednich wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL). Raport powinien zawierać tabelę rekomendacji z badania wg wzoru: Wniosek Lwynikający z pbadania (nr. strony w raporcie) Rekomendacja Propozycja sposobu realizacji rekomendacji Proponowany termin realizacji rekomendacji Adresat rekomendacji Stan docelowy / oczekiwany efekt wdrożenia rekomendacji Rekomendacje horyzontalne (wykraczające poza program będący przedmiotem ewaluacji) Rekomendacje kluczowe (dotyczące istotnych kwestii realizacji programu) Rekomendacje operacyjne (dotyczące kwestii bieżącej realizacji programu oraz usprawnień w jego obrębie) Strona 8 z 10

9 Raport końcowy powinien być wydrukowany w ilości 1 egzemplarza w szacie graficznej zaakceptowanej przez Zamawiającego, w formacie A4. Ponadto Wykonawca przekaże w liczbie po 1 egzemplarzu o szacie graficznej zaakceptowanej przez Zamawiającego, w formacie A4: Podręcznik monitorowania wskaźników na poziomie projektu w ramach RPO WL , Metodologię szacowania wartości docelowej wskaźnika rezultatu strategicznego Odsetek obywateli korzystających z e-administracji, Metodologię szacowania wartości docelowych wskaźników w SzOOP oraz wartości pośrednich wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL. W formie elektronicznej zostanie przekazany raport końcowy wraz z aneksami (format pliku.doc oraz.pdf), a także dodatkowo metodologia oszacowania wartości docelowych: wskaźników w SzOOP, wskaźnika rezultatu strategicznego Priorytetu Inwestycyjnego 2c oraz wartości pośrednich wskaźników Ram Wykonania w poszczególnych Działaniach RPO WL (format pliku.xls). FINANSOWANIE ZAMÓWIENIA Badanie będzie finansowane ze środków Unii Europejskiej z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Lubelskiego na lata W związku z powyższym produkty powstałe w wyniku badania (w szczególności raport końcowy oraz prezentacja multimedialna) powinny być opatrzone znakami Narodowej Strategii Spójności dla Programu Regionalnego, Województwa Lubelskiego oraz Unii Europejskiej z informacją o współfinansowaniu badania z Europejskiego Funduszu Rozwoju Regionalnego zgodnie z wymogami Rozporządzenia Komisji (WE) nr 1828/2006 z dnia 8 grudnia 2006 r. ustanawiającego szczegółowe zasady wykonania rozporządzenia Rady (WE) nr 1083/2006 ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności oraz rozporządzenia (WE) 1080/2006 Parlamentu Europejskiego i Rady w sprawie Europejskiego Funduszu Rozwoju Regionalnego oraz zgodnie z Wytycznymi dla Beneficjentów w zakresie informacji i promocji w ramach Regionalnego Programu Operacyjnego Województwa Lubelskiego na lata a także znakami marki Fundusze Europejskie (logotyp Program Regionalny), symbolu promocyjnego województwa lubelskiego (tzw. elka) oraz Unii Europejskiej z informacją o współfinansowaniu badania z Europejskich Funduszy Inwestycyjnych i Strukturalnych. Szczegółowa charakterystyka systemu identyfikacji wizualnej oraz zasady stosowania oznaczeń obowiązujących podmioty i beneficjentów zaangażowanych w realizację polityki spójności zawiera Księga identyfikacji wizualnej znaku marki Fundusze Europejskie i znaków programów polityki spójności na lata , stanowiąca odrębny dokument. Została ona opracowana przez Instytucję Koordynującą Umowę Partnerstwa w zakresie informacji i promocji dla wszystkich programów polityki spójności. Jest zgodna z zapisami Rozporządzenia wykonawczego Komisji (UE) nr 821/2014 z dnia 28 lipca 2014 r. ustanawiającego zasady stosowania rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 1303/2013 w zakresie szczegółowych uregulowań dotyczących transferu wkładów z programów i zarządzania nimi, przekazywania sprawozdań z wdrażania instrumentów finansowych, Strona 9 z 10

10 charakterystyki technicznej działań informacyjnych i komunikacyjnych w odniesieniu do operacji oraz systemu rejestracji i przechowywania danych. Strona 10 z 10