Szczegółowy opis Zadania Badanie ewaluacyjne - Analiza systemu wskaźników Programu Operacyjnego Infrastruktura i Środowisko (POIiŚ)

Transkrypt

1 Załącznik nr 3 do umowy /BDG-V a-KB/08/ Szczegółowy opis Zadania Badanie ewaluacyjne - Analiza systemu wskaźników Programu Operacyjnego Infrastruktura i Środowisko (POIiŚ) A. Opis przedmiotu zamówienia I. Dotychczasowe załoŝenia dotyczące systemu wskaźników przyjęte przez Instytucję Zarządzającą (IZ) W ramach POIiŚ planuje się stworzenie systemu monitorowania i sprawozdawczości gromadzącego i agregującego podstawowe informacje o projektach, jak równieŝ wskaźniki produktu oraz rezultatu odzwierciedlające postęp we wdraŝaniu poszczególnych działań, osi priorytetowych oraz programu. W celu umoŝliwienia agregowania informacji z poziomu projektów na wyŝsze poziomy opracowany został projekt Katalogu wskaźników obowiązkowych obligatoryjnych dla danych typów projektów oraz dla wszystkich projektów wskaźników dotyczących tworzenia miejsc pracy. Katalog jest oparty głównie na wskaźnikach zapisanych w Załączniku nr 5 do Szczegółowego opisu priorytetów PO Infrastruktura i Środowisko dostępnego na stronie: 0E /42867/Zalaczniknr5Tabelawskaznikowproduktuirezultatu2501.pdf Wskaźniki z tego Katalogu będą gromadzone w następujący sposób: a) w momencie podpisania umowy o dofinansowanie - bazowe oraz docelowe wartości wskaźników, b) w trakcie realizacji projektu na podstawie wniosków o płatność beneficjentów - rzeczywiście osiągnięte wartości wskaźników oraz aktualizacje zakładanych wartości docelowych, c) zgodnie z raportem końcowym - rzeczywiście osiągnięte wartości wskaźników produktu oraz potencjalne wskaźniki rezultatu (jak np. moŝliwości techniczne urządzeń spalania odpadów, aparatury diagnostycznej, produkcji energii, potencjalna przepustowość portów, dróg), d) do 5 lat po zakończeniu realizacji projektu na podstawie raportów z osiągniętych efektów przesyłanych przez beneficjentów - dane dotyczące 1

2 faktycznego wykorzystania urządzeń, infrastruktury, etc., tj. dane dotyczące rzeczywistych rezultatów oraz, tam gdzie to moŝliwie, oddziaływań. II. Zakres zadań Wykonawcy Moduł Pytanie ewaluacyjne/zadanie Produkt I. Analiza systemu wskaźników POIiŚ Pytania obowiązkowe 1 I. Czy katalog wskaźników POIiŚ (projekt A. Propozycja: a) zmian, Katalogu wskaźników obowiązkowych b) wykreśleń, gromadzonych na poziomie projektów oraz c) dodatkowych wskaźników (zwłaszcza w wskaźniki dostępne ze statystyki ujęte w zakresie wskaźników oddziaływania, zapisach POIiŚ na poziomie horyzontalnym monitorowania wpływu na polityki oraz dla poszczególnych osi priorytetowych) horyzontalne). jest trafny (rodzaje projektów) i wyczerpujący * Ze względu na poziom zatwierdzania (nie w 100%, ale w sposób racjonalny, np. w dokumentu, na poziomie POIiŚ dopuszczalne odniesieniu do załoŝonych celów oraz jest proponowanie zmian wyłącznie w alokacji)? przypadku, gdy w opinii ewaluatora są one II. Czy z punktu widzenia potrzeb niezbędne do prawidłowego funkcjonowania informacyjnych, monitoringowych oraz systemu wskaźników. ewaluacyjnych instytucji (Instytucji B. Materiały szkoleniowe dla wszystkich działań Zarządzającej, Instytucji Pośredniczących) (dla beneficjentów) oraz oddzielnie dla całego katalog wskaźników POIiŚ jest POIiŚ (dla instytucji) nt. katalogu wskaźników wystarczający? POIiŚ. III. Czy poszczególne wskaźniki spełniają następujące warunki: 1. zmieniają wartość w wyniku interwencji? 2. nie dopuszczają moŝliwości demonstrowania wyłącznie pozornych zmian lub zmian wynikających z manipulacji? 3. odzwierciedlają istotną część zagadnienia? 4. czy moŝna intuicyjnie ocenić kierunek i skalę zmian? 5. czy są mierzalne? 6. czy koszt (środki finansowe, czas, kadry, moŝliwości techniczne) ich pozyskania/ mierzenia jest akceptowalny przez wszystkie instytucje systemu, beneficjentów oraz społeczeństwo? 1 Wykonawca moŝe zaproponować dodatkowe uzasadnione pytania ewaluacyjne maksymalnie 2. 2

3 Moduł Pytanie ewaluacyjne/zadanie Produkt III. Opis II. Benchmarki, grupy kontrolne 1 Identyfikacja istniejących, łatwych do Ad 1 Tabela (4 kolumny: nazwa wskaźnika gromadzenia benchmarków. POIiŚ wobec którego proponowany wskaźnik 2 Identyfikacja moŝliwości prowadzenia badań umoŝliwia porównanie, nazwa proponowanego przy pomocy wskaźników metodą wskaźnika (benchmarku), definicja; źródło eksperymentalną. pozyskania danych/metodologia pomiaru; 3 Identyfikacja grup porównawczych i/lub instytucja systemu POIiŚ, która powinna być kontrolnych (zwł. w IV, V, VII, IX osi priorytetowej). odpowiedzialna za gromadzenie.) Ad 2 Nazwa wskaźnika oraz opis metody. Ad 3 Opis grupy (wskazanie podobieństwa konkretne cechy), moŝliwość dotarcia do danych, wskazanie warunków, jakie muszą zostać spełnione (równieŝ w czasie), aby moŝliwe było porównanie z grupą kontrolną. Opracowanie: Katalog wskaźników obowiązkowych w formie 1. nazwy, jednostki (dla wskaźników podręcznika dla beneficjentów oraz instytucji zmienionych, dodanych); systemu POIiŚ. 2. definicji (dla wszystkich); Opracowanie, skład i łamanie, korekta przed 3. źródło danych (jeśli ze źródeł statystycznych wydrukiem oraz wydruk Katalogu w formie lub innych ogólnodostępnych)/metodologia segregatora z wymiennymi kartkami naleŝy do pomiaru (dla wskaźników z poziomu Wykonawcy. projektów). *Metodologia pomiaru powinna mieścić się na ok. połowie strony, być zrozumiała dla beneficjenta, uwzględniać praktykę stosowaną przez beneficjentów (np. raportowanie przez InŜyniera Kontraktu, etc,) oraz zapewniać uproszczony opis techniczny umoŝliwiający porównanie wartości wskaźników pomiędzy projektami. 3

4 Moduł Pytanie ewaluacyjne/zadanie Produkt V. Oszacowanie liczby IV. Identyfikacja wskaźników alertowych tworzonych miejsc pracy 1. Odchylenia których wskaźników od Ad 1 Lista wskaźników załoŝonych celów powinny być monitorowane rocznie lub chociaŝ w środku okresu programowania (w zaleŝności od ostatecznej decyzji w zakresie monitorowania), aby moŝliwa była identyfikacja zagroŝeń w realizacji celów osi priorytetowych? Lista nie powinna być zbyt obszerna. 2. Jaki naleŝy przyjąć rząd odchyleń (wyraŝony Ad 2 i 3 Tabela (5 kolumn: nr osi priorytetowej, procentowo) od załoŝonych wartości numer działania, nazwa wskaźnika, %, jeśli % wskaźników (zidentyfikowanych zgodnie z powinien zmienić się w latach % dla danych punktem powyŝej), który wskazuje lat) zagroŝenie? 3. Jeśli monitorowanie będzie coroczne, czy rząd odchyleń (określony zgodnie z punktem powyŝej) jest niezmienny w czasie realizacji POIiŚ, tj ? Oszacowanie dla kaŝdego typu projektu (lub Ad 1 i 2 Tabela z typami projektów oraz liczbą jeśli typy projektów są zbliŝone dla działania) tworzonych miejsc pracy w fazie realizacyjnej wymienionego w Szczegółowym opisie oraz operacyjnej, jak równieŝ ze wskazaniem priorytetów dla POIiŚ: ich szacunkowego podziału ze względu na płeć 1. średniej liczby tworzonych miejsc pracy w zatrudnianych osób. podziale na fazę realizacyjną i operacyjną; 2. podziału procentowego ww. miejsc pracy wg kryterium płci osób zatrudnianych. Szczegółowe wymogi odnośnie produktów modułów I i III (dla pozostałych modułów wszystkie wymogi konieczne zostały opisane w tabeli powyŝej): Moduł I A - W formie tabel z POIiŚ i/lub Szczegółowego opisu osi priorytetowych i/lub Katalogu wskaźników obowiązkowych w trybie rejestruj zmiany. B - W formie prezentacji PowerPoint (na szablonie dostarczonym przez Zamawiającego) w wersji elektronicznej dla POIiŚ oraz oddzielnie dla kaŝdego działania, jak i matryc/plansz w wersji wydrukowanej (format min. 50/100 cm, do zwijania, błysk, lakier, kolor 4+4, usztywnione krawędzie dolne i górne, mocowanie 4

5 do zawieszenia na dłuŝszym boku; dla POIiŚ 5 szt. wydruku, dla kaŝdego działania 5 szt. Wydruku) i w wersji elektronicznej (Excel). Materiały drukowane i elektroniczne muszą zawierać logotyp POIiŚ, MRR, UE, jak i zapis o finansowaniu przez Unię Europejską ze środków konkretnego funduszu oraz przez budŝet państwa w ramach pomocy technicznej Programu Operacyjnego Infrastruktura i Środowisko zgodnie ze wzorami przekazanymi przez Zamawiającego oraz Księgą znaku Narodowej Strategii Spójności zamieszczoną na stronie: Dodatkowo, prezentacja musi być przygotowana na wzorze przekazanym przez Zamawiającego. Moduł III Wymagania szczegółowe wobec podręcznika: 1. segregator a) format A-4; b) grzbiet segregatora pełny (szerokość dostosowana do liczby stron w danej wersji liczba stron poszczególnych wersji została podany w pkt. 3); c) na grzbiecie otwór na palec; d) 2 otwory na przedniej okładce blokujące okładkę po zamknięciu; e) mechanizm dźwigniowy dwuringowy; f) obydwie części oklejone kolorową (4+4 kolory) okleiną, laminowane folią błyszczącą; g) z wklejoną kieszonką na płytę CD/DVD h) musi zawierać logotyp POIiŚ, MRR, UE oraz zapis o finansowaniu przez Unię Europejską ze środków konkretnego funduszu oraz przez budŝet państwa w ramach pomocy technicznej Programu Operacyjnego Infrastruktura i Środowisko, oznaczenie wersji oraz miejsce na 3 dodatkowe oznaczenia kolejnych wersji; 2. wymienne strony do segregatora: i) format A-4; j) papier kreda błysk; k) przedziurkowane do segregatora dwuringowego; l) drukowane dwustronnie; m) numerowane strony, miejsce na 3 dodatkowe numeracje stron z zaznaczeniem n-ru wersji podręcznika; 5

6 n) 1 wskaźnik na 1 kartce (nazwa wskaźnika; jednostka wskaźnika; rodzaj projektu; definicja oraz źródło danych/metodologia pomiaru; ew. częstotliwość pomiaru) (jeśli potrzebny druk dwustronny); 3. całość podręcznika o) zapewnienie łatwego odnajdywania danego działania w segregatorze w wersji dla POIiŚ, sektorowej oraz dla priorytetów, np. poprzez zastosowanie przekładek; p) odpowiednie strony muszą być wpięte do odpowiedniego segregatora; q) zapakowana do transportu, oznaczona na opakowaniach: nazwą wersji, numerem działania, jeśli wersja dla działań oraz liczbą egz. Nakład - wersja: a) POIiŚ (wszystkie priorytety), ok. 300 kartek 30 szt. b) sektorowa (6 sektorów), średnio 50 kartek po 20 szt. c) wersja dla priorytetów, średnio 25 kartek w sumie 850 szt.: I, II, IX, XII po 100 szt. V po 70 szt. III, IV, VI, VII, VIII, XI, XIII po 50 szt. X po 30 szt. Zamawiający dopuszcza zaproponowanie przez Wykonawcę lepszych parametrów wszystkich wyŝej wymienionych elementów (np. większej liczby kolorów, etc.). Dodatkowe zobowiązania Wykonawcy: o BieŜące spotkania z Zamawiającym; o Dwukrotna prezentacja raportu końcowego z badania. IV. Metodologia Moduł I Desk research (analiza dokumentacji) Analiza przeprowadzona przez ekspertów sektorowych Maks. 31 pogłębionych wywiadów indywidualnych (IDI) (13 osób odpowiedzialnych za monitorowanie w IP I, 11 osób odpowiedzialnych za monitorowanie w IZ, 1 osoba odpowiedzialna za ewaluację w IZ, 6 osób 6

7 odpowiedzialnych za ewaluację w IP I) lub 6 sektorowych minigrup (lub warsztatów) z ww. osobami (np. identyfikacja oczekiwań co do wskaźników poszczególnych instytucji/wydziałów; później zamiana ról próba odpowiedzi na pytanie, czy obecny katalog spełnia opisane oczekiwania) Moduł II Desk reserach Analiza przeprowadzona przez ekspertów sektorowych Moduł III Desk reserach Analiza przeprowadzona przez ekspertów sektorowych W sumie 8 IDI: po 4 IDI z przedstawicielami Generalnej Dyrekcji Dróg Krajowych i Autostrad (GDDKiA) (równieŝ biur regionalnych) oraz Polskich Kolei Państwowych Polskie Linie Kolejowe S.A. (PKP PLK S.A.) po opracowaniu merytorycznym projektu produktu z modułu III LUB 2 zogniskowane wywiady grupowe (FGI) z przedstawicielami GDDKiA oraz PKP PLK S.A. W sumie 6 FGI: 2 FGI z przedstawicielami beneficjentów Funduszu Spójności (oddzielnie z projektów wodno-ściekowych oraz odpadowych); 1 FGI z przedstawicielami Krajowego Zarządu Gospodarki Wodnej i Regionalnych Zarządów Gospodarki Wodnej; 1 FGI z przedstawicielami beneficjentów Programu Operacyjnego Wzrost Konkurencyjności Przedsiębiorstw (przedsiębiorstwa dostosowywane do wymogów środowiska); 1 FGI z przedstawicielami (potencjalnych) beneficjentów z sektora energetyki (zwł. IX oś), 1 FGI z przedstawicielami (potencjalnych) beneficjentów (np. Zintegrowanego Programu Operacyjnego Rozwoju Regionalnego) infrastruktury społecznej po opracowaniu merytorycznym projektu produktu z modułu III Moduł IV Analiza przeprowadzona przez ekspertów sektorowych Moduł V Analiza przeprowadzona przez ekspertów sektorowych Desk research (np. wnioski o dofinansowanie projektów Funduszu Spójności (ok. 100) dostępne w siedzibie Ministerstwa Rozwoju Regionalnego) 7

8 1 z pytań podczas FGI wymienionych w module III moŝe dotyczyć kwestii tworzonych miejsc pracy. V. Harmonogram Badanie powinno się zakończyć w terminie 95 dni kalendarzowych od podpisania umowy. Rozliczeniu podlega termin ostateczny. Terminy pośrednie opisane poniŝej mogą ulec zmianie za zgodą obu stron (zgoda powinna zostać wyraŝona minimum w mailu przez osoby wskazane w umowie jako osoby do kontaktu). Terminy pośrednie: 1. Raport metodologiczny zawierający wyłącznie scenariusze IDI oraz FGI, wykaz dokumentów do analizy, opis metod eksperckich (ew. scenariusze, ankiety, etc.). Projekt raportu metodologicznego - w terminie 14 dni kalendarzowych od 2. Produkty z modułu I Projekt produktu I.A - w terminie 30 dni kalendarzowych od podpisania umowy. Ostateczna wersja produktu I.A w terminie 45 dni kalendarzowych od Projekt produktu I.B w terminie 75 dni kalendarzowych od podpisania umowy. Ostateczna wersja produktu I.B - w terminie 85 dni kalendarzowych od 3. Produkt z modułu II Projekt produktu II w terminie 75 dni kalendarzowych od Ostateczna wersja produktu II - w terminie 85 dni kalendarzowych od 4. Produkt z modułu III Projekt merytoryczny produktu III w terminie 60 dni kalendarzowych od Ostateczna wersja merytoryczna produktu III - w terminie 75 dni kalendarzowych od 8

9 Projekt graficzny produktu III w terminie 80 dni kalendarzowych od Ostateczna wersja graficzna produktu III - w terminie 85 dni kalendarzowych od Wydruk produktu III - w terminie 90 dni kalendarzowych od Produkt III obowiązkowo podlega akceptacji merytorycznej Zamawiającego (pomimo zaleceń sformułowanych przez ewaluatora w ramach modułu I). Akceptacji wymaga równieŝ projekt graficzny produktu III. 5. Produkt z modułu IV Projekt produktu IV.1 w terminie 60 dni kalendarzowych od podpisania umowy. Ostateczna wersja produktu IV.1 - w terminie 75 dni kalendarzowych od Projekt produktu IV.2 i IV.3 w terminie 75 dni kalendarzowych od podpisania umowy. Ostateczna wersja produktu IV.2 i IV.3 - w terminie 85 dni kalendarzowych od 6. Produkt z modułu V Projekt produktu V w terminie w terminie 75 dni kalendarzowych od Ostateczna wersja produktu V - w terminie 85 dni kalendarzowych od 7. Raport końcowy Projekt raportu końcowego w terminie 75 dni kalendarzowych od podpisania umowy. Ostateczna wersja raportu końcowego - w terminie 85 dni kalendarzowych od 8. Dwukrotna prezentacja raportu końcowego z badania w terminie 95 dni kalendarzowych od podpisania umowy 9

10 VI. Wymagania wobec raportu końcowego Raport musi zawierać: Produkt A z modułu I Produkty 1, 2 i 3 z modułu II Produkty 1, 2 i 3 z modułu IV Produkt z modułu V. Raport musi zawierać logotyp POIiŚ, MRR, UE, jak i zapis o finansowaniu przez Unię Europejską ze środków konkretnego funduszu oraz przez budŝet państwa w ramach pomocy technicznej Programu Operacyjnego Infrastruktura i Środowisko zgodnie ze wzorami przekazanymi przez Zamawiającego oraz Księgą znaku Narodowej Strategii Spójności zamieszczoną na stronie: 10