BDG.V.2511.110.2015.JZ Załącznik nr 1 do SIWZ (załącznik n r 3 do umowy) Szczegółowy Opis Przedmiotu Zamówienia na wykonanie badania pn. Ewaluacja bieżąca procedury naboru, oceny i wyboru projektów w Programach Współpracy INTERREG 2014-2020 I. Uzasadnienie badania Zgodnie z art. 125 ust.3 lit. a Rozporządzania Parlamentu Europejskiego i Rady (UE) Nr 1303/2013 Instytucja Zarządzająca sporządza, a po zatwierdzaniu, stosuje odpowiednie procedury i kryteria wyboru projektów, które: przyczynią się do osiągnięcia wskaźników programu oraz ich celów szczegółowych.; są niedyskryminacyjne i przejrzyste; uwzględniają ogólne zasady ustanowione w art. 7 i 8 ww. Rozporządzenia. Dokonanie oceny ww. procedury jest zasadne w początkowym okresie realizacji Programów, aby możliwe było jej udoskonalenie i dopasowanie do potrzeb. II. Cel badania Celem badania jest ocena skuteczności, trafności oraz spójności procedury naboru, oceny i wyboru projektów, w tym kryteriów wyboru projektów w Programach INTERREG Polska-Saksonia 2014-2020 (PLSN), INTERREG V-A Polska-Słowacja (PLSK), INTERREG V-A Południowy Bałtyk (PB) (zwanych dalej Programami). Wnioski i rekomendacje z badania posłużą do ulepszenia powyższej procedury. W badaniu należy uwzględnić następujące kryteria ewaluacyjne: a) Skuteczność pozwalającą ocenić, w jakim stopniu kryteria wyboru projektów oraz procedura oceny projektów przyczyniają się do wyboru projektów najlepiej realizujących cele Programu; b) Trafność pozwalającą ocenić adekwatność kryteriów wyboru projektów oraz procedury oceny projektów do celów wdrażanego Programu, w tym potrzeb grup docelowych; c) Spójność pozwalającą ocenić, czy poszczególne kryteria wyboru projektów oraz elementy procedury oceny projektów są wobec siebie komplementarne i łączą się w logiczną całość. III. Zakres badania Badanie będzie polegać na ocenie procedury naboru, oceny i wyboru projektów, w tym kryteriów wyboru projektów regularnych, flagowych oraz mikroprojektów (zwanych dalej projektami) w Programach (zgodnie z przyjętymi w programach regulacjami). Badaniu podlegać będzie również procedura skargowa w odniesieniu do ww. procesów. W ramach badania powinny zostać ustalone rzeczywiste efekty zastosowania ww. procedury, zweryfikowana jej poprawność i funkcjonalność, jak również spójność, skuteczność oraz trafność sformułowanych kryteriów wyboru projektów w odniesieniu do celów każdego Programu/Priorytetu/celu szczegółowego. Ważnym elementem badania będzie również ocena transparentności procedury i kryteriów. W ramach badania należy udzielić odpowiedzi na przedstawione poniższej pytania ewaluacyjne w odniesieniu do poszczególnych Programów. Odpowiedzi należy uzasadnić. Powinny one uwzględniać obowiązujący stan prawny (unijny i krajowy w odniesieniu do państw uczestniczących w danym programie), mający wpływ na procedurę oceny i kryteria wyboru projektów. W przypadku odpowiedzi negatywnej dodatkowo należy podać propozycje możliwych rozwiązań, konkretnych zmian w dokumentach bądź procedurach. Strona 1 z 7
1. Analiza systemu naboru, oceny oraz wyboru projektów a) Czy sposób dotarcia z informacją o naborach do potencjalnych wnioskodawców jest skuteczny? b) Czy informacje o naborach sformułowano w sposób zrozumiały, jednoznaczny, i kompletny? c) Czy nabory zostały prawidłowo zaplanowane w kontekście potrzeb wnioskodawców i typów projektów, a także potencjału administracyjnego instytucji wdrażających Programy oraz założeń zaplanowanych w ramach wykonania poszczególnych programów? d) Czy zaplanowana procedura oceny i wyboru projektów (w tym dokumentacja służąca ocenie i wyborowi ze szczególnym uwzględnieniem list sprawdzających) jest przejrzysta zarówno dla wnioskodawców jak i osób zaangażowanych w ocenę i wybór? e) Czy zakres dokumentacji niezbędnej do aplikowania przekłada się na jakość składanych projektów? Jakie sposoby redukcji tychże obciążeń można wprowadzić w ocenianej procedurze? f) Czy można wprowadzić zmiany (uproszczenia, uszczegółowienia) w procedurze oceny i wyboru projektów w celu jej usprawnienia? Jeśli tak, to jakie? g) Czy przewidziana procedura skargowa została prawidłowo skonstruowana i gwarantuje odpowiednie uwzględnienie roszczeń wnioskodawcy? h) Czy sposób wyboru (procedura, kryteria) ekspertów jest optymalny gwarantuje profesjonalną i bezstronną ocenę wniosków projektowych? i) Czy ustanowione w programach procedury związane z naborem, oceną, wyborem oraz procedura skargowa są transparentne. Czy zapewniono mechanizmy minimalizacji uznaniowości? Czy zapewniono mechanizmy przeciwdziałające lobbingowi i korupcji? 2. Analiza kryteriów oceny i wyboru projektów. a) Czy kryteria oceny i wyboru projektów są zgodne z celami Programu, w tym ze wskazanymi w Programie kierunkowymi zasadami wyboru operacji? b) Czy kryteria przekładają się na wybór projektów w największym stopniu przyczyniających się do realizacji celów oraz osiągniecia wskaźników Programu? c) Czy kryteria posiadają zrozumiałe i jednoznaczne nazwy, opisy, sposoby oceny i wagi punktowe (odpowiednio do przyjętego sposobu oceny w programie)? Jeśli nie, jakich zmian należy dokonać? d) Czy punkty i wagi przypisane poszczególnym etapom oceny oraz kryteriom wyboru projektów zostały prawidłowo rozłożone i przyporządkowane? Jeśli nie, jakich zmian należy dokonać? e) Czy zaproponowany katalog kryteriów jest spójny i zapewnia rzetelną i kompleksową ocenę projektu? f) Czy prawidłowo (zgodnie z przepisami obowiązującego prawa (unijnego i państw członkowskich) oraz innych dokumentów programowych) określono wymogi zawarte w kryteriach wyboru projektów? g) Czy zastosowane kryteria nie skutkują nadmiernymi obciążeniami administracyjnymi dla potencjalnych wnioskodawców? h) Czy obrane kryteria są odpowiednio dopasowane do poszczególnych etapów oceny? Czy należy dokonać modyfikacji? Na czym miałaby polegać? i) Czy kryteria nie dyskryminują określonych grup wnioskodawców lub grup docelowych? W jakich obszarach może dochodzić do dyskryminacji? IV. Minimum metodyczne Strona 2 z 7
a) Analiza dokumentów zastanych 1 : Programy, Podręczniki do programów, kryteria wyboru projektów w ramach Programów, regulaminy przeprowadzania naborów, harmonogramy naborów i podziału alokacji, Regulaminy Komitetów Monitorujących, wnioski o dofinansowanie wraz z załącznikami, raporty ewaluacji ex ante w zakresie systemu wdrażania Programów, Instrukcje Wykonawcze Wspólnych Sekretariatów, dokumenty określające ramy prawne (prawa unijnego oraz krajowego 2 odpowiednich państw członkowskich, materiały pomocnicze KE oraz Interact), b) Wywiady pogłębione IDI/ITI z przedstawicielami instytucji zaangażowanych w realizację Programu ze szczególnym uwzględnieniem osób odpowiedzialnych za programowanie i wdrażanie (Łącznie 86): członkowie Komitetów Monitorujących z prawem głosu (PB-27, PLSN-12, PLSK-20, łącznie do 59), kierownicy Wspólnych Sekretariatów (łącznie 3), kierujący jednostkami oceniającymi mikroprojekty 3 (łącznie do 8), członkowie Komitetów ds. mikroprojektów z prawem głosu 4 (łącznie do 16) c) CATI/CAWI z wszystkimi wnioskodawcami, d) Obserwacja uczestnicząca procesu oceny oraz wyboru projektów. Wykonawca będzie uczestniczył w charakterze obserwatora w pracach: Komitetów, zespołów oceniających projekty itp. Terminy i miejsca kolejnych spotkań zostaną wskazane Wykonawcy, co najmniej 14 dni kalendarzowych przed planowanym rozpoczęciem (ocena projektów odbywa się, co do zasady w siedzibie WS a posiedzenia KM na obszarze wsparcia programów, w tym za granicą). W okresie realizacji badania planowane jest w sumie do 12 naborów. e) Panel ekspertów, co najmniej 1 dla każdego programu. f) Symulacja eksperymentalna dla każdego Programu, polegająca na dokonaniu próbnej oceny projektów wybranych w ramach Programów, za pomocą zmodyfikowanych procedur i kryteriów. g) Panel dyskusyjny z przedstawicielami instytucji zaangażowanych w ewaluowane procedury (Instytucja Zarządzająca, Instytucja/e Krajowa/e, euroregiony), co najmniej 1 spotkanie dla każdego Programu (maksymalnie do 10 osób). Panele mają na celu dyskusję na temat propozycji modyfikacji procedur i kryteriów. Organizacja i przeprowadzenie paneli (w tym zapewnienie tłumaczenia symultanicznego (kabinowego bądź tour guide) w językach programowych) należy do obowiązków Wykonawcy. Miejsca i terminy organizacji paneli Wykonawca określi w uzgodnieniu z Zamawiającym z zastrzeżeniem pkt. VI. SOZ. Powyższy zestaw metod badawczych stanowi podstawowy zakres, który podlega w ofercie uszczegółowieniu przez Wykonawcę. Ponadto Wykonawca może zaproponować dodatkowe metody/techniki/narzędzia badawcze, komplementarne wobec powyższych, które będą odpowiadać zakresowi badania. Badanie, włączając wszystkie stosowane narzędzia, powinno zostać przeprowadzone w językach programowych. Zamawiający zastrzega sobie możliwość uczestnictwa w poszczególnych etapach procesu badawczego. V. Odbiorcy badania Instytucja Zarządzająca, Wspólne Sekretariaty, Euroregiony, Komitety Monitorujące. VI. Harmonogram realizacji badania 1 Zakres i nazwy dokumentów oraz gremiów i instytucji mogą różnić się w poszczególnych programach 2 SK, DE (SN, MV), LT, DK, SE 3 W programie Polska-Słowacja i Polska-Saksonia 4 W programie Polska-Słowacja i Polska-Saksonia Strona 3 z 7
Realizacja badania będzie przebiegać zgodnie z poniższym indykatywnym harmonogramem. Szczegółowy harmonogram zostanie wypracowany wspólnie z Wykonawcą i zawarty w raporcie metodycznym. Nabory na projekty w poszczególnych programach, które mają zostać objęte badaniem, zostaną wskazane przez Zamawiającego w trakcie przygotowywania raportu metodycznego. Czas trwania Umowy może zostać wydłużony: a) do 30 dni kalendarzowych za pisemną zgodą Zamawiającego, w sytuacji, jeżeli nastąpią nieprzewidziane, niezawinione przez Wykonawcę okoliczności uniemożliwiające wykonanie zadania w przewidzianym umową terminie ( do 18 listopada 2016 r.), inne od tych o krytych mowa w lit. b), b) maksymalnie do 31 maja 2017 r., za pisemną zgodą Zamawiającego, w sytuacji, jeżeli zmianie ulegną harmonogramy naborów (przez nabór rozumie się tu cały proces od ogłoszenia informacji o naborze na projekty poprzez ich ocenę aż do wyboru przez Komitet Monitorujący). Data Czynność Szczegóły podpisania umowy do 10 dni kalendarzowych od otrzymania wstępnej wersji raportu metodycznego otrzymania uwag do wstępnej wersji raportu metodycznego wstępną wersję raportu metodycznego (osobny dla każdego Programu) Zamawiający przekaże Wykonawcy uwagi do wstępnej wersji raportu metodycznego ostateczną wersję raportu metodycznego Wstępna wersja raportu metodycznego zostanie w formie elektronicznej. Uwagi do wstępnej wersji raportu metodycznego zostaną przekazane Wykonawcy w formie elektronicznej. Ostateczna wersja raportu metodycznego zostanie w formie elektronicznej, a następnie w wersji papierowej, jako część raportu końcowego w terminie do 14 dni kalendarzowych od zakończenia każdego naboru (rozumiane, jako posiedzenie KM kończące nabór) na projekty regularne, projekty flagowe w Programie Polska- Saksonia oraz Polska-Słowacja w terminie do 21 dni kalendarzowych od zakończenia każdego naboru (posiedzenie KM) w Programie Południowy Bałtyk oraz każdego naboru na mikroprojekty w Programach Polska-Saksonia oraz Polska- Słowacja Po każdym z naborów Wykonawca przekaże Zamawiającemu podsumowanie, zawierający wstępne rekomendacje, sformułowane w oparciu o wskazane w SOPZ (i ewentualnie dodatkowe zaproponowane przez Wykonawcę) pytania ewaluacyjne dotyczące naborów. Podsumowania stanowić będą wkład do raportów programowych i końcowego z badania. Każde podsumowanie zostanie przekazane Zamawiającemu drogą elektroniczną. Strona 4 z 7
W terminie do 10 dni po przekazaniu podsumowania. W terminie do 21 dni po zakończeniu ostatniego naboru w ramach danego Programu. Nie później niż do 10 października 2016 przekazania wstępnej wersji raportu programowego otrzymania przez Wykonawcę uwag do wstępnej wersji ostatniego z raportów programowych, jednakże nie później niż do 18 listopada 2016. Panel dyskusyjny z przedstawicielami instytucji zaangażowanych w ewaluowane procedury wstępne wersje raportu programowego. Zamawiający przekaże Wykonawcy uwagi do wstępnej wersji raportu programowego. ostateczną wersję raportu końcowego Wstępna wersja raportu programowego zostanie w formie elektronicznej. Uwagi będą przekazywane Wykonawcy na bieżąco, ale nie później niż do 14 dni kalendarzowych od przekazania Zamawiającemu wstępnych wersji raportów programowych Ostateczna wersja raportu końcowego zostanie w formie elektronicznej (.docx i.pdf) oraz w wersji papierowej kolorowej i oprawionej (1 kopia) prezentacja PPT zawierająca wnioski i rekomendacje wynikające z badania dla każdego z Programów z osobna, w obowiązujących w Programie językach a) Wykonawca jest zobowiązany do stałej współpracy z Zamawiającym na wszystkich etapach realizacji badania. Wykonawca na żądanie Zamawiającego jest zobowiązany do przedstawienia bieżących wyników prac w siedzibie Zamawiającego (Warszawa). b) Wykonawca będzie informował Zamawiającego na bieżąco o stanie badania i ewentualnych problemach. W tym celu Wykonawca będzie sporządzał elektronicznie, co 2 tygodnie, roboczą informację o postępie realizacji badania, w tym z realizacji narzędzi badawczych. c) Na żądanie Zamawiającego Wykonawca przedstawi raport końcowy na posiedzeniach odpowiednich Komitetów Monitorujących (na obszarze wsparcia Programów). VII. Raporty Po przeprowadzeniu badania w ramach danego Programu, powstanie podsumowanie oceniające proces naboru. 1. Podsumowanie musi zawierać następujące elementy: a) Streszczenie w odpowiednich językach programowych: polskim (PLSN, PLSK), słowackim (PLSK), niemieckim (PLSN), angielskim (PB); b) Spis treści; Strona 5 z 7
c) Opis cząstkowych wyników badania po zakończeniu procesu oceny wniosków o dofinansowanie po każdym naborze wraz z wnioskami i wstępnymi rekomendacjami (dokonany w oparciu o pytania ewaluacyjne). Wnioski i wstępne rekomendacje powinny zostać przedstawione zarówno w językach programu oraz języku angielskim; d) Aneksy z opisem wybranej i zastosowanej metodyki badania, w tym wykorzystane narzędzia badawcze oraz na życzenie Zamawiającego - projekt prezentacji multimedialnej. 2. Raport programowy musi zawierać następujące elementy: a) Streszczenie zawierające najważniejsze wyniki, wnioski wraz z rekomendacjami (nie dłuższe niż 5 stron A4), w językach programu oraz języku angielskim; b) Spis treści; c) Wprowadzenie (opis przedmiotu, głównych założeń i celów badania, opis okoliczności towarzyszących badaniu); d) Kompleksową analizę obejmującą wyniki podsumowań cząstkowych dla Programu, ale też całościowe spojrzenie na zagadnienie. Opis wyników badania (dokonany w oparciu o pytania ewaluacyjne). Części analityczne powinny zawierać wnioski cząstkowe i podsumowania, wyniki w przypadku badań ilościowych powinny zostać przedstawione także w formie graficznej; e) Wnioski i rekomendacje. Rekomendacje powinny zostać ujęte w tabeli zgodnej ze wzorem opracowanym dla Zintegrowanego Systemu Zarządzania Wnioskami i Rekomendacjami. Przy każdym wniosku w tabeli muszą zostać podane numery stron w raporcie końcowym, do których ten wniosek się odnosi. Rekomendacje muszą zostać przedstawione w formie pozwalającej na bezpośrednie operacyjne zastosowanie, tzn. w formie propozycji zmian kryteriów wyboru projektów oraz zmian w funkcjonowaniu procedury oceny i wyboru projektów, wraz z uzasadnieniem. Wykonawca dokona przy tym priorytetyzacji rekomendacji. Wnioski i rekomendacje powinny zostać przedstawione w językach programu oraz języku angielskim; f) Opis wybranej i zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu. 3. Raport końcowy musi zawierać następujące elementy: g) Streszczenie zawierające najważniejsze wyniki, wnioski wraz z rekomendacjami (nie dłuższe niż 5 stron A4), we wszystkich językach programowych oraz języku angielskim; h) Spis treści; i) Wprowadzenie (opis przedmiotu, głównych założeń i celów badania, opis okoliczności towarzyszących badaniu); j) Kompleksową analizę obejmującą wyniki raportów programowych, ale też całościowe spojrzenie na zagadnienie. Opis wyników badania (dokonany w oparciu o pytania ewaluacyjne). Części analityczne powinny zawierać wnioski cząstkowe i podsumowania, wyniki w przypadku badań ilościowych powinny zostać przedstawione także w formie graficznej; k) Wnioski i rekomendacje. Rekomendacje powinny zostać ujęte w tabeli zgodnej ze wzorem opracowanym dla Zintegrowanego Systemu Zarządzania Wnioskami i Rekomendacjami. Przy każdym wniosku w tabeli muszą zostać podane numery stron w raporcie końcowym, do których ten wniosek się odnosi. Rekomendacje muszą zostać przedstawione w formie pozwalającej na bezpośrednie operacyjne zastosowanie, tzn. w formie propozycji zmian kryteriów wyboru projektów oraz zmian w funkcjonowaniu procedury oceny i wyboru projektów, wraz z uzasadnieniem. Wykonawca dokona przy tym priorytetyzacji rekomendacji. Wnioski i rekomendacje powinny zostać przedstawione w językach programu oraz języku angielskim; l) Opis wybranej i zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu. VIII. Dodatkowe informacje Strona 6 z 7
1. Wykonawca zachowa poufność odnośnie jakichkolwiek informacji, czy dokumentów ujawnionych, odkrytych, zgromadzonych lub opracowanych w trakcie przeprowadzania badania. Zobowiązuje się, że informacje te będą wykorzystane jedynie do celów badania i nie zostaną ujawnione osobom trzecim oraz, że zostaną zniszczone/usunięte po zakończeniu badania. 2. Zamówienie będzie finansowane ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach POPT 2014-2020. Wszystkie materiały (papierowe oraz elektroniczne) związane z realizacją zamówienia muszą zawierać system identyfikacji wizualnej programu POPT 2014-2020. Strona 7 z 7