Rozeznanie rynku dla zamówienia polegającego na wykonaniu badania ewaluacyjnego pn. Ewaluacja systemu wyboru i oceny projektów ze szczególnym uwzględnieniem kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa Małopolskiego na lata 2014-2020 Rozeznanie rynku dla zamówienia polegającego na wykonaniu badania ewaluacyjnego pn. Ewaluacja systemu wyboru i oceny projektów ze szczególnym uwzględnieniem kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa Małopolskiego na lata 2014-2020 Departament Zarządzania Programami Operacyjnymi w Urzędzie Marszałkowskim Województwa Małopolskiego, pełniący funkcję Instytucji Zarządzającej Regionalnym Programem Operacyjnym Województwa Małopolskiego na lata 2014 2020 (RPO WM 2014-2020), zamierza zlecić wykonanie badania ewaluacyjnego pn. Ewaluacja systemu wyboru i oceny projektów ze szczególnym uwzględnieniem kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa Małopolskiego na lata 2014-2020 oraz dodatkowo (fakultatywnie) przeprowadzenie dwóch prezentacji wyników badania zawartych w raporcie cząstkowym oraz w raporcie końcowym (nie licząc prezentacji wstępnych wyników dla poszczególnych etapów badania i propozycji rekomendacji ich adresatom na spotkaniu dot. projektu raportu cząstkowego i końcowego) we wskazanym przez Zamawiającego miejscu i czasie, jednak nie później niż do 15 grudnia 2016 roku. Uprzejmie proszę o odrębne określenie szacunkowej wartości realizacji usług: badania ewaluacyjnego i prezentacji wyników badania (cena netto i cena brutto) w terminie do 25 sierpnia br. (wtorek) i przesłanie na adres: barbara.porebska-maciolek@umwm.pl. Informacje dotyczące zakresu, metodologii oraz czasu realizacji badania: Celem badania jest ocena adekwatności, efektywności i skuteczności systemu wyboru i oceny projektów, w tym kryteriów wyboru projektów dla Regionalnego Programu Operacyjnego Województwa Małopolskiego na lata 2014-2020 (RPO WM). Ewaluacja na poziomie poszczególnych działań/poddziałań oraz naborów obejmie odpowiednio: 1. ocenę ex-ante (ocena systemu oceny i wyboru projektów, w tym dokumentacji konkursowej/regulaminu naboru oraz kryteriów wyboru projektów przed uruchomieniem naboru), 2. ocenę ex-post (ocena funkcjonowania systemu oceny i wyboru projektów, w tym kryteriów wyboru projektów dla naborów zakończonych). Badanie obejmie następujące zagadnienia: 1. Analiza i ocena zaplanowanego systemu wyboru i oceny projektów (analiza i ocena procesu wyboru projektów) 2. Analiza i ocena kryteriów wyboru projektów, tj. zestawu określonych wymogów formalnych i merytorycznych, które muszą spełnić projekty, aby uzyskać dofinansowanie z publicznych środków wspólnotowych Analiza systemu wyboru i oceny projektów, w tym kryteriów wyboru projektów będzie przebiegała dwuetapowo. Pierwszy etap obejmować będzie ewaluację ex-ante systemu wyboru i oceny projektów, w tym wszystkich kryteriów wyboru projektów, odnoszących się do działań i poddziałań RPO WM, wobec których nie ogłoszono jeszcze naborów, jak i względem tych, w stosunku do których nabór został już
otwarty. Ważnym aspektem tej części badania będzie odtworzenie logiki interwencji dla wybranych osi priorytetowych/działań (element ewaluacji opartej na teorii). Odtworzenie logiki interwencji ma za zadanie pokazanie ścieżki/związków przyczynowo-skutkowych, w jaki sposób/w jakim celu zostało zaproponowane dane kryterium/a na poziomie działań i osi priorytetowych. Natomiast drugi etap obejmować będzie analizę ex-post systemu wyboru i oceny projektów, w tym kryteriów wyboru projektów, w ramach której ewaluacji poddane zostaną również wszystkie kryteria wyboru projektów, w podziale na nabory, które zostały ogłoszone i zakończone zarówno w 2015, jak i 2016 roku. W trakcie realizacji umowy, Wykonawca dostarczy Zamawiającemu następujące produkty realizacji badania (raport metodologiczny, opinie dotyczące kryteriów wyboru projektów i realizowanych naborów, raport cząstkowy (ocena ex-ante) i raport końcowy (ocena ex-post) z badania). Opinie dot. poszczególnych kryteriów wyboru projektów i realizowanych naborów*: osobne opinie zostaną przygotowane na temat: a) projektów poszczególnych kryteriów wyboru projektów (ocena ex-ante) - (1 kryterium = 1 opinia); b) dokumentacji dotyczącej danego naboru (ocena ex-ante i/lub ocena ex-post) - 5 opinii - decyzja, które konkretnie nabory zostaną poddane szczegółowej analizie leży po stronie poszczególnych instytucji wdrażających; c) kryteriów wyboru projektów dla poszczególnych naborów oraz systemu wyboru i oceny projektów (analiza ex-post). Analizy w ramach powyższych liter a), b) i c) powinny zostać przygotowane w oparciu o pytania ewaluacyjne postawione przez Zamawiającego w sopz i zawierać uwagi Wykonawcy oraz propozycje nowego sformułowania kryterium, definicji kryterium, sposobu oceny i jego poszczególnych elementów. Analizy te nie mogą opierać się wyłącznie na wynikach badań ilościowych i jakościowych, tj. stanowić ich syntezy. Opinie stanowić będą wkład do raportu cząstkowego i końcowego. *Planowanych jest 98 naborów (72 - konkursowe, 26 - pozakonkursowych) Badanie będzie prowadzone w modelu partycypacyjnym, tj. ewaluator będzie uczestniczył w procesie opracowania kryteriów wyboru projektów, m.in. poprzez opiniowanie projektów kryteriów wyboru projektów oraz udział w charakterze obserwatora w posiedzeniach gremiów zatwierdzających kryteria wyboru projektów. Badanie zostanie przeprowadzone z wykorzystaniem następujących metod/technik badawczych: 1. Przegląd literatury i analiza danych zastanych, w tym m.in.: a) dokumentacja programowa: - Regionalny Program Operacyjny Województwa Małopolskiego na lata 2014-2020 (RPO WM), - Szczegółowy Opis Osi Priorytetowych RPO WM, - kryteria wyboru projektów w ramach RPO WM, - regulaminy przeprowadzania konkursów, - regulaminy komisji oceniających,
- Podręcznik Instytucji Zarządzającej RPO WM 2014-2020 oraz Podręczniki Instytucji Pośredniczących RPO WM MCP, WUP, Stowarzyszenie Metropolia Krakowska, - Uchwała w sprawie przyjęcia Ramowego Planu Realizacji Działań dla osi 1-13 na rok 2015 w ramach Regionalnego Programu Operacyjnego na lata 2014-2020. b) Strategia Rozwoju Województwa Małopolskiego na lata 2011-2020; c) Umowa Partnerstwa; d) wyniki i dane pochodzące z dotychczas przeprowadzonych analiz na poziomie krajowym i regionalnym w zakresie ewaluacji systemu wyboru i oceny projektów, w tym kryteriów wyboru projektów, również te, dotyczące perspektywy 2007-2013 e) raporty z ewaluacji przeprowadzonych w ramach Małopolskiego Regionalnego Programu Operacyjnego na lata 2007-2013 a także Programu Operacyjnego Kapitał Ludzki, oraz RPO WM, w tym ekspertyzy, dotyczące oceny projektów, w szczególności: - Badanie wpływu stosowanych kryteriów strategicznych (lub kryteriów dostępu o charakterze merytorycznym) na jakość realizowanych projektów w ramach PO KL w województwie małopolskim, - Ocena kryteriów wyboru projektów oraz mechanizmu wstępnej kwalifikacji projektów w ramach Małopolskiego Regionalnego Programu Operacyjnego na lata 2007-2013, - Ocena systemu zarządzania i wdrażania Programu Operacyjnego Kapitał Ludzki w Województwie Małopolskim, - Aktualizacja analizy w zakresie możliwości zastosowania zwrotnych instrumentów finansowych w ramach Regionalnego Programu Operacyjnego Województwa Małopolskiego na lata 2014-2020, - Ewaluacja ex-ante projektu regionalnego programu operacyjnego województwa małopolskiego na lata 2014-2020. f) dokumenty określające ramy prawne (prawo krajowe i unijne) i wymogi dla systemu oceny i kryteriów wyboru projektów, w tym projekt Wytycznych w zakresie trybów wyboru projektów 2014-2020; g) materiały dotyczące przyjmowania i zmian w ramach kryteriów wyboru projektów, w tym protokoły z posiedzeń Komitetu Monitorującego Regionalny Program Operacyjny na lata 2014-2020. Projekt kryteriów wyboru projektów dla niektórych działań/poddziałań, bądź ich ostateczna wersja, został już opracowany i zostanie przekazany Wykonawcy na początku badania.propozycje kryteriów wyboru projektu dla innych działań i poddziałań, jak również pozostałe dokumenty będą przekazywane sukcesywnie, w terminie umożliwiającym Wykonawcy ich analizę i przedstawienie swojej opinii, w miarę możliwości przed zatwierdzeniem ich przez Komitet Monitorujący RPO WM. 2. Badania jakościowe i ilościowe: a) Wywiady indywidualne (IDI) z: - przedstawicielami instytucji wdrażających RPO WM (WUP, MCP, FE) (na etapie oceny ex post) co najmniej 3 wywiady, - przedstawicielami społecznymi, uczestniczącymi w pracach KM RPO WM co najmniej 5
wywiadów. Nie przewiduje się zastąpienia wywiadów bezpośrednich telefonicznymi (TDI). Ponadto, Wykonawca na etapie przygotowywania poszczególnych opinii odnoszących się do systemu naboru i oceny projektów i kryteriów wyboru projektów, jest zobowiązany do nawiązania kontaktów roboczych (telefonicznie i/lub bezpośrednio) z osobami odpowiedzialnymi za przygotowanie kryteriów wyboru projektów do poszczególnych osi priorytetowych RPO WM, a także całego systemu naboru projektów, w celu wyjaśnienia wszelkich wątpliwości związanych z przygotowaniem i wdrożeniem kryteriów i funkcjonowaniem procesów naboru i oceny projektów. b) wywiady grupowe (FGI) z: - członkami Komisji Oceny Projektów WUP, FE i MCP, osobami odpowiedzialnymi za przygotowanie kryteriów wyboru projektów w ramach poszczególnych osi priorytetowych RPO WM, ekspertami, reprezentującymi Wykonawcę badania (Zamawiający zastrzega, iż na Wykonawcy spoczywa obowiązek zaproszenia na panele eksperckie również ekspertów branżowych, reprezentujących dziedziny, do których odnoszą się ewaluowane kryteria wyboru projektów, tj. co najmniej następujące dziedziny: 1) odnoszącej się do tematyki współpracy nauki i biznesu, 2) systemów informatycznych, 3) przedsiębiorczości, 4) polityki energetycznej, 5) ochrony środowiska, 6) infrastruktury transportowej, 7) rynku pracy 8) równości szans 9) polityki społecznej 10) rewitalizacji 11) edukacji 12) odnoszącej się do tematyki związanej z programami zdrowotnymi i opieką długoterminową, a także związanej z zarządzaniem jednostkami ochrony zdrowia (jednostki szpitalne), oraz ekspertami zewnętrznymi dokonującymi oceny wniosków o dofinansowanie projektu, złożonych w trybie konkursowym w ramach poszczególnych osi priorytetowych, na etapie oceny ex post co najmniej 16 FGI (co najmniej 4 FGI w 2015 roku w odniesieniu do osi priorytetowych: 1, 3, 4 i 7, oraz co najmniej 12 FGI w 2016 roku w odniesieniu do wszystkich osi priorytetowych - szczegółowe terminy poszczególnych FGI ustala Wykonawca). c) wywiady telefoniczne (CATI)* z: - beneficjentami naborów, ogłoszonych w 2015 i 2016 roku (łącznie co najmniej 389 wywiadów**) warstwowo-losowy dobór próby będzie uwzględniał następujące wielkości próby, wyliczone w podziale na warstwy, tj. poszczególne osie priorytetowe RPO WM: 1 oś priorytetowa 20 wywiadów, 7 oś priorytetowa 8 wywiadów 2 oś priorytetowa 7 wywiadów, 8 oś priorytetowa 82 wywiady 3 oś priorytetowa 84 wywiady, 9 oś priorytetowa 57 wywiadów 4 oś priorytetowa 12 wywiadów, 10 oś priorytetowa 71 wywiady 5 oś priorytetowa 7 wywiadów, 11 oś priorytetowa 10 wywiadów 6 oś priorytetowa 19 wywiadów, 12 oś priorytetowa 12 wywiadów.
- potencjalnymi beneficjentami konkursów, ogłoszonych w 2015 i 2016 roku (tzw. nieskuteczni beneficjenci) po co najmniej 2 respondentów na poszczególne konkursy (łącznie co najmniej 144 wywiady**). * Ilekroć mowa o liczbie wywiadów CATI należy przez to rozumieć liczbę wywiadów efektywnie przeprowadzonych. ** W sytuacji braku odpowiedniej liczby respondentów w ramach poszczególnych konkursów/naborów, Wykonawca przeprowadzi brakujący/e wywiad/y z beneficjentem/beneficjentami innego konkursu/naboru, tak, by łączna liczba wywiadów zawsze wynosiła co najmniej 389 wywiadów (beneficjenci skuteczni) lub co najmniej 144 wywiady (beneficjenci nieskuteczni). 3. Panele eksperckie co najmniej 2 spotkania dotyczące omówienia systemu oceny i kryteriów wyboru projektów z przedstawicielami instytucji zaangażowanych w realizację RPO WM. W ramach pierwszego panelu ekspertów, tematem do dyskusji będą co najmniej wyniki badania zawarte w projekcie raportu cząstkowego (w tym dotychczas przygotowane opinie dotyczące systemu wyboru projektów oraz kryteriów wyboru projektów). Natomiast w ramach drugiego panelu ekspertów zostaną omówione wyniki badania zawarte w projekcie raportu końcowego (w tym dotychczas przygotowane opinie dotyczące systemu wyboru projektów oraz kryteriów wyboru projektów). 4. Analizy SWOT, ukazujące mocne i słabe strony oraz szanse i zagrożenia płynące ze stosowania: a) systemu wyboru i oceny projektów (zawarte w raporcie cząstkowym i raporcie końcowym) oraz b) poszczególnych kryteriów wyboru projektów (w ramach przygotowywanych opinii ex-ante na temat poszczególnych kryteriów*). * W sytuacji, kiedy nie będzie możliwe dokonanie analizy ex-ante kryteriów wyboru projektów z powodu zakończenia naboru projektów, zostanie wykonana analiza SWOT ex-post. Ponadto Wykonawca będzie uczestniczył w posiedzeniach Komitetu Monitorującego RPO WM 2014-2020 oraz grup roboczych działających w ramach Komitetu Monitorującego RPO WM 2014-2020 (jeśli zostaną powołane), na których będą przyjmowane/poddawane pod dyskusję kryteria wyboru projektów, w tym, na wniosek Zamawiającego, prezentował opinie dotyczące poszczególnych kryteriów wyboru projektów, naborów projektów i systemu wyboru i oceny projektów. Na Wykonawcy będzie spoczywał obowiązek przygotowania narzędzi (kwestionariuszy oraz scenariuszy) do poszczególnych technik badawczych. Zamawiający przewiduje udzielenie zamówień uzupełniających do niniejszego postępowania, o których mowa w art. 67 ust. 1 pkt 6 ustawy. Zamówienia uzupełniające będą polegały na powtórzeniu poszczególnych elementów składających się na zamówienie podstawowe. Wielkość lub zakres zamówień uzupełniających: nie więcej niż 50% wartości zamówienia podstawowego. Czas realizacji zamówienia:
planowany czas rozpoczęcia realizacji badania (podpisanie umowy): koniec sierpnia br. planowy czas zakończenia badania: koniec 2016 roku. Liczba odwiedzin: 6 Podmiot udostępniający informację: Osoba wprowadzająca informację: Osoba odpowiedzialna za informację: Urząd Marszałkowski Województwa Małopolskiego Małgorzata Posłuszna Barbara Porębska-Maciołek Czas wytworzenia: 2015-08-24 15:26:18 Czas publikacji: 2015-08-24 15:53:59 Data przeniesienia do archiwum: Brak