Szczegółowy Opis Przedmiotu Zamówienia. Ewaluacja ex-ante Projektu Regionalnego Programu Operacyjnego Lubuskie 2020

Szczegółowy Opis Przedmiotu Zamówienia Załącznik nr 1 do SIWZ Ewaluacja ex-ante Projektu Regionalnego Programu Operacyjnego Lubuskie 2020 I. Uzasadnienie i cele badania. Ewaluacja ex-ante jest oceną programu operacyjnego dokonywaną przed jego rozpoczęciem. Głównym jej zadaniem jest ocena przyjętej w ramach programu logiki interwencji. Zakres i ogólne zasady realizacji procesu ewaluacji ex-ante 2014-2020 mają swoje odzwierciedlenie m.in. w poniższych dokumentach, zgodnie z którymi przygotowane zostały Projekt Regionalnego Programu Operacyjnego Lubuskie 2020: art. 48 Rozporządzenia Parlamentu Europejskiego i Rady ustanawiającego wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego objętych zakresem wspólnych ram strategicznych oraz ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego i Funduszu Spójności, oraz uchylające rozporządzenie (WE) nr 1083/2006, COM(2011) 615 final/2, Bruksela, dnia 14.3.2012 r. 1 ; The Programming Period 2014-2020. Monitoring and evaluation of European Cohesion Policy. European Regional Development Fund. European Social Fund. Cohesion Fund. Guidance document on ex-ante evaluation, European Commission Directorate-General Regional Policy, June 2012 2 ; Zalecenia w zakresie ewaluacji ex-ante programów operacyjnych na lata 2014-2020, Krajowa Jednostka Ewaluacji, Departament Koordynacji Polityki Strukturalnej, Ministerstwo Rozwoju Regionalnego 3 ; Programowanie perspektywy finansowej 2014-2020 - Umowa Partnerstwa, Ministerstwo Rozwoju 4. Jednym z głównych celów ewaluacji ex-ante jest optymalizacja zapisów dokumentu oraz zwiększenie jakości Regionalnego Programu Operacyjnego Lubuskie 2020 (RPO-L2020) poprzez wykorzystanie dostępnej wiedzy teoretycznej i naukowej. Ponadto ważnym celem ewaluacji jest jak najlepsze wykorzystanie środków finansowych na etapie wdrażania programu. Proces ewaluacji exante urzeczywistnia zasadę polityki opartej na dowodach (evidence based policy), gdzie wiedza i doświadczenie zespołu programującego uzupełniane są, w usystematyzowany sposób, wiedzą 1 http://ec.europa.eu/regional_policy/sources/docoffic/official/regulation/pdf/2014/proposals/regulation/general/general_proposal_pl.pdf (29.10.2012 r.). 2 http://ec.europa.eu/regional_policy/sources/docoffic/2014/working/ex_ante_en.pdf (29.10.2012 r.). 3 http://www.ewaluacja.gov.pl/ewaluacja_ex_ante_2014_2020/documents/zalecenia_ex_ante_15042013.pdf (15.04.2013 r.) 4 http://www.mrr.gov.pl/fundusze/fundusze_europejskie_2014_2020/programowanie_2014_2020/umowa_partnerstwa/strony/glowna.asp x 1

naukową i ekspercką. W konsekwencji, wartością dodaną ewaluacji jest lepsze zrozumienie przez zespoły osób zaangażowanych w projektowanie i wdrażanie programu mechanizmów jego funkcjonowania. Ewaluacja służy również identyfikacji i ocenie zaplanowanych do realizacji interwencji publicznych pod kątem trafności i spójności (wewnętrznej i zewnętrznej) programu oraz możliwości wynikających z jego realizacji w zakresie zaspokojenia potrzeb i rozwiązania zdiagnozowanych problemów społeczno-ekonomicznych. Biorąc pod uwagę harmonogram prac przygotowania dokumentów programowych na lata 2014-2020 ewaluacja ex-ante RPO-L2020 powinna być ściśle powiązana z procesem programowania. Zaś wnioski i rekomendacje (będące jej głównym produktem) powinny zostać wzięte pod uwagę w ostatecznej wersji zapisów programu. Ponadto niezbędne jest ujęcie we wnioskach z przeprowadzonej ewaluacji oraz samym programie rekomendacji powstałych w wyniku przeprowadzonej prognozy oceny oddziaływania na środowisko. Ważne jest by oba raporty nie zawierały sprzecznych rekomendacji, których nie można włączyć do treści programu. Ewaluacja ex-ante powinna udzielić odpowiedzi na dwa podstawowe pytania: czy planowane do realizacji w ramach RPO-L2020 interwencje publiczne znajdują uzasadnienie społeczno-ekonomiczne? czy ich realizacja przyczyni się do osiągnięcia pożądanych celów rozwojowych oraz zaspokojenia potrzeb i rozwiązania zdiagnozowanych problemów społeczno-ekonomicznych? II. Odbiorcy wyników ewaluacji ex-ante. Odbiorcami oraz użytkownikami badania w szczególności będą: a) na poziomie regionalnym: Instytucje zaangażowane w realizację programów operacyjnych współfinansowanych ze środków unijnych na 2007-2013; b) Instytucje odpowiedzialne za zarządzanie i wdrażanie RPO-L2020 na lata 2014-2020; c) na poziomie krajowym: Ministerstwo Rozwoju Regionalnego oraz funkcjonujące w jego strukturach: Krajowa Jednostka Ewaluacji, Instytucja Koordynująca RPO oraz Instytucja Zarządzająca PO KL; d) na poziomie unijnym: Komisja Europejską, której raport z przeprowadzonej ewaluacji zostanie przekazany w tym samym czasie, co dokument programowy RPO-L2020. III. Przedmiot i zakres badania. Przedmiotem ewaluacji ex-ante jest Projekt Regionalnego Programu Operacyjnego Lubuskie 2020 5. Założenia Umowy Partnerstwa stanowiły podstawę rozpoczęcia prac nad programami operacyjnymi na lata 2014-2020 (w tym, w zakresie ewaluacji ex-ante). Ona definiuje w początkowej fazie cele rozwojowe do 2020 roku, wskaźniki monitorujące ich realizację oraz zakres proponowanych interwencji stanowiące punkt odniesienia do określania m.in. szczegółowej zawartości Regionalnego Programu Operacyjnego Lubuskie 2020 (RPO-L2020). 5 Założenia Regionalnego Programu Operacyjnego Lubuskie 2020 (RPO-L2020) zostaną przekazane Wykonawcy po podpisaniu umowy na realizację badania. Ilekroć w przedmiotowym materiale jest mowa o Regionalnym Programie Operacyjnym Lubuskie 2020 (RPO-L2020) lub inaczej programie operacyjnym/programie Zamawiający ma na myśli, w zależności od etapów przygotowania programu, założenia i/lub projekt programu, jak również projekt ostatecznego dokumentu. Tym samym ewaluator na każdym etapie realizacji badania zobowiązany jest: przygotowując ocenę do brania pod uwagę najbardziej aktualnej wersji RPO-L2020, przekazywanej przez Zamawiającego, a także wszystkie dodatkowe materiały (np. raporty z konsultacji programu, czy też ocenę oddziaływania na środowisko), które powstaną w trakcie realizacji badania. 2

Celem Regionalnego Programu Operacyjnego Lubuskie 2020 będzie zwiększenie konkurencyjności regionu oraz poprawa jakości życia mieszkańców poprzez wykorzystywanie potencjału regionalnego i skoncentrowane niwelowanie barier rozwojowych, w oparciu o strategię rozwoju województwa, z naciskiem na regionalną strategię inteligentnej specjalizacji. Wybór przedsięwzięć będzie podyktowany stopniem przyczyniania się do osiągania celów wykorzystania środków UE dotyczących: wsparcia dla zwiększania konkurencyjności gospodarki oraz poprawy spójności społecznej i terytorialnej. Na poziomie regionalnym nacisk będzie położony przede wszystkim na wspieranie przedsiębiorczości (cel tematyczny 3.) wynikającej z regionalnych specjalizacji. Na tym poziomie będzie również realizowana przeważająca część interwencji na rzecz edukacji (cel tematyczny 10.), zatrudnienia (cel tematyczny 8.) i włączenia społecznego (cel tematyczny 9.). We wskazanych obszarach na poziomie krajowym będą wdrażane jedynie rozwiązania systemowe oraz projekty o zasięgu krajowym. Interwencje w ramach RPO muszą nawiązywać do wypracowanych na poziomie krajowym rozwiązań, realizując tym samym wybrane aspekty reform w zakresie edukacji, zatrudnienia czy polityki społecznej. W zakresie upowszechnienia technologii TIK (cel tematyczny 2.), infrastruktury ochrony środowiska (cel tematyczny 5. i 6.), energetyki (cel tematyczny 4.) oraz transportu (cel tematyczny 7.), podejmowane na poziomie regionalnym działania będą uzupełniały działania programowane na poziomie krajowym. RPO nie będą obejmować celu tematycznego dotyczącego zdolności instytucjonalnej (cel 11), działania w tym zakresie będą realizowane z poziomu krajowego. W związku z powyższym na poziom regionalny przeznaczonych będzie ok. 75% środków Europejskiego Funduszu Społecznego (EFS) oraz ok. 55% środków Europejskiego Funduszu Rozwoju Regionalnego (EFRR). 6 Ewaluacja ex-ante RPO-L2020 będzie realizowana wg modelu tradycyjnego, tj. ewaluacja programu operacyjnego zostanie przeprowadzona na dokumencie, tj. projekcie programu. Wybór sposobu ewaluacji programu podyktowany jest doświadczeniem w prowadzeniu działań ewaluacyjnych. Ponadto model tradycyjny, w którym ewaluator nie uczestniczy w programowaniu, daje możliwość bardziej obiektywnej i całościowej oceny programu z perspektywy zewnętrznego i niezależnego obserwatora (oceniającego). Ponadto daje to możliwość ujęcia otrzymanych rekomendacji w sposób całościowy. W tym celu Instytucja Zarządzająca będzie starać się zapewnić jak najlepszą współpracę z zespołem ewaluacyjnym, dla lepszej koordynacji procesu oraz włączania rekomendacji w ewoluujący projekt Programu. 7 Zakres przedmiotowy: a) Regionalny Program Operacyjny Lubuskie 2020 b) instytucje zaangażowane w realizację programów operacyjnych w województwie lubuskim w latach 2007-2013; c) instytucje zaangażowane w projektowanie RPO-L2020; d) badania ewaluacyjne oraz analizy i ekspertyzy dotyczące ewaluacji programów operacyjnych w perspektywie finansowej 2007-2013. 6 Programowanie perspektywy finansowej 2014-2020 - Umowa Partnerstwa (załączniki). Ministerstwo Rozwoju Regionalnego, Warszawa, str. 5. Szczegółowe cele tematyczne i fundusze regionalnych programów operacyjnych określa ww. dokument (str. 6-8). 7 W ramach zamówienia planuje się skorzystać z doradztwa w zakresie wprowadzania zmian w zapisach RPO-L2020 w ramach zamówienia uzupełniającego, które umożliwiałyby wprowadzenie uwag przekazanych w czasie negocjacji z Komisją Europejską. 3

Zakres podmiotowy: a) przedstawiciele instytucji regionalnych (kierownicy oraz pracownicy merytoryczni) odpowiedzialnych za wdrażanie PO KL i LRPO na lata 2007-2013 w województwie lubuskim (IZ LRPO 2007-2013, IP2 LRPO 2007-2013 oraz IP PO KL, IP2 PO KL); b) przedstawiciele instytucji krajowych (kierownicy oraz pracownicy merytoryczni) odpowiedzialnych za wdrażanie PO KL i RPO (IZ PO KL, Instytucja Koordynująca RPO); c) Grupa Robocza ds. opracowania projektu zasad realizacji programów współfinansowanych ze środków unijnych na terenie województwa lubuskiego w nowej perspektywie finansowej na lata 2014-2020; d) Pracownicy Wydziału ds. Regionalnego Programu Operacyjnego na lata 2014-2020 w Departamencie Rozwoju Regionalnego i Współpracy Zagranicznej UMWL; e) Zespół zadaniowy ds. ewaluacji ex-ante RPO-L2020; f) przedstawiciele partnerów społeczno-gospodarczych, m.in.: - Agencja Rozwoju Regionalnego w Zielonej Górze, - Organizacja Pracodawców Ziemi Lubuskiej, - Zachodnia Izba Przemysłowo Handlowa w Gorzowie Wielkopolskim, - Regionalny Ośrodek Polityki Społecznej w Zielonej Górze, - Lubuski Fundusz Poręczeń Kredytowych w Zielonej Górze, - Fundacja Przedsiębiorczość w Żarach, - Stowarzyszenie Wspierania Małej Przedsiębiorczości z siedzibą w Dobiegniewie, - Park Naukowo Technologiczny Uniwersytetu Zielonogórskiego, - Fundacja na Rzecz Collegium Polonicum, - Uniwersytet Zielonogórski, - Państwowa Wyższa Szkoła Zawodowa w Sulechowie, - Państwowa Wyższa Szkoła Zawodowa w Gorzowie Wielkopolskim, - Centrum Przedsiębiorczości i Transferu Technologii przy Uniwersytecie Zielonogórskim, - Akademicki Inkubator Przedsiębiorczości przy Uniwersytecie Zielonogórskim, - Zakład Utylizacji Odpadów Sp. z o.o. w Gorzowie Wielkopolskim. Zakres czasowy: Obejmujący okres przygotowania, konsultacji i akceptacji Regionalnego Programu Operacyjnego Lubuskie 2020. Termin wykonania ewaluacji ex-ante Projektu Regionalnego Programu Operacyjnego - Lubuskie 2020 może ulec zmianie w przypadku zaistnienia okoliczności niezależnych od Zamawiającego, jak i Wnioskodawcy, a które wpływają na proces badania ewaluacyjnego. Jest to głównie konieczność ujęcia w badaniu nowych lub zaktualizowanych, zmienionych materiałów, m.in. ustaw, rozporządzeń, zarządzeń, wytycznych, not, interpretacji, raportów, opracowań, rekomendacji, które powstały w instytucjach krajowych. Zakres terytorialny: Województwo Lubuskie. IV. Pytania ewaluacyjne Przedmiotem ewaluacji ex-ante jest Projekt Regionalnego Programu Operacyjnego Lubuskie 2020, który obejmuje lata 2014-2020. Zadaniem ewaluatora jest odpowiedź na 4

sformułowane poniżej pytania ewaluacyjne w ramach poszczególnych modułów badawczych. Na podstawie odpowiedzi na poniższe pytania ewaluator sformułuje wnioski i rekomendacje w zakresie zmian/usprawnień w programie operacyjnym oraz oceni system realizacji programu, w tym potencjału ludzkiego i administracyjnego. MODUŁ I Ocena trafności i spójności wewnętrznej Regionalnego Programu Operacyjnego Lubuskie 2020 1. Czy interwencja publiczna w postaci programu operacyjnego trafnie odpowiada na zdiagnozowane wyzwania i potrzeby społeczno- ekonomiczne? 2. Czy zaproponowana w ramach programu logika interwencji umożliwi realizację założonych celów rozwojowych? MODUŁ II Ocena spójności zewnętrznej Regionalnego Programu Operacyjnego Lubuskie 2020 3. Czy założenia i cele programu są spójne z najważniejszymi politykami i strategiami na poziomie unijnym, krajowym i regionalnym, w tym w szczególności ze strategią Europa 2020, Wspólnymi Ramami Strategicznymi oraz Umową Partnerską? 4. Czy i w jakim zakresie program operacyjny uwzględnia i przyczynia się do realizacji celów polityk horyzontalnych (realizacja zasad równości szans płci, niedyskryminacji, w szczególności w zakresie dostępności dla osób niepełnosprawnych oraz zrównoważonego rozwoju)? MODUŁ III Ocena systemu realizacji Regionalnego Programu Operacyjnego Lubuskie 2020 5. Czy i w jakim zakresie istniejący układ instytucjonalny, w tym zasoby ludzkie, jest wystarczający do realizacji założeń i celów programu operacyjnego? 6. Czy założenia programu operacyjnego umożliwiają skuteczną i efektywną realizację procesów monitorowania i ewaluacji? 5

Najważniejszymi elementami procesu ewaluacji ex-ante są pytania 1-3. Trzy kluczowe pytania badawcze stanowić powinny rdzeń całego procesu ewaluacji ex-ante RPO-L2020, w okresie 2014-2020. Ocena przeprowadzona zostanie w oparciu o kryteria: a) trafności, b) spójności, c) przewidywanej skuteczności, d) spodziewanej efektywności, e) spodziewanej użyteczności interwencji planowanej do realizacji w ramach Regionalnego Programu Operacyjnego Lubuskie 2020. MODUŁ I Ocena trafności i spójności wewnętrznej Regionalnego Programu Operacyjnego Lubuskie 2020 1. Czy interwencja publiczna w postaci Regionalnego Programu Operacyjnego Lubuskie 2020 trafnie odpowiada na zdiagnozowane wyzwania i potrzeby społeczno- ekonomiczne? W tej części prowadzonego badania ewaluacyjnego, zadaniem Wykonawcy będzie m.in. ocena, czy zidentyfikowane problemy stanowią przesłankę do podjęcia interwencji publicznej w danym obszarze tj. czy dany problem ma charakter niesprawności rynku (ang. market failure) lub stanowi istotny problem społeczny, którego rozwiązanie nie byłoby możliwe bez interwencji państwa. Celem ewaluacji ex-ante w tej części jest m.in. identyfikacja obszarów, których wsparcie ze środków publicznych w ramach programu powinno zostać ograniczone z uwagi na ryzyko wystąpienia efektu jałowej straty (ang. deadweight) 8. Identyfikacja nieuzasadnionych obszarów wsparcia służy m.in. realizacji zasady koncentracji zasobów na najistotniejszych wyzwaniach i potrzebach rozwojowych. Udzielając odpowiedzi na powyższe pytanie, Wykonawca powinien uwzględnić co najmniej następujące kwestie: zasadność interwencji publicznej w poszczególnych obszarach programu operacyjnego, analiza nieprawidłowości rynku, nieoptymalnego poziomu inwestycji lub potrzeb inwestycyjnych w ramach zaproponowanych obszarów tematycznych, trafność diagnozy społeczno ekonomicznej, adekwatność i trafność wybranych do rozwiązania problemów i przyczyn ich powstania w stosunku do analizy społeczno-gospodarczej regionu, adekwatność zaproponowanych w Programie działań do zdiagnozowanych w analizie społeczno-gospodarczej problemów, silne, słabe strony oraz szanse i zagrożenia dla woj. lubuskiego w analizie społecznoekonomicznej, sposób priorytetyzacji zidentyfikowanych w diagnozie wyzwań i potrzeb społecznoekonomicznych, aktualność i trafność analizy trendów społeczno-ekonomicznych wykorzystanych w diagnozie społeczno-ekonomicznej, trafność zaproponowanych celów programu operacyjnego w kontekście zidentyfikowanych/zdefiniowanych wyzwań i potrzeb społeczno- ekonomicznych: 8 tj. zaistnienia sytuacji, gdy przedsięwzięcie, któremu udzielono pomocy, mogłoby zostać zrealizowane również bez wsparcia ze środków publicznych 6

czy problemy/kwestie przedstawione w diagnozie przekładają się we właściwych proporcjach na cele priorytetów i programu, czy poszczególnym kwestiom nadana została odpowiednia waga, czy trafnie zastosowana została zasada koncentracji tematycznej, czy i z jakiego powodu problemy zidentyfikowane w diagnozie zostały pominięte. analiza trendów i kierunków zmian społeczno-ekonomicznych w woj. lubuskim w perspektywie do 2020 r. 2. Czy zaproponowana w ramach Regionalnego Programu Operacyjnego Lubuskie 2020 logika interwencji umożliwi realizację założonych celów rozwojowych? Udzielając odpowiedzi na powyższe pytanie Wykonawca powinien uwzględnić co najmniej następujące kwestie: analiza i ocena związków przyczynowo-skutkowych pomiędzy zaplanowanymi w ramach programu działaniami i ich produktami a oczekiwanymi rezultatami, ogólna ocena wpływu realizacji programu operacyjnego na sytuację społeczno-ekonomiczną kraju lub regionu (w tym prawdopodobne, a dotychczas nieprzewidziane w projekcie programu pozytywne i negatywne efekty oddziaływania programu), analiza alternatywnych sposobów realizacji założonych celów, sposób zastosowania zasady koncentracji tematycznej (uzasadnienie oraz spójność z logiką interwencji w tym w szczególności z celami programu), adekwatność wielkości i struktury nakładów finansowych pod kątem ich spójności z wyzwaniami i potrzebami, planowanymi działaniami oraz założonymi celami, adekwatność zaproponowanych w programie działań do poziomu ich realizacji w regionie, spójność wewnętrzna celów i działań planowych do realizacji w ramach osi priorytetowych, jak i pomiędzy poszczególnymi osiami priorytetowymi, w celu oceny stopnia i zakresu ich komplementarności w tym spodziewanych efektów synergicznych, trafność sposobu uwzględnienia wymiaru terytorialnego interwencji oraz zasady zintegrowanego podejścia do rozwoju społeczno- ekonomicznego w tym w szczególności w odniesieniu do interwencji ukierunkowanych na obszary problemowe/obszary strategicznej interwencji, trafność zastosowania poszczególnych form wsparcia, przewidywany wpływ projektów dużych i projektów kluczowych na realizację celów priorytetów i programu: projektów dużych (o ile występują), projektów kluczowych (strategicznych), projektów systemowych (o ile występują), uzasadnienie empiryczne i teoretyczne związków przyczynowo - skutkowych, na których zbudowana jest logika interwencji programu i osi priorytetowych czy logika interwencji programu wynika z ogólnie przyjętych teorii społeczno-ekonomicznych czy oparta jest na przytoczonych w programie dowodach empirycznych w postaci badań naukowych, badań ewaluacyjnych, analiz, studiów itp. 9, zasadność zastosowanego zestawu wskaźników (produktów i rezultatów) oraz realność osiągnięcia wartości docelowych wskaźników realizacji (produktów i rezultatów) w odniesieniu do wartości bazowych w kontekście zaproponowanej logiki interwencji, w tym alokowanych środków finansowych z uwzględnieniem czynników zewnętrznych oraz propozycje ich ewentualnej modyfikacji, 9 W tym w szczególności na następujących dokumentach ewaluacyjnych: Evidence- based Cohesion Policy and its role in achieving Europe 2020 objectives; Wnioski z realizacji Polityki Spójności w świetle wyników prac analityczno-ewaluacyjnych okresu 2004-2006; Ewaluacja expost Narodowego Planu Rozwoju na lata 2004-2006. 7

wpływ na realizację założeń i celów programu pozostałych polityk, strategii i programów wdrażanych na poziomie unijnym, krajowym i regionalnym oraz innych czynników zewnętrznych związanych z bieżącą i prognozowaną sytuacją społeczno-ekonomiczną, uwarunkowania zewnętrzne w stosunku do programu operacyjnego, mające wpływ na jego skuteczność i efektywność, w tym warunki wstępne (warunkowość ex-ante), których zasady stosowania zawarte zostały w art. 17 projektu rozporządzenia ogólnego: zasadność zastosowanych dla Regionalnego Programu Operacyjnego Lubuskie 2020 warunków wstępnych: Czy spełnienie zaproponowanych warunków wstępnych przyczyni się do zwiększenia skuteczności i efektywności realizacji programu operacyjnego? zakres i stopień spełnienia warunków wstępnych: Czy i w jakim zakresie warunki zaproponowane dla Regionalnego Programu Operacyjnego Lubuskie 2020 zostały spełnione? Jakie są możliwości spełnienia w przewidzianych terminach pozostałych do uwzględnienia warunków wstępnych (ocena zaplanowanych działań zmierzających do spełnienia warunków)? inne istotne uwarunkowania zewnętrzne w stosunku do programu operacyjnego nie uwzględnione w ramach zasady warunkowości wstępnej: Czy istnieją inne niespełnione warunki zewnętrzne, mające istotny wpływ na skuteczność i efektywność realizacji programu? Jaki będzie wpływ nie spełnienia innych istotnych warunków zewnętrznych na skuteczność i efektywności programu operacyjnego? Jakie są możliwości i perspektywa czasowa spełnienia innych istotnych warunków zewnętrznych? analiza ryzyka związanego z zaplanowaną interwencją i środki zaradcze, trafność finansowania działań oraz ich alternatywne źródła, zasadność wymagania wkładu własnego w określonych obszarach, komplementarność w zakresie działań przewidzianych do realizacji w ramach osi priorytetowych, analiza wpływu czynników zewnętrznych mogących utrudnić osiągnięcie założonych wskaźników realizacji oraz środki zaradcze, analiza proponowanych w programie operacyjnym narzędzi i metod umożliwiających osiągnięcie założonych celów, analiza doświadczeń płynących z dobrych praktyk w zakresie wdrażania EFS 2007-2013 oraz LRPO na lata 2007 2013. MODUŁ II Ocena spójności zewnętrznej Regionalnego Programu Operacyjnego Lubuskie 2020 3. Czy założenia i cele programu są spójne z najważniejszymi politykami i strategiami na poziomie unijnym, krajowym i regionalnym, w tym w szczególności ze strategią Europa 2020, Wspólnymi Ramami Strategicznymi oraz Umową Partnerską? Udzielając odpowiedzi na powyższe pytanie, Wykonawca powinien uwzględnić co najmniej następujące kwestie: spójność założeń i celów programu operacyjnego, w tym zdefiniowanych w diagnozie wyzwań i potrzeb rozwojowych z najważniejszymi unijnymi, krajowymi i regionalnymi celami strategicznymi; W jakim stopniu spodziewane efekty programu operacyjnego przyczynią się do realizacji celów strategicznych na różnych poziomach, w tym w szczególności do realizacji celów strategii Europa 2020?, spójność Regionalnego Programu Operacyjnego Lubuskie 2020 ze wskazanymi w projekcie rozporządzenia (art. 48 pkt. 3 (d)) rekomendacjami Rady Unii Europejskiej, 8

ocena wpływu na realizację celów programu operacyjnego pozostałych polityk, strategii i programów współfinansowanych z EFS i EFRR wdrażanych na poziomie regionalnym oraz innych czynników zewnętrznych z bieżącą i prognozowaną sytuacją społeczno-gospodarczą, stopień uwzględnienia w ramach programu operacyjnego rekomendacji horyzontalnych pochodzących z badań ewaluacyjnych zrealizowanych przez IZ i IP PO KL w okresie 2007-2013 oraz IZ LRPO na lata 2007 2013. Ocena spójności zewnętrznej powinna odnosić się do następujących dokumentów strategicznych: Rozporządzenia Parlamentu Europejskiego i Rady ustanawiającego wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego objętych zakresem wspólnych ram strategicznych oraz ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego i Funduszu Spójności oraz uchylające rozporządzenie (WE) nr 1083/2006 (dalej rozporządzenie dla funduszy Wspólnych Ram Strategicznych 2014-2020), Wspólne Ramy Strategiczne 2014-2020 10, Strategia Europa 2020 (z uwzględnieniem Krajowego Programu Reform), Strategią Rozwoju Kraju 2020, Krajową Strategią Rozwoju Regionalnego 2010-2020, Umowa Partnerstwa, Strategia Rozwoju Województwa Lubuskiego 2020, Lubuska Regionalna Strategia Innowacji, Innymi dokumentami strategicznymi mającymi zastosowanie do RPO-L2020. Wykonawca zobowiązany jest, aby podczas procesu badawczego oraz przygotowania projektu raportu i raportu końcowego (w tym formułowania rekomendacji i wniosków) uwzględnić najbardziej aktualne wersje dokumentów, które są istotne dla badania. 4. Czy i w jakim zakresie Regionalny Program Operacyjny Lubuskie 2020 uwzględnia i przyczynia się do realizacji celów polityk horyzontalnych, w tym realizacji zasad równości szans płci, niedyskryminacji, w szczególności w zakresie dostępności dla osób niepełnosprawnych oraz zrównoważonego rozwoju? Udzielając odpowiedzi na powyższe pytanie, Wykonawca powinien uwzględnić co najmniej następujące kwestie: stopień i zakres uwzględnienia zasad horyzontalnych w procesie programowania: czy w ramach przygotowywania diagnozy oraz całego programu brane były pod uwagę/poddawane analizie zasady równości szans płci, wpływu realizacji programu na sytuację kobiet i mężczyzn (gender impact assessment), niedyskryminacji, w tym w szczególności w zakresie dostępności dla osób niepełnosprawnych oraz zrównoważonego rozwoju?; stopień i zakres uwzględnienia zasad horyzontalnych w celach, priorytetach, działaniach, formach wsparcia oraz wskaźnikach programu 11 ; 10 Rozporządzenia dotyczące poszczególnych Funduszy Europejskich (tj. Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności oraz Europejskiej Współpracy Terytorialnej) 11 W tym: zaplanowanie celów na rzecz realizacji polityk horyzontalnych; zaplanowanie w ramach priorytetów programu wsparcia: promującego równość szans płci, służącemu osobom narażonym na dyskryminację oraz osobom niepełnosprawnym oraz możliwość zastosowania podejścia dual approach w zaplanowanym wsparciu na rzecz równości szans płci i niedyskryminacji i zasadność 9

stopień i zakres uczestnictwa, w procesie programowania, podmiotów zaangażowanych w promocję zasad horyzontalnych. przewidywany wkład programu operacyjnego do realizacji celów polityk horyzontalnych: czy w ramach programu przewidziane zostały konkretne działania/instrumenty służące realizacji zasad horyzontalnych?; jaka będzie ich spodziewana skuteczność i efektywność? sposób uwzględnienia zasad horyzontalnych w procesie wdrażania, monitorowania i ewaluacji programu w tym pod kątem m.in. analizy adekwatności alokacji finansowej na rzecz promowania polityk horyzontalnych, podziału wskaźników realizacji (produktu i rezultatu) na płeć i wiek. MODUŁ III Ocena Systemu realizacji RPO-L2020 5. Czy istniejący potencjał administracyjny Lubuskiego Regionalnego Programu Operacyjnego oraz komponentu regionalnego Programu Operacyjnego Kapitał Ludzki są optymalnym układem instytucjonalnym wystarczającym do realizacji założeń i celów RPO-L2020? Również w kontekście obecnego potencjału administracyjnego, w tym zasobów jednostek zaangażowanych w realizację LRPO na lata 2007-2013 oraz komponentu regionalnego PO KL? Udzielając odpowiedzi na powyższe pytanie, Wykonawca powinien uwzględnić co najmniej następujące kwestie: potencjał administracyjny, w tym zasoby ludzkie instytucji zaangażowanych w zarządzanie i wdrażanie programów współfinansowanych z EFS i EFRR w obecnej perspektywie unijnej w województwie lubuskim pod kątem realizacji w regionie RPO-L2020, obszary ryzyka i bariery dla skutecznej i efektywnej realizacji Regionalnego Programu Operacyjnego Lubuskie 2020, struktury i rozwiązania organizacyjne, instytucji które mogą być zaangażowane w zarządzanie i wdrażanie programów w ramach oraz pomiędzy instytucjami systemu realizacji (m.in. podział kompetencji/zadań, koordynacja działań, mechanizmy koordynacji i monitorowania komplementarności i synergii efektów podejmowanych działań, w tym w szczególności w przypadku programów dwufunduszowych, komunikacja wewnętrzna i zewnętrzna, systemy elektronicznej wymiany danych), zasoby kadrowe, wiedza i doświadczenie pracowników (w tym system szkoleń), system rekrutacji i selekcji, system motywacyjny, fluktuacja kadr, warunki pracy, zasoby materialne), przedsięwzięcia zaplanowane w celu redukcji obciążeń administracyjnych dla beneficjentów, adekwatność zaprojektowanego systemu wdrażania pod kątem możliwości osiągnięcia założonych celów programu, czy zasoby ludzkie określone w systemie wdrażania są wystarczające do realizacji założonych celów, konieczności włączenia/wyłączenia w proces realizacji programu, instytucji obecnie zaangażowanych w zarządzanie i wdrażanie programów współfinansowanych z EFS i EFRR w województwie lubuskim celem zwiększenia jego skuteczności; adekwatność przewidzianej w programie pomocy technicznej pozwalającej na skuteczne wspieranie instytucji uczestniczących w zarządzanie i wdrażanie programu. W ramach tej części badania ewaluator powinien przeprowadzić również ocenę spodziewanej skuteczności przedsięwzięć zaplanowanych w celu redukcji obciążeń wprowadzenie wskaźników jakościowych, pozwalających na mierzenie postępu wdrażania w programie zasady równości szans płci i zrównoważonego rozwoju. 10

administracyjnych dla beneficjentów. Proces ewaluacji w tym zakresie może zostać poprzedzony szczegółową analizą umożliwiająca identyfikację głównych obciążeń administracyjnych w okresie 2007-2013 i ocenę dotychczasowych działań ukierunkowanych na ich zmniejszanie. 12 6. Czy założenia RPO-L2020 umożliwiają skuteczną i efektywną realizację procesów monitorowania i ewaluacji? Udzielając odpowiedzi na powyższe pytanie, Wykonawca powinien uwzględnić co najmniej następujące kwestie: trafność, przejrzystość, wiarygodność statystyczna, agregowalność, dostępność, solidność (ang. robustness) wskaźników realizacji (produktu i rezultatu), kompletność wskaźników opisujących zaplanowaną interwencję, propozycje ich ewentualnej modyfikacji, dobór wskaźników/kluczowych etapów realizacji na potrzeby oceny i rezerwy wykonania oraz ocena oszacowanych wartości docelowych i pośrednich (ang. milestones) - trafność doboru: czy założone wskaźniki realizacji (produktu i rezultatu) dostarczają adekwatnych informacji na temat postępu rzeczowego i finansowego we wdrażaniu programu; czy wskaźniki realizacji mają zrozumiałą definicję oraz czy pozwalają na jednoznaczną ich interpretację? realność osiągnięcia zaplanowanych wartości wskaźników w wyznaczonych terminach, możliwościach finansowych, dostępności niezbędnych danych; czynniki zewnętrzne mogące mieć wpływ na realizację wskaźników rezultatu; czy wskaźniki wybrane jako podstawa do dokonywania ewentualnych korekt finansowych są reprezentatywne dla działań podejmowanych w ramach poszczególnych priorytetów, sposoby umożliwiające terminowe dostarczanie odpowiedniego zakresu danych m.in. na użytek sprawozdań rocznych, źródła oraz metody generowania danych oraz sposoby służące zapewnieniu wysokiej jakości pozyskiwanych danych, potrzeby w zakresie dostępu do danych niezbędnych do skutecznej realizacji procesu ewaluacji, w tym w szczególności dla zaawansowanych metodologicznie badań ewaluacyjnych przeprowadzanych m.in. za pomocą metod kontrfaktycznych (identyfikacja luk informacyjnych w tym zakresie oraz zaproponowanie sposobów pozyskiwania niezbędnych danych), zasoby ludzkie oraz potencjał instytucjonalny systemu monitorowania i ewaluacji (obszary ryzyka i bariery dla skutecznej i efektywnej realizacji procesów monitorowania i ewaluacji), ocena założeń programu pod kątem realizacji zasady evidence based policy, adekwatność założonych wskaźników realizacji (produktu i rezultatu) dla poszczególnych celów Programu, zagrożenia w realizacji założonych wartości docelowych wskaźników oraz środki zaradcze, spójność i wzajemne powiązanie logiczne założonych wskaźniki realizacji (produktu i rezultatu). Ewaluator przygotuje wstępną koncepcję procesu ewaluacji Regionalnego Programu Operacyjnego Lubuskie 2020, która posłuży Instytucji Zarządzającej RPO-L2020 do przygotowania Planu Ewaluacji Regionalnego Programu Operacyjnego Lubuskie 2020 na lata 2014-2020. Zgodnie z wytycznymi Komisji Europejskiej Plan ewaluacji powinien zawierać: listę tematów badań ewaluacyjnych wraz z uzasadnieniem ich realizacji, 12 Przeprowadzenie takiej analizy ułatwi Instytucji Zarządzającej przygotowanie programu w części dotyczącej obciążeń administracyjnych dla beneficjentów. 11

listę działań w zakresie budowy potencjału ewaluacyjnego wraz z uzasadnieniem ich realizacji (w tym plan szkoleń), metody przewidziane do zastosowania wraz z określeniem zapotrzebowania na dane, sposoby zapewnienia dostarczenia odpowiedniego zakresu danych na użytek ewaluacji oraz wskazanie barier w pozyskiwaniu danych i sposobów ich przezwyciężenia, harmonogram procesu ewaluacji, sposoby komunikacji wyników ewaluacji, zasoby ludzkie, budżet. Wstępna koncepcja procesu ewaluacji powinna ściśle wynikać z logiki interwencji programu oraz zawierać w szczególności zakres tematyczny i harmonogram realizacji ewaluacji z wraz uzasadnieniem ich przeprowadzenia, ponadto powinny zawierać przedstawione propozycje metodologiczne dla poszczególnych badań wraz z określeniem zapotrzebowania na dane. Rolą ewaluatora jest również wskazanie barier w pozyskiwaniu danych oraz sposobów ich przezwyciężenia (w szczególności na potrzeby realizacji badań ewaluacyjnych za pomocą metod kontrfaktycznych). UWAGA: Ewaluacja powinna dostarczyć wyczerpujących i wiarygodnych informacji na sformułowane powyżej przez Zamawiającego moduły badawcze, pytania ewaluacyjne i obszary problemowe. Podane powyżej zagadnienia są propozycją Zamawiającego i mogą podlegać uzupełnieniom i/lub modyfikacjom wraz z uzasadnieniem proponowanych zmian. V. Metodologia badania Szczegółowe rozstrzygnięcia dotyczące metod badawczych powinny być przedstawione przez Wykonawcę. Metodologia ewaluacji zastosowana przez Wykonawcę powinna umożliwić udzielenie wyczerpujących odpowiedzi na postawione przez Zamawiającego pytania ewaluacyjne i obszary problemowe. Metodologia badania stanowić będzie główny element oceny ofert złożonych przez potencjalnych Wykonawców badania. Przedmiotem badania w ramach ewaluacji ex-ante RPO-L2020 będzie przede wszystkim zastosowana w ramach programu teoria zmiany i zaprojektowana na jej podstawie logika interwencji. Stąd proces badawczy bazować będzie na ewaluacji opartej na teorii (theory based evaluation) i polegać będzie na analizie i ocenie logiki Regionalnego Programu Operacyjnego Lubuskie 2020. Stosowane będą głównie metody typu desk research: (analiza literatury, analiza wyników badań naukowych i ewaluacyjnych). Ponadto metodyka badania powinna uwzględniać metody jakościowe pozwalające na udzielenie odpowiedzi na pytania ewaluacyjne oraz służące uspołecznieniu procesu ewaluacji, takie jak wywiady indywidualne, grupy fokusowe oraz warsztaty itp. Etapy analizy logiki interwencji Najważniejszym zadaniem ewaluacji ex-ante jest weryfikacja logiki Regionalnego Programu Operacyjnego Lubuskie 2020 poprzez odniesienie jej do istniejącej wiedzy naukowej i eksperckiej (w tym wyników badań ewaluacyjnych). Innymi słowy jest to proces testowania logiki interwencji za pomocą dostępnych dowodów (evidence). Zaleca się zatem, aby ewaluacja ex-ante bazująca na analizie logiki przebiegała w następujących etapach/modułach: 12

1. Odtworzenie logiki Regionalnego Programu Operacyjnego Lubuskie 2020 Ewaluator na podstawie analizy dokumentacji programowej, uzupełnionej o dane uzyskane metodami jakościowymi (wywiady, grupy fokusowe, warsztaty itp.), buduje model logiczny programu operacyjnego i poszczególnych osi priorytetowych, obrazujący związki przyczynowo-skutkowe pomiędzy zidentyfikowanymi potrzebami i planowanymi do podjęcia działaniami a spodziewanymi efektami. 2. Stworzenie ram koncepcyjnych badania Ewaluator dokonuje zebrania i analizy wiedzy naukowej i eksperckiej (analiza literatury, analiza wyników badań naukowych i ewaluacyjnych krajowych i zagranicznych, ekspertyz, analiz, metody eksperckie, fokusy z udziałem ekspertów), użytecznej dla wyjaśnienia/weryfikacji mechanizmów przyczynowo-skutkowych przedstawionych w odtworzonej logice programu operacyjnego i osi priorytetowych. 3. Ewaluacja logiki Regionalnego Programu Operacyjnego Lubuskie 2020 Ewaluator porównuje założenia Regionalnego Programu Operacyjnego Lubuskie 2020 (odtworzoną logikę interwencji) z wiedzą naukową i ekspercką a następnie dokonuje oceny programu operacyjnego. Celem ewaluacji jest przede wszystkim ocena siły powiązań przyczynowo-skutkowych pomiędzy interwencją a efektami. Niemniej jednak ewaluacja poza odpowiedzią na pytanie, CZY spodziewane efekty/zmiany wystąpią w wyniku wdrożenia interwencji, powinna również udzielić odpowiedzi na pytania, W JAKI SPOSÓB i DLACZEGO (wraz ze szczegółowym opisem/uzasadnieniem). Elementem oceny w tym zakresie powinna być również analiza alternatywnych sposobów realizacji założonych celów. Zaleca się, aby analiza opcjonalna miała (o ile jest to uzasadnione) odzwierciedlenie w rekomendacjach formułowanych w formie wariantowej. Na podstawie przeprowadzonej oceny ewaluator formułuje wnioski i rekomendacje (rekomendowane zmiany w programie) oraz przedstawia rekomendowany model logiczny Regionalnego Programu Operacyjnego Lubuskie 2020 spójny z dostępną wiedzą naukową i ekspercką (m.in. w postaci diagramu wraz z opisem oraz odniesieniem do teorii/wyników badań). Wnioski i rekomendacje sformułowane przez ewaluatora powinny być użyteczne dla Instytucji Zarządzającej RPO-L2020 w trakcie prac nad szczegółowym opisem priorytetów na późniejszych etapach programowania. Ocenę realności osiągnięcia wartości docelowych wskaźników realizacji (rezultatów) należy przeprowadzić za pomocą modeli ekonomicznych. Do wypracowania zakresu i sposobu uwzględnienia wniosków i rekomendacji zaleca się zastosowanie metody warsztatowej. Zaleca się, aby metodologia badania uwzględniała możliwość korzystania z wiedzy większej liczby ekspertów/naukowców (w tym zagranicznych) nie wchodzących formalnie w skład zespołu badawczego (np. warsztaty, fokusy, metody delfickie itp.). Korzystanie z wiedzy większej liczby ekspertów/naukowców (w tym zagranicznych), którzy nie uczestniczą formalnie w pracach zespołu badawczego nie wpływa na koszty wykonania badania. Wykonawca poinformuje Zleceniodawcę o takiej sytuacji oraz przekaże wyczerpujące uzasadnienie celowości takiego działania wraz z informacją o dorobku zawodowym eksperta lub ekspertów. Zleceniodawca zastrzega sobie prawo wpływania na wybór eksperta lub ekspertów. 13

Jednym z istotnych produktów ewaluacji ex-ante będą przygotowane przez ewaluatora diagramy, obrazujące związki przyczynowo-skutkowe zachodzące pomiędzy zaplanowanymi w ramach programu działaniami i ich produktami a oczekiwanymi rezultatami (zgodnie z zaleceniami zawartymi w załączniku 1). Diagramy powinny przedstawiać rekomendowane przez ewaluatora modele logiczne programu i osi priorytetowych oraz zawierać szczegółowy opis związków przyczynowo-skutkowych wraz z odniesieniem do wyników badań naukowych/ewaluacyjnych/teorii społeczno-ekonomicznych. Ewaluator przygotuje również diagramy obrazujące związki przyczynowoskutkowe zachodzące pomiędzy spodziewanymi efektami programu a celami najważniejszych strategii na poziomie regionalnym, krajowym i unijnym, w tym w szczególności celami strategii Europa 2020. Wyjściowym punktem odniesienia dla procesu ewaluacji ex-ante jest Projekt Regionalnego Programu Operacyjnego Lubuskie 2020 w wersji aktualnej na dzień podpisania umowy z Wykonawcą w przedmiocie realizacji niniejszego zamówienia. Ewaluacja ex ante zostanie zrealizowana w oparciu o wskazane poniżej założenia metodologiczne, obejmujące minimalny zakres metod i technik badawczych wymaganych do zastosowania przez Wykonawcę. 1. Analiza danych zastanych, w tym co najmniej następujących dokumentów: (a) akty prawne: Rozporządzenie Parlamentu Europejskiego i Rady ustanawiające wspólne przepisy dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego, Funduszu Spójności, Europejskiego Funduszu Rolnego na rzecz Rozwoju Obszarów Wiejskich oraz Europejskiego Funduszu Morskiego i Rybackiego objętych zakresem wspólnych ram strategicznych oraz ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego i Funduszu Spójności oraz uchylające rozporządzenie Rady (WE) nr 1083/2006 (projekt oraz jego zmiany uzgadniane w ramach procesu negocjacji), Rozporządzenie Parlamentu Europejskiego i Rady w sprawie przepisów szczegółowych dotyczących Europejskiego Funduszu Rozwoju Regionalnego i celu Inwestycje na rzecz wzrostu gospodarczego i zatrudnienia oraz w sprawie uchylenia rozporządzenia (WE) nr 1080/2006 (projekt oraz jego zmiany uzgadniane w ramach procesu negocjacji), Rozporządzenie Parlamentu Europejskiego i Rady w sprawie Europejskiego Funduszu Społecznego i uchylające rozporządzenie Rady (WE) nr 1081/2006 (projekt oraz jego zmiany uzgadniane w ramach procesu negocjacji), Ustawa z dn. 6 grudnia 2006 r. o zasadach prowadzenia polityki rozwoju (przy uwzględnieniu nowelizacji planowanej w 2013 r.), inne akty prawne, uzasadnione w kontekście ewaluacji ex ante; (b) dokumenty strategiczne i programowe: Komunikat Komisji Europa 2020. Strategia na rzecz inteligentnego i zrównoważonego rozwoju sprzyjającego włączeniu społecznemu, Wspólne Ramy Strategiczne, Ustawa z 6 grudnia 2006 r. o zasadach prowadzenia polityki rozwoju 13, Programowanie perspektywy finansowej 2014-2020 uwarunkowania strategiczne, Krajowy Program Reform na rzecz Europy 2020, Umowa Partnerstwa na lata 2014-2020, Koncepcja Przestrzennego Zagospodarowania Kraju do 2030, 13 W badaniach należy uwzględnić aktualną, w danym momencie, treść dokumentu. 14

Długookresowa Strategia Rozwoju Kraju Polska 2030, Średniookresowa Strategia Rozwoju Kraju 2020, Polska 2030. Wyzwania rozwojowe, Krajowa Strategia Rozwoju Regionalnego 2010-2020, Strategia Innowacyjności i Efektywności Gospodarki, Strategia Rozwoju Kapitału Ludzkiego, Strategia Rozwoju Transportu, Bezpieczeństwo Energetyczne i Środowisko, Sprawne Państwo, Strategia Rozwoju Kapitału Społecznego, Krajowa Strategia Rozwoju Regionalnego 2010-2020: Regiony, Miasta, Obszary wiejskie, Strategia Rozwoju Systemu Bezpieczeństwa Narodowego RP, Strategia Zrównoważonego Rozwoju Wsi, Rolnictwa i Rybactwa, Strategia UE dla regionu Morza Bałtyckiego, Strategia Rozwoju Województwa Lubuskiego 2020, Projekt Regionalnego Programu Operacyjnego Lubuskie 2020, Dane pochodzące ze źródeł statystyki publicznej GUS Bank Danych Regionalnych, Materiał roboczy do wypracowania diagnozy sytuacji społeczno-gospodarczej województwa lubuskiego w ramach procesu przygotowania strategii rozwoju województwa lubuskiego, regionalne dokumenty strategiczne, stanowiące punkt odniesienia dla oceny spełniania warunków ex ante, mających zastosowanie do RPO-L2020 14, w szczególności: Lubuska Regionalna Strategia Innowacji, Strategia Rozwoju Turystyki w Województwie Lubuskim na lata 2006-2013, Strategia Polityki Społecznej Województwa Lubuskiego na lata 2005-2013, Strategia rozwoju kultury Województwa Lubuskiego, Lubuska Strategia Ochrony Zdrowia na lata 2010-2013, Zmiana Planu Zagospodarowania Przestrzennego Województwa Lubuskiego, Strategia Rozwoju Transportu Województwa Lubuskiego z horyzontem czasowym do 2015 roku, badania ewaluacyjne dotyczące LRPO 2007-2013 i PO KL zrealizowane w województwie lubuskim w okresie 2007-2013 www.lrpo.lubuskie.pl i www.efs.lubuskie.pl, inne dokumenty strategiczne i programowe, uzasadnione w kontekście ewaluacji ex-ante, których wykaz zostanie uzgodniony z Zamawiającym na etapie przygotowania raportu metodologicznego. (d) analizy, ekspertyzy i dokumenty powiązane z pracami nad projektem RPO: Programming Period 2014-2020. Monitoring and Evaluation of European Cohesionm Policy. Guidance document on ex-ante evaluation. European Regional Development Fund. European Social Fund. Cohesion Fund Concepts and Recommendations, Zalecenia w zakresie ewaluacji ex-ante programów operacyjnych na lata 2014-2020, Ministerstwo Rozwoju Regionalnego, 14 W badaniach należy uwzględnić aktualną, w danym momencie, treść dokumentów. Tym samym ewaluator na każdym etapie realizacji badania zobowiązany jest: przygotowując ocenę do brania pod uwagę najbardziej aktualną wersję RPO-L2020, przekazywaną przez Zamawiającego, a także strategie oraz wszystkie dodatkowe materiały, (np. raporty z konsultacji programu, czy też ocenę oddziaływania na środowisko), które powstaną w trakcie realizacji badania. 15

Evidence-based Cohesion Policy and its role in achieving Europe 2020 objectives, Ewaluacja ex-post Narodowego Planu Rozwoju na lata 2004-2006, Potencjał administracyjny systemu instytucjonalnego Narodowych Strategicznych Ram Odniesienia na lata 2007-2013, Ministerstwo Rozwoju Regionalnego, inne analizy, ekspertyzy i dokumenty powiązane z pracami nad projektem RPO, uzasadnione w kontekście ewaluacji ex ante, których wykaz zostanie uzgodniony z Zamawiającym na etapie przygotowania raportu metodologicznego. Wykonawca na etapie składania oferty oraz w trakcie procesu badawczego powinien zaproponować wykorzystanie innych źródeł wiedzy, stanowiących dane wtórne, tym dokumenty unijne i krajowe, które mają lub mogą mieć istotny wpływ na realizację celów badania. Zleceniodawca zastrzega sobie prawo do uzyskania informacji na temat przedmiotowych źródeł. Ponadto Zleceniodawca również może w trakcie badania zaproponować kolejne źródła wiedzy. Element ten ma na celu wyeliminowanie ryzyka braku odniesienia się do materiałów istotnych dla procesu badawczego. Wykonawca zobowiązany jest, aby podczas procesu badawczego oraz przygotowania projektu raportu i raportu końcowego (w tym formułowania rekomendacji i wniosków) uwzględnić najbardziej aktualne wersje dokumentów, które są istotne dla badania. 2. Panel ekspercki z udziałem członków zespołu wykonującego ocenę oddziaływania na środowisko. w procesie prac nad projektem raportu końcowego Wykonawca uwzględni zagadnienia związane z oceną oddziaływania - w tym celu Wykonawca podejmie współpracę z ekspertami wykonującymi ocenę oddziaływania na środowisko w zakresie uwzględnienia uwag zawartych w projekcie raportu z oceny oddziaływania na środowisko oraz zorganizuje co najmniej 1 spotkanie z ekspertami dokonującymi oceny oddziaływania na środowisko. 3. Panel ekspercki z udziałem członków zespołu ewaluacyjnego oraz pracowników Urzędu Marszałkowskiego Województwa Lubuskiego odpowiedzialnych za przygotowanie projektu RPO-L2020 (spotkania realizowane w ramach prac nad raportem końcowym). 3. Wywiady fokusowe (minimum 2 wywiady). 15 4. Wywiady indywidualne przeprowadzone z ekspertami w zakresie obszarów interwencji publicznych (osi priorytetowych) RPO-L2020 (minimum 5 wywiadów). 16 Powyższy zakres metod/technik/narzędzi oceny nie jest katalogiem zamkniętym i może zostać rozszerzony przez Wykonawcę w celu uzyskania optymalnych wyników oceny. Włączając kolejne metody i techniki badawcze Wykonawca będzie zobligowany do uzasadnienia ich celowości. Zamawiający ma prawo do odrzucenia proponowanej metody i techniki badawczej z uwagi na jej niezasadność. Kompletny zakres metodologii zostanie wskazany w ofercie Wykonawcy, a następnie jego poszczególne elementy zostaną szczegółowo przedstawione w raporcie metodologicznym, podlegającym akceptacji przez Zamawiającego. Wykonawca jest zobowiązany do 15 Szczegółowy zakres wywiadów fokusowych, jak również charakter respondentów biorących w nich udział zostanie doprecyzowany przez Wykonawcę we współpracy z Zamawiającym na etapie raportu metodologicznego. 16 Szczegółowy zakres wywiadów indywidualnych, jak również charakter respondentów biorących w nich udział zostanie doprecyzowany przez Wykonawcę we współpracy z Zamawiającym na etapie raportu metodologicznego. 16

udokumentowania realizacji wykorzystanych przez siebie metod/technik/narzędzi oceny (w tym transkrypcje/ notatki z przebiegu spotkań) oraz przekazania tej dokumentacji Zamawiającemu. Realizując ewaluację ex-ante, Wykonawca jest zobowiązany postępować zgodnie z powszechnymi standardami realizacji badań ewaluacyjnych. VI. Sposób prezentacji wyników badania W wyniku procesu badawczego przygotowane zostaną następujące najważniejsze produkty: a. raport metodologiczny zawierający: koncepcję badania uwzględniającą m.in. opis sposobu realizacji badania, cel badania (cel ogólny i cele szczegółowe), przedmiot i zakres badania, operacjonalizację pytań ewaluacyjnych, tj. przełożenie ich na wskaźniki (konkretne pytania badawcze; tabelaryczne przedstawienie związków między celami badawczymi, pytaniami szczegółowymi i wskaźnikami; szczegółowy opis metodologii ewaluacji wskazanie kryteriów ewaluacji z podaniem projektowanych wskaźników (opisanie zasad opracowania wskaźników(mierników), które posłużą ocenie stopnia realizacji poddawanych ewaluacji projektów/programów); opis metod i technik badawczych z podaniem ich uzasadnienia dla pozyskania określonej wiedzy; określenie badanej (badanych) zbiorowości (populacji) poddawanej (poddawanych) badaniu wraz z metodologicznym uzasadnieniem liczebności próby w zależności od zakładanego błędu pomiaru i przyjętego poziomu istotności (dotyczy to badań ilościowych); uzasadnienie doboru prób i ich wielkości w przypadku stosowania metod jakościowych; wskazanie sposobu zagwarantowania rzetelności oraz trafności wewnętrznej i zewnętrznej zastosowanych narzędzi w zależności od przyjętych i zaproponowanych technik; szczegółową listę publikacji i materiałów, które zostaną wykorzystane w badaniu (wskazanie metod planowanych do wykorzystania w analizach badanych dokumentów); szczegółowy harmonogram realizacji badań i analiz (zawierający konkretne daty) wraz z uzasadnieniem kolejności realizacji poszczególnych badań ilościowych i jakościowych; dokładny opis organizacji pracy badawczej wraz z podziałem odpowiedzialności poszczególnych członków zespołu badawczego za poszczególne elementy badania ewaluacyjnego z jednoczesnym ujęciem w harmonogramie badania; scenariusz/e wywiadów (fokusowych, indywidualnych), czy też warsztatów przygotowane osobno dla każdej grupy respondentów) wraz z listą osób, z którymi zostaną one przeprowadzone; opis koncepcji przeprowadzanych analiz oraz raportów z badań podlegających metaanalizie. b. raport końcowy z ewaluacji ex-ante, w tym m.in.: diagramy obrazujące związki przyczynowo-skutkowe zachodzące pomiędzy zaplanowanymi w ramach programu działaniami i ich produktami a oczekiwanymi rezultatami, diagramy obrazujące związki przyczynowo-skutkowe zachodzące pomiędzy spodziewanymi efektami programu a celami najważniejszych strategii na poziomie regionalnym, krajowym i unijnym, wstępna koncepcja procesu ewaluacji dla programu operacyjnego. c. konsultacje i analizy uzupełniające, w tym: 17