Szczegółowy opis przedmiotu zamówienia na wykonanie badania pt.: Ocena systemu monitorowania i wartości wskaźników PO KL 2007-2013

Szczegółowy opis przedmiotu zamówienia na wykonanie badania pt.: Ocena systemu monitorowania i wartości wskaźników PO KL 2007-2013 Słownik EFS Europejski Fundusz Społeczny IOK - Instytucja Ogłaszająca Konkurs IP Instytucja Pośrednicząca IP2 Instytucja Pośrednicząca drugiego stopnia (Instytucja Wdrażająca) KOP Komisja Oceny Projektów KSI Krajowy System Informatyczny (SIMIK 2007 2013) NSRO - Narodowe Strategiczne Ramy Odniesienia PEFS 2007 Podsystem Monitorowania Europejskiego Funduszu Społecznego na lata 2007-2013 PO KL Program Operacyjny Kapitał Ludzki IZ Instytucja Zarządzająca Wstęp Zgodnie z przyjętą logiką interwencji oraz zapisami Narodowych Strategicznych Ram Odniesienia (NSRO), Program Operacyjny Kapitał Ludzki jest dokumentem obejmującym całość interwencji realizowanej z wykorzystaniem Europejskiego Funduszu Społecznego dla Polski na lata 2007 2013, którego budżet to ponad 11 mld. Należy podkreślić, iż interwencja realizowana w ramach Programu jest istotnym elementem polityki spójności. Wsparcie przewidziane do realizacji przyczynić się ma do osiągania celów odnowionej Strategii Lizbońskiej oraz wpisuje się w realizację celu głównego NSRO. Cel główny Programu został sformułowany jako wzrost zatrudnienia i spójności społecznej. Cel ten jest realizowany poprzez sześć celów strategicznych: 1. podniesienie poziomu aktywności zawodowej oraz zdolności do zatrudnienia osób bezrobotnych i biernych zawodowo, 2. zmniejszenie obszarów wykluczenia społecznego, 3. poprawa zdolności adaptacyjnych pracowników i przedsiębiorstw do zmian zachodzących w gospodarce, 1

4. upowszechnienie edukacji społeczeństwa na każdym etapie kształcenia, przy równoczesnym zwiększaniu jakości usług edukacyjnych i ich silniejszym powiązaniu z potrzebami gospodarki opartej na wiedzy, 5. zwiększenie potencjału administracji publicznej w zakresie opracowania prawa i polityk, świadczenia usług wysokiej jakości oraz wzmocnienie mechanizmów partnerstwa, 6. wzrost spójności terytorialnej. Zgodnie z założeniami, wsparcie to jest realizowane w następujących obszarach: zatrudnienie, edukacja, integracja społeczna, rozwój potencjału adaptacyjnego pracowników i przedsiębiorstw, a także zagadnienia związane z rozwojem zasobów ludzkich na terenach wiejskich, z budową sprawnej i partnerskiej administracji publicznej wszystkich szczebli oraz z promocją zdrowia. Program Operacyjny Kapitał Ludzki wdrażany jest poprzez dziesięć Priorytetów: Priorytet I: Zatrudnienie i integracja społeczna; Priorytet II: Rozwój zasobów ludzkich i potencjału adaptacyjnego przedsiębiorstw oraz poprawa stanu zdrowia osób pracujących; Priorytet III: Wysoka jakość systemu oświaty; Priorytet IV: Szkolnictwo wyższe i nauka; Priorytet V: Dobre rządzenie; Priorytet VI: Rynek pracy otwarty dla wszystkich; Priorytet VII: Promocja integracji społecznej; Priorytet VIII: Regionalne kadry gospodarki; Priorytet IX: Rozwój wykształcenia i kompetencji w regionach; Priorytet X Pomoc techniczna, którego celem jest zapewnienie właściwego zarządzania PO KL, wdrażania oraz promocji Europejskiego Funduszu Społecznego. Wsparcie w ramach Programu realizowane jest zarówno na szczeblu centralnym (Priorytety I V), jak również regionalnym (Priorytety VI IX). System monitorowania Obowiązek monitorowania Programu Operacyjnego Kapitał Ludzki 2007-2013 wynika z Artykułu 47 Rozporządzenia Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 roku. Dokument ten ustanawia przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności. 2

Ogólne zasady sprawozdawczości Programu, instytucje odpowiedzialne za realizację procesu sprawozdawczości, zakres przedmiotowy sporządzanych sprawozdań i informacji miesięcznych oraz terminarz ich przedkładania zostały zawarte w Zasadach systemu sprawozdawczości Programu Operacyjnego Kapitał Ludzki 2007-2013. W dokumencie tym określona została również rola w systemie sprawozdawczości Komitetu i Podkomitetów Monitorujących Program. Adresatami Zasad systemu sprawozdawczości PO KL 2007-2013 są wszystkie instytucje zaangażowane we wdrażanie Programu. Monitorowanie na wszystkich poziomach wdrażania (od poziomu projektu, aż po poziom Programu) zostało oparte o system wskaźników. Jednocześnie weryfikacja osiągania zakładanych wartości wskaźników stanowi z założenia bardzo ważny czynnik zarządzania Programem Operacyjnym Kapitał Ludzki. 1 Strukturę systemu wskaźników sformułowanych na potrzeby Programu Operacyjnego Kapitał Ludzki 2007-2013, podobnie jak w przypadku innych programów operacyjnych realizowanych w latach 2007-2013, można podzielić na trzy podstawowe grupy ze względu na poziom wdrażania Programu, tj.: Wskaźniki produktu odnoszące się do danego projektu, wyrażane w jednostkach fizycznych lub walutowych. Wskaźniki produktu są mierzone na poziomie projektu, tzn. w ramach części sprawozdawczej wniosku beneficjenta o płatność, a następnie ich wartości są agregowane na wyższe poziomy wdrażania. 2 Wskaźniki produktu są zatem podstawowymi wskaźnikami monitorowania projektu i są określane przez projektodawcę we wniosku aplikacyjnym. Wskaźniki rezultatu odnoszące się do bezpośrednich efektów działań podejmowanych w ramach Programu (w krótkim okresie czasu) wobec uczestników projektów. Wskaźniki rezultatu mogą być wyrażone w: jednostkach fizycznych (mierzone są wtedy tak jak wskaźniki produktu), wartościach procentowych liczone głównie na podstawie wskaźników produktu oraz danych dotyczących liczebności danej grupy. Wskaźniki wpływu (oddziaływania) mające charakter długookresowy, obrazujące wpływ Programu w kontekście zmian społeczno-gospodarczych. Są one monitorowane na poziomie celu głównego i celów strategicznych Programu. 1 Wyjaśnienie sposobu pomiaru wskaźników oraz wskazanie poziomu wdrażania i typów projektów (również w formie tzw. mapy wskaźników) zostały przedstawione w Podręczniku Wskaźników Programu Operacyjnego Kapitał Ludzki 2007 2013 stanowiącym załącznik do Zasad systemu sprawozdawczości PO KL, Ministerstwo Rozwoju Regionalnego, Warszawa 2008. 2 Tj. na poziom Działania, Priorytetu, a następnie Programu. 3

Wskaźniki monitoringowe Wskaźnik produktu Wskaźniki rezultatu Wskaźniki wpływu Monitorowanie Działań i Priorytetów oraz celów szczegółowych Priorytetów Monitorowanie celów szczegółowych Priorytetów Monitorowanie celów Programu Proces monitorowania postępów wdrażania Programu wymaga zatem agregowania wartości wskaźników produktu oraz wskaźników rezultatu z załącznika nr 2 do wniosku beneficjenta o płatność, ze sprawozdań z realizacji Działań i Priorytetów oraz wartości wskaźników wpływu, których źródłem jest statystyka publiczna. 3 W przypadku weryfikowania postępu wdrażania Priorytetu agregowane są wartości wskaźników produktu oraz rezultatu ze sprawozdań z realizacji Działań, natomiast zagregowane wartości wskaźników produktu z wniosków o płatność przesyłanych przez beneficjentów Programu służą do obliczania wartości wskaźników mierzonych na poziomie Działań. Głównym zadaniem systemu jest zatem wspomaganie monitorowania osiągania celu głównego, celów strategicznych oraz celów szczegółowych Programu. W ramach działań podejmowanych w celu zwiększenia jakości oraz lepszego zarządzania systemem monitorowania została utworzona Grupa do spraw Sprawozdawczości. W skład Grupy wchodzą przedstawiciele instytucji zaangażowanych we wdrażanie PO KL (IZ, IP oraz IP2). Grupa stanowi forum wymiany doświadczeń w obszarze monitorowania i sprawozdawczości. Celem jej istnienia jest ciągłe udoskonalanie systemu oraz rozwiązywanie bieżących problemów pojawiających się w przedmiotowym obszarze. Podsystem Monitorowania Europejskiego Funduszu Społecznego dla PO KL Jednym z narzędzi wspierających monitorowanie Programu jest Podsystem Monitorowania Europejskiego Funduszu Społecznego, stanowiący uzupełnienie Krajowego Systemu Informatycznego (KSI SIMIK 2007-2013), przeznaczonego do celów bieżącej 3 Szczegółowy opis systemu agregacji wskaźników stosowanego w ramach Programu Operacyjnego Kapitał Ludzki, został przedstawiony w Zasadach systemu sprawozdawczości Programu Operacyjnego Kapitał Ludzki 2007-2013, Ministerstwo Rozwoju Regionalnego, Warszawa, 2008. 4

sprawozdawczości Programu. Podstawowym zadaniem PEFS jest spełnienie wszelkich wymogów Komisji Europejskiej, ze względu na specyfikę EFS, nieuwzględnionych w systemie KSI SIMIK 07-13. Podsystem będzie umożliwiał gromadzenie, przetwarzanie i agregowanie danych w odniesieniu do osób oraz instytucji obejmowanych wsparciem w ramach Programu Operacyjnego Kapitał Ludzki. Podsystem Monitorowania Europejskiego Funduszu Społecznego będzie zatem systemem przeznaczonym do monitorowania efektów realizacji projektów dofinansowanych z EFS poprzez zbieranie danych od osób oraz instytucji bezpośrednio objętych wsparciem w ramach PO KL. Dane te zbierane będą w oparciu o formularz PEFS, czyli plik.xls ułatwiający gromadzenie danych przez projektodawców, a następnie przekazywanie ich do odpowiednich instytucji. Wszystkie formularze przekazywane przez projektodawców oparte są o ten sam spójny zakres danych 4. Dane gromadzone w bazie PEFS mają służyć dwóm podstawowym celom: po pierwsze baza PEFS będzie służyć generowaniu wskaźników obrazujących stopień realizacji PO KL. Informacje zawarte w PEFS stanowić będą źródło danych do obliczenia niektórych wskaźników produktu i rezultatu, określonych w dokumentach programowych. informacje zbierane w bazie umożliwią również dotarcie do uczestników projektów (zarówno osób, jak i instytucji), w celu przeprowadzania badań ewaluacyjnych w zakresie efektywności wsparcia udzielanego z wykorzystaniem środków Europejskiego Funduszu Społecznego. Wyniki prowadzonych analiz mają służyć ocenie adekwatności, skuteczności i trwałości udzielonej pomocy, a ich wyniki będą stanowić również podstawę dla oszacowania wartości wskaźników, w których źródło danych zostało wskazane, jako badanie ewaluacyjne. Baza PEFS zawiera dane osób oraz instytucji przypisanych do poszczególnych projektów realizowanych w ramach PO KL. Beneficjenci (projektodawcy) przekazują dane dotyczące uczestników wsparcia do odpowiednich instytucji (IP, IP2, lub IZ w przypadku Działania 5.3) wraz z kolejnymi wnioskami o płatność. W przekazywanych formularzach każdorazowo znajdują się dane osób oraz instytucji, uczestniczących w projekcie, od początku jego realizacji wraz z odpowiednim statusem. 5 Dane te stanowią również podstawę dla sporządzania załącznika nr 2 do wniosku beneficjenta o płatność, stanowiącego sprawozdawczą częśćwniosku 6. W czasie realizacji niniejszego badania baza PEFS będzie miała charakter rozproszony. Do czasu utworzenia zintegrowanej bazy PEFS, każda z IP, IP2 oraz IZ posiadać będzie bazę 4 Zakres zbieranych danych w ramach Formularza PEFS stanowi załącznik do dokumentu pn.: Zasady finansowania Programu Operacyjnego Kapitał Ludzki, Ministerstwo Rozwoju Regionalnego, marzec 2009 r., Warszawa. 5 Na podstawie danych zawartych w formularzu możliwa jest identyfikacja osób, które kontynuują, przerwały lub też zakończyły udział w projekcie zgodnie z zaplanowaną dla siebie ścieżką uczestnictwa. 6 Generator wniosków płatniczych oraz załącznik nr 2 dostępne są za pośrednictwem stron: http://www.efs.gov.pl/dokumenty/strony/dokumenty.aspx#zakladka=2 http://www.efs.gov.pl/dokumenty/zmianywdokumentach/documents/zalacznik2.xls 5

lokalną, do której wprowadzane będą informacje dotyczące zarówno osób, jak i instytucji obejmowanych wsparciem w ramach PO KL, na podstawie formularzy przekazanych jej przez projektodawców. Agregacja danych niezbędnych do celów sprawozdawczych będzie realizowana w oparciu o dane wszystkich baz lokalnych zarejestrowanych na potrzeby PO KL. Docelowo system PEFS 2007 będzie oparty na działaniu jednej zintegrowanej bazy, w ramach której każda z Instytucji Pośredniczących (pierwszego oraz drugiego stopnia) będzie miała dostęp do wprowadzanych przez siebie danych. 7 Instytucja Zarządzająca PO KL, jako administrator bazy będzie posiadała wgląd we wszystkie dane w niej zamieszczone. Oddanie do użytku zintegrowanej bazy PEFS (hurtowni danych) planowane jest na czwarty kwartał 2010 roku. Jednym z istotnych elementów badania będzie zatem analiza przydatności Podsystemu Monitorowania Europejskiego Funduszu Społecznego 2007 do potrzeb sprawozdawczości na wszystkich poziomach użytkowania systemu czyli od poziomu projektodawców, poprzez instytucje zaangażowane we wdrażanie Programu (IP i IP2), aż do potrzeb Instytucji Zarządzającej. Analiza powinna zostać przeprowadzona na podstawie udostępnionych w chwili realizacji badania modułów użytkowania bazy PEFS, jak również informacji, o funkcjonalnościach, które będą udostępnione w przyszłości (formularz PEFS 2007, bazy lokalne, hurtownia danych oraz moduł beneficjenta). Poszczególne składowe Podsystemu, które nie zostaną oddane do użytku do czasu realizacji niniejszego badania powinny zostać przeanalizowane na podstawie specyfikacji systemu przygotowanej na potrzeby stworzenia bazy. Cel i koncepcja badania Badanie ma na celu: weryfikację adekwatności, skuteczności oraz efektywności systemu monitorowania postępów we wdrażaniu PO KL, oszacowanie stopnia oraz zakresu wykorzystywania pozyskiwanych danych dla zarządzania na wszystkich poziomach wdrażania Programu 8, zweryfikowanie dopasowania realizowanego wsparcia do obecnej sytuacji ekonomiczno gospodarczej, zweryfikowanie założonych wartości docelowych wskaźników. W związku z powyższym badanie powinno składać się z dwóch odrębnych modułów. 7 Szczegółowa architektura oraz funkcjonalności bazy PEFS zostały opisane w Specyfikacji wymagań budowy systemu PEFS 2007. SIWZ zostanie przekazany Wykonawcy badania na jego żądanie. Ze względu na fakt, iż stanowi on część dokumentacji przetargowej, objęty będzie ścisłą klauzulą poufności. 8 Poziom projektu, Działania, Priorytetu oraz Programu, z uwzględnieniem wykorzystania danych poddanych dezagregacji, ze względu na płeć. 6

Moduł I Zgodnie z Artykułem 33 Rozporządzenia Rady (WE) nr 1083/2006zajście znaczących zmian społeczno gospodarczych może skutkować weryfikacją programów operacyjnych, w celu ich lepszego dopasowania do aktualnej sytuacji kraju. Weryfikacja taka może zostać przeprowadzona zarówno z inicjatywy państwa członkowskiego, jak również Komisji w porozumieniu z zainteresowanym państwem członkowskim. W związku z powyższym w ramach modułu powinna zostać przeprowadzona weryfikacja adekwatności diagnozy zawartej w Programie Operacyjnym Kapitał Ludzki do obecnej sytuacji społeczno ekonomicznej kraju, a tym samym wartości wskaźników określonych dla Programu (ze szczególnym uwzględnieniem obszarów występowania pomocy publicznej). W ramach niniejszego modułu Wykonawca badania powinien dokonać prognozy możliwości osiągnięcia wartości zaproponowanych przez Wykonawcę wskaźników określonych w dokumentach programowych (z użyciem modelowania). W ramach modułu I Wykonawca powinien również przeprowadzić metaanalizę badań ewaluacyjnych odnoszących się do systemu monitorowania, w tym szacowania wartości wskaźników, zrealizowanych przez poszczególne IP oraz IP2 9. Analizy powinny zostać uzupełnione o dane pozyskane w ramach niniejszego badania. Dane uzyskane w ramach modułu I, powinny stanowić podstawę dla sformułowania propozycji modyfikacji wartości docelowych wskaźników produktu, w taki sposób, aby były one w większym stopniu dopasowane do potrzeb IP (wskaźniki podlegające dezagregacji, łącznie z analizą metodologii ich szacowania) i jednocześnie zapewniały realizację celów PO KL. W ramach przedmiotowego modułu Wykonawca badania powinien również poddać ocenie: 1. skuteczność wskaźników dla szacowania wpływu interwencji EFS realizowanej w okresie 2007 2013 na wszystkich poziomach wdrażania (od poziomu projektu do poziomu Programu), 2. adekwatność przyjętych wskaźników w kontekście szacowania stopnia osiągania celów PO KL (poczynając od celów szczegółowych po cel główny), Moduł II W kolejnym module Wykonawca badania powinien przeanalizować zagadnienia związane z funkcjonowaniem samego systemu monitorowania i sprawozdawczości, wraz z wykorzystywanymi w ich ramach narzędziami, w szczególności z uwzględnieniem: skuteczności rozwiązań zastosowanych w ramach systemu, jakości pozyskiwanych w jego ramach danych, efektywności jego funkcjonowania (efektywność powinna tu być rozumiana, jako stosunek uzyskanych korzyści do poniesionych nakładów np.: w przypadku weryfikowania wartości wskaźników w szczególności tych, dla których źródło stanowią wyniki badań ewaluacyjnych). 9 Wykonawca badania powinien również uwzględnić tabele rekomendacji wypracowane w ramach badań zrealizowanych przez IZ w obszarze PO KL, w zakresie rekomendacji odnoszących się do systemu monitorowania oraz propozycji modyfikacji wskaźników Programu. 7

Analizy prowadzone w tym obszarze powinny obejmować m. in. benchmarking z minimum dwoma wybranymi krajami członkowskimi. Od Wykonawcy badania oczekuje się dokonania wyboru krajów, których systemy monitorowania oraz sprawozdawczości będą umożliwiały udzielenie odpowiedzi na pytania modułu II dotyczące skuteczności, jakości oraz efektywności. Badanie to powinno pozwolić na sformułowanie zestawu operacyjnych rekomendacji dotyczących systemu monitorowania oraz sprawozdawczości Programu Operacyjnego Kapitał Ludzki. 10 Niezbędnym elementem badania będzie również analiza wykorzystywania danych pochodzących z systemu sprawozdawczości w procesie zarządzania Programem, w tym również powiązania systemu sprawozdawczości z systemem ewaluacji. Analizy prowadzone w ramach niniejszego modułu powinny ponadto pozwolić na udzielenie odpowiedzi na następujące pytania badawcze: 1. W jaki sposób system monitorowania jest zarządzany 11 w poszczególnych instytucjach zaangażowanych we wdrażanie Programu i jak przyjęte w poszczególnych instytucjach modele wpływają na jakość, efektywność oraz wykorzystywanie pozyskiwanych danych? 2. W jaki sposób oraz w jakim stopniu dane pochodzące z systemu monitorowania i sprawozdawczości są wykorzystywane przez IP do programowania wsparcia oraz tworzenia Planów działania w kolejnych latach wdrażania Programu? 3. Jak kształtuje się ścieżka krytyczna procesu sprawozdawczego w ujęciu rocznym, wraz z analizą obciążenia oraz jakością zasobów ludzkich odpowiedzialnych za tworzenie sprawozdań oraz system monitorowania w poszczególnych instytucjach zaangażowanych w realizację Programu? 4. Jaki wpływ na dopasowanie systemu monitorowania do potrzeb poszczególnych instytucji oraz zmieniających się czynników zewnętrznych wywierają prace realizowane w ramach Grupy roboczej ds. sprawozdawczości oraz wkład wnoszony przez poszczególnych przedstawicieli IP i IP2? 5. W jakim stopniu wsparcie doradcze i szkoleniowe realizowane dotychczas na rzecz IP, IP2 oraz beneficjentów jest skuteczne i efektywne (również w kontekście rotacji członków Grupy ds. Sprawozdawczości)? 6. Jakie działania powinny zostać podjęte, w celu zwiększenia jakości oraz przydatności danych wprowadzanych przez poszczególne IP oraz IP2 do KSI, wykorzystywanych dla celów bieżącej sprawozdawczości? 7. Jakie dobre praktyki można zidentyfikować w ramach działań realizowanych przez polskie oraz europejskie IOK, zabezpieczające przed wyborem projektów o: 10 Jako punkt wyjścia do dokonania wyboru krajów UE, których systemy monitorowania i sprawozdawczości będą analizowane w ramach benchmarkingu, Wykonawca może się oprzeć na publikacji: Evaluation of the information systems and monitoring arrangements for the programmes supported by the ESF (contractor: Vision & Value - Information Systems and Innovation Group LSE), 2007r., dostępnej na stronie: http://ec.europa.eu/social/main.jsp?catid=701&langid=en&internal_pagesid=616&moredocuments=yes&tabl ename=internal_pages. 11 W ramach niniejszego zagadnienia Wykonawca badania powinien przeanalizować wszelkie aspekty wchodzące w skład systemu zarządzania systemem monitorowania przyjętego w danej instytucji uwzględniające np.: współpracę oraz przepływ informacji pomiędzy pracownikami zaangażowanymi w realizowanie działań powiązanych z systemem monitorowania (sprawozdawczość, KSI, określanie wskaźników w ramach Planów działania, etc.). 8

- źle sformułowanych wskaźnikach, - wskaźnikach niemierzących rzeczywistych celów projektu, - wskaźnikach sformułowanych niezgodnie z metodologią ich tworzenia, - nie zawierających wskaźników? 8. Jak należy ocenić funkcjonalności przewidziane w ramach systemu PEFS 2007 w kontekście dopasowania do potrzeb funkcjonowania systemu sprawozdawczości na wszystkich poziomach wdrażania (od projektodawców aż po IZ)? Minimum metodologiczne Ze względu na cel oraz zakres badania minimum metodologiczne, jakie musi zostać zrealizowane powinno obejmować: analizę danych zastanych, indywidualne wywiady pogłębione IDI przeprowadzone z pracownikami instytucji zaangażowanych we wdrażanie Programu Operacyjnego Kapitał Ludzki, benchmarking w stosunku do minimum 2 wybranych krajów UE, - na zakończenie procesu badawczego Wykonawca zorganizuje panel ekspertów, w ramach którego weryfikacji zostaną poddane sformułowane w ramach badania rekomendacje (z uwzględnieniem zaproponowanych modyfikacji wskaźników oraz określonych dla nich wartości). Panel powinien zostać zorganizowany z udziałem doświadczonych teoretyków oraz praktyków w zakresie monitorowania i sprawozdawczości (w tym min. 2 przedstawicieli Departamentu Zarządzania EFS). Jednocześnie Zamawiający zastrzega sobie prawo akceptacji zaproponowanych przez Wykonawcę ekspertów, a ich pełna lista powinna stanowić załącznik do raportu metodologicznego. Zaproponowana przez Wykonawcę metodologia badania powinna wskazywać na głębokie zrozumienie tematu badania przez ewaluatora i uwzględniać aktualny stan wiedzy naukowej (krajowej i zagranicznej) w obszarze projektowanej ewaluacji. Zaproponowane narzędzia badawcze oraz adekwatność doboru próby będzie stanowiła ważny punkt oceny złożonych ofert. Po rozstrzygnięciu przetargu Wykonawca i Zamawiający wspólnie zdecydują o precyzyjnym zakresie badania i uzgodnią szczegółową metodologię po przedstawieniu propozycji metod badawczych przez Wykonawcę. Jeśli w trakcie realizacji badania okaże się, że dostępne informacje nie są wystarczające, aby odpowiedzieć na postawione pytania badawcze, Wykonawca zaproponuje odpowiednie metody ewaluacyjne w celu uzupełnienia powstałych luk. HARMONOGRAM REALIZACJI BADANIA Zadanie będzie realizowane w terminie 154 dni od dnia podpisania umowy w 6 etapach: w terminie do 28 dni od dnia podpisania umowy Wykonawca przedstawi Zamawiającemu wstępną wersję raportu metodologicznego (etap 1); 9

w terminie do 42 dni od dnia podpisania umowy Wykonawca przedstawi ostateczną wersję raportu metodologicznego (etap 2); w terminie do 84 dni od dnia podpisania umowy Wykonawca przedstawi wstępny raport cząstkowy przedstawiający pełne wyniki badania dla jednego z obszarów 12, którego wybór zostanie uzgodniony z Zamawiającym (3 etap); w terminie do 98 dni od dnia podpisania umowy Wykonawca przedstawi ostateczny raport cząstkowy przedstawiający pełne wyniki badania dla jednego z obszarów, którego wybór zostanie uzgodniony z Zamawiającym (4 etap); w terminie do 133 dni od dnia podpisania umowy Wykonawca przedstawi Zamawiającemu wstępny raport końcowy (etap 5); w terminie do 154 dni od dnia podpisania umowy Wykonawca przedstawi Zamawiającemu ostateczną wersję raportu końcowego (etap 6). Wszystkie ostateczne i robocze wersje raportów zostaną przedstawione Zamawiającemu w formie elektronicznej i drukowanej (w liczbie 3 egzemplarzy). OCZEKIWANIA WOBEC WYKONAWCY Od Wykonawcy oczekuje się sprawnej i terminowej realizacji badania oraz współpracy z Zamawiającym, w tym: opracowania metodologii badania i jej uzasadnienia; opracowania szczegółowego harmonogramu badania; przygotowania narzędzi badawczych oraz materiałów do badania; pozostawania w stałym kontakcie z Zamawiającym (spotkania odpowiednio do potrzeb, kontakt telefoniczny, e-mail, wyznaczenie osoby do kontaktów roboczych); informowania o stanie prac, pojawiających się problemach i innych zagadnieniach istotnych dla realizacji badania; przekazania Zamawiającemu wstępnej wersji raportu metodologicznego, ostatecznej wersji raportu metodologicznego, wstępnej wersji raportu cząstkowego, ostatecznej wersji raportu cząstkowego, wstępnej wersji raportu końcowego oraz ostatecznej wersji raportu końcowego zgodnie z harmonogramem; przekazanie Zamawiającemu na zakończenie każdej z edycji badania pełnej dokumentacji badania ewaluacyjnego (m.in. narzędzi badawczych, wszystkich baz danych, etc.). W przypadku zaistnienia znaczących problemów w realizacji badania i/lub zaistnienia wątpliwości co do jego jakości, na żądanie Zamawiającego, Wykonawca będzie przedstawiał informacje na temat postępów w realizacji badania, w trybie wskazanym przez Zamawiającego. 12 W opisanym przypadku obszaru nie należy utożsamiać z jednym z modułów badania. 10

W przypadku trudności Zamawiający będzie udzielał pomocy Wykonawcy w kontakcie z badanymi instytucjami oraz pozyskaniu dokumentów do badania. FORMAT I STRUKTURA RAPORTU KOŃCOWEGO 13 Raport końcowy powinien składać się z: 1) jednostronicowego resumé, w którym zebrane zostaną najistotniejsze wyniki i rekomendacje; 2) streszczenia w języku polskim oraz angielskim (istotne wyniki wraz z rekomendacjami; objętość do 10 stron A4). Streszczenie powinno być zawarte w osobnym dokumencie; 3) spisu treści; 4) wprowadzenia (opisu przedmiotu, głównych celów i założeń badania); 5) opisu wyników badania (wraz z ich analizą i interpretacją); 6) wniosków (podsumowanie badania z uwzględnieniem specyfiki badanego obszaru) i rekomendacji (ponumerowanie najważniejszych propozycji), zredagowanych tak, aby do każdego wniosku przypisane były odpowiednie rekomendacje; 7) aneksów, przedstawiających zestawienia danych oraz narzędzia badawcze. Broszura informacyjna Wykonawca przygotuje ponadto max 4-stronicowe opracowanie (format A5) w kształcie broszury. Broszura ta powinna być napisana językiem zrozumiałym dla szerokiego grona odbiorców i zawierać krótki opis badania oraz najważniejsze wyniki i rekomendacje płynące z raportu. Broszura powinna zawierać wykresy, mapy, ewentualnie zdjęcia i być opracowana graficznie w formie umożliwiającej jej publikację bez dodatkowych korekt. Tak przygotowana publikacja ma zachęcić do lektury całego dokumentu. Broszurę należy przedstawić w formie elektronicznej (CD-ROM) i drukowanej (5 egzemplarzy). Broszura dodatkowo powinna być opracowana w języku angielskim. Prezentacje wyników badania Wykonawca będzie ponadto zobowiązany do zaprezentowania wyników prac (raportu metodologicznego i końcowego) na maksymalnie 3 spotkaniach. Terminy i miejsca ewentualnych spotkań zostaną uzgodnione z Zamawiającym. Dodatkowo już po zakończeniu realizacji umowy - ewaluator zobowiązuje się do wzięcia udziału w ewentualnym spotkaniu uzgodnieniowym omawiającym Tabelę wniosków i rekomendacji z jej adresatami. 13 Raport końcowy zostanie poddany przez Zamawiającego oraz wybranych członków Grupy Sterującej Ewaluacją PO KL ocenie zgodnie z wytycznymi Krajowej Jednostki Oceny. Formularz oceny raportu stanowi załącznik nr 1 do przedmiotowego dokumentu. 11

ŹRÓDŁA INFORMACJI W celu uzyskania szczegółowych informacji na temat systemu monitorowaniu realizowanego w ramach PO KL należy zapoznać się z poniżej wymienionymi dokumentami: 1) Rozporządzenie (WE) nr 1081/2006 Parlamentu Europejskiego i Rady z dnia 5 lipca 2006 r. w sprawie Europejskiego Funduszu Społecznego i uchylające rozporządzenie (WE) nr 1784/1999; 2) Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999; 3) Rozporządzenie Komisji (WE) nr 1828/2006 z dnia 8 grudnia 2006 r. ustanawiające szczegółowe zasady wykonania Rozporządzenia Rady (WE) nr 1083/2006 ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności oraz rozporządzenia (WE) nr 1080/2006 Parlamentu Europejskiego i Rady w sprawie Europejskiego Funduszu Rozwoju Regionalnego, w tym załącznik XXIII Dane na temat uczestników w operacjach EFS w podziale na priorytety; 4) Ustawa z dnia 6 grudnia 2006 r. o zasadach prowadzenia polityki rozwoju (Dz. U. Nr 227, poz. 1658, z późn. zm.); oraz następujących dokumentów: 5) Wytyczne w zakresie sprawozdawczości w ramach Narodowych Strategicznych Ram Odniesienia 2007-2013 z dnia 29 maja 2008 roku; 6) Program Operacyjny Kapitał Ludzki 2007-2013; 7) Szczegółowy Opis Priorytetów PO KL 2007-2013; 8) Zasady systemu sprawozdawczości Programu Operacyjnego Kapitał Ludzki 2007-2013, Ministerstwo Rozwoju Regionalnego, Warszawa, 2008; 9) Szczegółowa architektura oraz funkcjonalności bazy PEFS opisane w Specyfikacji wymagań budowy systemu PEFS 2007 ; 10) Podręcznik Użytkownika Podsystemu Monitorowania Europejskiego Funduszu Społecznego 2007 dla PO KL; 11) Metodyka Dezagregacji Wskaźników Monitorowania Programu Operacyjnego Kapitał Ludzki, MRR, Warszawa, 2008 r.; 12) Evaluation of the information systems and monitoring arrangements for the programmes supported by the ESF (contractor: Vision & Value - Information Systems and Innovation Group LSE, 2007). Dokumenty wymienione w pkt. 1-8 są dostępne na stronach internetowych Ministerstwa Rozwoju Regionalnego (Instytucja Zarządzająca SPO RZL i PO KL) www.efs.gov.pl, pozycje 9 11 zostaną udostępnione na żądanie Wykonawcy badania. Pozycja nr 12 dostępna jest za pośrednictwem strony http://ec.europa.eu/. 12

Wykonawca jest zobowiązany również do gromadzenia dodatkowych informacji, których pozyskanie będzie konieczne dla prawidłowej realizacji badania. Mając na uwadze zapewnienie jak największej obiektywności procesu ewaluacji, w skład zespołu badawczego nie powinny być zaangażowane osoby bezpośrednio uczestniczące w proces tworzenia systemu monitorowania oraz formułowanie wskaźników dla Programu Operacyjnego Kapitał Ludzki. 13

Załącznik nr 1 do Szczegółowego opisu przedmiotu zamówienia Karta Oceny Procesu i Wyników Badania Ewaluacyjnego Tytuł badania ewaluacyjnego Instytucja zlecająca badanie Wykonawca/y badania Wielkość badania (finalna kwota brutto) Termin realizacji badania (data rozpoczęcia i zakończenia badania) Obszar ewaluacji 14 Ocena wykonana przez ( * ) : Podmiot X Grupę Sterującą Jednostkę ewaluacyjną zlecającą badanie Inny podmiot (proszę wpisać jaki) (*) moŝliwość wykonania oceny przez kilka podmiotów Data przeprowadzenia oceny jakości badania Pozostałe dokumenty do przekazania Krajowej Jednostce Oceny: Raport metodologiczny (data i link lub plik przesłany w formacie PDF oraz innym, powszechnie stosowanym i otwartym do edycji) 15 Raport końcowy (data i link lub plik) Streszczenie raportu końcowego - Wersja polska (link lub plik) - Wersja angielska (link lub plik) 14 Wg klasyfikacji sformułowanej przez KJO w dokumencie System ewaluacji Narodowego Planu Rozwoju na lata 2004-2006 i Narodowych Strategicznych Ram Odniesienia na lata 2007-2013, KJO, Warszawa wrzesień 2007: rozwój regionalny I terytorialny, budowa potencjału administracji publicznej i realizacja zasady "good governance", rozwój zasobów ludzkich, wpływ NPR i NSRO na rozwój społeczno-ekonomiczny, środowisko (SEA - Strategic Environmental Assessment), innowacyjność gospodarki, rozwój I modernizacja infrastruktury. 14

FORMULARZ OCENY BADANIA EWALUACYJNEGO Tytuł badania: Kryteria oceny badania ewaluacyjnego Niedostatecznie Słabo Dostatecznie Dobrze Celująco Uwagi/ Uzasadnienie TRAFNOŚĆ Czy treść odpowiada zidentyfikowanym potrzebom informacyjnym? UWZGLĘDNIENIE STANU WIEDZY NAUKOWEJ Czy w trakcie realizacji badania (na wszystkich etapach) wykonawca odnosił się do istniejącego stanu wiedzy dot. przedmiotu badania? ZASTOSOWANA METODOLOGIA Czy metodologia i sposób realizacji badania (zaproponowane metody i narzędzia) były odpowiednie dla realizacji celów badania i odpowiedzi na zadane pytania ewaluacyjne? WIARYGODNOŚĆ DANYCH Czy zebrane dane są adekwatne do zamierzonego użycia i czy ich wiarygodność została sprawdzona? JAKOŚĆ ANALIZY I WNIOSKÓW Czy dane ilościowe i jakościowe są poddawane analizie w prawidłowy sposób? PRZEJRZYSTOŚĆ RAPORTU Czy raport jest dobrze skonstruowany, prawidłowo skomponowany (harmonijny) oraz napisany w zrozumiały i przystępny sposób? OCENA STRESZCZENIA RAPORTU Czy streszczenie raportu napisane jest w sposób syntetyczny, jasny i czytelny? OCENA REKOMENDACJI Czy sformułowane rekomendacje są trafne, użyteczne i obiektywne? OCENA TABELI REKOMENDACJI Czy tabela została opracowana w sposób syntetyczny, jasny i precyzyjny? OCENA WSPÓŁPRACY Z WYKONAWCĄ BADANIA Kwestie związane z bieżącym kontaktem w trakcie badania, konsultowanie i uwzględnianie ewentualnych uwag Zamawiającego, terminowość, elastyczność w przypadku zaistnienia nieprzewidzianych czynników 15 Jeśli realizacja badania była współfinansowana ze środków UE, przekazane dokumenty powinny być oznaczone zgodnie z wytycznymi KE i MRR dotyczącymi działań informacyjnych i promocyjnych. 15

kontekstowych. OCENA WSPÓŁPRACY Z INNYMI PODMIOTAMI W TRAKCIE REALIZACJI BADANIA Jak wyglądała współpraca (Zamawiającego) z innymi podmiotami zewnętrznymi (w zależności specyfiki badania Grupy Sterujące, Komitety Monitorujące, kluczowi interesariusze)? 16