Oferta. Raport końcowy. Badanie ewaluacyjne działań informacyjno-promocyjnych i szkoleniowych oraz systemu wyboru i wdrażania projektów

Podobne dokumenty
Szkolnictwo Wyższe i Nauka

Program Operacyjny Kapitał Ludzki

Metodologia badania. Cele szczegółowe ewaluacji zakładają uzyskanie pogłębionych odpowiedzi na wskazane poniżej pytania ewaluacyjne:

Narodowe Centrum Badań i Rozwoju

Sylabus przedmiotu / modułu kształcenia - (studia podyplomowe)

Szkolnictwo Wyższe i Nauka

Ocena spełnienia kryterium będzie polegała na przyznaniu wartości logicznych TAK, NIE.

ZARZĄDZENIE Nr 61/2016 STAROSTY POZNAŃSKIEGO Z DNIA 22 lipca 2016 roku

Analiza komplementarności projektów RPO WL z innymi interwencjami finansowanymi ze środków UE na terenie Lubelszczyzny

KONFERENCJA INFORMACYJNA PROGRAM OPERACYJNY KAPITAŁ LUDZKI Rybnik, 16 października 2007r. Otwarcie spotkania Prezentacja systemu wdrażania PO KL i

Regionalnego Programu Operacyjnego. Województwa Podkarpackiego. na rok Urząd Marszałkowski Województwa Podkarpackiego

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

MONITORING I EWALUACJA LOKALNEJ STRATEGII ROZWOJU GRUDZIĄDZKI SPICHLERZ

Priorytet X. Pomoc techniczna

OKRESOWY PLAN EWALUACJI

Okresowy plan ewaluacji Regionalnego Programu Operacyjnego. Województwa Podkarpackiego na lata na rok 2013

Szczegółowy Opis Przedmiotu Zamówienia Dla zamówienia publicznego poniżej EUR brutto

Plan działania na lata

Plan działania na lata

Załącznik nr 1 do Uchwały PKM Nr 7/11 z dnia 29 listopada 2011 r. Karta A2 dla Działania 6.2. IV kw. LP. Konkursu:

Elementy podlegające monitoringowi i ewaluacji w ramach wdrażania LSR dla obszaru PLGR

Cele Programu Operacyjnego Kapitał Ludzki CELE SZCZEGÓŁOWE

PROGRAMOWANIE I WDRAŻANIE EUROPEJSKIEGO FUNDUSZU SPOŁECZNEGO. Dr Piotr Owczarek

POLSKIE FORUM OSÓB NIEPEŁNOSPRAWNYCH

Zasada równości szans kobiet i mężczyzn w ramach EFS Warszawa

BADANIA EWALUACYJNE -WPROWADZENIE

Biuro projektu: ul. Kościuszki 4/6a, Rzeszów, tel.: ,

Struktura wdrażania Programu Operacyjnego Kapitał Ludzki

SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA

DZIAŁANIE 9.3 PRZYGOTOWANIE INWESTYCJI STRATEGICZNYCH

Program Operacyjny Kapitał Ludzki Perspektywą Rozwoju Województwa Lubelskiego

DOŚWIADCZENIA PARP Z POPRZEDNIEJ PERSPEKTYWY W REALIZACJI PROGRAMÓW I PROJEKTÓW FINANSOWANYCH ZE ŚRODKÓW UE

Program Operacyjny Kapitał Ludzki Toruń, 29 czerwca 2007

Karta oceny merytorycznej wniosku o dofinansowanie projektu konkursowego PO KL 1

Proponowany harmonogram współpracy w zakresie wdrażania instrumentu ZIT w ramach RPO WK-P

ZAŁĄCZNIK A OPIS PRZEDMIOTU ZAMÓWIENIA

Lp. Brzmienie kryterium Definicja kryterium Opis kryterium 1. Wnioskodawca może złożyć tylko jeden wniosek dla danego podregionu.

Cele Programu Operacyjnego Kapitał Ludzki. Celem głównym Programu Operacyjnego Kapitał Ludzki jest: Wzrost poziomu zatrudnienia i spójności społecznej

6.7 Programy zapewnienia i zwiększenia dostępu do opieki nad dziećmi w wieku do lat 3 w ramach Kontraktów Samorządowych

Plan komunikacji dla LGD POJEZIERZE RAZEM:

Wojewódzki Urząd Pracy w Poznaniu

1. Koordynator/koordynatorka projektu

Wsparcie Ośrodków Pomocy Społecznej w ramach Działania 11.1 RPO WL

Załącznik nr 1 Kryteria Wyboru Projektów w ramach RPO WP na lata (w ramach Poddziałania Aktywizacja zawodowa osób bezrobotnych)

Lp. Brzmienie kryterium Definicja kryterium Opis kryterium 1. Wnioskodawca może złożyć tylko jeden wniosek dla danego podregionu.

Uwagi kryterium TAK NIE Uwagi. 1) Uzasadnienie możliwości realizacji założeń projektu

Badanie ewaluacyjne projektu systemowego. Lepsze jutro. realizowanego przez Powiatowy Urząd Pracy. w Poznaniu w ramach Poddziałania 6.1.

SPO RZL. PARP jako Beneficjent Końcowy Działania 2.3. DZIAŁANIE 2.3. Rozwój kadr nowoczesnej gospodarki

1. OPIS PRZEDMIOTU BADANIA Kontekst i uzasadnienie realizacji badania

Część I. Kryteria oceny programowej

*Planowanych jest 98 naborów (72 - konkursowe, 26 - pozakonkursowych)

Wzrost wiedzy oraz nabycie kompetencji w zakresie współpracy międzysektorowej

Departament Rozwoju Regionalnego 30 listopada 2015 r.

Ewaluacja ex ante Programu Innowacje Społeczne

Program Operacyjny Kapitał Ludzki Plan Działania na rok Priorytet IX. Biuro Koordynacji Projektów Oddział Projektów Społecznych

Załącznik 5 Specyficzne zasady korzystania z Pomocy technicznej w ramach Programu Operacyjnego Kapitał Ludzki

WOJEWÓDZTWO WARMIŃSKO-MAZURSKIE

ZARZĄDZENIE NR 66 REKTORA UNIWERSYTETU WARSZAWSKIEGO. z dnia 6 listopada 2012 r.

Europejski Fundusz Społeczny dla kobiet. Sylwia Kowalczyk Ministerstwo Rozwoju Regionalnego

Konkursy IV Priorytetu POKL: SZKOLNICTWO WYŻSZE I NAUKA zaplanowane do ogłoszenia w 2012 r. przez Narodowe Centrum Badań i Rozwoju

KRYTERIA FORMALNE,MERYTORYCZNE UNIWERSALNE, HORYZONTALNE UNIWERSALNE I SZCZEGÓŁOWE UNIWERSALNE DLA WSZYSTKICH DZIAŁAŃ I PODDZIAŁAŃ RPO WO

POLITECHNIKA POZNAŃSKA. Jak przygotować dobry projekt w ramach funduszy strukturalnych?

REGULAMIN UCZESTNICTWA W PROJEKCIE. Uniwersytet Mikołaja Kopernika w Toruniu. Rozdział I. Informacje ogólne o projekcie

Projekty systemowe realizowane w ramach Programu Operacyjnego Kapitał Ludzki wsparcie działalności naukowej

REGULAMIN UCZESTNICTWA W PROJEKCIE Uniwersytet Mikołaja Kopernika w Europie Uniwersytet Mikołaja Kopernika w Toruniu.

Załącznik do Uchwały Nr 99/2016 KM RPO WO z dnia 07 listopada 2016 r.

Projekt współfinansowany przez UE ze środków EFRR w ramach Regionalnego Programu Operacyjnego Województwa Podlaskiego na lata

REJESTR ZMIAN w Zasadach wdrażania Regionalnego Programu Operacyjnego Województwa Pomorskiego na lata w wersji z dnia 9 listopada 2017 r.

Priorytet IX ROZWÓJ WYKSZTAŁCENIA I KOMPETENCJI W REGIONACH

Wsparcie przedsiębiorców z Europejskiego Funduszu Społecznego w perspektywie finansowej maja 2015 r.

Uchwała Nr 29/2016 Komitetu Monitorującego Regionalny Program Operacyjny Województwa Podlaskiego na lata z dnia 20 maja 2016 r.

Departament Polityki Regionalnej, Wydział Zarządzania RPO, Biuro Ewaluacji RPO. Toruń, 4 październik 2011r.

Do głównych zadań Koordynatora Merytorycznego należy:

wparcie w ramach Programu Operacyjnego Kapitał Ludzki Priorytet VI Działanie 6.1

Uchwała Nr 16/2019 Komitetu Monitorującego Regionalny Program Operacyjny Województwa Podlaskiego na lata z dnia 20 maja 2019 r.

Efekty gospodarcze i społeczne zakończonych projektów rozwojowych finansowanych przez Narodowe Centrum Badań i Rozwoju

KARTA OCENY MERYTORYCZNEJ. Czy warunek został spełniony?

Rozdział XII. MONITORING I EWALUACJA

OBWIESZCZENIE NR 10 REKTORA UNIWERSYTETU WARSZAWSKIEGO. z dnia 10 grudnia 2009 r.

STUDIA PODYPLOMOWE. Pozyskiwanie, wdrażanie i rozliczanie projektów współfinansowanych z funduszy europejskich.

Informacja w sprawie stanu realizacji Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata według stanu na r.

REJESTR ZMIAN w Zasadach wdrażania Regionalnego Programu Operacyjnego Województwa Pomorskiego na lata w wersji z dnia 11 maja 2017 r.

Aleksandra Przyłuska Zastępca Dyrektora Departamentu Funduszy Ekologicznych

Plan działania na lata

Poz. 208 ZARZĄDZENIE NR 72 REKTORA UNIWERSYTETU WARSZAWSKIEGO. z dnia 4 lipca 2018 r.

KRYTERIA WYBORU PROJEKTÓW DLA DZIAŁANIA 7.3 ZAKŁADANIE DZIAŁALNOŚCI GOSPODARCZEJ W RAMACH RPO WO Zakres: Europejski Fundusz Społeczny

KARTA OCENY MERYTORYCZNEJ. Kryterium Czy warunek został spełniony? Okres realizacji projektu jest zgodny z okresem wskazanym w regulaminie

Działanie 9.1 Wyrównywanie szans edukacyjnych i zapewnienie wysokiej jakości usług edukacyjnych świadczonych w systemie oświaty

Przygotowanie wniosku o dofinansowanie w programie PL-SN

REGIONALNY PROGRAM OPERACYJNY WOJEWÓDZTWA KUJAWSKO-POMORSKIEGO NA LATA

Wzmocnienie potencjału analitycznego administracji publicznej przedsięwzięcie podjęte przez Szefa Służby Cywilnej

Uchwała Nr 5632/2018 Zarządu Województwa Wielkopolskiego z 19 lipca 2018 roku

projektu innowacyjnego testującego

Fundusz Rybacki

Nauka i biznes razem dobry staż szansą innowacji II

Ewaluacja ex ante programu sektorowego INNOMED

TYTUŁ PROJEKTU:. NAZWA WNIOSKODAWCY:.. WNIOSKOWANA KWOTA Z EFRR:. DATA WPŁYNIĘCIA WNIOSKU: OCENIAJĄCY:. DATA:

Staże i praktyki zagraniczne dla osób kształcących się i szkolących zawodowo

Wytyczne dotyczące projektowania programów kształcenia i planów studiów, ich realizacji i oceny rezultatów.

MONITORING I EWALUACJA

Transkrypt:

Raport końcowy Badanie ewaluacyjne działań informacyjno-promocyjnych i szkoleniowych oraz systemu wyboru i wdrażania projektów Oferta w ramach Priorytetu IV Programu Operacyjnego Kapitał Ludzki (PO KL) realizowanego w latach 2007-2010 Raport przygotowany przez zespół badawczy w składzie: Natalia Jaworska Anna Kierzkowska-Tokarska Beata Płonka Kierownik badania Irena Wolińska Małgorzata Zub Maj 2011

Spis treści 1. Streszczenie... 10 2. Założenia badania... 14 2.1 Cele i zakres badania... 14 2.2 Obszary i pytania badawcze... 15 3. Ocena systemu wdrażania PO KL w Priorytecie IV... 19 3.1 Opis systemu wdrażania Priorytetu IV PO KL... 19 3.1.1 System instytucjonalny... 19 3.1.2 System wdrażania projektów... 23 3.1.2.1 Stan aplikowania o środki... 25 3.1.2.2 Realizowane projekty... 27 3.1.2.3 Projekty odrzucone... 30 3.2 Ocena systemu wdrażania Priorytetu IV PO KL... 30 3.2.1 Efektywność systemu instytucjonalnego przyjętego dla P. IV PO KL... 31 3.2.2 Trafność systemu wdrażania do specyfiki szkolnictwa wyższego... 38 3.3 Podsumowanie... 41 4. Działania informacyjno-promocyjne oraz szkoleniowe adresowane do potencjalnych beneficjentów projektów realizowanych w ramach Priorytetu IV PO KL... 42 4.1 Charakterystyka działań informacyjno-promocyjnych... 42 4.2 Źródła informacji o możliwościach wsparcia w ramach IV Priorytetu... 46 4.3 Skala korzystania i opinie na temat działań informacyjno-promocyjnych i szkoleniowych... 49 4.4 Potrzeby informacyjne na etapie przygotowania wniosku o dofinansowanie i ich zaspokojenie... 55 4.5 Poziom znajomości IV Priorytetu w 2011 r. wśród nieaplikujących... 60 4.6 Przyczyny nieaplikowania... 63 4.7 Oczekiwane działania promocyjne... 67 4.8 Ocena skuteczności i efektywności działań informacyjno-promocyjnych skierowanych do potencjalnych wnioskodawców... 68 4.9 Podsumowanie badania działań informacyjno-promocyjnych oraz szkoleniowych adresowanych do potencjalnych beneficjentów... 71 5. System i kryteria wyboru projektów w ramach IV Priorytetu PO KL... 73 5.1 Trafność kryteriów wyboru projektów... 73 2

5.1.1 Poddziałanie 4.1.1... 74 5.1.2 Poddziałanie 4.1.2... 87 5.1.3 Działanie 4.2... 89 5.2 Ocena systemu wyboru projektów w porównaniu z innymi programami... 94 5.3 Podsumowanie badania kryteriów wyboru projektów... 96 6. Ocena wdrażania projektów realizowanych w ramach Poddziałania 4.1.1 i 4.1.2 oraz Działania 4.2 w kontekście osiągania celów Priorytetu IV PO KL.... 98 6.1 Przebieg realizacji projektów... 98 6.1.1 Czynniki mające negatywny wpływ na wdrażanie projektów niezależne od systemu wdrażania...100 6.1.2 Przypadki złych praktyk w realizacji projektów...103 6.1.3 Weryfikacja wniosków o płatność czynnik problemowy z powodów leżących po stronie beneficjentów i IP...105 6.1.4 Czynniki mające negatywny wpływ na wdrażanie projektów związane z systemem wdrażania...108 6.1.5 Rozwiązywanie problemów przez beneficjentów...112 6.2 Potrzeby informacyjne oraz działania informacyjne i szkoleniowe skierowane do aktualnych beneficjentów... 113 6.3 Powiązanie projektów systemowych i konkursowych... 124 6.4 Skuteczność IV Priorytetu PO KL... 126 6.4.1 Zadowolenie z uczestnictwa w projektach i ocena przydatności do pracy zawodowej...128 6.4.2 Rezultaty kierunków zamawianych...130 6.4.2.1 Znaczenie zajęć wyrównawczych...130 6.4.2.2 Znaczenie stypendiów...133 6.4.2.3 Zainteresowanie kierunkami znajdującymi się na liście zamawianych...134 6.4.3 Rezultaty wsparcia rozwoju uczelni...136 6.4.4 Rezultaty w zakresie współpracy uczelni i środowiska naukowego z przedsiębiorcami...139 6.4.5 Realizacja wskaźników Priorytetu IV...144 6.4.6 Dobre praktyki...152 6.5 Podsumowanie oceny wdrażania projektów... 155 7. Inne programy skierowane do sektora szkolnictwa wyższego i nauki (benchmarking) i reforma tych sektorów... 159 7.1 Inne programy skierowane do sektora szkolnictwa wyższego i nauki (benchmarking)... 159 3

7.1.1 7 Program Ramowy...159 7.1.2 Krajowe Programy grantowe dla sektora szkolnictwa wyższego i nauki...177 7.1.3 Patent Plus...181 7.1.4 Dotacje podmiotowe MNiSW...184 7.1.5 Podsumowanie...187 7.2 Reforma szkolnictwa wyższego i systemu nauki... 188 7.2.1 Efektywny model zarządzania szkolnictwem wyższym...188 7.2.2 Dynamiczny model kariery naukowej...189 7.2.3 Skuteczny model kształcenia...190 7.2.4 Rozwiązania ustawowe...191 7.2.5 Krytyka reformy...194 8. Analiza ryzyk i zagrożeń... 194 9. Wnioski i rekomendacje... 197 10. Załączniki... 207 10.1 Metodologia badania... 207 10.1.1 Jakościowa analiza dokumentacji...207 10.1.2 Ilościowa analiza danych monitoringowych...209 10.1.3 Indywidualne wywiady pogłębione (IDI) z przedstawicielami Ministerstwa Nauki i Szkolnictwa Wyższego...209 10.1.4 Indywidualne wywiady pogłębione (IDI) z beneficjentami...210 10.1.5 Wywiady z przedstawicielami zainteresowanych środowisk...210 10.1.6 Zogniskowane wywiady grupowe...211 10.1.7 Bezpośrednie standaryzowane wywiady kwestionariuszowe CAPI z obecnymi beneficjentami...211 10.1.8 Telefoniczne standaryzowane wywiady kwestionariuszowe CATI z potencjalnymi beneficjentami...212 10.1.8.1 Badanie CATI projektodawców, których projekty zostały odrzucone...213 10.1.8.2 Badanie nieaplikujących instytucji...214 10.1.9 Telefoniczne standaryzowane wywiady kwestionariuszowe CATI z uczestnikami projektów...214 10.1.10 Dobór prób i struktura prób...215 10.1.11 Przykłady dobrych praktyk (studia przypadku) i przykłady złych praktyk...218 10.1.12 Analiza ryzyk i zagrożeń...220 10.1.13 Analiza benchmarkingowa...222 10.1.14 Panel ekspertów...222 4

Spis tabel Tabela 1. Liczba przeprowadzonych konkursów w ramach Priorytetu IV PO KL (grudzień2010) 25 Tabela 2. Zestawienie wniosków na kolejnych etapach starania o dofinansowanie w podziale na konkursy... 26 Tabela 3. Wartość dofinansowania na projekt w podziale na Działanie / Poddziałanie i lata ogłaszania konkursów... 27 Tabela 4. Zależność między średnią liczbą złożonych wniosków przez projektodawcę a powodem odrzucenia jego wniosków... 30 Tabela 5. Średni stosunek postępu finansowego do czasowego w projektach prowadzonych przez uczelnie wyższe różnego typu... 40 Tabela 6. Wskaźniki realizacji działań informacyjno-promocyjnych... 43 Tabela 7. Poniesione kwalifikowane koszty działań informacyjno promocyjnych w podziale na lata, typ działań, typ wydatków i grupę docelową... 45 Tabela 8 Porównanie liczb wniosków o dofinansowanie i odbiorców działań informacyjnopromocyjnych... 50 Tabela 9. Kryteria w poddziałaniu 4.1.1... 75 Tabela 10. Kryteria w Poddziałaniu 4.1.2... 87 Tabela 11. Kryteria w Działaniu 4.2... 89 Tabela 12 Liczba aneksów do umów w poddziałaniach... 98 Tabela 13. Poziom zadowolenia z uczestnictwa w projektach... 129 Tabela 14. Średnia ocena (na skali 1-7) przydatności szkoleń w pracy zawodowej... 130 Tabela 15. Stan kontraktacji i realizacji wskaźników IV Priorytetu na koniec 2010 r.... 146 Tabela 16 Struktura populacji beneficjentów i potencjalnych beneficjentów... 213 Tabela 17 Dobór prób instytucji... 216 Tabela 18 Dobór próby uczestników projektów... 217 Spis równań Równanie 1. Stosunek postępu finansowego do czasowego... 28 5

Spis wykresów Wykres 1. Schemat organizacyjny Departamentu Wdrożeń i Innowacji w ramach pionu odpowiadającego za PO KL... 20 Wykres 2 Średnie liczby wniosków o dofinansowanie, wniosków o płatność i umów na etat w IP PO KL w MNiSW i innych wybranych IP... 22 Wykres 3. Średnia wartość alokacji na etat w IP PO KL MNISW i innych wybranych instytucjach systemu wdrażania NSRO 2007-2013 (wkład UE w EUR)... 23 Wykres 4. Rozkład przewidywanej długości projektów latach, w podziale na Działanie / Poddziałanie i lata ogłaszania konkursów... 28 Wykres 5 Skąd dowiedzieli się Państwo o wsparciu dla szkół wyższych i instytucji naukowych w ramach Programu Operacyjnego Kapitał Ludzki?... 47 Wykres 6 Instytucje w których respondenci poszukiwali informacji o możliwości realizacji projektu... 49 Wykres 7 Częstość wykorzystywania źródeł informacji udostępnianych wnioskodawcom... 51 Wykres 8. Średnie oceny przydatności źródeł informacji... 54 Wykres 9. Czy na etapie przygotowania wniosku o dofinansowanie uzyskali Państwo z Instytucji Pośredniczącej (Ministerstwa Nauki) wystarczające informacje potrzebne do przygotowania wniosku?... 55 Wykres 10. Czy te informacje, które Państwo uzyskali, były dostępne wystarczająco wcześnie, by je wykorzystać do przygotowania wniosku?... 56 Wykres 11. Jakich informacji, wiedzy albo dokumentów brakowało?... 57 Wykres 12. Jakie informacje otrzymali Państwo zbyt późno?... 58 Wykres 13. Czy w Pana/Pani instytucji odpowiada Pan/Pani albo jest zaangażowany/a w co najmniej za jeden z następujących obszarów?... 61 Wykres 14. Znajomość PO KL wśród nieaplikujących... 61 Wykres 15. Wyniki testu znajomości Priorytetu IV wśród deklarujących jego znajomość... 62 Wykres 16. Wyniki testu znajomości Priorytetu IV wśród deklarujących jego nieznajomość... 63 Wykres 17. Deklarowane przyczyny nieaplikowania... 65 Wykres 18. Czy P. zdaniem Państwa instytucja spełnia kryteria wymagane od projektodawców ubiegających się o dofinansowanie w ramach PO KL?... 66 Wykres 19. Których kryteriów Państwo nie spełniają?... 66 Wykres 20. Gdyby w przyszłości realizowano podobne programy dla szkół wyższych i instytucji naukowych, w jaki sposób powinno się o nich informować?... 68 Wykres 21. Opinie badanych o kryteriach, ich jednoznaczności, obiektywności, wzajemnej spójności oraz sprawiedliwości... 91 Wykres 22. Opinia badanych kryteriach, ich wagach, czy zostały dobrane tak, że prowadzą do wyboru najlepszych projektów... 92 Wykres 23. Udział w przygotowaniu projektu w ramach innego niż Kapitał Ludzki programu dla szkół wyższych lub instytucji naukowych... 95 Wykres 24. Ocena kryteriów wyboru projektów w Programie Operacyjnym Kapitał Ludzki w porównaniu z innymi programami... 95 Wykres 25. Trudności w realizacji projektu (odpowiedzi spontaniczne)... 100 Wykres 26. Ocena trudności egzaminów na koniec i roku na kierunkach zamawianych... 103 Wykres 27. Relacja liczby WOP na etat do liczby dni zatwierdzania WOP... 106 Wykres 28. Rozwiązania problemów w projektach... 112 6

Wykres 29. Częstość wykorzystywania dokumentacji przez beneficjentów... 114 Wykres 30. W jaki sposób współpraca z Instytucją Pośredniczącą wpływa(ła) na realizację projektu?... 115 Wykres 31. Czy podczas realizacji projektu otrzymywali Państwo z Instytucji Pośredniczącej wystarczające informacje istotne dla realizacji projektu, np. w formie odpowiedzi na pytania, publikacji lub szkoleń?... 116 Wykres 32. Czy informacje, które Państwo otrzymywali od Instytucji Pośredniczącej podczas realizacji projektu były dostępne wystarczająco wcześnie, by je wykorzystać w realizacji projektu?... 117 Wykres 33. Aktualne potrzeby informacyjne beneficjentów... 123 Wykres 34. Czy Pana/Pani zdaniem zaplanowane rezultaty Państwa projektu zostaną osiągnięte?... 127 Wykres 35. Posiadanie stałej pracy przez studentów i absolwentów w momencie badania... 129 Wykres 36. Opinia uczestników zajęć wyrównawczych, czy zdaliby na następny rok studiów, nie biorąc w nich udziału... 131 Wykres 37. Kontynuacja nauki na kierunku zamawianym po pierwszym roku nauki... 131 Wykres 38. Wybór uczelni i kierunku studiów w przypadku gdyby nie było stypendiów dla najlepszych studentów... 133 Wykres 39. Udział kandydatów na kierunki z listy zamawianych wśród ogółu kandydatów oraz studentów na tych kierunkach wśród ogółu studentów... 135 Wykres 40. Liczba studentów na pierwszym roku kierunków znajdujących się na liście zamawianych... 135 Wykres 41. Liczba kandydatów na miejsce na kierunkach z listy zamawianych... 136 Wykres 42. Tematyka kursów, szkoleń i studiów podyplomowych dla pracowników sektora B+R w ramach Działania 4.2... 142 Wykres 43. Opinie o wpływie udziału w projekcie na podejmowanie współpracy z przedsiębiorcami przez pracowników sektora B+R... 142 7

Spis skrótów Skrót Wyjaśnienie B + R Badania i rozwój BM Biuro Ministra CAPI Wspomagany komputerowo wywiad kwestionariuszowy (Computer Assisted Personal Interviewing) CATI Wspomagany komputerowo wywiad telefoniczny (Computer Assisted Telephone Interviewing) CK Centralna Komisja do Spraw Stopni i Tytułów DKN Departamentu Kontroli i Nadzoru DWI Departament Wdrożeń i Innowacji EFS Europejski Fundusz Społeczny EFTA Europejskie Stowarzyszenie Wolnego Handlu (The European Free Trade Association) FAQ Zbiór często zadawanych pytań i odpowiedzi na nie (Frequently Asked Questions) FGI Wywiad grupowy zogniskowany (Focus Group Interview) IDI Wywiad pogłębiony (In-depth interview) IP Instytucja Pośrednicząca IP2 Instytucja Pośrednicząca II stopnia IZ Instytucja Zarządzająca JBR Jednostki Badawczo-Rozwojowe KE Komisja Europejska KEJN Komitet Ewaluacji Jednostek Naukowych KNOW Krajowe Naukowe Ośrodki Wiodące KOM Karta Oceny Merytorycznej KPK Krajowy Punkt Kontaktowy Programów Badawczych Unii Europejskiej KRASP Konferencja Rektorów Akademickich Szkół Polskich KRK Krajowe Ramy Kwalifikacji KRZaSP Konferencja Rektorów Zawodowych Szkół Polskich KSI Krajowa Sieć Innowacji MEN Ministerstwo Edukaci Narodowej MNiSW Ministerstwo Nauki i Szkolnictwa Wyższego MPiPS Ministerstwo Pracy i Polityki Społecznej MRR Ministerstwo Rozwoju Regionalnego MŚP Małe i średnie przedsiębiorstwa NSRO Narodowe Strategiczne Ramy Odniesienia OECD Organizacja Współpracy Gospodarczej i Rozwoju (Organization for Economic Co-operation and Development) OPI Ośrodek Przetwarzania Informacji PAN Polska Akademia Nauk PARP Polska Agencja Rozwoju Przedsiębiorczości PD Plan Działania PEFS Podsystem monitorowania Europejskiego Funduszu Społecznego 8

PKA PO IG PO IŚ PO KL PT PZP RGNiSW RPD RPO SPO RZL SzOP WOP WUP Polska Komisja Akredytacyjna Program Operacyjny Innowacyjna Gospodarka Program Operacyjny Infrastruktura i Środowisko Program Operacyjny Kapitał Ludzki Pomoc Techniczna Prawo Zamówień Publicznych Rada Główna Nauki i Szkolnictwa Wyższego Roczny Plan Działania Regionalny Program Operacyjny Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich Szczegółowy Opis Priorytetów Wniosek o płatność Wojewódzki Urząd Pracy 9

1. Streszczenie Niniejsze badanie zostało zrealizowane w okresie styczeń maj 2011 r. przez zespół badawczy PSDB sp. z o.o. na zlecenie Ministerstwa Nauki i Szkolnictwa Wyższego. Jest to pierwsza ewaluacja dotycząca wdrażania Priorytetu IV Szkolnictwo wyższe i nauka Programu Operacyjnego Kapitał Ludzki (PO KL). Badanie miało na celu optymalizację wdrażania Priorytetu IV PO KL w odniesieniu do następujących obszarów: Działania informacyjno-promocyjne oraz szkoleniowe dla wnioskodawców i beneficjentów, Kryteria i zasady wyboru projektów w trybie konkursowym, Stan wdrażania projektów realizowanych w ramach Priorytetu IV w kontekście osiągania celów programu, Instytucjonalny system wdrażania Priorytetu IV. Badanie zostało przeprowadzone przy użyciu zasady triangulacji z wykorzystaniem ilościowych i jakościowych metod gromadzenia danych i ich analizy: Jakościowa i ilościowa analiza danych zastanych, Standaryzowane wywiady kwestionariuszowe CAPI (i PAPI) oraz CATI beneficjentów oraz instytucji uprawnionych nie będących beneficjentami (nie aplikujących), a także podmiotów, które aplikowały jednak nie uzyskały dofinansowania, Indywidualne wywiady pogłębione z przedstawicielami Instytucji Pośredniczącej, beneficjentów oraz środowiska instytucjonalnego sektorów nauki i szkolnictwa wyższego, Zogniskowane wywiady grupowe z beneficjentami oraz ekspertami przeprowadzającymi ocenę merytoryczną, Studia przypadku, Analiza ryzyk i zagrożeń, Analiza porównawcza z innymi programami wspierającymi naukę i szkolnictwo wyższe, Panel ekspertów. Badanie przyniosło następujące wyniki odnoszące się do obszaru działań informacyjnopromocyjnych i szkoleniowych. Ze wsparcia w ramach IV Priorytetu PO KL skorzystała dotychczas większość szkół wyższych w Polsce i tylko niewielka część instytutów badawczych oraz placówek PAN. Wśród badanych potencjalnych beneficjentów, zdefiniowanych jako ci, którzy dotychczas nie aplikowali, znajomość PO KL jest umiarkowana. Ponad połowa nieaplikujących ma jedynie podstawową wiedzę o programie i nie zna zakresu wsparcia dla szkół wyższych i instytutów naukowych. Jako jedną z najważniejszych przyczyn nie aplikowania o środki z Priorytetu IV PO KL wskazywano, w szczególności dotyczy to instytutów badawczych, argument, że program nie jest skierowany do nich, co świadczy o błędnym przekonaniu, że Priorytet IV oferuje wsparcie jedynie uczelniom. Innymi wymienianymi powodami nieaplikowania były brak potencjału (przekonanie o zbyt skomplikowanych wymaganiach) oraz brak wiedzy o dostępnym wsparciu lub o tym, jak przygotować wniosek. Spośród działań informacyjno-promocyjnych projektodawcy i potencjalni projektodawcy najczęściej korzystają ze strony internetowej MNiSW i strony MRR oraz dokumentacji konkursowej. Jest to kluczowy i efektywny kanał komunikacji. Poszczególne źródła informacji i dokumenty są umiarkowanie pozytywnie oceniane przez projektodawców. Szczególnie cenną formą komunikacji są spotkania 10

informacyjne dla potencjalnych wnioskodawców, które stwarzają możliwość uzupełnienia wiedzy, szczególnie o zagadnieniach, których zainteresowani nie zrozumieli czytając dostępne materiały. Za mało znaczące w praktyce i nieefektywne kosztowo można natomiast uznać ogłoszenia prasowe. Skuteczność komunikacji bywa obniżana przez czas, w jakim jest udostępniana informacja dotyczy to ogłaszania konkursów w terminach, w których przygotowanie wniosków jest utrudnione (miesiące letnie), brak synchronizacji terminów konkursów na kierunki zamawiane z terminami rekrutacji oraz krótki czas na przygotowanie wniosku o dofinansowanie. Obecnie potencjalnym beneficjentom najpotrzebniejsze są szkolenia lub inne formy informowania o najtrudniejszych dla nich zagadnieniach, do których należą: wymogi zasady równości szans kobiet i mężczyzn i kwalifikowalności wydatków. Ponadto stwierdzono zapotrzebowanie dotychczas nieaplikujących podmiotów na bezpośrednią komunikację przesyłanie e-mailem informacji o ogłaszanych konkursach. Rozwiązanie to jednak rekomendujemy głównie w odniesieniu do potencjalnych beneficjentów Działania 4.2. W obszarze dotyczącym zasad i kryteriów wyboru projektów na uwagę zasługują następujące wnioski. Badanie pokazało, że stosowane kryteria wyboru projektów w przypadku Poddziałania 4.1.1 nie stanowią spójnej koncepcji, nakierowanej na osiąganie celów Priorytetu i Działania, natomiast w przypadku Poddziałania 4.1.2 i Działania 4.2 konstrukcja kryteriów jest spójna i odpowiada celom tych Działań. Zidentyfikowano szereg niedoskonałości w definiowaniu kryteriów wyboru projektów (dostępu i strategicznych), przy czym większość z nich odnosi się wyłącznie do konkursów w ramach Podddziałania 4.1.1. Należą do nich kryteria pozostające bez związku z jakością projektów i nie mające wpływu na wskaźniki określone dla Priorytetu IV, kryteria łatwe do spełnienia, które każdy projektodawca może bez refleksji i trudu osiągnąć, co czyni je bezużytecznymi w procesie selekcji, kryteria wymuszające na wnioskodawcach stosowanie ściśle określonych form wsparcia, zbyt duża liczba kryteriów strategicznych o niskiej punktacji, co podważa ich strategiczny charakter, czy kryteria oznaczające zmianę zasad w trakcie wdrażania Priorytetu. W związku z tym nie można z całą pewnością stwierdzić, że kolejne konkursy pozwoliły na wybór tych projektów, które w najbardziej trafny, skuteczny i efektywny sposób umożliwią realizację celów Priorytetu, ale niewątpliwie pozwolą na osiągnięcie większości wskaźników. Badanie pokazało także, że istniejący system wyboru projektów nie jest doskonały i nie gwarantuje wyboru projektów najwyższej jakości. Dotyczy to takich kwestii jak niedopasowanie kalendarza konkursów do kalendarza roku akademickiego, rosnąca złożoność i obszerność dokumentacji konkursowej, ciągłe zmiany w Systemie Realizacji PO KL, często dotykające projektów będących już w trakcie realizacji, ale przede wszystkim utrudniające aplikowanie i ocenę wniosków w kolejnych rundach konkursowych, zasady wypełniania wniosku o dofinansowanie wymuszające na projektodawcach ujmowanie we wniosku treści mniej istotnych z punktu widzenia ich projektu kosztem tych istotnych, a na oceniających premiowanie schematyzmu opisu, techniczną doskonałość prezentacji przedsięwzięcia kosztem inwencji i twórczego podejścia do rozwiązania zidentyfikowanego problemu, losowy dobór ekspertów w połączeniu z zasadą wykluczania ekspertów z rundy konkursowej w przypadku aplikowania w danej rundzie instytucji, z którą są związani co sprawia, że niejednokrotnie wniosek oceniany jest przez osoby nie posiadające wiedzy ze specyficznej dziedziny, której projekt dotyczy, brak współpracy między ekspertami, co powoduje różne podejście do tych samych kwestii i naraża system wyboru na krytykę ze strony aplikujących, a także niewystarczającą współpracę IP z ekspertami, na przykład zbyt mało spotkań o charakterze merytorycznej dyskusji przed przystąpieniem do oceny w danym konkursie, mających na celu uwspólnienie oczekiwań wobec projektów, wyjaśnienie intencji użycia określonych kryteriów oraz ujednolicenie podejścia do obowiązujących zasad oceny. 11

Niezależnie od tych zastrzeżeń do obowiązującego systemu wyboru projektów, wszyscy badani podkreślali konieczność utrzymania systemu konkursowego w następnej perspektywie jako mobilizującego środowisko uczelni do samooceny i tworzenia ambitnych planów rozwoju oraz do myślenia i działania projektowego, a także dającego pracownikom uczelni (nie tylko naukowodydaktycznym) nowe kompetencje. System wyboru projektów powinien przede wszystkim skupiać się na wyborze interesujących inicjatyw, trafnie adresowanych wobec najistotniejszych problemów sektora nauki i szkolnictwa wyższego. System ten powinien czerpać z dobrych praktyk zidentyfikowanych w innych programach dotacyjnych, skierowanych do tego sektora. Szczególnie warte rekomendowania są, w ocenie ewaluatorów, doświadczenia z oceny dokonywanej przez panele ekspertów. W odniesieniu do obszaru związanego z oceną wdrażanych projektów i osiąganych przez nie rezultatów zidentyfikowano następujące najważniejsze wnioski. Projekty są realizowane w większości zgodnie z początkowym harmonogramem. Wśród czynników utrudniających realizację najczęściej wskazywanymi były: przyjęcie nierealnych założeń przez beneficjentów, długotrwałość procesu weryfikacji wniosków o płatność i utrata płynności finansowej, błędy w wypełnianiu wniosków o płatność (w szczególności Załącznika nr 2), zmiany zasad realizacji projektów w trakcie (np. w odniesieniu do zatrudniania personelu) czy trudność w uzyskaniu na czas informacji ze strony IP na zadane pytania. Mimo to większość beneficjentów pozytywnie ocenia swoją współpracę z IP, w tym szkolenia realizowane przez MNiSW dla realizatorów projektów. Do najpotrzebniejszych tematów szkoleń na etapie realizacji projektów beneficjenci zaliczają kwalifikowalność wydatków (w tym zatrudnianie personelu) oraz wypełnianie wniosku o płatność, a w szczególności Załącznika nr 2. W odniesieniu do kwestii osiąganych rezultatów, większość beneficjentów spodziewa się, że osiągnie w całości założone rezultaty. Beneficjenci, którzy ukończyli realizację projektów, są zazwyczaj zdania, że ich efekty będą trwałe. Większość beneficjentów, pomimo wskazanych powyżej trudności, chce realizować kolejne projekty tego typu. Obecny poziom wskaźników zaplanowanych w zakontraktowanych projektach pozwala spodziewać się, że założone wskaźniki monitorowania zostaną osiągnięte. Zagrożone są tylko dwa wskaźniki zarządzanie jakością na uczelniach oraz staże zawodowe dla studentów. Jakość prowadzonych działań w ramach projektów, w tym szkoleniowych, jest oceniana przez ich uczestników zazwyczaj wysoko. Badanie potwierdza także, że wspieranie kierunków zamawianych w ramach Poddziałania 4.1.2 przyczynia się do wzrostu zainteresowania tymi kierunkami studiów, choć być może nie jest to jedyny czynnik ich większej popularności. Podobnie, wyniki badania wskazują, że skuteczne są także zajęcia wyrównawcze, chociaż nie są popularne wśród studentów, stąd celowa może być ich obligatoryjność. Beneficjenci dobrze oceniają swoją współpracę w przedsiębiorcami, chociaż lepiej w Działaniu 4.1 niż 4.2. Współpraca ta przyjmowała najczęściej formę staży i praktyk, rzadziej stosowane były inne formy rady programowe, modyfikacja programów kształcenia, wprowadzenie zajęć z przedsiębiorczości. Analiza instytucjonalnego systemu wdrażania pokazała z kolei, że głównym problemem IP jest brak odpowiedniej liczby pracowników, uniemożliwiający Instytucji Pośredniczącej w pełni skuteczne i terminowe wywiązywanie się z jej zadań. Z tego samego powodu IP skupia się na obsłudze bieżącej konkursów i beneficjentów, mniej uwagi poświęcając kwestii monitorowania rezultatów i osiągania celów w ramach Priorytetu czy strategii jego wdrażania. Ponadto wdrażając Priorytet IV, IP nie współpracuje z innymi departamentami merytorycznymi MNiSW (za wyjątkiem Departamentu Strategii, który jest beneficjentem systemowym) przy ustalaniu corocznych zasad jego realizacji (w RPD), co może ograniczać możliwości wpływu PO KL na 12

politykę Ministra Nauki i Szkolnictwa Wyższego i odwrotnie. Badanie nie wykazało rażącego niedopasowania zasad realizacji PO KL do szkolnictwa wyższego i nauki. Najważniejszą rekomendacją w tym zakresie, pochodzącą także z analizy benchmarkingowej, jest umożliwienie oceny merytorycznej projektów przez panele ekspertów przyjmujące wspólne stanowisko w sprawie oceny projektów, a przynajmniej umożliwienie ekspertom omówienia wyników oceny wniosków o dofinansowanie. Analiza porównawcza innych programów skierowanych do nauki i szkolnictwa wyższego objęła 7 Program Ramowy UE (7 PR) oraz programy krajowe Kreator Innowacyjności i Patent Plus, a także system dotacji podmiotowych dla uczelni, przy czym ten ostatni przedmiot badania nie dostarczył przykładów dobrych praktyk do ewentualnego wykorzystania w ramach PO KL. Warte zasygnalizowania są rozwiązania stosowane w ramach 7 PR i dotyczące sposobu oceny merytorycznej wniosków (szkolenie dla ekspertów przed przystąpieniem do oceny, ocena przez panel ekspertów), opieki nad projektem (przez tzw. oficera merytorycznego, co umożliwia stały merytoryczny nadzór nad realizacją projektu oraz stały kontakt projektodawcy z Komisją Europejską) i kontroli projektów (w postaci zewnętrznych audytorów, a także uwzględnianie w kontroli kwestii osiągania rezultatów przez projekt). Również w programach krajowych Kreator Innowacyjności i Patent Plus ocena merytoryczna wniosków dokonywania jest przez zespół ekspertów. Co więcej, ten sam zespół dokonuje także oceny i przyjęcia sprawozdania z realizacji projektu, które jest sprawozdaniem merytorycznym. Sformułowane w ramach badania wnioski, a w szczególności zidentyfikowane problemy, przełożyły się na szereg rekomendacji. Pełną listę rekomendacji zawiera rozdział 9. Do najważniejszych rekomendacji zaliczamy: zwiększenie zatrudnienia w ramach IP, ustanowienie rzeczywistych, merytorycznych opiekunów projektów, położenie większego nacisku na monitorowanie rezultatów i osiągania celów w projektach, w tym poprzez uruchomienie bazy danych i wyznaczenie pracownika do realizacji tego zadania, zaprzestanie wprowadzania kolejnych zmian do zasad realizacji PO KL, organizowanie szkoleń i spotkań dla ekspertów oceniających wnioski w celu ujednolicenia podejścia i rozumienia kryteriów, modyfikacja kryteriów w ramach konkursów do Poddziałnia 4.1.1 w kierunku ich większej strategiczności i skupienie wsparcia w tym Poddziałaniu na jakości kształcenia i zarządzaniu jakością na uczelniach, a także dokonanie weryfikacji wskaźników monitorowania, w tym urealnienie ich wartości i ewentualnie przyjęcie nowych wskaźników lepiej mierzących zmianę, do jakiej realizacja Priorytetu IV powinna doprowadzić. 13

2. Założenia badania 2.1 Cele i zakres badania Badanie zostało zrealizowane w celu optymalizacji wdrażania Priorytetu IV PO KL w rozumieniu: zwiększenia skuteczności realizowanych działań informacyjno-promocyjnych oraz szkoleniowych, zweryfikowania i optymalizacji kryteriów i systemu wyboru projektów w ramach Priorytetu IV, oceny wdrażania projektów konkursowych realizowanych w ramach Poddziałania 4.1.1 Wzmocnienie potencjału dydaktycznego uczelni, Poddziałania 4.1.2 Zwiększenie liczby absolwentów kierunków o kluczowym znaczeniu dla gospodarki opartej na wiedzy - oraz projektów realizowanych w ramach Działania 4.2 Rozwój kwalifikacji kadr systemu B+R i wzrost świadomości roli nauki w rozwoju gospodarczym - w kontekście osiągania celów Priorytetu IV PO KL. Ze względu na oczekiwania Zamawiającego związane ze spodziewanymi efektami badania, rozszerzono badanie o jeszcze jeden sposób rozumienia celu optymalizacji wdrażania Priorytetu IV, a mianowicie o weryfikację i optymalizację instytucjonalnego systemu wdrażania Priorytetu IV PO KL. Zakres przedmiotowy badania obejmował działania informacyjno-promocyjne i szkoleniowe, adresowane do obecnych i potencjalnych beneficjentów oraz system (w tym kryteria) wyboru, jak również wdrażanie projektów w ramach Priorytetu IV Programu Operacyjnego Kapitał Ludzki (PO KL) realizowanego w latach 2007-2010. Dodatkowo przedmiot badania uwzględnia także stan realizacji projektów konkursowych wybranych do dofinansowania w ramach Działań 4.1.1. i 4.1.2 oraz 4.2, a także projekty systemowe realizowane w ramach tych Działań z perspektywy ich powiązań z projektami konkursowymi. Ewaluacji poddano także system wdrażania Priorytetu IV PO KL i jego porównanie z innymi systemami zewnętrznych źródeł finansowania nauki i szkolnictwa wyższego (finansowanie krajowe oraz 7 Program Ramowy). Zakres podmiotowy badania obejmował następujące instytucje i ich przedstawicieli: beneficjentów Priorytetu IV PO KL realizujących projekty konkursowe (aktualnych i potencjalnych), uczestników projektów, odrzuconych projektodawców, Instytucję Pośredniczącą dla Priorytetu IV PO KL Departament Wdrożeń i Innowacji MNiSW, a także Departament Strategii MNiSW będący beneficjentem systemowym, departamenty zajmujące się finansowaniem nauki i szkolnictwa wyższego z innych źródeł niż EFS oraz instytucje otoczenia sektora nauki i szkolnictwa wyższego. Z kolei zakres czasowy badania to okres od początku roku 2008 do momentu realizacji ewaluacji, z tym, że w odniesieniu do liczby projektów konkursowych przyjętych do realizacji, ewaluacja obejmie umowy o dofinansowanie zawarte do końca 2010 r. 14

2.2 Obszary i pytania badawcze Badanie obejmowało cztery obszary badawcze. Obszar badawczy 1: Działania informacyjno-promocyjne oraz szkoleniowe adresowane do aktualnych i potencjalnych beneficjentów projektów realizowanych w ramach Priorytetu IV PO KL Kryteria ewaluacyjne Skuteczność realizowanych działań informacyjno-promocyjnych oraz szkoleniowych skierowanych do aktualnych beneficjentów Skuteczność realizowanych działań informacyjno-promocyjnych oraz szkoleniowych skierowanych do potencjalnych beneficjentów Efektywność działań informacyjnopromocyjnych oraz szkoleniowych Pytania badawcze 1. Jakie są aktualnie potrzeby beneficjentów w zakresie wsparcia w realizacji projektów ze strony IP oraz czy wsparcie to jest im udzielane w adekwatnym do tych potrzeb zakresie? 2. Jakie szkolenia oraz jaka wiedza jest niezbędna beneficjentom projektów na obecnym etapie realizacji projektów? 3. Czy wsparcie udzielane beneficjentom dociera do nich w odpowiednim czasie, pozwalającym na wykorzystanie uzyskanej wiedzy w trakcie realizacji projektu? 4. W jakim stopniu działania informacyjno-promocyjne i szkoleniowe odpowiadają na potrzeby aktualnych beneficjentów? 5. Czy potencjalni beneficjenci wiedzą o możliwości skorzystania ze wsparcia oferowanego w ramach Priorytetu IV? 6. Czy potencjalni beneficjenci są zainteresowani aplikowaniem, jeśli tak: jakie są powody zainteresowania; jeśli nie: z jakich powodów nie są zainteresowani udziałem? 7. W jakim stopniu działania informacyjno-promocyjne i szkoleniowe odpowiadają na potrzeby potencjalnych beneficjentów? 8. Jakie szkolenia oraz jaka wiedza jest niezbędna potencjalnym beneficjentom projektów, aby z powodzeniem aplikować do konkursów w ramach Priorytetu IV? 9. Czy metody i narzędzia komunikacyjne wykorzystywane w ramach działań informacyjno-promocyjnych oraz szkoleniowych prowadzonych przez IP są optymalne z punktu widzenia założonych celów i osiąganych efektów? 10. Jak kształtują się relacje pomiędzy kosztami (zasoby finansowe, zasoby ludzkie, poświęcony czas), a osiągniętymi efektami działań informacyjno-promocyjnych? Czy możliwe jest osiągnięcie podobnych efektów w połączeniu z mniejszymi kosztami lub lepszych efektów przy wykorzystaniu zbliżonych zasobów? 11. Jak powinna być prowadzona kampania informacyjnopromocyjna oraz aktywność szkoleniowa, aby ich realizacja była możliwie efektywna? 15

Obszar badawczy 2: System i kryteria wyboru projektów w ramach Priorytetu IV Kryteria ewaluacyjne Pytania badawcze Trafność systemu wyboru projektów Trafność kryteriów wyboru projektów 12. Czy system wyboru projektów stanowi optymalne narzędzie do trafnego, skutecznego i efektywnego wyboru projektów najlepiej realizujących cele Priorytetu IV? Jeżeli nie to jakie elementy i w jakim zakresie powinny zostać zmodyfikowane? (dokumenty aplikacyjne, inne wymogi związane z aplikowaniem, procedury, terminy, itp.) 13. Czy zakres tematyczny konkursów pozwoli na osiągnięcie zakładanych wskaźników Priorytetu IV? 14. Czy beneficjenci Priorytetu IV pozyskują środki finansowe także z innych źródeł na finansowanie swoich projektów rozwojowych? Jak oceniają oni systemy wyboru projektów z innych źródeł finansowania w porównaniu do systemu funkcjonującego w ramach PO KL? 15. Czy i na ile istniejące kryteria wyboru projektów pozwoliły przyjąć do realizacji projekty, które w sposób najbardziej trafny, skuteczny, efektywny umożliwią realizację celów Priorytetu IV? 16. Czy kryteria wyboru projektów są spójne wewnętrznie, obiektywne, mierzalne oraz czy umożliwiają precyzyjną i jednoznaczną interpretację przez osoby oceniające i potencjalnych beneficjentów? 17. Jak beneficjenci PO KL oceniają system kryteriów stosowany w ramach programu w porównaniu do kryteriów wyboru projektów w ramach innych źródeł finansowania projektów rozwojowych uczelni? 18. Jaki powinien być w nowej perspektywie tryb wyboru projektów różnego typu konkursowy czy systemowy? Jeśli konkursowy, to w jaki sposób należałoby organizować konkursy np. czy przyjąć podział na rodzaje beneficjentów (publiczne, prywatne, itp.), typy projektów, w celu osiągnięcia konkretnego poziomu wskaźników rezultatu określonych dla programu, itp.? Obszar badawczy 3: Ocena wdrażania projektów realizowanym w ramach Poddziałania 4.1.1, Poddziałania 4.1.2 oraz projektów realizowanych w ramach Działania 4.2 w kontekście osiągania celów Priorytetu IV PO KL. Kryteria ewaluacyjne Skuteczność realizacji projektów Pytania badawcze 19. Czy projekty realizowane są zgodnie z harmonogramami i czy na obecnym etapie realizacji można określić, w jakim stopniu założone cele projektowe zostaną osiągnięte? Jeśli są opóźnienia w realizacji projektów, to z jakich przyczyn one wynikają? 20. Czy istnieją czynniki mające negatywny wpływ na wdrażanie projektów? Jeżeli istnieją, jakie są ich przyczyny i jakie należy podjąć działania zaradcze/naprawcze w celu ich wyeliminowania? 21. Czy funkcjonujący w ramach PO KL system przepływów finansowych, w szczególności związany z wprowadzeniem nowej ustawy o finansach publicznych w styczniu 2010 r., jest 16

Użyteczność i trwałość rezultatów projektów Skuteczność realizacji celów Priorytetu IV Efektywność powiązań projektów systemowych i konkursowych skuteczny w opinii beneficjentów i pozwala na terminowe otrzymywanie płatności? Czy istnieje różnica w postrzeganiu tej problematyki przez beneficjentów reprezentujących uczelnie publiczne i prywatne? 22. Które z typów projektów są najbardziej skuteczne w realizacji założonych celów związanych z rozwojem uczelni i podnoszeniem kwalifikacji kadr? 23. Czy pojawiają się, i ewentualnie jakie, zjawiska związane z realizacja projektów, które można określić jako negatywne, nieuczciwe lub nieetyczne (np. związane z pozyskiwaniem beneficjentów ostatecznych, obniżaniem jakości oferowanych usług edukacyjnych, obniżaniem standardów wymagań wobec studentów itp.)? Jak można im przeciwdziałać? 24. Jakie rezultaty (zamierzone i niezamierzone) przyniosły/przynoszą realizowane projekty dla beneficjentów (realizatorów projektów) oraz beneficjentów ostatecznych? 25. Czy jest i ewentualnie jaka wartość dodana" z realizacji projektów dla beneficjentów (realizatorów projektów) oraz beneficjentów ostatecznych? Czy ta wartość dodana została przewidziana w projekcie? 26. Jaka jest obecnie i jaka może być w dłuższej perspektywie czasowej trwałość osiągniętych/osiąganych rezultatów? 27. Czy beneficjenci projektów planują aplikowanie o projekty będące kontynuacją aktualnie realizowanych projektów w ramach Priorytetu IV PO KL? 28. Jak rezultaty projektów przełożą się na osiągnięcie celów Priorytetu IV? 29. Czy istnieje niebezpieczeństwo, że któryś z celów Priorytetu IV może nie zostać osiągnięty? 30. Jeżeli struktura przyjętych projektów nie w pełni odpowiada celom Priorytetu IV, na jakie kryteria wyboru projektów należy położyć nacisk w kolejnych konkursach? 31. Czy w chwili obecnej można wskazać dobre praktyki", które warto byłoby rozpropagować pomiędzy innymi beneficjentami (aktualnymi i potencjalnymi) projektów Priorytetu IV? 32. Czy istnieje, jeżeli tak to w jakim stopniu oraz w jakim zakresie, zależność i komplementarność projektów realizowanych w ramach Priorytetu IV? 33. Czy zachodzi synergia pomiędzy projektami systemowymi i konkursowymi? Jeżeli tak, to jaka jest wartość dodana" z tej synergii? 34. Jeżeli komplementarność i synergia pomiędzy projektami systemowymi i konkursowymi nie jest wystarczająca, jakie są tego przyczyny? Jakie zmiany należałoby wprowadzić, w szczególności w systemie wyboru projektów, aby ją wzmocnić? 17

Obszar badawczy 4: Ocena systemu wdrażania PO KL w Priorytecie IV Kryteria ewaluacyjne Efektywność instytucjonalnego Priorytetu IV PO KL systemu wdrażania Pytanie badawcze 35. Czy ustanowiony w ramach Priorytetu IV PO KL system instytucjonalny obejmujący jedną IP usytuowaną w MNiSW jest skuteczny i pozwala na sprawną i terminową realizację zadań IP? 36. Czy przyjęte procedury wdrażania sprzyjają sprawnej realizacji Priorytetu? 37. Jak można ocenić sprawność systemu wdrażania Priorytetu IV PO KL w porównaniu do systemu wdrażania projektów rozwojowych uczelni finansowanych z innych źródeł zewnętrznych (programy krajowe, programy ramowe)? Jakie elementy tych innych systemów wdrażania można by wykorzystać w PO KL obecnie lub w przyszłym okresie programowania? Trafność systemu wdrażania 38. Czy przyjęty w PO KL system wdrażania projektów odpowiada specyfice funkcjonowania uczelni? Jeśli nie, które elementy systemu wdrażania są trudne do pogodzenia ze specyfiką beneficjentów Priorytetu IV PO KL? Czy, a jeżeli tak jak należałoby je zmienić obecnie lub w przyszłej perspektywie finansowej? 18

3. Ocena systemu wdrażania PO KL w Priorytecie IV 3.1 Opis systemu wdrażania Priorytetu IV PO KL 3.1.1 System instytucjonalny Przyjęty w ramach Priorytetu IV Szkolnictwo Wyższe i Nauka (P. IV) system wdrażania odpowiada wymogom określonym w Rozporządzeniu Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającym przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylającym rozporządzenie (WE) nr 1260/1999 oraz w Rozporządzeniu (WE) nr 1081/2006 Parlamentu Europejskiego i Rad z dnia 5 lipca 2006 r. w sprawie Europejskiego Funduszu Społecznego i uchylające rozporządzenie (WE) nr 1784/1999, a także regułom krajowym wskazanym w ustawie z dnia 6 grudnia 2006 r. o zasadach prowadzenia polityki rozwoju i w specyficznych dokumentach wdrożeniowych opracowanych na potrzeby programu operacyjnego System realizacji PO KL oraz Wytyczne MRR. Za wdrażanie Priorytetu odpowiada Minister Nauki i Szkolnictwa Wyższego, który tym samym pełni, na mocy porozumienia z Ministrem Rozwoju Regionalnego, rolę Instytucji Pośredniczącej (IP). Praktycznie, poszczególne zadania IP zostały podzielone między właściwe komórki organizacyjne Ministerstwa departamenty i biura w zależności od realizowanych przez nie zadań zgodnie z regulaminem wewnętrznym MNiSW. Wiodącą rolę pełni Departament Wdrożeń i Innowacji (DWI) koordynujący wdrażanie całości zadań związanych z realizacją P. IV. DWI ma w swoim zakresie zadań zarówno te odnoszące się do strategicznego ukierunkowania wdrażania P. IV w zgodzie z polityką Ministra Nauki i Szkolnictwa Wyższego, jak i zadania techniczne związane z obsługą projektów. Departament odpowiada zatem za przygotowanie Rocznych Planów Działania (RPD), określających strategiczne kierunki wdrażania P. IV. Ponadto organizuje konkursy, w tym informuje wnioskodawców o możliwości ubiegania się o dofinansowanie, prowadzi ocenę formalną i merytoryczną wniosków o dofinansowanie, przygotowuje umowy o dofinansowanie, nadzoruje częściowo realizację projektów poprzez zatwierdzanie zmian w projektach oraz weryfikację wniosków o płatność, występuje z wnioskami o przekazywanie płatności beneficjentom. Dodatkowo, DWI nadzoruje wdrażanie projektów systemowych realizowanych w MNiSW poprzez uwzględnianie ich w Rocznym Planie Działania, weryfikację wniosków o dofinansowanie (formalną oraz organizację oceny merytorycznej) i wniosków o płatność. DWI odpowiada także za realizację zadań w zakresie Pomocy Technicznej (PT) obejmujących przygotowanie Rocznego Planu Działania Pomocy Technicznej (RPD PT), realizację własnych zadań i sprawozdawanie z realizacji poszczególnych zadań przewidzianych w RPD PT, a także rozliczanie PT. Co warte podkreślenia, wdrażanie PO KL jest tylko jednym z zadań Departamentu Wdrożeń i Innowacji. Do innych zadań Departamentu należy wdrażanie (jako IP) Programu Operacyjnego Innowacyjna Gospodarka w zakresie P. I i II, w tym nadzór nad instytucjami wdrażającymi (OPI i PARP), organizacja konkursów, a także realizacja projektów własnych, realizacja programów Ministra Patent Plus i Kreator Innowacyjności, prowadzenie spraw związanych z Narodowym Centrum Badań i Rozwoju, obsługa merytoryczna zadań finansowanych z Funduszu Nauki 19

i Technologii Polskiej czy prowadzenie spraw w zakresie ogólnych zasad funkcjonowania oraz organizacji instytutów badawczych. Strukturę organizacyjną pionu odpowiadającego za PO KL obrazuje poniższy schemat, który jednocześnie potwierdza opisany wyżej zakres zadań DWI w tym obszarze. Wykres 1. Schemat organizacyjny Departamentu Wdrożeń i Innowacji w ramach pionu odpowiadającego za PO KL Źródło: na podstawie schematu organizacyjnego przekazanego przez IP System wdrażania P. IV uległ od 2007 r. modyfikacji. Początkowo rolę wiodącą jako IP pełnił, w odniesieniu do P. IV PO KL, jak również PO IG i POIiŚ, Departament Funduszy Europejskich, natomiast DWI realizował zadania Instytucji Pośredniczącej drugiego stopnia (IP2). To rozwiązanie, zdaniem respondenta z MNiSW: zupełnie nie zdało egzaminu. W praktyce Departament Funduszy Europejskich jedynie przekazywał dokumenty wytworzone przez IP2 do akceptacji Instytucji Zarządzającej PO KL (umiejscowionej w Ministerstwie Rozwoju Regionalnego). Postanowiono zatem połączyć dwie funkcje IP i IP2 w ramach Departamentu Wdrożeń i Innowacji. Część zadań związanych z informacją i promocją P. IV jest realizowana przez Biuro Ministra (BM). Tym samym BM jest, z formalnego i praktycznego punktu widzenia, częścią IP. 20

Wyznaczeni pracownicy BM zajmują się ogłaszaniem w prasie informacji o konkursach, organizacją spotkań i szkoleń dla wnioskodawców i beneficjentów, prowadzeniem od strony technicznej podstrony internetowej MNiSW poświęconej PO KL, a także w coraz większym stopniu, w związku z zaawansowaniem wdrażania Priorytetu, promocją realizowanych projektów i uzyskiwanych przez nie efektów (np. w postaci study tours dla dziennikarzy i publikowania materiałów promocyjnych, takich jak artykuły w prasie). Należy podkreślić, że zadania BM koncentrują się na stronie organizacyjnej i technicznej różnorodnych wydarzeń informacyjnopromocyjnych, natomiast wkład merytoryczny do szkoleń czy informacji prasowych opracowywany jest przez DWI. Zadania związane z kontrolą projektów na miejscu są z kolei realizowane przez pracowników Departamentu Kontroli i Nadzoru (DKN). Tym samym DKN stanowi również część IP. Kwestie związane z akceptowaniem umów o dofinansowanie zgodnie z wewnętrznymi uregulowaniami MNiSW w zakresie zaciągania zobowiązań finansowych, a także przekazywaniem beneficjentom środków finansowych czy obsługą finansową zadań PT realizuje natomiast Departament Budżetu i Finansów. Łącznie zatrudnienie w IP PO KL w MNiSW obejmuje 31 etatów 1. Dla porównania, funkcjonująca w tym samym Departamencie Instytucja Pośrednicząca w ramach PO IG obejmuje 67 etatów, przy czym, co istotne, w systemie instytucjonalnym PO IG w MNiSW funkcjonują także dwie Instytucje Pośredniczące II stopnia Ośrodek Przetwarzania Informacji, w którym zaangażowanych jest 46 etatów oraz PARP, w której ogółem obsługą PO IG, nie tylko w ramach Priorytetów MNiSW, zajmują się osoby na łącznie 197 etatach. Jeśli z kolei porównać zatrudnienie w innych IP komponentu centralnego PO KL, to MPiPS, pełniące tę funkcję w odniesieniu do dwóch priorytetów oraz funkcję IP drugiego stopnia w ramach P. V, dysponuje 72 etatami do realizacji swoich zadań, a MEN 65 etatami. Porównanie z Ministerstwem Edukacji Narodowej wydaje się najbardziej właściwe. Widzimy zatem, że MEN dysponuje dwukrotnie większą liczbą etatów do realizacji swoich zadań niż MNiSW. Analizy porównawcze prowadzone przez MRR, a dotyczące obciążenia pracą poszczególnych instytucji systemu wdrażania NSRO pokazują, że IP dla P. IV PO KL jest jedną z najbardziej obciążonych instytucji w całym systemie, biorąc pod uwagę średnie liczby wniosków o dofinansowanie i wniosków o płatność na etat w półroczu oraz umów w trakcie realizacji przypadających na jeden etat. 1 Dane dotyczące zatrudnienia oraz obciążenia pracą za raportem MRR Potencjał administracyjny systemu instytucjonalnego NSRO na lata 2007-2013 (stan an 30 czerwca 2010 r.) dostępnym na stronie internetowej http://www.funduszeeuropejskie.gov.pl/analizyraportypodsumowania/strony/default.aspx?zakladka=2&st rona=1# data konsultacji 15 marca 2011 r. 21

Wykres 2 Średnie liczby wniosków o dofinansowanie, wniosków o płatność i umów na etat w IP PO KL w MNiSW i innych wybranych IP 25 24,13 20 16,35 15 12,61 13,42 10 7,6 5 1,63 2,73 4,78 4,48 2,22 2,51 1,44 0 IP PO KL MNISW IP PO IG MNISW IP PO KL MEN IP PO KL MPIPS WD na etat w półroczu WOP na etat w półroczu Umowy w trakcie realizacji na etat Źródło: Opracowanie własne na podstawie raportu MRR Potencjał administracyjny systemu instytucjonalnego NSRO na lata 2007-2013 (stan na 30 czerwca 2010 r.) Znaczące obciążenie pracowników IP PO KL w MNiSW ilustruje także wartość alokacji przypadającej średnio w półroczu na jeden etat. Jest to najwyższa średnia wartość alokacji na etat wśród instytucji pośredniczących PO KL oraz najwyższa w tej podgrupie instytucji (w różnych programach) do której zaliczono IP PO KL w MNiSW 2. 2 Podgrupa 2.2. Podgrupy zostały ustalone przez Ministerstwo Rozwoju Regionalnego na podstawie analizy zaangażowania instytucji pośredniczących w procesy zarządcze i wdrożeniowe. Por.: Potencjał administracyjny systemu instytucjonalnego NSRO na lata 2007-2013 (stan na 30 czerwca 2010 r.), s. 118. 22

Wykres 3. Średnia wartość alokacji na etat w IP PO KL MNISW i innych wybranych instytucjach systemu wdrażania NSRO 2007-2013 (wkład UE w EUR) 26 332 639,00 zł 17 148 707,00 zł 13 158 474,00 zł 1 552 048,00 zł IP PO KL MNISW IP PO IG MNISW IP PO KL MEN IP PO KL MPIPS Średnia wartość alokacji wdrażanej na etat Źródło: Opracowanie własne na podstawie raportu MRR Potencjał administracyjny systemu instytucjonalnego NSRO na lata 2007-2013 (stan na 30 czerwca 2010 r.) 3. Ważną rolę w instytucjonalnym schemacie systemu wdrażania pełni Departament Strategii, który jednak nie przynależy do struktur IP. Jest on beneficjentem systemowym odpowiedzialnym za realizację projektów systemowych. 3.1.2 System wdrażania projektów Pomimo przynależności do tzw. komponentu centralnego w ramach PO KL wdrażanego przez jedną IP umiejscowioną w urzędzie centralnym większa część środków w ramach P. IV jest wydatkowana w ramach projektów wybieranych w procedurze konkursowej. W ramach P. IV stosowany jest także tryb systemowy wyboru projektów. Zgodnie z początkowymi założeniami, Poddziałanie 4.1.1 Wzmocnienie potencjału dydaktycznego uczelni i Działanie 4.2 Rozwój kwalifikacji kadr systemu B+R i wzrost świadomości roli nauki w rozwoju gospodarczym miały być wdrażane w formie konkursów, a Poddziałanie 4.1.2 Zwiększenie liczby absolwentów kierunków o kluczowym znaczeniu dla gospodarki opartej na wiedzy oraz Poddziałanie 4.1.3 Wzmocnienie systemowych narzędzi zarządzania szkolnictwem wyższym w formie projektów systemowych. Doświadczenia związane z wdrażaniem Priorytetu zweryfikowały te wstępne założenia. Na początku tzw. zamawianie kierunków odbywało się w ramach projektu systemowego (w Poddziałaniu 4.1.2 Zamawianie kształcenia na kierunkach technicznych, matematycznych i przyrodniczych pilotaż ), jednak od 2009 r. stosowany jest w tym obszarze tryb konkursowy. Decyzja o zmianie trybu wdrażania modułu dotyczącego zamawiania kierunków wynikała z ograniczeń prawnych, bowiem z prawnego punktu widzenia Minister Nauki i Szkolnictwa Wyższego mógł zamawiać kierunki studiów jedynie w uczelniach, które nadzorował, co eliminowało z tego mechanizmu 3 W odniesieniu do IP PO IG w MNiSW i IP PO KL w MPIPS w cytowanym opracowaniu podano średnią wartość alokacji wdrażanej przez daną IP (nie alokacji programu). W odniesieniu do IP PO KL w MNiSW i MEN podano średnią wartość alokacji nie precyzując, czy jest to alokacja programowa czy wdrażana. Biorąc pod uwagę wielkości alokacji, przyjęliśmy założenie, że jest to alokacja wdrażana. 23