Raportu Końcowy. Ocena stanu realizacji celów Programu Operacyjnego Pomoc Techniczna w 2009 roku. Maj 2010.

Raportu Końcowy Ocena stanu realizacji celów Programu Operacyjnego Pomoc Techniczna 2007-2013 w 2009 roku Maj 2010 Unia Europejska Europejski Fundusz Rozwoju Regionalnego Badanie jest współfinansowane przez Unię Europejską w ramach Programu Operacyjnego Pomoc Techniczna 2007-2013 1

Spis treści 1. Wykaz skrótów...5 2. Streszczenie...6 2.1. Cel i metodologia badania... 6 2.2. Wyniki oceny... 6 2.3. Wnioski i Rekomendacje...15 3. Wprowadzenie...19 3.1. Cel badania...19 3.2. Zakres badania...19 3.2.1. Zakres przedmiotowy charakterystyka Programu Operacyjnego Pomoc Techniczna 2007-2013...19 3.2.2. Zakres czasowy...23 3.3. Problemy badawcze i pytania ewaluacyjne...23 3.4. Koncepcja badania...24 4. Metodologia badania...27 4.1. Podejście metodologiczne...27 4.2. Metody i techniki badawcze...27 4.2.1. Analiza dokumentów strategicznych i programowych...28 4.2.2. Wywiady kwestionariuszowe wspomagane komputerowo (CAWI)...29 4.2.3. Panel ekspertów...30 5. Wyniki oceny...31 5.1. Działanie 1.1 Wsparcie zatrudnienia...31 5.1.1. Opis Działania 1.1...31 5.1.2. Ocena poziomu realizacji wskaźników produktu...31 5.1.3. Ocena poziomu realizacji wskaźników rezultatu...33 5.1.4. Postęp finansowy realizacji Działania 1.1...33 5.2. Działanie 1.2 Podnoszenie kwalifikacji...34 5.2.1. Opis Działania 1.2...34 5.2.2. Ocena poziomu realizacji wskaźników produktu...34 5.2.3. Ocena poziomu realizacji wskaźników rezultatu...35 5.2.4. Postęp finansowy realizacji Działania 1.2...39 5.3. Działanie 2.1 Funkcjonowanie i rozwój systemu informatycznego...40 5.3.1. Opis Działania 2.1...40 5.3.2. Ocena poziomu realizacji wskaźników produktu...40 5.3.3. Ocena poziomu realizacji wskaźników rezultatu...41 5.3.4. Postęp finansowy realizacji Działania 2.1...43 2

5.4. Działanie 2.2 Infrastruktura informatyczna...43 5.4.1. Opis Działania 2.2...43 5.4.2. Ocena poziomu realizacji wskaźników produktu...44 5.4.3. Ocena poziomu realizacji wskaźników rezultatu...46 5.4.4. Postęp finansowy realizacji Działania 2.2...46 5.5. Działanie 3.1 Funkcjonowanie instytucji zaangaŝowanych w realizację NSRO...47 5.5.1. Opis Działania 3.1...47 5.5.2. Ocena poziomu realizacji wskaźników produktu...47 5.5.3. Ocena poziomu realizacji wskaźników rezultatu...50 5.5.4. Postęp finansowy realizacji Działania 3.1...55 5.6. Działanie 3.2 Wsparcie projektów kluczowych...56 5.6.1. Opis Działania 3.2...56 5.6.2. Ocena poziomu realizacji wskaźników produktu...56 5.6.3. Ocena poziomu realizacji wskaźników rezultatu...57 5.6.4. Postęp finansowy realizacji Działania 3.2...58 5.7. Działanie 3.3 Ocena (ewaluacja)...58 5.7.1. Opis Działania 3.3...58 5.7.2. Ocena poziomu realizacji wskaźników produktu...58 5.7.3. Ocena poziomu realizacji wskaźników rezultatu...60 5.7.4. Postęp finansowy realizacji Działania 3.3...61 5.8. Działanie 3.4 Koordynacja polityki spójności Wspólnoty z innymi politykami krajowymi, sektorowymi i regionalnymi...61 5.8.1. Opis Działania 3.4...61 5.8.2. Ocena poziomu realizacji wskaźników produktu...61 5.8.3. Ocena poziomu realizacji wskaźników rezultatu...62 5.8.4. Postęp finansowy realizacji Działania 3.4...63 5.9. Działanie 3.5 Wsparcie realizacji Celu Europejska Współpraca Terytorialna....63 5.9.1. Opis Działania 3.5...63 5.9.2. Ocena poziomu realizacji wskaźników produktu...63 5.9.3. Ocena poziomu realizacji wskaźników rezultatu...64 5.9.4. Postęp finansowy realizacji Działania 3.5...65 5.10. Działanie 4.1. Działania promocyjne...65 5.10.1. Opis Działania 4.1...65 5.10.2. Ocena poziomu realizacji wskaźników produktu...65 5.10.3. Ocena poziomu realizacji wskaźników rezultatu...68 5.10.4. Postęp finansowy realizacji Działania 4.1...68 5.11. Działanie 4.2. Wymiana doświadczeń pomiędzy uczestnikami procesu realizacji NSRO...69 5.11.1. Opis Działania 4.2...69 3

5.11.2. Ocena poziomu realizacji wskaźników produktu...69 5.11.3. Ocena poziomu realizacji wskaźników rezultatu...71 5.11.4. Postęp finansowy realizacji Działania 4.2...72 6. Wnioski i rekomendacje...73 7. Załączniki...81 4

1. Wykaz skrótów CAWI Wywiad kwestionariuszowy wspomagany komputerowo (Computer Asisted Web Interviewing) EFRR Europejski Fundusz Rozwoju Regionalnego EWT Europejska Współpraca Terytorialna IZ Instytucja Zarządzająca KSI MRR Krajowy System Informatyczny Ministerstwo Rozwoju Regionalnego NSRO Narodowe Strategiczne Ramy Odniesienia POPT 2007-2013 Program Operacyjny Pomoc Techniczna 2007-2013 PWW RDOŚ Podstawy Wsparcia Wspólnoty Regionalna Dyrekcja Ochrony Środowiska SIMIK System Informatyczny Monitoringu i Kontroli 5

2. Streszczenie 2.1. Cel i metodologia badania Celem głównym badania była ocena stanu realizacji celów Programu Operacyjnego Pomoc Techniczna 2007-2013 w 2009 roku. Cele szczegółowe badania obejmowały analizę poziomu realizacji wskaźników produktu oraz wybranych wskaźników rezultatu, określonych dla POPT 2007-2013 dla 2009 roku, jak równieŝ analizę postępu finansowego POPT 2007-2013 dla całego 2009 roku. Zakres przedmiotowy badania obejmował wszystkie 4 Priorytety oraz wchodzące w ich zakres Działania Programu. Analizie zostały poddane wszystkie wskaźniki produktu oraz wybrane wskaźniki rezultatu Działań 1.2, 2.1, 3.1 oraz 4.2 Zakres czasowy badania obejmował 2009 rok. W celach porównawczych pod uwagę brane były równieŝ dane dotyczące realizacji POPT 2007-2013 w latach 2007 oraz 2008. Metodologia badania obejmowała wykorzystanie zróŝnicowanych metod analizy danych pierwotnych i wtórnych, na które składała się jakościowa analiza dokumentów programowych i analitycznych jak równieŝ analiza dokumentacji odnoszącej się do projektów POPT, analiza statystyczna danych zebranych przy pomocy ankiety internetowej (CAWI) oraz analiza heurystyczna wyników badania przeprowadzona przez panel ekspertów. 2.2. Wyniki oceny PoniŜej przedstawiamy podsumowanie wyników oceny w podziale na poszczególne Działania Programu Operacyjnego Pomoc Techniczna 2007-2013. Działanie 1.1 Wsparcie zatrudnienia W 2009 roku w ramach Działania 1.1 sfinansowano 17 273,18 etatomiesięcy, co w przeliczeniu daje 1439 pełnych etatów. Wskaźnik produktu Liczba miejsc pracy finansowanych ze środków POPT 2007-2013, osiągnął tym samym skumulowaną wartość 37 505,09 etatomiesięcy, co stanowi 16,17% jego wartości docelowej (231 900 etatomiesięcy). MoŜna jednak przewidywać, Ŝe wartość, zwłaszcza dla II połowy 2009 roku moŝe znacząco wzrosnąć ze względu na opóźnienia beneficjentów w przesyłaniu sprawozdań z realizacji projektów. Aby osiągnąć zakładaną docelową wielkość w latach 2010-2015, przy jego obecnej wartości skumulowanej, z POPT powinno być sfinansowanych średnio 2711 pełnych etatów rocznie (32 532,5 etatomiesięcy). Tymczasem maksymalny limit etatów związanych z wdraŝaniem NSRO w administracji przewidzianych do dofinansowania z POPT 2007-2013 w Aktualizacji Planu działań na rzecz zwiększenia potencjału administracyjnego jednostek zaangaŝowanych w realizację Programów Operacyjnych w Polsce w latach 2007-2013 z 29 lipca 2008 roku wynosi 2316 etatów rocznie. Istnieje obawa, Ŝe limit ten uniemoŝliwi osiągnięcie docelowej wartości na poziomie 231 900 etatomiesięcy. 6

Od początku realizacji Programu do 31 grudnia 2009 roku zakontraktowano środki na realizację 66 projektów. zakontraktowanego wkładu ze środków EFRR stanowiła łącznie 75 931 575,50 euro 1 (313 210 155,76 zł) tj. 22,33% dostępnej w Działaniu alokacji. Biorąc pod uwagę wymaganą regularność ponoszenia kosztów w ramach Działania 1.1, stopniowe zwiększanie zatrudnienia oraz waloryzację wynagrodzeń moŝna przewidywać stopniowe zwiększanie rocznej wartości kontraktowanych środków EFRR. finansowanych ze środków europejskich wydatków kwalifikowanych poniesionych przez beneficjentów od początku realizacji Programu do końca 2009 roku wynosi 59 672 940,39 euro (246 144 913,83 zł), co stanowi 17,55% dostępnej w Działaniu alokacji. Działanie 1.2 Podnoszenie kwalifikacji produktu Liczba przeprowadzonych szkoleń, warsztatów, treningów, seminariów, wizyt studyjnych oraz innych form kształcenia, w których wzięli udział pracownicy instytucji objętych wsparciem POPT 2007-2013 wyniosła w 2009 roku 1715 szt. W efekcie skumulowana wartość osiągnęła wartość 2994 szt., co stanowi 32,3% jego wartości docelowej (9100 szt.) Biorąc pod uwagę tempo przyrostu moŝna przyjąć, Ŝe nie ma ryzyka nieosiągnięcia jego wartości docelowej w kolejnych latach. Wskaźnik rezultatu Odsetek pracowników, którzy uczestniczyli w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku w stosunku do ogólnej liczby pracowników podmiotów objętych Działaniem IZ w 2009 roku wyniósł 83,37%. Wynik ten stanowi 87,76% wartości docelowej wynoszącej 95% wszystkich pracowników objętych Działaniem 1.2. Poziom jest niŝszy od jego wartości uzyskanej w 2008 roku (93%), jednak róŝnica ta, w naszej ocenie, wynika z mniej precyzyjnej metody pomiaru, zastosowanej w tamtym okresie. Wskaźnik rezultatu Ocena jakości szkoleń oraz innych form kształcenia osiągnął w 2009 roku wartość 4,23 pkt., co stanowi 94% poziomu docelowej wartości (4,50 pkt.). Wynik ten jest niŝszy niŝ wartość niniejszego zmierzona w 2008 roku (4,55 pkt.), jednak równieŝ w tym przypadku róŝnica wynika z mniej precyzyjnej metody pomiaru, którą wtedy zastosowano. Od początku realizacji Programu do końca 2009 roku podpisano łącznie 20 umów i decyzji o finansowaniu projektów. Zakontraktowano 4 183 709,93 euro (17 257 385,08 zł), czyli 24,61% alokacji przewidzianej dla Działania. Wnioskując na podstawie dotychczasowej dynamiki kontraktowania środków dla Działania 1.2 moŝna uznać, Ŝe wskazany poziom kontraktowania zostanie osiągnięty. wydatków kwalifikowalnych z EFRR poniesionych przez beneficjentów od początku realizacji Programu do końca 2009 roku wynosi 2 389 019,92 euro (9 854 468,27 zł), co stanowi 14,05% dostępnej w Działaniu alokacji a tym samym wskazuje na stopniową realizację celów Działania 1.2. Działanie 2.1 Funkcjonowanie i rozwój systemu informatycznego 1 Wg kursu 1 euro = 4,1249 zł przyjętego dla całego badania. Jest to kurs księgowy Europejskiego Banku Centralnego z dn. 30 grudnia 2009 r. 7

Wskaźnik produktu Liczba stanowisk uŝytkowników systemu osiągnął wartość 6 100 uŝytkowników, co pozwoliło na realizację wartości docelowej na poziomie 174,29%. PoniewaŜ wszystkie instytucje zaangaŝowane w realizację NSRO posiadają dostęp do KSI SIMIK, moŝna uznać, Ŝe zakładany cel został osiągnięty. Wysoka wartość osiągnięta w 2009 roku pozwala twierdzić, Ŝe jego wartość docelowa została niedoszacowana i nie w pełni odpowiada rzeczywistym potrzebom. rezultatu Ocena uŝyteczności systemu informatycznego monitoringu i kontroli wyniosła w 2009 roku 3,42 pkt., co stanowi 86% wartości docelowej rezultatu (4,00 pkt.) zakontraktowanych środków z EFRR wyniosła 5 124 046,65 euro (21 136 180,01 zł), co stanowi 60,28 % alokacji. MoŜna zakładać, Ŝe kwota alokacji zostanie w najbliŝszych latach w pełni wykorzystana. EFRR wydatków kwalifikowalnych poniesionych przez beneficjentów od początku w 2009 roku wynosi 743 895,71 euro (3 068 495,42 zł), co stanowi 8,75% dostępnej w Działaniu alokacji. Działanie 2.2 Infrastruktura informatyczna Pomiar postępu w osiąganiu wskaźników produktu w Działaniu 2.2 wiąŝe się z trudnościami metodologicznymi, wynikającymi z niespójności pomiędzy sposobem określeniem wartości początkowej i docelowej wskaźników w dokumencie Szczegółowym opisie priorytetów Programu Operacyjnego Pomoc Techniczna 2007-2013 a metodą ich pomiaru przedstawioną w dokumencie Definicje wskaźników oraz metodologia obliczania wartości wskaźników, zdefiniowanych dla Programu Operacyjnego Pomoc Techniczna 2007-2013. Przyjęte wartości początkowe wskaźników produktu wynoszą 1500 szt. dla Liczba zakupionych urządzeń informatycznych i telekomunikacyjnych oraz 800 szt. dla Liczba zakupionych systemów komputerowych. Metodologia pomiaru obydwu wskaźników wskazuje, Ŝe moŝe być do nich włączony jedynie sprzęt, który został w całości lub w części sfinansowany ze środków POPT 2007-2013. Idąc za tymi wskazówkami wartość początkowa wskaźników powinna wynosić 0 szt. Tym samym wartość docelowa obydwu wskaźników powinna zostać zmniejszona o wartości odpowiadające obecnym wartościom początkowym (1500 szt. i 800 szt.). Aby precyzyjniej odzwierciedlić postęp w osiąganiu wskaźników IZ POPT w kolejnych sprawozdaniach z realizacji Programu, przyjęła uzasadnioną metodologię, w której wartość osiągnięta w danym okresie dzielona jest przez róŝnice wartości docelowej i bazowej. W związku z powyŝszymi trudnościami, na potrzeby badania zastosowano dwa sposoby pomiaru stopnia osiągania wskaźników. Pierwszy z nich uwzględnia przyjęte w Szczegółowym opisie priorytetów POPT 2007-2013 wartości początkowe i końcowe wskaźników. Drugi sposób, opiera się na metodologii stosowanej w kolejnych sprawozdaniach z realizacji POPT 2007-2013. produktu Liczba zakupionych urządzeń informatycznych i telekomunikacyjnych osiągnęła w 2009 roku wartość 727 szt. Tym samym skumulowany wskaźnik z końcem 2009 roku osiągnął w zaleŝności od przyjętej metodologii pomiaru 3419 szt. (136,19% wartości docelowej) lub 1919 szt. (191,9% wartości docelowej). Biorąc pod uwagę tak szybkie osiągnięcie wartości docelowej, moŝna uznać, Ŝe została ona niedoszacowana. 8

Stan roczny Liczba zakupionych systemów komputerowych osiągnął na koniec 2009 roku wartość 550 szt. Skumulowana wartość od początku realizacji POPT 2007-2013 wyniosła w zaleŝności od przyjętej metodologii pomiaru, 1929 szt. (37,1% wartości docelowej) lub 1129 szt. (26,75% wartości docelowej). MoŜna uznać, Ŝe wartość docelowa zostanie osiągnięta przede wszystkim ze względu na konieczność wymiany zamortyzowanego sprzętu zakupionego jeszcze w okresie programowania 2004-2006. Od rozpoczęcia realizacji POPT 2007-2013 podpisano w ramach Działania 2.2 łącznie 7 umów/decyzji o wartości EFRR wynoszącej 6 558 619,91 euro (27 053 651,25 zł) tj. 64,30% dostępnej w Działaniu alokacji. EFRR wydatków kwalifikowalnych poniesionych przez beneficjentów od początku realizacji Programu do końca 2009 roku wynosi 2 988 340,45 euro (12 326 605,51 zł), co stanowi 29,30% dostępnej w Działaniu alokacji. W związku z przewidywanym zwiększeniem zapotrzebowania na nowe systemy komputerowe oraz urządzenia informatyczne i telekomunikacyjne, moŝna wnioskować, Ŝe nie wystąpią trudności z wykorzystaniem alokacji. Działanie 3.1 Funkcjonowanie instytucji zaangaŝowanych w realizację NSRO Wskaźnik Liczba posiedzeń komitetów i podkomitetów osiągnął w 2009 roku wartość 7 szt., skumulowana od początku realizacji Programu wyniosła 12 szt., co stanowi 24% jego wartości docelowej. Analizując dynamikę wzrostu oraz doświadczenia z realizacji POPT 2004-2006, moŝna uznać, Ŝe tempo realizacji jest prawidłowe. Wskaźnik Liczba opracowanych ekspertyz, ocen, analiz, koncepcji, studiów w 2009 roku osiągnął wartość 49 szt. Tym samym skumulowana wartość za lata 2007-2009 zwiększyła się do poziomu 78 szt., co stanowi 15,6% jego wartości docelowej. MoŜna zakładać, Ŝe wartość docelowa zostanie osiągnięta w kolejnych latach, poniewaŝ ocena realizacji NSRO oraz przygotowanie kolejnej perspektywy programowania będzie wymagało zwiększenia liczby opracowanych dokumentów analitycznych. W przypadku Liczba spotkań, konferencji, seminariów moŝna zauwaŝyć podobną, jak przy ch produktu w Działaniu 2.2 niespójność pomiędzy zapisem wartości początkowej produktu zawartym w Szczegółowym opisie priorytetów POPT 2007-2013, a jego definicją w dokumencie Definicje wskaźników oraz metodologia obliczania wartości wskaźników, zdefiniowanych dla Programu Operacyjnego Pomoc Techniczna 2007-2013, a co za tym idzie przyjętym w praktyce sprawozdawczej sposobem liczenia. początkowa w Szczegółowym opisie priorytetów została określona na poziomie 45 spotkań, konferencji i seminariów. Metodologia pomiaru wskazuje, Ŝe wskaźnik dotyczy spotkań finansowanych w całości lub w części z POPT 2007-2013. Z tego względu bardziej wskazane wydaje się przyjęcie wartości początkowej na poziomie 0 szt. W tym przypadku równieŝ, aby precyzyjniej odzwierciedlać postęp w osiąganiu IZ POPT w kolejnych sprawozdaniach z realizacji Programu, przyjęła uzasadnioną metodologię, w której wartość osiągnięta w danym okresie dzielona jest przez róŝnice wartości docelowej i bazowej. Podobnie więc, jak w przypadku wskaźników produktu dla Działania 2.2 przyjęliśmy dwa sposoby pomiaru realizacji. Pierwszy z nich uwzględnia obecną wartość początkową i docelową, drugi odpowiada metodologii zastosowanej w sprawozdaniach z realizacji POPT. W 2009 roku roczna wartość Liczba spotkań, konferencji, seminariów wyniosła 169 sztuk. Tym samym jego wartość skumulowana wyniosła w zaleŝności od 9

przyjętego sposobu pomiaru 346 szt. (128,15% jego wartości docelowej) lub 301 szt. i (133,78% wartości docelowej). Biorąc pod uwagę tak szybkie osiągnięcie wartości docelowej, moŝna uznać, Ŝe został on niedoszacowany. W związku z tym naleŝy rozwaŝyć zwiększenie wartości docelowej podczas rewizji wskaźników POPT 2007-2013 w połowie okresu programowania. Wskaźnik Liczba zakupionych pozostałych urządzeń i przedmiotów wyposaŝenia biurowego, osiągnął w 2009 roku wartość 15 164 szt. W efekcie wartość skumulowana osiągnęła poziom 17 987 szt. Wskaźnik ten nie ma określonej wartości początkowej i docelowej. PoniewaŜ w 2008 roku zakupiono 2814 szt. urządzeń i przedmiotów wyposaŝenia biurowego, moŝna mówić o wysokiej dynamice wzrostu. Wskaźnik rezultatu Średni czas wypłaty środków na podstawie wniosków o płatność w PO osiągnął w 2009 roku wartość 25,42 dnia roboczego. Jest to wynik o 4,58 dnia roboczego lepszy niŝ zakładana wartość docelowa rezultatu (30 dni roboczych) Wysoki stopień realizacji wskazuje na duŝą sprawność IZ POPT w przekazywaniu płatności. Wskaźnik rezultatu Ocena dostosowania stanowisk pracy do wykonywania zadań związanych z programowaniem, wdraŝaniem, monitorowaniem, informowaniem, oceną i kontrolą osiągnął wartość 3,98 pkt, co stanowi 88,44% wartości docelowej (4,50 pkt.). Ocena została przeprowadzona na podstawie odpowiedzi na pytania udzielanych przez pracowników jednostek objętych wsparciem w ramach Działania 3.1 POPT. przyznawanych ocen róŝniła się znacząco w przypadku poszczególnych jednostek. NajwyŜsze oceny przyznawali pracownicy urzędów wojewódzkich (średnia 4,49 pkt.), najniŝsze zaś pracownicy urzędów kontroli skarbowej ( 3,75 pkt.). Spośród ocenianych kryteriów najniŝszą ocenę uzyskał stan techniczny i eksploatacyjny pomieszczeń (3,81 pkt.). Od początku realizacji POPT 2007-2013 podpisano łącznie 17 umów/decyzji ramach Działania a kwota zakontraktowanych środków z EFRR wyniosła 11 368 437,80 euro (46 893 669,10 zł), tj. 33,44 % dostępnej alokacji. EFRR wydatków kwalifikowalnych poniesionych przez beneficjentów od początku realizacji Programu w latach 2007-2013 wynosi 4 840 975,96 euro (19 968 538,56 zł), co stanowi 14,24% alokacji dla Działania 3.1. PowyŜsze wyniki pozwalają stwierdzić, Ŝe kontraktowanie i wydatkowanie środków przebiega w prawidłowym tempie. Działanie 3.2 Indywidualne projekty kluczowe Wskaźnik produktu Liczba projektów kluczowych objętych wsparciem, W 2009 roku uzyskał wartość 108 szt. Od początku realizacji Programu, wsparciem objęto 139 projektów kluczowych, co stanowi 17,38% wartości docelowej. Przyjęta wartość docelowa będzie mogła zostać osiągnięta w przypadku objęcia pomocą 110 nowych projektów kluczowych rocznie do końca 2015 roku. Ze względu jednak na strategiczne znaczenie projektów kluczowych dla rozwoju społeczno-gospodarczego wartość docelowa powinna zostać osiągnięta znacznie wcześniej. Konieczne jest objęcie wsparciem jak największej liczby projektów kluczowych w moŝliwie najkrótszym czasie. Od początku realizacji POPT 2007-2013 zostały zakontraktowane środki na realizację 2 projektów o wartości 16 155 220, 52 euro (66 638 669,13 zł) ze środków EFRR, tj. 10

63,35% dostępnej w Działaniu alokacji. EFRR wydatków kwalifikowalnych poniesionych przez beneficjentów od początku realizacji Programu do końca roku 2009 wynosi 2 420 415,61 euro (9 983 972,63 zł), co stanowi 9,49% dostępnej w Działaniu alokacji. Biorąc pod uwagę, Ŝe większość środków została zakontraktowana w 2007 roku ich wydatkowanie przebiega w powolnym tempie. Działanie 3.3 Ocena (ewaluacja) W przypadku wskaźników produktu pojawia się niespójność pomiędzy zapisem wartości początkowej wskaźników zawartej w Szczegółowym opisie priorytetów a ich definicją zawartą w dokumencie Definicje wskaźników oraz metodologia obliczania wartości wskaźników, zdefiniowanych dla Programu Operacyjnego Pomoc Techniczna 2007-2013 oraz wynikającą z niej praktyką liczenia przyjętą w sprawozdawczości. początkowa Liczba ocen, analiz, studiów i koncepcji wykonanych przez ewaluatorów zewnętrznych została określona na poziomie 56 opracowań, natomiast we wskaźniku Liczba spotkań, seminariów, konferencji związanych z ewaluacją, na poziomie 35 szt. I w jednym i drugim przypadku metodologia pomiaru zakłada wliczenie do jedynie działań finansowanych w całości lub częściowo ze środków POPT 2007-2013. Tym samym bardziej właściwe wydaje się przyjęcie wartości początkowej na poziomie 0. IZ POPT, podobnie jak w przypadku Działań 2.2 oraz 3.1, w kolejnych sprawozdaniach z realizacji Programu przyjęła metodologię, w której wartość osiągnięta w danym okresie dzielona jest przez róŝnice wartości docelowej i bazowej. W związku z powyŝszymi trudnościami, przestawiono skumulowaną wartość obydwu wskaźników zarówno przy zastosowaniu metody uwzględniającej przyjętą w Szczegółowym opisie priorytetów wielkość początkową i końcową wskaźników, jak równieŝ drugiego sposobu liczenia stosowanego w sprawozdawczości. Liczba ocen, analiz, studiów i koncepcji wykonanych przez ewaluatorów zewnętrznych dla roku 2009 wyniosła 19 szt. Skumulowana wartość przy przyjęciu jego wartości początkowej na poziomie 56 szt. wyniosła 101 szt., co stanowi 40,4% wartości docelowej. Według metodologii stosowanej przez IZ POPT skumulowana wartość wyniosła 45 szt. czyli 23,20% wartości docelowej. Liczba spotkań, seminariów, konferencji związanych z ewaluacją w 2009 roku osiągnęła wartość 6 szt. Tym samym skumulowana wartość przy przyjęciu wartości początkowej na poziomie 35 szt. wyniosła 49 szt., co stanowi 16,95% wartości docelowej. Według metodologii stosowanej przez IZ POPT skumulowana wartość produktu wyniosła 14 szt., czyli 5,51% wartości docelowej. Patrząc na osiągnięte wielkości obydwu wskaźników w poszczególnych latach, moŝna zauwaŝyć malejącą dynamikę ich wzrostu pomiędzy rokiem 2008 i 2009. Tendencja ta nie budzi obaw, ze względu na fakt, Ŝe większość badań ewaluacyjnych realizuje się wraz z końcem okresu programowania. Pokazują to m.in. doświadczenia z realizacji POPT 2004-2006. MoŜna spodziewać się zwiększenia dynamiki wzrostu obydwu wskaźników w kolejnych latach. Od początku realizacji POPT 2007-2013 podpisano łącznie 3 umowy/decyzje o wartości wsparcia ze środków EFRR wynoszącej 8 451 574,58 euro (34 861 900,00 zł), czyli 66,29% alokacji na Działanie 3.3. finansowanych z EFRR wydatków kwalifikowanych, poniesionych przez beneficjentów od początku realizacji Programu do końca 2009 roku wynosi 998 153, 32 euro (4 117 282,65 zł), co stanowi 7,83% 11

dostępnej w Działaniu alokacji. W związku z tym, iŝ naleŝy się spodziewać intensyfikacji działań związanych z ewaluacją wraz ze zbliŝaniem się do końca perspektywy programowania 2007-2013, obecny poziom wydatkowania środków nie budzi zastrzeŝeń. Działanie 3.4 Koordynacja polityki spójności Wspólnoty z innymi politykami krajowymi, sektorowymi i regionalnymi Wskaźnik produktu Liczba ekspertyz, analiz, studiów przygotowanych na potrzeby koordynacji polityk Wspólnoty. wskaźnik nie uległ zmianie w stosunku do roku 2008, kiedy to osiągnął wartość 9 szt. co odpowiada 18% jego wartości docelowej. Ze względu na duŝe znaczenie tego typu analiz dla przygotowań do nowego okresu programowania, dynamika realizacji w najbliŝszych latach powinna zostać zwiększona. Od początku realizacji Programu w ramach Działania 3.4 wydano 1 decyzję, której wartość dofinansowania EFRR wynosi 741 836,17 euro (3 060 000,00 zł) tj. 87,27% dostępnej w Działaniu alokacji. EFRR wydatków kwalifikowalnych poniesionych przez beneficjenta od początku realizacji Programu do końca 2009 roku wynosi 55 224,29 euro (227 794,69 zł), co stanowi 6,50% dostępnej w Działaniu alokacji. W związku z koniecznością zwiększenia liczby analiz przygotowanych na potrzeby koordynacji polityk Wspólnoty naleŝy równieŝ zwiększyć poziom wydatkowania środków w ramach Działania 3.4. Działanie 3.5 Wsparcie realizacji Celu Europejska Wspólnota Terytorialna W 2009 roku wskaźnik produktu Liczba ekspertyz, analiz, studiów z zakresu polityki przestrzennej osiągnął wartość 11 sztuk. Tym samym jego wartość docelowa osiągnęła poziom 53 szt. Osiągnięcie zakładanej wielkości we wczesnej fazie realizacji POPT 2007-2013, przy wykorzystaniu wydatkowaniu 28,73% alokacji, świadczy o tym, Ŝe został on niedoszacowany. Od początku realizacji Programu do końca 2009 roku, w ramach Działania wydano 1 decyzję, której wartość dofinansowania ze środków EFRR wynosi 1 407 985,51 euro (5 807 799,44 zł) tj. 82,82% dostępnej w Działaniu alokacji. EFRR wydatków kwalifikowanych, poniesionych przez beneficjenta wsparcia w tym samym okresie wynosi 557 989,49 euro (2 301 650,84 zł), co stanowi 32,82% dostępnej w Działaniu alokacji. PowyŜsze wyniki nie wskazują na zagroŝenie dla wydatkowania alokacji dostępnej dla Działania. Działanie 4.1 Promocja i informacja W 2009 roku wskaźnik produktu Wolumen egzemplarzy wszystkich publikacji, broszur, ulotek dotyczy materiałów osiągnął wartość 665 167 egzemplarzy publikacji, broszur i ulotek. Zagregowana wartość osiągnęła poziom 755 893 egzemplarzy. Nie określono wartości początkowej i docelowej jest on monitorowany na 12

bieŝąco. MoŜna zauwaŝyć bardzo dynamiczny wzrost wartości w stosunku do jego poziomu z 2008 roku. MoŜna zauwaŝyć niespójność pomiędzy zapisem wartości początkowej Liczba analiz, ekspertyz, badań, studiów zawartą w Szczegółowym opisie osi priorytetowych a metodą pomiaru zawartą w dokumencie Definicje wskaźników oraz metodologia obliczania wartości wskaźników, zdefiniowanych dla Programu Operacyjnego Pomoc Techniczna 2007-2013 oraz przyjętą w sprawozdawczości praktyką liczenia. Szczegółowy opis osi priorytetowych określa wartość początkową na poziomie 32 szt. Tymczasem metodologia pomiaru wskazuje, Ŝe wskaźnik dotyczy analiz ekspertyz, badań lub studiów finansowanych w całości lub w części z POPT 2007-2013. Tym samym bardziej wskazane wydaje się przyjęcie wartości początkowej na poziomie 0 szt. Aby precyzyjniej odzwierciedlać postęp w osiąganiu wskaźników IZ POPT w kolejnych sprawozdaniach z realizacji Programu, przyjęła, w której wartość osiągnięta w danym okresie dzielona jest przez róŝnice wartości docelowej i bazowej. Dlatego teŝ podobnie jak we wcześniejszych przypadkach przyjęliśmy dwa sposoby pomiaru realizacji. Pierwszy z nich uwzględnia wartość początkową zawartą w Szczegółowym opisie osi priorytetowych., natomiast drugi jest zgodny z praktyką pomiaru stosowaną przy przygotowywaniu sprawozdań okresowych z realizacji POPT. W 2009 roku w ramach Działania 4.1 przygotowano 1 dokument wliczony do Liczba analiz, ekspertyz, badań, studiów. Skumulowana wartość, przy przyjęciu jego wartości początkowej na poziomie 32 szt. wyniosła z końcem 2009 roku 36 szt., co stanowi 21,82% wartości docelowej. Przy zastosowanie drugiej metody, skumulowana wartość wynosi 4 szt., co stanowi 3,01% jego wartości docelowej. Niski poziom osiągnięcia wynika z faktu, Ŝe część ekspertyz moŝliwych do realizacji w ramach Działania, było finansowanych ze środków POPT 2004-2006. Podobnie jak w przypadku innych Działań POPT, których zakres przedmiotowy obejmuje przeprowadzenie róŝnego rodzaju studiów i analiz, moŝna spodziewać się, Ŝe wskaźnik ten znacząco wzrośnie w kolejnych latach okresu programowania. Od początku realizacji POPT 2007-2013, do końca 2009 roku w ramach Działania 4.1 podpisano 6 umów i decyzji o łącznej wartości zakontraktowanego wsparcia z EFRR w wysokości 21 391 011,48 euro (88 235 783,24 zł) tj. 39,52% dostępnej alokacji. EFRR wydatków kwalifikowalnych poniesionych przez beneficjentów od początku realizacji Programu do końca 2009 roku wynosi 7 091 457,41 euro (29 251 554,54 zł), co stanowi 13,10% dostępnej w Działaniu alokacji. Obecny poziom wydatkowania środków nie budzi zastrzeŝeń Działanie 4.2 Wymiana doświadczeń pomiędzy uczestnikami realizacji NSRO W 2009 roku wskaźnik produktu Wolumen wydanych materiałów informacyjnych, publikacji, raportów nie uległ zmianie w stosunku do roku 2008 i pozostał na poziomie 14 260 egzemplarzy. Wskaźnik nie ma określonej wartości docelowej a jego wartość jest monitorowana na bieŝąco. Pomiar produktu Liczba spotkań, seminariów i konferencji nastręcza trudności podobnych do sygnalizowanych w przypadku wskaźników produktu w Działaniach 2.2, 3.1, 3.3 oraz 4.1. początkowa ujęta w Szczegółowym opisie osi priorytetowych Programu Operacyjnego Pomoc Techniczna uwzględnia dokumenty (30 szt.), które nie były finansowane ze środków POPT 2007-2013, co jest sprzeczne z metodologią pomiaru oraz praktyką 13

sprawozdawczości przyjętą przez IZ POPT. Z tego względu przyjęto dwie metody liczenia poziomu realizacji niniejszego. Wskaźnik produktu Liczba spotkań, seminariów i konferencji wzrósł w 2009 roku o 94 tego typu wydarzenia. Przy załoŝeniu, Ŝe wartość początkowa wynosi 30 szt. jego wartość skumulowana wyniosła na końcu 2009 roku 175 szt., co stanowi 56,61% wartości docelowej. Stosując metodę liczenia przyjętą przez IZ POPT otrzymujemy wartość skumulowaną na poziomie 145 szt., co stanowi 51,79% wartości docelowej. Skumulowana wartość jest wysoka, biorąc pod uwagę stosunkowo wczesny etap obecnego okresu programowania. Zachodzi obawa, Ŝe mógł on zostać nieoszacowany. rezultatu Odsetek złoŝonych projektów poprawnych pod względem formalnym i merytorycznym osiągnęła w 2009 roku wyniosła 56,06%. Wskaźnik nie ma określonej wartości docelowej. Według przeprowadzonych wyliczeń jego wartość w 2008 roku wyniosła 38,71%. Wzrost wskazuje, świadczy o poprawie kompetencji beneficjentów w zakresie wnioskowania o dofinansowane a tym samym o rosnącej skuteczności projektów realizowanych w ramach Działania 4.2. Od początku realizacji POPT 2007-2013 podpisano 5 umów/decyzji, a łączna wartość zakontraktowanego wsparcia ze środków EFRR to 2 332 688,94 euro (9 622 108,62 zł) tj. 19,33% alokacji. EFRR wydatków kwalifikowalnych poniesionych przez beneficjentów od początku realizacji Programu do końca 2009 roku wynosi 1 478 768,24 euro (6 099 771,45 zł) co stanowi 12,25% dostępnej w Działaniu alokacji. 14

2.3. Wnioski i Rekomendacje W poniŝszej tabeli zamieszczono wnioski wysunięte na podstawie wyników oceny oraz wynikające z nich rekomendacje. Szczegółowe przedstawienie wniosków wraz z uzasadnieniem oraz rekomendacji znajduje się w Rozdziale nr 6. Tabela 1 Wnioski i rekomendacje Lp. Wnioski z badania Proponowane rekomendacje 1. Prawdopodobne niedopasowanie wartości Rekomendujemy przeprowadzenie bardziej docelowej Liczba miejsc pracy szczegółowej analizy, mającej na celu sprawdzenie, czy finansowanych ze środków POPT 2007- określona wartość docelowa koresponduje z 2013 w Działaniu 1.1 POPT do obecnym zapotrzebowaniem kadrowym instytucji rzeczywistych potrzeb kadrowych. wdraŝających NSRO. 2. Niedoszacowana wartość docelowa Liczba stanowisk uŝytkowników systemu w Działaniu 2.1 POPT. W przypadku, gdyby wskaźnik okazał się zawyŝony, rekomendujemy zmniejszenie jego wartości docelowej podczas rewizji wskaźników w połowie okresu programowania. Adresatem rekomendacji jest IZ POPT. Rekomendujemy zwiększenie wartości docelowej Liczba stanowisk uŝytkowników systemu podczas rewizji wskaźników w połowie okresu programowania.. Działanie to powinno zostać poprzedzone analizą zapotrzebowania na liczbę stanowisk posiadających uprawnienia do KSI SIMIK w kolejnych latach obecnego okresu programowania. 3. Stosunkowo niska wartość Ocena uŝyteczności systemu informatycznego monitoringu i kontroli (Działanie 2.1 POPT) w porównaniu z oczekiwaną wartością docelową. 4. Niedoszacowana wartość docelowa Liczba zakupionych urządzeń informatycznych i telekomunikacyjnych w Działaniu 2.2 POPT. Jednocześnie rekomendujemy pozostanie przy obecnym poziomie alokacji na Działanie 2.1. Dotychczasowa praktyka realizacji projektów finansowanych z tego Działania pokazuje, Ŝe środki te pozwalają osiągnąć większy postęp rzeczowy realizacji Działania, niŝ to wynika z obecnej wartości docelowej. Adresatem rekomendacji jest IZ POPT. Rekomendujemy przeprowadzenie wśród uŝytkowników KSI SIMIK szczegółowego badania satysfakcji z korzystania z systemu. Jego wyniki powinny stanowić podstawę dla dalszego rozwoju KSI SIMIK. Adresatem rekomendacji jest Operator KSI SIMIK. Rekomendujemy zwiększenie wartości docelowej Liczba zakupionych urządzeń informatycznych i telekomunikacyjnych podczas rewizji wskaźników w połowie okresu programowania. Działanie to powinno zostać poprzedzone analizą zapotrzebowania na urządzenia informatyczne i telekomunikacyjnych w kolejnych latach obecnego okresu programowania. Jednocześnie rekomendujemy pozostanie przy 15

5. Niedoszacowana wartość docelowa Liczba spotkań, konferencji, seminariów w Działaniu 3.1 POPT obecnym poziomie alokacji na Działanie 2.2. Dotychczasowa praktyka realizacji projektów finansowanych z tego Działania pokazuje, Ŝe środki te pozwalają osiągnąć większy postęp rzeczowy realizacji Działania, niŝ to wynika z obecnej wartości docelowej. Adresatem rekomendacji jest IZ POPT. Rekomendujemy zwiększenie wartości docelowej Liczba spotkań, konferencji, seminariów podczas rewizji wskaźnikow w połowie okresu programowania. Jednocześnie rekomendujemy pozostanie przy obecnym poziomie alokacji na Działanie 3.1. Dotychczasowa praktyka realizacji projektów finansowanych z tego Działania pokazuje, Ŝe środki te pozwalają osiągnąć większy postęp rzeczowy realizacji Działania, niŝ to wynika z obecnej wartości docelowej. 6. Relatywnie niskie oceny dopasowania stanowisk pracy do zakresu obowiązków pracowników w niektórych spośród badanych jednostek (Działanie 3.1). Adresatem rekomendacji jest IZ POPT Rekomendujemy połoŝenie większego nacisku na poprawę poziomu dostosowania stanowisk pracy do zadań pełnionych przez pracowników w niektórych jednostkach zaangaŝowanych w realizację NSRO. Rekomendujemy przeprowadzenie szczegółowej analizy potrzeb oraz podjęcie adekwatnych działań zwłaszcza w następujących jednostkach: Urzę dy Kontroli Skarbowej w Gdańsku, Katowicach i w Warszawie, GDOŚ oraz RDOŚ w Poznaniu - w obszarze dostępu do wyposaŝenia biurowego. Urzę dy Kontroli Skarbowej w Krakowie, Warszawie, RDOŚ w Gdańsku, Departament Ekonomiczno Finansowy MRR - w obszarze dostępu do materiałów eksploatacyjnych. Depa rtament Przygotowania Projektów Indywidualnych MRR, Departamentu Ochrony Interesów UE w Ministerstwie Finansów, GDOŚ, RDOŚ w Warszawie, Urząd Kontroli Skarbowej w Poznaniu - w obszarze stanu technicznego i eksploatacyjnego pomieszczeń. Urzę dy Kontroli Skarbowej w Kielcach, Krakowie i Lublinie, Olsztynie i w Katowicach, Departament Informatyki MRR oraz Departament Ochrony Interesów Finansowych UE i Departament Instytucji Płatniczej w Ministerstwie Finansów - w obszarze dostępu do pomieszczeń. Planując kolejne projekty finansowane z Działania 3.1, w większości jednostek objętych badaniem warto mieć na uwadze zwłaszcza poprawę stanu technicznego i eksploatacyjnego pomieszczeń. 16

Projekty podejmowane we wszystkich wyŝej wymienionych obszarach powinny zostać poprzedzone kompleksową analizą potrzeb pracowników pod kątem dostosowania zajmowanych przez nich stanowisk pracy do realizowanych zadań. 7. Niewielka w stosunku do potrzeb liczba projektów kluczowych objętych wsparciem w ramach Działania 3.2 POPT. Adresatami rekomendacji są beneficjenci Działania 3.1 POPT. Rekomendujemy objęcie wsparciem w ramach Działania 3.2 moŝliwie jak największej liczby projektów kluczowych, w jak najszybszym czasie. Wskazane jest równieŝ szczegółowe zbadanie przyczyn niewielkiej liczby projektów objętych wsparciem. 8. Stosunkowo niska w odniesieniu do potrzeb wartość oraz dynamika Liczba ekspertyz, analiz, studiów przygotowanych na potrzeby koordynacji polityk Wspólnoty (Działanie 3.4 POPT). 9. Niedoszacowany wskaźnik Liczba ekspertyz, analiz, studiów z zakresu polityki przestrzennej (Działanie 3.5 POPT). 10. Wysokie prawdopodobieństwo niedoszacowania Liczba spotkań, seminariów i konferencji (Działanie 4.2 POPT). Adresatami rekomendacji są beneficjenci Działania 3.2 POPT. Rekomendujemy połoŝenie większego nacisku na monitoring liczby przygotowanych w 2010 roku ekspertyz, analiz, studiów przygotowanych na potrzeby koordynacji polityk Wspólnoty. W razie, gdyby nie nastąpiło zwiększenie dynamiki realizacji, zalecamy znacząco podnieść liczbę przygotowanych opracowań tego typu zwłaszcza w latach 2011 i 2012. Adresatem rekomendacji jest IZ POPT. Rekomendujemy zwiększenie wartości docelowej Liczba spotkań, konferencji, seminariów podczas rewizji wskaźników w połowie okresu programowania. Zwiększenie wartości powinno zostać poprzedzone analizą w zakresie zapotrzebowania na ekspertyzy i inne opracowania analityczne związane z polityką przestrzenną w kolejnych latach obecnego okresu programowania. Jednocześnie rekomendujemy pozostanie przy obecnym poziomie alokacji na Działanie 3.5. Dotychczasowa praktyka realizacji projektów finansowanych z tego Działania pokazuje, Ŝe środki te pozwalają osiągnąć większy postęp rzeczowy realizacji Działania, niŝ to wynika z obecnej wartości docelowej. Adresatem rekomendacji jest IZ POPT. W przypadku utrzymywania się obecnej dynamiki wzrostu, rekomendujemy zwiększenie jego wartości docelowej podczas rewizji wskaźników przeprowadzonej w połowie okresu programowania. Jednocześnie rekomendujemy pozostanie przy obecnym poziomie alokacji na Działanie 4.2. Dotychczasowa praktyka realizacji projektów finansowanych z tego Działania pokazuje, Ŝe środki te pozwalają osiągnąć większy postęp rzeczowy realizacji 17

Działania, niŝ to wynika z obecnej wartości docelowej. 11. Niespójności pomiędzy wartościami początkowymi i docelowymi wskaźników przyjętymi w Szczegółowym opisie osi priorytetowych Programu Operacyjnego Pomoc Techniczna 2007-2013 a metodami pomiaru określonymi w dokumencie Definicje wskaźników oraz metodologia obliczania wartości wskaźników, zdefiniowanych dla Programu Operacyjnego Pomoc Techniczna 2007-2013 oraz praktyką monitoringu stosowaną na potrzeby przygotowania sprawozdań okresowych z realizacji POPT. Dotyczą one części wskaźników produktu dla Działań 2.2, 3.1, 3.3, 4.1 i 4.2. Efektem wskazanych rozbieŝności metodologicznych są przede wszystkim róŝnice w wynikach pomiaru postępu realizacji wskaźników produktu, co zostało zaprezentowane w rozdziałach dotyczących poszczególnych wskaźników. Adresatem rekomendacji jest IZ POPT. Rekomendujemy dokonanie rewizji wielkości początkowych i końcowych wymienionych wskaźników ujętych w Szczegółowym opisie osi priorytetowych POPT 2007-2013, tak aby precyzyjniej mierzyły efekty działań finansowanych w całości lub w części ze środków Programu. W tym celu wartości początkowe wskaźników powinny być określone na poziomie zerowym, natomiast wartości docelowe zmniejszone o obecną wielkość wartości początkowej. Adresatem rekomendacji jest IZ POPT. 18

3. Wprowadzenie 3.1. Cel badania Celem badania była ocena stanu realizacji celów Programu Operacyjnego Pomoc Techniczna 2007-2013 w 2009 roku. Do osiągnięcia niniejszego celu, przyczyniła się realizacja następujących celów szczegółowych: 1. Analiza poziomu realizacji wskaźników produktu, określonych dla POPT 2007-2013 dla 2009 roku. 2. Pomiar i analiza osiągniętych w 2009 r. wartości wskaźników rezultatu określonych dla POPT 2007-2013. 3. Analiza postępu finansowego POPT 2007-2013 dla całego 2009 r. Analiza dotyczy stanu postępu finansowego dla wszystkich Działań i Priorytetów POPT 2007-2013. Efektem badania są rekomendacje dla dalszej realizacji POPT 2007-2013. 3.2. Zakres badania 3.2.1. Zakres przedmiotowy charakterystyka Programu Operacyjnego Pomoc Techniczna 2007-2013 Badaniem został objęty Program Operacyjny Pomoc Techniczna na lata 2007-2013. Głównym celem POPT 2007-2013 jest zapewnienie sprawnego i efektywnego przebiegu realizacji Narodowych Strategicznych Ram Odniesienia w latach 2007-2013. Do osiągnięcia tego celu przyczynia się realizacja następujących celów szczegółowych: 1. Zapewnienie sprawnej realizacji NSRO oraz wsparcie przygotowania przyszłych interwencji instrumentów strukturalnych. 2. Skuteczne rozpowszechnianie informacji i promocja NSRO oraz zapewnienie odpowiedniego przepływu i wymiany informacji pomiędzy uczestnikami procesu realizacji NSRO. Cel szczegółowy nr 1 zostanie osiągnięty przez realizację Działań skupionych w następujących priorytetach: Priorytet 1. Wsparcie zasobów ludzkich obejmuje Działania mające na celu zapewnienie odpowiednich zasobów ludzkich na potrzeby realizacji NSRO 2007-2013. Priorytet 2. Wsparcie informatyczne realizacji NSRO - obejmuje Działania zorientowane na zapewnienie funkcjonowania krajowego systemu informatycznego wspierającego realizację NSRO oraz niezbędnej infrastruktury informatycznej. Priorytet 3. Wsparcie realizacji operacji funduszy strukturalnych - skupia w sobie Działania zorientowane na wsparcie poszczególnych procesów związanych z realizacją NSRO (takich jak 19

programowanie, zarządzanie, wdraŝanie, ocena i kontrola, certyfikacja, audyt) oraz wsparcie funkcjonowania poszczególnych instytucji zaangaŝowanych w realizację NSRO. Cel szczegółowy nr 2 zostanie osiągnięty przez realizację Działań ujętych w Priorytecie 4 Komunikacja i promocja. Działania te dotyczą informacji, promocji i komunikacji pomiędzy uczestnikami procesu realizacji NSRO. Rysunek 1. Cele i priorytety POPT 2007-2013 Ogółem na realizację POPT 2007-2013 z funduszy europejskich i środków krajowych przeznaczono 607,9 mln euro. Współfinansowanie wszystkich osi priorytetowych zapewnione jest z Europejskiego Funduszu Rozwoju Regionalnego. dofinansowania z EFRR w skali całego Programu wynosi 516,7 mln euro, co stanowi 85% środków przeznaczonych na jego finansowanie. Poziom krajowego współfinansowania dla POPT 2007-2013 wynosi 15%, czyli 91,2 mln euro. W tabeli poniŝej został przedstawiony podział na Działania wchodzące w zakres poszczególnych Priorytetów wraz z przeznaczoną na nie alokacją środków, z podziałem na środki EFRR oraz środki krajowe: 20

Tabela 2. Alokacja środków na poszczególne Działania POPT 2007-2013 Priorytet/Działanie Alokacja ( EUR) Środki EFRR (EUR) Środki krajowe (EUR) Priorytet I Wsparcie zasobów ludzkich 420 mln 357 mln 63 mln Działanie 1.1 Wsparcie zatrudnienia 400 mln 340 mln 60 mln Działanie 1.2 Podnoszenie kwalifikacji 20 mln 17 mln 3 mln Priorytet II Wsparcie informatyczne NSRO 22 mln 18,7 mln 3,3 mln Działanie 2.1 Funkcjonowanie i rozwój systemu 10 mln 8,5 mln 1,5 mln informatycznego Działanie 2.2 Infrastruktura informatyczna 12 mln 10,2 mln 1,8 mln Priorytet III Wsparcie realizacji operacji 88 mln 74,8 mln 13,2 mln funduszy strukturalnych. Działanie 3.1 Funkcjonowanie instytucji 40 mln 34 mln 6 mln zaangaŝowanych w realizację NSRO Działanie 3.2 Indywidualne projekty kluczowe 30 mln 25,5 mln 4,5 mln Działanie 3.3 Ocena 15 mln 12,75 mln 2,25 mln Działania 3.4 Koordynacja polityki spójności 1 mln 0,85 mln 0,15 mln Wspólnoty z innymi politykami krajowymi, sektorowymi i regionalnymi Działanie 3.5 Wsparcie realizacji Celu Europejska 2 mln 1,7 mln 0,3 mln Wspólnota Terytorialna Priorytet IV Komunikacja i promocja 77,88 mln 66,2 mln 11,68 mln Działanie 4.1 Promocja i informacja 63,68 mln 54,13 mln 9,55 mln Działanie 4.2 Wymiana doświadczeń pomiędzy uczestnikami realizacji NSRO 14,2 mln 12,07 mln 2,13 mln Do pomiaru realizacji celów POPT, dla kaŝdego Działania został opracowany zestaw wskaźników. W Działaniach 1.2, 2.1, 3.1, 4.1 i 4.2 są to zarówno wskaźniki produktu, jak i rezultatu. W Działaniach 1.1, 2.2, 3.2, 3.3, 3.4 i 3.5 zostały zdefiniowane wyłącznie wskaźniki produktu. Zestawienie wskaźników produktu oraz rezultatu dla poszczególnych Działań zostało przedstawione w tabeli poniŝej: Tabela 3. Wskaźniki dla poszczególnych Działań POPT 2007-2013 Wskaźnik Jedn. miary początkowa docelowa Działanie 1.1 Wsparcie zatrudnienia Wskaźniki produktu Liczba miejsc pracy finansowanych ze środków POPT 2007-2013 etatomiesiąc 0 231 900 Działanie 1.2 Podnoszenie kwalifikacji Wskaźniki produktu Liczba przeprowadzonych szkoleń, warsztatów, treningów, seminariów, sztuka 0 9100 wizyt studyjnych oraz innych form kształcenia, w których wzięli udział pracownicy instytucji objętych wsparciem POPT 2007-2013 Wskaźniki rezultatu Ocena jakości szkoleń oraz innych form kształcenia ocena 0-5 Nd 4,5 Odsetek pracowników, którzy uczestniczyli w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku w stosunku do ogólnej liczby pracowników podmiotów objętych działaniem IZ POPT % 95% 95% Działanie 2.1 Funkcjonowanie i rozwój systemu informatycznego Wskaźniki produktu Liczba stanowisk uŝytkowników systemu sztuka 0 3 500 Wskaźniki rezultatu Ocena uŝyteczności systemu informatycznego monitoringu i kontroli ocena 1-5 Nd 4 WdroŜenie funkcjonalności w systemie % 0 100% Działanie 2.2 Infrastruktura informatyczna Wskaźniki produktu Liczba zakupionych urządzeń informatycznych i telekomunikacyjnych szt. 1500 2500 21

Liczba zakupionych zestawów komputerowych (laptopy, serwery, komputery) szt. 800 5020 Działanie 3.1 Funkcjonowanie instytucji zaangaŝowanych w realizację NSRO Wskaźniki produktu Liczba posiedzeń komitetów i podkomitetów szt. 0 50 Liczba opracowanych ekspertyz, ocen, analiz, koncepcji, studiów szt. 0 500 Liczba spotkań, konferencji, seminariów szt. 45 270 Liczba zakupionych pozostałych urządzeń i przedmiotów wyposaŝenia szt. raportowanie na bieŝąco biurowego Wskaźniki rezultatu Średni czas wypłaty środków na podstawie wniosków o płatność w PO dzień 45 30 Ocena dostosowania stanowisk pracy do wykonywania zadań związanych z programowaniem, wdraŝaniem, monitorowaniem, informowaniem, oceną i kontrolą NSRO Ocena 1-5 3,95 4,5 Działanie 3.2 Indywidualne projekty kluczowe Wskaźniki produktu Liczba projektów kluczowych objętych wsparciem szt. 0 800 Działanie 3.3 Ocena (ewaluacja) Wskaźniki produktu Liczba ocen, analiz, studiów i koncepcji wykonanych przez szt. 56 250 ewaluatorów zewnętrznych Liczba spotkań, seminariów, konferencji związanych z ewaluacją szt. 35 289 Działanie 3.4 Koordynacja polityki spójności Wspólnoty z innymi politykami krajowymi, sektorowymi i regionalnymi Wskaźnik produktu Liczba ekspertyz, analiz, studiów przygotowanych na potrzeby koordynacji polityk Wspólnoty szt. 0 50 Działanie 3.5 Wsparcie realizacji celu Europejska Współpraca Terytorialna Wskaźnik produktu Liczba ekspertyz, analiz, studiów z zakresu polityki przestrzennej szt. 0 50 Działanie 4.1 Promocja i informacja Wskaźnika produktu Wolumen egzemplarzy wszystkich publikacji, broszur, ulotek szt. raportowanie na bieŝąco Liczba analiz, ekspertyz, badań i studiów szt. 32 165 Wskaźnik rezultatu Odsetek respondentów wyraŝających pozytywne opinie nt. interwencji strukturalnych % 66% 80% Działanie 4.2 Wymiana doświadczeń pomiędzy uczestnikami procesu realizacji NSRO Wskaźnik produktu Wolumen wydanych materiałów informacyjnych, publikacji, raportów szt. raportowanie na bieŝąco Liczba spotkań, seminariów i konferencji szt. 30 310 Wskaźnik rezultatu Odsetek złoŝonych projektów poprawnych pod względem formalnym i merytorycznym szt. Pierwszy pomiar wartości Wskaźnika dokonany zostanie po roku wdraŝania PT. W lipcu 2008 roku Departament Programów Pomocowych i Pomocy Technicznej w Ministerstwie Rozwoju Regionalnego opublikował dokument pod nazwą Definicje wskaźników oraz metodologia obliczania wartości wskaźników zdefiniowanych dla Programu Operacyjnego Pomoc Techniczna 2007-2013. Celem dokumentu jest zdefiniowanie i jednoznaczne określenie sposobu pomiaru 22

wartości wskaźników niezbędnych do prawidłowego monitoringu realizacji POPT. Zgodnie z przyjętymi załoŝeniami ma on zagwarantować realizację celów strategicznych i cząstkowych określonych w programie (monitoring rzeczowy) oraz pełnej absorpcji alokowanych środków (monitoring finansowy). W odniesieniu do systemu wskaźników POPT 2007-2013, badaniem zostały objęte wszystkie wskaźniki produktu oraz wymienione poniŝej wskaźniki rezultatu: Tabela 4. Wskaźniki rezultatu objęte badaniem Nr działania 1.2 Ocena jakości szkoleń oraz innych form kształcenia Nazwa 1.2 Odsetek pracowników, którzy uczestniczyli w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku w stosunku do ogólnej liczby pracowników podmiotów objętych działaniem IZ POPT 2.1 Ocena uŝyteczności systemu informatycznego monitoringu i kontroli 3.1 Średni czas wypłaty środków na podstawie wniosków o płatność w PO 3.1 Ocena dostosowania stanowisk pracy do wykonywania zadań związanych z programowaniem, wdraŝaniem, monitorowaniem, informowaniem, oceną i kontrolą NSRO 4.2 Odsetek złoŝonych projektów poprawnych pod względem formalnym i merytorycznym 3.2.2. Zakres czasowy Zakres czasowy badania obejmował 2009 rok. W celach porównawczych pod uwagę brane były równieŝ dane dotyczące realizacji POPT 2007-2013 w latach 2007 oraz 2008. 3.3. Problemy badawcze i pytania ewaluacyjne Przystępując do analizy zidentyfikowaliśmy sześć pytań badawczych przyporządkowanych do trzech obszarów badawczych, przedstawionych poniŝej: 23

3.4. Koncepcja badania Badanie przebiegało w trzech podstawowych fazach, typowych dla badań ewaluacyjnych: Rysunek 2 Fazy badania ewaluacyjnego Działania w ramach poszczególnych faz zostały zrealizowane zgodnie z sekwencją podporządkowaną przyjętej koncepcji badania i słuŝącą osiągnięciu zakładanych rezultatów w przeznaczonym na badanie czasie, przy optymalnym wykorzystaniu zasobów. Sekwencja ta przedstawiona została na poniŝszym schemacie: 24

Rysunek 3. Schemat logiki badania Faza strukturyzacji Badanie rozpoczęło się fazą strukturyzacji, która posłuŝyła dla szczegółowego zdefiniowania pytań badawczych i odpowiadających im narzędzi badawczych oraz dla właściwego przeprowadzenia fazy gromadzenia danych. W fazie tej na potrzeby planowania badania powstał Raport metodologiczny, jak równieŝ zostało opracowane narzędzie badawcze (ankieta CAWI), niezbędne do zastosowania zaplanowanych metod i technik badawczych. W realizacji zadań naleŝących do tej fazy korzystano równieŝ ze wstępnych wyników fazy gromadzenia danych (analizy dokumentów), która rozpoczęła się równolegle. Faza gromadzenia danych W tej fazie zostały zastosowane dwie podstawowe metody pozyskiwania informacji. Analiza danych zastanych, w formie analizy dokumentów oraz analiza danych wywołanych, będących wynikiem badania kwestionariuszowego, przy wykorzystaniu metody CAWI. Realizację tej fazy rozpoczęliśmy od badania dokumentów strategicznych i programowych POPT 2007-2013, jak równieŝ okresowych sprawozdań z realizacji POPT 2007-2013 oraz wyników badań ewaluacyjnych wspomnianego programu w latach ubiegłych. Analiza wymienionych dokumentów pozwoliła zespołowi badawczemu na dogłębne poznanie kontekstu badania oraz dotychczasowej dynamiki realizacji celów POPT. Zebrane dane stanowiły odniesienie dla analizy dokumentacji dotyczącej projektów kart oceny wniosków o dofinansowanie oraz wniosków o płatność. Równolegle zostało przeprowadzone badanie kwestionariuszowe CAWI. Zostali nim objęci beneficjenci ostateczni wsparcia POPT 2007-2013, czyli pracownicy instytucji zaangaŝowanych we wdraŝanie NSRO 2007-2013. 25

Faza analizy i oceny Ostatnia faza badania poświęcona została dokonaniu całościowej, kompleksowej analizy zgromadzonych danych i ich oceny oraz sformułowaniu wniosków i rekomendacji z badania. Zakończyła się ona sporządzeniem niniejszego Raportu końcowego z ewaluacji. W fazie tej zostały wykorzystane jakościowe i ilościowe metody analizy, odpowiadające charakterowi uzyskanych danych. W trakcie tej fazy został zorganizowany panel ekspertów, którego celem była weryfikacja i priorytetyzacja wyników badania oraz sformułowanie propozycji wniosków i rekomendacji. W panelu wzięli udział eksperci z zespołu realizującego badanie. W trakcie całego badania zespół badawczy przykładał zasadniczą wagę do rzetelności gromadzonych danych i prowadzonych analiz oraz procesu wnioskowania, przy zachowaniu najwyŝszych standardów badań ewaluacyjnych. PowyŜsza koncepcja badania kierowała doborem zespołu badawczego. W jego skład wchodzili wysokiej klasy eksperci, z których kaŝdy posiada doświadczenie w prowadzeniu badań ewaluacyjnych przy zastosowaniu róŝnorodnych metod oraz technik gromadzenia i analizy danych. Część członków zespołu ma jednocześnie duŝe doświadczenie w zarządzaniu programami finansowanymi ze środków unijnych, co pozwoliło im na lepsze uchwycenie praktycznego aspektu badanej problematyki. Taki skład zespołu zapewnił optymalne połączenie róŝnych perspektyw badawczych, wzbogacając spojrzenie zewnętrznego badacza poprzez punkt widzenia z wewnątrz badanego obszaru rzeczywistości. 26

4. Metodologia badania 4.1. Podejście metodologiczne W celu uzyskania wiarygodnych wyników ewaluacji, niezbędne było połączenie w badaniu róŝnorodnych rodzajów danych oraz róŝnorodnych metod badawczych, tzn. zastosowanie triangulacji metodologicznej. Podejście to umoŝliwiło wieloaspektową obserwację i analizę przedmiotu badania. Została zastosowana: triangulacja źródeł danych (1-szy poziom triangulacji): przeanalizowane zostały zarówno dokumenty zastane róŝnego typu, takie jak odpowiednie dokumenty strategiczne i programowe oraz dokumentacja projektowa, a takŝe dane wywołane pochodzące z badania CAWI; triangulacja metod badawczych (2-gi poziom triangulacji): łączenie róŝnych metod badawczych w badaniu tych samych zagadnień, co pozwoliło na uchwycenie róŝnych aspektów badanego przedmiotu (zastosowano: analizę dokumentów, w tym dokumentacji Rysunek 4. Model triangulacji metodologicznej projektowej, badanie kwestionariuszowe i panel ekspertów). Podejście to pozwoliło teŝ wykorzystać mocne strony kaŝdej metody przy wzajemnej neutralizacji ich słabości; triangulacja perspektyw badawczych (3-ci poziom triangulacji): ewaluacja została przeprowadzona przez zespół badaczy, nie przez jedną osobę, co pozwoliło uzyskać bogatszy i bardziej wiarygodny obraz badanego przedmiotu. 4.2. Metody i techniki badawcze Dla pełnej realizacji celów badania niezbędne było wykorzystanie przy jego realizacji zestawu zróŝnicowanych metod i technik gromadzenia danych pierwotnych i wtórnych oraz analizy danych, na który złoŝyły się: 1. Analiza dokumentów: Analiza dokumentów programowych i raportów. 27

2. Badanie ilościowe: Analiza dokumentacji odnoszącej się do projektów POPT (karty oceny projektów oraz wnioski o płatność). Ankieta Internetowa (CAWI). Zastosowane zostały następujące metody analizy danych: metoda eksperckiej analizy jakościowej, metoda analizy statystycznej, metoda heurystyczna - technika panelu ekspertów. 4.2.1. Analiza dokumentów strategicznych i programowych Analiza danych zastanych w postaci dokumentów programowych, strategicznych oraz raportów analityczno-badawczych rozpoczęła właściwe badanie. Ze względu na cel badania był to równieŝ jeden z jego kluczowych elementów. Analiza dokumentów rozpoczęła się bezpośrednio po podpisaniu umowy i stanowiła pierwszy etap fazy gromadzenia danych. Jej pierwsze wyniki zostały wykorzystane w fazie strukturyzacji: posłuŝyły do przygotowania Raportu metodologicznego oraz do przygotowania projektów narzędzi badawczych. Analiza była przeprowadzana przede wszystkim w oparciu o niŝej wymienione dokumenty. Dokumenty strategiczne i programowe: Program Operacyjny Pomoc Techniczna - wersja z 30 września 2008 r. zastępująca wersję z dnia 28 czerwca 2007 r., obowiązująca od dnia 25 lutego 2009 r.; Szczegółowy Opis Priorytetów Programu Operacyjnego Pomoc Techniczna 2007-2013 - wersja z 20 kwietnia 2009 r. zastępująca wersję z 16 lipca 2008 r.; Sprawozdanie z realizacji Programu Pomoc Techniczna 2007-2013 za I półrocze 2009 roku; Sprawozdanie z realizacji Programu Pomoc Techniczna 2007-2013 w roku 2008; Sprawozdanie z realizacji Programu Operacyjnego Pomoc Techniczna 2007-2013 w roku 2007; Definicje wskaźników oraz metodologia obliczania wartości wskaźników zdefiniowanych dla Programu Pomoc Techniczna 2007-2013; Aktualizacja Planu działań na rzecz zwiększenia potencjału administracyjnego jednostek zaangaŝowanych w realizację Programów Operacyjnych w Polsce w latach 2007-2013 z 29 lipca 2008 roku; Plan ewaluacji Programu Operacyjnego Pomoc Techniczna 2007-2013; Plan działań na rzecz zwiększenia potencjału administracyjnego jednostek zaangaŝowanych w realizację Programów Operacyjnych w Polsce w latach 2007-2013. Przeanalizowane zostały równieŝ raporty poprzednich z badań ewaluacyjnych dotyczące oceny stanu wdraŝania Programu Operacyjnego Pomocy Technicznej 2007-2013. 28

Dokumentacja związana z projektami Analiza dokumentacji projektowej obejmowała dwie grupy dokumentów. Pierwszą z nich stanowią karty oceny projektów, o których dofinansowanie wnioskowano w 2009 roku. Ich analiza pozwoliła odpowiedzieć na pytanie o odsetek wniosków o dofinansowanie, które nie wymagały poprawek na etapie oceny formalnej lub merytorycznej (wskaźnik rezultatu Działania 4.2). Analiza objęła karty oceny 140 projektów złoŝonych w latach 2007-2009, z tego 64 złoŝone w 2009 roku. Drugą grupą dokumentów projektowych stanowiły wnioski o płatność złoŝone przez beneficjentów POPT 2007-2013 w 2009 roku. Próba badawcza obejmowała 291 wniosków o płatność dotyczących wszystkich 83 projektów realizowanych w 2009 roku. Analiza słuŝyła przede wszystkim określeniu wartości wskaźników produktu osiągniętych w 2009 roku w poszczególnych Działaniach. UmoŜliwiły one równieŝ analizę wskaźników rezultatu projektów, które zostały zakończone w 2009 roku i porównanie ich z wynikami ankiety CAWI. Badanie dokumentacji projektowej miało charakter standaryzowanej analizy dokumentów, co oznacza, Ŝe jego bezpośrednie rezultaty poddawały się opracowaniu statystycznemu. Na potrzeby dokonania oceny wykorzystaliśmy równieŝ inne dokumenty przekazane nam przez Zamawiającego, m.in. zestawienie wartości wskaźników produktów uzyskanych w kolejnych latach realizacji POPT 2007-2013, zestawienie otrzymanych wniosków o dofinansowanie oraz wniosków o płatność. 4.2.2. Wywiady kwestionariuszowe wspomagane komputerowo (CAWI) Do wszystkich pracowników, których zatrudnienie finansowane jest z PO PT (Działanie 1.1) oraz uprawnionych do korzystania ze wsparcia w postaci szkoleń oraz innych form doskonalenia zawodowego (Działanie 1.2) została rozesłana ankieta CAWI, na podstawie której badano niektóre wskaźniki rezultatu. Badaniem została objęta populacja ok. 2100 osób korzystających ze wsparcia z Działania 1.1. POPT oraz populacja ok. 1290 osób korzystających ze wsparcia z Działania 1.2 POPT. Przyjęliśmy załoŝenie, Ŝe poszczególne osoby mogą naleŝeć zarówno do jednej jak i drugiej populacji. Przed przystąpieniem do badania CAWI załoŝono 30% zwrot ankiet (około 700 ankiet), przy czym załoŝono iŝ zostanie równieŝ uzyskany 30% zwrot wśród populacji osób (około 430 ankiet) uprawnionych do korzystania ze wsparcia w postaci szkoleń oraz innych form doskonalenia zawodowego. Otrzymany zwrot ankiet ukształtował się na poziomie odpowiadającym prognozowanemu. Podczas badania zebrano 680 ankiet od osób, których zatrudnienie finansowane jest z POPT 2007-2013. Z powyŝszej sumy, 445 ankiet zostało wypełnionych przez osoby, które korzystały ze szkoleń i innych form doskonalenia zawodowego, finansowanych z Działania 1.2 POPT. Ankietowane osoby są pracownikami 80 jednostek uczestniczących we wdraŝaniu NSRO, będących beneficjentami bezpośrednimi lub końcowymi POPT 2007-2013. Najliczniejszą grupę wśród respondentów (34,56%) stanowili pracownicy Generalnej Dyrekcji Ochrony Środowiska oraz Regionalnych Dyrekcji Ochrony Środowiska. Drugą pod względem wielkości grupę respondentów stanowili pracownicy Ministerstwa Rozwoju Regionalnego (20,59%). Najmniej liczną grupą byli pracownicy Ministerstwa Finansów (5,59%). Informacje udzielone przez 1,47 % respondentów, były nie dość dokładne, by precyzyjnie zakwalifikować ich do którejś z badanych jednostek organizacyjnych. Struktura respondentów ze względu na rodzaj instytucji, w których pracują została zaprezentowana na poniŝszym wykresie. 29

4.2.3. Panel ekspertów Wyniki wszystkich analiz i badań zostały zinterpretowane przez panel ekspertów, który wyciągnął wnioski w kontekście celów prospektywnych badania. Panel ekspertów tworzyli członkowie zespołu zaangaŝowani w realizację badania ewaluacyjnego, posiadający bogatą wiedzę w róŝnych aspektach powiązanych bezpośrednio i pośrednio z pytaniami badawczymi tego badania. Dzięki temu moŝliwe było wykorzystanie silnych stron tej techniki, a więc róŝnorodności podejść badawczych i wypracowanie wspólnego stanowiska. Wnioski i konkluzje powstałe podczas panelu ekspertów posłuŝyły do sformułowania wniosków i rekomendacji odnoszących się do uprzednio sformułowanych pytań badawczych i powstania projektu niniejszego Raportu końcowego z badania. 30

5. Wyniki oceny 5.1. Działanie 1.1 Wsparcie zatrudnienia 5.1.1. Opis Działania 1.1 Celem Działania 1.1 jest zapewnienie i utrzymanie na odpowiednim poziomie zasobów ludzkich niezbędnych w procesie realizacji NSRO/PWW. Zakres przedmiotowy Działania 1.1 obejmuje projekty dotyczące zatrudnienia pracowników administracji rządowej, wykonujących zadania związane z przygotowaniem, zarządzaniem, wdraŝaniem, monitorowaniem, oceną, kontrolą oraz informacją i promocją instrumentów strukturalnych wdraŝanych w ramach NSRO/PWW oraz poszczególnych Programów Operacyjnych, zatrudnienie osób odpowiedzialnych za stworzenie, rozwój, bieŝącą obsługę oraz utrzymanie krajowego systemu informatycznego wspierającego realizację NSRO. W ramach Działania realizowane są równieŝ projekty dotyczące opracowania i wdraŝania strategii zarządzania zasobami ludzkimi. Beneficjentami Działania 1.1 POPT 2007-2013 są pracownicy: ministerstw realizujących zadania instytucji zarządzających, instytucji pośredniczących, instytucji wdraŝających i innych instytucji horyzontalnych w systemie wdraŝania instrumentów strukturalnych (zlokalizowanych w ministerstwach); urzędów wojewódzkich pełniących rolę instytucji pośredniczących w certyfikacji oraz kontrolerów I stopnia w programach EWT; Generalnej Dyrekcji Ochrony Środowiska, Regionalnych Dyrekcji Ochrony Środowiska, Urzędu Zamówień Publicznych oraz Urzędu Ochrony Konkurencji i Konsumentów. Trzecia grupa beneficjentów została włączona do Działania 1.1 w wyniku nowelizacji Szczegółowego opisu Priorytetów POPT 2007-2013 z dnia 20 kwietnia 2009 roku. 5.1.2. Ocena poziomu realizacji wskaźników produktu Postęp rzeczowy realizacji Działania 1.1 mierzony jest przy pomocy jednego produktu: Liczba miejsc pracy finansowanych ze środków POPT 2007-2013, liczonego w etatomiesiącach. W 2009 roku w ramach Działania 1.1 sfinansowano 17 273,18 etatomiesięcy, co w przeliczeniu daje 1439 pełnych etatów w ciągu całego roku. W efekcie, wskaźnik produktu osiągnął w 2009 roku skumulowaną wartość 37 505,09 etatomiesięcy, co stanowi 16,17% jego wartości docelowej (231 900 etatomiesięcy). Tabela 5. Poziom realizacji produktu dla Działania 1.1 w 2009 roku. Wskaźnik Liczba miejsc pracy finansowanych ze środków POPT 2007-2013 Jedn. miary początkowa docelowa osiągnięta w 2009 roku skumulowana Stopień osiągnięcia Etatomiesiąc 0 231 900 17 273,18 37 505,09 16,17% Liczba etatomiesięcy sfinansowanych z POPT w 2009 roku jest nieco niŝsza od osiągniętej w 2008 roku wartości 17 582,13 etatomiesięcy, odpowiadającej średniorocznej ilości 1465,18 etatów. 31

Komentując ten wynik naleŝy wziąć pod uwagę, Ŝe wartość, zwłaszcza dla II połowy 2009 roku moŝe jeszcze znacząco wzrosnąć, ze względu na opóźnienia w przesyłaniu przez beneficjentów sprawozdań z realizacji projektów. Przykładowo, zaprezentowana w Sprawozdaniu rocznym z realizacji Programu Operacyjnego Pomoc Techniczna w 2008 roku skumulowana wartość wynosiła 11364,49 etatomiesięcy, podczas gdy nasza analiza przeprowadzona na podstawie najbardziej aktualnych danych przekazanych przez IZ POPT wykazała skumulowaną wartość dla tego okresu na poziomie 20 232,5 etotomiesięcy. Pozwala to przewidywać, Ŝe wraz z formalnym rozliczaniem kolejnych projektów równieŝ wartość produktu za rok 2009 znacznie się podniesie. Przyczynić się do tego moŝe takŝe poszerzenie kategorii beneficjentów Działania 1.1 w 2009 roku, jak równieŝ znaczne zwiększenie w stosunku do lat ubiegłych wartości środków zakontraktowanych w 2009 roku. Tabela 6. Dynamika zmian wartości latach 2007-2009 Rok Wskaźnik: Liczba miejsc pracy finansowanych ze środków POPT 2007-2013 (etatomiesiące) osiągnięta w danym roku Zmiana rocznych wartości (%) 2 skumulowana Wskaźnika Stopień osiągnięcia wartości docelowej (%) Dynamika osiągania wartości docelowej (%) 2007 2 620,1 Nd 2 620,1 1,1% Nd 2008 17 582,13 +571,95% 20 232,5 9% +7,9% 2009 17 273,18-1,78% 37 505,09 16,17% +7,17% MoŜna przewidywać, Ŝe ostatecznie wartość produktu za rok 2009 zbliŝy się do maksymalnego limitu etatów związanych z wdraŝaniem NSRO w administracji przewidzianych do dofinansowania z POPT w Aktualizacji Planu działań na rzecz zwiększenia potencjału administracyjnego jednostek zaangaŝowanych w realizację Programów Operacyjnych w Polsce w latach 2007-2013 z 29 lipca 2008 roku. Limit ten wynosi 2316 etatów rocznie. Warto zwrócić uwagę, Ŝe w Aktualizacji Planu działań.. zmniejszono tę wartość w stosunku do liczby ok. 2,8 tys. etatów rocznie, zawartej w pierwszej wersji tego dokumentu z dnia 12 kwietnia 2007 roku. NaleŜy zwrócić uwagę, Ŝe wspomniany limit moŝe uniemoŝliwić osiągnięcie docelowej wartości produktu na poziomie 231 900 etatomiesięcy. Według przeprowadzonych przez nas wyliczeń, aby wartość ta została osiągnięta, w latach 2010-2015, z POPT 2007-2013 powinno być finansowanych średnio 2711 etatów rocznie (32 532,5 etatomiesięcy). Z tego względu naleŝałoby przeprowadzić bardziej szczegółową analizę, mającą na celu sprawdzenie, czy określona wartość docelowa koresponduje z obecnym zapotrzebowaniem kadrowym. 2 Podana wartość procentowa pokazuje o ile w stosunku do roku wcześniejszego zmieniła się wartość w roku późniejszym. 32

5.1.3. Ocena poziomu realizacji wskaźników rezultatu Do monitoringu realizacji Działania 1.1 nie zastosowano wskaźników rezultatu. 5.1.4. Postęp finansowy realizacji Działania 1.1 Działanie 1.1 charakteryzuje się największą liczbą dotychczas złoŝonych wniosków o dofinansowanie w porównaniu do pozostałych Działań. Jest to spowodowane tym, Ŝe wydatki na wynagrodzenia ponoszone są regularnie, w stosunkowo łatwej do oszacowania wysokości. Alokacja dla Działania 1.1 wynosi 340 000 000 euro (1 402 466 000,00 zł). W 2009 roku w ramach Działania 1.1 wpłynęły łącznie 33 wnioski o dofinansowanie poprawne pod względem formalnym, o wartości wnioskowanego wsparcia ze środków EFRR na poziomie 45 813 298,23 euro (188 975 273,85 zł), co stanowiło 13,47% alokacji. W tym samym okresie podpisano 38 umów i decyzji o dofinansowanie projektów o wartości EFRR wynoszącej 53 730 161,80 euro (221 631 544,41 zł), co stanowi 15,8% alokacji. Od początku realizacji Programu do 31 grudnia 2009 roku zakontraktowano środki na realizację 66 projektów. zakontraktowanego wkładu ze środków EFRR stanowiła łącznie 75 931 575,50 euro (313 210 155,76 zł) tj. 22,33% dostępnej w Działaniu alokacji. Biorąc pod uwagę wymaganą regularność ponoszenia kosztów w ramach Działania 1.1, moŝna przewidywać stopniowe zwiększanie rocznej wartości kontraktowanych środków EFRR. NaleŜy prognozować, Ŝe w najbliŝszych latach będzie to miało miejsce, zarówno ze względu na wymagane zwiększenie zatrudnienia personelu zaangaŝowanego we wdraŝanie NSRO, jak i ze względu na konieczność waloryzacji wynagrodzeń. finansowanych ze środków europejskich wydatków kwalifikowanych poniesionych przez beneficjentów od początku realizacji Programu do końca 2009 roku wynosi 59 672 940,39 euro (246 144 913,83 zł), co stanowi 17,55% dostępnej w Działaniu alokacji. 33

Tabela 7. Kontraktowanie środków UE w Działaniu 1.1 POPT 2007-2013 w latach 2007-2009 2007 2008 2009 Liczba umów/decyzji rocznie (kumulatywnie) 1 (1) 27 (28) 38 (66) Zakontraktowane środki EFRR (rocznie) 16 180 989,81 euro 6 020 423,89 euro 53 730 161,80 euro Zakontraktowane środki ERR (kumulatywnie) 16 180 989,81 euro 22 201 413,70 euro 75 931 575,50 euro Poziom wykorzystania alokacji - kontraktacja 4,76% 6,53% 22,33% 5.2. Działanie 1.2 Podnoszenie kwalifikacji 5.2.1. Opis Działania 1.2 Celem Działania 1.2 jest zapewnienie stałego podnoszenia kwalifikacji osób zaangaŝowanych w realizację instrumentów strukturalnych. Zakres przedmiotowy Działania 1.2 obejmuje projekty dotyczące podnoszenia kwalifikacji poprzez organizację stałego kształcenia m.in. szkoleń, seminariów, kursów i kształcenia ustawicznego, staŝy, praktyk oraz wizyt studyjnych w krajach Unii Europejskiej, jak równieŝ szkolenia dla uŝytkowników Krajowego Systemu Informatycznego, wspierającego realizację NSRO. 5.2.2. Ocena poziomu realizacji wskaźników produktu Stopień realizacji Działania 1.2 mierzony jest za pomocą jednego produktu Liczba przeprowadzonych szkoleń, warsztatów, treningów, seminariów, wizyt studyjnych oraz innych form kształcenia, w których wzięli udział pracownicy instytucji objętych wsparciem POPT 2007-2013. W 2009 roku liczba wszystkim form kształcenia finansowanych w ramach POPT 2007-2013 wyniosła 1715 szt. W efekcie skumulowana wartość na koniec 2009 roku osiągnęła wartość 2994 szt., co stanowi 32,3% jego wartości docelowej (9100 szt.) Tabela 8. Poziom realizacji produktu dla Działania 1.2 w 2009 roku Wskaźnik Liczba przeprowadzonych szkoleń, warsztatów, treningów, seminariów, wizyt studyjnych oraz innych form kształcenia, w których wzięli udział pracownicy instytucji objętych wsparciem POPT 2007-2013. Jedn. miary początkowa docelowa osiągnięta w 2009 r. Skumulowana Wskaźnika Stopień osiągnięcia Szt. 0 9100 1715 2994 32,3% osiągnięta w 2009 jest o 40,9% wyŝsza niŝ wynik uzyskany na koniec 2008 roku, kiedy to z POPT 2007-2013 sfinansowano łącznie 1219 róŝnych form kształcenia. 34

Tabela 9. Dynamika zmian wartości w latach 2007-2009 Wskaźnik: Liczba przeprowadzonych szkoleń, warsztatów, treningów, seminariów, wizyt studyjnych oraz innych forma kształcenia, w których wzięli udział pracownicy instytucji objętych wsparciem POPT 2007-2013. Rok rok osiągnięta w danym roku Zmiana rocznych wartości (%) skumulowana Stopień osiągnięcia wartości docelowej (%) Dynamika osiągania wartości docelowej (%) 2007 60 Nd 60 0,6% Nd 2008 1219 + 1931,67% 1279 14% +13,4% 2009 1715 +40,69% 2994 32,3% + 18,3% Biorąc pod uwagę skumulowaną wartość oraz tempo jego przyrostu moŝna przyjąć, Ŝe nie ma ryzyka nieosiągnięcia jego wartości docelowej w kolejnych latach. 5.2.3. Ocena poziomu realizacji wskaźników rezultatu Postęp rzeczowy realizacji Działania 1.2 monitorowany jest przy pomocy 2 wskaźników rezultatu: odsetek pracowników, którzy uczestniczyli w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku w stosunku do ogólnej liczby pracowników podmiotów objętych Działaniem IZ; ocena jakości szkoleń oraz innych form kształcenia. Wskaźnik Odsetek pracowników, którzy uczestniczyli w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku w stosunku do ogólnej liczby pracowników podmiotów objętych Działaniem IZ jest definiowany jako liczba osób uczestniczących w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku, podzielona przez ogólną liczbę pracowników jednostki, których szkolenia mogą być finansowane z POPT 2007-2013. W 2009 r. udział w przynajmniej jednym szkoleniu lub innej formie rozwoju zawodowego zadeklarowało 83,37% ankietowanych pracowników objętych wsparciem z Działania 1.2 POPT. Wynik ten stanowi 87,76% wartości docelowej wynoszącej 95% wszystkich pracowników objętych Działaniem. 35

Tabela 10. Poziom realizacji rezultatu dla Działania 1.2 w 2009 roku Wskaźnik Jedn. miary bazowa docelowa roczna osiągnięta w 2009 r. skumulowana Stopień osiągnięcia Odsetek pracowników, którzy uczestniczyli w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku w stosunku do ogólnej liczby pracowników podmiotów objętych Działaniem szt. 95% 95% 83,37% Nd 87,76% Ocena jakości szkoleń oraz innych form kształcenia Ocena 0-5 Nd 4,5 4,23 Nd 93,56 % NaleŜy równieŝ zwrócić uwagę, Ŝe wynik ten jest niŝszy od wartości rezultatu przedstawionej w Sprawozdaniu z wdraŝania POPT 2007-2013 za 2008 rok, która wyniosła 93%. MoŜna przypuszczać, Ŝe tak duŝa róŝnica w wielkości w 2008 i w 2009 wynikać z odmiennych metod pomiaru. Poziom wskaźników rezultatu dla Działania 1.2 na koniec 2008 roku wyliczony został na podstawie ankiety przeprowadzonej w ramach badania ewaluacyjnego Ocena stanu realizacji celów pomocy technicznej w 2008 r. zrealizowanego na zamówienie Ministerstwa Rozwoju Regionalnego przez firmę Deloitte. W ankiecie wzięło udział 29 pracowników nadzorujących realizację projektów pomocy technicznej w instytucjach zaangaŝowanych w realizację projektów finansowanych z POPT 2007-2013. Jak stwierdzają autorzy wspomnianego badania, nie jest moŝliwe uznanie uzyskanych odpowiedzi, jako reprezentatywnych ( ) ze względu na fakt, iŝ z efektów projektów pomocy technicznej korzystają wszyscy pracownicy instytucji zaangaŝowanych w realizację NSRO, nie tylko pracownicy odpowiadający za realizację takich projektów. W związku z tym wyniki badania stanowią przede wszystkim przykłady opinii wyraŝanych przez osoby bezpośrednio zaangaŝowane w realizację projektów pomocy technicznej ( ) i nie mogą zostać uogólnione na całą populację. 36

W związku z powyŝszym naleŝy zachować duŝą ostroŝność w porównywaniu wskaźników rezultatu dla Działania 1.2 osiągniętych w 2008 i 2009 roku. Tabela 11. Dynamika zmian wartości w latach 2007-2009 Wskaźnik: Odsetek pracowników, którzy uczestniczyli w przynajmniej jednej formie doskonalenia zawodowego w ciągu roku w stosunku do ogólnej liczby pracowników podmiotów objętych Działaniem IZ Rok rok osiągnięta w danym roku Zmiana rocznych wartości (%) skumulowana Stopień osiągnięcia wartości docelowej (%) Dynamika osiągnięcia wartości docelowej (%) 2008 93% Nd Nd 97,84% Nd 2009 83,37% - 10,35% Nd 87,76% - 10,08% Spośród ankietowanych którzy w 2009 roku skorzystali ze wsparcia w ramach Działania 1.2, niemal wszyscy (99,5%) uczestniczyli w szkoleniach, kursach, seminariach i studiach. W zagranicznych praktykach lub wyjazdach studyjnych uczestniczyło 9,4% respondentów. śaden z ankietowanych nie brał udziału w staŝu finansowanym ze środków POPT 2007-2013. NaleŜy zwrócić uwagę na duŝą częstotliwość uczestnictwa w szkoleniach kursach, seminariach lub studiach finansowanych ze środków z Działania 1.2 POPT 2007-2013. W 2009 roku ponad połowa ankietowanych (52%) skorzystała z którejś z wymienionych form doskonalenia zawodowego co najmniej trzykrotnie, natomiast 32% uczyniło to więcej niŝ 4 razy. Wykres 5. Liczba szkoleń, kursów, seminariów i studiów finansowanych z POPT 2007-2013 w których brał udział kaŝdy z ankietowanych w 2009 roku. 32% 17% 18% 8% 12% 13% 1 2 3 4 więcej niŝ 4 ani jednym Analizując tematykę szkoleń, kursów, seminariów oraz studiów, w których uczestniczyli ankietowani, moŝna zauwaŝyć, Ŝe największą popularnością cieszyły się zagadnienia związane bezpośrednio z przygotowaniem, zarządzaniem i rozliczaniem projektów finansowanych ze środków UE, a takŝe oceną oddziaływania na środowisko oraz prawem zamówień publicznych. 37

Osoby, które w 2009 roku uczestniczyły w zagranicznych praktykach lub wyjazdach studyjnych czyniły to jednokrotnie (94%) lub dwukrotnie (6%). Państwami, w których najczęściej odbywały się wymienione formy doskonalenia zawodowego były Niemcy (35,14%) Belgia (21,62%), Holandia (16,22%) i Hiszpania (10,81%). Wskaźnik Ocena jakości szkoleń oraz innych form kształcenia jest definiowany jako ocena przydatności i poziomu merytorycznego szkoleń oraz innych form doskonalenia zawodowego, które były sfinansowane ze środków POPT 2007-2013. Ocena przeprowadzana jest w sześciostopniowej skali 0-5 pkt. Opierając się na powyŝszej definicji prosiliśmy uczestników badania CAWI o oddzielną ocenę przydatności poszczególnych form kształcenia zawodowego do pracy na zajmowanym stanowisku oraz ich poziom merytoryczny. Uzyskana średnia arytmetyczna ocen w obydwu kryteriach stanowi wskaźnik rezultatu. Łączna ocena przydatności poszczególnych form kształcenia zawodowego uzyskana w badaniu, ukształtowała się na poziomie 4,22 pkt. Podobną wartość osiągnęła ocena poziomu merytorycznego. Ankietowani przyznali jej 4,23 pkt. Łączna, średnia ocena jakości wszystkich form doskonalenia zawodowego zrealizowanych w 2009 roku wyniosła zatem 4,23 pkt., co stanowi 93,56% poziomu docelowego. Uzyskany wynik jest o 0,32 pkt. gorszy niŝ wskaźnik rezultatu uzyskany na koniec 2008 roku (4,55 pkt). RóŜnica moŝe wynikać z odmiennej metodologii pomiaru, o czym była mowa w niniejszym rozdziale. Tabela 12. Dynamika zmian wartości w latach 2007-2009 Wskaźnik: Ocena jakości szkoleń oraz innych form kształcenia Rok rok osiągnięta w danym roku Zmiana rocznych wartości (%) skumulowana Stopień osiągnięcia wartości docelowej (%) Dynamika osiągnięcia wartości docelowej (%) 2008 4,55 Nd Nd 101,11% Nd 2009 4,23-7,03% Nd 93,56% - 7,55% 38