Poprawna ewaluacja projektu unijnego

Transkrypt

1

2 Spis treści Poprawna ewaluacja wskazuje na rzetelność prowadzonych działań i pomaga w procesie pozyskiwania kolejnych dotacji... 2 Przed rozpoczęciem projektu... 2 Wnioski po zakończeniu projektu... 3 Zewnętrzne i wewnętrzne wnioski... 4 Etapy procesu ewaluacji... 4 Podstawowe kryteria ewaluacji... 4 Narzędzia i metody ewaluacji... 5 Rekomendacje z raportu ewaluacyjnego... 5 Zarządzanie projektami a ewaluacja... 5 Zasady sprawozdawczości dotyczą również beneficjentów i pomagają przygotować się do realizacji inwestycji... 6 Podstawowe zadanie wytycznych... 7 Założenia systemu sprawozdawczości... 7 Podstawowy tryb sprawozdawczości... 7 Szczegółowe informacje o projekcie... 8 Sprawozdania roczne i końcowe... 9 Dane zawarte w sprawozdaniach... 9 Poprawna ewaluacja projektu unijnego

3 Koordynatorzy projektów oraz ich przełożeni powinni wiedzieć, czy zaplanowane i zrealizowane działania przyniosły zamierzony skutek i osiągnięto założone w projekcie cele. Dlatego każdy projekt powinien być poddany sprawdzaniu postępów podejmowanych działań i ocenie osiągniętych wyników. Służą do tego przede wszystkim dwa zależne od siebie procesy: monitoringu i ewaluacji. Oba są istotnymi narzędziami w zarządzaniu projektem. Dokumenty unijne rozróżniają trzy typy ewaluacji: przed rozpoczęciem realizacji projektu, w połowie okresu realizacji oraz po zakończeniu projektu. Stosując więc kryterium terminu przeprowadzenia ewaluacji, wyróżnia się cztery główne rodzaje ewaluacji: ex-ante, mid-term, on-going i ex-post. Istnieje wiele różnych definicji pojęcia ewaluacja. Wiele zależy od stosowanych kryteriów, systematyczności prowadzonych badań ewaluacyjnych oraz ich zastosowania. Często również myli się ewaluację z audytem, monitoringiem czy kontrolą. Są to jednak zupełnie różne procesy, chociaż w wielu projektach występują równolegle i wzajemnie się uzupełniają. Najpowszechniejsza definicja ewaluacji mówi o tym, że ewaluacja to okresowa ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów. Zacznijmy od ewaluacji rozróżnianej na podstawie kryterium terminu jej przeprowadzenia. Ewaluację ex-ante przeprowadza się jeszcze przed rozpoczęciem realizacji projektu i powinni dokonywać jej wszyscy realizujący projekty unijne. Na wstępie trzeba ocenić zapotrzebowanie oraz możliwości wykonania przedsięwzięcia w istniejących warunkach. Ten rodzaj ewaluacji umożliwia dopasowanie narzędzi projektowych i osiągnięcie oczekiwanych rezultatów. Ewaluacja ex-ante służy także do konstrukcji strategii organizacji czy firmy, więc istotna jest też ze względu na możliwość oceny trafności przygotowywanego projektu z punktu widzenia potrzeb beneficjentów, jak również oceny wewnętrznej spójności w zakresie zaplanowanych celów. Poprawna ewaluacja projektu unijnego

4 Ewaluacja ex-ante służy także do konstrukcji strategii organizacji czy firmy, więc istotna jest ze względu na możliwość oceny trafności przygotowywanego projektu z punktu widzenia potrzeb beneficjentów, jak również oceny wewnętrznej spójności w zakresie zaplanowanych celów.ewaluacja mid-term jest realizowana w połowie okresu wdrażania przedsięwzięcia. Pozwala na dokonanie pierwszej oceny jakości realizacji projektu, a także na ewentualne modyfikacje zaplanowanych działań.. To bardzo dobre narzędzie służące analizie osiągniętych na tym etapie produktów i rezultatów projektu. Dostarcza bowiem najważniejszych informacji, koniecznych do przygotowania bilansu połowy okresu i aktualizacji przyjętych założeń. Ponieważ ewaluację przeprowadza się w trakcie trwania projektu, to ego koordynator powinien patrzeć przede wszystkim na przełożenie nakładów na wyniki, a mniej na wpływ prowadzonych działań, których być może jeszcze wtedy nie widać. Ważne! Ewaluacja dotyczy projektu jako całości i odnosi się przede wszystkim do skutków i celów podjętych działań. Monitoring to przede wszystkim proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażanego projektu w aspekcie finansowym i rzeczowym. Jest on bardziej skierowany do wewnątrz i skupia się na efektywności poszczególnych działań projektowych. Monitoring jest procesem ciągłym, odbywającym się przez cały okres wdrażania projektu. Ewaluacja on-going również jest przeprowadzana w trakcie wdrażania projektu. Widoczne są jednak zasadnicze różnice w porównaniu z ewaluacją mid-term. W tym przypadku nie ma określonego dokładnego momentu przeprowadzenia ewaluacji. Przeprowadza się ją wówczas, gdy monitorowanie jako równoległy proces zasygnalizowało problemy w realizacji przedsięwzięcia, jak również odchylenia od założonych w projekcie wskaźników. Ewaluacja on-going pozwala więc na identyfikację barier i problemów w realizacji podstawowych celów projektu. Ewaluacja ex post stanowi podsumowanie. Dokonuje się jej po pewnym czasie od momentu zakończenia realizowanego projektu. Głównym jej celem jest zbadanie i określenie długotrwałych efektów projektu (wpływu) oraz ich trwałości, a także wielkości zaangażowanych środków, skuteczności i efektywności pomocy. Poza badaniami oddziaływania projektu ewaluacja ex-post jest dla zarządzającego niezwykle cennym źródłem informacji przy planowaniu kolejnych działań. Innym kryterium podziału ewaluacji jest relacja osób dokonujących ewaluacji do realizatorów działań projektowych. Gdy są one niezależne, wówczas mamy do czynienia z ewaluacją zewnętrzną. Natomiast w przypadku gdy pochodzą z tej samej instytucji czy organizacji z ewaluacją wewnętrzną. Można wyróżnić jeszcze tzw. samo-ewaluację, w przypadku gdy ewaluatorami są realizatorzy projektu. Wszystkie wymienione wyżej warianty mają swoje zalety i wady. Poprawna ewaluacja projektu unijnego

5 Ewaluacja zewnętrzna to przede wszystkim niezależność wydawanych opinii i sądów oraz profesjonalizm ewaluatorów. Charakteryzuje się jednak również tym, że brak jest dogłębnej wiedzy na temat mechanizmów działania badanej instytucji i czasem zdarza się nietrafność wniosków czy rekomendacji. Z kolei ewaluacja wewnętrzna to zdecydowanie większa znajomość instytucji i badanego projektu czy programu przez oceniających i możliwy profesjonalizm (kiedy jest to specjalistyczna komórka organizacji), ale również brak obiektywizmu. Samoewaluacja to dogłębna wiedza na temat badanego projektu czy programu i możliwość zbadania najistotniejszych elementów projektu, ale również brak obiektywizmu i często umiejętności osób prowadzących ewaluację. Wybór ewaluacji ze względu na relację oceniających w stosunku do realizujących projekt należy określić na etapie planowania systemu zarządzania projektem. Proces ewaluacji powinien być precyzyjnie opracowany już na etapie planowania działań projektowych, tak aby jak najskuteczniej wykorzystać czas i posiadane zasoby. Wyróżnić trzeba następujące podstawowe etapy procesu ewaluacji: planowanie ewaluacji, projektowanie ewaluacji, zbieranie i analiza danych, raportowanie, wykorzystanie wyników ewaluacji. Aby ewaluacja była rzetelnie przeprowadzona i skuteczna, należy opracować wiarygodne jej kryteria. Powinny one dokładnie określać, co w ramach tej ewaluacji będzie podlegało ocenie, a także skupiać uwagę osób prowadzących ewaluację na ocenie najistotniejszych elementów projektu. Kryteria ewaluacji w dużym stopniu zależą od charakteru przedsięwzięcia. Specyfika projektu układa je również w odpowiednią hierarchię. Najczęściej stosowane kryteria (lista według Polskiego Towarzystwa Ewaluacyjnego) są następujące: 1) trafność (relevance) - to kryterium pozwala ocenić, w jakim stopniu przyjęte cele projektu odpowiadają zidentyfikowanym problemom w obszarze objętym projektem i/lub realnym potrzebom beneficjentów; 2) tfektywność (efficiency) - to kryterium pozwala ocenić poziom ekonomiczności projektu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas; 3) skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie planowania zostały osiągnięte; Poprawna ewaluacja projektu unijnego

6 4) oddziaływanie/wpływ (impact) kryterium to pozwala ocenić związek pomiędzy celem projektu a celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju; 5) trwałość efektów (sustainability) to kryterium pozwala ocenić, czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju. Bardzo ważny jest dobór narzędzi i metod do prowadzenia ewaluacji. Najczęściej stosowanymi metodami są: ankiety, arkusze samooceny, karty obserwacji, analiza dokumentów, wywiady, kwestionariusze, obserwacja. Istotne są także instrumenty bardziej czasochłonne, jak studium przypadków, badania fokusowe czy zbieranie opinii ekspertów. Ważnym elementem poprawnej ewaluacji są dane zebrane w trakcie monitoringu projektu. Dobór metod zależy od charakteru prowadzonych działań, grupy docelowej i celów. Efektem pracy ewaluatorów jest powstanie raportu ewaluacyjnego. Raport prezentuje opis całego procesu ewaluacji i jego metodologię. Dokładnie wylicza również źródła informacji i danych użytych (w tym będą również dane z monitoringu bieżącego i/lub końcowego) oraz prezentuje dokładnie wyniki. Najistotniejszą częścią raportu dla prowadzącego projekt jest ta, która dotyczy wniosków i rekomendacji. Właśnie dla niej przeprowadza się ten dosyć skomplikowany i czasochłonny proces. Część dotycząca wniosków i rekomendacji informuje o błędach i sukcesach, opóźnieniach i rezerwach czasowych we wdrażaniu poszczególnych elementów projektu. Na bazie danych z monitoringu wskazane są również nieprawidłowości w wykonaniu zadań, a także wysoka skuteczność w działaniu, braki finansowe i oszczędności w wydatkowaniu środków. Aby ewaluacja była użytecznym narzędziem, należy bez zbędnych opóźnień wyciągnąć wnioski z raportowanych błędów oraz wdrożyć proponowane przez ewaluatorów rozwiązania. Wiele instytucji nie prowadzi, jeśli nie jest do tego zobligowana, okresowych ewaluacji ani systematycznego monitoringu. Oba procesy są dość kosztowne i czasochłonne i często nie znajdują się, jeśli nie muszą, we wnioskach projektowych składanych do instytucji grantodawczych czy dofinansowujących projekty. W okresie, kiedy środki w projekcie przeznaczone na zarządzanie nim są często ograniczane, pomija się ewaluację jako integralny element przedsięwzięcia. A proces ewaluacji jest bardzo istotny w sprawnym prowadzeniu projektu czy zarządzaniu w organizacji wielu inwestycji. Poprawna ewaluacja projektu unijnego

7 Wiedza płynąca z obu procesów bardzo pomaga w planowaniu projektów, bezpośrednim zarządzaniu nimi, w przygotowaniu pracy instytucji, a nawet w budowaniu dobrego wizerunku organizacji wobec instytucji finansujących projekty. Ważne! Obecność ewaluacji w projekcie wskazuje na rzetelność prowadzonych działań i stabilność organizacji. Rezultaty obu procesów przynoszą wymierne korzyści i pozwalają na rozwój i. Są niezwykle istotnym źródłem gwarancji dla instytucji finansującej projekty i bardzo pomagają w procesie pozyskiwania kolejnych grantów. Warto poświęcić czas w okresie planowania działań projektowych, budując strukturę zarządzania projektem oraz konstruując budżet projektu i jego harmonogram, na zaplanowanie procesu ewaluacji oraz systemu monitoringu projektu. Wytyczne mają na celu ujednolicenie warunków i procedur sprawozdawczości w odniesieniu do programów operacyjnych współfinansowanych z EFRR, EFS i FS w latach Są skierowanie do instytucji zarządzających (IZ) poszczególnymi programami operacyjnymi i mają bezpośrednio przełożyć się na strukturę i zakres sprawozdawania z postępów w realizacji projektów w ramach danych programów operacyjnych. A zatem IZ powinny uwzględnić te wytyczne, budując swój system sprawozdawczości wobec beneficjenta, któremu będą przyznawać dofinansowanie. Wiedza o tym, jakie dane będą zbierane przez IZ, ułatwia beneficjentowi przygotowanie się do realizacji projektu i pozwala przewidzieć formę raportowania i sprawozdawania postępu realizowanego projektu. Sprawozdawczość odzwierciedla postęp rzeczowy i finansowy na każdym z realizowanych etapów w ramach projektu dofinansowanego ze środków UE. Jest ona nieodzownym elementem procesu zarządzania projektem. Każdy grantodawca chce mieć cykliczny wgląd w sposób zarządzania powierzonymi środkami finansowanymi. Stąd istotne jest wypracowanie skutecznego i efektywnego systemu sprawozdawania z postępu realizacji projektu. Poprawna ewaluacja projektu unijnego

8 Ważne! Uchwalone wytyczne określają podstawę prawną oraz założenia systemu sprawozdawczości i monitorowania, jego zakres i cele, warunki ogólne i szczegółowe sprawozdawczości. Dokument ten zawiera także załączniki, wśród których jest wzór informacji kwartalnej, informacji z działań informacyjnych i promocyjnych oraz informacji z realizacji komponentu pomocy technicznej. Celem wypracowania wytycznych jest ujednolicenie warunków i procedur sprawozdawczości w odniesieniu do programów operacyjnych współfinansowanych z EFRR, EFS i FS w latach Na tej podstawie IZ może wydawać dalsze wytyczne programowe dotyczące sprawozdawczości danego programu operacyjnego. IZ muszą także je uwzględnić, delegując zadania w zakresie sprawozdawczości poszczególnym instytucjom oraz przy opracowywaniu wzorów umów lub decyzji o dofinansowaniu. Sprawozdawczość obejmuje dwa tryby: informacyjny, który polega przede wszystkim na zbieraniu w tabelach danych ilościowych, analityczny - polegający na komentarzu IZ do prezentowanych danych ilościowych. W procesie oceny postępu w realizacji programów monitorowanie postępu finansowego powinno się odbywać równolegle z monitorowaniem postępu rzeczowego. W założeniu polega to na dokonywaniu oceny, czy postępowi finansowemu towarzyszy proporcjonalny postęp rzeczowy, który umożliwi osiągnięcie celów pośrednich i końcowych w ramach przyznanej alokacji środków. Podstawową jednostką, na której opiera się system sprawozdawczości IZ, jest priorytet inwestycyjny. Głównym źródłem informacji dla IZ są dane gromadzone w centralnym systemie informatycznym SL2014, który będzie zbierać dane pochodzące z: wniosków o dofinansowanie, umów lub decyzji o dofinansowaniu, wniosków o płatność. Dane te dotyczą m.in.: - naborów, - postępu rzeczowego i finansowego, - kontroli projektów, - certyfikacji, - płatności okresowych z KE. Instytucja zarządzająca przedkłada informacje kwartalne oraz sprawozdania roczne i końcowe do wiadomości instytucji koordynującej umowę partnerstwa (IKUP). W przypadku gdy informacje kwartalne są przedmiotem obrad komitetu monitorującego (KM), IZ zobowiązana jest do przekazania IKUP informacji uwzględniającej uwagi członków komitetu, w terminie do 14 dni od posiedzenia KM. Poprawna ewaluacja projektu unijnego

9 Podstawą do wypełnienia informacji kwartalnych oraz sprawozdań rocznych i końcowych, w szczególności w częściach poświęconych postępowi realizacji programu, są dane gromadzone w SL2014. Informacja kwartalna obejmuje: informacje finansowo-rzeczowe na poziomie priorytetu inwestycyjnego, wskaźniki produktu i rezultatu bezpośredniego, podział na województwa wskaźników monitorujących projekty liniowe realizowane w programach krajowych. Dodatkowe cele roczne wyznaczone dla wskaźników/kew włączonych do ram wykonania: typy interwencji obarczone istotnym ryzykiem niepowodzenia; problemy we wdrażaniu oraz podjęte lub planowane do podjęcia środki zaradcze; inne działania podjęte w celu usprawnienia realizacji programu; projekty duże (EFRR/FS); informacje o przeprowadzonych kontrolach w trakcie realizacji programu w okresie sprawozdawczym, w tym: o o o o o o informacja o działaniach podjętych w ramach kontroli systemowych, informacja o działaniach podjętych w ramach kontroli realizacji projektów, informacja o kontrolach instrumentów finansowych, informacja o działaniach podjętych w ramach kontroli krzyżowej, informacja o działaniach kontrolnych podjętych przez inne instytucje, informacja o stwierdzonych nieprawidłowościach; informacja nt. kwot odzyskanych oraz kwot pozostałych do odzyskania w związku ze stwierdzonymi nieprawidłowościami; nabory tryb konkursowy; projekty tryb pozakonkursowy; programy pomocy publicznej; zmiany w dokumentach (PO i SZOOP); ytyczne programowe; porozumienia i umowy pomiędzy instytucjami zaangażowanymi w proces wdrażania PO; Poprawna ewaluacja projektu unijnego

10 instrukcje wykonawcze posiedzenia komitetów i grup funkcjonujących w ramach programu; informacje nt. stanu realizacji wstępnych warunków w ramach programu operacyjnego; projekty ponadregionalne realizujące cele strategii ponadregionalnych; informacje nt. programów rewitalizacji w ramach regionalnego programu operacyjnego; informacje nt. problemów napotkanych przez gminy w związku z programowaniem i realizacją programów rewitalizacji oraz IZRPO w związku z weryfikacją programów rewitalizacji; realizacja instrumentów terytorialnych (ZIT wojewódzki, inne instrumenty terytorialne); informacje na temat projektów komplementarnych na podstawie strategii ZIT w ramach POIiŚ i POPW; wskaźniki produktu i rezultatu bezpośredniego dla projektów komplementarnych na podstawie strategii ZIT w ramach POIiŚ i POPW; działania informacyjno-promocyjne; komponent pomocy technicznej. Instytucja zarządzająca sporządza sprawozdania roczne i końcowe, które gdy są zatwierdzone przez komitet monitorujący, przekazuje do Komisji Europejskiej (KE). Zakres i tryb sprawozdań rocznych i końcowych przekazywanych do KE reguluje w szczególności art. 50 oraz 111 rozporządzenia ogólnego, natomiast wzory sprawozdań rocznych i końcowego zawarte są w rozporządzeniu nr 2015/207. Zakres sprawozdań rocznych doprecyzowuje instrukcja przygotowywana przez IKUP w oparciu o rozporządzenie nr 2015/207. Jest ona corocznie aktualizowana przez IKUP i przekazywana IZ do końca roku, którego dotyczy sprawozdanie. Przyjrzyjmy się zakresowi przedmiotowemu sprawozdań rocznych i końcowego. Obejmuje on: 1) Postęp rzeczowy (wskaźniki kluczowe, wskaźniki specyficzne dla programu, wartości osiągnięte i docelowe) 2) Postęp rzeczowy (realizacja celów pośrednich i końcowych) 3) Postęp finansowy 4) Podsumowanie przeprowadzonych ewaluacji 5) Informacje na temat inicjatywy na rzecz zatrudnienia ludzi młodych (w stosownych przypadkach) 6) Kwestie mające wpływ na wykonanie programu i podjęte działania Poprawna ewaluacja projektu unijnego

11 7) Streszczenie podawane do wiadomości publicznej 8) Sprawozdanie z wdrażania instrumentów finansowych 9) Działania podjęte w celu spełnienia warunków wstępnych 10) Duże projekty (EFRR/FS) 11) Wspólne plany działania 12) Realizację zasady równości szans i niedyskryminacji, w tym dostępności dla osób z niepełnosprawnościami (podjęte działania, zdiagnozowane problemy, podjęte środki zaradcze) 13) Realizację zasady równości szans kobiet i mężczyzn (podjęte działania, zdiagnozowane problemy, podjęte środki zaradcze) 14) Zrównoważony rozwój 15) Wsparcie wykorzystane na cele dotyczące zmian klimatu 16) Rola partnerów we wdrażaniu programu 17) Realizację planu ewaluacji oraz wykorzystanie wyników ewaluacji 18) Wyniki działań informacyjnych i promocyjnych funduszy polityki spójności prowadzonych w ramach strategii komunikacji 19) Realizację zintegrowanego podejścia do rozwoju terytorialnego 20) Realizację przedsięwzięć mających na celu zwiększenie zdolności instytucji i beneficjentów w zakresie zarządzania funduszami i korzystania z nich 21) Realizację przedsięwzięć międzyregionalnych i transnarodowych 22) Wkład w strategie makroregionalne i strategie morskie 23) Realizację przedsięwzięć w dziedzinie innowacji społecznych 24) Realizację działań w celu zaspokojenia szczególnych potrzeb obszarów geograficznych najbardziej dotkniętych ubóstwem lub grup docelowych najbardziej zagrożonych dyskryminacją lub wykluczeniem społecznym 25) Wkład programu w realizację unijnej strategii na rzecz inteligentnego zrównoważonego wzrostu sprzyjającego włączeniu społecznemu 26) Przyczyny niepowodzenia w osiąganiu celów pośrednich i końcowych Marek Dominik Peda koordynator programów europejskich Poprawna ewaluacja projektu unijnego

12 Poprawna ewaluacja projektu unijnego

13 Redaktor: Anna Śmigulska-Wojciechowska ISBN: E-book nr: Wydawnictwo: Adres: Kontakt: 2HH0445 Wydawnictwo Wiedza i Praktyka sp. z o.o Warszawa, ul. Łotewska 9a Telefon , faks , cok@wip.pl NIP: Numer KRS: Sąd Rejonowy dla m.st. Warszawy, Sąd Gospodarczy XIII Wydział Gospodarczy Rejestrowy. Wysokość kapitału zakładowego: zł Copyright by: Wydawnictwo Wiedza i Praktyka sp. z o.o. Warszawa 2016 Poprawna ewaluacja projektu unijnego