Zasady prowadzenia projektów unijnych 2014-2020 1
Monitoring projektu daje gwarancję rzetelności prowadzonych działań przez beneficjenta... 3 Poszczególne definicje... 3 Rodzaje monitoringu... 4 Sprawozdania z działań... 4 Poszczególne etapy... 5 Cechy monitoringu... 5 Rzetelne działania... 6 Streszczenie projektu unijnego jest jego wizytówką... 6 Elementy streszczenia... 7 Cel streszczenia... 7 Przewidywane działania... 7 Planowane rezultaty... 8 Zasady sprawozdawczości dotyczą również beneficjentów i pomagają przygotować się do realizacji inwestycji... 9 Podstawowe zadanie wytycznych... 9 Założenia systemu sprawozdawczości... 10 Podstawowy tryb sprawozdawczości... 10 Szczegółowe informacje o projekcie... 10 Sprawozdania roczne i końcowe... 11 Dane zawarte w sprawozdaniach... 12 Poprawna ewaluacja wskazuje na rzetelność prowadzonych działań i pomaga w procesie pozyskiwania kolejnych dotacji... 13 Przed rozpoczęciem projektu... 13 Wnioski po zakończeniu projektu... 14 Zewnętrzne i wewnętrzne wnioski... 15 Etapy procesu ewaluacji... 15 Podstawowe kryteria ewaluacji... 16 Narzędzia i metody ewaluacji... 16 Rekomendacje z raportu ewaluacyjnego... 17 Zarządzanie projektami a ewaluacja... 17 Zasady prowadzenia projektów unijnych 2014-2020 2
Pytanie Ostatnio spotkałem się z takimi pojęciami: ewaluacja i monitoring postępu rzeczowego i finansowego projektu. Co ono oznacza? Odpowiedź Ewaluacja i monitoring projektów to procesy bezpośrednio wiążące się z realizacją projektu niezależnie od tego, czy jest dofinansowany ze środków unijnych, czy z innych źródeł. Każdy podmiot realizujący projekt i stawiający na wysoką jakość powinien systematycznie monitorować i ewaluować przebieg prowadzonych działań. Oprócz zapewnienia wysokiej jakości oba procesy, czyli zarówno ewaluacja, jak i monitoring są konieczne w przygotowaniu sprawozdania z realizacji projektu instytucjom grantodawczym. Wyjaśnienie W powszechnym rozumieniu proces monitoringu projektu mylony jest z ewaluacją czy kontrolą. Choć intuicja podpowiada, że procesy te są do siebie podobne, a w wielu projektach występują równolegle i wzajemnie się uzupełniają, są jednak zupełnie odrębne i różne. Monitoring to przede wszystkim proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażanego projektu w aspekcie finansowym i rzeczowym przedsięwzięcia w odniesieniu do planowanych rezultatów. Monitoring jest więc bardziej skierowany do wewnątrz organizacji czy instytucji realizującej projekt i skupia się na efektywności poszczególnych działań projektowych. Monitoring jest procesem ciągłym, odbywającym się przez cały okres realizacji projektu. Najbardziej popularne definicje ewaluacji (bo jest ich sporo) mówi o tym, że ewaluacja to okresowa ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów. Od monitoringu różni ją więc to, że ewaluacja to proces dotyczący projektu jako całości odnoszący się przede wszystkim do skutków i celów podjętych działań, a nie jak monitoring do wskaźników. Zasady prowadzenia projektów unijnych 2014-2020 3
Przedmiotem monitoringu są dwa zasadnicze obszary projektu, czyli postęp prac oraz środki finansowe projektu. Stąd też wyróżnić możemy dwa rodzaje monitoringu: monitoring rzeczowy, czyli obejmujący: m.in. zadania projektowe, harmonogram, wskaźniki rezultatów (twarde i miękkie) oraz dane dotyczące uczestnictwa w projekcie (np. bazy danych uczestników czy też listy obecności), monitoring finansowy, czyli obejmujący m.in. transze dotacji, przepływy gotówkowe, kwalifikowalność poniesionych kosztów, salda kosztów w kategoriach budżetowych, dodatkowe źródła finansowania. Oba wymienione obszary powinny być monitorowane w 3 zasadniczych zakresach: poniesionych nakładów (finansowych, kadrowych), procesów oraz wyników (rezultaty twarde i miękkie). Wyjściowymi danymi do prowadzenia procesu monitoringu, obok wniosku projektowego, jest całościowa dokumentacja projektu, czyli harmonogramy, szczegółowy budżet, struktura zarządzania projektem, matryca logiczna etc. Skuteczny i całościowy proces monitoringu musi się opierać na rzetelnie i systematycznie zbieranych i przygotowanych danych na temat realizacji projektu. Stąd nieodłącznym elementem monitoringu jest proces sprawozdawania z realizacji działań. Funkcję sprawozdawczą mogą pełnić różne narzędzia, jak raporty merytoryczne i odrębnie składane raporty finansowe z przebiegu działań projektowych. Wiele instytucji grantodawczych, jak i instytucje zarządzające funduszami unijnymi powiązały sprawozdawczość projektową z przekazaniem kolejnych transz wsparcia. Tym samym takie narzędzia jak wnioski o płatność zawierały również odpowiednią część dotyczącą rzeczowo-finansowego postępu realizacji projektu. A zatem beneficjent nie miał obowiązku regularnego dostarczania odrębnych sprawozdań z realizacji projektu, ale za to każde przekazanie kolejnych środków na realizację zadań projektowych było poprzedzone analizą i oceną postępów w projekcie. Beneficjenci byli zobligowani dodatkowo do składania wniosków o płatność z określoną częstotliwością, nawet jeśli nie było poniesionych w projekcie wydatków. Zasady prowadzenia projektów unijnych 2014-2020 4
Ważne! Ważnymi narzędziami monitoringu są kwestionariusze takie jak testy, ankiety ewaluacyjne, listy obecności, karty pracy, dzienniki szkoleń etc. Do monitoringu przepływów finansowych projektu stosowane są także arkusze kalkulacyjne opisujące wydatki, salda operacji wykonywanych. Przy monitoringu stosuje się też często gotowe wzory wynikające z umów i wytycznych instytucji finansujących projekt. Proces monitoringu dzieli się na trzy główne fazy, które są ze sobą ściśle powiązane i odpowiednio się uzupełniają. Faza pierwsza polega na zaprojektowaniu systemu monitoringu projektu. Podstawowym elementem tego systemu musi być zestawienie wskaźników projektu na podstawie złożonego wniosku, lista narzędzi monitoringu i plan wdrażania systemu monitoringu. Musi też powstać zespół monitorujący. W drugiej fazie (faza wdrożeniowa) zespół monitorujący ma za zadanie systematycznie gromadzić, odpowiednio przechowywać, przetwarzać i redystrybuować zebrane dane. Zespół również musi dokonywać prezentacji pozyskanych danych ilościowych i jakościowych oraz odpowiednio archiwizować dokumentację monitoringową. Natomiast w trzeciej fazie nowelizacyjnej zasadniczą rolę przejmuje zarządzający projektem. Podejmuje wszelkie niezbędne decyzje będące konsekwencją zebrania danych w trakcie procesu monitoringu, które to wskazują na konieczność dokonania niezbędnych zmian w odniesieniu do założeń i zapisów we wniosku. Monitoring jest mechanizmem pozwalającym pozyskać informacje zwrotne, które pomagają w procesie zarządzania projektem. Monitoring pozwala również na realizację szeregu celów w procesie zarządzania projektem. Mianowicie: rezultaty monitoringu są kluczowym źródłem informacji w przeprowadzanych okresowych ewaluacjach projektu, system monitorowania działań pozwala na bardzo wczesne dostrzeżenie zagrożeń w realizacji projektu, a co za tym idzie pozwala na korygowanie i nowelizację planów, monitoring umożliwia również stałe badanie jakości działań projektowych z punktu widzenia odbiorców i grupy docelowej projektu, dane zebrane w trakcie procesu monitorowania pozwalają na bardzo sprawne przygotowanie raportów merytorycznych i finansowych, Zasady prowadzenia projektów unijnych 2014-2020 5
dane z procesu monitoringu ułatwiają również weryfikowanie zgodności poszczególnych zadań z planem, harmonogramem i budżetem projektu, co w przypadku kontroli zewnętrznej niezwykle usprawnia ten proces. Opisane procesy monitoringu, ewaluacji i kontroli są bardzo istotne dla sprawnego zarządzania projektem przez podmiot - beneficjenta środków unijnych. Każdy z procesów dostarcza zarządzającemu projektem inną wiedzę i dane na temat stanu zaawansowania realizacji projektu czy też programu w relacji do jego założeń i celów. Dla podmiotów realizujących projekty długoterminowe oraz w przypadku realizacji projektów w sytuacji drastycznie zmieniających się warunków działania wszystkie wymienione procesy nabierają dodatkowego znaczenia i ważności. Informacje i wnioski przez nie dostarczone determinują bowiem wtedy dalsze kierunki czy też strategie działania w projektach. Z punktu widzenia instytucji finansującej projekty ze środków unijnych rezultaty wszystkich tych procesów dają gwarancję rzetelności prowadzonych działań przez beneficjenta. Natomiast uchybienia czy nieprawidłowości w realizowanym przez niego projekcie będą wychwytywane w bardzo wczesnym stadium i stosunkowo łatwo naprawiane w dalszych etapach działań. Podstawa prawna: Umowa partnerstwa zatwierdzona przez Komisję Europejską 23 maja 2014 r. Pytanie Czy zawsze trzeba dokonać streszczenia projektu oraz czemu ono ma służyć? Odpowiedź Realizując projekty dofinansowane z funduszy unijnych, każdy beneficjent ma obowiązek prowadzenia działań informujących o pochodzeniu środków i promujących działania projektowe. Jednym z elementów tej promocji jest streszczenie projektu, które w pierwszej kolejności pojawia się już na etapie aplikowania o dotację. Wyjaśnienie W ramach szczegółowych wytycznych wyznaczone są odpowiednie narzędzia do promocji i przekazywania informacji o projekcie. Oczywiście nie ma obowiązku korzystania ze wszystkich w trakcie realizacji projektu. Należy dostosować te narzędzia do charakteru projektu czy też grup docelowych. Zasady prowadzenia projektów unijnych 2014-2020 6
W ramach szczegółowych wytycznych programu operacyjnego lub programu dotacyjnego zawsze znajdują się: dokładnie opisane loga czy też hasła używane do promocji, szczegóły dotyczące różnych formatów publikacji (np. wzory oznaczania poszczególnych dokumentów, kształty i wzory tablic, naklejek, plakietek itd.), szczegóły co do prowadzenia kampanii promocyjnych i informacyjnych prasowych, internetowych, radiowych czy telewizyjnych. Odpowiednie materiały, jak: elementy graficzne (loga), są dostępne na stronach internetowych instytucji zarządzających funduszami i każdy beneficjent będzie mieć do nich bezpośredni dostęp. Jednym z takich elementów jest także streszczenie działań projektowych. Bardzo często polecenie jego zamieszczenia jest obowiązkowe i pojawia się już na etapie przygotowywania wniosku o dofinansowanie. Informacja o tym, iż dany projekt jest dofinansowany ze środków UE, jest jawna i musi być powszechnie dostępna. Każdy uczestnik projektu musi być o tym poinformowany. Przedmiotowe streszczenie jest często związane z celami promocyjnymi. Grantodawca niejednokrotnie informuje, że prosi o umieszczenie go w celach promocyjnych polegających często na umieszczeniu tego streszczenia na stronach grantodawcy. Szczególnie dotyczy to projektów dofinansowanych ze środków publicznych. Grantodawca ma obowiązek informować, na jakiego typu projekty przeznacza środki publiczne. Dla realizujących projekty streszczenie też jest wygodnym narzędziem do przekazywania informacji o poszczególnych czynnościach, pozwalającym je wpisać w szerszy kontekst działań. Jest też wygodnym narzędziem przekazywanym partnerom projektowym także w dalszych celach promocyjnych. Polecenie umieszczenia streszczenia we wnioskach o dofinansowanie projektu ma też inne cele. Ich sformułowanie pozwala na prześledzenie spójności i generalnej logiki projektu i przewidzianych działań. Oceniającym pomaga zrozumieć i prześledzić następujące po sobie działania i dopasować do przedstawionego harmonogramu czy też budżetu projektu. To szczególnie istotne narzędzie w Zasady prowadzenia projektów unijnych 2014-2020 7
przypadku projektów dużych lub z rozproszonymi działaniami pomiędzy partnerami. Spójność projektu oraz logika następujących po sobie działań stanowią jeden z ważnych kryteriów oceny projektu. Ważne! Często pojawia się także prośba o przygotowanie streszczenia w języku obcym lub innym od języka wniosku, czyli jeśli wniosek jest pisany po polsku, to prośba jest o streszczenie w języku angielskim. Ma to na celu także promocję projektu, ale już na poziomie znacznie szerszym unijnym i poprzez kanały informacyjne instytucji unijnych. Streszczenie projektu współfinansowanego ze środków pochodzących z funduszy unijnych pozwala także prześledzić działania projektowe w kierunku uzyskania zaplanowanych rezultatów. Czynności przedstawione w skondensowanej formie doświadczonym oceniającym dają obraz podejmowanych działań i pozwalają ocenić, czy interwencja poprzez projekt ma realne szanse powodzenia i może przynieść założone zmiany. Streszczenie jest więc ważnym elementem wniosku o dofinansowanie i spełniającym kilka ważnych funkcji. Ponadto ważne jest to, że w elektronicznych systemach składania wniosków streszczenie zwykle ma narzuconą liczbę znaków. Podstawa prawna: Umowa partnerstwa zatwierdzona przez Komisję Europejską 23 maja 2014 r. Zasady prowadzenia projektów unijnych 2014-2020 8
Pytanie Jakie najważniejsze informacje dla beneficjentów zawiera dokument Wytyczne w zakresie sprawozdawczości na lata 2014-2020? Czy beneficjent na etapie składnia wniosku o dotację powinien już zapoznać się z jego założeniami? Odpowiedź Wytyczne mają na celu ujednolicenie warunków i procedur sprawozdawczości w odniesieniu do programów operacyjnych współfinansowanych z EFRR, EFS i FS w latach 2014-2020. Są skierowanie do instytucji zarządzających (IZ) poszczególnymi programami operacyjnymi i mają bezpośrednio przełożyć się na strukturę i zakres sprawozdawania z postępów w realizacji projektów w ramach danych programów operacyjnych. A zatem IZ powinny uwzględnić te wytyczne, budując swój system sprawozdawczości wobec beneficjenta, któremu będą przyznawać dofinansowanie. Wiedza o tym, jakie dane będą zbierane przez IZ, ułatwia beneficjentowi przygotowanie się do realizacji projektu i pozwala przewidzieć formę raportowania i sprawozdawania postępu realizowanego projektu. Wyjaśnienie Sprawozdawczość odzwierciedla postęp rzeczowy i finansowy na każdym z realizowanych etapów w ramach projektu dofinansowanego ze środków UE. Jest ona nieodzownym elementem procesu zarządzania projektem. Każdy grantodawca chce mieć cykliczny wgląd w sposób zarządzania powierzonymi środkami finansowanymi. Stąd istotne jest wypracowanie skutecznego i efektywnego systemu sprawozdawania z postępu realizacji projektu. Ważne! Uchwalone wytyczne określają podstawę prawną oraz założenia systemu sprawozdawczości i monitorowania, jego zakres i cele, warunki ogólne i szczegółowe sprawozdawczości. Dokument ten zawiera także załączniki, wśród których jest wzór informacji kwartalnej, informacji z działań informacyjnych i promocyjnych oraz informacji z realizacji komponentu pomocy technicznej. Celem wypracowania wytycznych jest ujednolicenie warunków i procedur sprawozdawczości w odniesieniu do programów operacyjnych współfinansowanych z EFRR, EFS i FS w latach 2014-2020. Na tej podstawie IZ może wydawać dalsze wytyczne programowe dotyczące sprawozdawczości danego programu operacyjnego. Zasady prowadzenia projektów unijnych 2014-2020 9
IZ muszą także je uwzględnić, delegując zadania w zakresie sprawozdawczości poszczególnym instytucjom oraz przy opracowywaniu wzorów umów lub decyzji o dofinansowaniu. Sprawozdawczość obejmuje dwa tryby: 1. informacyjny, który polega przede wszystkim na zbieraniu w tabelach danych ilościowych, 2. analityczny - polegający na komentarzu IZ do prezentowanych danych ilościowych. W procesie oceny postępu w realizacji programów monitorowanie postępu finansowego powinno się odbywać równolegle z monitorowaniem postępu rzeczowego. W założeniu polega to na dokonywaniu oceny, czy postępowi finansowemu towarzyszy proporcjonalny postęp rzeczowy, który umożliwi osiągnięcie celów pośrednich i końcowych w ramach przyznanej alokacji środków. Podstawową jednostką, na której opiera się system sprawozdawczości IZ, jest priorytet inwestycyjny. Głównym źródłem informacji dla IZ są dane gromadzone w centralnym systemie informatycznym SL2014, który będzie zbierać dane pochodzące z: wniosków o dofinansowanie, umów lub decyzji o dofinansowaniu, wniosków o płatność. Dane te dotyczą m.in.: - naborów, - postępu rzeczowego i finansowego, - kontroli projektów, - certyfikacji, - płatności okresowych z KE. Instytucja zarządzająca przedkłada informacje kwartalne oraz sprawozdania roczne i końcowe do wiadomości instytucji koordynującej umowę partnerstwa (IKUP). W przypadku gdy informacje kwartalne są przedmiotem obrad komitetu monitorującego (KM), IZ zobowiązana jest do przekazania IKUP informacji uwzględniającej uwagi członków komitetu, w terminie do 14 dni od posiedzenia KM. Podstawą do wypełnienia informacji kwartalnych oraz sprawozdań rocznych i końcowych, w szczególności w częściach poświęconych postępowi realizacji programu, są dane gromadzone w SL2014. Informacja kwartalna obejmuje: informacje finansowo-rzeczowe na poziomie priorytetu inwestycyjnego, wskaźniki produktu i rezultatu bezpośredniego, podział na województwa wskaźników monitorujących projekty liniowe realizowane w programach krajowych. Zasady prowadzenia projektów unijnych 2014-2020 10
Dodatkowe cele roczne wyznaczone dla wskaźników/kew włączonych do ram wykonania: typy interwencji obarczone istotnym ryzykiem niepowodzenia; problemy we wdrażaniu oraz podjęte lub planowane do podjęcia środki zaradcze; inne działania podjęte w celu usprawnienia realizacji programu; projekty duże (EFRR/FS); informacje o przeprowadzonych kontrolach w trakcie realizacji programu w okresie sprawozdawczym, w tym: o informacja o działaniach podjętych w ramach kontroli systemowych, o informacja o działaniach podjętych w ramach kontroli realizacji projektów, o informacja o kontrolach instrumentów finansowych, o informacja o działaniach podjętych w ramach kontroli krzyżowej, o informacja o działaniach kontrolnych podjętych przez inne instytucje, o informacja o stwierdzonych nieprawidłowościach; informacja nt. kwot odzyskanych oraz kwot pozostałych do odzyskania w związku ze stwierdzonymi nieprawidłowościami; nabory tryb konkursowy; projekty tryb pozakonkursowy; programy pomocy publicznej; zmiany w dokumentach (PO i SZOOP); wytyczne programowe; porozumienia i umowy pomiędzy instytucjami zaangażowanymi w proces wdrażania PO; instrukcje wykonawcze posiedzenia komitetów i grup funkcjonujących w ramach programu; informacje nt. stanu realizacji wstępnych warunków w ramach programu operacyjnego; projekty ponadregionalne realizujące cele strategii ponadregionalnych; informacje nt. programów rewitalizacji w ramach regionalnego programu operacyjnego; informacje nt. problemów napotkanych przez gminy w związku z programowaniem i realizacją programów rewitalizacji oraz IZRPO w związku z weryfikacją programów rewitalizacji; realizacja instrumentów terytorialnych (ZIT wojewódzki, inne instrumenty terytorialne); informacje na temat projektów komplementarnych na podstawie strategii ZIT w ramach POIiŚ i POPW; wskaźniki produktu i rezultatu bezpośredniego dla projektów komplementarnych na podstawie strategii ZIT w ramach POIiŚ i POPW; działania informacyjno-promocyjne; komponent pomocy technicznej. Instytucja zarządzająca sporządza sprawozdania roczne i końcowe, które gdy są zatwierdzone przez komitet monitorujący, przekazuje do Komisji Europejskiej (KE). Zakres i tryb sprawozdań rocznych i końcowych przekazywanych do KE reguluje w szczególności art. 50 oraz 111 rozporządzenia ogólnego, Zasady prowadzenia projektów unijnych 2014-2020 11
natomiast wzory sprawozdań rocznych i końcowego zawarte są w rozporządzeniu nr 2015/207. Zakres sprawozdań rocznych doprecyzowuje instrukcja przygotowywana przez IKUP w oparciu o rozporządzenie nr 2015/207. Jest ona corocznie aktualizowana przez IKUP i przekazywana IZ do końca roku, którego dotyczy sprawozdanie. Przyjrzyjmy się zakresowi przedmiotowemu sprawozdań rocznych i końcowego. Obejmuje on: Postęp rzeczowy (wskaźniki kluczowe, wskaźniki specyficzne dla programu, wartości osiągnięte i docelowe); Postęp rzeczowy (realizacja celów pośrednich i końcowych); Postęp finansowy; Podsumowanie przeprowadzonych ewaluacji; Informacje na temat inicjatywy na rzecz zatrudnienia ludzi młodych (w stosownych przypadkach); Kwestie mające wpływ na wykonanie programu i podjęte działania; Streszczenie podawane do wiadomości publicznej; Sprawozdanie z wdrażania instrumentów finansowych; Działania podjęte w celu spełnienia warunków wstępnych; Duże projekty (EFRR/FS); Wspólne plany działania; Realizacja zasady równości szans i niedyskryminacji, w tym dostępności dla osób z niepełnosprawnościami (podjęte działania, zdiagnozowane problemy, podjęte środki zaradcze); Realizacja zasady równości szans kobiet i mężczyzn (podjęte działania, zdiagnozowane problemy, podjęte środki zaradcze); Zrównoważony rozwój; Wsparcie wykorzystane na cele dotyczące zmian klimatu; Rola partnerów we wdrażaniu programu; Realizacja planu ewaluacji oraz wykorzystanie wyników ewaluacji; Wyniki działań informacyjnych i promocyjnych funduszy polityki spójności prowadzonych w ramach strategii komunikacji; Realizacja zintegrowanego podejścia do rozwoju terytorialnego; Realizacja przedsięwzięć mających na celu zwiększenie zdolności instytucji i beneficjentów w zakresie zarządzania funduszami i korzystania z nich; Realizacja przedsięwzięć międzyregionalnych i transnarodowych; Wkład w strategie makroregionalne i strategie morskie; Realizacja przedsięwzięć w dziedzinie innowacji społecznych; Realizacja działań w celu zaspokojenia szczególnych potrzeb obszarów geograficznych najbardziej dotkniętych ubóstwem lub grup docelowych najbardziej zagrożonych dyskryminacją lub wykluczeniem społecznym; Zasady prowadzenia projektów unijnych 2014-2020 12
Wkład programu w realizację unijnej strategii na rzecz inteligentnego zrównoważonego wzrostu sprzyjającego włączeniu społecznemu; Przyczyny niepowodzenia w osiąganiu celów pośrednich i końcowych. Podstawa prawna: Wytyczne w zakresie sprawozdawczości na lata 2014-2020, Warszawa 8 maja 2015. Pytanie Jak należy przeprowadzić ewaluację projektu? Kiedy trzeba tego dokonać, w którym momencie realizacji inwestycji? Odpowiedź Koordynatorzy projektów oraz ich przełożeni powinni wiedzieć, czy zaplanowane i zrealizowane działania przyniosły zamierzony skutek i osiągnięto założone w projekcie cele. Dlatego każdy projekt powinien być poddany sprawdzaniu postępów podejmowanych działań i ocenie osiągniętych wyników. Służą do tego przede wszystkim dwa zależne od siebie procesy: monitoringu i ewaluacji. Oba są istotnymi narzędziami w zarządzaniu projektem. Dokumenty unijne rozróżniają trzy typy ewaluacji: przed rozpoczęciem realizacji projektu, w połowie okresu realizacji oraz po zakończeniu projektu. Stosując więc kryterium terminu przeprowadzenia ewaluacji, wyróżnia się cztery główne rodzaje ewaluacji: ex-ante, mid-term, on-going i ex-post. Wyjaśnienie Istnieje wiele różnych definicji pojęcia ewaluacja. Wiele zależy od stosowanych kryteriów, systematyczności prowadzonych badań ewaluacyjnych oraz ich zastosowania. Często również myli się ewaluację z audytem, monitoringiem czy kontrolą. Są to jednak zupełnie różne procesy, chociaż w wielu projektach występują równolegle i wzajemnie się uzupełniają. Najpowszechniejsza definicja ewaluacji mówi o tym, że ewaluacja to okresowa ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów. Zacznijmy od ewaluacji rozróżnianej na podstawie kryterium terminu jej przeprowadzenia. Ewaluację ex-ante przeprowadza się jeszcze przed rozpoczęciem realizacji projektu i powinni dokonywać jej wszyscy realizujący projekty unijne. Na wstępie trzeba ocenić zapotrzebowanie oraz możliwości Zasady prowadzenia projektów unijnych 2014-2020 13
wykonania przedsięwzięcia w istniejących warunkach. Ten rodzaj ewaluacji umożliwia dopasowanie narzędzi projektowych i osiągnięcie oczekiwanych rezultatów. Ewaluacja ex-ante służy także do konstrukcji strategii organizacji czy firmy, więc istotna jest ze względu na możliwość oceny trafności przygotowywanego projektu z punktu widzenia potrzeb beneficjentów, jak również oceny wewnętrznej spójności w zakresie zaplanowanych celów. Ewaluacja mid-term jest realizowana w połowie okresu wdrażania przedsięwzięcia. Pozwala na dokonanie pierwszej oceny jakości realizacji projektu, a także na ewentualne modyfikacje zaplanowanych działań. To bardzo dobre narzędzie służące analizie osiągniętych na tym etapie produktów i rezultatów projektu. Dostarcza bowiem najważniejszych informacji, koniecznych do przygotowania bilansu połowy okresu i aktualizacji przyjętych założeń. Ponieważ ewaluację przeprowadza się w trakcie trwania projektu, to jego koordynator powinien patrzeć przede wszystkim na przełożenie nakładów na wyniki, a mniej na wpływ prowadzonych działań, których być może jeszcze wtedy nie widać. Ważne! Ewaluacja dotyczy projektu jako całości i odnosi się przede wszystkim do skutków i celów podjętych działań. Monitoring to przede wszystkim proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażanego projektu w aspekcie finansowym i rzeczowym. Jest on bardziej skierowany do wewnątrz i skupia się na efektywności poszczególnych działań projektowych. Monitoring jest procesem ciągłym, odbywającym się przez cały okres wdrażania projektu. Ewaluacja on-going również jest przeprowadzana w trakcie wdrażania projektu. Widoczne są jednak zasadnicze różnice w porównaniu z ewaluacją mid-term. W tym przypadku nie ma określonego dokładnego momentu przeprowadzenia ewaluacji. Przeprowadza się ją wówczas, gdy monitorowanie jako równoległy proces zasygnalizowało problemy w realizacji przedsięwzięcia, jak również odchylenia od założonych w projekcie wskaźników. Ewaluacja on-going pozwala więc na identyfikację barier i problemów w realizacji podstawowych celów projektu. Ewaluacja ex post stanowi podsumowanie. Dokonuje się jej po pewnym czasie od momentu zakończenia realizowanego projektu. Głównym jej celem jest zbadanie i określenie długotrwałych efektów projektu (wpływu) oraz ich trwałości, a także wielkości zaangażowanych środków, skuteczności i efektywności pomocy. Poza badaniami oddziaływania projektu ewaluacja ex-post jest dla zarządzającego niezwykle cennym źródłem informacji przy planowaniu kolejnych działań. Zasady prowadzenia projektów unijnych 2014-2020 14
Innym kryterium podziału ewaluacji jest relacja osób dokonujących ewaluacji do realizatorów działań projektowych. Gdy są one niezależne, wówczas mamy do czynienia z ewaluacją zewnętrzną. Natomiast w przypadku gdy pochodzą z tej samej instytucji czy organizacji z ewaluacją wewnętrzną. Można wyróżnić jeszcze tzw. samo-ewaluację, w przypadku gdy ewaluatorami są realizatorzy projektu. Wszystkie wymienione wyżej warianty mają swoje zalety i wady. Ewaluacja zewnętrzna to przede wszystkim niezależność wydawanych opinii i sądów oraz profesjonalizm ewaluatorów. Charakteryzuje się jednak również tym, że brak jest dogłębnej wiedzy na temat mechanizmów działania badanej instytucji i czasem zdarza się nietrafność wniosków czy rekomendacji. Z kolei ewaluacja wewnętrzna to zdecydowanie większa znajomość instytucji i badanego projektu czy programu przez oceniających i możliwy profesjonalizm (kiedy jest to specjalistyczna komórka organizacji), ale również brak obiektywizmu. Samoewaluacja to dogłębna wiedza na temat badanego projektu czy programu i możliwość zbadania najistotniejszych elementów projektu, ale również brak obiektywizmu i często umiejętności osób prowadzących ewaluację. Wybór ewaluacji ze względu na relację oceniających w stosunku do realizujących projekt należy określić na etapie planowania systemu zarządzania projektem. Proces ewaluacji powinien być precyzyjnie opracowany już na etapie planowania działań projektowych, tak aby jak najskuteczniej wykorzystać czas i posiadane zasoby. Wyróżnić trzeba następujące podstawowe etapy procesu ewaluacji: planowanie ewaluacji, projektowanie ewaluacji, zbieranie i analiza danych, raportowanie, wykorzystanie wyników ewaluacji. Zasady prowadzenia projektów unijnych 2014-2020 15
Aby ewaluacja była rzetelnie przeprowadzona i skuteczna, należy opracować wiarygodne jej kryteria. Powinny one dokładnie określać, co w ramach tej ewaluacji będzie podlegało ocenie, a także skupiać uwagę osób prowadzących ewaluację na ocenie najistotniejszych elementów projektu. Kryteria ewaluacji w dużym stopniu zależą od charakteru przedsięwzięcia. Specyfika projektu układa je również w odpowiednią hierarchię. Najczęściej stosowane kryteria (lista według Polskiego Towarzystwa Ewaluacyjnego) są następujące: trafność (relevance) - to kryterium pozwala ocenić, w jakim stopniu przyjęte cele projektu odpowiadają zidentyfikowanym problemom w obszarze objętym projektem i/lub realnym potrzebom beneficjentów; efektywność (efficiency) - to kryterium pozwala ocenić poziom ekonomiczności projektu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas; skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie planowania zostały osiągnięte; oddziaływanie/wpływ (impact) kryterium to pozwala ocenić związek pomiędzy celem projektu a celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju; trwałość efektów (sustainability) to kryterium pozwala ocenić, czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju. Bardzo ważny jest dobór narzędzi i metod do prowadzenia ewaluacji. Najczęściej stosowanymi metodami są: ankiety, arkusze samooceny, karty obserwacji, analiza dokumentów, wywiady, kwestionariusze, obserwacja. Istotne są także instrumenty bardziej czasochłonne, jak studium przypadków, badania fokusowe czy zbieranie opinii ekspertów. Ważnym elementem poprawnej ewaluacji są dane zebrane w trakcie monitoringu projektu. Dobór metod zależy od charakteru prowadzonych działań, grupy docelowej i celów. Zasady prowadzenia projektów unijnych 2014-2020 16
Efektem pracy ewaluatorów jest powstanie raportu ewaluacyjnego. Raport prezentuje opis całego procesu ewaluacji i jego metodologię. Dokładnie wylicza również źródła informacji i danych użytych (w tym będą również dane z monitoringu bieżącego i/lub końcowego) oraz prezentuje dokładnie wyniki. Najistotniejszą częścią raportu dla prowadzącego projekt jest ta, która dotyczy wniosków i rekomendacji. Właśnie dla niej przeprowadza się ten dosyć skomplikowany i czasochłonny proces. Część dotycząca wniosków i rekomendacji informuje o błędach i sukcesach, opóźnieniach i rezerwach czasowych we wdrażaniu poszczególnych elementów projektu. Na bazie danych z monitoringu wskazane są również nieprawidłowości w wykonaniu zadań, a także wysoka skuteczność w działaniu, braki finansowe i oszczędności w wydatkowaniu środków. Aby ewaluacja była użytecznym narzędziem, należy bez zbędnych opóźnień wyciągnąć wnioski z raportowanych błędów oraz wdrożyć proponowane przez ewaluatorów rozwiązania. Wiele instytucji nie prowadzi, jeśli nie jest do tego zobligowana, okresowych ewaluacji ani systematycznego monitoringu. Oba procesy są dość kosztowne i czasochłonne i często nie znajdują się, jeśli nie muszą, we wnioskach projektowych składanych do instytucji grantodawczych czy dofinansowujących projekty. W okresie, kiedy środki w projekcie przeznaczone na zarządzanie nim są często ograniczane, pomija się ewaluację jako integralny element przedsięwzięcia. A proces ewaluacji jest bardzo istotny w sprawnym prowadzeniu projektu czy zarządzaniu w organizacji wielu inwestycji. Wiedza płynąca z obu procesów bardzo pomaga w planowaniu projektów, bezpośrednim zarządzaniu nimi, w przygotowaniu pracy instytucji, a nawet w budowaniu dobrego wizerunku organizacji wobec instytucji finansujących projekty. Ważne! Obecność ewaluacji w projekcie wskazuje na rzetelność prowadzonych działań i stabilność organizacji. Rezultaty obu procesów przynoszą wymierne korzyści i pozwalają na rozwój i. Są niezwykle istotnym źródłem gwarancji dla instytucji finansującej projekty i bardzo pomagają w procesie pozyskiwania kolejnych grantów. Warto poświęcić czas w okresie planowania działań projektowych, budując strukturę zarządzania projektem oraz konstruując budżet projektu i jego harmonogram, na zaplanowanie procesu ewaluacji oraz systemu monitoringu projektu. Podstawa prawna: Wytyczne w zakresie ewaluacji polityki spójności na lata 2014-2020. Plan Ewaluacji Programu Operacyjnego Wiedza Edukacja Rozwój na lata 2014 2020. Zasady prowadzenia projektów unijnych 2014-2020 17
Zasady prowadzenia projektów unijnych 2014-2020 18
Redaktor: Anna Śmigulska-Wojciechowska ISBN: 978-83-269-4597-7 E-book nr: Wydawnictwo: Adres: Kontakt: 2HH0410 Wydawnictwo Wiedza i Praktyka sp. z o.o. 03-918 Warszawa, ul. Łotewska 9a Telefon 22 518 29 29, faks 22 617 60 10, e-mail: cok@wip.pl NIP: 526-19-92-256 Numer KRS: 0000098264 Sąd Rejonowy dla m.st. Warszawy, Sąd Gospodarczy XIII Wydział Gospodarczy Rejestrowy. Wysokość kapitału zakładowego: 200.000 zł Copyright by: Wydawnictwo Wiedza i Praktyka sp. z o.o. Warszawa 2016 Zasady prowadzenia projektów unijnych 2014-2020 19