Szczecin, grudzień 2008

Transkrypt

1 Badanie ewaluacyjne polskiej części projektu parasolowego Fundusz Małych Projektów Programu IW INTERREG III A Polska (woj. Zachodniopomorskie) Meklemburgia-Pomorze Przednie/Brandenburgia Zamawiający: Ministerstwo Rozwoju Regionalnego RAPORT KOŃCOWY Autorzy (w ramach Stowarzyszenia Czas Przestrzeń Tożsamość): Antoni Sobolewski koordynator projektu Paweł Klimek - ewaluator Krzysztof Siewiera - ewaluator Jarema Piekutowski - ewaluator Szczecin, grudzień

2 Spis treści WPROWADZENIE INFORMACJA O PRZYJĘTEJ METODOLOGII CEL EWALUACJI PRZEDMIOT I ZAKRES EWALUACJI KONCEPCJA BADANIA KRYTERIA OCENY PYTANIA BADAWCZE METODY BADAWCZE ANALIZA DANYCH ZASTANYCH I DOKUMENTÓW (DESK RESEARCH) INDYWIDUALNE WYWIADY POGŁĘBIONE (IDI) ZOGNISKOWANE WYWIADY GRUPOWE (FOCUS GROUP INTERVIEW) ANKIETA ELEKTRONICZNA INSTRUMENTY WSPOMAGAJĄCE BADANIE OPIS WYNIKÓW BADANIA WPROWADZENIE ODPOWIEDZI NA PYTANIA BADAWCZE Trafność i spójność Skuteczność i efektywność Użyteczność i trwałość REALIZOWANE PROJEKTY STUDIA PRZYPADKÓW WNIOSKI I REKOMENDACJE WNIOSKI OGÓLNE DOKUMENTACJA PROGRAMOWA SKŁADANIE WNIOSKU, FORMULARZ, OCENA WNIOSKU SPRAWOZDAWCZOŚĆ REALIZACJA PROJEKTU I WSPÓŁPRACA Z PARTNERAMI NIEMIECKIMI PROMOCJA ROZLICZANIE SYSTEM INSTYTUCJONALNY I ROZWIĄZANIA ORGANIZACYJNE PODSUMOWANIE BADANIA GŁÓWNE WNIOSKI SŁOWNICZEK SPIS RYCIN SPIS ZAŁĄCZNIKÓW

3 Wprowadzenie Niniejszy raport przedstawia wyniki badania ewaluacyjnego polskiej części projektu parasolowego Fundusz Małych Projektów programu INTERREG IIIA Polska (woj. Zachodniopomorskie Meklemburgia-Pomorze Przednie/Brandenburgia), które zrealizowane zostało przez Stowarzyszenie Czas Przestrzeń Tożsamość na zamówienie Ministerstwa Rozwoju Regionalnego. Celem badania była ocena systemu instytucjonalnego, procedur, systemu zarządzania, wdrażania i sprawozdawczości Funduszu Małych Projektów, a także efektów i ich trwałości oraz zaproponowanie ewentualnych zmian, w celu stworzenia trafnego, użytecznego i spójnego systemu w okresie programowania Fundusz Małych Projektów to projekt parasolowy, realizowany na podstawie umowy między Zachodniopomorskim Urzędem Wojewódzkim a Stowarzyszeniem Gmin Polskich Euroregionu Pomerania. Projekt parasolowy dotyczy Działania F3 mieszczącego się w ramach Priorytetu F: Współpraca wewnątrzregionalna, inwestycje na rzecz kultury i spotkań,.. Uprawnionymi wnioskodawcami były organizacje o charakterze non-profit: jednostki samorządu terytorialnego, ich jednostki organizacyjne, organizacje pozarządowe i inne niekomercyjne podmioty. Do obszaru wsparcia należały powiaty Rugia, Północne Pomorze Przednie, Wschodnie Pomorze Przednie, Uecker Randow, Uckermark i Barnim oraz miasta hanzeatyckie Stralsund i Greifswald po stronie niemieckiej oraz następujące powiaty po stronie polskiej: policki, gryfiński, kamieński, gryficki, goleniowski, stargardzki, pyrzycki, myśliborski, choszczeński, łobeski, białogardzki, drawski, kołobrzeski, koszaliński, szczecinecki, sławieński, świdwiński, wałecki a także miasto Szczecin, Świnoujście i Koszalin. W ramach programu można było realizować m.in. następujące typy projektów: Wymiana chórów, grup muzycznych i tanecznych, zespołów oraz organizacji i in.; Polsko-niemieckie spotkania młodzieży, warsztaty młodzieżowe; Wspieranie małych placówek muzealnych w związku z polsko-niemieckimi działaniami kooperacyjnymi; Aktywność sportowa jako element imprez dla młodzieży; Wspieranie związków, gmin m.in. przy pielęgnowaniu kontaktów transgranicznych (tłumaczenia, materiały informacyjne itp.); Działania w ramach polsko niemieckich partnerstw szkolnych; Wsparcie działań w ramach prezentacji Meklemburgii Pomorza Przedniego i Województwa Zachodniopomorskiego na obszarze wsparcia; Wspieranie kooperacji placówek kulturalnych; Wspólne działania w ramach polsko niemieckich partnerstw; Spotkania i warsztaty dla różnych grup odbiorców. Całkowita wartość wydatków kwalifikowanych w Projekcie wynosiła ,72 PLN, z czego dotacja EFRR wynosiła ,29 PLN. 3

4 Złożono i zatwierdzono do dofinansowania 244 projekty na łączną kwotę ,38 PLN, z czego ,01 PLN stanowią środki z EFRR. Po odjęciu czternastu rezygnacji wartość rozdysponowanych środków zmniejsza się do ,38 PLN, z czego EFRR wynosi ,76 PLN ok. 97 % całej alokacji. Poniżej przedstawiamy na rycinie nr 1 i 2 schematy naboru wniosków praz przepływów finansowych jakie obowiązywały przy realizacji FMP. Ryc. 1. Schemat naboru wniosków do FMP Aplikujący Złożenie wniosku Zgłoszenie uwag Euroregion Pomerania Wspólny Komitet Regionalny Ocena projektu Wyniki oceny Euroregion Pomerania Decyzja o finansowaniu Aplikujący Źródło: opracowanie własne 4

5 Ryc. 2. Schemat przepływów finansowych w ramach FMP Wniosek o płatność lub zbiorczy wniosek o refundację Projektodawca (złożenie wniosku o płatność) Euroregion Pomerania (weryfikacja) Refundacja Zachodniopomorski Urząd Wojewódzki (weryfikacja) Instytucja subpłatnicza Polski (Ministerstwo Finansów) Ministerstwo Rozwoju Regionalnego Wspólna Instytucja Płatnicza (Niemcy) Źródło: opracowanie własne Komisja Europejska (refundacja) W rozdziale 1 raportu znajduje się informacja o zastosowanej przez Zespół Ewaluatorów metodologii badań, a także jej zastosowaniu w praktyce (opis, w jaki sposób przeprowadzone zostały poszczególne działania). Kolejną część raportu stanowi rozdział 2 opis wyników ewaluacji. W rozdziale tym przedstawione są na pytania badawcze, ustalone przez Zamawiającego i uzupełnione przez Wykonawcę, przygotowane na podstawie wyników zrealizowanych badań ilościowych i jakościowych. 5

6 W rozdziale 3 raportu przedstawiono studia przypadków opisy udanych i nieudanych projektów, realizowanych w ramach FMP. Rozdział 4 raportu zawiera najważniejsze rekomendacje oparte na wnioskach z badań wskazujące na najważniejsze kierunki zmian, które powinny zostać dokonane w przyszłości przy zarządzaniu i wdrażaniu podobnych funduszy w celu uzyskania jak największej trwałości, użyteczności i efektywności. Rozdział 5 stanowi podsumowanie najważniejszych wniosków z badania. Raport uzupełnia słowniczek stosowanych skrótów i terminów oraz spis załączników (w tym m. in. wzory narzędzi badawczych oraz kompletne wyniki badań ilościowych). 6

7 1. Informacja o przyjętej metodologii 1.1. Cel ewaluacji Celem przeprowadzenia niniejszego badania jest ewaluacja realizacji polskiej części projektu parasolowego Fundusz Małych Projektów programu INTERREG IIIA Polska (woj. Zachodniopomorskie Meklemburgia-Pomorze Przednie / Brandenburgia). Ewaluacja poprzez odpowiedź na postawione pytania badawcze, które zostały określone tak, aby umożliwić poprawną i merytorycznie uzasadnioną ocenę, ma za zadanie osiągnięcie następujących celów: ocenę jakości zarządzania i wdrażania FMP; wskazanie ewentualnych zmian i udoskonalenia procedur i systemu wdrażania FMP; zbadanie efektów działania FMP. Realizacja założonych dla badania celów pozwoli na wyciągnięcie wniosków, które umożliwią lepsze wykorzystanie funduszy na współpracę terytorialną w nowym okresie programowania Przedmiot i zakres ewaluacji Przedmiotem badania był system wdrażania i zarządzania polskiej części projektu parasolowego Fundusz Małych Projektów programu INTERREG IIIA Polska (woj. Zachodniopomorskie) Meklemburgia Pomorze Przednie/Brandenburgia. Zakres badania jest następujący: analiza struktury instytucjonalnej, spójności systemu zarządzania i rozwiązań organizacyjnych; określenie efektu realizacji FMP w kontekście założonych dla niego celów; analiza procesów i regulujących je procedur zachodzących w ramach systemu wdrażania; identyfikacja barier i słabych stron systemu, mających wpływ na funkcjonowanie instytucji zaangażowanych w zarządzanie; sformułowanie korekt lub alternatywnych rozwiązań wobec istniejącego systemu. Analiza została przeprowadzona przy pomocy zróżnicowanych technik i narzędzi badawczych, szczegółowo opisanych w dalszej części rozdziału. 7

8 1.3. Koncepcja badania System zarządzania, struktura instytucjonalna oraz rozwiązania organizacyjne, proponowane w ramach programów unijnych powinny być zorientowane na osiągnięcie jak największej efektywności mierzonej stopniem wypełnienia celów programu. Miernikiem wypełnienia celów programu są efekty. Badanie rozpoczęto od analizy celów programu, tak aby następnie zdefiniować procesy jego wdrażania, które następnie przekładają się na realizację projektów i konkretne efekty. Dla naszej analizy kluczowe znaczenie ma więc analiza celów programu, a co za tym idzie, określenie celów systemu zarządzania. Wychodząc od celów, dochodzimy do poszczególnych procedur alnych za właściwą realizację działań, a co za tym idzie, także do systemu instytucjonalnego, podziału zadań i rozwiązań organizacyjnych, do kanałów komunikacji między instytucjami alnymi za zarządzanie programem, a w rezultacie do procesów mających miejsce w ramach działalności samych wnioskodawców. Niezależnie od wyników, nawet w przypadku stosunkowo wysokiego poziomu osiągniętych rezultatów, mogą w systemie zarządzania programem istnieć bariery, które utrudniają obieg środków i realizację działań. Dlatego też konieczne było spojrzenie na system zarządzania programu także od strony wnioskodawców. Schemat logiki badania przedstawia poniższa rycina: Ryc. 3. Schemat koncepcji badania CELE FMP Założenia i dokumentacja FMP Procedury wdrażania FMP (składanie wniosków, sprawozdawczość, rozliczanie) System instytucjonalny (MRR, ZUW, Pomerania) Osiągnięcie efektów Źródło: opracowanie własne 8

9 1.4. Kryteria oceny Badanie objęło swoim obszarem kompleksową analizę FMP, podjętą w celu zweryfikowania jego funkcjonowania, z uwzględnieniem następujących kryteriów ewaluacyjnych: trafności przyjętych rozwiązań organizacyjnych, funkcjonalnych, kompetencyjnych i ich spójności; skuteczności przyjętych rozwiązań systemowych oraz efektywności funkcjonowania; użyteczności efektów uzyskanych w wyniku realizacji poszczególnych mikroprojektów w ramach FMP; trwałości przeprowadzonych operacji. Zastosowanie powyższych kryteriów wynikało bezpośrednio z ustalonej na etapie zlecania przez Zamawiającego koncepcji badania i nie zostały one w znaczący sposób zmodyfikowane przez Wykonawcę Pytania badawcze Raport jest próbą na następujące pytania badawcze, ustalone na poziomie raportu metodologicznego: B1. Trafność i spójność B1.1. Czy cele Funduszu Mikroprojektów i jego konstrukcja zostały zdefiniowane w sposób odpowiadający potrzebom w obszarze, którego dotyczyły? B W jakim stopniu cele Funduszu odpowiadają na problemy województwa zachodniopomorskiego, zdiagnozowane w Strategii Rozwoju Województwa i innych dokumentach? B W jakim stopniu przyjęta konstrukcja Funduszu odpowiada potrzebom uczestniczących w projektach regionów? B1.2. Czy podstawowe wskaźniki przyjęte w Funduszu Mikroprojektów oddawały istotę postawionych celów i pozwalały na skuteczne monitorowanie? B Czy wskaźniki określone w ramach Funduszu były klarowne z punktu widzenia beneficjentów? B Czy wskaźniki określone w ramach Funduszu były realne do osiągnięcia dla beneficjentów? B1.2.3 Czy przyjęty system określania wskaźników był użyteczny? Czy łatwo było wnioskodawcom dobrać wskaźniki do monitorowania projektu? 9

10 B1.2.4 Czy w oparciu o dobrane przez wnioskodawców wskaźniki możliwe było spójne i efektywne monitorowanie programu? B1.3. Czy konstrukcja projektów była trafna z punktu widzenia celów Funduszu Mikroprojektów? B Jaki był obszar wdrażania projektu? B Czy projekt zakładał współfinansowanie od strony partnera niemieckiego? B Czy samorząd włączał się we finansowanie wkładów własnego projektów? B1.4. Czy przy wdrażaniu funduszu wyczerpano zakres dostępnych środków? B2. Skuteczność i efektywność B2.1. Czy występowały problemy koordynacyjne w trakcie realizacji projektów? Jakie? B Czy koordynację działań pomiędzy poszczególnymi instytucjami, zaangażowanymi w zarządzanie projektem, można uznać za zadowalającą? B Czy wszystkie założone zadania w projektach udało się zrealizować (ankieta / IDI), Jakie były główne przyczyny niezgodności z założeniami projektu B2.2. Czy występowały problemy z terminowością we wdrażaniu projektów i ich finansowaniu? Jeśli tak, to jakie były ich powody? B2.2.1 Po jaki czasie nastąpiła refundacja wydatkowanych w ramach projektów środków? B2.3. Jak funkcjonował system sprawozdawczości i monitoringu? Czy zaspokajał potrzeby informacyjne jednostek nadrzędnych i nie nakładał zbędnych obciążeń na wykonawców projektów? B2.3.1.Czy system wskaźników pozwalał na porównanie projektów między sobą? B Czy system wskaźników zapewniał możliwość agregacji B Czy wskaźniki zostały osiągnięte w odpowiednim stopniu? Jeżeli nie, to dlaczego? B2.4. Jakie działania sprzyjały osiągnięciu założonych celów? Dlaczego? Czy mogą zostać uznane za dobre praktyki możliwe do upowszechnienia? B Jaki rodzaj projektów/działań w największym stopniu przyczynił się do osiągnięcia celów? B2.5. Jakie bariery (instytucjonalne, organizacyjne, finansowe) pojawiły się podczas realizacji projektów? Które z barier zostały pokonane (w jaki sposób), a które nie? B2.5.1.Na czym polegały różnice między wdrażaniem programu po stronie polskiej i po stronie niemieckiej? B Czy sposób wdrażania programu był dostosowany do struktury polskiej administracji? B Co sprawiało główne problemy podczas rozliczania projektu B2.6. Czy wystąpiły problemy z rekrutacją beneficjentów - projektodawców Fundusz Mikroprojektów? Z czego one wynikały? 10

11 B2.7. Czy kryteria doboru beneficjentów odpowiadały celom Funduszu Mikroprojektów oraz programu? B2.8. Ile zostało zrealizowanych projektów i jak można dokonać ich podziału tematycznego? B Jaki był okres realizacji projektu B2.9. Czy występują różnice pomiędzy realizacją projektów z pozostałych priorytetów PIW INTERREG III w zakresie skuteczności a realizacją projektów z FMP? Jeśli tak to z czego one wynikają? B2.10. Jaki był stopień osiągnięcia celów Funduszu Mikroprojektów? B2.11. Jaki był średni koszt wsparcia przypadający na jednego beneficjenta? B2.12. Czy można było osiągnąć przybliżone rezultaty w połączeniu z mniejszymi kosztami? B2.13. Czy można było osiągnąć lepsze rezultaty w oparciu o te same koszty? B2.14. Jak przebiegała promocja Funduszu Mikroprojektów? B Czy przyjęta promocja programu wśród beneficjentów była wystarczająca i wyczerpująca? B2.15 Czy przyjęty system zarządzania i wdrażania okazał się efektywny? B Jak wyglądał przepływ informacji pomiędzy instytucjami wdrażania i zarządzania programem, jakie były jego wady i zalety? B Jak wyglądał etap ustalania dokumentacji programowej? Czy potencjalni projektodawcy mieli wpływ na ten proces? B Jak wnioskodawcy oceniają przyjęty system finansowania B Czy system finansowania wpływał na zakres realizowanych projektów? Jakie jego modyfikacje wpłynęłyby na wzrost użyteczności i trwałości projektów. B Jak wnioskodawcy oceniają współpracę z Biurem Euroregionu Pomerania B Jak wnioskodawcy oceniają czytelność dokumentów programowych i operacyjnych B Jak wyglądał proces wsparcia wnioskodawców na poziomie przygotowania wniosku i realizacji projektu B Czy formularz wniosku o dofinansowanie projektu był trafny i odpowiadał charakterowi podejmowanych działań? B3. Użyteczność i Trwałość B3.1. Czy uczestnictwo w FMP wpłynęło na trwały rozwój współpracy transgranicznej beneficjentów? B Czy instytucje współpracujące w ramach Funduszu Małych Projektów INTERREG IIIA kontynuują współpracę do dziś lub planują dalszą współpracę w przyszłości? B3.2. Jaka była użyteczność wsparcia oferowanego w ramach Funduszu Mikroprojektów w porównaniu z wcześniejszą edycją Funduszu Małych Projektów Phare CBC? B3.3. Czy rozwój współpracy transgranicznej możemy uznać za trwały, czy raczej tymczasowy? 11

12 B3.4. Jakie czynniki wpływają na trwałość współpracy lub jej brak? B3.5. W jakim stopniu działanie i zrealizowane projekty przyczyniły się do trwałego stworzenia nowych oraz wsparcia istniejących sieci współpracy transgranicznej organizacji lokalnych i regionalnych - jakie były formy dalszej współpracy? B3.6. Czy doświadczenia wyniesione z wdrażania wcześniejszej edycji Funduszu Małych Projektów Phare CBC zostały wykorzystane w PIW INTERREG III? B3.7. Czy inicjatywy zrealizowane w wyniku wdrażania FMP były kontynuowane? 1.6. Metody badawcze Podczas realizacji badania konieczne było wykorzystanie różnorakich narzędzi oraz technik z zakresu badań społecznych wypracowanych na gruncie socjologii. W celu przeprowadzenia badania w sposób profesjonalny, precyzyjny i efektywny, konieczna była dywersyfikacja metod badawczych i zastosowanie różnorodnych narzędzi. Ze względu na fakt, że w ramach ustalonej koncepcji badania systemu zarządzania i wdrażania FMP mamy do czynienia z wieloma różnymi aspektami zarówno procesowymi, jak i instytucjonalnymi, należało przeprowadzić badanie wieloetapowe i zróżnicowane. Ze względu na fakt przewidywanego zgromadzenia w ramach badania istotnego materiału o charakterze jakościowym, istotną rolę w procesie analizy odegrało zastosowanie metod niestatystycznych, które zostały zastosowane do formułowania wniosków i opinii, a także końcowych rekomendacji. Część materiału zgromadzonego w trakcie badania dokumentów poddana została także analizom statystycznym, pozwalającym na wychwycenie obrazu zjawisk będących przedmiotem badania. W szczególności analizy statystyczne wykorzystane zostały na potrzeby analizy wyników badania ilościowego. Spośród zasadniczych metod badawczych stosowanych w badaniach społecznych zastosowane zostały cztery rodzaje analizy treści oraz badań terenowych: analiza danych zastanych i dokumentów (desk research), indywidualne wywiady pogłębione (IDI), zogniskowane wywiady grupowe (Focus Group Interview) oraz ankieta elektroniczna. 12

13 1.7. Analiza danych zastanych i dokumentów (desk research) Analiza desk research podzielona została na dwie podstawowe części: a) Analiza dokumentów programowych INTERREG IIIA oraz innych dokumentów, dotyczących podjętych w ramach programu działań. Analiza dokumentów programowych pozwoliła na identyfikację procedur, jakie składają się na proces przygotowania, realizacji, rozliczania i sprawozdawczości projektów FMP oraz powiązanie problemów, celów, sposobu ich osiągania, nakładów oraz spodziewanych efektów. W tej części, analizie poddane zostały dokumenty, które przedstawia Załącznik nr 1 do niniejszego raportu. Dzięki analizie dokumentów programowych możliwa była identyfikacja założeń leżących u podstaw programu, które to założenia następnie zostały skonfrontowane z procedurami jego wdrażania i z wizją systemu wdrażania programu od drugiej strony od strony jego beneficjentów (wnioskodawców). Pozwoliło to na ocenę trafności i skuteczności przyjętych rozwiązań organizacyjnych i systemowych. b) Analiza wniosków o dofinansowanie i sprawozdań z realizacji projektów i sprawozdań z realizacji FMP. W tej części przedmiotem analizy były wnioski o dofinansowanie zatwierdzone do realizacji przez WKR (wyszczególnione w Załączniku nr 4 do niniejszego raportu) oraz sprawozdania końcowe oraz sprawozdania rok po z realizacji projektów dofinansowanych z FMP. Przeanalizowana została dokumentacja dotycząca wszystkich projektów, które zostały przyjęte do realizacji w ramach FMP. Najważniejszym celem tej części analizy desk research była odpowiedź na szczegółowe pytania badawcze, dotyczące procesu realizacji projektów, barier, na które napotkali wnioskodawcy, a także trwałości współpracy zagranicznej i osiągniętej efektywności. Analiza ww. dokumentów przeprowadzona została wg szczegółowej matrycy, która stanowi Załącznik nr 3.1. do niniejszego raportu. 13

14 1.8. Indywidualne wywiady pogłębione (IDI) W ramach badania ewaluacyjnego Funduszu Małych Projektów INTERREG IIIA zdecydowano o zastosowaniu technik jakościowych z następujących przyczyn: konieczność uzyskania pogłębionych informacji dotyczących procesu realizacji projektu; możliwość stworzenia dodatkowych pytań; stosunkowo niewielka liczebność grup respondentów. Scenariusze wywiadów znajdują się w Załączniku nr 3.4 i 3.5 do niniejszego raportu. Populacja badana: przedstawiciele instytucji wdrażających i zarządzających programem; przedstawiciele beneficjentów. Sposób doboru respondentów celowy. Zastosowany został celowy dobór próby. Eksperci przeprowadzili łącznie 20 wywiadów. Wywiady przeprowadzono z przedstawicielami instytucji systemu zarządzania FMP oraz z wybranymi losowo w oparciu o celowy dobór próby beneficjentami. Przeprowadzono następujące wywiady: 1) 8 wywiadów z osobami z instytucji zarządzających FMP: Euroregion Pomerania (strona polska) 3 wywiady; Euroregion Pomerania (strona niemiecka Kommunalgemeinschaft Pomerania e.v., Loecknitz) brak 1 Zachodniopomorski Urząd Wojewódzki 3 wywiady; Ministerstwo Rozwoju Regionalnego (dawniej Ministerstwo Gospodarki i Pracy) 2 wywiady. 2) 12 wywiadów z beneficjentami: JST 4 wywiady; NGO III sektor wraz z klubami sportowymi i ich związkami, związki gmin 3 wywiady; 1 Nie było możliwości przeprowadzenia wywiadu z osobą alną za FMP z powodu choroby. Zamiast tego przeprowadzono dodatkowy wywiad z osobą z ZUW. 14

15 MOK/Szkoły/Biblioteki/Muzea samorządowe /OSiR/Przedszkola 4 wywiady; Inne instytucje publiczne 1 wywiad Zogniskowane wywiady grupowe (Focus Group Interview) W ramach niniejszego badania przeprowadzone zostały dwa wywiady grupowe pierwszy z beneficjentami FMP (6 listopada 2008 r.), drugi z grupą osób zaangażowanych w zarządzanie FMP (13 listopada 2008 r.). Sposób doboru respondentów celowy. W grupie nr 1 znalazły się najważniejsze osoby alne za realizację FMP. W grupie nr 2 znaleźli się przedstawiciele instytucji realizujących projekty zostali oni dobrani tak, aby reprezentowane były najważniejsze typy projektodawców - zidentyfikowane w ramach analizy desk research. Ryc. 4. Typy projektodawców rozkład procentowy Typy projektodawców Jednostki samorządu terytorialnego NGO III sektor wraz z klubami sportowymi i ich związkami, związki gmin MOK/Szkoły/Biblioteki/ Muzea samorządowe /OSiR/Przedszkola Inne publiczne (Państwowa Straż Pożarna, Lasy Państwowe) Udział danego typu projektodawców w % 30,83 28,33 36,67 4,17 Źródło: opracowanie własne na podstawie danych Euroregion Pomerania Scenariusze wywiadów grupowych znajdują się w Załączniku nr 3.2 i Ankieta elektroniczna Zastosowane narzędzia jakościowe zostały uzupełnione o ilościową technikę badań, jaką jest ankieta elektroniczna przygotowana przy użyciu nowoczesnych technik internetowych. Do każdej z instytucji realizujących projekty w ramach FMP, niezależnie od liczby realizowanych projektów, została wystosowana prośba o wypełnienie jednej ankiety. Do respondentów wysłano faksy, e.maile i listy polecające, a także przeprowadzono akcję telefoniczną. Spośród łącznej liczby 121 instytucji, uzyskano zwrot 88 ankiet (73%) z czego dla spójności danych i jednolitej liczby respondentów do analizy zastosowano uwzględniono tylko ankiety, w których udzielono na wszystkie pytania (ok. 68 ankiet). Ankieta dotyczyła głównie następujących kwestii: 15

16 ogólna wizja systemu zarządzania projektem, jego użyteczności i trafności; przygotowywanie wniosku; realizacja projektu; rozliczanie i sprawozdawczość projektu; trwałość. Badanie ankietowe zostało przeprowadzone przy pomocy profesjonalnej, płatnej wersji narzędzia Webankieta.pl. Kwestionariusz ankiety znajduje się w Załączniku nr Instrumenty wspomagające badanie W trakcie realizacji badania wykorzystane również zostały dodatkowe narzędzia wspomagające proces ewaluacji, jakimi są: list polecający od MRR oraz list wprowadzający dla uczestników badania. Wymienione instrumenty wspomagające miały na celu przede wszystkim polepszenie jakości realizowanego przedsięwzięcia poprzez spełnienie następujących funkcji: List polecający od MRR uwierzytelnienie Wykonawcy; nadanie badaniu odpowiedniego znaczenia. List wprowadzający dla uczestników badania zachęcenie do udziału w badaniu; rozwianie obaw respondenta w stosunku do badania. 16

17 2. Opis wyników badania 2.1. Wprowadzenie W tej części skoncentrowano się na ach na pytania badawcze, określone na poziomie raportu metodologicznego. Odpowiedzi te opracowane zostały na podstawie uzyskanego w toku czynności badawczych materiału empirycznego. W celu zwiększenia wiarygodności wyników badań zastosowana została triangulacja metod badawczych przy na poszczególne pytania Wykonawca oparł się na trzech podstawowych metodach: analiza desk research, wywiady indywidualne i grupowe oraz ankieta Odpowiedzi na pytania badawcze Trafność i spójność B1. Trafność i spójność Celem niniejszej części badania była próba opisania FMP pod kątem trafności i spójności przyjętego systemu, a także ocena adekwatności celów FMP w stosunku do istniejących problemów województwa zachodniopomorskiego związanych z obszarem współpracy transgranicznej. Analizie zostały poddane dokumenty programowe, dokumentacja realizowanych w ramach FMP projektów oraz informacje zebrane od przedstawicieli instytucji zaangażowanych we wdrażanie FMP. Punktem wyjścia analizy celów i konstrukcji FMP jest określenie celów FMP o których mowa jest w czterech dokumentach: Program INTERREG III A Joint Programming Document Program Regionalny niemiecko-polskiego obszaru granicznego na terenie Krajów Związkowych Meklemburgia Pomorze Przednie/ Brandenburgia i Polski (Województwo Zachodniopomorskie); Uzupełnienie Programu INTERREG III A Joint Programming Document Program Regionalny niemiecko-polskiego obszaru granicznego na terenie Krajów Związkowych Meklemburgia Pomorze Przednie/ Brandenburgia i Polski (Województwo Zachodniopomorskie); Podręcznik dla Beneficjenta INTERREG-u III A Joint Programming Document Program Regionalny niemiecko-polskiego obszaru granicznego na terenie Krajów Związkowych Meklemburgia Pomorze Przednie/ Brandenburgia i Polski (Województwo Zachodniopomorskie); Wytyczne dla Wnioskodawców FMP (opracowane przez Euroregion Pomerania). 17

18 W toku dokonanej analizy wymienionych dokumentów stwierdzono, iż istnieje pewna niejasność w zakresie celów FMP zdefiniowanych w tychże dokumentach. Według Programu i Uzupełnienia Programu, FMP ma 2 cele: wspieranie bogatego programu mniejszych imprez kulturalnych oraz aktywności, które w swej całości ujawniają trwałe oddziaływanie na rozwój strukturalny regionu przygranicznego, 2 wspieranie codziennych transgranicznych kontaktów kulturalnych i odnoszących się do spędzania czasu wolnego w ramach programów kulturalnych, wymiany zespołów, wystaw, prezentacji na poziomie komunalnym oraz poziomie związków i organizacji 3 Ocena ex-ante dla FMP zawarta w Uzupełnieniu Programu zawiera dodatkowe informacje pozwalające na ogólną interpretację celu realizacji interwencji w kontekście zdiagnozowanych dla obszaru interwencji potrzeb, jakimi są deficyty w zakresie rozwijania współpracy transgranicznej na poziomie lokalnym. Zapisy w Uzupełnieniu brzmią następująco: Celem wspierania małych (projektów/inicjatyw) 4 kulturalnych i innych projektów z Funduszu Małych Projektów (SPF) jest wspieranie nowych lub już istniejących kontaktów transgranicznych. Projekty te przyczyniają się do lepszego wzajemnego zrozumienia, co stanowi ważny warunek stabilnej współpracy gospodarczej. Planowane przedsięwzięcia wspierają tworzenie się regionalnej tożsamości, przyczyniają się do lepszego zrozumienia mieszkańców pogranicza, a tym samym w sposób znakomity spełniają cele projektu 5 Podczas analizy Wytycznych dla Wnioskodawców ustalono, że zapisy tego dokumentu definiują trzy cele FMP, mianowicie: wspieranie bogatego programu mniejszych imprez kulturalnych oraz aktywności, które w swej całości ujawniają trwałe oddziaływanie na rozwój strukturalny regionu przygranicznego, wspieranie codziennych transgranicznych kontaktów kulturalnych i odnoszących się do spędzania czasu wolnego w ramach programów kulturalnych, wymiany zespołów, wystaw, prezentacji na poziomie komunalnym oraz poziomie związków i organizacji, wspieranie integracji społecznej 6. Jeszcze inaczej cel sformułowany jest w Podręczniku dla Beneficjenta: 2 Uzupełnienie Programu INTERREG III A Joint Programming Document Program Regionalny niemiecko-polskiego obszaru granicznego na terenie Krajów Związkowych Meklemburgia Pomorze Przednie/ Brandenburgia i Polski (Województwo Zachodniopomorskie str. 90 i 34 oraz w Programie INTERREG III A Joint Programming Document Program Regionalny niemiecko-polskiego obszaru granicznego na terenie Krajów Związkowych Meklemburgia Pomorze Przednie/ Brandenburgia i Polski (Województwo Zachodniopomorskie) str Ibidem str Z uwagi na prawdopodobny błąd edytorski Uzupełnienia dodano brakujący wyraz. 5 Op. Cit. str Wytyczne dla Wnioskodawców FMP str. 1 18

19 Głównym celem tego działania jest rozwój i wzrost współpracy między społecznościami po obu stronach granicy z szansą na wspólne osiągnięcia w sferze kultury, edukacji oraz dziedzinie socjalnej, ochrony środowiska i gospodarczej 7. W celu dalszej analizy przyjęto definicję celu FMP podaną w Wytycznych dla Wnioskodawców. Była to najbardziej rozbudowana wersja i to na tej definicji bazowała większość dokumentów, którymi posługiwali się beneficjenci FMP. W dalszej części raportu rekomendowane jest ujednolicenie zapisów, celem zachowania spójności dokumentacji programowej. Biorąc pod uwagę sformułowane dla FMP cele można na podstawie zebranych materiałów stwierdzić, że były one dobrane w sposób trafny. Potwierdzają to w głównej mierze wyniki wywiadów indywidualnych w których często pojawiają się opinie, iż istnieją w regionie potrzeby w zakresie realizacji przedsięwzięć transgranicznych z zakresu FMP. Odpowiedź na pytanie czy konstrukcja FMP była trafna z punktu widzenia potrzeb regionu należy interpretować w perspektywie zarówno pożądanego wpływu programu na sytuację regionalną jak i potrzeb oraz możliwości absorpcyjnych poszczególnych grup projektodawców. Z na dalsze pytania ewaluacyjne wynika, iż konstrukcja FMP w znacznym stopniu utrudniała osiągnięcie jednego z celów: budowania sieci codziennych kontaktów transgranicznych. Cel ten powinien być głównie realizowany poprzez małe projekty, których realizacją powinny się zająć NGO lub w ich zastępstwie samorządy lokalne. Deficyt ten był wyraźnie artykułowany na poziomie Euroregionu Pomerania zarówno podczas wywiadów indywidualnych jak i wywiadu grupowego, jednak w efekcie realizacji projektów NGO napotkały na poważne bariery, zarówno finansowe jak i instytucjonalne, natomiast samorząd lokalny nie był zainteresowany realizacją tego typu projektów. Aby dokonać analizy stopnia w jakim cele FMP odpowiadają na problemy województwa Zachodniopomorskiego, analizie poddano kluczowe dokumenty strategiczne regionu. Strategia Rozwoju Województwa Zachodniopomorskiego do roku 2020 zakłada dalszy rozwój współpracy transgranicznej w regionie, w celu jak najpełniejszego wykorzystania potencjału zdiagnozowanego w analizie SWOT jako jego mocna strona. W tym kontekście można powiedzieć, że FMP wpisuje się w cel kierunkowy 4.8 Strategii Województwa Współpraca międzynarodowa, transgraniczna i regionalna, będący elementem 4 celu głównego: Budowanie otwartej i konkurencyjnej społeczności, którego osiągniecie warunkuje osiąganie pozostałych celów strategii. Kluczowy udział współpracy międzynarodowej w ramach rozwoju społeczeństwa znajduje również odzwierciedlenie w dokumencie: Strategia Województwa Zachodniopomorskiego w Zakresie Polityki Społecznej do roku Z uwagi na przygraniczny charakter regionu Zachodniopomorskiego należy postawić na współpracę międzynarodową w zakresie monitorowania i podejmowania wspólnych działań instytucji i organizacji pozarządowych na rzecz prewencji i zapobiegania patologiom społecznym wśród mieszkańców sąsiednich regionów W odniesieniu do analizowanej kwestii można stwierdzić, że cele FMP wpisują się w zapisy dokumentów strategicznych dla Województwa Zachodniopomorskiego, zatem stanowią odpowiedź na zdiagnozowane w nich problemy. Stopień przyjętej konstrukcji FMP na potrzeby regionu należy interpretować w perspektywie zarówno pożądanego wpływu programu na sytuację regionalną jak i potrzeb oraz możliwości absorpcyjnych poszczególnych grup projektodawców. W pierwszym aspekcie możemy 7 Podręcznik dla Beneficjenta PIW Interreg III A Meklemburgia-Pomorze Przednie/Brandenburgia str

20 mówić o trafności konstrukcji systemu do realizacji jego celów, co zdaniem ewaluatorów bezpośrednio nie stanowiło problemu. Jednakże pogłębiona analiza wskazuje na występowanie zjawiska niepożądanego z punktu widzenia horyzontalnych celów regionu. Zjawiskiem takim było częściowe wykluczenie podmiotów typu NGO, których udział w FMP był niezbędny do osiągnięcia jednego z założonych celów, jakim było budowanie kontaktów codziennych. Wykluczenie spowodowane było głównie słabością finansową trzeciego sektora brakiem zasobów umożliwiających prefinansowanie projektów oraz poza kilkoma zdiagnozowanymi w trakcie badania przypadkami (np. ustanowiony przez miasto Szczecin fundusz dotacji na pokrycie wkładu własnego 8 ) brakiem ze strony samorządu instrumentów wpierających NGO w realizacji projektów z FMP. W opinii ewaluatorów przyczyną powyższego wykluczenia mogła być niewystarczająca ocena możliwości finansowych małych podmiotów (głównie z III sektora) do realizacji tego typu projektów. a także możliwości i chęci wspierania tych podmiotów przez JST. Założony w FMP system finansowania spowodował w znacznym stopniu wyłączenie NGO (tylko ponad 17% projektodawców) z realizacji projektów w ramach FMP. Wyniki badania dokumentów wykazały, iż wśród typów realizowanych projektów najmniej było codziennych transgranicznych kontaktów kulturalnych, co potwierdzają dane przedstawione na poniższych rycinach. Ryc. 5. Czy projekt wpisywał się we wspieranie bogatego programu mniejszych imprez kulturalnych oraz aktywności, które w swej całości ujawniają trwałe oddziaływanie na rozwój strukturalny regionu przygranicznego? Odpowiedź Przedstawienie graficzne Liczba wniosków Struktura w % Tak ,95 Nie 7 3,05 Źródło: Desk research - sprawozdania, pytanie 12 8 Rodzajem zadania, na które była udzielana dotacja, było wsparcie NGO w przygotowaniu i realizacji projektów, cennych inicjatyw, które będą miały pozytywny wpływ na wizerunek miasta, na realizację których organizacje pozyskiwać będą środki ze źródeł zewnętrznych. 20

21 Ryc. 6. Czy projekt wpisywał się we wspieranie codziennych, transgranicznych kontaktów kulturalnych i odnoszących się do spędzania czasu wolnego w ramach programów kulturalnych etc.? Odpowiedź Przedstawienie graficzne Liczba wniosków Struktura w % Tak ,91 Nie 83 36,09 Źródło: Desk research - sprawozdania, pytanie 13 Ryc. 7. Czy projekt wpisywał się w wspieranie integracji społecznej? Odpowiedź Przedstawienie graficzne Liczba wniosków Struktura w % Tak ,74 Nie 19 8,26 Źródło: Desk research - sprawozdania, pytanie 14 Z dalszych analiz wynika potrzeba zbudowania sprawnego systemu rozliczania. System taki, zakładający prefinansowanie projektów i ich szybkie rozliczanie, byłby atrakcyjny dla projektodawców o mniejszym potencjale finansowym zainteresowanych realizacją niewielkich projektów. Można w tym przypadku wzorować się na programach transgranicznych realizowanych po stronie Niemieckiej oraz doświadczeniach programu PHARE CBC. Uproszczona konstrukcja systemu finansowania programu spowodowałaby w ocenie ewaluatorów, iż można by w sposób bardziej trafny eć na potrzeby projektodawców z regionu. Także w przypadku JST finansowa konstrukcja FMP powodowała istotne problemy. Realizacja projektu w ramach FMP powodowała m. in.: zmniejszanie możliwości finansowych JST poprzez: wystawianie weksla zabezpieczającego prawidłową realizację projektu (pogarszało to tzw. standing finansowy), rezygnację z części działań założonych w budżecie JST (konieczność sfinansowania wydatków projektu), zamrożenie środków lub ponoszenie kosztów kredytowania projektu do momentu dokonania refundacji. Z uwagi na powyższe uwarunkowania systemowe preferowane były podmioty o większym potencjale instytucjonalnym i finansowym. Ostatecznie mamy do czynienia z sytuacją, w której większość projektów (ponad 60 %) realizowana była przez JST, a FMP nie wzmacniał nowych i niewielkich instytucji i organizacji, które chciały podjąć nowe inicjatywy o niewielkim zasięgu. 21

22 W opinii ewaluatorów realizacja FMP nie wpłynęła wyraźnie na powstawanie małych inicjatyw oddolnych. Inicjatywy, które zrealizowane zostały w ramach FMP, z uwagi na przyjęty system wdrażania, powstawały, głównie na poziomie urzędów, domów kultury. Pozwala to na konkluzję, iż przyjęty system wdrażania, w zakresie wspierania codziennych kontaktów transgranicznych, mógł nie w pełni eć na potrzeby mieszkańców regionu. W dalszej części raportu dokonamy analizy systemu wskaźników obowiązującego w FMP. Przyjęte w Funduszu Małych Projektów wskaźniki dzielą się na dwie grupy: Wskaźniki na poziomie FMP. Informacje na temat grupy 1 wskaźników (na poziomie FMP) znajdują się w Uzupełnieniu Programu Regionalnego niemiecko-polskiego obszaru granicznego na terenie Krajów Związkowych. Zgodnie z tym dokumentem, ustalono łącznie cztery wskaźniki monitorowania FMP: A) Wskaźniki produktu: Liczba wspartych przedsięwzięć Liczba projektów w Small Project Funds 9 B) Wskaźnik rezultatu: Liczba uczestników projektów z Small Project Funds, w tym polskich uczestników i niemieckich uczestników; C) Wskaźnik oddziaływania: Liczba kooperacji między stowarzyszeniami i gminami. Wstępna analiza wskaźników na poziomie FMP i porównanie ich z celami FMP, określonymi w Uzupełnieniu wskazuje na dwie istotne kwestie: Oba zaproponowane wskaźniki produktu liczba wspartych przedsięwzięć oraz liczba projektów w Small Project Funds wydają się być zbliżone lub wręcz się pokrywać. Nawet jeżeli uznać, że jeden projekt mógł zawierać więcej niż jedno przedsięwzięcie, wskaźniki te są ze sobą ściśle skorelowane, co oznacza, że z punktu widzenia potrzeb informacyjnych dublują się. Istnieje pewna niespójność pomiędzy celami FMP a wskaźnikami, które mają z założenia mierzyć realizację celów. Przypomnijmy, że cele zdefiniowane w Uzupełnieniu są następujące: Wspieranie bogatego programu mniejszych imprez kulturalnych oraz aktywności, które w swej całości ujawniają trwałe oddziaływanie na rozwój strukturalny regionu przygranicznego; 9 Small Project Funds terminologia wg Uzupełnienia programu str

23 Wspieranie codziennych transgranicznych kontaktów kulturalnych i odnoszących się do spędzania czasu wolnego w ramach programów kulturalnych, wymiany zespołów, wystaw, prezentacji na poziomie komunalnym oraz poziomie związków i organizacji. Należy zwrócić uwagę na fakt, że cele FMP są zdefiniowane raczej w formie działań projektowych (celem jest samo wspieranie, nie zaś osiągnięcie konkretnego stanu pod wpływem udzielonego wsparcia), z tego powodu występują pewne trudności z ich monitorowaniem. W związku z tym wskaźniki dotyczące liczby wspartych przedsięwzięć/projektów i uczestników projektów można uznać za odpowiadające istocie celów, jednakże nie do końca mierzą one realizację celów, zwłaszcza w aspekcie: trwałego oddziaływania na rozwój strukturalny regionu przygranicznego; wsparcia dla codziennych kontaktów kulturalnych; wsparcia na poziomie komunalnym (określenie nie do końca jasne, przetłumaczone wiernie z jęz. niemieckiego, jednak rzadko używane w kontekście społeczności lokalnych) oraz na poziomie związków i organizacji. Wskaźnik oddziaływania na poziomie FMP, jakim jest Liczba kooperacji między stowarzyszeniami a gminami także naszym zdaniem nie spełnia swojego zadania, gdyż: niejasne jest pojęcie pojedynczej kooperacji i sposób jego mierzenia (np. czy projekt złożony z pięciu różnych zadań to pięć kooperacji czy jedna? czy można uznać za kooperację współdziałania nieformalne?); istotą celów FMP nie jest pobudzenie współpracy między stowarzyszeniami a gminami, lecz współpracy transgranicznej (niezależnie od tego, jakie instytucje tę współpracę realizują). Można ocenić, iż wskaźniki na poziomie FMP nie oddawały do końca istoty celów, a zwłaszcza kwestii związanych z trwałością i jakością nawiązanej współpracy transgranicznej oraz jej wpływu na życie kulturalne i społeczne. Pozwalały jedynie ocenić rzeczowy i po dokonaniu przeliczeń finansowy postęp FMP. Wskaźniki na poziomie projektów Wskaźniki na poziomie projektów, które monitorują i określają we wniosku beneficjenci, opisane zostały w Instrukcji dla wnioskodawców. Dzielą się one na dwie grupy: wskaźniki produktu wskaźniki rezultatu. W przypadku produktu, beneficjenci mieli możliwość wyboru wskaźników mogli sami określać ich katalog. W Instrukcji... podane zostały następujące przykładowe wskaźniki działań: organizacja 2 spotkań, każde po 2 dni, udział 5 zespołów z Polski i 5 z drugiej strony granicy, udział 40 osób, w tym 20 z Niemiec, 220 widzów, w tym 100 z drugiej strony granicy, 23

24 udział w turnieju 3 drużyn polskich i 3 drużyn niemieckich, 200 zaproszeń, 10 plakatów, 3 banery, 500 sztuk ulotki - w 2 wersjach językowych, 1000 egzemplarzy wydanej publikacji w polskiej i niemieckiej wersji językowej, 8 tablic informacyjnych - w 2 wersjach językowych. Nadmieniono także, iż przy określaniu uczestników, należy wyszczególnić liczbę zarówno uczestników polskich jak i niemieckich. Należy przy tym pamiętać, że w przypadku imprez liczba uczestników z reguły nie powinna być mniejsza niż 20 osób. Jednocześnie ze względu na ideę Funduszu, zakładającą dofinansowanie projektów charakteryzujących się wyraźnym efektem transgranicznym zaleca się możliwie równy udział w projekcie Polaków i Niemców 10. W przypadku wskaźników produktu nie było określone, ile ma być wybranych wskaźników przez projektodawcę. Analiza desk research wniosków o dofinansowanie i sprawozdań z realizacji projektów wskazuje, iż liczba wskaźników produktu zastosowanych w projektach, wahała się od 2 wskaźników (minimum) do 26 wskaźników (maksimum). Najczęściej beneficjenci wybierali 7-9 wskaźników produktu. Jednakże liczba określonych wskaźników nie miała wpływu na ocenę wniosku, ani też - następnie - na ich realizację i rozliczanie, choć regułą było, iż wnioskodawcy, którzy zawarli więcej wskaźników, mieli też większe problemy z ich osiągnięciem. Można ocenić, że wskaźniki na poziomie produktu w dostatecznym stopniu pozwalały na ocenę osiągnięcia celów w części dotyczącej stworzonych produktów. Jednakże należy wspomnieć o: problemie z agregacją i jednolitością wskaźników (ze względu na wielość i dowolność wskaźników trudno jest je porównywać na poziomie programu); rozbieżnościach między liczbą wskaźników na poziomie poszczególnych projektów. bardzo często w projektach pojawiały się wskaźniki liczby widzów, które są trudne do zweryfikowania. Jeżeli chodzi o wskaźniki rezultatu, określony został zamknięty katalog, z którego beneficjent miał wybrać do wniosku dwa wskaźniki. Podana w Instrukcji lista wskaźników rezultatu przedstawiała się następująco: realizacja z partnerem niemieckim min. 1 transgranicznego przedsięwzięcia w przeciągu roku od zakończenia niniejszego projektu, zwiększenie liczby uczestników w kolejnej edycji projektu o 40 osób, zawarcie ok. 3 transgranicznych znajomości, podpisanie min. 2 nowych porozumień o współpracy między instytucjami z gmin partnerskich (szkoły, domy kultury), podpisanie porozumienia o współpracy z partnerem niemieckim na kolejny rok, dystrybucja ulotki poprzez 5 np. punktów informacji turystycznej. 10 Instrukcja dla wnioskodawców, str

25 W przypadku wskaźników rezultatu pewne wątpliwości budzi wskaźnik zawarcie transgranicznych znajomości, gdyż nie jest określone, czego dotyczy (czy chodzi o znajomości między osobami, czy instytucjami?) i w jaki sposób go mierzyć. Poniższa rycina przedstawia na pytanie o klarowność wskaźników, zadane w ankiecie skierowanej do beneficjentów realizujących projekty w ramach FMP. Ryc. 8. Ocena klarowności wskaźników określonych w instrukcji dla wnioskodawców Ocena w skali 1-5 (od 1- całkowicie nieklarowne do 5- całkowicie klarowne ) Całkowicie nieklarowne (ocena 1) Raczej nieklarowne (ocena 2) Średnio klarowne (ocena 3) Raczej klarowne (ocena 4) Całkowicie klarowne (ocena 5) Średnia ocena Liczba ,64 % 0,00 % 2,94 % 41,17 % 45,60 % 10,29 % Źródło: Ankieta, pytanie 14 Beneficjenci najczęściej uznali wskaźniki określone w ramach FMP za raczej klarowne lub średnio klarowne. Pozostałe wypowiedzi były używane stosunkowo rzadko. Beneficjenci 11 wskazywali na występowanie trudności ze wskaźnikami dotyczącymi np. liczby publiczności. Trudności te wynikały z niejasnej interpretacji przez beneficjentów FMP a także trudności mierzenia tego typu wskaźników. Brakowało w dokumentach i instrukcjach określenia metodologii liczenia wskaźników. Wskazywano również na niejednoznaczność wskaźnika rezultatu liczba zawartych znajomości transgranicznych. Pytanie o osiągnięcie wskaźników zadano beneficjentom w ankiecie, ale także pod tym kątem prowadzona była analiza desk research sprawozdań. Oto pytanie ankietowe dotyczące osiągnięcia wskaźników: Ryc. 9. Czy respondent osiągnął wszystkie wskaźniki zadeklarowane we wniosku o dofinansowanie? Odpowiedź Przedstawienie graficzne Liczba respondentów Struktura w % Tak 53 77,94 Nie 15 22,06 Źródło: Ankieta, pytanie 21 Analiza desk research dała odpowiedź na pytania dotyczące osiągnięcia wskaźników produktu i rezultatu. 11 Źródło danych: IDI - b 25

26 Kolejne dwa wykresy przedstawiają stopień osiągnięcia przez beneficjentów wskaźników produktu w tym wskaźnika kluczowego (liczba uczestników co najmniej 20 osób, z czego połowę stanowić powinni Niemcy, a połowę Polacy). Ryc. 10. Czy osiągnięto założone wartości wskaźników dla działań? Odpowiedź Przedstawienie graficzne Liczba respondentów Struktura w % Tak ,86 Nie ,14 Źródło: Desk research - sprawozdania, pytanie 20 Ryc. 11. Czy osiągnięto założone wskaźniki kluczowe dla działań? Odpowiedź Przedstawienie graficzne Liczba wniosków Tak ,44 Nie 91 39,57 Źródło: Desk research - sprawozdania, pytanie 22 Struktura w % Tylko niewiele ponad połowa beneficjentów osiągnęła w pełni założone wartości wskaźników dla działań. Najczęściej nieosiąganym przez beneficjentów wskaźnikiem, kluczowym dla realizacji FMP, była Liczba uczestników (ok. 40% beneficjentów nie osiągnęło założonych wartości tego wskaźnika). Następny wykres wskazuje, z osiągnięciem których wskaźników beneficjenci mieli największe problemy: 26

27 Ryc. 12. Wskaźniki dla działań, których wnioskodawcy nie osiągnęli Odpowiedź Przedstawienie graficzne Liczba wniosków Struktura w % Liczba spotkań 9 3,92 Udział uczestników (osób) ogółem 31 13,48 Udział uczestników (osób) - Polaków 26 11,31 Udział uczestników (osób) - Niemców 76 33,05 Udział uczestników (zespołów) ogółem 8 3,48 Udział uczestników (zespołów) Polaków 4 1,74 Udział uczestników (zespołów) Niemców 14 6,09 Udział widzów ogółem 13 5,66 Udział widzów Polaków 7 3,05 Udział widzów Niemców 15 6,53 Liczba publikacji (w tym artykułów) 11 4,79 Liczba elementów promocji 17 7,4 Inne - proszę wskazać jakie: 31 13,48 Źródło: Desk research - sprawozdania, pytanie 23 Do innych wymienionych nieosiągniętych wskaźników należały m.in.: liczba jam sessions; liczba konkurencji w zawodach; liczba pokazów kulinarnych; liczba projekcji filmów; liczba stoisk/straganów; liczba użytkowników forum internetowego. 27

28 Stopień osiągnięcia wskaźników rezultatu przedstawia poniższy ryc.11. Ryc. 13. Czy osiągnięto założone wartości wskaźników rezultatu? Odpowiedź Przedstawienie graficzne Liczba wniosków Struktura w % Tak ,78 Nie 42 18,26 Brak danych Źródło: Desk research - sprawozdania, pytanie ,96 Dane dotyczące osiągnięcia wskaźników rezultatu pojawiały się w sprawozdaniu rok po. Jednakże mimo niepełnych danych widzimy tendencję nieco inną niż w przypadku wskaźników działań wskaźniki rezultatu były dużo realniejsze do osiągnięcia. Rozkład trudności w osiągnięciu tych wskaźników przedstawia poniższy wykres. Ryc. 14. Wskaźniki rezultatu, których nie osiągnięto Odpowiedź Przedstawienie graficzne Liczba wniosków Struktura w % Zwiększenie liczby uczestników w kolejnej edycji projektu o X osób Realizacja z partnerem niemieckim min. X transgranicznego przedsięwzięcia w przeciągu roku o zakończenia projektu Podpisanie porozumienia o współpracy z partnerem niemieckim na kolejny rok Podpisanie min. X nowych porozumień o współpracy między instytucjami z gmin partnerskich(szkoły, domy kultury) Zawarcie ok. X transgranicznych znajomości Dystrybucja ulotki przez X punktów informacji turystycznej itp. 15 6, , ,35 8 3,48 1 0,44 0 0,00 Inne (proszę wpisać jakie) 9 3,92 Źródło: Desk research - sprawozdania, pytanie 27 Wśród innych mieliśmy najczęściej do czynienia z sytuacją, w której podawano tylko jeden wskaźnik rezultatu, zamiast obowiązujących co najmniej dwóch. 28

29 Najtrudniejszy do osiągnięcia był wskaźnik zwiększenie liczby uczestników w kolejnej edycji projektu. Podsumowując, można uznać, że: wybrane przez beneficjentów wskaźniki były raczej realne do osiągnięcia; najtrudniejsze do osiągnięcia były wskaźniki dotyczące liczby uczestników. Bardzo często nie był osiągany wskaźnik liczby uczestników ze strony niemieckiej 12. Bardzo często w odniesieniu do tych wskaźników nie osiągano zakładanych wartości ze względu na: o zbyt małe zainteresowanie i zaangażowanie po stronie niemieckiej, o przyczyny losowe (choroba, zmiana pogody lub innych warunków, żałoba narodowa), o trudność z oszacowaniem liczby uczestników na etapie pisania wniosku. Badając użyteczność przyjętego systemu określania wskaźników, a także łatwość doboru wskaźników do monitorowania projektu w ramach badania ankietowego oraz indywidualnych wywiadów, beneficjentom zadano pytanie o problemy dotyczące wyboru wskaźników oraz klarowność wskaźników. Odpowiedzi w ramach ankiety kształtowały się następująco: Ryc. 15. Deklarowane przez wnioskodawców problemy z wyborem wskaźników, odpowiadających projektowi. Odpowiedź Przedstawienie graficzne Liczba respondentów Struktura w % Brak problemów 26 38,80 Niewielkie problemy 40 59,70 Znaczne problemy 1 1,50 Źródło: Ankieta, pytanie 19 Beneficjenci mieli w większości niewielkie problemy z wyborem wskaźników (produktu i rezultatu). Tylko jedna osoba ała, iż na etapie pisania wniosku miała znaczne problemy z wyborem wskaźników (produktu i rezultatu). Spójne i efektywne monitorowanie FMP w oparciu o wskaźniki dobrane przez wnioskodawców mogło sprawiać trudności, głównie - z następujących powodów: Wskaźniki dobrane przez wnioskodawców charakteryzowały się dużą rozbieżnością. Powodem takiego stanu rzeczy były: o otwarty katalog wskaźników pozwalający na wybieranie bardzo różnych miar (np. różne elementy promocji ulotki, foldery, plakaty, a nawet butelki z wodą mineralną), 12 Źródło danych: DR-s, IDI-b, A 29