Centrum Rozwoju Społeczno-Gospodarczego Przedsiębiorstwo Społeczne

Transkrypt

1 Centrum Rozwoju Społeczno-Gospodarczego Przedsiębiorstwo Społeczne RAPORT KOŃCOWY Badanie ewaluacyjne pn. Ocena wsparcia w ramach projektów PO KL, realizowanych w trybie konkursowym i systemowym Autorzy: Dr Włodzimierz Durka kierownik badania Antoni Sobolewski zastępca kierownika badania Paweł Klimek Krzysztof Siewiera Patrycja Krzykowiak Aleksandra Łukasiewicz Szczecin, r.

2 SPIS TREŚCI SPIS TREŚCI... 2 STRESZCZENIE... 3 SUMMARY WPROWADZENIE Opis przedmiotu i celów badania METODOLOGIA Analiza danych zastanych Telefoniczne indywidualne wywiady pogłębione (TIDI) Badanie kwestionariuszowe (CATI) Analiza SWOT Panel ekspertów Studium przypadku (Case Study) Model oceny skuteczności projektów OPIS WYNIKÓW BADANIA Weryfikacja hipotezy o wpływie trybu wyboru na skuteczność oraz efektywność projektów PO KL Kryterium skuteczności Kryterium efektywności Kryterium trafności WNIOSKI I REKOMENDACJE Podsumowanie wniosków z badania Analiza SWOT Tabela rekomendacji SPIS TABEL SPIS SCHEMATÓW I ZDJĘĆ BIBLIOGRAFIA ANEKS Studium przypadku dla projektu pt. Radomski biznes I Projekty systemowe i konkursowe PO KL wybrane do analizy Strona 2

3 STRESZCZENIE Badanie ewaluacyjne zostało zrealizowane przez Centrum Rozwoju Społeczno- Gospodarczego Przedsiębiorstwo Społeczne Sp. z o.o., na zlecenie Departamentu Zarządzania EFS w Ministerstwie Infrastruktury i Rozwoju, w okresie październik - grudzień 2013 r. Polegało na ocenie i porównaniu tych samych typów projektów, z których jedne były wybierane w trybie konkursowym, a drugie w trybie systemowym. W badaniu wykorzystano następujące techniki badawcze: analizę danych zastanych, telefoniczne wywiady pogłębione, badania kwestionariuszowe (CATI), analizę SWOT, panel ekspertów, studium przypadku oraz model oceny skuteczności projektów. Jednym z podstawowych celów jakie miało osiągnąć niniejsze badanie, było zweryfikowanie hipotezy dotyczącej wpływu zastosowanego trybu wyboru projektów na efekty jego realizacji oraz koszty jakie wiązały się z osiągnięciem tych efektów. Na podstawie uzyskanych wyników, w rezultacie zastosowanego modelu oceny, nie można stwierdzić, aby którykolwiek z trybów wyboru projektów charakteryzował się w sposób jednoznaczny większą przydatnością do realizacji celów Programu. Różnica wartości średniej dla wszystkich analizowanych indeksów jest na tyle nieistotna, iż nie wskazuje jednoznacznie na którykolwiek z trybów, jako uniwersalnie lepszy. Największa różnica pomiędzy projektami konkursowymi i systemowymi występuje w zakresie efektywności kosztów obsługi projektów i kosztu jednostkowego przypadającego na uczestnika wsparcia. W tym aspekcie projekty systemowe charakteryzują się większą efektywnością i lepiej realizują wskaźniki. Natomiast projekty wybrane w trybie konkursowym cechuje większa trafność i lepiej rozwiązują indywidualne problemy ich uczestników. Przez co stwierdzić należy, iż hipoteza o wpływie trybu wyboru na efekty projektów PO KL została potwierdzona. Jednak kierunek tego wpływu różni się w zależności od poszczególnych kryteriów oceny i typów operacji. Możliwość zmiany trybu wyboru projektu była wykorzystywana w ramach komponentu regionalnego PO KL we wszystkich osiach priorytetowych, przez cały okres programowania Najczęściej zmiany dokonywano w Priorytecie VI, niewiele mniej projektów systemowych pojawiło się w ramach Priorytetu IX, znacznie rzadziej natomiast w Priorytecie VIII oraz w ramach Priorytetu VII. Tendencja do zmiany typu projektu dotyczy głownie tych poddziałań, które leżą w zakresie oddziaływania konkretnych instytucji publicznych i które mają istotne znaczenie dla sytuacji społeczno-gospodarczej danego województwa. Problemy związane z realizacją projektów nie różnią się w sposób zasadniczy pomiędzy badanymi trybami. Istotne bariery, z którymi borykają się projektodawcy systemowi, powiązane w sposób bezpośredni z trybem wyboru, to przede wszystkim brak odpowiedniego rozeznania, co do faktycznej możliwości osiągniecia celów projektu zakładanych na etapie planowania. Problemy dla trybu konkursowego, wynikające z jego specyfiki, dotyczą w głównej mierze chęci osiągnięcia jak największej liczby punktów przy ocenie wniosku, przez co projekty często odpowiadają na kryteria oceny, a nie na faktyczne potrzeby grupy docelowej. Najczęściej wskazywanym przez projektodawców systemowych argumentem na rzecz zastosowania tego trybu był szeroki zakres planowanych działań. W przypadkach, gdy grupa docelowa była liczna i rozproszona terytorialnie, podejmowano decyzję o realizacji projektu w trybie systemowym. Decyzja o zmianie trybu z konkursowego na systemowy często była podyktowana niemożliwością osiągnięcia zakładanych wskaźników. Z kolei głównym uzasadnieniem w przypadku projektów outplacementowych w Priorytecie VIII była potrzeba szybkiej interwencji. Strona 3

4 Biorąc pod uwagę kryterium skuteczności, to jest ona generalnie większa w przypadku projektów konkursowych. Istnieją jednak obszary (edukacja), w których wyniki badania wykazały porównywalną lub nieznacznie większą skuteczność projektów systemowych. Zebrane dane pozwalają stwierdzić, że w percepcji zarówno beneficjentów konkursowych jak i systemowych, stosowanie obu trybów w ramach tego samego Działania/Podziałania nie stwarza specjalnych sprzeczności, a w pewnych przypadkach jest dodatkowo uzasadnione i przyczynia się do realizacji celów Programu. Inaczej wygląda opinia pracowników instytucji systemu wdrażania, których zdaniem w pewnych przypadkach uzasadnienie zmiany trybu może budzić wątpliwości odnośnie logiki wsparcia. W opinii ewaluatorów wyższa efektowność kosztowa stanowi cechę charakterystyczną dla projektów wybieranych w trybie systemowym - podobnie jak mniejsze koszty jednostkowe realizacji projektu. Szczególnie podkreślano tu mniejszy koszt realizacji celów, kosztów zarządzania i nakładów na organizację systemu wyboru projektów. Z kolei większe koszty były jedną z częściej wskazywanych wad trybu konkursowego. Projekty konkursowe w opinii respondentów cechują się przede wszystkim zwiększonymi nakładami na zarządzanie i organizację procesu naboru. Oba tryby wyboru w podobnym stopniu przyczyniają się do osiągnięcia zaplanowanych wskaźników. Aczkolwiek ich skala w przypadku projektów systemowych jest większa. Analizując nakłady finansowe na realizację projektów wybieranych w obu trybach, to tryb systemowy wymaga poniesienia mniejszych nakładów finansowych w przeliczeniu na osiągnięty rezultat. Z drugiej strony, zdecydowanie najczęstszą wskazywaną zaletą trybu konkursowego była jednak jego trafność. Respondenci podkreślali, że instytucje biorące udział w konkursach znają potrzeby grupy docelowej, projekty są bardziej sprofilowane i świadczą bardziej zindywidualizowane wsparcie niż projekty systemowe. W zakresie konkretnych wskazań do stosowania poszczególnych trybów dla określonych typów operacji można wskazać te obszary, w których tryb systemowy jest sugerowanym rozwiązaniem: - programy typu outplacement ; - programy rozwojowe w obszarze edukacji (na wszystkich etapach kształcenia); - działania w zakresie budowy systemu wsparcia ekonomii społecznej; - wsparcie dla osób niebędących w szczególnie niekorzystnej sytuacji na rynku pracy; - regranting / realizacja projektów parasolowych. Ważna jest jednak konieczność indywidualnego dopasowania trybu wyboru do sytuacji w danym regionie. Zmiany w zakresie wykorzystania poszczególnych trybów wyboru projektów w przyszłym okresie programowania są konieczne, ponieważ rozwiązania stosowane obecnie nie zapewniają optymalnego zagospodarowania potrzeb beneficjentów jak i potencjałów realizatorów projektów. Strona 4

5 SUMMARY Evaluation study was conducted by the Centre for Economic and Social Development Social Enterprise Ltd., on behalf of the Department for ESF Management in the Ministry of Infrastructure and Development, in the period October - December The study consisted on the evaluation and comparison of the same types of projects, some of which were selected in a competition, and the other in the systemic mode. The study used the following research techniques: analysis of existing data, telephone, individual in-depth interviews (IDI), CATI, SWOT analysis, panel of experts, case study and project effectiveness evaluation model. One of the primary purposes of which was to achieve by the study, was to verify the hypothesis of the influence of the applied mode of selection of projects on the effects of its implementation and the costs associated with achieving these effects. Based on the results of the applied assessment model, cannot be said that any of the modes of project selection is characterized by a clearly greater suitability to the objectives of the Programme. The difference of the average for all analysed indices is so insignificant that it does not indicate clearly to any of the modes, as universally "better". The main difference between the competition projects and the systemic projects is in terms of cost-efficiency and costs attributable to one participant support. In this aspect, the systemic projects have a greater efficiency and better implement indicators. In comparison, projects selected in competition are characterized by greater accuracy and better solve individual problems of the participants. It should be noted that the hypothesis about the impact of the selection mode for the effects of HC OP projects has been confirmed. However, the direction of this influence varies depending on the individual evaluation criteria and types of operations. The ability to change the selection mode was used in the project under the regional component of OP HC in all priority axes throughout the programming period Most changes were made in Priority VI, much less system projects come under Priority IX, much less while in Priority VIII and in Priority VII. The tendency to change the type of project concerns mainly the sub-measures, which lie in the scope of specific public institutions and are essential for the socio-economic situation of the province. The problems associated with the implementation of the projects do not differ fundamentally between tested modes. Significant barriers faced by system project providers, linked directly with the selection mode, is primarily the lack of proper assessment at the planning stage. Problems of competition mode, resulting from its specific concern, is desire to maximize the number of points during the appraisal. Projects often correspond to the appraisal criteria, not to the actual needs of the target group. Main argument for the use of this mode, indicated by system projects providers, was a wide range of planned activities. In cases where the target group was numerous and dispersed geographically, decision on the project in the systemic mode was taken. The decision to change the mode of selection, was often dictated by the inability to achieve the indicators. The main justification for outplacement projects in Priority VIII was the need for quick intervention. Taking into account the criterion of effectiveness, it is generally higher in the case of competitive projects. However, there are areas (education), in which the results of the study showed comparable or slightly greater effectiveness of the systemic projects. The collected data allow to conclude that in the perception of both, system and competition beneficiaries, the use of both modes in the same measure does not create conflict. In some cases it is also reasonable and contributes to the objectives of the Programme. Otherwise, employees of the Strona 5

6 implementation system institutions claim, then in certain cases, according to the justification of mode change, it may raise doubts about the support logic. In the opinion of the evaluators higher cost-efficiency is a characteristic of the projects chosen in the systemic mode. Particularly emphasized here are lower cost of result achievement, lower management costs and effort for organization of project selection system. Higher costs were one of the most frequently indicated defects in competition mode. Competition projects, in the opinion of the respondents, characterized primarily by increased expenditure on management and organization of the recruitment process. Both modes of selection to a similar extent contribute to the achievement of planned indicators. Although the scale in the case of systemic projects is greater. Analysing the financial outlay of projects selected in both modes, the systemic mode incurs less costly in terms of the result achieved. On the other hand, most common advantage competition projects was accuracy. Respondents emphasized that institutions participating in competitions know the needs of the target group, the projects are more finely tuned and provide more personalized support than systemic projects. In terms of specific recommendations for the use of particular modes for specific types of operations, following areas in which systemic mode is a suggested solution, were identified: - outplacement programs; - education system development programs (at all levels of education); - support system of social economy; - support for non-disadvantaged in the labour market; - regranting / umbrella projects. The need for individual adjustment of the selection to the situation in the region is important. Changes in the use of various modes of project selection in the next programming period are necessary because the solutions currently used do not provide the optimal solutions to the needs of the beneficiaries and potential projects providers. Strona 6

7 1. WPROWADZENIE Badanie zostało zrealizowane przez Centrum Rozwoju Społeczno-Gospodarczego Przedsiębiorstwo Społeczne Sp. z o.o., na zlecenie Departamentu Zarządzania EFS w Ministerstwie Infrastruktury i Rozwoju, w okresie październik - grudzień 2013 r. Kontekst badania Wybór projektów do dofinansowania jest jednym z kluczowych procesów służących zapewnieniu efektywnej i prawidłowej realizacji każdego programu operacyjnego. Sposób selekcji projektów warunkuje w dużej mierze osiągnięcie założonych celów danego programu. W związku z powyższym, skonstruowanie odpowiedniego systemu identyfikacji (wyboru) projektów ma fundamentalne znaczenie dla efektywności i skuteczności obecnych i przyszłych interwencji współfinansowanych środkami Unii Europejskiej. Ma to szczególne znaczenie w przypadku programów operacyjnych współfinansowanych z EFS, ponieważ projekty dotyczące sfery społecznej są często o wiele bardziej złożone i wielopłaszczyznowe w porównaniu do projektów czysto inwestycyjnych, przez co wymagają specyficznego podejścia w zakresie ich selekcji. Zgodnie z art. 28 ustawy z dnia.o zasadach prowadzenia polityki rozwoju 1, w okresie programowania w ramach NSRO w Polsce możliwe są do trzy rodzaje trybu wyboru projektów: indywidualne; systemowe; wyłonione w trybie konkursu (w tym konkursu otwartego i zamkniętego). Zasady dokonywania wyboru projektów w ramach Programu Operacyjnego Kapitał Ludzki POKL 2 określały, iż w celu realizacji celów strategicznych i szczegółowych PO KL oraz ukierunkowania wsparcia na wybrane obszary, w ramach PO KL istnieje możliwość realizacji projektów indywidualnych. Miały być to projekty o znaczeniu strategicznym dla realizacji Programu. Wskazywać do realizacji te projekty miała IZ, zgodnie z kryteriami zatwierdzonymi przez Komitet Monitorujący PO KL. Zasady określały również, iż propozycje projektów indywidualnych IP/IP2 mogą być zgłaszane wyłącznie w sytuacji, gdy istnieje zagrożenie dla realizacji celów poszczególnych Priorytetów lub wynika to z rekomendacji badań ewaluacyjnych, przeprowadzonych w danym obszarze wsparcia. Projekty indywidualne usunięto z Zasad dokonywania wyboru projektów [ ] w wersji z dnia 1 stycznia 2011 r. Aktualnie obowiązująca wersja dokumentu z z 28 czerwca 2013 r. również nie dopuszcza już możliwości realizacji projektów indywidualnych. 1 Dz. U. z 2009 Nr 84, poz. 712, z późn. zm. 2 Wersja z 10 września 2007 r. Strona 7

8 W badaniu ewaluacyjnym pn. Ocena stosowanych trybów wyboru projektów w ramach programów operacyjnych na lata przyjęto następującą typologię poszczególnych trybów wyboru projektów, pod względem celów ich zastosowania: Tryb konkursowy ma za zadanie wyselekcjonować najlepsze projekty przy zachowaniu równego dostępu dla wszystkich potencjalnych projektodawców (uprawnionych do aplikowania); Tryb systemowy powinien umożliwić realizację zadań związanych z dostarczaniem usług publicznych (możliwych do realizacji jedynie przez konkretne instytucje) wynikających z odrębnie określonych uwarunkowań (najczęściej prawnych) bez konieczności konkurowania o środki z innymi podmiotami; Tryb indywidualny ma zapewnić możliwość finansowania projektów o szczególnie istotnym znaczeniu dla realizacji celów programu, przy czym nie jest ważny podmiot, który realizuje dany projekt, a jedynie jego oddziaływanie. Niemniej jednak, szczególnie w ramach regionalnych programów operacyjnych, wdrażanych w latach , wspomniane powyżej wzorcowe rozwiązania zostały zmodyfikowane, co przyczyniło się do stworzenia swoistych modeli wyboru projektów odrębnych dla każdego programu operacyjnego. Zgodnie z zapisami dokumentów programowych PO KL w ramach programu obecnie przewiduje się realizację projektów tylko za pośrednictwem dwóch procedur wyboru: konkursowej i systemowej. Warto podkreślić, iż obecnie obowiązująca definicja trybu systemowego jest podmiotowa, a nie przedmiotowa. Nie dotyczy realizacji rozwiązań kompleksowych (systemowych) a jedynie podmiotów uprawnionych do realizacji projektów. Powoduje to sytuację w której praktycznie każdy typ projektu, może być realizowany jako projekt systemowy, jeżeli tylko znajdzie się w Planie Działania. Jest to w sprzeczności z ogólnie przyjętym pojmowaniem systemowości interwencji. Większość osób wskazuje raczej na aspekt kompleksowości i całościowego rozwiązania problemu (w sposób systemowy), jako właściwą perspektywę projektu systemowego. Wynika to po części z braku realizacji w ramach PO KL projektów indywidualnych, które mogłyby realizować operacje o szczególnie istotnym znaczeniu dla realizacji celów programu. Przy czym, w projektach indywidualnych nie jest ważny podmiot, który realizuje dany projekt, a jedynie jego efekt i oddziaływanie. Niestety, przyjęta definicja projektu systemowego w praktyce ogranicza potencjalnych realizatorów projektów systemowych jedynie do jednostek sektora finansów publicznych (dalej w skrócie: SFP), co utrudnia rozwój realizacji części zadań publicznych, np. przez podmioty III sektora (pozarządowego), które potencjalnie mogłyby takie projekty o systemowym oddziaływaniu realizować. Projekty konkursowe Konkursy dotyczące naboru na projekty w ramach danego działania (lub poddziałania) PO KL są ogłaszane i prowadzone przez IP2 lub IP PO KL zwane dalej Instytucją Organizującą Konkurs (IOK), zgodnie z Planem Działania. Nabór wniosków w ramach PO KL 3 Ocena stosowanych trybów wyboru projektów w ramach programów operacyjnych na lata CRSG,2012. Strona 8

9 ma charakter konkursu otwartego lub konkursu zamkniętego. W konkursie otwartym nabór wniosków i ich ocena prowadzone są w sposób ciągły do zamknięcia konkursu uzasadnionego odpowiednią decyzją IOK (np. z powodu wyczerpania określonego limitu środków). Wybór trybu procedury (konkurs zamknięty bądź otwarty) należy do IOK i jest przedstawiony w danym Planie Działania. Konkurs ogłaszany jest na wybrane lub wszystkie typy projektów w ramach Poddziałania lub Działania. Wniosek o dofinansowanie projektu należy złożyć w instytucji wskazanej w ogłoszeniu o konkursie. Złożony wniosek podlega ocenie formalnej i merytorycznej. W procesie oceny wniosku stosowane są kryteria oceny projektów, stanowiące część Systemu Realizacji PO KL. W szczególnie uzasadnionych przypadkach, istnieje możliwość przyjęcia do realizacji w trybie systemowym części tych typów projektów, które zostały wskazane w SzOP PO KL jako wsparcie realizowane w trybie konkursowym. Niezbędne jest w tym celu wskazanie przez IP tego typu rozwiązania we właściwym Planie Działania na dany rok, wraz z odpowiednim uzasadnieniem. Każdorazowo zmiana trybu realizacji części danego typu projektów z konkursowego na systemowy jest akceptowana przez IZ PO KL (oraz opiniowana przez KM PO KL) w procesie zatwierdzania Planu Działania. Oceną merytoryczną projektów zajmują się Komisje Oceny Projektów (KOP), które umiejscowione są w IP2 (IP) PO KL. Szczegółowe zasady wyboru projektów określone zostały w dokumencie, pn. Zasady dokonywania wyboru projektów w ramach Programu Operacyjnego Kapitał Ludzki. W ramach PO KL nie przewidziano procedury zmiany trybu systemowego (określonego w SzOP PO KL) na konkursowy. Aczkolwiek w ramach realizacji niektórych projektów systemowych (np. indywidualizacja nauczania) stosuje się rozwiązania konkursowe, w postaci naboru i selekcji podmiotów, które realizować będą projekty systemowe. Strona 9

10 Projekty systemowe Zgodnie z przepisami ustawy z dnia.. o zasadach prowadzenia polityki rozwoju, projekty systemowe polegają na realizacji zadań publicznych przez podmioty działające na podstawie odrębnych przepisów, w zakresie określonym przepisami prawa i dokumentami strategicznoprogramowymi przyjętymi przez Radę Ministrów. W ramach PO KL, projekty systemowe (niedotyczące pomocy technicznej) mogą być realizowane przez beneficjentów wskazanych w SzOP i / lub właściwym Planie Działania. Funkcję beneficjenta systemowego może pełnić wskazana odrębna jednostka lub komórka organizacyjna (np. departament) danej instytucji lub urzędu. Istnieje również możliwość realizowania projektów systemowych przez jednostkę lub komórkę organizacyjną pełniącą obowiązki IP2 jeśli została wyznaczona lub jednostkę lub komórkę organizacyjną pełniącą obowiązki IP w przypadku, gdy nie ma możliwości realizowania projektu systemowego przez inną jednostkę lub komórkę organizacyjną. Warunkiem przyjęcia do realizacji projektu systemowego jest zgodność typu projektu (realizowanej operacji) z odpowiednim Planem Działania oraz zawarcie w nim informacji o rezultatach projektu systemowego. Podmiot, który będzie realizował projekt systemowy, wypełnia wniosek o dofinansowanie projektu PO KL, zawierając w nim dane dotyczące danego projektu. Wniosek jest składany do IP2 / IP (albo IZ w przypadku projektów systemowych realizowanych w Priorytecie V PO KL, których beneficjentem jest IP2 oraz w przypadku Działania 5.3 PO KL), która dokonuje jego oceny. W procesie oceny wniosku stosowane są kryteria oceny projektów, przyjęte przez Komitet Monitorujący. Niespełnienie któregokolwiek z kryteriów oznacza konieczność poprawy wniosku lub jego uzupełnienia. Beneficjent realizujący projekt systemowy zawiera z IP2, obsługującą całe Działanie (albo IP, jeśli IP2 nie została wyznaczona), umowę dotyczącą dofinansowania danego projektu. W przypadku projektów systemowych realizowanych w ramach Działania 6.1 i 7.1 PO KL, zawierane są umowy ramowe z beneficjentami. Szczegółowe zasady dotyczące realizacji tych projektów zawierają odrębne dokumenty programowe, wchodzące w skład Systemu Realizacji PO KL, wydane przez Instytucję Zarządzającą. Strona 10

11 1.1. Opis przedmiotu i celów badania Badanie ewaluacyjne polegało na ocenie i porównaniu tych samych typów projektów, z których jedne były wybierane w trybie konkursowym, a drugie w trybie systemowym. Do 21 zakończonych projektów systemowych zostały dobrane po 2 zakończone projekty konkursowe, zrealizowane w podobnym okresie, o możliwie zbliżonej charakterystyce. W sytuacji, gdy w danym regionie, dla danego działania/poddziałania PO KL nie było odpowiednika projektu wybranego w trybie konkursowym, został on dobrany z innego regionu. Analizie poddane zostały projekty z następujących działań i poddziałań PO KL (Tabela 1.): Tabela 1. Wybrane działania / podziałania PO KL poddane analizie w ramach badania Działanie/ Poddziałani Nazwa e PO KL Wsparcie osób pozostających bez zatrudnienia na regionalnym rynku pracy 6.2 PO KL Wsparcie oraz promocja przedsiębiorczości i samozatrudnienia PO KL Aktywizacja zawodowa i społeczna osób zagrożonych wykluczeniem społecznym PO KL Wsparcie ekonomii społecznej PO KL Wspieranie rozwoju kwalifikacji zawodowych i doradztwo dla przedsiębiorstw PO KL Wsparcie procesów adaptacyjnych i modernizacyjnych w regionie PO KL Wyrównywanie szans edukacyjnych uczniów z grup o utrudnionym dostępie do edukacji oraz zmniejszanie różnic w jakości usług edukacyjnych 9.2. PO KL Podniesienie atrakcyjności i jakości szkolnictwa zawodowego Źródło: Szczegółowy Opis Priorytetów programu operacyjnego kapitał ludzki , Warszawa, 1 stycznia 2013 r Lista projektów objęła projekty systemowe z lat , zakończone do dnia r., zrealizowane w działaniach / poddziałaniach, dla których w SzOP PO KL określono tryb wyboru jako konkursowy (wykaz projektów poddanych analizie znajduje się w Załączniku 8.2). Strona 11

12 Główny cel badania został sformułowany w następujący sposób: Ocena wpływu trybu wyboru projektów (konkursowy / systemowy) w ramach PO KL na efekty i sposób realizacji poszczególnych typów projektów. Cel główny badania został osiągnięty poprzez analizę celów szczegółowych, w ramach, których sformułowano szereg pytań ewaluacyjnych, które szczegółowo przedstawia Schemat 1. Schemat 1. Cele szczegółowe badania i pytania ewaluacyjne Cel 1- Analiza wykorzystania możliwości dotyczącej zmiany trybu wyboru projektu PO KL z konkursowego na systemowy. Jaka część projektów zakładanych do wyboru w trybie konkursowym została wybrana w trybie systemowym? Które typy projektów są wdrażane najbardziej skutecznie wybierane w trybie systemowym, a które w trybie konkursowym? Jak beneficjenci poszczególnych typów projektów warunkują/uzasadniają decyzje o wyborze projektu w trybie konkursowym/systemowym? Od czego zależy zastosowanie danego trybu wyboru projektu? Cel 2 - Ocena efektów/rezultatów (krótko i długoterminowych), uzyskiwanych w projektach PO KL, wybieranych w trybie konkursowym vs. systemowym dla poszczególnych typów projektów. Które typy projektów w trybie systemowym, a które w trybie konkursowym cechuje największa efektywność rozumiana jako stosunek uzyskanych rezultatów w stosunku do poniesionych kosztów? Od czego ona zależy? Jak wygląda efektywność kosztowa i skuteczność projektów dla trybu systemowego i dla konkursowego? W jakim stopniu tryb wyboru projektów pozwala osiągnąć zaplanowane w projektach rezultaty, wskaźniki? Czy dopuszczenie możliwości realizacji projektów konkursowych w trybie systemowym jest zasadne? Czy przyczynia się do zwiększenia skuteczności realizowanych w projekcie działań? Czy efekty zrealizowanych projektów mogłyby zostać osiągnięte w tej samej skali gdyby projekt był realizowany w innym trybie? Cel 3 - Ocena nakładów (kosztów) ponoszonych w projektach PO KL realizowanych w trybie konkursowym vs. systemowym dla poszczególnych typów projektów. Czy tryb systemowy realizacji projektu wiąże się z większymi nakładami finansowymi niż konkursowy, koniecznymi do poniesienia w celu uzyskania podobnych rezultatów? Czy wybór danego trybu realizacji projektów (konkursowy vs systemowy) ma wpływ na: osiągane rezultaty projektów (ich wielkość), koszty ponoszone w projektach, sposób realizacji projektu,? Jeśli tak - na czym polega ten wpływ? Z czego on wynika? Cel 4 - Ocena trafności udzielonego wsparcia w projektach PO KL zrealizowanych w trybie konkursowym vs. systemowym dla poszczególnych typów projektów. Które typy projektów w trybie systemowym, a które w trybie konkursowym cechuje większa trafność? Od czego ona zależy? Źródło: SOPZ Cel 5 - Identyfikacja mocnych i słabych stron, barier i możliwości (zarówno w procesie realizacji jak i po zakończeniu) dla poszczególnych typów projektów PO KL, zrealizowanych w trybie konkursowym vs. systemowym. Który tryb wyboru projektów jest bardziej uzasadniony do zastosowania w przypadku określonych typów projektów, grup docelowych lub beneficjentów wsparcia? Dlaczego? Czy w przyszłym okresie programowania powinny zostać wprowadzone zmiany dotyczące wykorzystywania danego trybu realizacji projektu? Jeśli tak, to na czym one powinny polegać? Strona 12

13 W badaniu przyjęto, iż dokonywane w jego ramach analizy będą odwoływały się między innymi do typu realizowanego projektu. Tabela 2., zamieszczona poniżej, zawiera szczegółowe informacje na temat tego, jaki typ projektu odpowiada danemu Działaniu/Poddziałaniu. Tabela 2. Typy projektów Działanie/ Typ projektu Poddziałanie Identyfikacja potrzeb osób pozostających bez zatrudnienia, w tym m.in. poprzez zastosowanie Indywidualnych Planów Działania, diagnozowanie potrzeb szkoleniowych oraz możliwości doskonalenia zawodowego w regionie, wspieranie wolontariatu, jako etapu przygotowującego do podjęcia zatrudnienia. Organizacja warsztatów oraz szkoleń z zakresu technik aktywnego poszukiwania pracy oraz nabywania kompetencji kluczowych. Wsparcie dla osób zamierzających rozpocząć działalność gospodarczą 6.2 (w tym na założenie spółdzielni lub spółdzielni socjalnej). Prowadzenie, publikowanie i upowszechnianie badań i analiz z zakresu polityki społecznej w regionie (w tym działań mających na celu przygotowanie i wdrażanie gminnych lub powiatowych strategii rozwiązywania problemów społecznych). 1) Wsparcie dla tworzenia i działalności podmiotów integracji społecznej, w tym: centrów integracji społecznej, klubów integracji społecznej, zakładów aktywności zawodowej oraz podmiotów działających na rzecz aktywizacji społeczno-zawodowej (których podstawowym zadaniem nie jest działalność gospodarcza), szkolenia umożliwiające nabycie, podniesienie lub zmianę kwalifikacji i kompetencji zawodowych dla osób zagrożonych wykluczeniem społecznym. 2) Poradnictwo psychologiczne, psychospołeczne, zawodowe i inne, prowadzące do integracji społecznej i zawodowej, skierowane do osób zagrożonych wykluczeniem i ich otoczenia. Wsparcie dla utworzenia i/lub funkcjonowania (w tym wzmocnienia potencjału) instytucji wspierających ekonomię społeczną. Ogólne i specjalistyczne szkolenia oraz doradztwo związane ze szkoleniami dla kadr zarządzających i pracowników przedsiębiorstw w zakresie m.in.: zarządzania, identyfikacji potrzeb w zakresie kwalifikacji pracowników, organizacji pracy, elastycznych form pracy, wdrażania technologii produkcyjnych przyjaznych środowisku, wykorzystania w prowadzonej działalności technologii informacyjnych i komunikacyjnych. Szkolenia, kursy i poradnictwo zawodowe (jako działanie uzupełniające do szkoleń i kursów) skierowane do dorosłych osób pracujących, które z własnej inicjatywy są zainteresowane nabyciem nowych, uzupełnianiem lub podwyższaniem kwalifikacji i umiejętności (poza godzinami pracy), w szczególności dla osób zatrudnionych o niskich lub zdezaktualizowanych kwalifikacjach (z wyłączeniem kształcenia ustawicznego w formach szkolnych realizowanego w szkołach dla dorosłych). Wsparcie dla osób zwolnionych, przewidzianych do zwolnienia lub zagrożonych zwolnieniem z pracy z przyczyn niedotyczących pracowników, zatrudnionych u pracodawców przechodzących procesy adaptacyjne i modernizacyjne, realizowane w formie tworzenia i wdrażania programów Strona 13

14 Działanie/ Poddziałanie Typ projektu typu outplacement. Programy rozwojowe szkół i placówek oświatowych prowadzących kształcenie ogólne ukierunkowane na wyrównywanie szans edukacyjnych uczniów i zmniejszanie dysproporcji w ich osiągnięciach edukacyjnych oraz podnoszenie jakości procesu kształcenia. Programy rozwojowe szkół i placówek oświatowych prowadzących kształcenie zawodowe ukierunkowane na zmniejszanie dysproporcji w osiągnięciach uczniów w trakcie procesu kształcenia oraz podnoszenie jakości procesu kształcenia. Źródło: Plany Działania IP PO KL z lat Strona 14

15 2. METODOLOGIA Uwaga metodologiczna: Istotnym ograniczeniem badania był fakt, iż zostało ono przeprowadzone na celowo dobranej próbie projektów wybranych w trybie konkursowym i systemowym, która nie jest reprezentatywna dla ogółu projektów w PO KL. Z założenia badanie to ma charakter eksploracyjny i jakościowy (pomimo wykorzystania ilościowej analizy danych), pokazując na pewnym wycinku rzeczywistości projektowej PO KL jak wygląda kwestia skuteczności, trafności oraz efektywności dla obu trybów wyboru projektów. Wyniki badania należy, więc traktować z pewną ostrożnością formułując wnioski i rekomendacje dla całego systemu wyboru projektów. Przeprowadzenie analogicznego badania, ale na reprezentatywnej próbie projektów konkursowych i systemowych, ze względu na skalę projektów realizowanych w PO KL (ponad 42 tysiące projektów) byłoby związane z koniecznością zaangażowania znacznie większych środków, zarówno w wymiarze organizacyjnym (nakład pracy IP/IP2 oraz ewaluatorów), czasowym (co najmniej kilkukrotnie) jak i finansowym. W celu zapewnienia spójności logicznej zaproponowanej koncepcji i metodologii ewaluacji, zastosowano następujący schemat ewaluacji: Schemat 2. Logika procesu ewaluacji Spotkanie inicjujące Raport metodologiczny Desk Research CATI TIDI Case study Analiza danych SWOT Panel ekspertów Konsultacje Wstępny raport końcowy Raport końcowy Źródło: opracowanie własne CRSG PS Sp. z o.o. Strona 15

16 2.1. Analiza danych zastanych Analiza danych zastanych (tzw. desk research) to wnikliwa ocena i interpretacja danych zawartych w dokumentach źródłowych. Na początkowym etapie analizy zebrany materiał sprawdzany był pod kątem jakości i rzetelności. Dopiero po wyselekcjonowaniu wiarygodnych danych przeprowadzona została właściwa analiza desk research, która była pomocna przy weryfikacji wniosków płynących z badań terenowych (m.in. prawdziwości stwierdzeń respondentów, pokrycia wyników w zapisach odpowiednich dokumentów), a także pozwoliła na poznanie i zrozumienie otoczenia badanego problemu. W ramach niniejszego badania analizie poddane zostały: 1. Projekty systemowe i konkursowe z lat , które zostały zakończone do dnia r. (lista projektów znajduje się w Załączniku 7.2.); 2. Dane z bazy KSI SIMIK oraz PEFS 2007 dla 63 wybranych projektów z Priorytetów VI-IX PO KL - w zakresie zestawień rozliczonych środków (do wskaźników) oraz zbudowania operatu respondentów CATI; 3. Dokumentacja dla wskazanych powyżej projektów (wersji ostatecznych wniosków o dofinansowanie i wszystkich zatwierdzonych wniosków o płatność 4 ) - w zakresie danych do wskaźników modelu oceny oraz informacji o realizowanych typach wsparcia; 4. Treści Planów Działania dla Priorytetów VI-IX PO KL - w zakresie zasad selekcji projektów w poszczególnych trybach; 5. Zbiór dokumentów pn. System Realizacji PO KL a w szczególności Zasady dokonywania wyboru projektów w ramach PO KL ; 6. Szczegółowy Opis Priorytetów PO KL ; 7. Dokumentacje konkursowe dotyczące ogłoszonych naborów wniosków (ogłoszenia i listy rankingowe wniosków 5 ) - dane posłużyły do identyfikacji konkursów w ramach, których wystąpiły problemy z kontraktacją środków; 8. Raporty z badań i ewaluacji dotyczących metod wyboru projektów w poszczególnych programach, w tym w szczególności: a) Badanie skuteczności wsparcia realizowanego w ramach komponentu regionalnego PO KL PAG Uniconsult Sp. z o.o., ; b) Ocena stosowanych trybów wyboru projektów w ramach programów operacyjnych na lata Centrum Rozwoju Społeczno-Gospodarczego Sp. z o. o., 2013; c) Projekty systemowe komponentu regionalnego realizowane przez Instytucję Pośredniczącą PO KL, ASM Centrum Badań i Analiz Rynku Sp. z o.o., 2010; d) Ocena systemu zarządzania i wdrażania projektów realizowanych w trybie systemowym województwo świętokrzyskie, ASM - Centrum Badań i Analiz Rynku Sp. z o.o., 2009; e) Analiza i ocena stopnia zainteresowania beneficjentów i uczestników projektu udziałem w konkursach i projektach realizowanych w ramach PO KL, jak również zainteresowania beneficjentów niektórymi typami operacji występującymi w PO KL 4 Analizowana była cała zawartość wniosku o płatność (część finansowa i sprawozdawcza). 5 W celu analizy podaży projektów odpowiedniej jakości w danym konkursie. Strona 16

17 w województwie małopolskim ASM - Centrum Badań i Analiz Rynku Sp. z o.o., 2011 r.; f) Zapotrzebowanie grup docelowych na określone typy projektów ASM - Centrum Badań i Analiz Rynku Sp. z o.o., 2010 r.; g) Ocena efektywności form wsparcia oferowanego w ramach komponentu regionalnego PO KL PSDB, 2012 r. h) Analiza i ocena pozakonkursowego trybu wyboru projektów ZGD, 2011 r Telefoniczne indywidualne wywiady pogłębione (TIDI) Technika ta umożliwiła pozyskanie danych o charakterze jakościowym, dzięki czemu pogłębiono kwestie zawarte we wszystkich pytaniach ewaluacyjnych. Dzięki wywiadom zrealizowanym z przedstawicielami IP PO KL poznano stanowiska i uzasadnienia każdego z województw, które dokonały lub nie dokonały zmiany z trybu wyboru konkursowego na systemowy. Koordynatorzy projektów natomiast ocenili (w sposób jakościowy) proces realizacji projektu w kontekście jego skuteczności, trafności i efektywności. Wywiady zrealizowane z przedstawicielami Departamentu Zarządzania EFS pomogły nakreślić skalę zjawiska oraz kontekst problemu. Natomiast przedstawiciele Komitetu Monitorującego PO KL ocenili ogólnie tryb systemowy oraz konkursowy. Łącznie przeprowadzono 42 telefoniczne indywidualne wywiady pogłębione. Próba w badaniu: Udział w badaniu wzięli: - koordynatorzy projektów wybranych w trybie konkursowym (wskazanych w załączniku nr 7.2.) 11 wywiadów; - koordynatorzy projektów wybranych w trybie systemowym (wskazanych w załączniku nr 7.2.) 11 wywiadów; - przedstawiciele kadry zarządzającej IP PO KL w każdym z województw 16 wywiadów; - przedstawiciele Departamentu Zarządzania Europejskim Funduszem Społecznym 2 wywiady; - przedstawiciele Komitetu Monitorującego PO KL (przedstawiciele partnerów społecznych i gospodarczych) - 2 wywiady Badanie kwestionariuszowe (CATI) Udział w badaniu wzięli uczestnicy projektów (wskazanych w załączniku 7.2 do niniejszego raportu) wybranych w trybie konkursowym i systemowym, a ich zadaniem było dokonanie oceny skuteczności, efektywności oraz trafności oferowanego wsparcia w ramach projektów, które były maksymalnie do siebie podobne, a wybierane innym trybem. Dzięki tej technice pozyskano dane, które umożliwiły obliczenie wybranych wskaźników zastosowanych w modelu oceny skuteczności projektów. Strona 17

18 Łącznie zrealizowane zostały 504 wywiady kwestionariuszowe, szczegółowy rozkład próby i poziom jej realizacji wskazuje Tabela 3. Próba w badaniu: Dobór próby opierał się na wybraniu grupy podstawowej (uczestnicy projektów konkursowych) i odpowiednio do niej grupy porównywanej (uczestnicy projektów systemowych). Warstwę w próbie stanowiły typy projektów, dopasowane do odpowiednich Działań/Poddziałań. Tabela 3. Rozkład próby w badaniu CATI Działanie/ Poddziałanie Próba - tryb systemowy Próba - tryb konkursowy I II I II RAZEM Opracowanie własne CRSG PS Sp. z o.o Analiza SWOT Technika ta posłużyła do porządkowania wniosków z badania, czego efektem było stworzenie tabeli rekomendacji. Segregowanie i porządkowanie danych dokonywane było w oparciu o cztery kategorie: S (Strenghts) mocne strony; W (Weaknesses) słabe strony; O (Opportunities) szanse; T (Threats) zagrożenia. Ostatecznie efektem prac są dwie tabele SWOT uwzględniające osobno specyfikę projektów realizowanych w trybie konkursowym oraz systemowym. Strona 18

19 2.5. Panel ekspertów Zadaniem panelu ekspertów było podsumowanie zgromadzonych wyników badania oraz sformułowanie syntetycznego osądu integrującego najważniejsze wnioski z niego płynące. Ze względu na specjalistyczną wiedzę ekspertów wytypowanych do udziału w badaniu, panel ekspertów posłużył do sformułowania wstępnych rekomendacji. Do udziału w panelu zaproszono: - przedstawicieli instytucji uczestniczących w procesach selekcji projektów, - ekspertów oceniających projekty, - przedstawicieli partnerów społecznych, - przedstawicieli zamawiającego. Łącznie udział w badaniu wzięło 7 ekspertów, którzy reprezentowali następujące instytucje: Mazowiecką Jednostkę Wdrażania Projektów Unijnych, Ministerstwo Rozwoju Regionalnego, Urząd Marszałkowski Województwa Lubelskiego, Ogólnopolską Federację Organizacji Pozarządowych, ICF GHK Polska Studium przypadku (Case Study) Celem CS było pokazanie najbardziej jaskrawego przykładu takiego projektu, na którego skuteczność oraz efektywność miał wpływ tryb jego wyboru. Przypadek ten został szczegółowo omówiony ze wskazaniem tych elementów realizacji projektu (typ beneficjenta, problem, na który odpowiada projekt, zakres terytorialny, grupa odbiorców), które bezpośrednio przełożyły się na jego skuteczność i efektywność. Po konsultacji z zamawiającym do analizy wybrano projekt realizowany przez Wojewódzki Urząd Pracy w Warszawie - filię w Radomiu pt. Radomski biznes I. Charakteryzuje się on dużą efektywnością kosztową oraz niskimi kosztami przypadającymi na jednego uczestnika projektu, w porównaniu do analizowanych projektów konkursowych (tych, które zostały wskazane jako bliźniacze ). Studium przypadku zostało opracowane w oparciu o: - obserwację wizytę na miejscu realizacji projektu tj. filię WUP w Radomiu, - analizę desk research, w tym dokumentacji projektowej oraz Planu Działania, - indywidualny wywiad pogłębiony z liderem projektu (diada) - Kierownikiem Zespołu ds. Regionalnej Polityki Rynku Pracy i EFS oraz z koordynatorem projektu Model oceny skuteczności projektów Kluczową kwestią w przypadku realizacji niniejszej ewaluacji było określenie spójnego sposobu oceny badanych projektów, która umożliwiać będzie obiektywne porównanie efektów, jakie zostały uzyskane w wyniku ich realizacji. Jest to podstawowy warunek weryfikacji hipotezy o wpływie trybu wyboru projektów na skuteczność oraz efektywność (m.in. zatrudnieniową i kosztową) projektów PO KL. Strona 19

20 Analizowane projekty podlegały ocenie, uwzględniającej kilka cech jednocześnie, tzw. miarę wielowymiarową. Opierała się ona na nieważonej agregacji 6 wskaźników cząstkowych, opisujących poszczególne aspekty realizacji projektów w ramach poszczególnych podklas 6. Wybranymi wskaźnikami są w tym przypadku: - wskaźnik efektywności zatrudnieniowej projektu badany zgodnie z metodyką przyjętą w PO KL, odsetek uczestników projektu, którzy podejmą pracę zgodnie z informacjami zawartymi we wniosku o dofinansowanie realizacji danego projektu 7, - wskaźnik trafności projektu określony na podstawie badania CATI 8 stopień, w jakim zrealizowane działania odpowiadały na potrzeby uczestników, - wskaźnik efektywności kosztów obsługi projektu określony na podstawie faktycznego (wynikającego z zawartych we wnioskach o płatność wydatków) stosunku kosztów obsługi (zadanie Zarządzanie i koszty pośrednie) do całkowitych wydatków projektu, - wskaźnik efektywności rezultatów projektu określony na podstawie stanu realizacji głównego wskaźnika projektu 9 (jednakowego dla danego typu operacji) w stosunku do całości faktycznie poniesionych wydatków projektu (na podstawie wniosków o płatność). - wskaźnik wzrostu kompetencji uczestników - określony na podstawie badania CATI stopień, w jakim zrealizowane działania przyczyniły się do nabycia przez uczestników projektu nowych, użytecznych umiejętności wskaźnik kosztu jednostkowego wartość określona na podstawie stosunku całkowitych wydatków projektu do liczby osób objętych wsparciem. W przypadku wskaźników, których podstawą były wyniki badania CATI, nadawano poszczególnym odpowiedziom wartości liczbowe lub procentowe następnie wyliczano średnią dla danej grupy respondentów (dla danego typu operacji i trybu wyboru). Dane pierwotne (zarówno z CATI jak i z DR) poddane zostały procesowi standaryzacji i normalizacji (do przedziału [0;1]) w celu uzyskania syntetycznych wskaźników cząstkowych. Łączny wskaźnik obliczony został poprzez agregację nieważoną indeksów cząstkowych. 6 Przez podklasy rozumiemy w tym przypadku poszczególne analizowane typy projektów. 7 Wskaźnik badany był jedynie dla tych działań/poddziałań w przypadku, których beneficjent ma obowiązek jego monitorowania zgodnie z systemem realizacji PO KL. W przypadku braku monitorowania wskaźnika w projekcie został on określony na podstawie wyników badania CATI. (na podstawie odpowiedzi na pytanie o posiadanie zatrudnienia 6 miesięcy po udziale w projekcie) 8 Pytanie 3 i 4 ankiety ( Na ile [forma wsparcia] odpowiadała Pani/Panu realnym potrzebom?; W jakim stopniu wsparcie jakie Pani/ Pan uzyskał/a zaspokoiło Pani potrzeby w tamtym czasie?); 9 Główny wskaźnik projektu został określony dla danej podklasy po określeniu jakiego typu projekty podlegają ocenie. Odzwierciedla najważniejszy efekt związany z realizacją celów danego działania/poddziałania. Założono, że jest to jeden ze wskaźników obowiązkowych do monitorowania w ramach PO KL. 10 Pytania: 6, 7 (Czy zdobył/a Pan/i certyfikat/dyplom/uprawnienia lub inne formalne poświadczenie umiejętności w rezultacie uczestnictwa w projekcie? Jak często wykorzystuje Pan/Pani aktualnie wiedzę i umiejętności zdobyte w wyniku udziału w projekcie?) oraz Moduł 1 Pytanie 16,17 (Czy Pana zdaniem, udział w tym projekcie pomógł Panu/Pani kiedykolwiek znaleźć pracę? W jaki sposób udział w projekcie pomógł Panu znaleźć pracę?)) lub Moduł 2-13,14 (Proszę określić, jak często wykorzystuje Pan/i w swojej pracy kompetencje i umiejętności zdobyte w projekcie? Czy w Pana/i opinii udział w projekcie sprawił, że ma Pan/i teraz wyższe kompetencje?.) Strona 20

21 Końcowym efektem zastosowania modelu była ocena obszarów według wartości zintegrowanego wskaźnika, co pozwoliło na weryfikację głównej hipotezy badania. Poszczególne wskaźniki szczegółowe pozwoliły na odpowiedź na szereg pytań ewaluacyjnych, dotyczących poszczególnych aspektów realizacji projektów w obu trybach, w tym ich bezpośrednie porównanie. Strona 21

22 3. OPIS WYNIKÓW BADANIA 3.1. Weryfikacja hipotezy o wpływie trybu wyboru na skuteczność oraz efektywność projektów PO KL Jednym z podstawowych celów badania ewaluacyjnego było zweryfikowanie hipotezy dotyczącej wpływu zastosowanego trybu wyboru projektu na efekty jego realizacji oraz koszty jakie wiązały się z osiągnięciem tych efektów. Efekty rozumiane są w tym przypadku szeroko i wielowymiarowo. W celu weryfikacji czy postawiona hipoteza jest trafna, posłużono się autorskim modelem oceny wielowymiarowej. Miał on za zadanie wskazać, czy istnieją zasadnicze różnice pomiędzy projektami wybranymi do realizacji w trybie konkursowym i systemowym, w odniesieniu do poszczególnych aspektów realizacji projektów PO KL, takich jak skuteczność, efektywność i trafność. Warto mieć na uwadze, iż przedmiotowy model zastosowano do analizy specyficznej grupy projektów, wyselekcjonowanych jeszcze przed rozpoczęciem badania. Nie obejmowała ona wszystkich projektów systemowych, dla których dokonano zmiany trybu wyboru, jej reprezentatywność jest więc w większym stopniu jakościowa niż statystyczna. Również należy mieć na uwadze, iż w ramach próby nie analizowano typowych projektów systemowych, tzn. takich których tryb wyboru został określony od początku realizacji programu jako systemowy. Efektem zastosowania modelu w odniesieniu do wybranych grup projektów było stworzenie zestawu indeksów, opisujących poszczególne aspekty ich realizacji. Wskazują one, w których obszarach dany typ projektu cechuje się większą skutecznością, efektywnością lub trafnością. Nie przesądza to oczywiście, w jednoznaczny sposób, o zasadności realizacji projektu w tym czy innym trybie, zależy to bowiem od wielu innych czynników i uwarunkowań występujących w danym regionie, stanowi jednak o pewnej przewadze danego trybu w tym konkretnym zakresie. Z uwagi na różnorodność operacji realizowanych w ramach poszczególnych typów projektów i wieloaspektowy charakter analizy, wyniki uzyskane za pomocą modelu powinny być interpretowane w opozycji konkursowy systemowy, osobno dla każdego wskaźnika i typu operacji. Nie jest to, zatem model pozwalający porównywać ze sobą poszczególne typy projektów pod względem skuteczności czy efektywności, ponieważ każdy z nich cechuje się odmiennymi rezultatami czy też dopuszczalnymi formami wsparcia. Zaprezentowane w raporcie miary zagregowane, zarówno dla poszczególnych wskaźników cząstkowych, jak i ogólna wartość wskaźnika zagregowanego dla projektów systemowych i konkursowych wskazują na pewną tendencję i kierunek, nie wskazują jednak bezpośredniej, mierzalnej różnicy pomiędzy poszczególnymi typami projektów czy trybami. Innymi słowy na podstawie wartości wskaźnika nie można stwierdzić, że np. projekty systemowe są o 15% lepsze od konkursowych. Wynika to w głównej mierze z przyjętego sposobu standaryzacji i normalizacji danych. Zaproponowany model analizy jest jednak dobrą podstawą do dociekania przyczyn, które powodują, iż w niektórych aspektach projekty Strona 22

23 systemowe lub konkursowe są lepsze. Wartości wskaźników cząstkowych, dla których podstawowym źródłem danych była analiza dokumentacji wybranych do badania projektów przedstawia Tabela 4. Pod uwagę wzięto realnie osiągnięte w projekcie wartości (dotyczące rezultatów i wydatków), nie zaś te zawarte we wnioskach o dofinasowanie, przez co wyniki odnoszą się do faktycznych osiągnięć projektów na koniec ich realizacji. Wartości wskaźników mieszczą się w przedziale od 0 do 1, gdzie wartość 1 jest przypisana najkorzystniejszej wartości danego wskaźnika, a 0 najmniej korzystnej. Kolorem jasnozielonym zaznaczono ten tryb wyboru dla którego wartość wskaźnika różni się nieznacznie, natomiast kolor ciemnozielony wskazuje na sytuację, w której różnica jest istotna (powyżej 10% wartości wskaźnika). Tabela 4. Wskaźniki cząstkowe I Typ operacji Efektywność kosztów obsługi Efektywność rezultatu Koszt jednostkowy Projekty konkursowe Projekty systemowe Projekty konkursowe Projekty systemowe Projekty konkursowe Projekty systemowe I 0,2450 0,2441 0,9913 0,9859 0,8492 0, II 0,3701 0,3733 0,9915 0,9916 0,8530 0, ,6190 1,0000 0,9289 0,9542 0,1247 0, I 11 0,3434 0,3833 0,7546 0, II 0,2471 0,0000 0,9396 0,9882 0,0000 0, ,1112 0,4754 0,9959 0,9894 0,9259 0, I 0,8611 0,6176 0,9967 0,9970 0,9425 0, II 0,0477 0,6912 0,9971 1,0000 0,9496 1, ,5072 0,6194 0,9723 0,9889 0,5407 0, ,1866 0,8733 0,8887 0,9202 0,9872 0, ,0550 0,7108 0,7785 0,7000 0,9554 0,9855 Średnia 0,3267 0,5444 0,9481 0,9515 0,7128 0,8362 Źródło: Badanie DR wniosków o dofinansowanie i wniosków o płatność, N=63. W ramach tej grupy wskaźników można zaobserwować istotną różnicę na korzyść projektów systemowych w zakresie efektywności kosztów obsługi projektu oraz kosztów jednostkowych przypadających na osobę objętą wsparciem. Nieznacznie lepsza jest również efektywność uzyskania pojedynczego rezultatu projektu. Co istotne, ta grupa wskaźników jest bezpośrednio powiązana z wydatkami ponoszonymi w projektach. Jak wskażą to dalsze rozdziały raportu, decydującym czynnikiem jest w tym przypadku wielkość projektów systemowych, co powoduje uzyskanie efektu skali, który pozytywnie wpływa na ich ogólną efektywność. Do pozafinansowych aspektów realizacji projektów odnoszą się wskaźniki, które opisuje Tabela 5. Można zaobserwować, iż analizowane projekty konkursowe cechuje większa trafność oraz wpływają one w większym stopniu na wzrost kompetencji ich 11 W ramach tego typu projektu nie było realizowane bezpośrednie wsparcie dla osób, w związku z czym nie jest możliwe wyliczenie wskaźników cząstkowych (poza efektywnością kosztów obsługi projektu i efektywnością rezultatu). Strona 23