Ocena systemu zarządzania i wdrażania Programu Operacyjnego Kapitał Ludzki w Województwie Małopolskim

Transkrypt

1 Ocena systemu zarządzania i wdrażania Programu Operacyjnego Kapitał Ludzki w Województwie Małopolskim Raport końcowy Zamawiający Zarząd Województwa Małopolskiego Wykonawca EPRD Biuro Polityki Gospodarczej i Rozwoju Regionalnego ul. Szkolna 36 A Kielce KIELCE 2008

2 Wykaz skrótów CATI - Computer Assisted Telephone Interview (Wywiad telefoniczny przez internet) CAWI - Computer Assisted Web Interview (Wywiad przeprowadzany techniką komputerową) EFS - Europejski Fundusz Społeczny FEM - Fundusze Europejskie w Małopolsce FGI - Focus Group Interview (Zogniskowane wywiady grupowe) IDI - Individual in-depth Interview (Indywidualne wywiady pogłębione) IP - Instytucja Pośrednicząca IP2 - Instytucja Pośrednicząca II stopnia IZ - Instytucja Zarządzająca KOP - Komisja Oceny Projektów MISTiA Małopolski Instytut Samorządu Terytorialnego i Administracji MRPO Małopolski Regionalny Program Operacyjny NSRO - Narodowe Strategiczne Ramy Odniesienia PAPI - Paper & Pencil Interview (Wywiady kwestionariuszowe) PI EFS Punkt Informacyjny EFS POKL - Program Operacyjny Kapitał Ludzki ROPS Regionalny Ośrodek Polityki Społecznej SWOT - analiza słabych i mocnych stron UM - Urząd Marszałkowski UMWM - Urząd Marszałkowski Województwa Małopolskiego WUP - Wojewódzki Urząd Pracy Raport końcowy 2

3 Spis treści 1. Streszczenie 4 2. Wprowadzenie Przedmiot badania Główne założenia i cele badania Opis okoliczności towarzyszących badaniu Metodologia badania Wyniki badań Obszar I Współpraca Instytucji Pośredniczącej (IP) z innymi podmiotami zaangażowanymi we wdrażanie komponentu regionalnego POKL a) struktury organizacyjne b) zasoby ludzkie c) komunikacja d) procedury Obszar II - Komunikacja i współpraca pomiędzy podmiotami zaangażowanymi we wdrażanie komponentu regionalnego POKL a Beneficjentami (Projektodawcami) 4.3. Analiza SWOT Wnioski i rekomendacje Aneksy 140 Raport końcowy 3

4 1. Streszczenie Przedmiotem badania ewaluacyjnego była analiza przyjętego systemu zarządzania i wdrażania Programu Operacyjnego Kapitał Ludzki (POKL) w Województwie Małopolskim. Przeprowadzona ewaluacja ma służyć doskonaleniu systemu realizacji zadań przypisanych IP i IP2 w ramach Programu. Główny cel badania ewaluacyjnego stanowiła ocena struktur i mechanizmów zarządzania i wdrażania komponentu regionalnego Programu Operacyjnego Kapitał Ludzki (POKL) pod kątem ich wpływu na przepływ informacji pomiędzy instytucjami zaangażowanymi we wdrażanie POKL oraz Beneficjentami (Projektodawcami) w Województwie Małopolskim, oraz wypracowanie rekomendacji i propozycji usprawnień w zakresie funkcjonalności i prawidłowości koordynacji zadań pomiędzy tymi instytucjami oraz w ich obrębie. Badanie prowadzone było w następującym zakresie: Obszar I - Współpraca Instytucji Pośredniczącej (IP) z innymi podmiotami zaangażowanymi we wdrażanie komponentu regionalnego POKL. Obszar ten obejmował następujące zagadnienia: a) struktury organizacyjne ocena trafności i skuteczności działań struktur organizacyjnych utworzonych w IP i IP2 oraz przygotowania tych instytucji do realizacji zadań procesu zarządzania i wdrażania priorytetów komponentu regionalnego POKL. b) zasoby ludzkie ocena funkcjonalności systemu zarządzania zasobami ludzkimi w IP oraz innych podmiotach zaangażowanych we wdrażanie POKL (komponent regionalny) w aspekcie realizowanych zadań. c) komunikacja - analiza skuteczności procesu komunikacji i współpracy osób i struktur w instytucjach zaangażowanych w zarządzanie i wdrażanie POKL. d) procedury - ocena adekwatności i skuteczności stosowanych procedur w procesie wdrażania POKL w regionie. Raport końcowy 4

5 Obszar II - Komunikacja i współpraca pomiędzy podmiotami zaangażowanymi we wdrażanie komponentu regionalnego POKL a Beneficjentami (Projektodawcami) Wykorzystane narzędzia badawcze dostosowane były do uzyskania jak najszerszych informacji, pozwalających na udzielenie odpowiedzi na postawione pytania badawcze z wyżej wskazanych obszarów tematycznych. Metodologia obejmowała: Analizę danych zastanych (Desk Research) Indywidualne wywiady pogłębione IDI (Individual in-depth Interview) z kluczowymi pracownikami IP oraz IP2 Wywiady kwestionariuszowe PAPI (Paper & Pencil Interview - face to face) z członkami KOP i z wybranymi przedstawicielami Beneficjentów Zogniskowane wywiady grupowe FGI (Focus Group Interview) z przedstawicielami IP, IP2 oraz z wybranymi przedstawicielami grupy Beneficjentów Ankietę telefoniczną CATI (Computer Assisted Telephone Interview) z pracownikami IP i IP2 Anonimowy wywiad internetowy CAWI (Computer Assisted Web Interview) z pracownikami IP i IP2 Analizę SWOT Dla oceny skuteczności i trafności działań struktur organizacyjnych IP oraz IP2 istotne zwłaszcza było sprawdzenie, czy podział zadań między nimi nie zawiera obszarów nie objętych kompetencjami żadnej z Instytucji, a także czy nie zachodzi zjawisko dublowania sie czynności. Badanie doprowadziło do konkluzji, że podział zadań pomiędzy IP a IP2 został trafnie dokonany, a przyjęty podział kompetencji jest jasny, czytelny i na ogół zrozumiały dla obu stron. Nie stwierdzono też dublowania się czynności pomiędzy Instytucjami, jak również nie zidentyfikowano obszarów niewykonywanych, a znajdujących się w zakresie obowiązków nałożonych przez Program. Wybór WUP jako IP2 uznano za zasadny, ponieważ posiada odpowiedni potencjał do wdrażania Programu. Stwierdzono w badaniu nierównowagę w przygotowaniu merytorycznym WUP odnośnie Priorytetów VI i VII (które tradycyjnie należały do obszarów oddziaływania WUP) z jednej strony i odnośnie Priorytetów VII i IX z drugiej (pomoc społeczna i edukacja, które są obszarami nowymi w praktyce WUP). Istniejące niedociągnięcia w tych dwu ostatnich obszarach są systematycznie niwelowane poprzez Raport końcowy 5

6 szkolenia pracowników oraz wizyty opiekunów projektów u beneficjentów. Służy temu także system praktyk odbywanych przez pracowników WUP w instytucjach merytorycznie odpowiedzialnych za prowadzenie spraw w poszczególnych obszarach problemowych. Dzięki takiej organizacji jednostek, z pewnością spodziewać się można skutecznego i efektywnego wdrażania komponentu regionalnego POKL. W przypadku podpunktu b) zasoby ludzkie, głównym wnioskiem było stwierdzenie znaczących problemów kadrowych w IP2, które w momencie badania odnoszą sie bardziej do sfery przekonań i deklaracji pracowników, ale w przyszłości mogą stać sie podstawą do decyzji o zmianie miejsca zatrudnienia. O ile w IP udało się stworzyć skuteczne mechanizmy małej fluktuacji kadr, to w IP2 zagrożenie odchodzeniem pracowników jest znaczące. Jak dowodzą badania i analizy, zarówno pracownicy obu instytucji (w większym stopniu dotyczy to IP2) jak i beneficjenci uważają, że aktualne zatrudnienie w przy wdrażaniu POKL jest nieadekwatne do nałożonych na IP oraz IP2 obowiązków. Pracownicy czują się przeciążeni pracą. Narzekają także na nierównomierne obciążenie pracą wszystkich zatrudnionych w zespołach zadaniowych, przy tym samym poziomie wynagrodzeń. Badania i analiza danych wskazują, że system motywacji, jaki funkcjonuje w obu instytucjach nie do końca został określony tak, aby był w pełni akceptowany przez pracowników oraz zachęcał do pozostania w urzędzie i efektywnej pracy. Więcej uwag w tym zakresie zgłaszają pracownicy WUP niż UM. W tym pierwszym przypadku tylko ok. 25% pracowników jest zadowolona z systemu motywacji, ok. 40% częściowo, zaś blisko 30% (co należy uznać za odsetek znaczący) deklaruje niezadowolenie. W zakresie komunikacji i współpracy osób i struktur Instytucji zaangażowanych we wdrażanie POKL nie stwierdzono zaniedbań w realizacji zadań. O sprawności decyduje jednak jak wykazały badania przede wszystkim czynnik ludzki, a nie walory przyjętego systemu komunikacji. Przepływ informacji w układzie poziomym, wewnątrz instytucji, gdzie ów czynnik odgrywa większą rolę i większa jest szansa rozwiązywania problemów poprzez kontakty nieformalne jest znacznie sprawniejszy i efektywniejszy niż w układzie pionowym. Warto poddać analizie fakt, czy w kontekście uwag zgłaszanych przez wielu rozmówców pod adresem drogi przepływu informacji, w sytuacji, gdy funkcjonuje jedna Instytucja Pośrednicząca II stopnia, nie byłoby celowym połączenie funkcji zarządczej z funkcją wdrażającą w jednej instytucji. Obecny system przepływu informacji można generalnie uznać za stabilny i funkcjonalny, jednakże należy pamiętać, że może on być niewystarczający w przypadku zwiększonego zakresu zadań w sytuacji, gdy przyjdzie realizować kolejne projekty, a zakończone trzeba będzie rozliczać i kontrolować. Raport końcowy 6

7 Przy zachowaniu stanu obecnego usprawnienia wymaga systemu komunikacji pionowej. Warto rozważyć uelastycznienie procedur poprzez poszukiwanie sposobów na skrócenie drogi formalnej obiegu dokumentów. W większym zakresie winny być włączone w ten system nowoczesne technologie ICT. Te - jak pokazują badania w obecnym stanie, nie mają zastosowania w pełnym zakresie możliwości technologicznych. Niezbędne jest czynienie starań, aby nadać właściwe ramy prawne i rangę przekazowi elektronicznemu, który w obecnym stanie traktowany jest, jako pomocniczy kanał komunikacji. W obszarze oceny procedur, największym problemem jest ich niejasność, nieczytelność i niezrozumiałość dla beneficjentów. W przypadku procedur odnoszących się do samego funkcjonowania Instytucji, niemających związku z beneficjentami, problemem nie jest nieczytelność, a raczej schematyczność i nieelastyczność. W przypadku procedur bezpośrednio dotyczących beneficjentów pilną potrzebą wydaje się opracowanie podręcznika dla beneficjentów. Jeśli nie uda się tego zrobić na szczeblu centralnym, celowym byłoby przy takim stopniu zainteresowania realizacją projektów opracować taki dla potrzeb regionalnych. W przypadku pracowników należy rozważyć, na ile procedury pozwalają im na odmienne tryby postępowania w sytuacjach nietypowych, a ważnych dla dobra projektu. Procedury nie powinny w uzasadnionych przypadkach stanowić uzasadnienia dla rezygnacji z podejmowania ryzyka i dla braku umiejętności rozstrzygania kwestii nietypowych. Może to być powodem dla realizacji przede wszystkim projektów stereotypowych proceduralnie bezpiecznych, a utrącać cenne inicjatywy, tylko dlatego, że trudno znaleźć dla nich właściwą ścieżkę postępowania. Dużym mankamentem i uciążliwością zarówno dla pracowników IP orz IP2, jak i dla beneficjentów są częste zmiany procedur, niska ich jakość w wielu miejscach, oderwanie od realiów, przez co nie ułatwiają, ale utrudniają proces realizacji Programu. Odnosi się to jednak przede wszystkim do oddziaływania IZ na proces wdrażania i zarządzania POKL. W przypadku II obszaru problemowego, czyli komunikacji z beneficjentami, zadaniem ewaluatora było uzyskanie odpowiedzi na trzy kluczowe pytania ewaluacyjne: W jakim stopniu doświadczenie w aplikowaniu o środki z poprzedniego okresu programowania wpływa na chęć oraz poprawność aplikowania w obecnym okresie ? W jakim stopniu system informacji i promocji wpływa na poprawność aplikowania o środki unijne? Raport końcowy 7

8 W jakim stopniu stały dostęp do informacji ma wpływ na aplikowanie o środki unijne? Oprócz pytań kluczowych, przyjęto konieczność uzyskania odpowiedzi na dwa pytania uzupełniające: Jaka była przyczyna odrzucenia wniosków o dofinansowanie w projektach pilotażowych? Jak Beneficjenci oceniają wiedzę oraz dostępność pracowników IP/IP2? Wpływ doświadczeń z poprzedniego okresu programowania można uznać za znaczący, zarówno w kwestii samej jakości i poprawności aplikowania, jak percepcji wdrażania i zarządzania POKL ze strony potencjalnych beneficjentów oraz wnioskodawców. Podmioty bez doświadczeń w aplikowaniu o środki unijne w poprzednim okresie programowania popełniają zwykle błędy związane z nieumiejętnością myślenia w kategoriach projektu. Duża ilość źle sformułowanych projektów, poczynając od definicji problemu, może stanowić zagrożenie dla efektywności, skuteczności i użyteczności wdrażania POKL. Zagrożenie dla efektywności pojawia sie zarówno w przypadku, gdy projekty źle sformułowane są realizowane (wówczas zagrożeniem jest znaczny odsetek projektów nieudanych), jak i wówczas, gdy restrykcyjna polityka IP2 powoduje, że zagrożone będzie pełne wydatkowanie alokacji na dany rok/priorytet. Oznacza to również zagrożenie dla realizacji celów Programu, czyli ograniczenie skuteczności. Sytuacja społecznej frustracji której pierwsze, nieznaczne objawy stwierdzono w ramach niniejszej ewaluacji może mieć wpływ na użyteczność Programu. Opisane ryzyka w największym stopniu dotyczą priorytetu 7 i 9 gdzie skupia sie największa liczba podmiotów niemających doświadczeń w aplikowaniu (samorządy, społeczności lokalne, ośrodki pomocy społecznej), a zarazem brak po stronie WUP doświadczeń we współpracy z tymi beneficjentami. Generalnie po stronie beneficjentów niemających wcześniejszych doświadczeń w aplikowaniu w większym stopniu występuje ryzyko frustracji wynikającej ze zderzenia rozbudzonych przez promocje POKL nadziei na pozyskanie środków z realnymi warunkami aplikowania. W tej sytuacji IP2 stoi wobec trudnego do rozstrzygnięcia dylematu: czy ograniczać dostęp do konkursów przy pomocy bardziej rygorystycznych kryteriów dostępu, czy też utrzymać lub tylko w niewielkim stopniu zaostrzyć obecną politykę i dążyć do poprawy wiedzy i umiejętności Beneficjentów oraz koordynacji promocji w taki sposób, by społecznym oczekiwaniom związanym z POKL towarzyszyła odpowiednia wiedza o możliwościach i warunkach wykorzystania dostępnych środków. Wybór wariantu wyłącznie Raport końcowy 8

9 restrykcyjnego i utrzymanie obecnej liberalnej polityki w równym stopniu stanowią zagrożenie dla trafności działań w ramach Programu. Należy bowiem stwierdzić w świetle wyników badań że system informacji i promocji POKL nie spełnia w chwili obecnej w stopniu wystarczającym założeń Planu Komunikacji POKL. Z uwagi na brak zagrożeń dla popytu na środki unijne nie stwarza to poważniejszych zagrożeń dla skuteczności wdrażania Programu rozumianej, jako wydatkowanie przeznaczonych na poszczególne Priorytety środków, obniża jednak jego ocenę w zakresie trafności/adekwatności oraz użyteczności. Ów trwały popyt na środki unijne, ma swoje źródło w tym, iż podmioty nie korzystające z nich są zagrożone wypadnięciem z rynku. Paradoksalnie jednak, choć kryterium efektywności nie było przewidziane do stosowania w tym obszarze (komunikacja z beneficjentami) ewaluatorzy pragną wskazać, że brak przejrzystości procesu oceny wniosków stanowi właśnie zagrożenie dla efektywności procesu zarządzania POKL. Duża ilość wniosków nieotrzymujących wymaganej punktacji oznacza duży nakład pracy KOP przy stosunkowo wolnym wyczerpywaniu sie alokacji na dany rok/priorytet. Jedną z przyczyn takiego stanu rzeczy jest właśnie brak koordynacji w zakresie komunikacji z beneficjentami. Niska jakość projektów w ocenie respondentów badania - będąca zagrożeniem dla skuteczności i użyteczności Programu, wynika z jednej strony z aktywnej promocji medialnej POKL, której przesłanie wypacza zasadnicze cele Programu, przedstawiając go głównie w kontekście pieniędzy do wykorzystania. Z drugiej strony promocja ta wywołuje gwałtowny ruch Beneficjentów, nie zawsze świadomych warunków pozyskania środków oraz konieczności wydatkowania ich zgodnie z celami Programu. Nakłada się na to brak skoordynowanej z promocją edukacji Beneficjentów. Te trzy czynniki razem stanowią zagrożenie dla skuteczności i użyteczności programu, przede wszystkim w związku z rozbudzeniem społecznych oczekiwań, które mogą prowadzić w następnych latach do skumulowania się frustracji związanych z nieudanymi projektami i z bezskutecznymi wysiłkami aplikowania o środki. Pozytywny wpływ na skuteczność Programu może mieć sprawny aparat analityczny, związany z IP2, który może dostarczać informacji zwrotnej o potrzebach i oczekiwaniach Beneficjentów. Aparat ten powinien być utrzymywany i rozwijany w miarę możliwości finansowych, przy wykorzystaniu środków nie tylko z pomocy technicznej, ale i w ramach Priorytetów POKL. W kwestii stałego dostępu do informacji stwierdzono, że problemu dla beneficjentów nie stanowią ograniczenia dostępu, a raczej przejrzystość procesu wdrażania POKL, która, Raport końcowy 9

10 niezależnie od stanu faktycznego, budzi ich wątpliwości, co wymaga podjęcia działań zmierzających do zmiany ich świadomości w tym zakresie. Zagrożeniem dla skuteczności i użyteczności Programu może być przede wszystkim jego percepcja jako mało przejrzystego, opartego na niejasnych kryteriach i zarządzanego przez ludzi, których kompetencje budzą wątpliwości beneficjentów. Wiąże sie to po części z negatywnymi doświadczeniami beneficjentów w aplikowaniu (zła jakość projektów wynikająca z braku przygotowania merytorycznego wnioskodawców), po części z komplikacją procedur, a po części z brakiem wystarczających działań IP2 w zakresie upowszechnienia wiedzy o procedurze kwalifikowania projektów i utrudnieniami w dostępie beneficjentów do uzasadnień ocen projektów. Podstawowym kierunkiem działania powinno być w tym przypadku zatem dążenie do uczynienia procesu wdrażania POKL jak najbardziej przejrzystym i czytelnym dla Beneficjentów w zakresie kwalifikacji projektów, co w chwili obecnej nie ma miejsca. Przejrzystość procesu wdrażania Programu jest jednym z kluczowych warunków jego użyteczności. Jeśli chodzi o ocenę wiedzy i dostępności pracowników IP2 - WUP generalnie postrzegany jest, jako instytucja przyjazna Beneficjentowi, choć dotyczy to przede wszystkim pracowników zatrudnionych przy bezpośredniej obsłudze Beneficjenta (nie chodzi tu tylko o informowanie). WUP postrzegany jest jako organizacja ucząca się nowej praktyki wspólnie z Beneficjentami. IP2 ma w chwili obecnej wizerunek raczej partnera, niż zarządzającego. Dla tego wizerunku istnieje jednak szereg zagrożeń wiążących się zarówno z brakiem wiedzy Beneficjentów, jak i czynnikami z pierwszego obszaru badawczego niniejszego projektu ewaluacyjnego, czyli z opisanymi już negatywnymi zjawiskami związanymi z komunikacją wewnętrzną, komunikacją między instytucjami, niedostatkami dokumentów programowych, zarządzaniem zasobami ludzkimi itp. W chwili obecnej wizerunek ten sprzyja użyteczności i skuteczności wdrażania Programu. Niemniej jednak, w sytuacji, gdy jest instytucją, z którą przede wszystkim styka sie Beneficjent, właśnie w WUP kumulują się wszystkie błędy i niedostatki Programu wynikające z polityki informacyjnej i promocyjnej. Oprócz pozytywnego, spersonalizowanego wizerunku WUP, postrzeganego przez pryzmat dobrych ocen pracowników zatrudnionych przy obsłudze, istnieje bowiem również instytucjonalny wizerunek WUP, który nie jest już tak korzystny. WUP jest dla Beneficjentów gestorem funduszy, których wydatkowanie wynika z niezrozumiałej dla nich często polityki: rządowej i samorządowej. W tym obszarze pojawiać się może i pojawia szereg pomówień i stereotypów, które w dłuższym okresie mogą stanowić zagrożenie dla skuteczności wdrażania Programu. Raport końcowy 10

11 Na podstawie wyników badania ewaluacyjnego wypracowano następujące rekomendacje dla podmiotów zaangażowanych w proces wdrażania i zarządzania POKL w woj. małopolskim: Poprawa jakości działań szkoleniowo-doradczych, kierowanych do potencjalnych Beneficjentów, polegająca przede wszystkim na zwiększeniu roli doradztwa indywidualnego i dłuższych form warsztatowych. Koordynacja działań informacyjnych WUP i polityki szkoleniowej głównych podmiotów (przede wszystkim ROEFS) przygotowujących Beneficjentów do aplikowania. Zwiększenie oferty szkoleń i doradztwa oraz jej promocja wśród potencjalnych Beneficjentów. Należy czynić starania nad usprawnieniem systemu komunikacji pionowej. Warto rozważyć uelastycznienie procedur poprzez poszukiwanie sposobów na skrócenie drogi formalnej obiegu dokumentów. W większym zakresie winny być włączone w ten system nowoczesne technologie ICT. Te - jak pokazują badania w obecnym stanie, nie mają zastosowania w zakresie możliwości technologicznych. Niezbędne jest czynienie starań, aby nadać właściwe ramy prawne i rangę przekazowi elektronicznemu, który w obecnym stanie traktowany jest, jako pomocniczy kanał komunikacji. Warto poddać analizie fakt, czy w kontekście uwag zgłaszanych przez wielu rozmówców pod adresem drogi przepływu informacji, w sytuacji, gdy funkcjonuje jedna Instytucja Pośrednicząca II stopnia, nie byłoby celowym połączenie funkcji zarządczej z funkcją wdrażającą w jednej instytucji. Podniesienie jakości strony internetowej POKL. Publikowanie na stronie Programu odpowiedzi na najczęściej powtarzające się pytania. Zmniejszenie rotacji pracowników w IP2. Zatrzymanie zatrudnionych i wykwalifikowanych pracowników poprzez odpowiedni system motywacyjny. Poprawa warunków lokalowych i wyposażenie stanowisk pracy w nowoczesny sprzęt ICT w IP2. Zatrudnienie dodatkowej kadry do oceny wniosków, oddelegowanie i zapewnienie członkom KOP odpowiednich warunków do oceny projektów. Zbyt szczegółowe, niejasne i sztywne procedury, częste ich zmiany powodują konieczność licznych konsultacji i interpretacji przepisów. Należy czynić starania o uelastycznienie procedur, zastosowanie języka bardziej zrozumiałego dla beneficjentów. W tym celu pomocnym rozwiązaniem mogłoby być opracowanie i wydanie Podręcznika dla Beneficjenta, o co upominają się Beneficjenci. Raport końcowy 11

12 Proponuje się zatrudnienie konsultantów z dziedziny pomocy społecznej i edukacji, a dla pracowników zaangażowanych w ocenę i wdrażanie projektów z tych dziedzin odbywanie praktyk i szkoleń merytorycznych z tych dziedzin. Przeorientowanie promocji i informacji w kierunku bardziej pogłębionego informowania Beneficjentów o warunkach pozyskiwania środków i celach Programu. Środkami może być: o edukacja mediów, czyli różnego typu formy (spotkania, seminaria itp.) informowania dziennikarzy o PO KL; o inspirowanie i wspieranie grup dziennikarzy zainteresowanych problematyką PO KL; o inspirowanie programów edukacyjnych i kampanii w mediach regionalnych. Z drugiej strony niezbędne jest szerokie i systematyczne pozyskiwanie informacji zwrotnej o percepcji promocji Programu oraz o ich potrzebach szkoleniowoinformacyjnych. Zaangażowany do tego może być aparat analityczno-badawczy WUP. Dla lepszej koordynacji działań wykonywanych przez instytucje zaangażowane w realizację komponentu regionalnego POKL (zarówno niekomercyjne jak i komercyjne), celowym jest odbywanie cyklicznych spotkań tych instytucji i zwiększenie kampanii informacyjnej o ich istnieniu. Raport końcowy 12

13 Summary The object of the evaluation was an analysis of the existing system of management and implementation of Operational Programme Human Capital (OPHC) in Malopolskie Voivodship. This evaluation is supposed to serve as a background to improve the way tasks of Intermediary Body and Intermediary Body 2 are carried out within the Programme. The main purpose of this assignment was the evaluation of structures and mechanisms of management and implementation of the regional component of Operational Programme Human Capital (OPHC) in terms of their influence on the information flow between the institutions involved in implementation of OPHC and Beneficiaries (Applicants) in Malopolskie Voivodship, as well as elaboration of recommendations and proposals for improvement of operativeness and appropriateness of task coordination between and within these institutions. The evaluation was conducted with the following scope: Area I Cooperation of Intermediary Body (IB) with other entities involved in implementation of the regional component of OPHC This area encompassed the following issues: a) organisational structures evaluation of relevance and effectiveness of the activities carried out by organisational structures established within IB and IB2 as well as of preparation of these institutions for realisation of tasks connected with management and implementation of the regional component of OPHC b) human resources evaluation of operativeness of the system of human resources management in IB and other entities involved in implementation of OPHC (regional component) in terms of realised tasks c) communication analysis of effectiveness of the communication process and cooperation of persons and structures within the institutions involved in management and implementation of OPHC d) procedures evaluation of relevance and effectiveness of procedures applied in the process of implementation of OPHC in the region Raport końcowy 13

14 Area II Communication and cooperation between the entities involved in implementation of the regional component of POKL and Beneficiaries (Applicants) The applied evaluation tools were tailored to obtain as much information as possible, enabling to answer the evaluation questions from the aforementioned thematic areas. The methodology encompassed: desk research Individual In-Depth Interview (IDI) with key persons of IB and IB2 Paper & Pencil Interview (PAPI) face to face, with the members of KOP and selected representatives of Beneficiaries Focus Group Interview (FGI) with representatives of IB, IB2 and selected representatives of Beneficiaries Computer Assisted Telephone Interview (CATI) with employees of IB and IB2 Computer Assisted Web Interview (CAWI) with employees of IB and IB2 SWOT analysis In order to evaluate the effectiveness and relevance of functioning of the IB and IB2 organisational structures it was vital to check if the division of tasks between them does not create areas not falling within the competences of any of these institutions, and also if there is no overlapping of activities. The research resulted in a conclusion that the division of tasks between IB and IB2 has been done in an appropriate manner and the adopted division of competences is clear, well-defined and in general understood by both sides. No overlapping of tasks within these institutions was noticed, as well as no areas falling within the responsibilities imposed by the Programme were neglected. A choice of WUP as an IB2 is justifiable, because it possesses a proper potential to implement the Programme. It has been found that there is a difference in a level of technical knowledge of WUP regarding on one hand Priorities VI and VII (which were initially within the scope of WUP s activity) and on the other hand Priorities VII and IX (social care and education which are new areas in WUP s practice). The existing shortcomings in these two areas are being systematically eliminated as a result of training of employees and visits of project supervisors to beneficiaries. Thanks to such organization of units, one can expect an effective and efficient implementation of regional OPHC. In point b) human resources, the main conclusion was an existence of considerable IB2 staff problems which at the time of research referred more to personal convictions and Raport końcowy 14

15 declarations, but in future might be a basis for a decision to change jobs. Whereas in IB effective mechanisms aiming at lower staff turnover were created, IB2 still faces a considerable risk of personnel resigning from their posts. Research and analyses have showed that the employees of both institutions (more in case of IB2) and beneficiaries believe that the present number of staff dealing with implementation of OPHC is inadequate to responsibilities imposed on IB and IB2. The employees feel that they are overloaded with work. They also complain about uneven division of workload among the personnel employed in the task teams while their remuneration is not differentiated respectively. Research and analysis of data shows that the system of motivation functioning in both institutions has not been defined entirely in a way to be accepted by the personnel or encourage them to remain in their current job and work efficiently. More remarks in this regard were given by the personnel of WUP that UM. In case of WUP, only about 25% of staff are satisfied with the system of motivation, around 40% is satisfied partially, and almost 30% (which is a considerable percentage) declares to be unsatisfied. What regards communication and cooperation of persons and structures of Institutions involved in implementation of OPHC, no negligence in realisation of tasks was found. The level of efficiency is influenced, as shown by research, above all by human factor and not by the values of adopted system of communication. The horizontal information flow within the institutions where this factor plays a greater role and there is a better chance to solve problems through informal contacts, is much more efficient and effective than the vertical one. It is worth analysing whether, bearing in mind the remarks of the interviewees about the information flow as well as the existence of only one Intermediary Body 2, it would be useful to join the functions of management and implementation in one institution. The present system of information flow can generally be regarded as stable and functional, however one should remember that it can be insufficient in case of increased scope of tasks connected with implementation of new projects and financial clearing and auditing of the finalised ones. Some efforts should be made to improve the system of vertical communication. One should consider introducing better flexibility of procedures by shortening a formal way of circulation of documents. The involvement of modern ICT technologies is needed. However, necessary measures should be taken to adopt a proper legal framework of electronic transfer which at present is treated as an auxiliary communication channel. Raport końcowy 15

16 As far as the assessment of procedures is concerned, the biggest problem is their vagueness and unintelligibility for beneficiaries. In case of procedures pertaining to functioning of Institutions itself, without any connection to beneficiaries, the problem is not their unintelligibility, but rather the fact that they are conventional and lack flexibility. In case of procedures directly pertaining to beneficiaries it is necessary to develop a Practical Guide for Beneficiaries. If it cannot be done at a central level, it would be proper to prepare such a manual for regional needs, considering large interest in implementing various projects. In case of personnel it has to be considered if the procedures allow them to apply various codes of conduct in untypical but important situations. The procedures should not constitute a justification for backing out from taking risks and for the lack of skills to resolve untypical situations. This can be a reason for carrying out above all stereotypical procedurally safe projects, and cancelling valuable initiatives only because it is difficult to apply an appropriate code of conduct for them. Frequent changes of procedures, low quality of some of them and isolation from real conditions are serious drawbacks and inconveniences for all people involved. Thus they hinder the implementation of the Programme. It pertains above all to influence of IZ on the process of implementation and management OPHC. Within II thematic area, that is communication with the beneficiaries, the evaluator s task was to obtain answers to two key questions: To what extent experience drawn from previous programming period relates to the number and correctness of applications submitted for the years ? How does the information and publicity system correlate to the correctness of applications? What is the interdependency between constant access to information and the volume of applications received? Apart from the above key questions, two complementary issues had to be addressed: What were the reasons for turning down applications for pilotage projects? What is the opinion on competency and availability of IB2 personnel? Raport końcowy 16

17 Experiences drawn from previous programming period can be considered as valuable, both in terms of quality and correctness of applications, and with reference to implementation and management of OPHC as viewed by the Beneficiaries and applicants. Entities with no experience in applying for EU funds in the previous programming period make mistakes related to their inability to employ project-oriented approach. A big number of wrongly formulated projects with inappropriately defined problem might jeopardize effectiveness, efficiency and usefulness of OPHC implementation. Effectiveness might be diminished when wrongly formulated projects are being realized (resulting in a considerable percentage of faulty projects) as well as when restrictive policy imposed by IB2 has a negative influence of the amount of funds allocated to a given year/priority. It may pose a risk to the realization of Programme s objectives, that is insufficient efficiency. Situation when applicants experience frustration whose first symptoms could be observed within the framework of this evaluation might have a negative effect on the usefulness of the Programme. Such risks concern priorities 7 and 9 with the biggest number of entities that are not familiar with applying for EU funds (self-governments, local communities, social support centers) Voivodeship Labour Offices lack practice in cooperating with these Beneficiaries. It has been observed that those Beneficiaries who lack previous experience in applying for EU funds, are more exposed to frustration generated by the dissonance between what they expect to receive within the framework of OPHC and the complexity of the application to be submitted. Thus IB2 has to confront a serious dilemma: whether to limit the accessibility to calls for proposals through adoption of more rigorous criteria, or to keep/tighten slightly current policy so that knowledge and skills of the Beneficiaries are improved and awareness rising actions are coordinated in such a way that social expectations towards OPHC are backed up with sufficient information on possibilities and conditions of resources that can be used. Choosing either more restrictive policy or keep a liberal approach pose equal risk to accuracy/pertinence of activities undertaken within the framework of the Programme. In the light of the research results it should be stated that OPHC information and publicity system does not fully conform to the guidelines set out in the OPHC Communication Plan. Since there is a perpetual demand for EU funds, the efficiency in Programme implementation, that is spending funds allocated to respective priorities, is not threatened. However, it affects appraisal of the Programme in terms of accuracy/adequacy and usefulness. The demand for Raport końcowy 17

18 EU funds originates from the conviction that the entities that do not make use of the funds might lose their position on the market. Paradoxally, although the efficiency criterion was not expected to be applied in this area (communication with the beneficiaries) the evaluators would like to point to the fact that the lack of transparency in the evaluation process of applications might affect the OPHC management process. A considerable amount of applications that do not score high enough involves a great amount of work performed by KOP and postponed spending of funds allocated for a given year/priority. Defective coordination of communication with beneficiaries might result in the above situation. Poor quality of projects which are being implemented might have a negative impact on the efficiency of realization of Programme s objectives. Poor quality of projects as viewed by the interviewees - being a threat to efficiency and usefulness of the Programme, on one hand results from presence of OPHC in the media, which puts emphasis mainly on the financial aspect of the Programme. On the other hand these aggressive promotional activities lead to the situation where Beneficiaries are not fully aware of the conditions they have to fulfill to apply for the EU funds and the necessity to disburse the resources in accordance to the Programme s objectives. Furthermore, these promotional activities are not accompanied by proper educative measures. These three factors may threaten efficiency and usefulness of the Programme due to growing social expectations that may lead in turn to frustration related to faulty projects and ineffectual applications. A capable analytical system related to IB2, providing feedback on needs and expectations of the Beneficiaries might have a positive impact on the Programme s efficiency. Such system should be maintained and developed with the available financial resources not only from technical assistance but also within OHPC Priorities. What concerns information availability, it has been observed that limited access to information is not considered to be problematic what gives rise to doubts among the Beneficiaries is insufficient transparency of the OPHC implementation process. In that respect actions should be taken aiming to influence Beneficiaries perception of the Programme. It is unlikely that there will be a collapse in demand for OPHC resources, what should be addressed is the possibility that the Programme can be perceived as unclear, based on vague criteria and managed by people whose competencies are doubtful. It is related to some extent to negative experience the Beneficiaries have with applications (poor quality of projects Raport końcowy 18

19 resulting from insufficient technical knowledge) and complicated procedures, as well as their limited access to evaluation procedures and results. Of utmost importance is to make the OPHC implementation process as transparent and comprehensive as possible thus providing Beneficiaries with coherent application criteria. Transparency of the OPHC implementation process is essential to achieve high efficiency. An overall efficiency is not seriously threatened due to a constant demand for EU funds, resulting from the conviction that entities that do not make use of the funds are likely to be excluded from the market. Paradoxically, although the effectiveness criterion was not envisaged to be applied to this area the evaluators would like to point to the fact that the lack of transparency poses a risk to the effective management of OPHC. A considerable amount of applications that do not score high enough involves a great amount of work performed by KOP and postponed spending of funds allocated for a given year/priority. When it comes to appraisal of knowledge and availability of IB2 - VLO is viewed as a Beneficiary-friendly institution, although this refers to employees who have direct contact with Beneficiaries (where not only information provision is requested). VLO is viewed as an institution that is getting acquainted with a new practice along with the Beneficiaries. IB2 is treated more as a partner than a managing body. This positive perception might be eroded by insufficiently educated Baneficiaries, as well as by different factors from the first research area of this evaluation project listed above: faulty internal communication, communication between institutions, deficient programming documents, HR management etc. The current image of the VLO helps better usefulness and efficiency of the Programme s implementation. Being a first-contact institution for Beneficiaries, it often cumulates all the errors and deficiencies of the Programme resulting from imperfect information and publicity policy. Besides this positive personalised perception of VLO, achieved through an exemplary customer service, there is also an institutionalised aspect of the VLO that is not so favourable. Beneficiaries consider VLO as a distributor of funds which are spent according to somehow vague governmental and self-governmental policy. This gives rise to a number of false accusations and stereotypes that might affect the efficiency of the Programme s implementation in the long run. Raport końcowy 19

20 The following recommendations have been elaborated for the entities engaged in the OPHC implementation and management process in małopolskie voivodeship: Improved quality of training and advisory services targeted at potential Beneficiaries, achieved through more emphasis put on individual advisory services and longer workshops. Better coordination of VLO information activities and training policy of main entities (ESF Regional Office) responsible for acquainting Beneficiaries with application procedures. Broader range of training and advisory services and their improved publicity among potential Beneficiaries. More emphasis should be put on improved effectiveness of vertical communication system. More flexible procedures should be introduced aimed to make circulation of documents shorter. It is advisable to employ modern ICT technologies to improve the communication system. However, for the time being they cannot be applied due to insufficient technological facilities. It is of utmost importance to grant all the necessary legal and formal frames to e-transfer of data, since it is treated only as an auxiliary channel of information. Since many interviewees had remarks related to the flow of information, the possibility of uniting managerial and implementing function in one institution, namely IB2, should be analysed. Improved quality of OPHC website, introduction and update of FAQs section. Lower turn-over of IB2 highly qualified employees due to introduction of motivational system. Better housing conditions and IB2 offices equipped with modern ICT facilities. Additional personnel hired to deal with checklists/appraisal of applications so that regular KOP employees can devote their full time and attention to evaluation of projects. Procedures that are too detailed, unclear and inflexible and their frequent alterations lead to numerous consultations and reinterpretations of legal regulations. Procedures should be more flexible, the langue simplified and Beneficiary-friendly. It might be a good idea to have a Practical Guide for Beneficiaries prepared and published. It is advisable to hire experts in social assistance and education, and the personnel engaged in evaluation and implementation of projects should be given proper training in these subjects. Raport końcowy 20