Autorzy raportu: Jerzy Kosanowski Milena Maj Krzysztof Materek Rafał Stawiarz

Transkrypt

1 Urząd Marszałkowski Województwa Lubuskiego Analiza systemu zarządzania, wdrażania i kontroli Lubuskiego Regionalnego Programu Operacyjnego na lata RAPORT KOŃCOWY Autorzy raportu: Jerzy Kosanowski Milena Maj Krzysztof Materek Rafał Stawiarz Nazwa i adres wykonawcy: EPRD Biuro Polityki Gospodarczej i Rozwoju Regionalnego Sp. z o.o Kielce, ul. Szkolna 36A Tel: Fax: badania@eprd.pl KIELCE, lipiec 2010

2 Wyjaśnienie skrótów CAWI CATI DFR DF DP FGI IDI IP II IPOC IZ LRPO PT SKW SRK SWOT UMWL WE WFOŚiGW ZWL - (Computer Assisted Web Interview) - wywiady komputerowe - (Computer Assisted Telephone Interwiew) - wywiady telefoniczne - Departament Lubuskiego Regionalnego Programu Operacyjnego - Departament Finansów - Departament Organizacyjno - Prawny - (Focus Group Interview) zogniskowane wywiady grupowe - (Individual in-depth Interview) - indywidualne wywiady pogłębione - Instytucja Pośrednicząca II stopnia - Instytucja Pośrednicząca w Certyfikacji (Lubuski Urząd Wojewódzki) - Instytucja Zarządzająca - Lubuski Regionalny Program Operacyjny - Pomoc Techniczna - System Komunikacji Wewnętrznej - Strategia Rozwoju Kraju - Analiza mocnych i słabych stron, szans i zagrożeń - Urząd Marszałkowski Województwa Lubuskiego - Wspólnota Europejska - Wojewódzki Fundusz Ochrony Środowiska i Gospodarki Wodnej - Zarząd Województwa Lubuskiego 2

3 Spis treści 1. Streszczenie... 4 Obszar 1. Ocena funkcjonowania instytucji wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO Obszar 2. Ocena adekwatności, przejrzystości i funkcjonalności procedur regulujących procesy zarządzania, wdrażania i kontroli LRPO Obszar 3. Ocena zasobów ludzkich wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO Obszar 4. Ocena przepływu informacji w ramach zarządzania, wdrażania i kontroli LRPO Obszar 5. Ocena zasobów materialnych i niematerialnych w odniesieniu do funkcji i zadań realizowanych przez instytucje wchodzące w skład systemu zarządzania, wdrażania i kontroli LRPO Obszar 6. Ocena systemu przepływów finansowych w ramach LRPO Wprowadzenie Metodologia i źródła informacji wykorzystanych w badaniu Metodologia badania Źródła informacji wykorzystane w badaniu Opis wyników ewaluacji, ich analiza i interpretacja Ocena funkcjonowania instytucji wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO Ocena adekwatności, przejrzystości i funkcjonalności procedur regulujących procesy zarządzania, wdrażania i kontroli LRPO Ocena zasobów ludzkich wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO Ocena przepływu informacji w ramach zarządzania, wdrażania i kontroli LRPO Ocena zasobów materialnych i niematerialnych w odniesieniu do funkcji i zadań realizowanych przez instytucje wchodzące w skład systemu zarządzania, wdrażania i kontroli LRPO Ocena systemu przepływów finansowych w ramach LRPO Wnioski i rekomendacje końcowe Aneksy

4 1. Streszczenie Przedmiotem badania ewaluacyjnego było dokonanie Analizy systemu zarządzania, wdrażania i kontroli Lubuskiego Regionalnego Programu Operacyjnego na lata Streszczenie Celem głównym badania była ocena funkcjonowania systemu zarządzania, wdrażania i kontroli Lubuskiego Regionalnego Programu Operacyjnego na lata , identyfikacja oraz analiza barier i problemów organizacyjnych związanych z funkcjonowaniem systemu oraz zaproponowanie sposobów zwiększenia jego skuteczności i efektywności. W celu osiągnięcia założonego celu, zakres badania podzielono na sześć podstawowych obszarów badawczych: 1. Ocena funkcjonowania instytucji wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO. 2. Ocena adekwatności, przejrzystości i funkcjonalności procedur regulujących procesy zarządzania, wdrażania i kontroli LRPO. 3. Ocena zasobów ludzkich wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO (w tym: stan i fluktuacja zatrudnienia, jakość kadr przygotowanie merytoryczne i kwalifikacje pracowników, system motywacyjny i szkoleniowy). 4. Ocena przepływu informacji w ramach zarządzania, wdrażania i kontroli LRPO. 5. Ocena zasobów materialnych i niematerialnych w odniesieniu do funkcji i zadań realizowanych przez instytucje wchodzące w skład systemu zarządzania, wdrażania i kontroli LRPO. 6. Ocena systemu przepływów finansowych w ramach LRPO. W niniejszym badaniu wykorzystano wiele, wzajemnie uzupełniających się metod i technik badawczych zarówno jakościowych jak i ilościowych, wśród nich: 1. Analiza danych zastanych - Desk research, 2. Anonimowy wywiad internetowy CAWI, 3. Indywidualne wywiady pogłębione IDI, 4. Zogniskowane wywiady grupowe FGI, 5. Analiza SWOT, 6. Obserwacja terenowa, 7. Studium przypadku Case study, 8. Anonimowa ankieta telefoniczna CATI, 9. Burza mózgów, 10. Analiza ścieżki krytycznej, 11. Drzewo problemów, 12. Analizy statystyczne, 13. Warsztat ewaluacyjny. 4

5 Po dokładnym zbadaniu, przeanalizowaniu i opracowaniu wyników badania, sformułowane zostały następujące wnioski w poszczególnych obszarach problemowych: Obszar 1. Ocena funkcjonowania instytucji wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO. Badania ewaluacyjne dowiodły, że obecna struktura organizacyjna i instytucjonalna systemu zarządzania, wdrażania i kontroli LRPO jest optymalna, odpowiada wymogom i potrzebom programowym, oraz zabezpiecza realizację wszystkich zadań, przez co gwarantuje skuteczne i efektywne wykonywanie nałożonych na te instytucje obowiązków. Funkcjonowanie Departamentu LRPO w strukturach UMWL nie jest najlepszym rozwiązaniem gdyż specyfika funkcjonowania DFR różni się od innych Departamentów, a w systemie zarządzania Urzędem wszystkich traktuje się jednakowo. LRPO pracuje zadaniowo, a jego specyfika bardziej jest zbliżona do funkcjonowaniu przedsiębiorstw, stąd sposób podejmowania decyzji w stosunku do LRPO powinien być odmienny od klasycznego podejścia, takiego jak w stosunku do pozostałych struktur Urzędu. Celowym byłoby wydzielenie autonomicznej komórki ze struktur UMWL, do celów LRPO, co pozwoliłoby ominąć szereg problemów, skrócić ścieżki decyzyjne, które dotychczas mają miejsce. Zarząd Województwa w takim układzie pełniłby wówczas funkcje koordynujące i nadzorujące. Podział kompetencji i zadań między instytucjami zaangażowanymi w zarządzanie, wdrażanie i kontrolę Programu jest właściwie rozłożony, jasno i czytelnie opracowany, nie dublujący się zakresem. Zapewnia efektywne i skuteczne realizowanie wszystkich zadań. Niemniej jednak mankamentem tego podziału jest brak pełnej odpowiedzialności IP II za wdrażany Priorytet 3. Nie stwierdza się dublowania wykonywanych zadań pomiędzy poszczególnymi komórkami UMWL zaangażowanymi we wdrażanie LRPO. Aktualny podział kompetencji między komórkami IZ jest trafny i zapewnia skuteczne i efektywne wykonywanie wszystkich zadań. W badaniach nie znajduje się obszarów, w których kompetencje nie byłyby dla nikogo przydzielone. W obszarze funkcjonowania instytucjonalnego LRPO, na wysoką ocenę zasługuje wewnętrzny system kontrolny wszystkich procesów, podejmowanych i prowadzonych przez poszczególnych pracowników i komórki. System ten rozpoczyna się na każdym stanowisku pracy, na którym każdy z pracowników musi kontrolować wykonywanie swoich obowiązków zgodnie z prawem i obowiązującymi procedurami, poprzez poszczególne osoby funkcyjne w łańcuchu zarządzania oraz komórki kontrolne wewnątrz UMWL, a kończy się na kontrolach zewnętrznych dokonywanych przez uprawnione podmioty. Podczas badania dużo krytycznych uwag kierowanych było w stronę Lokalnego Systemu Informatycznego. System ten w dotychczasowym stanie nie jest w pełni funkcjonalny, przez co jest mało użyteczny dla potrzeb zarządzania i wdrażania. Obecnie system używany jest przede wszystkim do gromadzenia danych, nie zaś do przetwarzania zgromadzonych informacji, generowania niezbędnych raportów, czy realizacji projektów. Stan ten wymusza niejako potrzebę tworzenia dodatkowych systemów, czy baz danych dla potrzeb wykonywania bieżących działań operacyjnych. Z tego względu zbudowano System Komunikacji Wewnętrznej, oraz bazy danych w każdym z wydziałów IZ i IP II. Warunkiem poprawnego funkcjonowania LSI jest zapewnienie dodatkowych środków finansowych na ciągłe doskonalenie, wprowadzanie dodatkowych modułów na miarę bieżących potrzeb i okoliczności. Aby system był w pełni użyteczny, należy ostatecznie ustalić zakres wprowadzanych danych oraz rodzaje i zakres raportów, jakie mogłyby być z niego generowane. Na obecnym etapie, IZ jest zaskakiwana rodzajami raportów stąd trzeba generować dane z różnych baz. Streszczenie 5

6 Streszczenie Obszar 2. Ocena adekwatności, przejrzystości i funkcjonalności procedur regulujących procesy zarządzania, wdrażania i kontroli LRPO. Od początku okresu wdrażania Programu procedury ulegały ciągłym zmianom. W okresie prowadzenia niniejszej ewaluacji obowiązuje 10 wersja Podręcznika Procedur IZ z 26 stycznia 2010 r. Żadna zmiana - jak dowodzą badania - nie spowodowała znaczących opóźnień w realizacji Programu. Zmiany procedur dokonywane są głównie na skutek zmian prawnych, zmian wytycznych MRR, zaleceń organów kontrolujących, ale także w wyniku potrzeb i doświadczeń wynikających z bieżącej działalności IZ i IP II. Wszelkie zmiany dokonywane były pod kątem korzyści zarówno dla Beneficjentów jak i instytucji uczestniczących w całym łańcuchu zarządzania, wdrażania i kontroli, z jednoczesnym zachowaniem potrzeby przestrzegania prawa i zasad określonych przez instytucje nadzorujące. W opinii większości badanych zmiany procedur są potrzebne, gdyż każda zmiana przyczynia się do poprawy jakości i usprawnienia procesu wdrażania, zarówno dla Beneficjentów jak i pracowników instytucji odpowiedzialnych za zarządzanie, wdrażanie i kontrolę Programu. Częstotliwość dokonywanych zmian w procedurach uznać należy za optymalną. Zarówno opracowywanie procedur, jak i dokonywanie ich zmian, dokonywane jest przez pracowników IZ i IP II, którzy mają obowiązek wykonywania także innych obowiązków służbowych. Do wykonywania tych czynności angażowana jest ponad połowa pracowników. Dla ok. połowy z nich wykonywanie obowiązku dokonywania zmian w procedurach, powoduje dodatkowe komplikacje w wykonywaniu innych obowiązków zawodowych. Ok. 1/5 badanych uznaje, że zmiany w procedurach tworzą bariery/problemy we wdrażaniu Programu, podając konkretne przykłady, które wymagają dalszych analiz dla potwierdzenia zasadności ich podnoszenia. Pracownicy obu instytucji powinni dołożyć większych starań i zaangażowania w bieżącym zgłaszaniu zapotrzebowania na dokonywanie zmian w procedurach. Badania ilościowe jak i jakościowe dowodzą, że procedury wykorzystywane w zarządzaniu, wdrażaniu i kontroli Programu są jasne, czytelne i zrozumiałe zarówno dla pracowników jak i dla większości Beneficjentów. Na temat stopnia elastyczności procedur istnieją bardzo duże rozbieżności w opiniach badanych osób. Mierząc globalną ocenę elastyczności procedur średnią ważoną, wyrazić ją można oceną dostateczną, co uznać należy za ocenę złotego środka, która potwierdza opinię jednego z rozmówców, że...należy je [procedury] uelastyczniać tam gdzie to jest możliwe, natomiast uszczegóławiać na tyle ile to jest niezbędne. Po zbadaniu wszystkich dokumentów operacyjnych i proceduralnych opisujących system zarządzania, wdrażania i kontroli LRPO stwierdzić należy, że są one zgodne z przepisami krajowymi i wspólnotowymi. Badania nie potwierdzają przypadków naruszeń procedur, czego dowodem są pozytywne wyniki audytów i kontroli zewnętrznych. Przestrzeganie realizacji procedur podlega wielostopniowemu nadzorowi. W pierwszej kolejności każdy pracownik jest zobligowany do poznania i przestrzegania procedur na swoim stanowisku. Następnie nadzorem na przestrzeganiem procedur zajmuje się kierownictwo wydziałów, dyrekcja. Ostatnim etapem omawianego procesu są kontrole wewnętrzne i zewnętrzne, wg opracowanego i funkcjonującego systemu kontroli. W systemie proceduralnym występują tzw. wąskie gardła, które winny być poddane dodatkowej analizie przez zespól kierowniczy IZ/IP II. Na obecną chwilę realizacji Programu, procedury są opracowane w sposób pozwalający na sprawne wdrażanie Programu. Badania nie potwierdzają potrzeby dokonywania zmian procedur. 6

7 Obszar 3. Ocena zasobów ludzkich wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO. W ramach całego Departamentu DFR liczba pracowników jest adekwatna do potrzeb. Problem dotyczy nierównomiernego obciążenia pracowników niektórych wydziałów w pewnych okresach wdrażania Programu. Skutecznym rozwiązaniem jest wypracowanie stałego mechanizmu okresowego przesuwania pracowników ze stanowisk mniej obciążonych obowiązkami w danym okresie na stanowiska bardziej obciążone. W IP II stan zatrudnienia także jest adekwatny do potrzeb. W IP II w zasadzie fluktuacja kadr nie ma miejsca, istnieje stabilność kadry zaangażowanej w obsługę LRPO. Z analizy stanu liczbowego pracowników IZ wynika, że na 103 osoby, które zatrudnione zostały w Departamencie w latach , odeszło z pracy 27 (26% osób zatrudnionych w latach ). Z roku na rok jest to tendencja malejąca, niemniej jednak z dalszej analizy wynika, że w przyszłości (powyżej 3 miesięcy) z zamiarem odejścia z Departamentu nosi się 21% badanych. Może być to zjawiskiem bardzo groźnym, które będzie miało negatywny wpływ na efektywność pracy Departamentu. Podstawową przyczyną takich decyzji jest przede wszystkim niski poziom wynagrodzeń. System wynagrodzeń Departamentu LRPO kształtowany jest na ogólnych zasadach przyjętych w regulaminie wynagradzania dla całego Urzędu Marszałkowskiego Województwa Lubuskiego. Nie uwzględnia się w nim specyfiki działania DFR, oraz źródła finansowania wynagrodzeń pracowników, które nie obciąża budżetu województwa a pochodzi ze środków Pomocy Technicznej przewidzianych na realizację całego Programu. Jest to główny problem niezadowolenia pracowników z systemu motywacyjnego, który jest nieadekwatny do zakresu wykonywanych zadań. W IZ płacowy system motywacyjny praktycznie nie funkcjonuje. W IP II system ten nie jest problemem ponieważ instytucja ta funkcjonuje poza strukturami UMWL, przez co może mieć wpływ na kształt płacowego systemu motywacyjnego. Brak tego rodzaju rozwiązania systemowego znacząco wpływa na wykonywanie obowiązków służbowych. Pracownicy IZ i IPII negatywnie ocenili pozapłacowy system motywacyjny, który w szczególności w IZ nie ma zastosowania. Przeprowadzone badanie dowodzi, że w IZ nie funkcjonuje system szkoleń. Tworzony jest plan szkoleń na początku każdego roku budżetowego, jednakże nie jest on w pełni realizowany. Pracownicy korzystają ze szkoleń w sposób doraźny, ponieważ najczęstsze potrzeby szkoleniowe wynikają ze zmian w przepisach i zasadach wdrażania Programu. W IP II ten problem w zasadzie nie występuje. Jeśli tylko pozwala na to czas, każdy z pracowników może korzystać z różnych form kształcenia (szkolenia, kursy, warsztaty, studia podyplomowe). Lista zapotrzebowania na formy wsparcia w ramach systemu szkoleń znajduje się rozdziale dotyczącym zasobów ludzkich. Posiadane przez pracowników IZ i IP II kwalifikacje i umiejętności są adekwatne do wykonywanych zadań w ramach przydzielonych im obowiązków. Nowozatrudnieni pracownicy szybko adaptują się do nowych obowiązków dzięki samokształceniu, udziałowi w wewnętrznych szkoleniach oraz pomocy starszych stażem pracowników. Przygotowanie merytoryczne pracowników obu instytucji zostało pozytywnie ocenione przez Beneficjentów. Funkcjonujący w UMWL system naboru pracowników sprawdza się w praktyce pozwala na wybór pracowników dysponujących odpowiednią wiedzą i kwalifikacjami niezbędnymi do prawidłowej realizacji zadań na poszczególnych stanowiskach. Streszczenie 7

8 Obszar 4. Ocena przepływu informacji w ramach zarządzania, wdrażania i kontroli LRPO. Streszczenie Analiza wyników badań jakościowych, uzyskanych dzięki przeprowadzonym wywiadom indywidualnym wskazuje, że w obu instytucjach nie występują problemy związane z dostępem do informacji i dokumentów koniecznych do sprawnej realizacji powierzonych zadań. W przepływie informacji na linii kadra zarządzająca kadra kierownicza pracownicy, nie występują znaczące utrudnienia. Dobrze i sprawnie funkcjonują w tym zakresie wszelkie możliwe do wykorzystania kanały komunikacji. Podczas prowadzonych badań wiele krytycznych uwag kierowanych było w stronę systemu obiegu dokumentów. Przepływ dokumentów wewnątrz DFR oraz między DFR a IP II przebiega bez większych zakłóceń. Z wypowiedzi respondentów wynika, że niedogodności w przekazywaniu dokumentów pojawiają się pomiędzy DFR a innymi komórkami UMWL. Ścieżka przepływu dokumentów wydłuża się z uwagi na mocno rozbudowany układ hierarchiczny przyjęty w UMWL. Obieg ten nie jest wspomagany systemem elektronicznym. Bezpośrednia komunikacja między IZ a IP II została określona jako niezadowalająca przez pracowników obu instytucji. Należy podkreślić, że bardziej sceptycznie w tej kwestii wypowiadają się pracownicy IP II. Właściwa komunikacja i współpraca pomiędzy instytucjami zaangażowanymi we wdrażanie LRPO z Beneficjentami jest warunkiem złożenia poprawnego wniosku, a co za tym idzie skutecznej aplikacji. Skuteczna aplikacja o środki jest z kolei warunkiem sprawnego wdrażania Programu. Dość wysoko została oceniona przez Beneficjentów współpraca i wymiana informacji między nimi a instytucjami wdrażającymi i to zarówno na etapie aplikowania jak i realizacji projektów. Beneficjenci uznali internet za najbardziej użyteczne źródło informacji. Pozytywie ocenione zostały również możliwości korzystania z bezpośrednich konsultacji i spotkań informacyjnych. Z uwagi na powyższe należy dokładać wszelkich starań, aby utrzymać dobrą jakość informacji przekazywanych Beneficjentom poprzez wskazane przez nich kanały informacyjne. Niezwykle skutecznym sposobem wymiany informacji dla pracowników IZ i IP II są spotkania informacyjne. Obie instytucje powinny w sposób szczególny zwracać uwagę na częstotliwość tychże spotkań i postarać się o to, aby stały się one cykliczne. Należy zwrócić uwagę na dużą skuteczność kontaktów nieformalnych w komunikacji między pracownikami. Budowanie więzi nieformalnych między pracownikami ma duże znaczenie dla jakości procesu komunikacji. Obie instytucje powinny dołożyć wszelkich starań żeby jeszcze bardziej usprawnić przepływ informacji między sobą. Należy wszędzie tam gdzie jest to możliwe zminimalizować sformalizowane podejście do przekazywania informacji. Usprawnieniem dla tego obszaru może być utworzenie wspólnej platformy elektronicznej dla obu instytucji. Platforma taka miałaby charakter wewnętrzny i wszelkie wprowadzane zmiany w dokumentach oraz informacje mogłyby być przekazywane na bieżąco do wszystkich pracowników obu instytucji zaangażowanych w proces wdrażania Programu. Obszar 5. Ocena zasobów materialnych i niematerialnych w odniesieniu do funkcji i zadań realizowanych przez instytucje wchodzące w skład systemu zarządzania, wdrażania i kontroli LRPO. Środki techniczne, którymi dysponują pracownicy są wystarczające do należytego wykonywania obowiązków przez pracowników. Każdy z pracowników posiada dobrze wyposażone stanowisko pracy. Problemem jest jednak okres realizacji zadeklarowanego zapotrzebowania z Pomocy Technicznej. Proces realizacji zamówień jest długotrwały 8

9 w stosunku do pojawiających się potrzeb wynikających z zaawansowania wdrażania Programu. Zakup potrzebnych towarów i usług odbywają się zgodnie z prawem zamówień publicznych, co uniemożliwia ich realizację w krótkim okresie czasu. Jest to spowodowane tym, że zamówienia DFR realizowane są w całym systemie postępowania Urzędu. Czynnikiem, który może negatywnie wpływać na efektywność prac nad realizacją LRPO jest niewystarczająca powierzchnia biurowa zarówno w siedzibie Departamentu LRPO jak i w komórkach WFOŚiGW zaangażowanych we wdrażanie Programu. Obecny stan zatrudnienia jest maksymalny w stosunku do powierzchni biurowej, którymi dysponują instytucje w chwili badania. W przypadku zwiększenia zatrudnienia pracownicy nie będą posiadali odpowiedniej przestrzeni do pracy. Nieodpowiednia przestrzeń biurowa w stosunku do liczby pracowników w pokoju uniemożliwia skoncentrowanie się na wykonywanych zadaniach, co obniża efektywność pracy. W obu instytucjach, problemem jest brak wystarczającej ilości mebli do przechowywania i archiwizowania dokumentów. Jest to bardzo istotne utrudnienie, ponieważ wraz z postępem w realizacji Programu ilość dokumentów rośnie. Nie ma również odpowiedniej przestrzeni biurowej na ustawienie dodatkowych szaf. W badaniu nie wskazano obszarów, które nie zostały objęte wsparciem, w każdym kolejnym roku katalog wydatków kwalifikowanych Pomocy Technicznej jest coraz większy. Wskazano natomiast dwa problemy w tym zakresie: uzyskanie wsparcia na samochód służący do przeprowadzania kontroli oraz niewystarczające wsparcie na refundację studiów podyplomowych podejmowanych przez pracowników. Streszczenie Obszar 6. Ocena systemu przepływów finansowych w ramach LRPO. System przepływów finansowych bezpośrednio powiązany jest z procesem składania i weryfikacji wniosków o płatność oraz procesem certyfikacji wydatków. Oba procesy warunkują sprawne uruchomienie środków w ramach LRPO. W systemie przepływów finansowych w ramach LRPO bierze udział wiele podmiotów i instytucji. Umożliwia to uniknięcie nieprawidłowości i nadużyć natomiast z pewnością zwiększa potencjalne zagrożenie wystąpienia opóźnień na którymś z etapów funkcjonowania systemu. Opóźnienia w przekazywaniu środków zgłaszają pracownicy IP II w ramach Pomocy Technicznej. Uzyskane wyniki badania wskazują na problem opóźnień w przekazywaniu środków finansowych do Beneficjentów, co powoduje utrudnienia w realizacji projektów. Podstawową przyczyną wystąpienia opóźnień w przekazie środków finansowych Beneficjentom była zmiana systemu finansowania wydatków na programy operacyjne będąca konsekwencją zmiany ustawy o finansach publicznych. 9

10 Summary The subject of the evaluation was the "Analysis of the system for management, implementation and control of Regional Operational Programme for the Lubuskie Voivodship". Streszczenie The main objective of the research was assessment of functioning of the system for management, implementation and control of Regional Operational Programme for the Lubuskie Voivodship, identification and analysis of barriers and organizational problems related to the functioning of the system and recommendations for means for its improved effectiveness and efficiency. In order to achieve the objective, the spectrum of the whole research was divided into six areas: 7. Evaluation of functioning of the institutions involved in management, implementation and control of ROP LV. 8. Evaluation of relevance, transparency and functionality of procedures which regulate processes of management, implementation and control of ROP LV. 9. Evaluation of human resources assigned to management, implementation and control of ROP LV (current employment structure and personnel turnover, quality of human resources professional skills and qualifications of the personnel, motivation and training system). 10. Evaluation of information flow within the system for management, implementation and control of ROP LV. 11. Evaluation of material and non-material resources in relation to functions and tasks realized by institutions involved in management, implementation and control of ROP LV. 12. Evaluation of the system for funds transfer within ROP LV. In the evaluation a number of coherent research methods and techniques were applied, both qualitative and quantitative, inter alia: 1. Secondary data analysis - Desk research, 2. Anonymous Computer Aided Web Interviewing CAWI, 3. Individual in-depth interviews IDI, 4. Focus group interviews FGI, 5. SWOT analysis, 6. On-site observation, 7. Case study, 8. Anonymous Telephone Interviewing CATI, 9. Brainstorming, 10. Critical path analysis, 11. Problem-solving tree, 12. Statistical analysis, 13. Assesment workshops. Taking into account the specificity of the conducted evaluation, the following conclusions and opinions have been worked out in the following thematic areas: AREA 1. Evaluation of functioning of institutions involved in system of management, implementation and control of ROP LV. 10

11 The review revealed that organisational and institutional structure of the system for ROP LV management, implementation and control is optimal. It fits the programme requirements and needs as well as it secures realization of all tasks and thus guarantees efficient and effective performance of the assigned duties. Functioning of the ROP LV Department within the structures of Marshal s Office of the Lubuskie Voivodship (MOLV) is not the best solution, because of the specificity of the ROP LV Department, whereas the management system of the Marshal's Office applies to all units and does not take into account differences between them. ROP LV works on tasks, it is of a more business-like character, so the decision-making procedures used there should be more flexible than in other structures of the Office. It would be advisable to create an autonomous unit within MOLV for the use of ROP LV, which could help avoid many problems and shorten decision-making processes. The MO LV in this scenario would be responsible for coordination and supervision. Division of competencies and tasks among the institutions involved in management, implementation and control of the Programme is properly distributed, clearly elaborated, it does not duplicate in terms of the scope. It ensures efficient and effective realisation of all assigned tasks. The only drawback of the distribution of tasks is the lack of full responsibility for implementation of Priority axis 3 vested on IB2. No overlapping of the tasks carried out by respective units of MO LV involved in the implementation of ROP LV has been observed. The current division of all competencies within MI is accurate and ensures effective realizations of all tasks. Areas with tasks not assigned to any particular employees are nor reported. In the field of institutional functioning of ROP LV there is a very valuable internal control system for control of processes performed and carried out by employees and organizational units. This system is initiated at an employee's workplace where everyone is obliged to control their own duties according to the law and procedures in force, through relevant functional people in the management chain and controlling units within MO LV and external audits executed by authorised entities. During the research many critical notes were addressed at Local IT System (LITS). This system in the current form is not fully functional and thus is less useful in management and implementation processes. The current system is dedicated mostly to data collection, it is less useful in processing of the gathered data, new reports creation or projects implementation. This in turn necessitates creation of additional systems and databases for everyday operational tasks. As a solution for the problem the Internal Communication System, proper databases in every department of MI and IB2 have been built. Additional financial resources are essential in order to provide proper LITS functioning, constant improvement and additional modules implementation for current needs. In order to have a fully operational system there is a mandatory condition to ultimately set the range of data being inserted as well as type and range of reports, which might be generated. At the moment, MI is using various types of reports, so relevant data needs to be obtained from different databases. Streszczenie Area 2. Evaluation of adequacy, transparency and functionality of procedures related to management, implementation and control of ROP LV. The procedures have been undergoing changed since the beginning of the Programme implementation. During the performance of this evaluation the 10 th version of Handbook of 11

12 Streszczenie Procedures for MI from 26 January 2010 is in force. The survey has shown that none of the changes affected the timing of Programme realization. The procedure adjustments are made mainly in relation to law regulations being changed, change introduced to guidelines issued by the Ministry of Regional Development, recommendations from controlling units but also as a result of needs and experiences emerging from everyday work of MI and IB2. All changes have been introduced for the benefit of the Beneficiaries and institutions included in the management, implementation and control chain and are in line with of laws and rules specified by supervisory institutions. In the opinion of the majority of the interviewees, procedures modifications are essential, because every change contributes to improved quality and more effective implementation process, both for the Beneficiaries and personnel of institutions responsible for management, implementation and control of the Programme. The frequency of changes implemented is considered to be optimal. Both preparation and modifications of the procedures is made by the personnel of MI and IB2, who are obliged to fulfill their regular duties. Over a half of the employees is delegated to handing of these tasks. For half of them obligatory involvement in elaborating amendments to procedures coincides with other professional duties. About one fifth of the interviewees admitted changes in procedures create barriers/problems in Programme implementation. Specific examples were given, which calls for further analysis. Employees from both institutions should put more efforts into constant reporting on the need to introduce changes. The qualitative and quantitative analyses proved that the procedures used in management, implementation and control of the Programme are clear, coherent and understandable both for the personnel and majority of Beneficiaries. There are large discrepancies related with the flexibility of procedures level in opinions of the interviewees. When it comes to measuring the global level of procedure flexibility with the use of weighted average, the result could be described as "sufficient" which was confirmed by one of the respondents "the procedures should be more flexible where it is possible and detailed on the needed level". Upon the examination of all operational and procedural documents describing the system for management, implementation and control of ROP LV it should be noted that they are in line with national and EU regulations. The evaluation did not reveal deviations from procedure infraction, which is confirmed by the positive results of external audits. The observance of procedures implementation is supervised on many levels. Firstly, every employee is obliged to obey the procedures relevant to their workplace. Next level of supervision is performed by head of departments and directors. The ultimate supervision is executed during internal and external audits. So called "bottlenecks" occur in the procedural system, which should be further analysed by management boards of IM and IB2. At the current stage of the Programme implementation, procedures are elaborated in a way which allows for its effective implementation. The evaluation did not confirm the necessity for procedure modification. 12

13 Area 3. Evaluation of human resources involved in the system of management, implementation and control of Regional Operational Program in the Lubuskie Voivodeship (ROPLV) Within the ROPLV Department the number of the personnel corresponds well to the operational needs. The problem is related to uneven distribution of tasks assigned to certain units in given implementation periods. An effective solution would be to introduce a mechanism which would allow to transfer the employees from less busy workplaces to the posts where additional input is needed. In Intermediary Body level 2 the staffing level is also adequate. In IB2 the staff turnover is hardly observed, the structure personnel involved in the coordination of ROPLV is do not undergo major changes. The findings of the quantitative analysis examining the staffing in the Managing Institution (MI) showed that out of 103 persons employed in , 27decided to leave the Department (that constitutes 26% of the total number of personnel employed in ). A decreasing trend is observed in that respect, however, further analysis reveals that in the future (more than 3 months ahead) 21% of the respondents is going to leave the Department. It might pose a considerable risk that will have a negative effect on the efficiency of the work performed in the Department. Such decisions are justified by low remuneration. The remuneration system in operation in ROPLV Department is based on general provisions set out in the remuneration manual which is valid for the whole Marshal s Office of the Lubuskie Voivodship. In this manual the specificity of the tasks realized in the Department is not properly reflected. Also the source of financing the salaries of the personnel, which comes from the external Technical Assistance and thus does not affect the budget of the voivodship is not adequately demonstrated. This results in the personnel's dissatisfaction with the motivation system, which is considered not to be in correlation with the scope of assigned tasks. The motivation system is almost non-existent in MI. In IB2 the issue of the motivation system is not a problem, since this institution operates outside the structures of Marshal s Office of the Lubuskie Voivodship and thus can have influence on their remuneration pattern. Lack of such systematic solution have a considerable impact on the performance of the personnel. Streszczenie The overall impression of the surveyed personnel of MI and IB2 is that the outside remuneration motivation system is not satisfying. Especially in MI such system is not in operation. The survey reveals that there is no system of trainings in MI. At the beginning of each budgetary year a trainings schedule is prepared, however, in the course of the year its realization fails. The personnel is trained at the ad-hoc basis, because the training needs arise as a result of changes in regulations and rules adopted for Programme implementation. Such problem is hardly observed is IB2. Should time allow any member of personnel can participate in different forms of learning (trainings, courses, workshops, post-graduate studies). A list referring to needs related to the system of trainings is indicated in the chapter on human resources. Qualifications and professional skills of MI and IB2 personnel correspond to the tasks assigned to them. The newly employed adapt promptly to their responsibilities thanks to self-learning, participation in internal trainings and assistance from more experienced personnel. Competence of personnel employed in both institutions has been positively rated by the Beneficiaries. 13

14 The system of employing new staff which is used in Marshal s Office of the Lubuskie Voivodship functions well it allows for selecting future employees whose knowledge and skills will enable them to properly realize tasks assigned to their positions. Area 4. Evaluation of information flow within the process of management, implementation and control of ROPLV Streszczenie Analysis of the findings qualitative research, obtained from individual in-depth interviews, reveals that access to information and documents necessary for effective realisation of the assigned tasks in both institutions does not pose any problems. Information flow on the line managerial personnel board of directors regular personnel functions well with no major faults. All channels of communication in use also function properly. The system in charge of documents circulation has been criticized. Circulation of documents inside ROPLV Department and between the Department and IB2 is fluent and there are no major interruptions. According to the interviewees, the obstacles to the smooth circulation of documents occur between the Department and other organisational units in Marshal s Office of the Lubuskie Voivodship. The transfer of documents is elongated due to extensive hierarchical structure established in the Office, which is not supported by an IT system. Direct communication between MI and IB2 has been described as not satisfactory by personnel of both institutions. It should be noted that IB2 personnel is more sceptical in this respect. Efficient communication and cooperation between institutions involved in implementation of ROPLV for the benefit of the Beneficiaries is a condition for submitting a correct application and thus successful application. A successful application for funding leads to smooth Programme implementation. Beneficiaries gave high scores to cooperation and exchange of information between themselves and implementing institutions, both at the bidding and realization phase. Beneficiaries praised internet as the most useful source of information. Positive feedback has been reported on the opportunity to attend direct consultancies and informative meetings. Taking the above into consideration, all efforts should be directed at maintaining high quality of information provided to the Beneficiaries through the channels of information preferred by them. Informative meetings are a very effective means of information exchange for MI and IB2. Both institutions should pay special attention to the frequency of these meetings and should attempt to turn make them into regular events. It should be highlighted that noted that the informal contacts between employees. Such informal relations have a considerable impact on the quality of the communication process. Both institutions should pay special attention to the improved information flow between them. Transfer of information should be made as little formalized as possible. This area can be improved though creation of an IT platform common to both institutions. Such platform would be an internal tool and any amendments to documents and information could be circulated on a regular basis among the personnel of both institutions involved in the implementation of the Programme. Area 5. Evaluation of material and non-material resources in relation to functions and tasks assigned to institutions involved in management, implementation and control of ROPLV. 14

15 Technical resources at the disposal of the personnel are sufficient for appropriate fulfillment of their tasks. Each employee has a well equipped workplace. What is considered to be a problem is the time of realization of the delivery of supplies granted from Technical Assistance. Process of realization of the delivery is too long and does not comply with the urgency of needs resulting from the advanced implementation of the Programme. Purchase of requested materials and services is regulated by the law on public procurement, which prevents their delivery at a short notice. It is by the fact that any order for the Department is realized through the system in force in the Marshal's Office. The factor, which may have a negative influence on the efficiency of activities carried out within ROPLV, is insufficient office space in the building where ROPLV Department is located and in the organisational units of Voivodeship Fund for Environmental Protection and Water Management involved in the implementation of the Programme. Current staffing is at a maximum level in relation to the office space at the disposal of the institutions at the moment of performing the evaluation. In case more personnel is employed, the space available for each person will decrease dramatically. Insufficient office space affects proper realization of the tasks and thus leads to underperformance. Both institutions have reported shortage of furniture necessary for storage and filing of documents. It is a considerable problem, since the more advance realization of the Programme is the more documents are generated. Also there is no sufficient space for placing additional filling cabinets. The evaluation has not reported areas, which are not supported from the Technical Assistance, every year the range of eligible expenditures is extended. Two problems have been addressed in this respect: financing of a car to be used for performace of monitoring visits and insufficient reimbursement of post-graduate studies for the personnel. Streszczenie Area 6. Evaluation of the system for funds transfer within ROPLV. The system for funds transfer is interconnected with the process of submission and verification of payments and with the process of expenditures certification. Both processes facilitate easy flow of resources within ROPLV. The system for funds transfer is accessible for many other entities and institutions. This helps to avoid irregularities and corruptive practices, on the other hand, may result in potential risk of delays occurring at some phase of the operation of the system. Delays in the transfer of funds have been reported by IB2 personnel within the Technical Assistance. Opóźnienia w przekazywaniu środków zgłaszają pracownicy IP II w ramach Pomocy Technicznej. The findings of the evaluation point at the delays in the transfer of funds to the Beneficiaries, which leads to interruptions in the realization of projects. The reason behind the delays in the transfer of funds to the Beneficiaries are the changes introduced to the fianancing of expenditures incurred in the operational programmes, as a consequence of amendments in the act on public finances. 15

16 2. Wprowadzenie Wprowadzenie Przedmiotem badania ewaluacyjnego było dokonanie Analizy systemu zarządzania, wdrażania i kontroli Lubuskiego Regionalnego Programu Operacyjnego na lata LRPO jest jednym z 16 regionalnych programów operacyjnych, których zadaniem jest realizacja Strategii Rozwoju Kraju oraz Narodowych Strategicznych Ram Odniesienia/Narodowej Strategii Spójności, przez co mają się one przyczyniać do zapewnienia wzrostu gospodarczego oraz do zwiększenia zatrudnienia w skali ogólnokrajowej. Głównym celem Lubuskiego Regionalnego Programu Operacyjnego na lata jest stworzenie warunków wzrostu konkurencyjności województwa poprzez wykorzystanie regionalnego potencjału endogenicznego oraz przeciwdziałanie marginalizacji zagrożonych obszarów, w tym obszarów wiejskich, przy racjonalnym gospodarowaniu zasobami i dążeniu do zapewnienia większej spójności województwa. Cel ten osiągnięty zostanie poprzez osiągnięcie pięciu celów szczegółowych odpowiadających merytorycznym priorytetom programu: Priorytet I Priorytet II Priorytet III Priorytet IV Priorytet V Rozwój infrastruktury wzmacniającej konkurencyjność regionu. Stymulowanie wzrostu inwestycji w przedsiębiorstwach i wzmocnienie potencjału innowacyjnego Ochrona i zarządzanie zasobami środowiska przyrodniczego Rozwój i modernizacja infrastruktury społecznej Rozwój i modernizacja infrastruktury turystycznej i kulturowej W myśl artykułu 59 ust. 1 Rozporządzenia Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylające Rozporządzenie (WE) nr 1260/1999 oraz art. 25 ustawy z dnia 6 grudnia 2006 r. o zasadach prowadzenia polityki rozwoju funkcję Instytucji Zarządzającej Lubuskim Regionalnym Programem Operacyjnym pełni Zarząd Województwa Lubuskiego. Zgodnie z art. 60 Rozporządzenia Rady nr 1083/2006, IZ jest odpowiedzialna za zarządzanie Regionalnym Programem Operacyjnym i jego realizację zgodnie z zasadą należytego zarządzania finansami. Realizację zadań IZ Zarząd Województwa Lubuskiego wykonuje poprzez jednostki organizacyjne w ramach Urzędu Marszałkowskiego Województwa Lubuskiego: Departament Lubuskiego Regionalnego Programu Operacyjnego, Departament Finansów, Departament Organizacyjno Prawny. 16

17 Departamentem Lubuskiego Regionalnego Programu Operacyjnego kieruje Dyrektor Departamentu, któremu podlega trzech Zastępców. W strukturze Departamentu LRPO wydzielono następujące wydziały: Wydział Programowania Strategicznego LRPO, Wydział Informacji i Promocji LRPO, Wydział Kontraktacji Inwestycji Infrastrukturalnych LRPO, Wydział Kontroli LRPO, Wydział Ekonomiczny i Pomocy Technicznej LRPO, Wydział Kontraktacji Inwestycji Gospodarczych LRPO, Stanowisko ds. Kancelaryjno-Organizacyjnych. Wydział Finansowy LRPO, Wydział Monitorowania LRPO, Stanowisko ds. Lokalnego Systemu Informatycznego. Wprowadzenie Wśród zadań realizowanych przez Departament Finansów znajdują się działania związane z realizacją LRPO, w szczególności dotyczące kontroli formalno-rachunkowej dokumentów związanych z wdrażaniem Programu. W skład Departamentu Finansów wchodzą następujące wydziały: Wydział Planowania Budżetu i Analiz, Wydział Funduszy Unii Europejskiej, Wydział Księgowości Urzędu, Wydział Finansów Województwa, Stanowisko ds. Kancelaryjno-Organizacyjnych. W strukturze Departamentu Organizacyjno - Prawnego wydzielone są następujące wydziały: Wydział Kontroli, Biuro Zarządu, Zespół Radców Prawnych, Wydział Organizacji i Nadzoru, Biuro Prasowe, Wydział Kadr, Płac i Szkolenia, Wydział Gospodarczo Ekonomiczny, Wydział Zamówień Publicznych. Zgodnie z art. 59 Rozporządzenia Rady (WE) nr 1083/2006 oraz art. 27 ustawy o zasadach prowadzenia polityki rozwoju IZ LRPO deleguje część swoich uprawnień do Instytucji Pośredniczącej II stopnia (IP II). Funkcję IP II dla Priorytetu III. Ochrona i zarządzanie zasobami środowiska przyrodniczego pełni Wojewódzki Fundusz Ochrony Środowiska i Gospodarki Wodnej w Zielonej Górze. W realizację zadań związanych z LRPO w ramach IP II zaangażowane są: Wydział Funduszy Europejskich, Wydział Finansowo Księgowy. System zarządzania, wdrażania i kontroli jest kluczowym elementem realizacji Lubuskiego Regionalnego Programu Operacyjnego na lata Bez właściwego systemu realizacja 17

18 i osiągnięcie celów LRPO jest niemożliwe. Dlatego ważną rolę odgrywają działania zapewniające utrzymanie sprawnego i efektywnego systemu zarządzania, wdrażania i kontroli LRPO. Przeprowadzenie badania ewaluacyjnego pozwoliło na identyfikację barier, zagrożeń i problemów organizacyjnych związanych z systemem zarządzania, wdrażania i kontroli LRPO. Wypracowane zostały także wnioski i rekomendacje przedstawione w rozdziale 7. Wprowadzenie 18

19 3. Metodologia i źródła informacji wykorzystanych w badaniu 3.1. Metodologia badania Celem głównym badania była ocena funkcjonowania systemu zarządzania, wdrażania i kontroli Lubuskiego Regionalnego Programu Operacyjnego na lata , identyfikacja oraz analiza barier i problemów organizacyjnych związanych z funkcjonowaniem systemu oraz zaproponowanie sposobów zwiększenia jego skuteczności i efektywności. W celu osiągnięcia założonego celu, zakres badania podzielono na sześć podstawowych obszarów badawczych: 1. Ocena funkcjonowania instytucji wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO. 2. Ocena adekwatności, przejrzystości i funkcjonalności procedur regulujących procesy zarządzania, wdrażania i kontroli LRPO. 3. Ocena zasobów ludzkich wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO (w tym: stan i fluktuacja zatrudnienia, jakość kadr przygotowanie merytoryczne i kwalifikacje pracowników, system motywacyjny i szkoleniowy). 4. Ocena przepływu informacji w ramach zarządzania, wdrażania i kontroli LRPO. 5. Ocena zasobów materialnych i niematerialnych w odniesieniu do funkcji i zadań realizowanych przez instytucje wchodzące w skład systemu zarządzania, wdrażania i kontroli LRPO. 6. Ocena systemu przepływów finansowych w ramach LRPO. Zakres tematyczny niniejszego badania był bardzo szeroki, przez co wymagał od badających zastosowania technik badawczych odnoszących się do wielu zagadnień i wielu wymiarów analizy. Tym samym nie było możliwe ograniczenie się do jednej metody badawczej lub jednej badanej populacji. W niniejszym badaniu wykorzystano wiele, wzajemnie uzupełniających się, metod i technik badawczych zarówno jakościowych jak i ilościowych. To samo założenie odnosiło się do badanej populacji. Specyfika badania wymagała objęcia badaniem dwóch grup: Beneficjentów LRPO oraz pracowników instytucji odpowiedzialnych za zarządzanie, wdrażanie i kontrolę tegoż Programu. Przedstawione wyżej obszary zbadano za pomocą następujących technik badawczych: 1. Analiza danych zastanych - Desk research, 2. Anonimowy wywiad internetowy CAWI, 3. Indywidualne wywiady pogłębione IDI, 4. Zogniskowane wywiady grupowe FGI, 5. Analiza SWOT, 6. Obserwacja terenowa, 7. Studium przypadku Case study, 8. Anonimowa ankieta telefoniczna CATI, 9. Burza mózgów, 10. Analiza ścieżki krytycznej, 11. Drzewo problemów, 12. Analizy statystyczne, 19

20 13. Warsztat ewaluacyjny. Z uwagi na charakterystykę akterystykę obszaru problemowego, Wykonawca dokonał podziału badawczego na 3 etapy wg poniższego schematu 1. procesu Schemat 1. Podział procesu badawczego Etap I obejmował wstępne prace badawcze, głównie w postaci analizy danych zastanych. Ta część badania określona została jako Eksploracja z uwagi na funkcję, jaką pełni w całym procesie badawczym. Eksploracja rozumiana jest, jako pozyskanie zarówno podstawowej jak i pogłębionej wiedzy z zakresu problematyki badawczej. W niniejszej ewaluacji był to system zarządzania, ania, wdrażania i kontroli LRPO. Niezbędne informacje uzyskano na drodze analizy danych zastanych (desk research) ) dokumentów programowych, oraz procedur, regulaminów a także instrukcji wykonawczych Instytucji Zarządzającej LRPO i Instytucji Pośredniczącej II stopnia. Analiza danych zastanych prowadzona była w odniesieniu do obszarów problemowych, wyodrębnionych w badaniu: Funkcjonowanie instytucji wchodzących w skład systemu zarządzania, wdrażania i kontroli LRPO, Procedury regulujące procesy zarządzania, wdrażania i kontroli LRPO, Zasoby ludzkie wchodzące w skład systemu zarządzania, wdrażania i kontroli Przepływ informacji w ramach systemu zarządzania, wdrażania i kontroli LRPO, Zasoby materialne i niematerialne w odniesieniu do funkcji i zadań realizowanych przez instytucje wchodzące w skład systemu, System przepływów finansowych w ramach LRPO. Podczas konstruowania narzędzi badawczych oraz prac nad przygotowaniem koncepcji badania była realizowana metoda burzy mózgów.. Spotkania zespołu badawczego, podczas których była wykorzystana burza mózgów, umożliwiły efektywne opracowanie szczegółowej koncepcji realizacji badań. Takie podejście pozwoliło na efektywne wypracowywanie rozwiązań pojawiających się problemów w pierwszym etapie badania. Wynik prac zespołu badawczego miał duży wpływ na sprawną i rzetelną realizację poszczególnych kroków badawczych w kolejnych etapach. 20 Projekt współfinansowany przez Unię Europejską ze środków Europejskiego o Funduszu Rozwoju Regionalnego