Raport Końcowy. Ocena systemu zarządzania i wdraŝania Programu Operacyjnego Kapitał Ludzki na poziomie regionalnym

Transkrypt

1

2 Raport Końcowy Ocena systemu zarządzania i wdraŝania Programu Operacyjnego Kapitał Ludzki na poziomie regionalnym Autorzy: Barbara Leszczyńska Adriana Niedoszewska Piotr Stronkowski Marzena Tymińska Ładziak Irena Wolińska Badanie ewaluacyjne współfinansowane ze środków Europejskiego Funduszu Społecznego oraz środków budŝetu Województwa Opolskiego w ramach Pomocy Technicznej Programu Operacyjnego Kapitał Ludzki Warszawa, lipiec 2008

3 Niniejszy raport stanowi wynik niezaleŝnej, eksperckiej oceny systemu zarządzania i wdraŝania komponentu regionalnego Programu Operacyjnego Kapitał Ludzki w województwie opolskim i nie oddaje poglądów Zamawiającego. 2

4 Spis treści Wykaz skrótów... 4 Spis tabel... 5 Spis wykresów... 6 Streszczenie raportu... 7 Executive summary Wprowadzenie Opis metodologii oraz źródeł informacji wykorzystanych w badaniu Metody i techniki badawcze Analiza dokumentów Indywidualne wywiady pogłębione Wywiad grupowy Badania ilościowe Analiza SWOT Analiza ścieŝki krytycznej Dobór próby Wyniki badania System zarządzania i kontroli Organizacja pracy w IP Organizacja pracy IP Wnioski System zarządzania zasobami ludzkimi Wnioski Proces komunikacji wewnętrznej i zewnętrznej Stan komunikacji wewnętrznej Komunikacja zewnętrzna Wnioski Adekwatność i skuteczność procedur Znajomość oraz ocena procedur przez pracowników IP i IP Kluczowe problemy zidentyfikowane w istniejących procedurach Wnioski Procedura konkursowa i odwoławcza Wnioski Analiza SWOT systemu zarządzania i kontroli Wnioski Analiza ścieŝki krytycznej Wnioski i rekomendacje Załącznik 1 Propozycja nowych rozwiązań organizacyjnych Załącznik nr 2. Ankieta do badania CAWI Załącznik nr 3. Zakres wywiadów indywidualnych Załącznik nr 4. Zakres wywiadu grupowego

5 Wykaz skrótów DPO Departament Koordynacji Programów Operacyjnych EFRR Europejski Fundusz Rozwoju Regionalnego EFS Europejski Fundusz Społeczny IP Instytucja Pośrednicząca IP2 Instytucja Pośrednicząca II stopnia IZ Instytucja Zarządzająca KOP Komisja Oceny Projektów KSI Krajowy System Informatyczny LSI Lokalny System Informatyczny MRR Ministerstwo Rozwoju Regionalnego PO KL Program Operacyjny Kapitał Ludzki REFS Referat Europejskiego Funduszu Społecznego RPO WO Regionalny Program Operacyjny Województwa Opolskiego SPO RZL Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich UMWO Urząd Marszałkowski Województwa Opolskiego UZPPR Ustawa o zasadach prowadzenia polityki rozwoju WK Wydział Kontroli WM Wydział Monitorowania Europejskiego Funduszu Społecznego WUP Wojewódzki Urząd Pracy ZPORR Zintegrowany Program Operacyjny Rozwoju Regionalnego ZRP Zespół Realizacji Projektów 4

6 Spis tabel Tabela 1. Zadania Instytucji Zarządzającej...27 Tabela 2. Modele systemu zarządzania i kontroli w komponencie regionalnym PO KL...30 Tabela 3. Model procesów w ramach IP i IP Tabela 4 Liczba osób zaangaŝowanych w wdraŝanie PO KL w DPO...47 Tabela 5 Sposoby rekrutacji na szkolenia w urzędzie...50 Tabela 6 Liczba osób zaangaŝowanych w wdraŝanie PO KL w WUP...54 Tabela 7 StaŜ pracy ogółem...55 Tabela 8 Sposób otrzymywania informacje na temat wdraŝania PO KL od kierownictwa...65 Tabela 9 Sposób wymiany informacji z innymi sekcjami/referatami Tabela 10 Sposób otrzymywania informacji na temat wdraŝania PO KL od kierownictwa...70 Tabela 11 Sposób komunikacji z pracownikami innych wydziałów/zespołów...72 Tabela 12 Częstość kontaktów z pracownikami IP/IP Tabela 13 Sposób kontaktów z IP/IP Tabela 14 Przeciętny czas oczekiwania na odpowiedź z IP/IP Tabela 15 Przyczyny zaistniałych problemów w komunikacji pomiędzy IP i IP Tabela 16 Częstość kontaktów z pracownikami IZ...77 Tabela 17 Cele kontaktów z IZ...78 Tabela 18 Długość oczekiwania na odpowiedź z IZ...78 Tabela 19 Przyczyny problemów w komunikacji z IZ...79 Tabela 20 Propozycje zmian w istniejących procedurach zgłaszane przez pracowników IP

7 Spis wykresów Wykres 1 Zestawienie waŝności elementów systemu motywacyjnego z ich stosowaniem w IP...51 Wykres 2 StaŜ pracy w danym urzędzie w latach...55 Wykres 3 Ilośc szkoleń w ciągu ostatnich 12 miesięcy...57 Wykres 4 Zestawienie waŝności elementów systemu motywacyjnego z ich stosowaniem w IP Wykres 5 Komunikacja wewnętrzna pionowa w IP...64 Wykres 6 Komunikacja wewnętrzna pozioma w IP...66 Wykres 7 Komunikacja wewnętrzna pionowa w IP Wykres 8 Komunikacja wewnętrzna pozioma w IP Wykres 9 Komunikacja pomiędzy IP i IP Wykres 10 Znajomość procedur (na skali od 1 do 7)...82 Wykres 11 Ocena procedur w IP...83 Wykres 12 Ocena procedur w IP

8 Streszczenie raportu Niniejszy raport ma na celu przedstawienie wyników ewaluacji systemu zarządzania i wdraŝania Programu Operacyjnego Kapitał Ludzki (PO KL) w Województwie Opolskim, przeprowadzonej w okresie maj lipiec 2008 r. przez firmę PSDB sp. z o.o. na zlecenie Urzędu Marszałkowskiego Województwa Opolskiego. Badaniem zostały objęte instytucje zaangaŝowane w proces wdraŝania PO KL w województwie opolskim: Urząd Marszałkowski Województwa Opolskiego (UMWO), pełniący w imieniu Zarządu Województwa Opolskiego rolę Instytucji Pośredniczącej (IP); przy czym analizie poddany został Departament Koordynacji Programów Operacyjnych (DPO), Wojewódzki Urząd Pracy (WUP), pełniący rolę Instytucji Pośredniczącej II stopnia (IP2). Cele szczegółowe badania to: C.1. Ocena funkcjonalności systemu zarządzania zasobami ludzkimi w IP i IP2 w aspekcie realizowanych zadań w ramach PO KL (komponent regionalny). C.2. Analiza skuteczności procesu komunikacji i współpracy osób i struktur w instytucjach zaangaŝowanych we wdraŝanie PO KL. C.3. Ocena adekwatności procedur zaprojektowanych i skuteczności procedur dotychczas zastosowanych w procesie wdraŝania PO KL w regionie. Realizacja powyŝszych celów szczegółowych badania pozwoliła na sformułowanie odpowiedzi na cztery kluczowe pytania: 1. Czy istnieje zagroŝenie wystąpienia w IP i IP2 negatywnych zjawisk w obrębie systemu zarządzania i wdraŝania PO KL (komponent regionalny)? 2. Jeśli tak, to czy moŝliwa jest identyfikacja przyczyn występowania tych zjawisk? 3. Jakie rozwiązania usprawniające działania realizowane w ramach IP i IP2 na poziomie regionu mogą być wprowadzone w miejsce zidentyfikowanych słabych punktów? 4. Czy istnieją moŝliwości zwiększenia skuteczności i efektywności systemu zarządzania? W ramach badania wykorzystano następujące metody badawcze: Analiza dokumentów (desk research) analizie poddano dokumenty określające system zarządzania i kontroli, przygotowane przez Instytucję Zarządzającą (IZ), IP i IP2, badaniu poddano teŝ dokumentację próbki projektów, Pogłębione wywiady indywidualne (IDI) zostało przeprowadzonych 14 wywiadów z kluczowymi osobami w ramach systemu zarządzania i kontroli PO KL, w tym dwa z osobami na stanowiskach dyrektorskich, a 12 z osobami odpowiedzialnymi za kierowanie komórkami w ramach IP i IP2. Wywiad grupowy (Focus) wywiad został przeprowadzony z członkami Komisji Oceny Projektów (KOP) w IP2 i miał na celu analizę procedury konkursowej. Internetowy wywiad kwestionariuszowy (CAWI) objęci nim zostali wszyscy pracownicy IP i IP2. Analiza SWOT została przeprowadzona w formie jednodniowego seminarium z kluczowymi osobami zaangaŝowanymi we wdraŝania PO KL na poziomie regionalnym. PoniŜej przedstawiono główne wnioski z badania. Wnioski te są przedstawione zgodnie ze strukturą raportu. Na początku zaprezentowano wyniki analizy przyjętego systemu instytucjonalnego, w tym podziału zadań pomiędzy IP i IP2 oraz wewnętrznej organizacji pracy w obu instytucjach. Następnym elementem była analiza zarządzania zasobami ludzkimi w obu instytucjach. Kolejna część poświęcona została kwestiom komunikacji, zarówno wewnętrznej, jak i zewnętrznej, na koniec przedstawione zostały wyniki analizy przyjętych procedur. 7

9 Ze względu na relatywnie wczesny etap wdraŝania programu, niewiele procesów mogło zostać prześledzonych w pełni. Było to jednak moŝliwe w przypadku procedury konkursowej i ten element systemu zarządzania i kontroli został poddany głębszemu badaniu. Było to uzasadnione takŝe dlatego, Ŝe w tym procesie, jak w soczewce skupiają się wszystkie słabe i mocne strony przyjętych rozwiązań. Dlatego teŝ temu zagadnieniu poświęcono osobny fragment w raporcie. Na koniec przedstawiono podsumowanie przeprowadzonej analizy SWOT. Ogólny podział zadań w ramach systemu zarządzania i kontroli komponentu regionalnego w Województwie Opolskim jest poprawny. Wątpliwości pojawiają się na etapie analizy konkretnych, szczegółowych procedur lub praktyki działania obu instytucji. Rysuje się tutaj ryzyko zbyt duŝego angaŝowania IP w bieŝące wdraŝanie programu, co moŝe istotnie zmniejszyć skuteczność i efektywność całego systemu. Koncentracja kaŝdej z instytucji na zadaniach przypisanych do danego poziomu zarządzania i wdraŝania programu niewątpliwie przyczyniłaby się do zmniejszenia obciąŝenia pracą w kaŝdej z nich, co, jak wykazała analiza SWOT, jest jednym z głównych problemów w obu instytucjach. Organizacja pracy w ramach kaŝdej z instytucji zgodna jest z podziałem funkcjonalnym, co jest uzasadnione logiką urzędu i stworzonego systemu zarządzania i wdraŝania PO KL, opartego na podejściu procesowym. Wymaga to wydzielenia wyspecjalizowanych komórek, które odpowiadają za poszczególne elementy tego procesu. Jednak wyniki badania pokazują, Ŝe stworzona struktura zarządzania nie jest optymalna. Występuje koncentracja kluczowych zadań w jednej komórce, zarówno w IP jak i IP2. W efekcie obie komórki: Referat EFS w IP i Wydział WdraŜania EFS w IP2 są relatywnie duŝe. Oznacza to konieczność wydzielania w ich strukturze kolejnych komórek, co wydłuŝa proces decyzyjny i powoduje problemy komunikacyjne. Spłaszczenie tej struktury mogłoby usprawnić pracę. Dotyczy to szczególnie WUP, który w związku z nowymi zadaniami bardzo dynamicznie się rozrasta i gdzie struktura pracy powinna zostać dopasowana do zmieniającej się sytuacji. Obecny stan zatrudnienia w IP oraz IP2 pozwala na realizację powierzonych im zdań, ale w perspektywie kolejnych 12 miesięcy koniecznym jest, zwłaszcza w przypadku IP2, zatrudnienie dodatkowych osób. W IP najtrudniejsza sytuacja ma miejsce w przypadku sekcji wyboru wniosków, gdzie w chwili obecnej faktycznie pracuje tylko jedna osoba. Obecnie istniejący system zarządzania zasobami ludzkimi nie umoŝliwia elastycznego reagowania na zmieniające się warunki wdraŝania programu. W przypadku obu instytucji preferuje się podejście polegające na specjalizowaniu się pracowników w danych zagadnieniach. Ponadto liczba zatrudnionych osób, zwłaszcza w IP2, ma zagwarantować moŝliwość zastępowania w przypadku nieobecności pracownika. Nie zidentyfikowano takiego planowania rozwoju zawodowego poszczególnych pracowników, który pozwalałby na przechodzenie z komórek mniej obciąŝonych pracą do tych, w których w danym momencie jest więcej pracy. NaleŜy zaznaczyć, Ŝe usztywnianie struktury zatrudnienia jest wynikiem rekomendacji sformułowanych w ramach audytu zgodności. W chwili obecnej proces odchodzenia lub przechodzenia pracowników zaangaŝowanych w proces wdraŝania PO KL (komponent regionalny) w IP i IP2 nie wpływa na stopień realizacji postawionych zadań. Aczkolwiek, szczególnie w przypadku IP2, zagroŝeniem mogą być niesatysfakcjonujące zarobki, które powodować mogą odchodzenie pracowników. To z kolei w momencie pełnego uruchomienia PO KL moŝe znacząco utrudniać jego realizację w regionie. Warto teŝ podkreślić, Ŝe w opinii pracowników poziom rotacji jest wyŝszy, niŝ w rzeczywistości. MoŜe to w przyszłości prowadzić do nasilania się problemu rotacji pracowników, na zasadzie samospełniającego się proroctwa. Kwalifikacje i doświadczenie pracowników zatrudnionych w IP i IP2 są adekwatne do postawionych zadań. Przy czym zwrócić trzeba uwagę, Ŝe większy odsetek osób doświadczonych w zakresie EFS pracuje obecnie w IP2 aniŝeli w IP. Ponadto, poszukiwane i zatrudniane w ostatnim czasie przez IP i IP2 osoby posiadają zwłaszcza wiedzę i doświadczenie w zakresie pewnych specyficznych potrzeb IP i IP2 np. finanse, pomoc społeczna, edukacja aniŝeli w zakresie samego EFS. Nie istnieje systematyczne i zintegrowane podejście w obu instytucjach do polityki szkoleniowej. TakŜe pomiędzy nimi nie ma wystarczającej współpracy w tym zakresie. Częściowo tłumaczy się to tym, Ŝe kaŝda z nich ma odrębne środki na ten cel w ramach pomocy technicznej. Z drugiej jednak strony skoro IP2 przesyła swój plan szkoleń do IP. Warto byłoby wykorzystać tę wiedzę i planować takŝe wspólne szkolenia dla pracowników IP i IP2. Takie podejście mogłoby takŝe wpłynąć na lepszą wymianę informacji pomiędzy pracownikami obu instytucji, a takŝe uczynić organizację szkoleń bardziej efektywną pod kątem finansowym. Badanie nie wskazało na istnienie systemu oceny szkoleń, w których pracownicy wzięli juŝ udział. Mocną stroną w tym względzie jest to, Ŝe zarówno w IP jak i w IP2 wskazano konkretne komórki, które zajmują się szkoleniami. 8

10 Ocena obecnego systemu szkoleniowego nie pozwala w sposób jednoznaczny stwierdzić, Ŝe odpowiada on potrzebom pracowników i wynikających z Programu zadań. W przypadku bowiem obu instytucji nie są praktyką wspólne diagnozy potrzeb szkoleniowych przez pracowników i ich bezpośrednich przełoŝonych. Jeśli zaś chodzi o system motywacyjny to dotychczasowe instrumenty w postaci: nagród i premii, moŝliwości dodatkowego kształcenia dofinansowanego przez pracodawcę oraz awans odpowiadają potrzebom pracowników. Z punktu widzenia realizowanych zadań istotnym elementem, ale nie stosowanym regularnie jest okresowa ocena pracownika. W Instytucji Pośredniczącej komunikacja wewnętrzna jest dosyć sprawna, co wynika ze stosunkowo niewielkiej liczby pracowników i nieduŝego udziału osób nowych i niedoświadczonych. Komunikacja przebiega duŝo łatwiej i skuteczniej, gdy dwie komunikujące się ze sobą osoby posiadają wspólne punkty odniesienia, wspólne spojrzenie na pewne kwestie. Nawet takim przypadku, gdy nie są rozbudowane mechanizmy mające na celu usprawnienie komunikacji, procesy nie są zaburzone. Inaczej przedstawia się sytuacja w Instytucji Pośredniczącej drugiego stopnia. Pracownicy w badaniu techniką CAWI wskazywali, Ŝe procesy komunikacyjne nie przebiegają bardzo sprawnie. Pracownicy posiadają niepełną wiedzę o tym, co się dzieje w innych komórkach, co oznacza, Ŝe nie posiadają bardziej całościowego oglądu procesów, w których uczestniczą. Dotyczy to w szczególności pracowników nowych, niepracujących w Wojewódzkim Urzędzie Pracy dłuŝej niŝ rok oraz nieposiadających doświadczenia we wdraŝaniu innych programów operacyjnych. Jedną z przyczyn jest fakt, Ŝe nowi pracownicy nie otrzymują odpowiedniego pakietu szkoleń, które w pełni przygotowałyby ich do wykonywania nowych obowiązków. Komunikacja pomiędzy IP a IP2 z perspektywy obydwu instytucji wygląda podobnie. Pracownicy obydwu instytucji mają zastrzeŝenie do obecnego stanu współpracy. IP chciałaby by IP2 dostarczało bardziej precyzyjne informacje w krótkim czasie, natomiast IP2 oczekuje wsparcia IP w rozwiązywaniu kwestii problematycznych. Oczekiwania IP i IP2 są w pełni zasadne, dlatego teŝ naleŝy wypracować wspólne sposoby komunikacji. W przeciwnym razie wdraŝanie komponentu regionalnego PO KL moŝe być mniej efektywne. Istnieją jednak rozwiązania, które warto kontynuować i praktykować w innych obszarach niŝ monitorowanie i zarządzanie czy finansowanie. Przedstawiciele obydwu instytucji powinni tworzyć grupy robocze, które posiadałyby moŝliwość wspólnego uzgodnienia kwestii z danego obszaru. DuŜym ograniczeniem w komunikacji pomiędzy IP i IP2 jest konieczność ustalania stanowiska przynajmniej na poziomie kierownika. Takie podejście ogranicza, a przede wszystkim spowalnia przepływ informacji pomiędzy obydwoma instytucjami. NaleŜałoby więcej moŝliwości decyzyjnych przenieść na pracowników. Komunikacja IP i IP2 z IZ nie wygląda w pełni tak jak powinna. Pracownicy IP2 z powodu niemoŝliwości uzyskania wszystkich informacji z IP kontaktują się z Instytucją Zarządzającą. Część doświadczonych pracowników współpracowało juŝ z Ministerstwem Rozwoju Regionalnego przy wdraŝaniu SPO RZL, dlatego teŝ wiedzą od kogo uzyskać potrzebną im do pracy informację. IZ natomiast jest niekonsekwentna w kontaktach z IP i IP2. Nie przyjęła bowiem jednolitego sposobu komunikowania się z IP i IP2, w efekcie są przypadki, Ŝe pismo z IZ jest kierowane wyłącznie do IP bądź teŝ wyłącznie do IP2, czasami równieŝ do obydwu instytucji. Taki stan rzeczy potwierdzali pracownicy w wywiadach indywidualnych. Sprawia to, Ŝe nie zawsze obie instytucje (IP i IP2) są dobrze poinformowane. Ponadto pojawia się chaos informacyjny. Dobrą praktyką jest natomiast uczestniczenie przedstawicieli IP i IP2 w spotkaniach organizowanych przez IZ, co skraca cały proces komunikacji. Między IP i IP2 panują raczej hierarchiczne relacje. IP2 traktuje IP jako swojego zwierzchnika, który kontroluje i sprawdza podjęte przez nich działania. W taki sposób równieŝ definiuje swoje obowiązki IP. Takie podejście moŝe spowalniać procesy komunikacyjne, jednak wypracowanie wspólnych rozwiązań w tym polu moŝe ograniczyć potencjalne zagroŝenia. Z drugiej strony codzienne kontakty pomiędzy obydwoma przedstawicielami obu instytucji, szczególnie na poziomie kierowniczym, są dobre, co wskazywać moŝe na partnerskość relacji. Jak zauwaŝył jeden z respondentów, relacje są partnersko hierarchiczne. Istniejące rozwiązania proceduralne ulegają cały czas zmianom. Wynika to ze zmian zasad wdraŝania PO KL, określanych przez IZ, wprowadzanych uproszczeń i ulepszeń do systemu, wreszcie jest to wynikiem prowadzonych kontroli i audytów, w tym szczególnie audytu zgodności. Szczególnie ten ostatni element istotnie wpływa na kształt procedur, przy czym wpływ ten, w naszej opinii, jest czasami negatywny. Przedmiotem badania były procedury obowiązujące w momencie badania. Ogólnie naleŝy ocenić je pozytywnie. W miarę prosty i jasny sposób określają one kształt najwaŝniejszych procesów. Tak teŝ oceniane są przez pracowników obu instytucji. 9

11 Równocześnie ogólna pozytywna ocena nie wyklucza moŝliwości zmian i ulepszeń. Obok zagadnień takich jak podział zadań pomiędzy IP i IP2 czy organizacja pracy w obu instytucjach, naleŝy zwrócić uwagę na trzy kwestie. Po pierwsze, naleŝy uregulować kwestię prowadzenia analizy ryzyka w obu instytucjach. Przy czym powinno to być wprowadzone w taki sposób, aby było rzeczywiście pomocne w identyfikacji potencjalnych ryzyk. Dlatego teŝ zasadnym się wydaje, aby audytorzy wewnętrzni wspomagali kadrę w realizacji tego zadania, lecz nie wykonywali go samodzielnie. Druga kwestia związana jest z systemami IT. Sprawność i efektywność całego systemu będzie w duŝej mierze zaleŝeć od sprawnych systemów IT. Szczegółowa analiza przyjętych rozwiązań informatycznych nie była przedmiotem tego badania, jednak wyniki analizy wyraźnie wskazują na konieczność szybkiego uruchomienia LSI, a takŝe precyzyjnego określenia, jakie dane będą tam zbierane i w jaki sposób będą one zarządzane. Wzmocnienia wymagają równieŝ rozwiązania dotyczące zarządzania nieprawidłowościami od wykrywania, przez zbieranie i informowanie, do monitorowania stanu prac. Na uwagę zasługuje teŝ relatywnie niski poziom wiedzy pracowników obu instytucji na temat obowiązujących procedur. Dotyczy to szczególnie rozwiązań z zakresu nieprawidłowości i kontroli. Procedura konkursowa jest skuteczna i efektywna, jednak w jej stosowaniu popełniane są pewne błędy, dotyczące np. niedoskonałości procesu przygotowania członków KOP do pełnienia tej roli. ZastrzeŜenia budzą teŝ niektóre przyjęte rozwiązania organizacyjne, które obniŝają skuteczność i efektywność systemu. Wątpliwości budzi szczególnie zaangaŝowanie IP w proces wyboru projektów, co niepotrzebnie wydłuŝa całą procedurę. Warto w tym miejscu podkreślić pozytywny wpływ procedury odwoławczej. Sam fakt moŝliwości odwołania się projektodawców od decyzji KOP mobilizuje członków KOP do jak najbardziej rzetelnej oceny wniosków o dofinansowanie oraz precyzyjne uzasadnianie przyznanych punktów. Przeprowadzona analiza SWOT potwierdziła wiele z wcześniejszych obserwacji uzyskanych dzięki wykorzystaniu ilościowych i jakościowych narzędzi badawczych. Wniosła jednak nowe elementy do wcześniejszej analizy, pozwalając lepiej uchwycić rzeczywiste mocne i słabe strony istniejącego systemu, a takŝe stojące przed nim wyzwania. W ramach tej analizy zidentyfikowano krytyczne elementy systemu zarządzania i kontroli: czyli najsłabsze mocne strony i najsłabsze słabe strony. Ich analiza dowodzi, Ŝe są one ze sobą ściśle powiązane. Ciągła zmienność zasad wdraŝania PO KL oraz przeciąŝenie pracą zwiększają istotnie ryzyko obniŝenia się jakości pracy obu instytucji, co natychmiast moŝe przełoŝyć się na pogorszenie relacji z otoczeniem IP i IP2, czyli z IZ i beneficjentami. W dalszej konsekwencji moŝe to takŝe wpłynąć na niezrealizowanie celów programu, co spowoduje słabszy wpływ EFS na poprawę sytuacji na regionalnym rynku pracy. Zarówno IP, jak i IP2 mają ograniczony wpływ na zmienność zasad wdraŝania programu, które są określane w duŝym stopniu na poziomie krajowym. Dlatego teŝ najbardziej racjonalną strategią jest wkalkulowanie ryzyka wystąpienia zmian w system zarządzania i kontroli oraz budowanie systemu na tyle elastycznego, aby moŝliwe było w miarę szybkie i łagodne adaptowanie go do zmian. IP i IP2 mają teŝ ograniczoną moŝliwość oddziaływania na kontakty z IZ. Tutaj duŝa część odpowiedzialności spoczywa na Ministerstwie Rozwoju Regionalnego. Dlatego teŝ wydaje się, Ŝe kluczowym elementem systemu zarządzania i kontroli, nad którym naleŝy pracować jest problem przeciąŝenia pracą pracowników. Jest to o tyle istotne, Ŝe kwestia ta była bardzo mocno podkreślana równieŝ w badaniach ankietowych przez samych pracowników. W tym kontekście w opinii ewaluatora kluczowe znaczenie ma poszukiwanie takich sposobów organizacji pracy, aby w sposób jak najbardziej efektywny gospodarować dostępnymi zasobami. Dlatego teŝ wskazane jest dbanie o jasny podział zadań pomiędzy IP, a IP2 unikanie sytuacji, w których IP bezpośrednio angaŝuje się w proces bieŝącego wdraŝania, co powoduje zwiększenie zakresu pracy pracowników IP i IP2. WaŜne jest delegowanie pełni kompetencji związanych z wyborem projektów do IP2 i ograniczenie obowiązków informacyjnych do niezbędnej informacji zarządczej. Z drugiej strony IP powinna w większym stopniu koncentrować się na poszukiwaniu rozwiązań systemowych, tak aby w jak największym stopniu wspierać IP2 w codziennym wdraŝaniu programu. 10

12 Zwiększaniu efektywności pracy niewątpliwie słuŝyć będą zmiany organizacyjne w ramach kaŝdej z instytucji delegowanie moŝliwie duŝego zakresu zadań w dół, na szeregowych pracowników oraz spłaszczenie struktury zarządczej. Aby wprowadzić takie rozwiązania konieczne jest prowadzenie spójnej i przemyślanej polityki szkoleniowej, a takŝe dbanie o dobrą komunikację zarówno zewnętrzną, jak i wewnętrzną. Badanie było realizowane w okresie maj lipiec 2008 r. NaleŜy podkreślić duŝe zaangaŝowanie pracowników obu instytucji w proces badawczy i gotowość do pomocy w realizacji badania, zarówno poprzez uczestnictwo w wywiadach indywidualnych, wywiadzie grupowym, niezwykle liczne odpowiedzi na ankietę internetową, ale takŝe w dostarczaniu niezbędnych dokumentów. Wszystkie te elementy świadczą o dobrym rozumieniu idei badania przez pracowników. W efekcie w trakcie badania nie napotkaliśmy na Ŝadne problemy z dotarciem do osób lub dokumentów. Równocześnie naleŝy zaznaczyć, Ŝe badanie było realizowane na dosyć wczesnym etapie uruchamiania komponentu regionalnego PO KL, kiedy to jeszcze wiele procesów nie zostało w pełni uruchomionych. W efekcie rzeczywista weryfikacja sposobu działania zaprojektowanego systemu była utrudniona. Niemniej wydaje nam się, Ŝe duŝe doświadczenie samych respondentów, związane z wdraŝaniem programów operacyjnych w ramach wcześniejszej perspektywy finansowej, a takŝe analiza istniejących dokumentów, pozwoliły nam na pogłębioną i adekwatną ocenę istniejącego systemu zarządzania i kontroli. Zaznaczyć równieŝ naleŝy, Ŝe istniejący system stale ulega zmianom. Zmieniają się zarówno zasady określane przez Instytucję Zarządzającą, jak i procedury w IP i IP2, co jest wynikiem zmian na poziomie całego programu, przeprowadzonego audytu zgodności czy teŝ potrzeby ulepszania istniejących rozwiązań. Przykładowo, w trakcie badania udostępniono nam nowe procedury, opracowane w IP2, uwzględniające juŝ wyniki audytu zgodności. PoniewaŜ był to dokument jeszcze cały czas roboczy, mógł być tylko w ograniczonym stopniu wykorzystany w analizie. Badanie, ze względu na krótki okres realizacji, analizuje istniejący system w sposób statyczny, choć równocześnie naleŝy podkreślić, Ŝe wprowadzane zmiany są jedną ze zidentyfikowanych przyczyn jego niedoskonałości. Podsumowując naleŝy stwierdzić, Ŝe system spełnia wszystkie wymagania. W trakcie badania nie stwierdzono raŝących słabości. Przyjęte rozwiązania, przy zaangaŝowaniu dobrej i zmotywowanej kadry pracowników, mogą przynieść dobre efekty. Zostały jednak wskazane potencjalne ryzyka, które mogą, przy duŝym obciąŝeniu pracą, spowodować istotne obniŝenie sprawności całego systemu. Wskazane teŝ zostały obszary, które wymagają zdecydowanej poprawy systemu, co umoŝliwi zwiększenia jego adekwatności, efektywności, skuteczności i uŝyteczności. 11

13 Executive summary The purpose of this report is to present the results of evaluation of the management and implementation system for the Human Capital Operational Programme (HC OP) in the Opolskie Voivodeship that was conducted in the period of May-July 2008 by PDSB sp. z o.o. upon the request from the Marshall's Office of the Opolskie Voivodeship. The study covered institutions that were involved in the process of implementing the HC OP in the Opolskie Voivodeship: the Marshall's Office of the Opolskie Voivodeship (MOOV), acting on the behalf of the Voivodeship Board as the Intermediate Body (IB); the study concerned the Department for the Co-ordination of Operational Programmes, the Voivodeship Labour Office (VLO), acting as the Level 2 Intermediate Body (IB2). Detailed objectives of the study are: C.4. To evaluate the functionality of the human resources management system in the IB and IB2 in the context of tasks implemented under the HC OP (the regional component). C.5. To assess the effectiveness of communication and co-operation among people and structures operating within the institutions involved in the implementation of the HC OP. C.6. To evaluate the suitability of procedures that were designed and the effectiveness of procedures that have been used so far in the process of implementing the HC OP in the region. Having achieved the objectives listed above allowed to formulate answers to four key questions: 1. Is there a danger that adverse occurrences may arise in the IB and IB2 within the framework of the system for management and implementation of the HC OP (the regional component)? 2. If so, is it possible to identify the causes of these occurrences? 3. What solutions for improving the activities implemented in the IB and IB2 at the regional level may be introduced as replacements for the identified weak points? 4. Is it possible to improve the efficiency and effectiveness of the management system? The following research methods were used in the study: Document analysis (desk research) - the analysis covered documents that define the management and control system, prepared by the Managing Authority (MA), IB and IB2, as well as the documentation of a sample of the projects, Individual Deepened Interviews (IDI) - 14 interviews were conducted with key persons involved in the management and control system for the HC OP, including two interviews with persons employed on the position of director and twelve interviews with persons responsible for managing the units of the IB and IB2. Focus Group Interview (FGI) - the interview was conducted with the members of the Project Evaluation Committee within the IB2,whereas their objective was to analyse the competition procedure. Computer Assisted Web Interviews (CAWI) - they were conducted with all the members of the IB and IB2. SWOT Analysis - it was conducted in the form of a one-day seminar attended by all key persons involved in the implementation of the HC OP at the regional level. Below presented are the main conclusions of the study. The conclusions are presented in accordance with the structure of the report. At the beginning the results of the analysis of the assumed institutional system are presented, including the division of tasks between the IB and IB2 and the internal work organisation in these two institutions. The next element was the analysis of the human resources management process in both of these bodies. The next part was devoted to the issues of communication, both internal and external, whereas the last part presents the results of the analysis of the assumed procedures. Due to the relatively early stage of the programme implementation only few processes could be traced fully. It was possible to do so, however, in the case of the competition procedure. This is justified to the extent that this element of the 12

14 management and control system concentrates, like a lens, all weaknesses and strengths of employed solutions. That is why a separate subsection of the report was devoted to this issue. At the end a summary of the SWOT analysis was presented. The general division of tasks within the framework of the management and control system of the regional component is correct. Doubts arise when specific, detailed procedures or work practices of the two bodies are analysed. At this stage there appears a risk that the engagement of the IB in the on-going implementation of the programme is too large, which may significantly decrease the efficiency and effectiveness of the entire system. If each of the bodies focused on tasks assigned to a specific level of management and implementation of the programme, the workload in each of them would decrease, which would resolve the problem that the SWOT analysis revealed to be the major one in each of these bodies. In each of the bodies the work is organised on the basis of functional division, which is justified by the logic of the office and the established HC OP management and implementation system, based on the process approach. This requires to designate specialised units that will be responsible for individual elements of this process. The results of the study show, however, that the developed management structure is not optimal. Key tasks are concentrated is a single unit, in both the IB and the IB2. As a result, both of these units, i.e. the ESF department in the IB and the ESF Implementation Department in the IB2, are relatively large. This means that it is necessary to designate sub-units within these units, which extends the decision process and causes problems in communication. Flattening this structure could facilitate work. This applies in particular to the Voivodeship Labour Office, which has been growing dynamically and where the organisation of work should be adapted to changing circumstances. The current level of employment in the IB and IB2 allows them to execute tasks that they are assigned, but in the perspective of the next 12 months it is necessary, especially in the case of the IB2, to hire additional staff. In the IB the most difficult situation is observed in the section that selects applications, where at the present moment actually only one person works. The human resources management system that is currently in place does not allow to flexibly react to changes in the circumstances around the implementation of the programme. The preferred approach in both of the bodies is that employees specialise in specific issues. Particularly in the IB2 the dominating approach is to hire enough staff to allow each two employees to be substituted by one another in case that one of them is absent, instead of planning the professional development of the staff in a manner that would allow them to move from less busy units to units that are under greater workload. In the IB it was also pointed out that the number of people employed in specific organisational units depends greatly on the possibilities of financing these units from the technical assistance available in the programme. That is why it is often the case that only 1 person in a specific unit handles the HC OP. It has to be emphasized that making the management structure more rigid results from recommendations formulated during the compliance audit. At the current moment the process of resignation and movement of staff involved in the process of implementing the HC OP (regional component) in the IB and IB2 does not affect the level implementation of tasks assigned. However, especially in the case of the IB2, unsatisfactory remuneration may be a threat, as it may cause employees to resign from their positions. This in turn may significantly hinder the implementation of the HC OP in the region when it enters the final stage. It is also worth to emphasize that according to the staff the level of rotation is higher than in reality. In the future this may cause the problem of staff rotation to become more severe, on the basis of the principle of self-fulfilling prophecy. The qualifications and experience of the staff employed in the IB and IB2 are adequate to the assigned tasks. It has to be noted, however, that there are more people experienced in the field of ESFs in the IB2 than in the IB. Apart from that people sought for and hired recently by the IB and IB2 have especially knowledge and experience on certain specific needs of the IB and IB2, such as finances, social assistance or education, rather than in the field of the EFS itself. Neither of the two bodies has a systematic and integrated approach to the training policy. They also do not co-operate with each other in this field to a satisfactory extent. This is partly explained by the fact that each of them has separate funds allocated for this purpose within the framework of technical assistance. On the other hand, however, since the IB2 submits its training schedule to the IB, it would be worth to use this knowledge and plan joint training courses for the employees of both the IB and the IB2 as well. This approach could also improve the exchange of information among the employees of both of these bodies and make the organisation of training courses more effective in terms of financing. The study did not reveal the presence of any system for evaluating 13

15 training courses that the employees have attended. A strong point in this regard is the fact that in both the IB and the IB2 specific units responsible for training were identified. The current training system does not allow to explicitly state that it is adequate to the needs of the employees and the tasks resulting from the Programme, as in both of the bodies there is no common practice of having employees and their direct superiors diagnose training needs. When it comes to the motivating system, the instruments being in place, i.e. rewards, bonuses, opportunities of additional education financed by the employer and promotions, satisfy the needs of the staff. From the point of view of the tasks being implemented an element that is significant, but not used regularly, is periodic performance appraisal. In the Intermediate Body internal communication is quite efficient, which results from the relatively small number of employees and the small share of newly hired and inexperienced personnel. Communication is much easier and more effective when two persons communicating with each other have a common frame of reference and share the same view on certain matters. If this is the case then even if mechanisms that are intended to facilitate communication are not extensive, processes are not disturbed. The situation in the Level 2 Intermediate Body is different. In the study carried out using CAWI the employees indicated that communication processes are not very efficient. The employees do not have full knowledge about what is happening in other units, which means that they do not have a comprehensive view on processes that they participate in. This applies mainly to new employees who have worked in the Voivodeship Labour Office for less than a year and do not have experience in implementing other operational programmes. One of the reasons for this is the fact that new employees do not receive an appropriate training package that would prepare them fully for performing their new duties. Communication between the IB and the IB2 looks similarly from the perspective of each of these institutions. The employees of each of them have objections regarding the current state of cooperation. The IB would like the IB2 to provide more precise information in a shorter time, whereas the IB2 expects support from the IB in solving problematic issues. The expectations of the IB and IB2 are entirely justified, therefore common means of communication should be developed. Otherwise, the implementation of the regional component of the HC OP may be less effective. There are solutions, however, that should be continued and applied in areas other than monitoring, management or financing. Representatives of both of the bodies should form workgroups that would be able to jointly agree on issues from specific areas. A large limitation of the communication between the IB and IB2 is the fact that standpoints have to be agreed on at least at the level of managers. This approach limits, and most of all slows down, the flow of information between the two bodies. A part of the decision-making authority should be shifted onto employees. The IB and IB2 do not communicate with the MA as they should. The employees of the IB2 are unable to obtain all the information from the IB, therefore they contact the Managing Authority. Some of experienced employees have already co-operated with the Ministry of Regional Development during the implementation of the SOP HRD (Sectoral Operational Programme Human Resources Development), therefore they know where to obtain information that they need for their work. The MA, on the other hand, is not consistent in its contact with the IB and IB2 because it did not adopt a uniform method of communicating with these bodies, which results in events where a letter from the MA is submitted to the IB or the IB2 only, sometimes also to both of these bodies. The employees confirmed this state of affairs in individual interviews. Consequently, the two institutions (the IB and IB2) are not always well informed. A good practice, on the other hand, is that representatives of both the IB and the IB2 participate in meetings organized by the MA, which results in by-passing one link in the communication process. The relations between the IB and the IB2 are hierarchical. The IB2 regards the IB as its superior that controls and verifies all tasks initiated by the IB2. The IB also defines its responsibilities in that way. This approach may slow down communication processes, but developing common solutions in this field may reduce potential threats. The existing procedural solutions are constantly evolving. This results from changes in the principles of implementing the HC OP, which are defined by the MA, simplifications and improvements introduced in the system, and finally inspections and audits, especially the compliance assessment. Particularly this last component has a significant effect on the shapes of procedures, but in our opinion this effect is sometimes adverse. 14

16 The study concerned procedures that were in place during the study. In general, they have to be evaluated positively. They define the shapes of the most important processes in a relatively simple and clear manner. The employees of both of the bodies evaluated them similarly. At the same time this generally positive evaluation does not preclude changes or improvements. Apart from issues described in section 3.1, such as the division of tasks between the IB and the IB2 or the organisation of work in these bodies, there are three other matters that have to be noted. Firstly, the issue of analysing risks in each of the bodies should be regulated. Next, it should be implemented in a manner that would be actually helpful in identifying potential risks. Therefore it seems reasonable that internal auditors should support the staff in carrying out this task, but they should not complete it on their own. Another issue is associated with IT systems. As indicated before, the efficiency and effectiveness of the entire system will greatly depend on efficient IT systems. A detailed analysis of the employed IT solutions was not the subject of this study, but the results of the study clearly indicate that it is required to quickly launch both the national (KSI) and the local (LSI) information systems and to define in detail what data should be collected within them and how they will be managed. It is required to strengthen solutions relevant to the management of non-compliances - from detection through collection and notification to monitoring the status of works. It is also worth to notice that the knowledge of the employees of each of the two bodies on the applicable procedures is relatively poor. This concerns mainly solutions related to non-compliances and control. The competition procedure is efficient and effective, but certain errors are made in applying it, e.g. there are flaws in the process of preparing the members of the Project Evaluation Committee to fulfilling their roles. Objections arise also in connection with certain organisational solutions employed, which reduce the efficiency and effectiveness of the system. Particularly questionable is the involvement of the IB in the process of selecting projects, which unnecessarily extends the whole procedure. At this point it is worth to emphasize the positive influence of the appeal procedure. The mere fact that project promoters have a possibility to appeal against the decisions of the Project Evaluation Committee motivates the members of this Committee to evaluate applications for co-financing in a reliable manner and to precisely justify awarded scores. The SWOT analysis that was conducted confirmed many of the previous observations made using quantitative and qualitative research tools. It also brought new findings to the study, thus allowing to have a better understanding of the real strengths and weaknesses of the existing system, as well as challenges that it faces. It should be emphasized that the critical system components that were identified, i.e. the weakest strengths and the weakest strengths, are tightly connected. The constantly changing principles of implementing the HC OP and the excessive workload in each of the bodies increase the risk that the quality of work at each of the bodies will deteriorate, which may in turn result in deterioration of the relations that the IB and IB2 has with its environment, i.e. the MA and beneficiaries. It may also result in a failure to achieve the objectives of the programme, which will reduce the contribution of the EFS to the improvement of the situation on the regional labour market. Both the IB and the IB2 have a limited influence on the changeability of the principles of implementing the programme, as they are defined to a large extent on the national level. That is why the most reasonable strategy is to factor the risk of changes in the management and control system and to construct the system flexibly enough to facilitate relatively easy adaptation thereof to changes. The IB and IB2 also have limited possibilities to exert influence on contacts with the MA. In this respect a large portion of responsibility lies with the Ministry of Regional Development. It seems therefore that the key component of the management and control system that should be worked on is the problem of excessive staff workload. This is significant to the extent that this issue was also emphasized very strongly in the questionnaire studies. The evaluator believes that in this context it is of key importance to look for methods of organising work that would maximize the effectiveness of managing available resources. That is why it is advisable to ensure that the tasks are clearly divided between the IB and the IB2 - in order to avoid situations where the IB engages in the process of on-going implementation, engaging the time of the employees of the IB and IB2. It is important do delegate competences associated with the selection of projects to the IB2 and to reduce the obligations related to notification to essential managerial information. On the 15

17 other hand the IB should increase its involvement in searching for systemic solutions, in order to support the IB2 as much as possible in everyday implementation of the programme. It is beyond all doubt that organisational changes in each of the bodies - delegating the largest possible range of tasks downwards to regular employees and flattening the managerial structure - will contribute to increasing the work effectiveness. In order to implement such solutions it is essential to have a coherent and well thought-out training policy and to care about good external and internal communication. The Evaluation was conducted between May and July Impressing involvement of employees of both institutions in research process and readiness to assistants, by participation in individual interviews, group interview and unexpected high response rate in case of internet interview and providing necessary documents, should be underlined. All these elements prove good understanding of main idea of research among employees. As an results we didn t meet any problems in reaching all persons and documents. It should be also stressed that evaluation was conducted at the relatively early stage of launching of regional component of the HC OP, when many of processes were not fully activated. As an effect real verification of designed system was difficult. Nevertheless it seems, that huge experience of respondents of the research, coming from implementation of programmes in the frame of last financial perspective, and analysis of existing documents, let us formulate deep and adequate evaluation of existing system of management and control. It should be also stress that existing system is permanently changed. Both principles designed by Managing authority and IB and IB2 procedures are changing, what is a result of modifications made at the level of whole Programme, compliance assessment and permanent improvements of the system. For example, during evaluation new version of IB2 procedures was provided, which includes results of compliance assessment. Because it was still working documents, it could be only in limited scope used for evaluation purposes. In the frame of evaluation, due to short time for research, existing system was analyze in static approach, however introduced modification to the system are identified as one of main weaknesses. To recapitulate, it has to be stated that the system satisfies all the requirements. No gross noncompliances were found during the study. The adopted solutions can yield good results, provided that good, motivated staff is engaged. However, several potential risks were identified, which may significantly reduce the efficiency of the entire system under heavy workload. Also, the study indicated areas of the system that require firm improvement in order to increase the adequacy, effectiveness, efficiency and usability of the system. 16

18 1 Wprowadzenie Niniejszy raport ma na celu przedstawienie wyników ewaluacji systemu zarządzania i wdraŝania Programu Operacyjnego Kapitał Ludzki (PO KL) w województwie opolskim, przeprowadzonego w okresie maj lipiec 2008 r. przez firmę PSDB sp. z o.o. na zlecenie Urzędu Marszałkowskiego Województwa Opolskiego. Badaniem zostały objęte instytucje zaangaŝowane w proces wdraŝania PO KL w województwie opolskim: Urząd Marszałkowski Województwa Opolskiego (UMWO), pełniący w imieniu Zarządu Województwa Opolskiego rolę Instytucji Pośredniczącej (IP); przy czym analizie poddany został Departament Koordynacji Programów Operacyjnych (DPO), Wojewódzki Urząd Pracy (WUP), pełniący rolę Instytucji Pośredniczącej II stopnia (IP2). Badanie dotyczyło zaprojektowanego w regionie systemu instytucjonalnego, czyli podziału zadań pomiędzy zaangaŝowane instytucje, przyjętych rozwiązań organizacyjnych w obu instytucjach, ilości i jakości zasobów ludzkich, kwestii komunikacji zarówno pomiędzy obydwoma instytucjami, jak i w ramach kaŝdej z nich, a takŝe procedur wewnętrznych, określających sposób realizacji wyznaczonych zadań. Dodatkowo w ramach badania analizie poddana została procedura konkursowa wyboru projektów oraz procedura odwoławcza, pod kątem ich trafności, adekwatności i efektywności. Przedmiotem badania był system zarządzania i wdraŝania w IP oraz IP2. Jednak ze względu na zapisy Rozporządzenia Rady (WE) nr 1083/2006, gdzie mowa jest o systemie zarządzania i kontroli (Tytułu VI, Rozdział I tego rozporządzenia), proponujemy, w celu zapewnienia spójności terminologicznej, w ramach całego badania posługiwać się terminem system zarządzania i kontroli. Zmiana ta nie wpływa w Ŝaden sposób na zakres merytoryczny badania. Głównym celem badania była ocena funkcjonowania systemu zarządzania i kontroli w Instytucji Pośredniczącej i Instytucji Pośredniczącej II stopnia w ramach PO KL w województwie opolskim oraz wypracowanie propozycji usprawnień w zakresie funkcjonalności i prawidłowości koordynacji zadań głównie pomiędzy tymi instytucjami, jak równieŝ w ich obrębie. Cele szczegółowe badania to: C.1. C.2. C.3. Ocena funkcjonalności systemu zarządzania zasobami ludzkimi w IP i IP2 w aspekcie realizowanych zadań w ramach PO KL (komponent regionalny). Analiza skuteczności procesu komunikacji i współpracy osób i struktur w instytucjach zaangaŝowanych we wdraŝanie PO KL. Ocena adekwatności procedur zaprojektowanych i skuteczności procedur dotychczas zastosowanych w procesie wdraŝania PO KL w regionie. Realizacja powyŝszych celów szczegółowych badania pozwoliła na sformułowanie odpowiedzi na cztery kluczowe pytania: 1. Czy istnieje zagroŝenie wystąpienie w IP i IP2 negatywnych zjawisk w obrębie systemu zarządzania i wdraŝania PO KL (komponent regionalny)? 2. Jeśli tak, to czy moŝliwa jest identyfikacja przyczyn występowania tych zjawisk? 3. Jakie rozwiązania usprawniające działania realizowane w ramach IP i IP2 na poziomie regionu mogą być wprowadzone w miejsce zidentyfikowanych słabych punktów? 4. Czy istnieją moŝliwości zwiększenia skuteczności i efektywności systemu zarządzania? Dzięki realizacji badania moŝliwe było zgromadzenie wiedzy, która umoŝliwiła rozpoznanie niepoŝądanych zjawisk, wskazanie ich źródeł oraz zaproponowanie działań naprawczych moŝliwych do zastosowania w okresie programowania NaleŜy jednak zaznaczyć, Ŝe duŝa część rozwiązań przyjętych na poziomie regionalnym jest efektem kształtu całego systemu zarządzania PO KL, określanym na poziomie krajowym. Stąd moŝliwości władz regionalnych są do pewnego stopnia ograniczone. 17

19 Opisane powyŝej ujęcie problematyki badawczej spowodowało, Ŝe w niniejszym raporcie koncentrujemy się głównie na słabościach przyjętego systemu zarządzania i kontroli, pomijając lub tylko zaznaczając istniejące pozytywne elementy tego systemu. Dlatego teŝ konieczne jest podkreślenie, Ŝe ogólna ocena stworzonego w województwie opolskim systemu zarządzania i kontroli jest pozytywna. System spełnia wszystkie wymagania. W trakcie badania nie stwierdzono raŝących słabości. Przyjęte rozwiązania, przy zaangaŝowaniu dobrej i zmotywowanej kadry pracowników, mogą przynieść dobre efekty. Zostały jednak wskazane potencjalne ryzyka, które mogą, przy duŝym obciąŝeni pracą, spowodować istotne obniŝenie sprawności całego systemu. Wskazane teŝ zostały obszary, które wymagają zdecydowanej poprawy systemu, co umoŝliwi zwiększenia jego adekwatności, efektywności, skuteczności i uŝyteczności. Badanie było realizowane z wykorzystaniem zarówno jakościowych, jak i ilościowych metod badawczych. Wstępem do badania była analiza dokumentów opisujących zarówno wymagania wobec systemu zarządzania i kontroli komponentu regionalnego PO KL, jak i przyjęte rozwiązania. Wiedza zdobyta na podstawie analizy dokumentów została rozwinięta dzięki przeprowadzonym wywiadom indywidualnym z 14 kluczowymi osobami, zaangaŝowanym w proces wdraŝania i kontroli PO KL. Badanie obejmowało takŝe zebranie opinii wszystkich pracowników IP i IP2 na temat istniejącego systemu zarządzania zasobami ludzkimi, mechanizmów komunikacji zewnętrznej i wewnętrznej, istniejących procedur oraz ich znajomości. Badanie zostało przeprowadzone metodą ankiety internetowej (CAWI). W celu zbadania efektywności procedury konkursowej i procedury odwoławczej został przeprowadzony wywiad grupowy (Focus) z członkami Komisji Oceny Projektów (KOP). Badanie objęło sporządzenie analizy ścieŝki krytycznej, co pozwoliło na identyfikacje najbardziej krytycznych elementów w całym systemie. W ramach badania została wykonana analiza SWOT, przeprowadzona w formie seminarium z kluczowymi osobami uczestniczącymi w systemie zarządzania i kontroli. Badanie było realizowane w okresie maj lipiec 2008 r. NaleŜy podkreślić duŝe zaangaŝowanie pracowników obu instytucji w proces badawczy i gotowość do pomocy w realizacji badania, zarówno poprzez uczestnictwo w wywiadach indywidualnych, wywiadzie grupowym, niezwykle liczne odpowiedzi na ankietę internetową, ale takŝe w dostarczaniu niezbędnych dokumentów. Wszystkie te elementy świadczą o dobrym rozumieniu idei badania przez pracowników. W efekcie w trakcie badania nie napotkaliśmy na Ŝadne problemy z dotarciem do osób lub dokumentów. Równocześnie naleŝy zaznaczyć, Ŝe badanie było realizowane na dosyć wczesnym etapie uruchamiania komponentu regionalnego PO KL, kiedy to jeszcze wiele procesów nie zostało w pełni uruchomionych. W efekcie rzeczywista weryfikacja sposobu działania zaprojektowanego systemu była utrudniona. Niemniej wydaje nam się, Ŝe duŝe doświadczenie samych respondentów, związane z wdraŝaniem programów operacyjnych w ramach wcześniejszej perspektywy finansowej, a takŝe analiza istniejących dokumentów, pozwoliły nam na pogłębioną i adekwatną ocenę istniejącego systemu zarządzania i kontroli. Zaznaczyć równieŝ naleŝy, Ŝe istniejący system stale ulega zmianom. Zmieniają się zarówno zasady określane przez Instytucję Zarządzającą (IZ), jak i procedury w IP i IP2, co jest wynikiem zmian na poziomie całego programu, przeprowadzonego audytu zgodności czy teŝ potrzeby ulepszania istniejących rozwiązań. Przykładowo, w trakcie badania udostępniono nam nowe procedury, opracowane w IP2, uwzględniające juŝ wyniki audytu zgodności. PoniewaŜ był to dokument jeszcze cały czas roboczy, mógł być tylko w ograniczonym stopniu wykorzystany w analizie. Badanie, ze względu na krótki okres realizacji, analizuje istniejący system w sposób statyczny, choć równocześnie naleŝy podkreślić, Ŝe wprowadzane zmiany są jedną ze zidentyfikowanych przyczyn jego niedoskonałości. 18

20 2 Opis metodologii oraz źródeł informacji wykorzystanych w badaniu W celu uzyskania wiarygodnych wyników ewaluacji i udzielenia wyczerpującej odpowiedzi na załoŝone pytania badawcze, niezbędne było przeprowadzenie wieloetapowego badania i połączenie róŝnorodnych rodzajów danych oraz róŝnorodnych metod badawczych, czyli zastosowanie triangulacji metodologicznej. Takie podejście umoŝliwia wieloaspektową obserwację i analizę przedmiotu badania, a w konsekwencji udzielenie odpowiedzi na poszczególne pytania badawcze z róŝnych punktów widzenia, które wzajemnie się uzupełniają i weryfikują. Została zastosowana: triangulacja źródeł danych: przeanalizowane zostały zarówno dokumenty zastane, takie jak strategiczne dokumenty wspólnotowe, krajowe i regionalne, dokumenty wewnętrzne IP i IP2, a takŝe wyniki wcześniej realizowanych ewaluacji, takich jak Ocena systemu zarządzania i wdraŝania Sektorowego Programu Operacyjnego Rozwój Zasobów Ludzkich , Optymalny system wdraŝania priorytetów regionalnych Programu Operacyjnego Kapitał Ludzki, jak i dane wywołane (wyniki wywiadów indywidualnych, wyniki CAWI) triangulacja metod badawczych: łączenie róŝnych metod badawczych w badaniu tych samych zagadnień, co pozwoliło na uchwycenie róŝnych aspektów badanego przedmiotu (zastosowano szerokie spektrum metod badawczych: analizę dokumentów wywiady indywidualne, CAWI, analizę SWOT, analizę ścieŝki krytycznej), podejście to pozwoliło teŝ wykorzystać mocne strony kaŝdej metody przy wzajemnej neutralizacji ich słabości; triangulacja perspektyw badawczych: ewaluacja została przeprowadzona przez zespół badaczy, nie przez jedną osobę, co pozwoliło uzyskać bogatszy i bardziej wiarygodny obraz badanego przedmiotu. 2.1 Metody i techniki badawcze W celu uzyskania pełnej i wiarygodnej odpowiedzi na postawione pytania badawcze, wykorzystano następujące metody badawcze: Analiza dokumentów (desk research), Pogłębione wywiady indywidualne (IDI), Wywiad grupowy (Focus), Internetowy wywiad kwestionariuszowy (CAWI), Analiza SWOT, Analiza ścieŝki krytycznej Analiza dokumentów Analiza dokumentów programowych odnoszących się do okresu programowania stanowiła kluczowy element pierwszego etapu badania, polegający na identyfikacji oraz analizie procesów zachodzących w ramach systemu zarządzania i kontroli PO KL na poziomie regionalnym. Analizie poddane zostały następujące dokumenty: a. Referencyjne dokumenty wspólnotowe: Rozporządzenie (WE) nr 1083/2006 Parlamentu Europejskiego i Rady z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylające rozporządzenie Rady (WE) nr 1260/