Badanie ewaluacyjne współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

Transkrypt

1 BADANIE EWALUACYJNE: Projekty systemowe komponentu regionalnego realizowane przez Instytucję Pośredniczącą PO KL. RAPORT KOŃCOWY - PROJEKT opracowany dla Urzędu Marszałkowskiego w Łodzi w ramach zamówienia publicznego Znak sprawy: OR.VII /10 ASM Centrum Badań i Analiz Rynku Sp. z o.o. Kutno, grudzień z 107

2 SPIS TREŚCI SPIS TREŚCI... 2 WYKAZ SKRÓTÓW... 3 STRESZCZENIE... 4 SUMMARY WPROWADZENIE I. OPIS METODOLOGII BADANIA Cele i zarys problematyki ewaluacji Kryteria ewaluacyjne Metody i techniki badawcze Analiza Danych Zastanych Desk Research Analiza SWOT Standaryzowane Wywiady Telefoniczne (CATI) Zogniskowany Wywiad Grupowy (FGI) Panel Ekspercki (EP) spotkania z zamawiającym Indywidualne Wywiady Pogłębione (IDI) III OPIS WYNIKÓW BADANIA Uwarunkowania prawne i organizacyjne dla projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim Projekty systemowe realizowane w ramach Priorytetu VIII i IX PO KL w woj. łódzkim Projekty systemowe realizowane w ramach Priorytetu VIII PO KL Projekty systemowe realizowane w ramach Priorytetu IX PO KL Projekty systemowe realizowane w ramach Priorytetu VIII i IX PO KL w woj. łódzkim w kontekście polityki regionalnego woj. łódzkiego Ocena projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim Ocena projektów systemowych w kontekście potrzeb woj. łódzkiego w zakresie przewidywania zmiany gospodarczej Ocena projektów systemowych w kontekście potrzeb woj. łódzkiego w zakresie transferu wiedzy i innowacyjności Ocena projektów systemowych w kontekście potrzeb woj. łódzkiego w zakresie pomocy stypendialnej dla uczniów szczególnie uzdolnionych Ocena systemu zarządzania projektami systemowymi realizowanymi w ramach Priorytetu VIII i IX PO KL w woj. łódzkim Ocena funkcjonalności systemu zarządzania zasobami ludzkimi Ocena procesu komunikacji i współpracy osób i struktur zaangażowanych w realizację projektów systemowych Ocena adekwatności aktualnego systemu procedur do realizacji projektów systemowych.. 85 PODSUMOWANIE TABELA WNIOSKÓW I REKOMENDACJI ZAŁĄCZNIKI Scenariusz badania Mini FGI I Scenariusz badania Mini FGI II Scenariusz badania Mini FGI III Scenariusz badania IDI Kwestionariusz badania CATI z 107

3 WYKAZ SKRÓTÓW EFS Europejski Fundusz Społeczny PO KL Program Operacyjny Kapitał Ludzki RPO Regionalny Program Operacyjny Województwa Łódzkiego UM IZ IP PKM POKL RSI GOW SzOP CATI FGI IDI SIWZ Urząd Marszałkowski Instytucja Zarządzająca Ministerstwo Rozwoju Regionalnego (MRR) Instytucja Pośrednicząca Urząd Marszałkowski Województwa Łódzkiego Podkomitet Monitorujący PO KL Regionalna Strategia Innowacji Województwa Łódzkiego Gospodarka Oparta na Wiedzy Szczegółowy Opis Priorytetów PO KL (Computer Assisted Telephone Interviewing) - CATI Standaryzowany wywiad telefoniczny (Focus Group Interview - FGI) - Zogniskowany Wywiad Grupowy (Individual In-Depth Interview IDI) Indywidualny Wywiad Pogłębiony Specyfikacja Istotnych Warunków Zamówienia 3 z 107

4 STRESZCZENIE Badanie ewaluacyjne pt. Projekty systemowe komponentu regionalnego realizowane przez Instytucję Pośredniczącą PO KL zostało zrealizowane przez zespół badawczy Instytutu ASM Centrum Badań i Analiz Rynku Sp z o.o. na zlecenie Urzędu Marszałkowskiego w Łodzi w IV kwartale 2010r. Głównym celem ewaluacji była ocena skuteczności systemu sprawozdawczości wewnętrznej zbadanie trafności i adekwatności projektów systemowych realizowanych przez Instytucję Pośredniczącą PO KL do potrzeb województwa łódzkiego oraz dostosowanie struktur organizacyjnych i zarządczych do sprawnej realizacji tych projektów. Realizacja celu głównego została osiągnięta poprzez szereg badań i analiz prowadzonych w obszarze wytyczonym przez dwa cele szczegółowe: I. Ocena realizowanych projektów systemowych pod kątem potrzeb województwa w zakresie przewidywania zmiany gospodarczej oraz transferu wiedzy (budowania Regionalnej Strategii Innowacji) oraz pomocy stypendialnej dla uczniów szczególnie uzdolnionych. II. Ocena sposobów realizowania, zarządzania oraz wdrażania projektów systemowych wraz z identyfikacją słabych i mocnych stron. Dla osiągnięcia wytyczonych celów została opracowana odpowiednia metodologia badawcza adekwatna do ewaluacji typu on-going z wykorzystaniem rekomendowanej przez instytucje UE triangulacji metodologicznej polegającej na zróżnicowaniu metod gromadzenia i analizy danych, perspektyw badawczych oraz źródeł danych. Zastosowanie triangulacji metodologicznej pozwoliło zoptymalizować proces badawczy poprzez wykorzystanie wzajemnie uzupełniających się instrumentów badawczych, co w konsekwencji doprowadziło do uzyskania rzetelnych informacji sformułowanych w oparciu o kompleksowe i komplementarne działania badawcze. Kompleksowość uzyskiwanych informacji wynikała w znacznej mierze z różnorodności wykorzystywanych metod i technik badawczych. W pierwszej i ostatniej fazie ewaluacji zostały wykorzystane techniki właściwe dla badań wtórnych: 1. Analiza Danych Zastanych 2. Analiza SWOT 4 z 107

5 Następnie przeprowadzono badania pierwotne z wykorzystaniem technik badawczych właściwych dla badań ilościowych i jakościowych t.j. 1. Standaryzowane wywiady telefoniczne - CATI 2. Zogniskowane wywiady grupowe - FGI 3. Indywidualne wywiady pogłębione - IDI 4. Panel ekspercki Wyniki prowadzonych analiz zostały uporządkowane w pięciu rozdziałach badawczych odpowiadających przedmiotowi badania: 1. Uwarunkowania prawne i organizacyjne dla projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. 2. Projekty systemowe realizowane w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. 3. Projekty systemowe realizowane w ramach Priorytetu VIII i IX PO KL w woj. łódzkim w kontekście polityki regionalnej woj. łódzkiego. 4. Ocena projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. 5. Ocena systemu zarządzania projektami systemowymi realizowanymi w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. W pierwszym z wymienionych rozdziałów analitycznych został przedstawiony kontekst prawny i organizacyjny problematyki badania wynikający z aktualnych krajowych i regionalnych dokumentów programowych i operacyjnych opisujących założenia i cele projektów systemowych wdrażanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. Znalazły się tam również informacje opisujące zasady przygotowania i wyboru projektów systemowych oraz prezentujące poszczególne komórki organizacyjne Urzędu Marszałkowskiego w Łodzi zaangażowane we wdrażanie projektów systemowych zarówno po stronie Instytucji Pośredniczącej nadzorującej i rozliczającej te projekty, jak również beneficjentów zajmujących się ich przygotowaniem i realizacją. W kolejnym rozdziale zostały zaprezentowane główne założenia, rezultaty, działania i grupy docelowe poszczególnych projekty systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w Urzędzie Marszałkowskim w Łodzi 5 z 107

6 Następnie poszczególne projekty systemowe zostały ocenione pod kątem adekwatności do potrzeb woj. łódzkiego w trzech zakresach wynikających z pierwszego celu szczegółowego badania, czyli: Przewidywania zmiany gospodarczej, Transferu wiedzy i budowania Regionalnej Strategii Innowacji, Pomocy stypendialnej dla uczniów szczególnie uzdolnionych. W zakresie przewidywania zmiany gospodarczej zostały ocenione dwa projekty systemowe realizowane w ramach Poddziałania Strategiczna mapa regionu - badania regionu łódzkiego z opracowaniem scenariuszy rozwojowych 2. Wymiana informacji i promocja dotycząca przewidywania zmian gospodarczych w województwie łódzkim Ewaluatorzy uznali, że pierwszy z wymienionych projektów dostarcza szeregu istotnych informacji do procesu decyzyjnego dotyczącego procesu planowania strategicznego dla wszystkich organów samorządu terytorialnego w woj. łódzkim. Ponadto wartością dodaną projektu było zaktywizowanie lokalnych środowisk do strategicznego planowania rozwoju własnych miast i gmin. Podkreślono również, iż projekt jest komplementarny z innymi projektami systemowymi. Słabą stroną projektu jest ograniczenie predykcji do najbardziej prawdopodobnych kierunków rozwoju, co w znikomym stopniu może być wykorzystane dla budowy mechanizmów zarządzania mniej prawdopodobnymi zmianami gospodarczymi. Ponadto w projekcie zabrakło analizy potrzeb informacyjnych głównych interesariuszy projektu, czyli samorządów i potencjalnych inwestorów. Wartością pozytywną drugiego z wymienionych projektów był fakt jego komplementarności z innymi projektami systemowymi realizowanymi w tym obszarze oraz zgodność z założeniami Strategii Rozwoju Województwa Łódzkiego. Ewaluatorzy zwrócili uwagę na niższą efektywność realizacji dwóch odrębnych projektów, których rezultaty są ze sobą silnie powiązane względem jednego np. realizowanego w partnerstwie. W drugim z wymienionych obszarów oceniono 4 projekty systemowe realizowane w ramach Poddziałania Łódzka platforma transferu wiedzy 2. Aktualizacja RSI badania i monitoring 3. Kapitał innowacji Aktualizacja Regionalnej Strategii Innowacji dla województwa Łódzkiego 6 z 107

7 4. "Kapitał Innowacji Promocja i komunikacja Najbardziej pozytywnie zespół ewaluatorów ocenił pierwszy z wymienionych projektów. Do największych zalet projektu zaliczono mi. in: Wykorzystanie diagnozy barier rozwoju innowacyjności, przeprowadzoną w ramach Regionalnej Strategii Innowacji Województwa Łódzkiego. W zakres projektu włączono plan konsultacji z osobami i instytucjami zainteresowanymi jego rozwojem, co zwiększa szanse na udzielenie maksymalnie efektywnego i użytecznego wsparcia. Oryginalność projektu polegającą na opracowaniu narzędzia unikatowego w skali kraju, umożliwiającego powszechny dostęp do informacji dotyczących mechanizmów budowania gospodarki opartej na wiedzy zwłaszcza w obszarze B+R w zakresie kreowania i implementacji innowacji. Jednocześnie ewaluatorzy zwrócili uwagę, że pełny sukces projektu będzie uzależniony od realizacji innych projektów, których rezultaty mają być wykorzystywane w przedmiotowym projekcie. Ocena kolejnego projektu systemowego realizowanego w tym obszarze nie była już tak pozytywna. Ewaluatorzy zwrócili uwagę, że realizacja projektu, której cele było dostarczenie informacji do aktualizacji Regionalnej Strategii Innowacji była niezależna od prac związanych z przygotowaniem tego dokumentu, co mogło spowodować niedostosowanie projektu do autentycznych potrzeb informacyjnych zespołu ekspertów odpowiedzialnego za opracowanie aktualizacji RSI. Zakres prowadzonych analiz był bardzo szeroki, co może być atutem projektu, jednakże w odniesieniu do jego głównego celu jakim było dostarczenie danych niezbędnych do opracowania aktualizacji RSI istnieje ryzyko niskiej efektywności projektu ze względu na niedostosowanie i niewykorzystanie wszystkich zgromadzonych danych do tego celu. Pozytywnym rezultatem projektu jest jego komplementarność z innymi projektami zwłaszcza z omawianą uprzednio platformą transferu wiedzy, ponieważ dostarcza szerokiego zasobu informacji możliwych do powszechnego wykorzystania przez podmioty zainteresowane współpracą w zakresie wdrażania innowacji. W kolejnym z wymienionych projektów realizowanych w obszarze transferu wiedzy ewaluatorzy krytycznie ocenili brak badań diagnozujących potrzeby informacyjne poszczególnych grup docelowych oraz ich oczekiwania względem najbardziej adekwatnych form przekazu tychże informacji. Pozytywnie oceniono natomiast samo sprecyzowanie 7 z 107

8 opisu grup docelowych i dywersyfikację form przekazu dedykowanych dla tychże grup. Ponadto za dobry pomysł dla promocji dobrych praktyk w zakresie implementacji innowacji uznano zaplanowany w ramach tego projektu konkurs. Projekt stypendialny realizowany w ramach Poddziałania został pozytywnie oceniony w każdym aspekcie. Począwszy od solidnej diagnozy problemu w oparciu o stosowne ekspertyzy i opracowania, poprzez zachowanie zgodności z zapisami regionalnych dokumentów strategicznych oraz wynikającymi z nich potrzebami województwa, na oczekiwaniach adresatów projektu oraz ich pedagogów skończywszy. Jedyną niedoskonałością przedmiotowego projektu była duża dysproporcja pomiędzy istniejącymi potrzebami w tym zakresie a zakresem wsparcia oferowanego w ramach projektu. W kolejnym rozdziale znalazły się informacje ilustrujące komplementarność projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL z aktualnymi dokumentami strategicznymi i operacyjnymi decydującymi o kierunkach prowadzenia polityki regionalnej w województwie łódzkim. Ostatni z rozdziałów analitycznych poświęcony był ocenie aktualnego systemu zarządzania projektami systemowymi oraz współpracy osób i struktur zaangażowanych w Urzędzie Marszałkowskim w przygotowanie, realizację, rozliczanie i kontrolę projektów systemowych. Główne wnioski wynikające z przeprowadzanych analiz były skoncentrowane na 3 problemach: funkcjonalności systemu zarządzania zasobami ludzkimi, komunikacji i współpracy osób i struktur, adekwatności aktualnego systemu procedur do realizacji projektów systemowych. W aspekcie funkcjonalności systemu zarządzania ewaluatorzy zwrócili uwagę na potrzebę opracowania odpowiedniego systemu motywacyjnego regulującego przede wszystkim kwestie wynagrodzeń urzędników za pracę związaną z partycypacją w realizacji projektu systemowego, który zapobiegał by dużej fluktuacji kadr w UM. W zakresie komunikacji i współpracy osób i struktur zwrócono uwagę na organizację szeregu cyklicznych spotkań osób zaangażowanych w realizację projektów systemowych w celu wzajemnej wymiany doświadczeń i rozwiązywania pojawiających się problemów. Ewaluatorzy zwrócili uwagę na niski poziom adekwatności systemu procedur wewnętrznych Urzędu Marszałkowskiego do realizacji projektów systemowych, który w znacznym stopniu obniża efektywność i dynamikę realizowanych interwencji. Wąskim gardłem okazały się procedury związane z realizacją zamówień publicznych oraz rozliczeniami finansowymi. 8 z 107

9 Dla optymalizacji systemu procedur wewnętrznych UM dotyczących wdrażania projektów systemowych rekomendowano wypracowanie specjalnych ścieżek procedowania kluczowych procesów (zamówienia publiczne, finanse) dedykowanych dla tych projektów. 9 z 107

10 SUMMARY The evaluation study Systemic projects of the regional component realized by the Intermediate Body OP HC was conducted by ASM Market Research and Analysis Centre Ltd. on the commission of Marshal s Office of the Lodz Voivodship in the fourth quarter of The main goal of the evaluation was to scrutinize the aptness and adequacy of the systemic projects realized by the Intermediate Body OP HC to the needs of the Lodz Voivodship and the adjustment of the organizational and management structures to the efficient implementation of such projects. The realization of the main goal was achieved via the means of research and analyses conducted within the area determined by the two detailed objectives: I. Evaluation of the systemic projects in terms of the voivodship s needs in the field of the economic changes predictions and the knowledge transfer (the construction of the Regional Innovation Strategy) and the scholarship support for the exceptionally gifted students. II. Evaluation of the ways of systemic projects realization, management and implementation, along with the identification of their weak and strong points. In order to achieve the determined goals, an adequate to the on-going evaluation research methodology was selected. The European Union institutions suggest in such cases the use of the triangulation methodology, the main idea of which is to differentiate the methods of gathering data and their analysis, as well as the research perspectives and data sources. The implementation of the mentioned method permitted to optimize the research process through the use of mutually complemental research tools. Consequently, the gathered results were reliable and comprehensive. The complexity of the information should be linked to the variety of methods and research techniques used during the research process. In the first and final phase of the evaluation there were used techniques adequate to the secondary research: 1. Desk Research 2. SWOT Analysis. 10 z 107

11 Subsequently, the primary methods adequate to quntitive and qualitive were introduced, such as: 3. Computer-Assisted Telephone Interviewing - CATI 4. Focus Group Interviews FGI 5. In-Depth Interviews IDI 6. Expert Panel - EP The results of analyses were sequenced in five research chapters correspondent to the research subject: 1. Legal and organizational considerations for the systemic projects realized within OP HC Priorities VIII and IX in the Lodz Voivodship. 2. The systemic projects realized within OP HC Priorities VIII and IX in the Lodz Voivodship. 3. The systemic projects realized within OP HC Priorities VIII and IX in the Lodz Voivodship in terms of regional policy of the Lodz Voivodship. 4. The evaluation of systemic projects realized within OP HC Priorities VIII and IX in the Lodz Voivodship. 5. The evaluation of the systemic projects management within OP HC in the Lodz Voivodship. The first analytical chapter deals with the legal and organizational context of the research, which is linked to the current - national and regional programming and operational documents describing the assumptions and aims of the systemic projects implemented within OP HC Priorities VIII and IX in the Lodz Voivodship. Moreover, also in this part the information considering the rules of preparation and the choice of the systemic projects, subsequently with the descriptions of the organizational units of the Marshal s Office of the Lodz Voivodship are included. The mentioned institutions are responsible for the implementation of the systemic projects for both the Intermediate Body - engaged in project supervision and project accounting, and beneficiaries focused on projects preparation and realization. In the subsequent chapter, there were presented: the main assumptions, results, activities and target groups for the particular systemic projects realized within OP HC Priorities VIII and IX by the Marshal s Office of the Lodz Voivodship. 11 z 107

12 Subsequently, the mentioned projects were evaluated in terms of the Lodz Voivodship s needs taking into consideration the first detailed aim of the research, namely: The economic changes predictions, The knowledge transfer and the construction of the Regional Innovation Strategy, The scholarship support for the exceptionally gifted students. Within the economic changes predictions, two systemic projects were realized within Submeasure The strategic map of the region the study of the Lodz Voivodship along with the description of the scenario development 2. The exchange of information and promotion dealing with the economic changes predictions in the Lodz Voivodship The evaluators considered the first above mentioned project to be highly informative in terms of the decisive process regarding the strategic planning for all local government bodies in the Lodz Voivodship. Moreover, the additional value of the project was the activation of the local environment for strategic planning their own towns and municipalities. It was underlined that the project is complemental with other systemic projects. Undeniably, one of the disadvantages of the project is the limitation of the role of predictions and considering only to the most plausible ones. Consequently, such a policy prevents the construction of management mechanisms related to less probable economic changes. Furthermore, the project was devoid of the analysis of the information needs of the major social partners, namely the local self-governments and potential investors. The second project was praised for its complementarity with other systemic projects realized in the region in accordance with the assumptions of the Strategy Development for the Lodz Voivodship. Moreover, the evaluators noticed the lower efficiency of the realization of two separate projects, the results of which are interconnected, such as in the case of partnership. In the second of the mentioned fields, four systemic projects realized within Sub-measure were evaluated: 1. Lodz Knowledge Transfer Platform 2. The update of the Regional Innovation Strategy research and monitoring 3. Innovation Capital The update of the Regional Innovation Strategy for the Lodz Voivodship 4. Innovation Capital Promotion and communication 12 z 107

13 The team of evaluators assessed the first of the mentioned projects in the most positive manner. The main advantages of the project were: The use of the diagnosis of barriers regarding the development of innovation within the Regional Innovation Strategy for the Lodz Voivodship. In the scope of the project, the consultation with people and institutions interested in its development were also included. Such an activity permits to provide the most efficient and useful support. The originality of the project is related to the construction of a unique tool in the country. The novelty permits the universal access to information dealing with the economy construction based on the knowledge in the R&D field of creation and implementation of the innovation. Simultaneously, the evaluators noticed that the complete success of the project is dependent on the realization of other projects, the results of which are to be used in the relevant project. The evaluation of the subsequent project was not as positive as the first one. The evaluators noticed that the realization of the project might be inadequate to the information needs of the team of experts responsible for the update of the Regional Innovation Strategy. Such an insufficiency of the project is linked to the fact that the provision of information related to the update of the above mentioned strategy was independent from the preparation of the document. The scope of the analyses is considerably wide which also might be perceived as an advantage of the project. Nevertheless, the main goal of the project, namely the provision of information essential for the update of the Regional Innovation Strategy, might be endangered due to the fact that the amount and the type of data are simply inadequate and impossible to be used in their full scope. The advantage of the projects is its complementarity with other projects, especially with the one mentioned earlier - Lodz Knowledge Transfer Platform, since it provides a wide range of information, which might be used by the agents interested in the cooperation in the scope of the implementation of innovation. The third of the mentioned above projects was critically assessed because of the lack of the diagnostic research considering the information needs of the particular target groups, and consequently their expectations in terms of the more adequate forms of the transfer of the said information. Nevertheless, the project also received some positive opinions. 13 z 107

14 The advantages listed by the experts are: the precise description of target groups and the diversification of the transfer dedicated to this groups. Moreover, the organized contest within the projects was also regarded as a fine way of promoting the good practice in terms of the implementation of innovation. The scholarship project realized within Sub-measure was assessed positively in almost every aspect. The advantages of the venture are: the thorough analysis of the issue based on the expertise and the detailed description, the compliance of the provisions of the regional strategic documents, and thus the voivodship s needs, the expectations of projects addressees and finally the educators. The only deficiency of the project was the wide disproportion between the needs and the support offered within the project. The subsequent chapter includes information illustrating the complementarity of the systemic projects realized within Priorities VIII and IX OP HC with their current strategic and operational documents, which are decisive in terms of the direction of the regional policy in the Lodz Voivodship. The final analytical chapter is devoted to the current management system of the systemic projects, therefore the cooperation of people and structures working in Marshal s Office of the Lodz Voivodship and responsible for the systemic projects preparation, realization, accounting and finally their control. The main conclusions were drawn from the analyses and concentrated on 3 problematic areas: the system functionality in terms of human resources management, the communications and cooperation of people and structures, the adequacy of current procedure system related to the realization of the systemic projects. The evaluators noticed the need to compile the adequate motivation system controlling the issues of the officials remuneration related to their participation in the realization of the systemic projects. Such an activity would permit the prevention of the considerable fluctuation of the staff working in Marshal s Office of the Lodz Voivodship. The organization of regular meetings for people and structures engaged in the realization of the systemic projects, thus the possibility to exchange their experience and solutions to the encountered problems deserved also some special attention. Nevertheless, the evaluators noticed the low level of adequacy to the realization of the systemic projects related to the inner procedure system present in Marshal s Office of the Lodz Voivodship. Consequently, the efficiency and dynamism of the undertaken interventions is stifled. The 14 z 107

15 procedures related to the realization of the public contracts and the financial settlements appeared as substantial impediments. In order to optimize the inner procedure system related to the implementation of the systemic projects present in Marshal s Office of the Lodz Voivodship, it was recommended to locate and comply some special ways of dealing with the key processes (public contracts, financial settlement) dedicated to these projects. 15 z 107

16 WPROWADZENIE W Systemie Realizacji Programu Kapitał Ludzki 1 obok projektów realizowanych w trybie konkursowym przewidziano również realizację projektów systemowych. Projekty systemowe są jednym z instrumentów realizacji interwencji publicznych realizowanych zgodnie z art. 28 Ust. 1 pkt. 2 Ustawy o prowadzeniu polityki rozwoju z dnia 6 grudnia 2006 r. (Dz. U Nr 227, poz z późn. zm.). Na mocy tej ustawy projekty systemowe wykorzystywane są do realizacji zadań publicznych wytyczonych dla organów administracji państwowej i samorządowej na mocy odrębnych przepisów oraz przyjętych dokumentów programowych i strategicznych związanych z realizacją polityki rozwoju. Zgodnie z zapisami Szczegółowego Opisu Priorytetów PO KL Beneficjentami projektów systemowych realizowanych w ramach komponentu regionalnego PO KL mogą być jednostki samorządu województwa wskazane przez Instytucję Pośrednicząca w Planach Działania. Projekty systemowe realizowane są w ramach każdego z Priorytetów komponentu regionalnego PO KL. W woj. łódzkim za realizację interwencji w ramach komponentu regionalnego odpowiedzialne są dwie instytucje wdrażające: Urząd Marszałkowski w Łodzi pełniący funkcję Instytucji Pośredniczącej dla komponentu regionalnego PO KL oraz Instytucji Wdrażającej dla Priorytetu VIII i IX, Wojewódzki Urząd Pracy w Łodzi pełniący funkcję Instytucji Pośredniczącej II stopnia odpowiedzialnej za wdrażanie Priorytetu VI i VII. Każda z wymienionych instytucji w ramach posiadanych kompetencji jest zaangażowana we wdrażanie projektów systemowych realizowanych w obszarze nadzorowanych przez siebie Priorytetów komponentu regionalnego PO KL. Zaangażowanie każdej z instytucji we wdrażanie projektów systemowych obejmuje nie tylko konsultacje zakresu planowanych projektów w trakcie opracowania Planów Działania, ich realizację i rozliczanie, ale również ewaluację. Przedmiotowa ewaluacja dotyczy projektów systemowych realizowanych w ramach Priorytetów VIII i IX PO KL nadzorowanych bezpośrednio przez Instytucję Pośredniczącą. 1 System realizacji Programu Operacyjnego Kapitał Ludzki opracowany został przez Instytucję Zarządzającą PO KL i jego celem jest przedstawienie zestawu zasad oraz zadań dotyczących wdrażania Programu Operacyjnego Kapitał Ludzki, obowiązujących Instytucję Zarządzającą, Instytucje Pośredniczące i Pośredniczące II Stopnia oraz beneficjentów systemowych. Na system realizacji Programu Operacyjnego Kapitał Ludzki składa się szereg dokumentów regulujących zasady dokonywania wyboru projektów, zasady przygotowania i realizacji projektów systemowych przez poszczególne typy Beneficjentów Systemowych, zasady finansowania i sprawozdawczości projektów realizowanych w ramach PO KL. 16 z 107

17 Głównym jej celem jest zdiagnozowanie trafności i adekwatności interwencji realizowanych w ramach projektów systemowych względem potrzeb rozwojowych województwa łódzkiego oraz ocena dostosowania struktur organizacyjnych i zarządczych Beneficjentów do sprawnego zarządzania projektami. Niniejsze opracowanie jest podsumowaniem wyników badań prowadzonych w IV kwartale 2010 roku przez Instytut Badawczy ASM Centrum Badań i Analiz Rynku na zlecenie Urzędu Marszałkowskiego w Łodzi. Cele prowadzonych badań ich zakres oraz formułowane rekomendacje wynikały ze specyfiki właściwej dla ewaluacji on going. Ewaluacja została zrealizowana zgodnie z wytycznymi metodologicznymi zwartymi w dokumencie pt. New Programming Period Indicative Guidelines on Evaluation Methods: Evaluation During the Programming Period [ Working Paper No. 5 ]. Dokument ten gromadzi szereg zaleceń dedykowanych ewaluacji Programów Operacyjnych związanych z wdrażaniem Polityk Wspólnotowych UE, również w zakresie realizacji ewaluacji on - going. Na poziomie krajowym wytyczne te uwzględniono w dokumencie pt. Narodowe Strategiczne Ramy Odniesienia na lata Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych na lata Zaprezentowana w rozdziale wprowadzającym metodologia badawcza została dostosowana do wytyczonych celów ewaluacji. Została w niej przedstawiona operacjonalizacja celów badawczych i przyporządkowanym im pytań badawczym, a także strukturyzacja metod badawczych (ilościowych i jakościowych) oraz technik analitycznych dostosowanych do osiągnięcia wytyczonych celów i odpowiedzi na sformułowane pytania. Opis wyników badania został uporządkowany zgodnie z charakterem analizowanych danych. W rozdziałach analitycznych informacje uzyskiwane z danych zastanych zostają uzupełnianie i skonfrontowane z informacjami pochodzącymi z badań pierwotnych. Układ treści zawiera na wstępie rozdziały analityczne poświecone przedstawieniu kontekstu prawnego i organizacyjnego realizacji projektów systemowych. Następnie przedstawiona jest charakterystyka poszczególnych projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. Kolejne rozdziały poświęcone są ocenie adekwatności i trafności realizowanych projektów systemowych do celów rozwojowych woj. łódzkiego, a także efektywności i funkcjonalności systemu zarządzania projektami systemowymi wśród Beneficjentów. Podsumowanie zawiera kluczowe wnioski z prowadzonych badań oraz tabelę rekomendacji z określeniem sposobu ich wdrożenia, adresatów i czasu realizacji. 17 z 107

18 I. OPIS METODOLOGII BADANIA Metodologia badawcza ewaluacji została opracowana w kontekście określonych potrzeb informacyjnych Urzędu Marszałkowskiego w Łodzi związanych z wdrażaniem projektów systemowych realizowanych w ramach Priorytetu VIII i IX. Urząd Marszałkowski w Łodzi pełniący jednocześnie funkcję Instytucji Pośredniczącej we wdrażaniu komponentu regionalnego PO KL w województwie łódzkim, jest odpowiedzialny, zgodnie z Planem Działania na rok 2010, za wdrażanie na 7 projektów systemowych realizowanych w ramach Priorytetów VIII i IX PO KL. Beneficjentami tychże projektów w poszczególnych Poddziałaniach są następujące komórki organizacyjne Urzędu Marszałkowskiego w Łodzi: Departament Infrastruktury - Poddziałnie i 8.2.2; Departament Polityki Regionalnej Poddziałanie 8.1.4; Departament ds. Przedsiębiorczości Poddziałanie 8.2.2; Departament Kultury i Edukacji Poddziałanie Zakres informacji poszukiwanych w ramach ewaluacji podporządkowany jest celom ewaluacji zogniskowanych wokół zagadnień strategicznych i operacyjnych, czyli trafności i adekwatności interwencji podejmowanych w ramach projektów systemowych do potrzeb rozwojowych województwa oraz efektywności procesu zarządzania projektami w ramach istniejących struktur personalnych, organizacyjnych i proceduralnych Urzędu Marszałkowskiego w Łodzi. 1.1 Cele i zarys problematyki ewaluacji Założenia ewaluacji wyrażają się w następującym celu głównym badania: Zbadanie trafności i adekwatności realizowanych projektów systemowych przez Instytucję Pośredniczącą PO KL do potrzeb województwa łódzkiego oraz dostosowanie struktur organizacyjnych i zarządczych do sprawnej realizacji tych projektów. Kontekst badania pozwala wyróżnić dwa cele szczegółowe: I. Ocena realizowanych projektów systemowych pod kątem potrzeb województwa w zakresie przewidywania zmiany gospodarczej oraz transferu wiedzy (budowania Regionalnej Strategii Innowacji) oraz pomocy stypendialnej dla uczniów szczególnie uzdolnionych. 18 z 107

19 W ramach tego celu, zostały wyszczególnione następujące pytania badawcze: 2.1 Czy realizowane projekty systemowe są adekwatne do potrzeb województwa łódzkiego? Jakie są główne założenia projektów systemowych w poszczególnych Poddziałaniach? Jakie rezultaty i efekty mają przynieść projekty? Na ile cele stawiane przed projektami systemowymi w poszczególnych Poddziałaniach są nadal aktualne? Czy i w jakim aspekcie projekty były modyfikowane podczas realizacji? Czy na półmetku realizacji PO KL należałoby wprowadzić zmiany strategiczne? Czym podyktowana jest realizacja analogicznych przedsięwzięć przez różne komórki organizacyjne UMWŁ? Na ile projekty te uzupełniają się? Czy zaplanowane wsparcie jest/będzie wystarczające dla osiągnięcia zakładanych celów? Drugi cel badania, wychodzący naprzeciw potrzeby operacyjnej to: II. Ocena sposobów realizowania, zarządzania oraz wdrażania projektów systemowych wraz z identyfikacją słabych i mocnych stron. W ramach tego celu, postawiono następujące pytania badawcze: 2.2 Jak wygląda współpraca pomiędzy opiekunami projektów systemowych a ich realizatorami? Jakie problemy występują najczęściej? Czym są one spowodowane? 2.3 Czy komunikacja wewnętrzna zapewnia sprawną realizację zadań związanych z wdrażaniem projektów systemowych w ramach VIII, IX Priorytetu PO KL? Czy można mówić o wąskim gardle w przypadku realizacji projektów systemowych? Z czym jest ono związane i w jaki sposób można zniwelować jego wpływ? 2.4 Czy i w jakim stopniu komunikacja pionowa umożliwia sprawną i terminową realizację projektów systemowych? 2.5 Jak oceniany jest przepływ dokumentów i informacji pomiędzy opiekunami projektów systemowych a ich realizatorami? 19 z 107

20 2.6 Czy istnieją bariery proceduralne w realizacji projektów systemowych w ramach VIII, IX Priorytetu PO KL? Jaki charakter mają te bariery? Jakie elementy można i należałoby usprawnić? W jaki sposób można to uczynić? 2.7 Czy projekty systemowe są skutecznie zarządzane? Czy realizatorzy projektów korzystają z technik zarządzania projektami? Czy planują ewentualne ryzyka, które mogą mieć wpływ na realizację projektu? 2.8 Jakiego rodzaju problemów doświadczają realizatorzy projektów systemowych zarówno na etapie przygotowania założeń projektu jak i na etapie realizacji? 2.9 Jakiego rodzaju problemów doświadczają opiekunowie projektów systemowych na etapie realizacji projektów? 2.10 Jakie zmiany systemowe należałoby wprowadzić, aby realizacja projektów systemowych w ramach VIII, IX Priorytetu PO KL przebiegała sprawniej? 2.11 Jak przebiega współpraca z partnerami i podwykonawcami w ramach projektów systemowych? 2.12 Na ile projekt systemowy jest rozpowszechniony wśród szkół i nauczycieli? Czy nauczyciele wiedzą o takiej możliwości wsparcia dla uczniów szczególnie uzdolnionych? Czy istnieją bariery związane z ubieganiem się o stypendia? Czy wsparcie cieszy się dużym zainteresowaniem? W jaki sposób uczniowie są typowani do aplikowania o stypendium? 1.2 Kryteria ewaluacyjne Prace badawcze i analityczne wchodzące w zakres ewaluacji zostały przeprowadzone z uwzględnieniem następujących 3 kryteriów ewaluacyjnych: adekwatność - zgodność projektów systemowych z potrzebami województwa łódzkiego określonymi w Strategii Rozwoju Województwa Łódzkiego na lata ; trafność - zgodność zapisów projektów systemowych z potrzebami klientów, projektodawców projektów systemowych w ramach Europejskiego Funduszu Społecznego; efektywność - stosunek poniesionych nakładów do uzyskanych rezultatów. 20 z 107

21 1.3 Metody i techniki badawcze Zagwarantowanie wiarygodnych wyników ewaluacji i udzielenia pełnej odpowiedzi na postawione pytania badawcze, wymagało rozbudowania procesu badawczego i połączenia w analizie różnorodnych metod, technik i perspektyw badawczych oraz źródeł danych, czyli zastosowanie tzw. triangulacji 2 rozumianej jako zwielokrotnienie: metod i technik badawczych (triangulacja metodologiczna) polegająca na kontrolowaniu spójności wniosków formułowanych przy wykorzystaniu różnych metod gromadzenia danych zarówno mających charakter pierwotny, jak i wtórny, jakościowy oraz ilościowy; źródeł informacji (triangulacja źródeł informacji) polegająca na zwielokrotnieniu źródeł informacji i konfrontacji różnych punktów widzenia perspektywa realizatorów, opiekunów projektu, osób zaangażowanych w realizację projektu oraz pozostałych interesariuszy; perspektyw badawczych osób realizujących badanie (triangulacja analityczna) związaną ze zwiększeniem liczby osób analizujących wnioski z badań. Podejście takie pozwoli na uchwycenie różnych aspektów badanego przedmiotu (np. udzielenie odpowiedzi na pytania o skalę zjawisk dzięki zastosowaniu metod ilościowych oraz głębsze zrozumienie specyfiki problemów, dzięki zastosowaniu metod jakościowych), pozwoli też wykorzystać mocne strony każdej metody przy wzajemnej neutralizacji ich słabości. Schemat nr 2 Model triangulacji: Źródło: Opracowania własne ASM Centrum Badań i Analiz Rynku 2 M. Jasiński, M. Kowalski, Fałszywa sprzeczność: metodologia jakościowa czy ilościowa? [w.:] Ewaluacja expost. Teoria i praktyka badawcza, pod. red. Agnieszki Haber, Warszawa 2007, s z 107

22 Zgodnie z przyjętą koncepcją badania oraz zastosowaną triangulacją metodologiczną dla uzyskania rzetelnych i komplementarnych informacji dotyczących przedmiotu ewaluacji architektura procesu badawczego została zaprojektowana w oparciu o następujące metody i techniki badawcze: Tabela nr 1: Metody i techniki badawcze planowane do wykorzystania w ewaluacji. RODZAJ BADANIA: 1. BADANIA WTÓRNE ILOŚCIOWE: 3. METODY I TECHNIKI BADAWCZE - PODSTAWOWE 1. Analiza danych zastanych Desk Research - DR 2. Analiza SWOT SWOT Analysis - SWOT Standaryzowany wywiad telefoniczny Computer Assisted Telephone Interviewing - CATI 2. BADANIA PIERWOTNE: JAKOŚCIOWE: 4. Zogniskowane wywiady grupowe Focus Group Inteview - FGI (mini grupy) 5. Panel ekspercki Ekspert Panel - EP 6. Indywidualne wywiady pogłębione Individual In-Depth Interview - IDI Analiza Danych Zastanych Desk Research Zgodnie z procesem badawczym zaplanowanym w ewaluacji badania pierwotne poprzedziły badania wtórne, których zadaniem było zgromadzenie i usystematyzowanie informacji dotyczących kontekstu prawnego i organizacyjnego projektów systemowych wdrażanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. Główną metodą wykorzystywaną w badaniach wtórnych była Analiza Danych Zastanych. Zastosowanie tej metody miało również na celu dokonanie wstępnej oceny adekwatności interwencji podejmowanych w ramach projektów systemowych do potrzeb rozwojowych województwa łódzkiego, jak również oceny efektywności aktualnych struktur organizacyjnych i proceduralnych zaangażowanych we wdrażanie projektów systemowych w Urzędzie Marszałkowskim w Łodzi. Analiza Danych Zastanych zotała przeprowadzona w oparciu o następujące kategorie aktualnych dokumentów: a) strategiczne dokumenty wspólnotowe: Rozporządzenie Komisji (WE) nr 1828/2006 z dnia 8 grudnia 2006 r. ustanawiające szczegółowe zasady wykonania rozporządzenia Rady (WE) nr 1083/2006 ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju 22 z 107

23 Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności oraz rozporządzenia (WE) nr 1080/2006 Parlamentu Europejskiego i Rady w sprawie Europejskiego Funduszu Rozwoju Regionalnego, Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999, Rozporządzenie (WE) nr 1081/2006 Parlamentu Europejskiego i Rady z dnia 5 lipca 2006 r. w sprawie Europejskiego Funduszu Społecznego i uchylające rozporządzenie (WE) nr 1784/1999. b) strategiczne dokumenty krajowe: Program Operacyjny Kapitał Ludzki , Szczegółowy Opis Priorytetów Programu Operacyjnego Kapitał Ludzki , System realizacji Programu Operacyjnego Kapitał Ludzki , dokumenty wewnętrzne IP dotyczące PO KL, Instrukcje wykonawcze Instytucji Pośredniczącej w ramach PO KL w województwie, Opis Systemu Zarządzania i Kontroli IP w ramach PO KL w województwie łódzkim (jako część dokumentu ogólnokrajowego), Sprawozdania z realizacji komponentu regionalnego PO KL za rok 2009 oraz I półrocze inne dane i analizy dotyczące komponentu regionalnego w województwie łódzkim np. raporty z wcześniejszych badań ewaluacyjnych. c) strategiczne dokumenty regionalne w szczególności: Strategia Rozwoju Województwa Łódzkiego na lata , Założenia Aktualizacji Strategii Rozwoju Województwa Łódzkiego do roku 202,; Analiza porównawcza Założeń Aktualizacji Strategii Rozwoju Województw, Diagnoza Województwa Łódzkiego (tom I, II, III, IV). 23 z 107

24 2.1.2 Analiza SWOT Technika analityczna SWOT polegająca na zidentyfikowaniu zestawienia słabych i mocnych stron, a także szans i zagrożeń została wykorzystana do usystematyzowania informacji pochodzących z poszczególnych badań zaplanowanych w procesie badawczym ewaluacji. Kluczowe wnioski wynikające z poszczególnych badań cząstkowych ewaluacji zostały uporządkowane w matrycy SWOT na cztery podstawowe grupy dotyczące zakresu projektów systemowych oraz sposobu ich zarządzania: S (Strengths) mocne strony: wszystko to co stanowi atut, przewagę, zaletę, W (Weaknesses) słabe strony: wszystko to co stanowi słabość, wadę, O (Opportunities) szanse: wszystko to co stwarza szansę korzystnej zmiany, T (Threats) zagrożenia: wszystko to co stwarza niebezpieczeństwo zmiany niekorzystnej Standaryzowane Wywiady Telefoniczne (CATI) Badania ilościowe z wykorzystaniem techniki standaryzowanych wywiadów telefonicznych CATI zostało przeprowadzone na reprezentatywnej próbie przedstawicieli (dyrektorzy, pedagodzy) szkół w regionie łódzkim, których uczniowie mogą się starać o przyznanie stypendium w ramach projektu systemowego z Poddziałania Badanie zostało przeprowadzone w oparciu o standaryzowany kwestionariusz zawierający zestaw 23 pytań merytorycznych i czterech pytań metryczkowych. Większość pytań w kwestionariuszu miała charakter zamknięty. Dobór respondentów miał charakter warstwowy losowy, gdzie warstwą był rodzaj szkoły uprawnionej do ubiegania się do udziału w projekcie stypendialnym. Operatem losowania była baza placówek edukacyjnych wyszczególnionych w bazie Kuratorium Oświaty w Łodzi. 3 Na podstawie informacji pochodzących z Regulaminu przyznawania i przekazywania stypendiów w ramach Łódzkiego Regionalnego Programu Wspierania Młodzieży szczególnie uzdolnionej pod patronatem Marszałka Województwa Łódzkiego 4, została opracowana następująca struktura doboru próby badawczej: 3 4 Na podstawie danych ze strony Na podstawie Regulaminu przyznawania i przekazywania stypendiów w ramach Łódzkiego Regionalnego Wspierania Młodzieży szczególnie uzdolnionej pod patronatem Marszałka Województwa Łódzkiego, gdzie 24 z 107

25 Tabela nr 2 Dobór próby do badań ilościowych realizowanych techniką CATI LP. RODZAJ I TYP SZKOŁY LICZBA PODMIOTÓW (OPERAT) LICZBA PODMIOTÓW (PRÓBA) 1. gimnazjum liceum ogólnokształcące zasadnicza zawodowa liceum profilowane technikum RAZEM: Źródło: Opracowania własne ASM Centrum Badań i Analiz Rynku Materiał zebrany podczas badania został poddany analizie statystycznej za pomocą pakietu SPSS. Podstawą analizy były metody statystyki opisowej. 5 Jako użyteczne miary statystyczne wybrano wskaźniki struktury (z podaniem liczebności względnych odsetków) oraz wskaźniki wartości centralnej: średnia arytmetyczna, mediana (wartość środkowa w uporządkowanym rosnąco lub malejąco szeregu liczbowym), dominanta (wartość występująca najczęściej). Pozyskane dane były analizowane w postaci tzw. rozkładów brzegowych prezentujących rozkład odpowiedzi na poszczególne pytania oraz w postaci tabel krzyżowych pokazujących zmienność rozkładów brzegowych w zależności od typu szkoły, którą reprezentowali respondenci. 5 wskazano rodzaje i typy szkół, których uczniowie będę objęci wsparciem. Wśród szkół ponadgimnazjalnych znalazły się: licea ogólnokształcące, licea profilowane, średnie szkoły zawodowe. Statystyka opisowa to dział statystyki zajmujący się gromadzeniem, opracowaniem, prezentacją oraz analizą danych wraz z sumarycznym ich opisaniem za pomocą specjalnych narzędzi statystycznych. Opracowuje dane o zbiorowości lub próbie bez posługiwania się rachunkiem prawdopodobieństwa. Umożliwia uporządkowanie danych w klarowny sposób. Pozyskane dane przedstawia w postaci ułatwiającej ich ocenę i analizę oraz identyfikuje prawidłowości zachodzących między nimi. Zob. Wierzbiński Jerzy (2008), Statystyka opisowa, Warszawa: Wydawnictwo Naukowe Wydziału Zarządzania Uniwersytetu Warszawskiego, str z 107

26 2.2 Zogniskowany Wywiad Grupowy (FGI) W ramach ewaluacji zrealizowano 3 sesje mini fokusowe, wśród następujących grup respondnetów. realizatorów projektów systemowych (koordynatorów, asystentów koordynatorów), przedstawicieli szkół na poziomie gimnazjalnym i ponadgimnazjalnym (w kontekście realizacji projektu z Priorytetu IX, przedstawicieli świata nauki i biznesu (w kontekście projektów z Priorytetu VIII). Wśród realizatorów, znaleźli się przedstawiciele poszczególnych jednostek organizacyjnych Urzędu Marszałkowskiego (Departament ds. Przedsiębiorczości, Departament Infrastruktury, Departament Polityki Regionalnej, Departament Kultury i Edukacji), odpowiedzialni za realizację wszystkich projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. W sesji fokusowej wzięli udział przedstawiciele zespołu zarządzającego projektami systemowymi realizowanymi w poszczególnych departamentach Urzędu Marszałkowskiego w Łodzi. Trudności w znalezieniu odpowiedniego dla wszystkich uczestników drugiej sesji fokusowej terminu spowodowały, że udział w niej wzięli jedynie przedstawiciele Biura Planowania Przestrzennego Województwa Łódzkiego. Jednakże informacje pochodzące od przedstawicieli świata nauki i biznesu zostały uzupełnione w trakcie Indywidualnych Wywiadów Pogłębionych. W trzeciej z zaplanowanych sesji fokusowych udział wzięli przedstawiciele placówek edukacyjnych z terenu województwa łódzkiego, których uczniowie mogą ubiegać się o przyznanie stypendium w ramach projektu systemowego Celem pierwszej sesji fokusowej było zgromadzenie informacji dotyczących doświadczeń w realizacji projektów systemowych. Wykorzystanie stymulującej techniki badawczej, jaką jest FGI, umożliwiło dogłębne i wieloaspektowe zbadanie problematyki przygotowania i realizacji projektów systemowych z perspektywy Beneficjentów. Z kolei pozostałe dwie sesje miały charakter quasi ekspercki. Ich celem było zbadanie adekwatności działań podejmowanych w ramach projektów systemowych do potrzeb regionu łódzkiego. Sesja z przedstawicielami placówek edukacyjnych miała za zadanie jakościowe pogłębienie informacji uzyskanych w badaniu CATI. 26 z 107

27 Wykorzystywanym narzędziem badawczym będzie scenariusz wywiadu, zawierający pytania otwarte i pytania uszczegóławiające dostosowane do zakresu kompetencji grupy respondentów 2.3 Panel Ekspercki (EP) spotkania z zamawiającym W trakcie ewaluacji zaplanowano i przeprowadzono dwa panele eksperckie, w których badacze konsultowali proces przygotowania ewaluacji i jej wyniki z Zamawiającym. W ramach spotkań panelowych zostały zorganizowane dwa spotkania przedstawicieli ewaluatora i Zamawiającego: prezentacja projektu raportu metodologicznego ewaluacji; prezentacja projektu raportu końcowego ewaluacji. Celem pierwszego ze spotkań panelowych była dyskusja poświęcona dostosowaniu zaplanowanego procesu badawczego do zoperacjonalizowanych celów ewaluacji i potrzeb informacyjnych Zamawiającego oraz jego oczekiwań względem jakości i zawartości merytorycznej produktu końcowego ewaluacji. W jego trakcie nastąpiła konfrontacja perspektywy wewnętrznej (Zamawiający) oraz zewnętrznej (ewaluator), której rezultatem było doprecyzowanie metodologii procesu badawczego zaproponowanej przez ewaluatora w raporcie metodologicznym. W trakcie drugiego Panelu Eksperckiego przeprowadzono dyskusję dotyczącą zakresu zgromadzonego materiału badawczego w trakcie całości procesu badawczego, jego jakości oraz rzetelności wyników prowadzonych analiz i sformułowanych na ich podstawie wniosków i rekomendacji. Celem tego spotkania było uporządkowanie formułowanych wniosków i rekomendacji pod względem na ich znaczenie dla diagnozowanego obszaru badawczego. 2.4 Indywidualne Wywiady Pogłębione (IDI) Badania jakościowe zaplanowane w procesie badawczym ewaluacji były prowadzone również z wykorzystaniem techniki Indywidualnych Wywiadów Pogłębionych (IDI - In-Depth Interview). Wywiady te były zaplanowane z przedstawicielami Instytucji Pośredniczącej zaangażowanymi w przygotowanie i realizację projektów systemowych realizowanych w ramach Priorytetu VIII i IX PO KL w woj. łódzkim. Łącznie przeprowadzono 9 indywidualnych wywiadów pogłębionych z przedstawicielami następujących komórek organizacyjnych 27 z 107