ZAJĘCIA 2. Fazy ewaluacji projektów i programów. MEANS (Evaluations Methods for Actions of Structural Nature)

Transkrypt

1 ZAJĘCIA 2. Fazy ewaluacji projektów i programów MEANS (Evaluations Methods for Actions of Structural Nature) Opracowany i udoskonalany od lat 90. przez Dyrekcję Generalną Polityki Regionalnej Komisji Europejskiej (DG- Regio), od 2003 funkcjonujący jako Evalsed. Stanowi on zestaw materiałów określających funkcję ewaluacji w programach publicznych, schemat badania z podziałem na etapy badawcze, mechanizm wyboru wskaźników monitoringu i ewaluacji oraz specyfikację narzędzi badawczych. Ponadto nakreśla metodę uwzględniania w ewaluacji tematów horyzontalnych tj. zatrudnienie czy ochrona środowiska. Innymi opracowaniami metodologicznymi wydanymi przez DG-Regio są zeszyty metodyczne traktujące o różnych typach ewaluacji 1. Metodologia badao ewaluacyjnych przedstawiona w materiałach opracowanych przez DG-Regio odnosi się do projektów pomocy strukturalnej. Z uwagi na przedmiot ewaluacji oraz powszechnośd podejścia, omawiana poniżej metodologia przedstawia wytyczne MEANS (Evalsed). Należy wyjaśnid, że materiały Komisji Europejskiej nie mają charakteru publikacji stricte metodycznych, stanowią jedynie propozycję narzędzi badawczych. FAZY EWALUACJI Ewaluacja stanowi integralną częśd procesu zarządzania cyklem projektu, co w konsekwencji implikuje wykorzystanie narzędzi analizy logicznej tj. drzew problemów i celów, analizy SWOT oraz matryc logicznych. Naczelnym zadaniem ewaluacji jest potwierdzenie lub zaprzeczenie słuszności podejmowanych decyzji strategicznych i operacyjnych. Ewaluacja służy również identyfikowaniu i opiniowaniu efektów polityki, interwencji lub programu, co w konsekwencji prowadzi do wyodrębnienia problemów związanych z właściwym oddziaływaniem interwencji. Tak przedstawione ujęcie ewaluacji nakazuje traktowanie jej jako procesu badawczego, którego celem jest uzyskanie obiektywnej, rzetelnej oceny, wynikającej z analizy wiarygodnych danych empirycznych 2. Procedura badawcza, złożona jest z czterech faz 3. Faza strukturalizacji Faza strukturalizacji stanowi punkt wyjścia dla kolejnych etapów procedury badawczej. 1 Por. stan na dzieo r. 2 Por. Agnieszka Haber, Proces ewaluacji ex-post konceptualizacja, operacjonalizacja, realizacja badania ewaluacyjnego [w:] Agnieszka Haber (red.), Ewaluacja ex-post. Teoria i praktyka badawcza, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2007 r., s Por. Karol Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeo europejskich, Studia Regionalne i Lokalne, 2005 nr 4 (22), s. 46. [za:] Komisja Europejska, The Evaluation of Socio-Economic Development. MEANS Guide - Update, European Commission, Tavistock Institute & Co. Zajęcia 2. Materiały pomocnicze do dwiczeo Strona 1 z 5

2 Zadaniem ewaluatorów: jest zidentyfikowanie zakresu oddziaływania ocenianego programu, jego specyfiki oraz systemu wdrażania, które odbywa się głównie poprzez analizę dokumentów programowych oraz wywiady z instytucjami realizującymi program. Efektem działao prowadzonych na tym etapie jest sformułowanie pytao badawczych, kryteriów i wskaźników oceny programu 4. Narzędziami badawczymi aplikowanymi w fazie strukturalizacji do projektowania ewaluacji są analiza SWOT (ang. strength weakness opportunity threat analysis), matryca logiczna (ang. logical framework matrix), mapy oddziaływania (ang. koncept mapping of impast), studium wykonalności oraz mapy logiczne (ang. mind mapping) 5. Nieodłącznym elementem strukturyzacji jest określenie i opracowanie narzędzi stosowanych na etapie obserwacji 6. Faza obserwacji Zadanie: Faza obserwacji polega na gromadzeniu danych niezbędnych do przeprowadzenia analiz oraz udzielenia odpowiedzi na pytania ewaluacyjne. Punktem wyjścia są dane wtórne (ang. secondary data), które pochodzą z dokumentacji badanego programu, monitoringu, dokumentów programowych, wyników wcześniejszych ewaluacji, ekspertyz lub systemu statystyki publicznej. Stosowanie wyłącznie danych wtórnych nie jest rozwiązaniem wystarczającym, może skutkowad wyprowadzeniem pobieżnych wniosków oraz powtórzeniem znanych faktów. W literaturze przedmiotu zwraca się uwagę na koniecznośd dywersyfikacji źródeł danych. Triangulacja, jako podejście metodologiczne, poprzez zwielokrotnienie źródeł, zestawienie oraz porównanie ze sobą aktualnych danych gromadzonych w ramach jednej metody, prowadzi do zebrania rzetelnych materiałów badawczych, a w konsekwencji poprawnego wnioskowania 7. Typologia triangulacji autorstwa Michaela Q. Pattona oprócz przedstawionej triangulacji źródeł informacji (ang. triangulation of sources) definiuje również triangulację metodologiczną, analityczną i teoretyczną. Triangulacja metodologiczna (ang. methods triangulation) umożliwia weryfikację spójności wniosków wnikających z zastosowania różnych metod gromadzenia danych. Triangulacja analityczna (ang. analyst triangulation) sprowadza się do zwiększenia liczby osób prowadzących wnioskowanie na podstawie badania. Pozwala skonfrontowad oraz sprawdzid słusznośd stawianych stwierdzeo badawczych. Triangulacja teoretyczna (ang. theory perspective triangulation) odnosi się do zastosowania wielu teorii oraz perspektyw badawczych służących interpretacji zmienności danych 8. W badaniach ewaluacyjnych oprócz zastosowania danych wtórnych, zwraca się uwagę na koniecznośd włączenia obserwacji zgromadzonych podczas 4 Por. Karol Olejniczak, Mechanizmy wykorzystania ewaluacji. Studium ewaluacji średniookresowych INTERREG III, Wydawnictwo Naukowe Scholar, Warszawa 2008 r., s Por. Agnieszka Haber, Proces ewaluacji ex-post, op. cit., s Por. Ewaluacja programów finansowanych ze środków Unii Europejskiej, Podręcznik ewaluacji programów realizowanych przez Władzę Wdażającą Programy Europejskie, Warszawa 2006 r., s. 15., stan na dzieo r. 7 Por. stan na dzieo r. 8 Por. Mikołaj Jasioski, Michał Kowalski, Fałszywa sprzecznośd: metodologia jakościowa czy ilościowa, [za:] Michael Q. Patton, Qualitive Evaluation and Research Method, second edition, Stage Publications, London 1990 r., s [w:] Agnieszka Haber (red.), Ewaluacja ex-post, op. cit., s Zajęcia 2. Materiały pomocnicze do dwiczeo Strona 2 z 5

3 uczestnictwa w realizacji interwencji. Dane pierwotne (ang. primary data), w przeciwieostwie do danych wtórnych, pozyskiwane są w trakcie realizacji badania przez zespół ewaluacyjny 9. Narzędzia. Przy zbieraniu danych pierwotnych stosowane są metody typowe dla nauk społecznych tj. wywiady przeprowadzane z przedstawicielami grup objętych realizowanym projektem, zogniskowane wywiady grupowe, kwestionariusze, badania ankietowe, studia przypadków czy obserwacje uczestniczące 10. Koniecznośd ustalenia skutków wdrożonego projektu, wyrażonych obserwowalnymi wynikami może przemawiad za wykorzystaniem w ewaluacji jedynie danych ilościowych. Przeprowadzenie takiego badania opiera się na przeprowadzeniu obiektywnego, rzetelnego, standaryzowanego pomiaru efektów interwencji, na podstawie reprezentatywnej próby losowej, jednostek badania lub próbie kontrolnej 11. Zgodnie z typologią modeli wykorzystania metod jakościowych 12 badania jakościowe są szczególnie przydatne w zrozumieniu specyfiki badanych procesów, identyfikacji zmiennych oraz zwiększeniu trafności badao ilościowych. Pomagają w sprecyzowaniu hipotez weryfikowanych przez badania ilościowe oraz interpretowaniu nietypowych wyników analiz ilościowych. Przedstawione możliwości wykorzystania metod jakościowych są charakterystyczne dla modelu uzupełniania lub wspierania (ang. enhancement model) metod ilościowych. Model różnicy (ang. difference model) zakłada aplikowanie metod niekwantyfikowanych jako autonomicznych badao nad procesami pominiętymi przy analizie ilościowej, postrzeganiem celowości i rezultatów interwencji przez interesariuszy 13 Faza analizy Zadania. W pierwszej kolejności opiera się na eksploracji danych, interpretacji, porównaniu oraz wykryciu zależności między nimi, co umożliwia weryfikację hipotez. Po identyfikacji struktur danych oraz zdiagnozowaniu procesów, które dane obrazują, dokonywana jest analiza przyczynowo-skutkowa. Szacowanie efektów programu stanowi ostatnią częśd tej fazy. Przy użyciu metod statystycznych, analizy jakościowej, modeli ekonomicznych, paneli ekspertów badane są skutki wrażanego programu 14. Częstym błędem popełnianym przez ewaluatorów, charakterystycznym dla tej fazy, jest pozostawienie wyników oszacowanego wpływu na poziomie efektu brutto, który wyraża łączną zmianę w wartościach danych opisujących oddziaływanie projektu, po jego realizacji 15. Działania grupy ewaluacyjnej mają na celu oszacowanie i wyodrębnienie spośród efektu brutto efektu netto wartości zmiany badanych wskaźników, która jest wyłącznie wynikiem interwencji 9 Por. Krajowa Jednostka Oceny, Departament Koordynacji Polityki Strukturalnej, MGiP, Ewaluacja Narodowego Planu Rozwoju i programów operacyjnych w Polsce, Poradnik, Warszawa 2005, s Por. Tomasz Kierzkowski, Ocena (ewaluacja) programów i projektów o charakterze społeczno-gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002 r., s Por. Jarosław Górniak, Barbara Worek, Seweryn Krupnik, Zastosowanie podejścia badao jakościowych w ewaluacji ex-post, [w:] Agnieszka Haber (red.), Ewaluacja ex-post, op. cit., s Ibidem, [za:] Nick Black, Why we need qualitative research, Journal of Epidemiology and Community Health, 1994, nr 48, s , [w:] Agnieszka Haber (red.), Ewaluacja ex-post, op. cit., s Por. Jarosław Górniak, Barbara Worek, Seweryn Krupnik, Zastosowanie podejścia badao, op. cit., s Por. Agnieszka Haber, Proces ewaluacji ex-post konceptualizacja, operacjonalizacja, realizacja badania ewaluacyjnego, [w:] Agnieszka Haber (red.), Ewaluacja ex-post, op. cit., s Por. Korneliusz Pylak, Podręcznik ewaluacji, op. cit., s Zajęcia 2. Materiały pomocnicze do dwiczeo Strona 3 z 5

4 środków projektu. Efekt netto jest obliczony poprzez pomniejszenie efektu brutto o wartości zmian, które wynikają z efektów dodatkowości, przemieszczenia efektów pośrednich 16 efektu substytucji oraz synergii 17. Faza oceny Stanowi nadrzędną częśd ewaluacji, względem przedstawionych etapów. Cel. Służy określeniu efektów programów według kryteriów ewaluacyjnych tj. trafności (ang. relevance), skuteczności (ang. effectiveness), wydajności (ang. efficiency), użyteczności (ang. utility), trwałości (ang. sustainability) 18. Zadaniem badao ewaluacyjnych jest udzielenie odpowiedzi na pytania, które wynikają z pięciu kryteriów. - Kryterium trafności, obejmujące ewaluację wstępną (ex-ante) i średniookresową, weryfikuje odpowiedniośd zastosowanych programów w odniesieniu do problemów społeczno-ekonomicznych występujących na określonym obszarze. Pytania, wynikające z kryterium podejmują kwestie prawidłowej identyfikacji potrzeb regionu objętego pomocą, tj. spójności strategii regionu oraz słuszności i logiki interwencji. - Kryterium skuteczności, poprzez zestawienie rezultatów oraz oddziaływania zrealizowanego projektu z wytycznymi przedstawionymi w dokumentach programowych, pozwala na ocenę rzeczywistych osiągnięd programu. Znajduje zastosowanie w ewaluacji mid-term oraz ex-post. Pytania badawcze sformułowane w ramach tego kryterium poruszają kwestię poziomu skuteczności zastosowanych instrumentów oraz sposobu, w jaki podjęte działania wpłynęły na zniwelowanie istniejących problemów rozwojowych Kryterium wydajności, służy porównaniu wielkości nakładów finansowych, środków administracyjnych oraz zasobów ludzkich z korzyściami w postaci produktów, rezultatów lub oddziaływania. Wydajnośd jest poddawana ocenie w połowie bądź na koocu okresu programowania. Pytania, odnoszące się do tego kryterium, pozwalają na sformułowanie wniosków na temat efektywności wykorzystanych środków Kryterium użyteczności stawia analogiczne pytania badawcze, jak kryterium trafności, jednak jest stosowane w ewaluacji prowadzonej w trakcie realizowania projektu lub po jego zakooczeniu. Dodatkowo wskazuje na możliwośd wystąpienia efektów ubocznych w postaci zaangażowania środków publicznych (efekt dodatkowości) lub prywatnych, determinowania dodatkowych działao władz 16 Por. Jerzy Drążkiewicz, Szacowanie zasięgu wpływu efektu dodatkowości i przemieszczania (pytanie ewaluacyjne 10), [w:] Raport koocowy z badania nt.: Wpływ interwencji z funduszy strukturalnych UE na zatrudnienie, Ministerstwo Rozwoju Regionalnego, Warszawa 2007, s Por. Korneliusz Pylak, Podręcznik ewaluacji, op. cit., s Innymi kryteriami pojawiającymi się w literaturze przedmiotu są: spójnośd (ang. coherence), przejrzystośd (ang. transparency), oddziaływanie (ang. impact). (Por. Karol Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeo europejskich, Studia Regionalne i Lokalne, 2005 nr 4 (22), s. 47.) 19 Por. Tomasz Kierzkowski, Ocena (ewaluacja) programów i projektów, op. cit., s Ibidem, s. 44. Zajęcia 2. Materiały pomocnicze do dwiczeo Strona 4 z 5

5 publicznych wzmacniających wpływ prowadzonych inwestycji. W praktyce dobór kryteriów ewaluacyjnych jest uzależniona od warunków przedstawionych w zleceniu oraz okresu na jaki przypada ewaluacja. - Kryterium trwałości daje możliwośd stwierdzenia czy efekty zrealizowanych przedsięwzięd w ramach programów lub projektów będą trwałe w perspektywie średnio- i długookresowej po zakooczeniu ich finansowania. Narzędzia. W fazie oceny wykorzystywane są metody weryfikujące stopieo osiągniętych celów zakładanych w projekcie, w kontekście wielu kryteriów. Narzędziami wykorzystywanymi na tym etapie są m.in. analiza kosztów i korzyści (ang. cost-benefit analysis), analiza kosztów i efektywności (ang. cost-effectiveness analysis), benchmarking, analiza wielokryterialna (ang. multicriteria analysis), panel ekspertów (ang. expert panel) lub ocena wpływu na gospodarkę (ang. economic impast assessment EIA) 21. Literatura przedmiotu wskazuje na najczęściej popełniane błędy tj. brak pełnego odniesienia oceny do pytao ewaluacyjnych oraz kryteriów oceny jak również pominięcie dyskusji pomiędzy ewaluatorami i odbiorcami, co może skutkowad formułowaniem subiektywnych wniosków. Ponadto zwraca uwagę na brak dostatecznego odwzorowania rezultatów oceny na we wnioskach i rekomendacjach 22. Faza rozpowszechniania wyników Faza rozpowszechniania wyników (wniosków i rekomendacji) stanowi ostatnią częśd procesu ewaluacji, którego produktem jest raport koocowy. Nie bez znaczenia pozostaje upublicznienie i promocja raportu. Jakośd formy komunikacji i dystrybucji wyników ewaluacji decyduje o stopniu ich wykorzystania Por. s. Bohdan Turowski, Marcin Zawicki, Funkcje, etapy, metody i narzędzia ewaluacji, *w:+ Stanisław Mazur (red.), Ewaluacja funduszy strukturalnych perspektywa regionalna, Uniwersytet Ekonomiczny w Krakowie, Kraków 2007 r., s Por. Agnieszka Haber, Proces ewaluacji ex-post, op. cit., s Ibidem, s. 56. Zajęcia 2. Materiały pomocnicze do dwiczeo Strona 5 z 5