Ewaluacja w Programie Operacyjnym Kapitał Ludzki

Transkrypt

1 Urząd Marszałkowski Województwa Śląskiego Wydział Europejskiego Funduszu Społecznego Ewaluacja w Programie Operacyjnym Kapitał Ludzki Listopad 2009 Publikacja współfinansowana ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Egzemplarz bezpłatny 1

2 Urząd Marszałkowski Województwa Śląskiego Wydział Europejskiego Funduszu Społecznego Regionalny Punkt Informacyjny o Funduszach Europejskich tel

3 DEFINICJE EWALUACJI Zgodnie z Rozporządzeniem Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. wprowadzającym ogólne przepisy dotyczące funduszy strukturalnych ( ): ewaluacja ma na celu poprawę jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko. Według Krajowej Jednostki Oceny ewaluacja to osąd wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz wyprodukowanych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii. Semantycznie ewaluacja (ang. evaluation, franc. évalutation) oznacza oszacowanie wartości. Często takie znaczenie przypisuje się polskiemu słowu ocena i stąd tak często ewaluacja w Polsce utożsamiana jest z oceną. Jednak literatura przedmiotu i stąd pochodzące definicje wskazują, że nie jest to tożsame z pojęciem i rozumieniem oceny. Użycie terminu anglojęzycznego jest bardziej wskazane. Ocena zawęża znaczeniowo ewaluację, która stanowi pewien proces badawczy. Ocena jest tylko jednym z elementów tego procesu, osąd nie zawsze jest kluczowy w procesie ewaluacji. Ewaluacja to badanie wykorzystujące różnorodne metody naukowe, przede wszystkim z dziedziny nauk społecznych. Wyniki oraz wnioski płynące z badań pozwalają uzyskać odpowiedzi na pytanie osób i/lub instytucji zlecającej konkretne badanie. Proces badań ewaluacyjnych można określić jako ciąg pytań, powiązanych ze sobą, na które ewaluator musi odpowiedzieć. Postawienie pytań, to środek do celu ewaluacji znalezienia na nie odpowiedzi, znalezienia powiązań przyczynowo-skutkowych, relacji pomiędzy poszczególnymi czynnikami przedsięwzięcia. FUNKCJE EWALUACJI: Źródło: opracowane na podstawie Olejniczak K.: Mechanizmy wykorzystania ewaluacji. Studium ewaluacji średniookresowych INTERREG III, Wydawnictwo Naukowe SCHOLAR, Warszawa

4 Ewaluacja jest narzędziem uczenia się organizacji, zespołów i ludzi. Musi być użyteczna oraz powinna odpowiadać na potrzeby informacyjne podmiotów lub osób planujących badanie ewaluacyjne. Wyniki, rekomendacje z badania ewaluacyjnego mogą mieć wpływ ma: poprawę planowania, przede wszystkim pozwala na rozpoznanie problemów i potrzeb grupy docelowej, a co za tym idzie zaprojektowaniu działań korygujących, wzmocnienie partnerstwa, budowy więzi pomiędzy interesariuszami zawiązanie współpracy wokół projektu, poprawę wdrażania podnosi jakość procedur i procesów związanych z zarządzaniem projektem, pokazanie rzeczywistych efektów (produktów, rezultatów i oddziaływania danego projektu, w stosunku do tego co zostało zaplanowane w wyjściowych celach projektu, zrozumienie mechanizmów zjawisk, które miały wpływ na sukces czy tez porażkę projektu. Ewaluacja projektu jest przydatna nie tylko w przypadku danego projektu, wnioski i rekomendacje płynące z niej będą z całą pewnością użyteczne w przypadku kolejnych przedsięwzięć. Należy zwrócić uwagę na fakt, że jedno badanie ewaluacyjne nie będzie w stanie spełnić wszystkich ww. funkcji jednocześnie. Planując ewaluację należy określić czego od niej oczekujemy. EWALUACJA, MONITORING, AUDYT Wszystkie te pojęcia są nierozerwalnie związane z zarządzaniem projektem i każde z nich przyczynia się do realizowania przedsięwzięcia według określonych standardów. W poniższej tabeli przedstawiono podstawowe różnice pomiędzy ewaluacją, monitoringiem i audytem. źródło: opracowane na podstawie Olejniczak K. Ewaluacja jako narządzie zarządzania w sektorze publicznym, w: Gorzelak G., Tucholska A. (red): Rozwój Region, przestrzeń, Ministerstwo Rozwoju Regionalnego & EUROREG, Warszawa

5 Monitoring jest dla ewaluacji bazą - bez danych zbieranych w procesie monitoringu trudno byłoby prowadzić ewaluację. Współcześnie ewaluacja ciągła (on going) nieco zazębia się z monitoringiem będąc jego dopełnieniem w trakcie podsumowywania projektu. Skuteczne i efektywne zarządzanie projektem nie może być prowadzone bez odpowiedniego wsparcia ze strony działań monitoringowych. Działania monitoringowe mogą stanowić swego rodzaju wsparcie dla procesu ewaluacji (o ile dane zgromadzone w procesie monitoringu będą wiarygodne, a sam proces będzie prowadzony skutecznie i rzetelnie, i badacz nie będzie zmuszony sam dochodzić do pewnych danych). Efektywność i skuteczność systemu monitoringu może determinować jakość i rzetelność badań ewaluacyjnych. Patrząc z innej strony, ewaluacja stanowi odpowiedzi na ograniczenia audytu (sformalizowanie i zorientowanie na procedury). Współczesny audyt czasem zapożycza metody i podejścia od ewaluacji i patrzy szerzej na realizację projektów podczas audytu bierze się pod uwagę nie tylko poprawność procedur ale i ich efektywność, nie tylko kwestie finansowe ale i merytoryczne. EWALUACJA PROJEKTU Zgodnie z Rozporządzeniem Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r., wprowadzającym ogólne przepisy dotyczące funduszy strukturalnych ewaluacja jest wymogiem prawnym dla wszystkich programów unijnych. Obowiązek ewaluacji został także nałożony na beneficjentów projektów systemowych współfinansowanych z Europejskiego Funduszu Społecznego (powiatowe urzędy pracy, regionalne ośrodki polityki społecznej) oraz na projektodawców realizujących projekty innowacyjne i ponadnarodowe. Projektodawcy konkursowi nie są zobligowani do przeprowadzania ewaluacji projektu, ponieważ w tym celu prowadzone są ewaluacje programów, które będą obejmować je w sposób całościowy. Jednakże fakt uwzględnienia ewaluacji w cyklu życia projektu jest pozytywnie oceniany. Koszt przeprowadzenia ewaluacji jest wydatkiem kwalifikowanym. Pamiętać należy, żeby proces badawczy został dokładnie przedstawiony i uzasadniony. Informacje dotyczące ewaluacji powinny znaleźć się w następujących częściach wniosku o dofinansowanie: w opisie działań (w jakim celu będzie ona przeprowadzona), w zarządzaniu projektem (przez kogo) i w sposobie monitorowania rezultatów i produktów (jakimi metodami będzie realizowana). ETAPY PROCESU EWALUACJI Proces ewaluacji składa się z kilku etapów, których prawidłowa realizacja stanowi gwarancję jakości i przydatności ewaluacji. Ważnym elementem jest dokładne przygotowanie procesu ewaluacji. Etapy ewaluacji : 1. Planowanie procesu ewaluacji W tym momencie należy dokonać analizy potrzeb oraz wstępnie wskazać zakres ewaluacji. Podstawowe pytania, na które w tej fazie należy sobie odpowiedzieć to: po co, kiedy, w czym ma to pomóc? Na tym etapie powinno się przede wszystkim określić: cele ewaluacji, odbiorców ewaluacji, czas i dostępne zasoby. Projektując ewaluację należy także podjąć decyzję czy Projektodawca jest w stanie przeprowadzić badanie samodzielnie, tzn. dokonać ewaluacji wewnętrznej czy też zleci wykonanie jej na zewnątrz firmie specjalizującej się w przeprowadzaniu badań ewaluacyjnych. Decydując się na pierwszy wariant należy posiadać w zespole projektowym osoby o odpowiednich kwalifikacjach i doświadczeniu w przeprowadzaniu badań społecznych. To rozwiązanie jest też dobre w przypadku niewielkich projektów, gdzie zbieranie danych oraz ich analiza nie będą zbyt skomplikowane i czasochłonne. 5

6 W przypadku braku wiedzy oraz doświadczenia z zakresu przeprowadzania badań społecznych, także gdy dodatkowo projekt jest skierowany do licznej grupy docelowej bądź jest realizowany w sposób nowatorski, słusznym rozwiązaniem będzie zlecenie ewaluacji firmie zewnętrznej. Podejmując decyzję o ewaluacji zewnętrznej należy ustalić przede wszystkim sposób wyboru wykonawcy badania. Projektodawca z sektora zobligowany jest postępować zgodnie z zasadami wskazanymi w Ustawie Prawo Zamówień Publicznych (t.j. Dz. U. z 2007 r. nr 223 poz z późn. zm.) z wyjątkiem sytuacji, w których wartość podmiotu zamówienia nie przekracza liczonej w PLN równowartości euro netto (wg ustalonego rozporządzeniem kursu). Przy wyborze Ewaluatora warto zwrócić uwagę nie tylko na jego potencjał instytucjonalny, ale przede wszystkim na kwalifikacje zespołu badawczego oraz zapoznanie się z jego wcześniejszymi raportami ewaluacyjnymi. Mając ustalone wszystkie ww. kwestie można rozpocząć etap projektowania ewaluacji. 2. Projektowanie ewaluacji W tej fazie dochodzi do konceptualizacji ewaluacji. Celem tego etapu jest doprecyzowanie oczekiwań i zamiana ich w założenia potrzebne do realizacji badania ewaluacyjnego. Dochodzi do uszczegółowienia decyzji z etapu planowania. Projekt badania ewaluacyjnego musi zawierać następujące elementy: Opis przedmiotu ewaluacji (należy dokładnie zdefiniować co będzie poddane badaniu) Pytania badawcze (powinny być sformułowane dość ogólnie, a zarazem powinny być na tyle szczegółowe aby można było uzyskać konkretną odpowiedź. Dobrą praktyką jest ograniczanie się do 10 pytań o dość ogólnym charakterze, a następnie doprecyzować je pytaniami szczegółowymi.) Kryteria ewaluacyjne (stanowią rodzaj standardów, według których prowadzony jest proces ewaluacji. Najczęściej stosowane kryteria ewaluacji: trafność, skuteczność, efektywność, trwałość, użyteczność, oddziaływanie/wpływ. W zależności od wybranego kryterium ocena może być różna, dlatego dobór właściwych kryteriów jest tak ważny. Kryteria są bezpośrednio powiązane z pytaniami badawczymi, należy je bardzo dokładnie sformułować.) Metody/techniki badawcze i sposób doboru próby badawczej (ewaluacja, tak jak każde badanie społeczne, podlega rygorom metodologicznym dotyczącym trafności i rzetelności stosowanych metod, dlatego też powinno się poważnie zastanowić nad adekwatnym doborem metod badawczych do przedmiotu ewaluacji oraz postawionych problemów badawczych. Metody badawcze dobierane są w zależności od obszaru, grup docelowych, możliwości (czasowych, finansowych) realizacji, a także innych czynników składających się na szczegółowe kwestie związane z daną, konkretną ewaluacją Metody i techniki badawcze powinny być tak dobrane aby dane uzyskane w wyniku ich analizy pozwoliły odpowiedzieć na pytania ewaluacyjne. ) Przykładowe metody badawcze wykorzystywane w celu przeprowadzenia ewaluacji: analiza dokumentów (desk research), wywiady (indywidualne wywiady pogłębione IDI, zogniskowane wywiady grupowe FGI), badanie ankietowe, obserwacja, panel ekspertów. Określenie formatu raportu (ostatnim elementem projektowania ewaluacji jest określenie w jakiej formie, kiedy i komu zostanie przedstawiony raport końcowy. Najważniejsze częścią są użyteczne rekomendacje, poparte dowodami. W przypadku zlecenia ewaluacji na zewnątrz należy dokładnie wskazać Wykonawcy jakiej formy przedstawienia wyników oczekujemy (dotyczy to struktury raportu, objętości, szaty graficznej itp.) 3. Zbieranie i analiza danych Na tym etapie prowadzone są prace badawcze tzn. zbierane są dane do analizy. Analiza danych z badania to, ogólnie rzecz ujmując poszukiwanie, odpowiedzi na sformułowane w projekcie ewaluacji pytania. Jest to najtrudniejszy etap badania. Faza gromadzenia danych jest najbardziej newralgiczna i narażona na błędy ze 6

7 strony Wykonawcy badania (w przypadku ewaluacji zewnętrznej) jak i Zamawiającego. Dlatego ważne jest aby w trakcie procesu badawczego prowadzić nadzór nad jego realizacją, niezależnie od podmiotu odpowiedzialnego za prowadzenie ewaluacji. 4. Raportowanie W raporcie końcowym powinny znaleźć się wyczerpujące odpowiedzi na postawione pytania badawcze. Raport powinien zawierać nie tylko diagnozę problemów musi także przedstawić propozycję ich rozwiązania, które powinny być oparte na wynikach badania oraz niezależnej analizie i ocenie badacza. Wyniki ewaluacji prezentowane w formie raportu końcowego powinny zostać poddane konsultacji. Dyskusja nad wynikami i rekomendacjami z badania powinna angażować jak najszersze grono interesariuszy. 5. Wykorzystanie wyników ewaluacji Informacje zaprezentowane w raporcie ewaluacyjnym mają posłużyć do podejmowania decyzji prowadzących do udoskonalenia ewaluowanego przedsięwzięcia. Wyniki z badań powinny być upubliczniane i promowane. Raporty z badań powinny być zamieszczane na stronach internetowych oraz w miarę możliwości rozpowszechniane w formie drukowanej. Najskuteczniejszym sposobem dotarcia do odbiorców ewaluacji jest jednak kontakt bezpośredni (np. prezentowanie skróconej wersji raportu ewaluacyjnego na konferencjach czy seminariach). Warto też pokusić się o przedstawienie wyników w formie broszury czy artykułu prasowego. Ważne jest aby wyniki z badania otrzymały wszystkie osoby, podmioty zainteresowane (np. regionalni i lokalni decydenci, Instytucja Wdrażająca, instytucje, które współpracują z grupą docelową projektu itp.). Wyniki, rekomendacje z badania ewaluacyjnego zawarte w raporcie końcowym pomagają udoskonalić realizowane projekty, przez co staną się one bardziej konkurencyjne. Stanowią także rzetelną podwalinę w planowaniu kolejnych przedsięwzięć, mogą pomóc uniknąć podobnych błędów w przyszłości. Koszt przeprowadzenia ewaluacji Ewaluację projektu można przeprowadzić już od kilku tysięcy złotych choć jej koszt może dochodzić także do kilkudziesięciu lub kilkuset tysięcy złotych. Koszt badania ewaluacyjnego zależy przede wszystkim od: rozległości zakresu badawczego, zespołu zaangażowanego w badanie, liczby metod i narzędzi, wielkości próby, czasu przeznaczonego na badanie, zatrudnienia ekspertów z różnych dziedzin. Bibliografia: 1. Ewaluacja krok po kroku. Zalecenia IZ w zakresie prowadzenie ewaluacji w ramach PO KL, Ministerstwo Rozwoju Regionalnego 2. Ciężka B. Planowanie i projektowania ewaluacji, Zeszyty Naukowe Szkoły Wyższej Warszawskiej Cogitatus Numer 2/ Gałka E.: Ewaluacja projektów dlaczego? w: Fundusze europejskie (2/2008) 4. Gałka E.: Kto powinien przeprowadzić ewaluację projektu? w: Fundusze europejskie (4/2008) Olejniczak K, Kozak M, Ledzion B (red): Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, Wydawnictwa Akademickie i Profesjonalne, Warszawa Olejniczak K. Ewaluacja jako narządzie zarządzania w sektorze publicznym, w: Gorzelak G. Tucholska A. (red): Rozwój Region, przestrzeń, Ministerstwo Rozwoju Regionalnego & EUROREG, Warszawa Olejniczak K., Ferry M. Ewaluacja w praktyce sektora publicznego w: Petras Goc B.: Ewaluacja jako standard zarządzania w sektorze publicznym, Wyższa Szkoła Europejska im ks. J Tischnera, Kraków Olejniczak K.: Mechanizmy wykorzystania ewaluacji. Studium ewaluacji średniookresowych INTERREG III, Wydawnictwo Naukowe SCHOLAR, Warszawa

8 8