Podnieś swoje kwalifikacje poznając fundusze unijne. Raport z badania ewaluacyjnego beneficjentów ostatecznych

Transkrypt

1 Warszawa, dnia 25 maja 2011 r. Podnieś swoje kwalifikacje poznając fundusze unijne Raport z badania ewaluacyjnego beneficjentów ostatecznych Marek Kacprzak: marek.kacprzak@student.uw.edu.pl Maria Redel: maria.redel@student.uw.edu.pl 1

2 Spis treści Rozdział 1- Informacje o Projekcie Informacje ogólne Cele projektu Finansowanie 5 Rozdział 2 - Elementy ewaluacji w świetle istniejących norm i standardów Podmiot ewaluacji Cele ewaluacji Kryteria ewaluacji Metody i techniki monitoringu i ewaluacji Wyniki ewaluacji i zaprezentowane wnioski Cechy raportu końcowego 11 Rozdział 3- Podsumowanie i Wnioski Ocena ewaluacji w oparciu o standardy PTE Ocena ewaluacji tabela konwersji 15 Bibliografia 16 2

3 ROZDZIAŁ 1 Informacje o projekcie 1.1 Informacje ogólne Przedmiotem analizowanego raportu ewaluacyjnego jest projekt Podnieś swoje kwalifikacje poznając fundusze unijne, a jego dokładny tytuł brzmi Podnieś swoje kwalifikacje poznając fundusze unijne. Raport z badania ewaluacyjnego beneficjentów ostatecznych. Z informacji zawartych w raporcie ewaluacyjnym wynika, że zarówno sam projekt jak i badanie ewaluacyjne przeprowadzone zostały przez Regionalną Izbę Gospodarczą w Katowicach. Projekt realizowany był w okresie od października 2005 r. do maja 2007 r. Odbyły się w tym czasie 3 jego edycje. Każda z nich obejmowała 6 paneli (3 szkoleniowe oraz 3 szkoleniowo-doradcze), a mianowicie: 1. Wstęp do funduszy unijnych, 2. Dofinansowanie inwestycji w przedsiębiorstwach, 3. Dofinansowanie projektów edukacyjnych, 4. Zagadnienia za zakresu handlu zagranicznego, 5. Dofinansowanie projektów z zakresu ochrony środowiska, 6. Dofinansowanie projektów na doradztwo panel doradczy. Szkolenia odbywały się w weekendy. Miejsce ich przeprowadzenia określone zostało w raporcie jako centrum Katowic. Jeśli chodzi o beneficjentów programu, to ich liczba wyniosła 450. Aby wziąć udział w projekcie należało (łącznie) spełniać następujące kryteria: 1. Być osobą pracującą, 2. Wyrazić chęć podniesienia swoich kwalifikacji, 3. Być przygotowanym na udział w projekcie poza godzinami pracy (w weekendy) 1. 1 Podnieś swoje kwalifikacje poznając fundusze unijne. Raport z badania ewaluacyjnego beneficjentów ostatecznych, Regionalna Izba Gospodarcza w Katowicach, Katowice 2007, s. 3-4, 3

4 Ponadto, jak wynika z informacji nie zamieszczonych w raporcie, a w prezentacji z konferencji stanowiącej podsumowanie cyklu bezpłatnych szkoleń organizowanych w ramach projektu, warunkiem udziału w przedsięwzięciu było także przesłanie pocztą, mailem lub faxem, wypełnionej karty zgłoszenia wraz z aktualnym zaświadczeniem o zatrudnieniu. O zakwalifikowaniu się do udziału w projekcie decydowała kolejność nadsyłania zgłoszeń (tworzone były również listy rezerwowe). Co więcej, w ww. prezentacji zamieszczone zostały również informacje o wymiarze czasowym przeprowadzonych w ramach całego projektu szkoleń (550 godzin szkoleniowych oraz 540 godzin indywidualnych godzin doradczych) 2. Warto zwrócić uwagę na to, że ewaluator nie wyróżnia kategorii beneficjentów zamierzonych i ostatecznych. Nie możemy tym samym ocenić, czy w projekcie rzeczywiście wzięły udział osoby, które spełniały ww. kryteria, czy też, z rożnych względów, partycypowały w nim inne osoby. 1.2 Cele projektu W raporcie z ewaluacji został wyszczególniony cel główny - podniesienie konkurencyjności pracowników na lokalnym rynku pracy. Warto zwrócić uwagę na to, że na tym twórca raportu poprzestaje, tzn. brak jest jakichkolwiek informacji dotyczących realizacji ww. celu. Cel nie został omówiony a jedynie wymieniony. Nie podano np. wiadomości takich jak co rozumie się przez podniesienie konkurencyjności, jak dokładnie rozumiany jest lokalny rynek pracy, jakimi wskaźnikami należy mierzyć wzrost konkurencyjności czy jakie wyniki będą świadczyły o osiągnięciu celu. Mowa jest jednak o jeszcze jednym celu dostarczeniu praktycznej wiedzy niezbędnej przedsiębiorcom w ich staraniach o uzyskanie dotacji unijnych, jak również 0swoje%20kwalifikacje%20poznaj%C4%85c%20fundusze%20unijne_.pdf, pobrano dnia r. godz G. Sekścińska, Prezentacja założeń Projektu i jego efektywności, omówienie poszczególnych edycji, podsumowanie paneli tematycznych oraz podsumowania dotyczące uczestników szkoleń, Katowice 2007, s. 7, 35, pobrano dnia r., godz

5 koniecznej do prawidłowej realizacji projektów dofinansowanych ze środków strukturalnych. Możemy jedynie domyślać się, że cel ten ma być celem pośrednim, który mógłby przyczynić się do realizacji celu głównego 3. Warto zwrócić uwagę na to, że we wspomniana wyżej prezentacja założeń projektu, wymienia więcej celów niż raport z ewaluacji, dodając w tym zakresie: 4 Dostosowanie umiejętności beneficjentów do wymogów nowoczesnego rynku pracy w warunkach członkostwa w Unii Europejskiej, 5 Podniesienie poziomu wiedzy i kwalifikacji zawodowych osób pracujących, zamieszkujących teren województwa śląskiego, 6 Zaspokojenie potrzeb edukacyjnych lokalnego rynku pracy Finansowanie Projekt powstał jako odpowiedź na konkurs, jaki został ogłoszony przez Wojewódzki Urząd Pracy w Katowicach, w związku z realizacją Zintegrowanego Programu Operacyjnego Rozwoju Regionalnego, w ramach Priorytetu nr 2, tj. wzmocnienia rozwoju zasobów ludzkich w regionach. Działanie miało objąć rozwój umiejętności powiązany z potrzebami regionalnego rynku pracy i możliwości kształcenia ustawicznego w regionie. Źródłem finansowania projektu był Europejski Fundusz Społeczny (EFS). Wartość finansowania wyniosła niespełna 468 tys. zł. W raporcie z ewaluacji określono procent dofinansowania jako 100% 5. Jednakże w prezentacji podsumowującej realizację projektu obok środków z Europejskiego Funduszu Społecznego, jako źródło dofinansowania, wskazano także budżet państwa 6. 3 Podnieś, op. cit., s. 5 4 Prezentacja, op. cit., s. 5 5 Podnieś, op. cit., s. 3,6 6 Prezentacja, op. cit., s. 4 5

6 ROZDZIAŁ 2 Elementy ewaluacji w świetle istniejących norm i standardów 2.1 Podmiot ewaluacji Podmiotem realizującym ewaluację była Regionalna Izba Gospodarcza w Katowicach, a dokładnie - pracownik merytoryczny ds. ewaluacji i organizacji konferencji. Mamy zatem w tym przypadku do czynienia z ewaluacją wewnętrzną (zarówno ewaluatorem jak i zlecającym jest bowiem ta sama instytucja przez swojego pracownika). Ewaluator (pracownik) pozostawał więc w bezpośrednim związku i, jak się wydaje, był lub mógł zostawać w pewnej zależności z podmiotem zlecającym, czyli Regionalną Izbą Gospodarczą, jako swoim pracodawcą. Jednakże według standardów zdefiniowanych przez Polskie Towarzystwo Ewaluacyjne, powinna być zapewniona niezależność ewaluacji, co oznacza, że ewaluator powinien być niezależny od zlecającego oraz względem ewaluowanego programu. Ponadto winna być zapewniona zgodność z zasadami etycznymi, w wymiarze dotyczącym chociażby zapewnienia poufności oraz anonimowości badanych osób względem ewaluatora Cele ewaluacji W treści raportu z ewaluacji nie zostały wprost sprecyzowane jej cele. Możemy jedynie domyślać się, w oparciu o przedstawione kryteria ewaluacji, że jej zamiarem jest odpowiedź na pytanie czy owe kryteria zostały zrealizowane. Nie zostaje zatem spełniony wymóg precyzyjnego określenia celu ewaluacji. Cele nie są jasno określone, nie mówiąc już o jakimkolwiek ich wyartykułowaniu. Nie ma także żadnych informacji dotyczących sposobu wykorzystania wyników badania ewaluacyjnego 8. Jedynym źródłem wiedzy na temat celów ewaluacji jest załącznik do raportu, w postaci kwestionariusza ankiety ewaluacyjnej. Czytamy w nim: Regionalna Izba Gospodarcza w Katowicach na potrzeby realizowanego projektu PODNIEŚ SWOJE KWALIFIKACJE poznając fundusze unijne przeprowadza badanie 7 Standardy ewaluacji, Polskie Towarzystwo Ewaluacyjne, Warszawa 2008, s. 5 8 Tamże, s

7 ewaluacyjne, którego celem jest ocena szkoleń i usług doradczych zrealizowanych w ramach projektu. Państwa odpowiedzi, uwagi i oceny będą dla nas bardzo cenne, gdyż wskażą na Państwa potrzeby i oczekiwania, przyczyniając się do doskonalenia realizowanych projektów tak, aby przynosiły one jak największe korzyści ich uczestnikom 9. Prezentowanie celu ewaluacji w tak pośredni sposób, w naszej opinii również nie spełnia wymogu precyzyjnego określenia celu ewaluacji. Powinien on być jasno sformułowany w treści raportu, a nie w załączniku, w dodatku malutkimi literami, w sposób niewyróżniający się. 2.3 Kryteria Ewaluacji Wyróżniono trzy kryteria ewaluacji: trafność działań, użyteczność oraz trwałość. Należy jednak zwrócić uwagę na to, że nie odpowiadają one znaczeniowo standardowym kryteriom metodologicznym nazwanym w ten sam sposób 10. W odniesieniu do pierwszego kryterium trafności działań sformułowano dwa pytania kluczowe, a mianowicie: 1. Skąd uczestnicy uzyskali informacje na temat projektu? oraz 2. Jakie były motywy uczestnictwa w projekcie? Tak sformułowane pytania nie dają jednak odpowiedzi na pytanie w jakim stopniu cele programu odpowiadają potrzebom jego adresatów. Co więcej, potrzeby adresatów nie zostały wprost zdefiniowane w raporcie. Na kolejne kryterium, czyli użyteczność, mają wskazywać odpowiedzi na pytania takie jak: 1. Jak uczestnicy oceniali materiały dydaktyczne? 2. Czy tematyka szkoleń okazała się zgodna z potrzebami uczestników? 3. Jak uczestnicy oceniali umiejętności nabyte podczas szkoleń? 9 Podnieś, op. cit., s Ocena zawarta w tym podrozdziale została dokonana w oparciu o: R. Szarfenberg, Wprowadzenie do ewaluacji programów i projektów społecznych, Warszawa 2009, s. 9-10, 24-27, pobrano dnia , godz oraz w oparciu o informacje pochodzące z prezentacji z wykładu 7

8 4. Jakie były efekty uczestnictwa w szkoleniu? 5. Które z komponentów szkolenia okazały się najbardziej przydatne? Uzyskanie odpowiedzi na powyższe pytania, również nie wskaże na to, na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów. Co prawda jest jedno pytanie powiązane z potrzebami uczestników (pyt. nr 2), jednakże odnosi się ono do nie do rezultatów programu a jedynie do tematyki szkoleń. Ostatnim z zastosowanych kryteriów było kryterium trwałości, w stosunku do którego sformułowano następujące pytania: 1. Jak oceniana jest zasadność realizacji szkoleń dofinansowanych z UE? 2. Czy szkolenia dofinansowane z Unii Europejskiej umożliwiają podnoszenie kwalifikacji zawodowych i rozwój zawodowy? 3. Czy uczestnicy planują dalsze dokształcanie? Przyjęte kryterium trwałości nie odpowiada swemu standardowemu znaczeniu, nie wskazując na to jak długo będą trwać pozytywne skutki (wzrost konkurencyjności na lokalnym rynku pracy) programu po jego zakończeniu. Jeśli mowa o kryteriach, to należy podkreślić, iż w ogóle nie odniesiono się do kryteriów takich jak skuteczność (brak zatem określenia czy osiągnięto skutki zgodne z celem głównym projektu), oraz ekonomiczność (nie stwierdza się tym samym czy osiągnięto cel minimalnym kosztem). Ewaluator nie uargumentował powodów niezastosowania ww., pominiętych kryteriów. Ponadto, można zauważyć pewne braki dotyczące kryteriów ewaluacyjnych. Nie została np. określona metoda oceniania ewaluacji brak jest tabeli konwersji, która miałaby na celu wskazanie jak na podstawie uzyskanych danych i wniosków z ich analizy należy ocenić program. Nie określono także w raporcie ważności poszczególnych kryteriów, ich miar (skal) i, co za tym idzie, sposobu agregowania ocen cząstkowych do oceny łącznej projektu. 8

9 2.4 Metody i techniki monitoringu i ewaluacji Badanie ewaluacyjne przeprowadzane było od kwietnia do maja 2007 r. Zgodnie z informacjami przedstawionymi w raporcie, w tym celu posłużono się ankietami oraz wywiadami. Badanie ankietowe przeprowadzono podczas konferencji podsumowującej projekt (19 kwietnia 2007 r.). Osobom, które nie uczestniczyły w konferencji, ankiety przesłano drogą pocztową oraz elektroniczną. Takimi właśnie sposobami dostarczono je wszystkim 450 beneficjentom. Trzeba w tym miejscu powiedzieć, że zaledwie 150 wszystkich ankiet zostało wypełnionych kompletnie i właśnie w takiej liczbie wzięte zostały one pod uwagę przy ewaluacji. Z pewnością można zatem powiedzieć, że liczba wykorzystanych ankiet była bardzo mała i niereprezentatywna, stanowiąc tylko 1/3 wszystkich. Co więcej, ankiety nie odpowiadają na główny cel zawarty w projekcie. Zawierają jednak pytania np. o nazwę panelu, w którym wzięto udział, źródło informacji na temat projektu, motywy wzięcia udziału w projekcie. W ankiecie pyta się także o ocenę szkoleń (np. Jak oceniają Państwo wiedzę przekazaną podczas szkoleń?, Jak oceniają Państwo materiały dydaktyczne prezentowane i udostępniane na zajęciach? Czy tematyka szkoleń okazała się zgodna z Państwa potrzebami?) oraz o wpływ szkolenia na poziom umiejętności i pracę zawodową (np. Jakie były efekty udziału Państwa w szkoleniach realizowanych w ramach projektu?, Jak oceniacie Państwo zasadność realizacji szkoleń dofinansowanych z Unii Europejskiej umożliwiających podnoszenie kwalifikacji zawodowych i rozwój zawodowy?). Należy zwrócić uwagę, iż zdarza się, że padające w ankiecie pytania czy możliwe odpowiedzi na nie są źle sformułowane. I tak np. na pytanie o ocenę umiejętności nabytych dzięki uczestnictwu w szkoleniach, możliwe są jedynie dwie poprawne odpowiedzi, mianowicie: przydatne w pracy zawodowej oraz nieprzydatne w pracy zawodowej. Brak tu odpowiedzi o charakterze pośrednim, które mogłyby pełniej odzwierciedlać opinie ankietowanych. Ponadto, w metryczce pada pytanie o wykształcenie. Możliwe do udzielenia odpowiedzi to: wyższe, licencjat oraz średnie. Nie zostało przewidziane wykształcenie zawodowe czy podstawowe oraz poniżej podstawowego. Sytuacja taka jest niedopuszczalna, skoro przecież kryterium upoważniającym do udziału w programie nie było wykształcenie. 9

10 Jeszcze innym przykładem nieprawidłowości w kwestionariuszu ankietowym jest padające na koniec pytanie o imię i nazwisko uczestnika projektu, co również wydaje się być nie do zaakceptowania ze względu na wspomniany już przy okazji podrozdziału 2.1. (Podmiot ewaluacji) wymóg zapewnienia zgodności z zasadami etycznymi poprzez zagwarantowanie poufności oraz anonimowości badanych osób względem ewaluatora. Drugim narzędziem ewaluacji były wywiady. Przedstawione w raporcie informacje dotyczące wywiadów kończą się jednak na tym z kim zostały one przeprowadzone (z koordynatorem projektu, trenerami projektu, osobą odpowiedzialną za finanse i księgowość oraz osobą odpowiedzialną za działania informacyjno promocyjne w ramach projektu). Nie ma w nim żadnych informacji na temat wyników wywiadów, brak jest jakichkolwiek cytatów. Warto także zwrócić uwagę na to, że z treści raportu wynika, że nieodłącznym elementem realizacji projektu był jego stały monitoring. Jego celem było uzyskanie opinii beneficjentów na temat stopnia merytoryczności o organizacji przeprowadzanych szkoleń. Monitoring realizowano za pomocą anonimowych (tym razem) ankiet, które uczestnicy otrzymywali na każdym szkoleniu. Zgromadzone w ten sposób informacje miały służyć doskonaleniu przeprowadzania kolejnych edycji szkoleń. Jednakże wyniki powyższych badań nie zostały uwzględnione i zaprezentowane w raporcie ewaluacyjnym Wyniki ewaluacji i zaprezentowane wnioski Wyniki przeprowadzonego badania ewaluacyjnego zostały zaprezentowane w formie graficznej. Zajęło to przeważającą część całego raportu (niemalże 20 stron, na ok. 30 całego raportu 12 ). Jeśli zaś chodzi o interpretację zaprezentowanych wyników i sformułowane wnioski, to z pewnością można ocenić je jako bardzo ubogie. Zaprezentowano je bowiem jedynie na niecałych dwóch stronach raportu, z czego większość to treści powtórzone ze wstępnych rozdziałów (np. Projekt zakładał realizację kompleksowych szkoleń podzielonych na sześć paneli tematycznych, w tym trzy panele szkoleniowe i trzy panele szkoleniowo-doradcze. Szkolenia uczestników realizowane w systemie weekendowym obejmowały szeroką tematykę funduszy Unii Europejskiej ( ) 13 ). W rzeczywistości, 11 Tamże, s. 5, 9, Bez strony tytułowej, spisu treści, załączników w postaci kwestionariuszy 13 Podnieś, op. cit., s

11 wszelkie sformułowane wnioski i komentarze ograniczają się do dwóch krótkich akapitów. Pierwszy z nich stanowi, iż: O trafności i użyteczności podjętych działań w ramach projektu świadczą bardzo dobre opinie uczestników badania ewaluacyjnego w obszarze zgodności tematyki szkoleń z ich potrzebami, jak też wysoka ocena umiejętności nabytych dzięki udziałowi w projekcie. Wzrost kompetencji zawodowych wskazywany przez znaczną liczbę beneficjentów ostatecznych jako efekt udziału w szkoleniach świadczy o tym, że założone cele zostały osiągnięte. Drugi zaś, który ma niejako traktować o trwałości projektu: Zdecydowana większość beneficjentów deklaruje także uczestnictwo w dalszym dokształcaniu zawodowym jako udział w szkoleniach i warsztatach, w tym największa liczba respondentów - udział w szkoleniach dofinansowanych z UE. Wypada w tym momencie przypomnieć, że definicje zastosowanych kryteriów znacząco odbiegały od ich standardowego rozumienia. Co więcej, formułując wnioski, po raz kolejny nie wyjaśniono znaczenia pojęć, którymi ewaluator się posługuje (mowa tu np. o tym, co rozumie się przez potrzeby uczestników, kompetencje zawodowe i ich wzrost). Co więcej, autor raportu wspomina o znacznej liczbie beneficjentów ostatecznych, co jest błędne, skoro przy opracowaniu raportu wzięto pod uwagę ankiety wypełnione tylko przez 1/3 z nich. 2.6 Cechy raportu końcowego Jeśli chodzi o informacje dotyczące implementacji programu, to są one niepełne. W odniesieniu do finansowania nie do końca jasno zostało określone źródło finansowania, została jednak dokładnie podana jego kwota (niespełna 468 tys. zł). Nie ma również stwierdzenia na temat zagrożeń jakie mogą się pojawić w trakcie realizacji podobnego działania, a także informacji dotyczących realizującego program personelu, zakresu jego działania i zasięgu obowiązków. Brak jest jakiekolwiek odniesienia co do faktów poprzedzających program, czy były realizowane jakieś działania, czy jakieś zadania odbywały się w tym lub zbliżonym zakresie. 11

12 Wybiórczo zawarto informacje dotyczące wyników całego projektu, co przy takich funduszach jakie zostały przeznaczone na ten cel, jest całkowitą porażką. Nie ma mowy o szerszym kontekście (rozumianym jako diagnoza potrzeb oraz problemów, zasobów czy możliwości w środowisku/regionie). Brakuje również porównań do innych programów i stwierdzenia co jest mocną, a co słabą stroną analizowanego przez nas projektu. Co więcej, wadą jest na pewno brak określenia potrzeb dotyczących dalszej ewaluacji oraz fakt, że projekt nie zawiera żadnych istotnych rekomendacji. Nie określono także wpływu programu, czyli tego czy i na ile podjęte działania dotarły do zamierzonych adresatów i miały na nich wpływ. Jeśli chodzi o kategorie takie jak wkład oraz skuteczność, to informacje na ich temat są niezbyt dokładne, m.in. z racji nieokreślenia czym są potrzeby beneficjentów. Podano jednak informacje dotyczące procesu implementacji projektu, odwołując się do stałego monitoringu realizowanego za pomocą ankiet. Pozytywem może być szata graficzna i zdjęcia, które wykorzystano do promocji działania w mieście a także załączenie kwestionariuszy ankiet. 12

13 ROZDZIAŁ 3 Podsumowanie i wnioski 3.1 Ocena ewaluacji w oparciu o standardy Polskiego Towarzystwa Ewaluacyjnego Poddany analizie projekt w pewnych aspektach jest zgodny ze standardami Polskiego Towarzystwa Ewaluacyjnego np. w aspekcie apolityczności i innych danych wrażliwych zarówno ewaluatora jak i zlecającego. Chodzi tutaj o nieujawnienie takich cech jak religijność, wspomniana polityczność, seksualność czy też szeroko rozumiane czynniki rasowe. Pod tym względem raport całkowicie spełnia wymogi określone w dokumencie. Nie ma bowiem jakichkolwiek odniesień czy raczej sugestii, które naruszałyby czyjeś dobra osobiste. Cały raport jest zbudowany odpowiednio i nie wskazuje jednostek lepszych czy gorszych, mówiąc wprost nikt nie jest w nim dyskryminowany. Analizując raport ewaluacyjny pod innymi kątami nie jest już tak dobrze. Opierając się o wskazówki podane w dokumencie Towarzystwa, nie wydaje się, aby proces ewaluacji był rozplanowany odpowiednio wcześniej i z uwzględnieniem dobra publicznego. Należy umotywować to faktem, iż raport jest niedokładny i nieprecyzyjny. Wynika z niego, że zamiar służb był właściwy i miał na celu dobro publiczne, jednak nie jest on adekwatny do zakładanych cech określonych przez Towarzystwo. Poza tym raport nie charakteryzuje się wysokimi walorami poznawczymi oraz praktycznymi. Sam w sobie jest krótki, niejasny i raczej chaotyczny. Nie spełnia wymogu dotyczącego poszanowania środków publicznych, z których był w pełni finansowany albo inaczej, jakość tego projektu dalece odbiega od wytycznych prezentowanych przez Towarzystwo, a więc publiczne wydatki jakie w tej sprawie zostały użyte były bezcelowe. Jedynym pozytywem w tej kwestii pozostaje, że praca została wykonana przez własnego pracownika co może powodować niewielki koszt wytworzenia raportu. Raport powinien mieć jasno sprecyzowane cel lub cele, jednakże w tej kwestii analizowana ewaluacja również pozostawia wiele do życzenia. 13

14 W raporcie istnieje zatem wiele błędów, ale także i pozytywnych stron, a reasumując (i dodając) należą do nich m.in.: 1. Podległość ewaluatora kierownictwu instytucji realizującej projekt (mamy bowiem mamy w tym przypadku do czynienia z ewaluacją wewnętrzną), 2. Ewaluacja wydaje się nie być zgodna z zasadami etycznymi, dotyczącym chociażby zapewnienia poufności oraz anonimowości badanych osób względem ewaluatora, 3. Generalnie raport jest krótki i dość chaotyczny, pojawiają się w nim braki dotyczące np. jasnego wyartykułowania wszystkich celów ewaluacji, 4. Atutami mogą być z całą pewnością, jasny, prosty język, określenie logiczne głównego celu, 5. Raport nie zapewnia wysokiej jakości ewaluacji, zawiera wiele błędów, nieporozumień, nieścisłości w odniesieniu do przedstawianych informacji, które przekładają się na słabą jakość całkowitą projektu, 6. Ewaluacja przeprowadzona została w oparciu jedynie o 1/3 wszytskich przekazanych beneficjentom ankiet nie była zatem dość reprezentatywna, 7. Kryteria trafności, skuteczności czy rzetelności nie odpowiadają ich standardowemu znaczeniu, 8. Brak opisania standardów w relacji ewaluator badany, nie wiemy jakie panowały konotacje między grupą beneficjentów a osobą ewaluatora, 9. Zdawkowe stwierdzenia o wnioskach i ogólnym podsumowaniu w końcowej fazie raportu, nie ma tam praktycznie żadnego podsumowania, które mogłoby wnieść cokolwiek do następnych tego typu ewaluacji, 10. Brak streszczenia projektu, dzięki któremu można przejrzeć treść całości dosłownie w kilku zdaniach, 11. Zgodność raportu ze standardami w zakresie apolityczności, 12. Proces ewaluacji nie był rozplanowany odpowiednio wcześniej i z uwzględnieniem dobra publicznego Standardy, op. cit., s

15 3.2 Ocena ewaluacji - tabela konwersji 15 Ocena Wyjaśnienie Celująca Przykład najlepszej praktyki iepozostawiającej jakiejkolwiek wątpliwości; żadnych słabości Bardzo Dobra Dobra Dostateczna Bardzo dobra ewaluacja, pod wszystkimi lub znaczną większością względów, bardzo dobry poziom ale niebędący wzorem, brak słabości Ogólnie dobra ewaluacja, może mieć kilka umiarkowanych słabości, ale żadnej poważnej Wyniki zadowalające, kilka poważnych, ale niekrytycznych słabości Mierna Niepozostawiające wątpliwości dowody niezadawalającego funkcjonowania, poważne słabości pod prawie wszystkimi względami, poważne słabości pod prawie wszystkimi względami. Projekt ewaluacji, który poddaliśmy analizie niestety wpisuje się w ocenę mierną, ponieważ brakuje w nim uwzględnienia większości elementów zawartych w standardach ewaluacji oraz wzięcia pod uwagę kryteriów dobrych raportów końcowych. Istnieją rażące błędy. 15 Opracowanie własne w oparciu o: Modele, metody i techniki ewaluacji 15

16 Bibliografia 1. Podnieś swoje kwalifikacje poznając fundusze unijne. Raport z badania ewaluacyjnego beneficjentów ostatecznych, Regionalna Izba Gospodarcza w Katowicach, Katowice Sekścińska G., Prezentacja założeń Projektu i jego efektywności, omówienie poszczególnych edycji, podsumowanie paneli tematycznych oraz podsumowania dotyczące uczestników szkoleń, Katowice Standardy ewaluacji, Polskie Towarzystwo Ewaluacyjne, Warszawa R. Szarfenberg, Wprowadzenie do ewaluacji projektów i programów społecznych, [w:] B. Szatur-Jaworska (red.) Ewaluacja w służbach społecznych, Mazowieckie Centrum Polityki Społecznej, Warszawa,