Łódzka Akademia PO KL

Transkrypt

1 Łódzka Akademia PO KL Monitoring i ewaluacja B03+ Urząd Marszałkowski w Łodzi Departament ds. PO Kapitał Ludzki Instytucja Pośrednicząca

2 Plan prezentacji Standardy ewaluacji Definicja i cele ewaluacji Rodzaje ewaluacji Kryteria ewaluacji Etapy procesu ewaluacji Metody badań ewaluacyjnych Zakończenie ewaluacji Ewaluacja a monitorowanie, Monitoring i ewaluacja a problematyka płci 2

3 Standardy ewaluacji Standardy Ewaluacji zostały opracowane przez Polskie Towarzystwo Ewaluacyjne w 2008 r. Opracowanie dokumentu było możliwe dzięki współpracy przedstawicieli administracji publicznej, organizacji pozarządowych, pracowników firm realizujących badania ewaluacyjne, instytucji naukowych i niezależnych konsultantów. Cele standardów ewaluacji: Wsparcie osób zaangażowanych w proces ewaluacji Zapewnienie jak najwyższej jakości prowadzonych ewaluacji Punkt odniesienia przy przygotowywaniu, zamawianiu i realizacji ewaluacji oraz wykorzystywaniu jej wyników Ujednolicenie rozumienia i respektowania podstawowych zasad etycznych procesu ewaluacji 3

4 Definicje ewaluacji Ewaluację należy traktować jako krytycznego przyjaciela, który doceni to, co realizowane jest dobrze, ale nie zawaha się wskazać na obszary, gdzie zmiany będą konieczne. Aby ten mechanizm współpracy zadziałał prawidłowo trzeba zadbać o to, aby proces ewaluacji od początku do końca przebiegał sprawnie. 4

5 Definicje ewaluacji Zgodnie z Wytycznymi w zakresie ewaluacji programów operacyjnych na lata ewaluacja to: ocena wartości interwencji publicznej dokonana przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów; zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości tego, co podlega badaniu, przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych; dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. 5

6 Cele ewaluacji Badanie jakości projektu, stopnia osiągnięcia wskaźników pomiaru celów (rezultaty) Stałe ulepszanie skuteczności i efektywności projektu Wspomaganie procesu podejmowania decyzji Identyfikacja słabych i mocnych stron projektu Obiektywna ocena projektu na wszystkich jego etapach Sygnalizowanie problemów Ocena wartości podjętych działań projektowych Określanie stopnia zgodności realizacji projektu z założeniami Badanie potrzeb Zwiększanie profesjonalizmu świadczonych usług 6

7 Rodzaje ewaluacji Kryterium wykonawcy: Ewaluacja zewnętrzna przeprowadzana przez niezależnego wykonawcę np. ośrodki naukowe, firmy badawcze, firmy konsultingowe itd. Odpowiedni wybór w przypadku gdy Beneficjent nie ma doświadczenia i wiedzy dotyczącej ewaluacji a jednocześnie projekt jest skomplikowany a grupa docelowa liczna. Ewaluacja wewnętrzna przeprowadzana przez osoby bezpośrednio lub pośrednio związane z podmiotem realizującym projekt. Możliwa do przeprowadzenia w przypadku, gdy mamy w zespole osobę posiadającą odpowiednie kwalifikacje, potrafimy przeprowadzać badania oraz dokonać analizy wyników. Przy realizacji małych projektów możemy przeprowadzać wewnętrzną ewaluację, gdyż zbieranie danych i ich analiza nie są trudne. 7

8 Kryterium wykonawcy wady i zalety: Ewaluacja zewnętrzna Rodzaje ewaluacji specjalista z zewnątrz musi poświęcić więcej czasu na zapoznanie się z kontekstem projektu ponieważ nie uczestniczył w jego projektowaniu i realizacji. Mamy pewność, iż dokonana ocena będzie obiektywna, profesjonalne zostaną zaplanowane etapy badania i rzetelnie przygotowane narzędzia badawcze. Ewaluacja wewnętrzna może być obarczona subiektywizmem, mamy pewność, iż osoba prowadząca ewaluację doskonale zna specyfikę projektu, zna uczestników oraz może wyciągnąć więcej wniosków. 8

9 Rodzaje ewaluacji Kryterium czasu realizacji: Ewaluacja ex-ante (przed realizacją projektu) prowadzona przed wdrażaniem projektu; ma na celu poprawę jakości projektu będącego w trakcie opracowania. Ocenia projekt pod kątem potrzeb grupy docelowej, planowanych celów oraz sposobów ich realizacji. Ewaluacja mid-term (mniej więcej w połowie realizacji projektu) ocenia i analizuje osiągnięte do tej pory cele i wskaźniki. Oparta na danych dostarczonych przez proces monitorowania. Może doprowadzić do modyfikacji realizacji projektu oraz aktualizacji przyjętych założeń. Ewaluacja ex-post (po zakończeniu realizacji projektu) prowadzona po zakończeniu realizacji projektu; stanowi całościowe podsumowanie danego projektu. Ocenia skuteczność i efektywność projektu oraz jego trafność iużyteczność. Stanowiźródło informacji niezbędne przy planowaniu kolejnych projektów. Ewaluacja on-going (w trakcie trwania projektu) stanowi przyczynę doskonalenia organizacji, umiejętności i poziomu wiedzy osób realizujących projekt. Usprawnia procedury wdrażania, przyczynia się do wypracowywania wspólnych stanowisk oraz prowadzi do wzięcia odpowiedzialności za wdrażanie projektu. 9

10 Kryteria ewaluacji TRAFNOŚĆ EFEKTYWNOŚĆ UŻYTECZNOŚĆ KRYTERIA TRWAŁOŚĆ SKUTECZNOŚĆ 10

11 Kryteria ewaluacji Trafność (adekwatność) w jakim stopniu projekt odpowiedział na rzeczywiste potrzeby uczestniczek i uczestników. Czy i w jakim stopniu zaproponowane działania w projekcie okazały się adekwatne w przypadku grupy mężczyzn objętych wsparciem oraz w przypadku grupy kobiet objętych wsparciem? Jeżeli nie udało się zapewnić zakładanego poziomu uczestnictwa w grupie kobiet, bądź w grupie mężczyzn, to jakie są tego przyczyny? Jakie działania należy uwzględnić, aby zapewnić poprawę sytuacji? 11

12 Kryteria ewaluacji Użyteczność w jakim stopniu przekazywana wiedza iumiejętności są użyteczne dla uczestników i uczestniczek projektu. W jakim stopniu projekt przyczynił się do rozwiązania bieżących problemów uczestników i uczestniczek? Do jakiego stopnia wiedza i umiejętności kształcone w projekcie mogą być stosowane przez kobiety oraz przez mężczyzn biorących udział w projekcie? Na ile działania podjęte w projekcie przyczyniają się do realnej poprawy sytuacji uczestników i uczestniczek na rynku pracy? Jak poprawa sytuacji wygląda w przypadku kobiet, a jak w przypadku mężczyzn? 12

13 Kryteria ewaluacji Skuteczność projektu stopień realizacji celów i rezultatów (wskaźników realizacji celów) W jakim stopniu udało się podnieść wiedzę i umiejętności kobiet i mężczyzn? W jakim stopniu udało się podnieść świadomość pracodawców na temat elastycznych form zatrudnienia i innych instrumentów wyrównywania szans kobiet i mężczyzn? Na ile zakładane cele projektu zmiana w odniesieniu do sytuacji kobiet i do sytuacji mężczyzn zostały osiągnięte? Czy działania projektu w odniesieniu do kobiet i w odniesieniu do mężczyzn przyniosły porównywane korzyści? 13

14 Kryteria ewaluacji Efektywność odpowie na pytanie na ile możliwe było osiągnięcie zakładanych celów niższym kosztem, czyli pozwala ocenić stosunek poniesionych nakładów finansowych, czasowych, ludzkich do uzyskanych wyników i rezultatów (zastosowanie: ewaluacja ex-ante, mid-term, ex-post) Trwałość pozwala ocenić, czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego oraz czy możliwe jest utrzymanie się wpływu projektu w dłuższym okresie czasu na procesy rozwojowe na poziomie sektora, regionu czy kraju (zastosowanie: ewaluacja ex-post) 14

15 Etapy procesu ewaluacji Planując ewaluację projektu należy odpowiedzieć na kilka pytań: Po co projekt ma zostać oceniony? Co ma zostać ocenione, a co nie? Jaki typ ewaluacji zastosujemy ( wewnętrzną/zewnętrzną )? Jak ocenić projekt? Ile osób i z jakimi kompetencjami powinno wejść do zespołu ewaluacyjnego? Kiedy ewaluacja będzie prowadzona? Jakie środki zostały przeznaczone na ewaluację? Dla kogo będzie przeznaczony raport ewaluacyjny? 15

16 Etapy procesu ewaluacji Podstawą rozpoczęcia procesu ewaluacji jest racjonalne oraz precyzyjne oszacowanie warunków potrzebnych do prac ewaluacyjnych: Czas Zasoby ludzkie Zdolności organizacyjne Zasoby techniczne Środki finansowe 16

17 Etapy procesu ewaluacji 1. Planowanie i projektowanie ewaluacji analiza potrzeb określenie zakresu ewaluacji podział obowiązków poszczególnych osób 2. Zbieranie i analiza danych prace badawcze analiza wyników 3. Raportowanie prezentowanie wyników badań w formie raportu konsultacje oraz dyskusja nt. wyników ewaluacji 4. Wykorzystywanie wyników ewaluacji udoskonalanie projektu na podstawie wniosków zawartych w raporcie 17

18 Pytania kluczowe Metody badań ewaluacyjnych Odpowiedzi dostarczą wyniki badania ewaluacyjnego Sformułowane w sposób ogólny, ale konkretny Stanowią filar raportu ewaluacyjnego Nie są to pytania, które wprost będą zadane osobom objętym ewaluacją 18

19 Pytania kluczowe Metody badań ewaluacyjnych Czy cele, produkty i efekty zdefiniowane w projekcie zostały osiągnięte? Jakie były przeszkody i bariery w realizacji projektu? Jak uczestnicy szkoleń ocenili aspekt organizacyjny zajęć? Jaki % grupy docelowej ukończył szkolenia? Czy podobne efekty można było osiągnąć przy wykorzystaniu niższych nakładów finansowych? Czy projekt spełnił oczekiwania adresatów? Czy projekt przyczynił się do rozwiązania, zmniejszenia zidentyfikowanych problemów? Czy zakres tematyczny szkoleń pokrywał się z potrzebami grupy docelowej? 19

20 Metody badań ewaluacyjnych ILOŚCIOWE Dotyczą gromadzenia i analizy informacji liczbowych; pozwalają poznać zależności pomiędzy występującymi zmiennymi; podlegają analizie statycznej, np. liczba odbiorców projektu. Odpowiadają na pytanie: ile? JAKOŚCIOWE Dotyczą opisu, poznania i zrozumienia badanych zjawisk; niezbędne dla właściwej interpretacji informacji liczbowych; taki charakter badań kładzie nacisk na procesy i znaczenia, które nie podlegają rygorom pomiaru w znaczeniu ilościowym, np. opinie; wieloznaczne i wielowymiarowe. Pozwalają odpowiedzieć na pytania co?, jak?, dlaczego? 20

21 Metody badań ewaluacyjnych ANALIZA DOKUMENTÓW WYWIADY OBSERWACJA dotyczy badania faktów; zbierania informacji w sposób formalny; pozwala na wykorzystanie dokumentów zgromadzonych podczas planowania i realizacji projektu; należy uważać, by nie interpretować danych w zbyt ogólny sposób. dotyczy zbierania opinii od osób zaangażowanych w realizację danego projektu oraz jego uczestników; daje możliwość poruszenia szczegółowych problemów i poznania interpretacji uczestników; metoda czasochłonna, kosztowna, obejmuje niewielką ilość respondentów. bezpośredni udział ewaluatorów w danym projekcie; może mieć charakter jawny lub niejawny; pozwala poznać kontekst danego działania; ułatwia interpretację, może prowadzić do przyswojenia stereotypów. KWESTIONARIUSZ uporządkowana lista pytań zamkniętych lub otwartych na jeden lub więcej tematów; umożliwia objęcie badaniem dużej grupy osób, jest anonimowa przez co daje swobodę wypowiedzi; odpowiedzi mogą okazać się zdawkowe; metoda wymaga starannego przygotowania kwestionariusza pytań 21

22 Metody badań ewaluacyjnych ANALIZA DOSTĘPNYCH DANYCH użycie informacji zawartych w raportach z wcześniejszych ewaluacji, ekspertyzach, informacji z urzędów statystycznych, instytucji naukowych STUDIUM PRZYPADKU GRUPY FOKUSOWE szczegółowe studium danego zagadnienia pokazane z różnych perspektyw, celem jest zrozumienie uwarunkowań dotyczących badanej kwestii forma moderowanej dyskusji składa się zsześciu lub ośmiu uczestników i moderatora dyskusji, który podaje tematy lub zagadnienia, uwzględniająca różne poglądy i opinie uczestników jest źródłem danych jakościowych 22

23 Metody badań ewaluacyjnych OPINIA EKSPERTÓW wyrażone na piśmie wypowiedzi osób będących ekspertami w danej dziedzinie, ze względu na subiektywny charakter opinii nie może być jedynym źródłem informacji DANE Z SYSTEMU MONITORINGU poprawnie i systematycznie prowadzony monitoring projektu pozwala obserwować postępy w realizacji i zapewnia materiał pomocniczy do ewaluacji okresowych TRIANGULACJA użycie kilku metod w ewaluacji aby badanie ukazało nam wyniki z różnych perspektyw. Triangulacja pozwala na lepsze poznanie i zrozumienie badanego projektu, uwzględnia rożne punkty widzenia na daną kwestię, pozwala również pogłębić wiedzę na temat zebranych danych, a także sprzyja zwiększeniu obiektywizmu prowadzonej ewaluacji 23

24 Metody badań ewaluacyjnych Techniki zbierania informacji. Pierwotne: Wywiady Bazy danych tworzone przez ewaluatora zawierające dane pochodzące z dokumentacji projektu, urzędu, instytucji i od grup docelowych z obszaru projektu Wewnętrzne źródła danych projektodawcy np.: - Monitoring - Kartoteki - Wykazy Wtórne: Dokumenty programowe Publikacje Podręczniki i wytyczne Raporty ewaluacyjne Bazy danych z innych badań Bazy danych statystycznych Artykuły prasowe 24

25 Metody badań ewaluacyjnych Dobór próby badawczej: Małe projekty: Dotarcie do wszystkich odbiorców działań nie jest skomplikowane, dlatego stosuje się badanie wszystkich osób stanowiących grupę docelową. Duże projekty: W projektach obejmujących wsparciem kilkaset osób, można losować jednostki do próby lub też wybrać osoby, które są z jakiś względów interesujące dla przeprowadzanego badania. Możliwe jest w tej sytuacji zastosowanie doboru celowego lub kwotowego gdy dzielimy grupy według kilku kryteriów. 25

26 Metody badań ewaluacyjnych Do poprawnego zastosowania wybranych metod zbierania danych służą odpowiednie narzędzia ewaluacyjne. Narzędzia badawcze zwane też instrumentami badawczymi to techniki, sposoby oraz procedury osiągnięcia poznawczych celów badań. Narzędzie badawcze to coś, przy pomocy czego będziemy gromadzić informacje. Najbardziej popularnym narzędziem ewaluacyjnym jest ankieta. Ankieta może zawierać zarówno pytania otwarte jak i zamknięte, np.: 1. Pytanie otwarte: Proszę wyjaśnić dlaczego będą Państwo aplikować o środki w ramach PO KL w przyszłym roku? 2. Pytanie zamknięte: Czy w przyszłym roku będą Państwo aplikować o środki w ramach PO KL? a) tak b) nie c) nie wiem Prócz ankiety wyróżniamy: dzienniki obserwacji, kwestionariusze, listy, skale, schemat, instrukcje, testy, urządzenia techniczne itd. 26

27 Zakończenie ewaluacji Każda ewaluacja powinna zakończyć się opracowaniem raportu ewaluacyjnego Raport ewaluacyjny powinien zawierać wnioski i rekomendacje Wyniki ewaluacji powinny służyć polepszeniu jakości projektów realizowanych w przyszłości Język raportu powinien być jasny i zrozumiały dla odbiorców 27

28 Raport ewaluacyjny Raport metodologiczny zawiera następujące informacje: dane nt. przedmiotu ewaluacji, cele i założenia, metodologię, wyniki, harmonogram prac, narzędzia badawcze Raport cząstkowy zawiera informacje z części badania ewaluacyjnego Raport końcowy struktura raportu obejmuje: streszczenie; spis treści, wprowadzenie, opis celów badania ewaluacyjnego, opis zastosowanej metodologii, wyniki ewaluacji, wnioski, rekomendacje, aneksy (zastosowane narzędzia badawcze, np. tabele, listy) ZAPAMIETAJ! Ewaluacja przynosi efekty tylko wtedy, jeśli jej wyniki przekazywane są w sposób zrozumiały. 28

29 Wyniki ewaluacji można prezentować w następującej formie: Prezentacji Power Point Broszury Strony www Ulotki Wystawy Płyty CD Albumu Wielostronicowych raportów Raport ewaluacyjny 29

30 Raport ewaluacyjny Rekomendacje Mogą być ogólne (odbiorca ma większą swobodę w podejmowaniu decyzji o sposobie ich wdrożenia) lub bardziej szczegółowe (określają dokładnie podmiot odpowiedzialny za ich wdrożenie oraz wskazują co powinno zostać zrobione) Powinny być realistyczne, czyli określać w jaki sposób ich wdrożenie wpłynie na realizacje projektu oraz jakie wydatki z nich wynikają Powinny wskazywać adresatów rekomendacji Powinny być jasno i precyzyjnie sformułowane 30

31 Ewaluacja a monitorowanie Monitorowanie pozwala ocenić prawidłowość przebiegu danego projektu; dostarcza informacji na temat osiągniętych celów i rezultatów w stosunku do poniesionych nakładów; ma charakter systematyczny. Trwa równolegle przez cały okres realizacji projektu. Możemy wskazać monitorowanie postępu rzeczowego czyli sprawdzenie zgodności realizowanego projektu z harmonogramem, postępu finansowego, który dotyczy zbadania czy na poszczególne zadania w projekcie wydawane są kwoty zgodne ze szczegółowym budżetem projektu oraz stopnia osiągnięcia zakładanych rezultatów. Zapis w Instrukcji wypełniania wniosku o dofinasowanie (2012): Ocena i monitoring projektu i jego uczestników/uczestniczek oznacza bieżące weryfikowanie postępu projektu w celu uzyskania informacji, czy dotrzymywany jest harmonogram realizacji projektu, czy wsparcie udzielane jest założonej w projekcie grupie docelowej i czy ponoszone wydatki są zgodne z założeniami budżetu projektu, również w odniesieniu do czasu trwania projektu. W sytuacji rozbieżności rzeczywistych postępów projektu z jego założeniami uzyskane w ten sposób informacje stanowią podstawę podejmowania odpowiednich działań naprawczych. 31

32 Ewaluacja a problematyka płci Każdy z projektodawców musi pamiętać o obowiązku prawnym przestrzegania horyzontalnej zasady równości szans kobiet i mężczyzn, aby projekt w sposób pełny, na wszystkich etapach realizacji uwzględniał sytuację kobiet i mężczyzn, w tym również wczęści dotyczącej monitoringu i ewaluacji projektu. Uwzględnienie problematyki płci w projektach EFS jest elementem niezbędnym wynikającym m.in. ze Strategii Lizbońskiej. 32

33 Ewaluacja a problematyka płci Dbając o perspektywę równości wszystkie dane zbieramy z podziałem na płeć. Aby było to możliwe, wszystkie dokumenty wykorzystywane w trakcie procesu monitoringu a następnie ewaluacji powinny zawierać rozróżnienie płci respondenta/ respondentki. Pamiętajmy, że dane zgromadzone w trakcie monitoringu i ewaluacji projektu mogą być elementem diagnozy w kolejnym projekcie realizowanym przez Beneficjenta. 33

34 Ewaluacja a problematyka płci Dane statystyczne w podziale na płeć pomogą określić wpływ działań podejmowanych w projekcie na sytuację kobiet i mężczyzn w nim uczestniczących. Przykłady (pytania określające możliwe wskaźniki pomiaru cel) Ile kobiet, ilu mężczyzn wzięło udział w szkoleniach? Ile kobiet, ilu mężczyzn ukończyło projekt? Ile kobiet, ilu mężczyzn skorzystało z doradztwa, stażu czy też innej formy wsparcia? Ile kobiet, ilu mężczyzn znalazło pracę w wyniku projektu? Ile kobiet, ilu mężczyzn podjęło pracę w niestereotypowych dla własnej płci zawodach? Ilu pracodawców zdecydowało się na wprowadzenie elastycznych form zatrudnienia? 34

35 Zamawiając czy też prowadząc ewaluację samodzielnie nie można pominąć kwestii etycznych. Dlatego też osoby prowadzące ewaluację muszą pamiętać o zachowaniu standardów etycznych w prowadzonych badaniach: rzetelność, całościowość i dokładność prac poszanowanie godności ludzkiej Etyka w ewaluacji niezależność i dbałość o bezpieczeństwo pozyskanych danych 35

36 Podsumowanie Zapamiętaj: Jeśli nie mierzysz efektów, nie odróżnisz sukcesu od porażki! Ewaluacja prowadzona pobieżnie nigdy nie da rzetelnych odpowiedzi na nurtujące nas pytania, Kluczowym elementem ewaluacji jest zbieranie danych oraz dokonanie ich analizy, Ewaluację prowadzi się po to, by doskonalić się i realizowane przedsięwzięcie, Ewaluacja stanowi nieodłączny element każdego projektu dlatego powinna być zaplanowana już w momencie tworzenia projektu. 36

37 Źródła informacji Wytyczne w zakresie ewaluacji programów operacyjnych na lata Ewaluacja projektów miękkich KOMPENDIUM, Stowarzyszenie Centrum Promocji i Rozwoju Inicjatyw Obywatelskich PISOP Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji, Komisja Europejska, Dyrekcja Generalna DS. Polityki Regionalnej. Ewaluacja kwestie ogólne Szkolenie dla pracowników Instytucji Zarządzającej Podstawami Wsparcia Wspólnoty, Krajowej Jednostki Oceny oraz komórek oceny w instytucjach zarządzających poszczególnymi programami operacyjnymi Polskie Towarzystwo Ewaluacyjne, Warszawa 2005 K. Choromański, B. Ciężka, G. Dziarski, J. Ratajczak, A. Rudolf, T. Skierniewski oraz firma KPMG Ewaluacja Projektu Akademia Zarządzania, Instytut Analiz Europejskich Polskie Towarzystwo Ewaluacyjne - Standardy ewaluacji

38 Dziękuję za uwagę 38