MODEL KONTRAKTOWANIA USŁUG SPOŁECZNYCH NA POZIOMIE GMIN

Transkrypt

1 MODEL KONTRAKTOWANIA USŁUG SPOŁECZNYCH NA POZIOMIE GMIN NAZWA NARZĘDZIA PROGRAM EDUKACYJNY. - PODRĘCZNIK MONITOROWANIE I EWALUACJA ZADAŃ PUBLICZNYCH REALIZOWANYCH PRZEZ NGO - SCENARIUSZE ZAJĘĆ - ZAŁĄCZNIKI DO SCENARIUSZY ZAJĘĆ CEL POPRAWA JAKOŚCI, SKUTECZNOŚCI I EFEKTYWNOŚCI USŁUG SPOŁECZNYCH POPRZEZ MOŻLIWOŚĆ PRZEPROWADZANIA RZETELNEJ OCENY REALIZOWANYCH PRZEZ NGO ZADAŃ PUBLICZNYCH I WDRAŻANIA WYNIKAJĄCYCH Z NIEJ ZMIAN ETAP W KTÓRYM NARZĘDZIE JEST UŻYWANE ACTION

2 SPIS TREŚCI Wstęp... 3 I. Monitoring zadań publicznych... 4 I.1.Monitorowanie jakości działań NGO przez samorządy... 4 I. 2. Monitorowanie własnych działań przez organizacje... 7 II. Ewaluacja zadań publicznych na szczeblu lokalnym II.1 Czym jest i po co prowadzić ewaluację II.2 Zwiększanie kompetencji organizacji w zakresie ewaluacji II.2.1. Jak zachęcać NGO do ewaluacji II.2.2. Kompendium wiedzy na temat ewaluacji Podsumowanie Bibliografia Scenariusze zajęć Załączniki do scenariusza zajęć... 62

3 WSTĘP 3

4 Jednostki samorządu terytorialnego posiadające i dystrybuujące środki finansowe pomiędzy organizacje pozarządowe mają możliwość oceny oraz wpływania na jakość prowadzonych przez nie działań. Wyniki badań z obszaru współpracy JST i NGO wykazują jednak, że podstawowe, wynikające z przepisów prawnych narzędzia samorządów, służące weryfikacji realizowanych przez organizacje projektów, są ukierunkowane przede wszystkim na poprawność rozliczeń wydatkowanych środków finansowych i rezultaty ilościowe. Taki jest bowiem główny przedmiot kontroli urzędników, jak i zakres opracowywanych przez organizacje sprawozdań. W dbałości o to, by dofinansowywane projekty były faktyczną odpowiedzią na potrzeby społeczne, kluczowe jest, obok monitorowania rezultatów ilościowych,weryfikowanie jakości, skuteczności i efektywnościdziałań organizacji pozarządowych, a co za tym idzie oddziaływanie na ich wzmocnienie. Samorządy mogą to czynić poprzez: 1. wdrożenie w swoich jednostkach schematu postępowania w zakresie monitoringu jakości działań NGO, 2. rekomendowanie organizacjom przyjęcia i realizacji wytycznych dotyczących monitoringu i ewaluacji projektów. Niniejszy program edukacyjny prezentuje rozwiązania, jakie w ramach tych działań mogą zostać zastosowane. 4

5 MONITORING ZADAŃ PUBLICZNYCH 5

6 I.1.Monitorowanie jakości działań NGO przez samorządy Monitoring zadania publicznego realizowanego przez NGO to proces zbierania danych potwierdzających prawidłowe wdrażanie przyjętych założeń i osiąganie określonych dla zadania celów. Jednostki samorządu terytorialnego, dbając o prawidłowość wydatkowania środków publicznych prowadzą usystematyzowany monitoring działań i rezultatów ilościowych projektów (w formie kontroli oraz składanych przez organizacje sprawozdań). W celu oddziaływania na jakość usług społecznych świadczonych przez NGO, wachlarz działań monitorujących można rozszerzyć o proste, mniej sformalizowane narzędzia, nastawione na śledzenie przebiegu projektu w wymiarze jakościowym. Poniżej zaproponowany został schemat monitoringu zawierający obok form sformalizowanych, także narzędzia miękkiej weryfikacji działań (Rys.1). 6

7 Rys.1. Schemat monitoringu zawierający miękkie formy weryfikacji działań 7

8 Prowadzenie monitoringu przez JST we wskazany sposób byłoby korzystne z kilku powodów. Podsumowania dające obraz całości realizowanych przez organizację działań pozostaną w urzędzie jako forma jasnego komunikatu, czy warto podjąć współpracę przy realizacji kolejnych projektów. Posiadanie ich w zasobach urzędu pozwoli na szybkie przeprowadzanie rozeznania w zakresie współpracy w danym obszarze działań w przyszłości, także osobom nowo przyjętym do pracy, które nie będą pamiętały współpracy z organizacją z własnych doświadczeń i jej przebieg będą musiały odtworzyć z dokumentacji. Taki rodzaj monitoringu będzie też formą zacieśniania współpracy na linii JST/NGO oraz wzmocnieniem u przedstawicieli organizacji przekonania, że istota realizacji zadań publicznych nie sprowadza się jedynie do poprawnego rozliczania zadań (jak wynika z badań współpracy JST/NGO takie przekonanie często dominuje u przedstawicieli organizacji). Świadomość tego, że jakość działania jest także ważna z perspektywy grantodawcy będzie dla organizacji mobilizacją do jej podnoszenia. 8

9 I.2 Monitorowanie własnych działań przez organizacje Kluczową kwestią z punktu widzenia możliwości udoskonalania przebiegu zadania publicznego w trakcie jego realizacji jest umiejętność dokonywania rzetelnego monitoringu własnych działań przez NGO. Organizacje weryfikujące prawidłowe wdrażanie realizacji projektu powinny przeprowadzać ten proces zgodnie z określonymi wytycznymi, postępując w oparciu o poniższą definicję: MONITORING - PROCES POLEGAJĄCY NA REJESTROWANIU POSTĘPU WDRAŻANEGO PROJEKTU DOKONYWANY POPRZEZ ZBIERANIE DOWODÓW PRZEPROWADZANYCH DZIAŁAŃ, PO TO BY ZAPEWNIĆ ZGODNOŚĆ REALIZACJI PROJEKTU Z PIERWOTNYMI ZAŁOŻENIAMI I CELAMI. Monitoring to autokontrola realizacji zadań pod kątem wykonywania ich zgodnie z przyjętym harmonogramem, budżetem oraz założeniami dotyczącymi osiągania rezultatów. Proces przeprowadzany jest w trakcie bieżącej realizacji projektu i w momencie jej zakończenia. Rys.2. Monitoring bieżący i końcowy. 9

10 Dobrze przeprowadzony monitoring wymaga, by już na etapie planowania projektu określić takie elementy jak: cel, narzędzia i przedmiot monitoringu (Rys.3). Rys.3.Cele, narzędzia, przedmiot monitoringu 10

11 Sposób przeprowadzania monitoringu (określenie jego celów, przedmiotu, narzędzi) zależny jest od założeń, jakie realizator projektu przyjął na etapie planowania działań w projekcie. Rys.4. Poziomy oddziaływania projektu. Niezwykle ważnym elementem realizacji projektów jest weryfikowanie tego, czy udaje się osiągnąć zakładane cele projektu. Osiągnięcie celów projektu należy badać z uwzględnieniem produktów, rezultatów i wpływu. Są to tzw. poziomy oddziaływania projektu (Rys.4). 11

12 Poddane monitoringowi mogą być np. Liczba uczestników szkoleń Liczba produktów (konferencji, ulotek, konsultacji, wizyt studyjnych) Przyrost liczby (liczbowy i procentowy) dzieci objętych nauczaniem Liczba informacji medialnych na temat działań projektu Przyrost wiedzy beneficjentów na określony temat Poziom zadowolenia beneficjentów z udziału w imprezie kulturalnej Kiedy przedmiotem monitoringu są rezultaty miękkie projektu takie jak np. stan wiedzy czy poziom zadowolenia uczestników projektu, można je badać poprzez zastosowanie metod badań społecznych takich jak ankieta, wywiad, obserwacja.monitoring realizowanych w projektach szkoleń często dokonywany jest przy zastosowaniu kwestionariusza oceny. Uczestnicy szkoleń proszeni są wówczas o ocenę różnych elementów zajęć, takich jak materiały dydaktyczne, wyżywienie, sala czy osoba trenera. Monitorowanie a zarządzanie zmianami Działania monitorujące mają charakter ciągły. Dzięki realizowaniu ich przez cały okres wdrażania projektu możliwe jest bieżące wykrycie ryzyk, co pozwala na wprowadzenie działań naprawczych i uniknięcie poważnych skutków nieprawidłowości, które pojawiłyby się gdyby nie wczesna identyfikacja zagrożeń. Często już na początku realizacji działań okazuje się, że pierwotne założenia były nadmiernie optymistyczne i wymagają wprowadzenia modyfikacji. Ważne jest, by nie pozostać obojętnym na tę konieczność i nie trzymać się kurczowo początkowej wizji, ale elastycznie dostosować działania, przy zachowaniu niezmienionych celów projektu. W analizie oddziaływania zmian na cele projektu pomocne może być opracowanie formularza zmiany, w którymznajdować się będą cel główny i cele szczegółowe projektu. Dzięki zastosowaniu formularza i przeprowadzeniu analizy wpływu planowanych zmian, zespół projektowy ma możliwość racjonalnego podejmowania decyzji o zmianie mając zawsze na względzie założone w projekcie cele. Zarządzanie zmianami w projekcie jest kluczowe z punktu widzenia właściwej realizacji działań. Realizator projektu powinien mieć świadomość, że źródłem zmian mogą być: beneficjenci projektu w swoich działaniach dążący do maksymalizacji korzyści i minimalizacji strat (np. poprzez wybiórczy dobór oferowanych im form wsparcia), 12

13 członkowie zespołu projektowego (ich cechy takie jak np. kreatywność mogą zarówno wzbogacać działania, jak też gubić przyświecające im cele), problemy techniczne (których nie przewidziano na etapie planowania działań), środowisko projektu np. sytuacja ekonomiczna, zmiana regulacji prawnych. Dobrze sporządzony system monitorowania będzie w stanie zidentyfikować przyczyny pojawiających się odchyleń i ich konsekwencje dla całokształtu realizowanego przedsięwzięcia. Pozwoli to na szybkie zaktualizowanie planów, które nie mogą być zrealizowane oraz podjęcie działań zaradczych. W ZAPEWNIENIU SKUTECZNOŚCI MONITORINGU MOŻE POMÓC POSTĘPOWANIE WEDŁUG PONIŻSZYCH WSKAZÓWEK: Przeprowadzanie systematycznego przeglądu planu projektu taki przegląd powinien mieć miejsce niezależnie od tego, czy występują zakłócenia, czy realizacja projektu idzie wzorcowo. Jest to analiza zadań już wykonanych, tych które pozostały do wykonania, nakładów oraz czasu jakie mają być przeznaczone na realizację. Sporządzenie listy zmian, które w wyniku analizy uznane zostaną za konieczne, oraz przedyskutowanie w zespole projektowym ich ewentualnego wdrożenia. Przeprowadzenie dyskusji nad raportami z monitoringu w trakcie spotkań zespołu członkowie powinni przedstawić plan działań, jakie w danym okresie były konieczne do wykonania, zestawić je z planem działań zrealizowanych i dokonać porównania, czy nie nastąpiły na tym polu odchylenia. Jeżeli pojawiają się odstępstwa to należy przedyskutować ich przyczyny, ustalić konieczne do podjęcia działania. Analizowanie postępów w realizacji celu głównego i celów szczegółowych. Jest to szczególnie ważne, bo często zdarza się, że w momencie intensyfikacji działań projektowych cele schodzą z głównego planu. Systematyczne omawianie realizacji celów pozwoli mieć je stale na uwadze i nie zagubić w wielości działań. 13

14 EWALUACJA ZADAŃ PUBLICZNYCH NA SZCZEBLU LOKALNYM 14

15 II.1 CZYM JEST I PO CO PROWADZIĆ EWALUACJĘ EWALUACJA TO PROCES ZBIERANIA I ANALIZOWANIA DANYCH, KTÓREGO CELEM JEST DOKONANIE OCENY SKUTECZNOŚCI, EFEKTYWNOŚCI ORAZ JAKOŚCI PROWADZONYCH DZIAŁAŃ. Ewaluacja jest bardzo użytecznym, ale w Polsce (poza obszarem zarządzania funduszami europejskimi) słabo rozpowszechnionym elementem działalności podmiotów realizujących usługi społeczne. Jej przeprowadzanie pomaga ocenić zasadność stosowanych interwencji i podejmować decyzje o zmianach, jakie w wyniku tej oceny mogą okazać się konieczne. W przypadku projektów wieloletnich ich okresowa ewaluacja jest istotna tym bardziej, bo gdy pojawiają się zakłócenia na drodze realizacji celów można na bieżąco wprowadzać zmiany dążące do ich osiągnięcia. Ewaluacja zadań publicznych realizowanych przez organizacje pozarządowe na szczeblu lokalnym przynosi korzyści z punktu widzenia: - konkretnej usługi społecznej ewaluacja ukierunkowuje dążenie do jej udoskonalenia jeszcze w trakcie bieżącej realizacji oraz w przyszłości, - podmiotów, które świadczą usługę dzięki ewaluowaniu własnych działań organizacje stale je doskonalą, co powoduje wzrost ich profesjonalizacji, - podmiotów zlecających realizację usługi dzięki ewaluacji władze samorządowe mogą formułować rekomendacje dotyczące realizacji działań w sposób zwiększający ich efektywność oraz skuteczność;przedstawianie wymiernych korzyści społeczno-ekonomicznych działań realizowanych ze środków publicznych zwiększa też poparcie społeczeństwa dla tych działań oraz sprawia, że wydatkowanie środków publicznych jawi się jako bardziej przejrzyste. Osiągnięcie wymienionych korzyści będzie możliwe, kiedy organizacje uczynią przeprowadzanie ewaluacji standardem realizowanych przez siebie działań. 15

16 By tak się stało jednostki samorządu terytorialnego mogą podjąć starania na rzecz wdrażania tego standardu poprzez np. umieszczenie obowiązku przeprowadzenia ewaluacji w warunkach realizacji zadania (w ogłoszeniu o konkursie ofert), lub też wprowadzenie zapisu o jej obligatoryjnym charakterze w umowie na realizację zadania, bądź tez przyznawanie dodatkowych punktów za planowanie ewaluacji przy rozstrzyganiu konkursów ofert. II.2 ZWIĘKSZANIE KOMPETENCJI ORGANIZACJI W ZAKRESIE EWALUACJI II.2.1JAK ZACHĘCAĆ NGO DO EWALUACJI Zalecając organizacjom pozarządowym przeprowadzenie ewaluacji działań powinno się przekazać im wiedzę na temat tego procesu oraz zaproponować ujednolicone ramy postępowania. Trzeba jednak mieć na uwadze fakt, że nie można nadmiernie sformalizować ewaluacji. Ważne jest bowiem zachowanie miękkich elementów oceny, wynikających z refleksji organizacji na temat własnych działań, które w przypadku odgórnego narzucenia schematu ewaluacji mogłyby zostać wyeliminowane. Dlatego rekomendując ewaluację organizacjom ważne jest podkreślanie indywidualnego charakteru procesu oraz korzyści, jakie przyniesie ona im samym, w przeciwnym razie będzie postrzegana w kategoriach kontroli i sprawozdawczości. ZACHĘCAJĄC NGO DO EWALUACJI TRZEBA PODKREŚLAĆ, ŻE JEJ WYNIKI NIE MAJĄ SŁUŻYĆ KRYTYCZNEJ OCENIE PRACY ORGANIZACJI, ALE REALIZACJI PRZEZ NIĄ BARDZIEJ SKUTECZNYCH DZIAŁAŃ, A CO ZA TYM IDZIE DĄŻENIU DO JEJ STALEGO ROZWOJU. 16

17 II.2.2 KOMPENDIUM WIEDZY NA TEMAT EWALUACJI KIEDY I PRZEZ KOGO POWINNA BYĆ PRZEPROWADZANA EWALUACJA W procesie ewaluacji bardzo istotnymi są dwie kwestie kiedy i przez kogo dokonywane będzie badanie. Ewaluację można przeprowadzać: - przed rozpoczęciem realizacji projektu - ewaluacja - ex ante, - w trakcie realizacji projektu ewaluacja bieżąca (on-going), - po zamknięciu projektu - ewaluacja ex-post. Z perspektywy realizowanych działań najbardziej korzystna jest ewaluacja w trakcie realizacji projektu, w której dzięki bieżącej identyfikacji słabych i mocnych stron oraz pojawiających się problemów, możliwe jest podejmowanie decyzji o zmianach i ich wprowadzanie.istotnym jest, by ewaluacja bieżąca była prowadzona przez cały okres realizacji projektu, rozpoczynała się w tym samym czasie co działania projektu. Do nie mniej istotnych w planowaniu procesu ewaluacji decyzji, należy też wybór osób odpowiedzialnych za przeprowadzenie badania. Przeprowadzeniem ewaluacji zajmować się mogą: - osoby pracujące w organizacji realizującej projekt ewaluacja wewnętrzna/autoewaluacja - eksperci (firmy lub instytucje świadczące usługi z tego zakresu)- ewaluacja zewnętrzna Zarówno jeden, jak i drugi typ ewaluacji ma swoje pozytywne strony, a także pociąga za sobą pewne ryzyka. Ewaluacja wewnętrzna jest korzystna z tego punktu widzenia, że do jej przeprowadzenia angażowani są pracownicy organizacji, a więc osobydoskonale orientujące się w specyfice danego obszaru działań i nie potrzebujące czasu na jej rozpoznanie. Zlecenie usługi na zewnątrz wymaga, by jej realizator poświęcił czas na wdrożenie się w tematykę działania, co może być czasochłonne także dla zespołu projektowego, który będzie musiał zaangażować się w proces wdrażania ewaluatora. Jeżeli jednak będzie to osoba mająca doświadczenie w tematyce ewaluowanego projektu, ewaluacja zewnętrzna pozwoli zaoszczędzić czas członkom zespołu. 17

18 Z punktu widzenia efektywności stosowania ewaluacji, jeżeli organizacja nie posiada doświadczeń w tym zakresie, nie wie jak zaplanować i przeprowadzić proces, wskazanym jest jego zlecenie wyspecjalizowanym osobom/instytucjom, które w oparciu o przyjęte procedury i najlepiej dostosowany do specyfiki projektu dobór metod i narzędzi, przeprowadzą badanie. Ujemne strony ewaluacji zewnętrznej to konieczność uczestnictwa członków zespołu we wdrażaniu ewaluatora, a także koszty zlecania usługi w przypadku nałożenia na organizacje obowiązku przeprowadzania ewaluacji przez JST, mogłaby ona stać się kosztem kwalifikowalnym w ramach kosztów merytorycznych zadania.gdy zespół nie czuje się na tyle doświadczony, by samodzielnie prowadzić badanie, a koszty eksperta w dziedzinie ewaluacji nie są możliwe do pokrycia, pośrednim rozwiązaniem będzie zatrudnienie konsultanta/tki ds. ewaluacji. Organizacja, która czuje się gotowa do samodzielnego przeprowadzenia ewaluacji powinna w sposób przemyślany zadbać o dobór personelu do tego zadania zapewnić osoby kompetentne w dziedzinie badań społecznych, doświadczone w zarządzaniu projektami i nie związane bezpośrednio z pracą w ewaluowanym projekcie, co pozwoli na zachowanie obiektywizmu prowadzonego badania. Bez względu na to, czy za przeprowadzenie ewaluacji odpowiedzialna będzie jedna, czy też większe grono osób, nad jej przebiegiem czuwać powinna osoba wyznaczona do kierowania badaniem, dbająca o zapewnienie mu najwyższego poziomu jakości i rzetelności. POSTĘPOWANIE EWALUACYJNE Mając dokonany wybór ewaluatoraoraz moment przeprowadzenia ewaluacji należy zaplanować przebieg procesu. Postępowanie ewaluacyjne to sekwencja planowania (tzw. konceptualizacji), zbierania i analizy danych, raportowania oraz wykorzystania pozyskanej wiedzy (Rys.5). 18

19 Rys. 5. Etapy procesu ewaluacji. PLANOWANIE etap ten obejmuje: Sformułowanie celów ewaluacji Prawidłowe postawienie celu to określenie, jaką wiedzę chcemy dzięki ewaluacji uzyskać. Jest to bardzo ważny element, warunkujący poprawność przebiegu badania. Sformułowanie celu powinno odbyć się w oparciu o ZASADĘ SMART, według której powinien on być: S - szczegółowy jasno i konkretnie określone cele łatwiej osiągnąć niż cele ogólne M - mierzalny możliwy do wyrażenia w kategoriach liczbowych A - akceptowalny uzgodniony i zaakceptowany przez zespół projektowy R - realistyczny możliwy do osiągnięcia T - terminowy - określony w czasie 19

20 Przykładowy cel ewaluacji zgodny z zasadą SMART Ocena zgodności działań projektu na rzecz wzmocnienia roli profilaktyki raka szyjki macicy z założeniami gminnego programu promocji zdrowia w roku 2013 w gminie X w okresie 3 miesięcy od zakończenia realizacji projektu. Przykładowe cele ewaluacji niezgodne z zasadą SMART Ocena zgodności projektu na rzecz wzmocnienia roli profilaktyki raka szyjki macicy z założeniami gminnego programu promocji zdrowia w roku 2013 w gminie X. - brak elementu T- nie określono celu w czasie Ocena działań projektu na rzecz wzmocnienia roli profilaktyki raka szyjki macicy w gminie X w okresie 3 miesięcy od zakończenia realizacji projektu. brak elementu S - cel jest zbyt ogólny - nie określono pod jakim względem działania będą oceniane Określenie odbiorców procesu Podstawowymi odbiorcami ewaluacji są osoby realizujące projekt. Przy planowaniu ważne jest jednak określenie, kto jeszcze może być zainteresowany wynikami ewaluacji instytucja udzielająca dotacji na działania, przedstawiciele środowisk na rzecz których usługi są realizowane, czy inne podmioty. Badanie ewaluacyjne musi być planowane tak, by jego wyniki mogły być przydatne także pod kątem określonego odbiorcy. 20

21 Sporządzenie projektu ewaluacji (Rys.6) Rys. 6. Elementy projektu ewaluacji. 21

22 Przykładowy projekt ewaluacji Ewaluacja projektu edukacyjnego na rzecz zwiększenia świadomości kobiet w zakresie roli badań profilaktycznych w zapobieganiu rozwojowi raka szyjki macicy. Przedmiot ewaluacji Adekwatność działań kierowanych do uczestniczących w projekcie kobiet do celugłównego projektu. Cel główny projektu Zwiększenie regularności poddawania się badaniom w zakresie diagnostyki raka szyjki macicy u 100 kobiet zamieszkujących w gminie X poprzez kampanię informacyjną na temat roli badań profilaktycznych w zapobieganiu rozwojowi choroby w okresie od r r. Pytanie kluczowe kryterium trafność Czy działania na rzecz wzrostu świadomości kobiet na temat roli profilaktyki raka szyjki macicy mają wpływ na zmniejszenie zachorowalności na tę chorobę? Pytanie kluczowe kryterium skuteczność W jakim stopniu kierowane do kobiet działania edukacyjne miały wpływ na zmianę postaw w zakresie częstszego poddawania się przez nie badaniom profilaktycznym? Pytanie kluczowe trwałość efektów W jakim stopniu wzrost świadomości kobiet objętych wsparciem na temat roli badań profilaktycznych wpłynie na regularne poddawanie się przez nie badaniom po zakończeniu realizacji projektu? Metody i próba badawcza Analiza danych Porównanie danych statystycznych na temat zachorowalności na raka szyjki macicy w krajach o niskim i wysokim poziomie świadomości na temat profilaktyki choroby. Próba badawcza -5 krajów o niskim i 5 krajów o wysokim poziomie świadomości Wywiady fokusowe Wywiady przeprowadzone w dwóch grupach kobiet uczestniczek projektu i przypadkowych kobiet zaproszonych do udziału w badaniu. Próba badawcza po 20 kobiet z każdej grupy- ważne jest, by uczestniczki obu grup były osobami w podobnym wieku, o podobnym statusie społecznym i zawodowym, tak by jedyną cechą różnicującą był udział w projekcie. 22

23 Badanie ankietowe Przeprowadzenie badań ankietowych wśród kobiet uczestniczących w projekcie w trakcie jego realizacji i dwóch lat od jego zakończenia. Próba badawcza - wszystkie uczestniczki projektu. Harmonogram ewaluacji Ocena wpływu podejmowanych w projekcie działań edukacyjnych na realizację celu projektu- od 6 miesiąca realizacji projektu do zakończenia projektu (ankiety po 6 miesiącach, roku, na zakończenie projektu). Ocena trwałości efektów 2 lata po zakończeniu projektu. Porównanie postaw kobiet o wysokim i niskim poziomie świadomości (badania fokusowe, analiza danych w pierwszym roku realizacji projektu). 23

24 Forma prezentacji wyników Raport w formie pisemnej do dokumentacji projektu oraz dla zespołu oraz instytucji wspierającej finansowo realizację projektu. Raport w formie prezentacji multimedialnej do przedstawiania na różnego rodzaju wydarzeniach tematycznych z udziałem środowisk medycznych oraz środowisk kobiecych Sposób wykorzystania wyników Ocena stosowanych interwencji i ewentualne zmiany ich form w przypadku braku skuteczności stosowanych działań. Rekomendacje do środowisk medycznych, promujących zdrowie, kobiecych. ZEBRANIE I ANALIZA DANYCH Metody gromadzenia informacji Najczęściej stosowaną przy ewaluacji metodą są badanie ankietowe. Nie zawsze jednak kwestionariusz ankiety jest najbardziej adekwatnym narzędziem do istoty problemu, lub też w pełni wystarczającym do pozyskania wszystkich niezbędnych danych. Dlatego bardzo istotna jest kwestia odpowiedniego doboru metod i narzędzi, dostosowanych do specyficznych cech danego zjawiska. Najbardziej efektywne jest zastosowanie różnorodnych narzędzi, które pomogą uzyskać pełniejszy obraz badanego zjawiska. W ewaluacji możemy stosować wszystkie metody wykorzystywane w badaniach społecznych od obserwacji, wywiadów indywidualnych i grupowych, przez ankiety, do analizy danych zastanych (np. raporty z monitoringu) i technik służących porządkowaniu informacji takich jak analiza SWOT czy PEST. Do najtańszych i najłatwiej dostępnych metod należy analiza dokumentów. Warunkiem jej profesjonalnego przeprowadzenia jest zapewnienie tworzonym bazom informacji, pełnych i aktualnych danych oraz zagwarantowanie warunków sprzyjającym ich trwałości. 24

25 Równie istotnym jak dobór metod jest poprawność metodologiczna ich stosowania. W badaniach społecznych często spotkać można narzędzia zawierające błędy, które rzutują na gromadzenie danych niezgodnych z faktycznym obrazem badanego zjawiska. Są to np. błędnie skonstruowane, lub sugerujące odpowiedź pytania ankietowe czy też nie wyczerpujące wszystkich odpowiedzi kafeterie, źle skonstruowany scenariusz wywiadu, analiza treści, uwzględniająca wybiórczo dobrane dokumenty. *instrukcje tworzenia wymienionych narzędzi znajdują się w programie edukacyjnym ABC diagnozy środowiska lokalnego. TO, CZY NARZĘDZIA BĘDĄ WŁAŚCIWIE DOBRANE DO ZJAWISKA, JAKIE MA BYĆ BADANE, ORAZ POPRAWNIE SKONSTRUOWANE, ZALEŻY W DUŻYM STOPNIU OD PRAWIDŁOWO PRZYJĘTYCH WSKAŹNIKÓW. TWORZENIE WSKAŹNIKÓW Wskaźnik to pewna cecha lub zjawisko, których zaobserwowanie pozwala wnioskować o wystąpieniu innej cechy bądź zjawiska.wskaźniki w ewaluacji mają umożliwić pomiar efektów realizowanych w projekcie działań. By tak się stało muszą one być mierzalne, jasne, przejrzyste, adekwatnie dobrane. Wskaźniki dzielą się ze względu na kilka kryteriów ich podział obrazuje poniższa tabela (Tab.1.) 25

26 TYPY WSKAŹNIKÓW ZE WZGLĘDU NA: BUDOWĘ RODZAJ WYKORZYSTYWANYCH INFORMACJI ROLĘ JAKĄ MAJĄ PEŁNIĆ MIEJSCE W LOGICE INTERWENCJI proste - z jednego zjawiska lub cechy wnioskujemy o wystąpieniu innego zjawiska lub cechy Np. miesięczne dochody na członka gospodarstwa domowego złożone (syntetyczne) o wystąpieniu określonej cechy lub zjawiska wnioskujemy na podstawie kilku cech lub zjawisk, wskaźnik złożony składa się z kilku wskaźników prostych Np. wykluczenie społeczne rodziny składać się na nie może kilka zmiennych np. brak pracy członków rodziny, brak kompetencji zawodowych i społecznych członków rodziny, trudna sytuacja finansowa, uzależnienia członków rodziny itd. - finansowe dotyczą nakładów finansowych przeznaczonych na działania - rzeczowe dotyczą efektów działań Wskaźniki finansowe i rzeczowe stosuje się do monitorowania wydatków projektu i postępu wdrażania zadań, ich zestawienie ze sobą pozwala na pomiar efektywności działań - ilościowe - policzalne, przedstawiane w postaci liczb bezwzględnych lub względnych (%) np. liczba osób które ukończyły kurs języka niemieckiego w ramach projektu - jakościowe - mają charakter opisowy, są trudniejsze do weryfikacji, ich pozyskanie jest czasochłonne Np. wskaźnik - oferta kulturalna gminy - kontekstowe - element analizy społecznogospodarczej, ich źródło to najczęściej oficjalne statystyki. np. tendencje zainteresowań kulturalnych młodych Europejczyków - osiągania celu (programowe/ projektowe) - ich rolą jest określenie celów do osiągnięcia i ich monitorowanie Np. gdy celem jest wzrost atrakcyjności oferty kulturalnej gminy x dla młodych Europejczyków, to wskaźnikiem celu mogą być np. Europejczycy korzystający z oferty festiwali muzycznych według krajów - wkładu- są nimi zaangażowane do realizacji działań zasoby np. ilość środków finansowych przeznaczonych na realizację szkoleń językowych - produktu to bezpośrednie wytwory materialne i usługi powstałe w trakcie realizacji projektu np. szkolenia z języka niemieckiego dla beneficjentówprojektu - rezultatu - to bezpośrednie i natychmiastowe efekty projektu, zmiany jakie nastąpiły w wyniku jego realizacji np. wzrost kompetencji językowych beneficjentów - oddziaływania to konsekwencje danego projektu oddziałujące poza obszarem interwencji np. wzrost emigracji mieszkańców gminy do krajówniemieckojęzycznych 26

27 Przykłady wskaźników do oceny postępów realizacji założonych celów projektu Cel główny projektu Zwiększenie regularności poddawania się badaniom w zakresie diagnostyki raka szyjki macicy u 100 kobiet zamieszkujących w gminie X poprzez kampanię informacyjną na temat roli badań profilaktycznych w zapobieganiu rozwojowi choroby w okresie od r r. Wskaźniki produktu konferencja edukacyjna na temat roli diagnostyki liczba godzin zajęć warsztatowych dla kobiet liczba osób uczestniczących w warsztatach Wskaźniki rezultatu wzrost zainteresowania własnym zdrowiem u kobiet uczestniczących w projekcie znajomość badań diagnostycznych i pożądanej częstotliwości ich wykonywania u kobiet uczestniczących w projekcie wzrost częstotliwości poddawania się badaniom cytologicznym przez uczestniczki projektu Wskaźniki oddziaływania Zwiększenie częstotliwości poddawania się badaniom cytologicznym przezmieszkanki gminy X o 30 % poddawanie szczepieniom przeciwko wirusowi odpowiedzialnemu za rozwój choroby 40% dziewczynek do 12 roku życia zamieszkujących w gminie X wzrost sprzedaży szczepionek przeciwko wirusowi odpowiedzialnemu za rozwój choroby w aptekach w gminie X 27

28 Cel główny projektu - Aktywizacja społeczna 40 osób w wieku powyżej 65+ zamieszkujących gminę X w okresie r. Wskaźniki produktu liczba godzin zajęć w ramach warsztatów z zakresu kompetencji osobistych liczba osób uczestniczących w zajęciach z zakresu animacji czasu wolnego wycieczka integracyjna uczestników projektu Wskaźniki rezultatu wzrost liczby zajęć o charakterze towarzyskim wykonywanych w ciągu tygodnia przez beneficjentów projektu zwiększona częstotliwość uczestnictwa w wydarzeniach kulturalnych w ciągu miesiącu u beneficjentów projektu wzrost samooceny beneficjentów projektu Wskaźniki oddziaływania zorganizowanie klubu zajęć edukacyjnych dla osób starszych w gminie X przez uczestników projektu zaangażowanie się w działalność dla seniorów 40% mieszkańców gminy X po 60 roku życia powołanie Uniwersytetu III Wieku w gminie X Posiadając dobrze skonstruowane wskaźniki, właściwe przygotowanie narzędzia badawczego np. kwestionariusza ankiety, nie powinno nasuwać problemów. 28

29 Przykłady pytań (w kwestionariuszu ankiety, czy wywiadu), za pomocą których w procesie ewaluacji możemy dokonywać pomiaru rezultatów miękkich. Rezultat Wzrost motywacji do podjęcia pracy u beneficjentów projektu Wskaźnik rezultatu Podjęcie działań na rzecz znalezienia pracy przez beneficjentów projektu deklaracja beneficjenta Pytanie w kwestionariuszu ankiety/wywiadu Czy po odbytym szkoleniu z zakresu Aktywnego Poszukiwania Pracy wysłał Pan swoje zgłoszenie na wybraną ofertę pracy? Odpowiedzi: a) Tak, b) Nie Rezultat Podniesienie świadomości na temat roli badań profilaktycznych u beneficjentów projektu Wskaźnik rezultatu Poddawanie się regularnym badaniom krwi przez beneficjentów projektu - deklaracja beneficjenta Pytanie w kwestionariuszu ankiety/wywiadu Jak często wykonuje Pan(i) badania krwi? Odpowiedzi: a)co dwa lata, b)raz w roku, c)dwa razy w roku, e)inne - jakie?... 29

30 Rezultat Wzrost samooceny w zakresie możliwości znalezienia zatrudnienia Wskaźnik rezultatu Przekonanie beneficjenta, że znajdzie pracę - subiektywna ocena beneficjenta Pytanie w kwestionariuszu ankiety/wywiadu Czy uważa Pan, że uda się Panu znaleźć pracę w ciągu najbliższego półrocza? Odpowiedzi: a) Zdecydowanie się zgadzam, b) Zgadzam się, c) Nie zgadzam się, d) Zdecydowanie się nie zgadzam, e) Trudno powiedzieć. Analiza danych Równie ważnym etapem ewaluacji jak zebranie danych jest proces ich analizy. Wykorzystując informacje zebrane w trakcie przeprowadzonych badań należy odpowiedzieć na pytania kluczowe zadane na etapie planowania procesu. Odpowiadając na nie otrzymamy informację na temat spełnienia ustalonych wcześniej kryteriów ewaluacji. Np. Udzielając odpowiedzi na pytanie kluczowe - W jakim stopniu udział w projekcie wpłynął na wzrost aktywności osób starszych? możliwa będzie ocena skuteczności projektu. Udzielając odpowiedzi na pytanie kluczowe - Czy zaproponowane działania edukacyjne spowodowały wzrost świadomości kobiet na temat przyczyn zachorowalności na raka szyjki macicy? możliwa będzie ocena trafności projektu. 30

31 Istotną kwestią jest sposób formułowania wniosków wypływających z analizy odpowiedzi na powyższe pytania. By czynić to właściwie powinno się stosować następujące zasady(rys.7). Rys.7. Zasady formułowania wniosków z badań Stosowanie powyższych zasad pozwoli uniknąć błędów wnioskowania i przyczyni się do uzyskania rzetelnych wyników procesu ewaluacji, informujących o tym, czy działania projektu zmierzają we właściwym kierunku, czy też należy podjąć decyzje o wprowadzeniu zmian. 31

32 TWORZENIE RAPORTU Podobnie jak przy formułowaniu wniosków, także sporządzaniu raportu powinno towarzyszyć uwzględnianie określonych dla tego działania wytycznych (Rys.8). Rys.8. Wytyczne sporządzania raportu z ewaluacji 32

33 WYKORZYSTANIE WIEDZY ZDOBYTEJ W PROCESIE EWALUACJI Ewaluacja przeprowadzona zgodnie z przedstawianymi zasadami pozwala na zgromadzenie informacji i dokonanie oceny wielu aspektów realizowanego projektu. Lektura raportu ewaluacyjnego może dać wiedzę na temat: stopnia osiągnięcia zakładanych wartości wskaźników, stopnia adekwatności rezultatów projektu z jego celami, skuteczności i efektywności działań, grupy beneficjentów - diagnozy potrzeb oraz stopnia ich zaspokojeniapoprzez uczestnictwo w projekcie, zespołu realizującego projekt jego jakości, zaangażowania w działania, poziomu innowacyjności rozwiązań zastosowanych w projekcie, działań upowszechniających wypracowane rezultaty, Wykorzystując wiedzęuzyskaną w procesie ewaluacji realizator projektu może: odpowiedzieć na pytanie, czy warto kontynuować projekt w dotychczasowej formie, określić słabe i mocne strony projektu, zaplanować działania naprawcze w kierunku podniesienia stopnia osiągania celów projektu, bardziej efektywnego wykorzystania posiadanych zasobów, lepszego zaspokajania potrzeb beneficjentów, a także: zwiększyć odpowiedzialność za powodzenie projektu u osób realizujących działania, poprzez zaangażowanie ich w proces dokonywania oceny, promować własne działania w środowisku lokalnym, wskazywać kierunki rozwoju - rekomendować wśród decydentów określone rozwiązania w zakresie interwencji publicznych, zwiększyć profesjonalizm własnych działań. 33

34 SKUTECZNA EWALUACJA Organizacje pozarządowe chcące uczynić ewaluację standardem realizowanych przez siebie zadań muszą zapewnić jej skuteczność. Skuteczną ewaluację scharakteryzować można poniżej wymienionymi cechami (Rys.9). Rys.9. Charakterystyka skutecznej ewaluacji. Ewaluacja spełniająca wskazane kryteria przyniesie realizującym ją podmiotom pożądaną wiedzę i oczekiwane korzyści. Organizacje pozarządowe powinny pamiętać o tym, że największą korzyścią ewaluacji, niezależnie od tego, czy jej wyniki będą świadczyły o sukcesie projektu, czy też nie, będzie dla nichodkrycie wartości własnych działań, a co za tym idzie rozwój organizacji. Warunkiem jest jednak gotowość do uświadomienia sobie własnych błędów i otwartość na zmiany. 34

35 PODSUMOWANIE 35

36 Podsumowanie Monitoring i ewaluacja to dla skutecznej realizacji przedsięwzięć społecznych, procesy niezwykle istotne. Dostarczają one wiedzy na temat efektów wdrażanych interwencji, ich słabych i mocnych stron, koniecznych do przeprowadzania zmian. By wiedza ta była rzetelna i oddziaływała na doskonalenie projektów oraz podmiotów je realizujących, oba procesy muszą być prowadzone zgodnie z określonymi wymogami, przy uwzględnianiu indywidualnego charakteru konkretnych projektów. Istotna jest także świadomość elementów różnicujących oba typy działania. Poniższa tabela jest krótką charakterystyką tych różnic. (Tab.2). Tab.2. Porównanie monitoringu i ewaluacji. Cel Przedmiot badania Czas realizacji Realizator Metody Relacja wzajemna Monitoring Rejestrowanie postępu działań i osiągania celów projektu odpowiedź na pytanie, czy realizacja odbywa się zgodnie z przyjętym harmonogramem i budżetem. Wprowadzanie bieżących korekt w przypadku wystąpienia odchyleń. Wdrażany projekt i jego efekty. Proces ciągły przez cały okres realizacji projektu. Członkowie zespołu projektowego. Zbieranie danych rejestrujących przebieg projektu i ich analiza ilościowa. Monitoring jest bazą dla ewaluacji, jakość ewaluacji zależy od dobrze przeprowadzonego monitoringu. Ewaluacja Ocena efektów działań. Udoskonalanie bieżącej realizacji projektu i przyszłych przedsięwzięć. Wdrażany projekt, jego efekty oraz kontekst społeczno-ekonomiczny. Proces punktowy przed rozpoczęciem realizacji,w trakcie i po jej zakończeniu. Ewaluator zewnętrzny (ekspert niezależny) lub wewnętrzny pracownik organizacji nie zaangażowany w pracę w projekcie. Zróżnicowane metody i techniki badań społecznych. 36

37 BIBLIOGRAFIA 37

38 1. Ewaluacja. Poradnik dla pracowników administracji publicznej, Ministerstwo Rozwoju Regionalnego, Warszawa Grucza B. (red.), ABC Zarządzania Projektami Miękkimi, Ministerstwo Rozwoju Regionalnego, Warszawa Nowy okres programowania Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji, Dokument roboczy nr 2, Komisja Europejska, Pietras-Goc B.(red.),Ewaluacja jako standard zarządzania w sektorze publicznym, Wyższa Szkoła Europejska im. ks. Józefa Tischnera, Kraków Podręcznik wskaźników. Program operacyjny Kapitał Ludzki , Ministerstwo Rozwoju Regionalnego, Warszawa Skrzypiec R., Ocena jakości działania organizacji pozarządowych, Ekspertyza na zlecenie Departamentu Pożytku Publicznego Ministerstwa Pracy i Polityki Społecznej, Warszawa Zajączkowska A., Monitoring na potrzeby wdrażania projektu, Stowarzyszenie Biuro Obsługi Ruchu Inicjatyw Społecznych BORIS, Warszawa Ewaluacja, 9. Ewaluacja narzędziem zarządzania, Co to jest monitoring projektu? Co to jest ewaluacja projektu? Gałka E., Zasady dotyczące prowadzenia ewaluacji, 2010, Haber, A., Ewaluacja jako narzędzie zarządzania i podejmowania decyzji, PARP, Kistela D., Autoewaluacja a ewaluacja zewnętrzna - decyzja należy do Ciebie!, Łojkowska Małgorzata, Po tej stronie jesteśmy przypadkiem, Łotys Marzena, Ewaluacja i rozliczanie projektów, Fundacja Wspomagania Wsi, 38

39 16. Monitoring Projektów POKL, Produkty, rezultaty, oddziaływanie, Przewodnik po ewaluacji projektów, Standardy ewaluacji, Polskie Towarzystwo Ewaluacyjne, Artykuły na temat ewaluacji, 39

40 SCENARIUSZE ZAJĘĆ MONITORING I EWALUACJA ZADAŃ PUBLICZNYCH REALIZOWANYCH PRZEZ NGO JAK JE PROWADZIĆ, BY WZMACNIAĆ JAKOŚĆ, SKUTECZNOŚĆ I EFEKTYWNOŚĆ USŁUG SPOŁECZNYCH 40

41 Cele szkolenia Ü Cel pierwszy wzrost wiedzy uczestników szkolenia z zakresu monitoringu i ewaluacji projektów Ü Cel drugi - nabycie umiejętności praktycznych z zakresu przeprowadzania monito ringu i ewaluacji Odbiorcy szkolenia Szkolenie kierowane jest do przedstawicieli organizacji pozarządowych współpracujących z jednostkami samorządu terytorialnego w zakresie realizacji zadań publicznych. Grupa uczestników reprezentuje zróżnicowane obszary, w ramach których realizowane są w gminie usługi społeczne. Uczestnikami będą zarówno osoby, które w dotychczasowej praktyce realizacji projektów nie stosowały monitoringu/ewaluacji działań oraz takie, które posiadają doświadczenia z zakresu monitoringu/ewaluacji. 41

42 95 min. [ ] Sesja 1 15 min. [ ] Cele: 1. Ćwiczenie pierwsze Ü Wzajemne poznanie się uczestników szkolenia Ü Integracja grupy Ü Określenie oczekiwań grupy wobec szkolenia Pomoce: Ü Niepotrzebne Przebieg: Ü Krok 1 Prowadzący podaje jakiś akronim np. OBOP, USA, ZUS, UAM, PKO itd. Uczestnicy zostają poproszeni o wymienienie możliwie dużej liczby rozwinięć podanego skrótu. Następnie zadaniem każdej osoby jest użycie w charakterze skrótu swojego imienia i rozwinięcie go poprzez powiązanie każdej litery z własną cechą. Ü Krok 2 Po przedstawieniu się całej grupy według powyższej zasady, każda osoba prosi wybranego przez siebie uczestnika (używając jego imienia) o opowiedzenie w kilku zdaniach czym się zajmuje, jakiego typu projekty realizuje i jakie są jego oczekiwania wobec szkolenia. 42

43 20 min. [ ] Cele: 2. Ćwiczenie drugie Ü Uporządkowanie dotychczasowej wiedzy uczestników na temat monitoringu i ewaluacji Ü Uświadomienie sobie przez uczestników skojarzeń, jakie mają z monitoringiem/ewaluacją oraz tego, że często stosują te pojęcia zamiennie Pomoce: Ü Kartki flipchartowe Ü Pisaki Przebieg: Ü Krok 1 Uczestnicy zostają podzieleni na 3 grupy i poproszeni o przeprowadzenie burzy mózgów na temat: wszystkie słowa, które kojarzą się z pojęciem monitoringu/ewaluacji. Ü Krok 2 Każda z grup otrzymuje kartkę flipchartową, którą dzieli na pół. Na jednej połowie wypisuje wszystkie słowa, które kojarzą się członkom grupy z monitoringiem, na drugiej z ewaluacją. Ü Krok 3 Każda z grup prezentuje własne skojarzenia. Kartki zostają przyklejone w widocznym dla uczestników miejscu. Jest to dobry materiał do korzystania w dalszej części szkolenia i na kolejnych sesjach, kiedy uczestnicy będą posiadać coraz większą wiedzę na temat monitoringu i ewaluacji. 43

44 30 min. [ ] 3. Ćwiczenie trzecie Cele: Ü Poznanie poglądów grupy na to, czym jest ewaluacja Ü Przekazanie grupie wiedzy na temat procesu ewaluacyjnego Pomoce: Ü 4 kartki A4 zawierające stwierdzenia na temat ewaluacji zał. nr 1 Ü Slajd - Kroki postępowania ewaluacyjnego Kroki postępowania ewaluacyjnego- Sesja I/ćw 3 Planowanie Zebranie i analiza danych Tworzenie raportu Wykorzystanie zdobytej wiedzy 44

45 Ü Slajd - Projekt ewaluacji Projekt ewaluacji - Sesja 1/ćw.3, Sesja 3/ćw.4 Przedmiot ewaluacji Pytania kluczowe Wybrane przez ewaluatora elementy projektu, które zostaną poddane badaniu (nigdy nie jest to projekt jako całość) np. adekwatność podejmowanych działań do celów projektu Dotyczą konkretnych aspektów projektu Nie są to pytania do osób, które zostaną poddane badaniu, ale takie na które odpowiedź będzie można uzyskać w toku całego procesu np. Czy oferowane beneficjentom działania są dla nich użyteczne? Kryteria ewaluacji Ocena realizacji projektu dokonywana jest w oparciu o określone standardy - są to kryteria ewaluacji- Informacje na temat ich spełnienia uzyskujemy na podstawie odpowiedzi na pytania kluczowe. Do najbardziej powszechnych kryteriów należą: Trafność - ocenia na ile cele projektu są adekwatne do problemów i potrzeb, zidentyfikowanych w diagnozie Efektywność - ocenia stosunek poniesionych nakładów do osiągniętych efektów, przydatne przy porównywaniu podobnych przedsięwzięć oraz analizach możliwości osiągnięcia zbliżonych efektów przy mniejszych nakładach Skuteczność - ocenia stopień realizacji celów projektu Oddziaływanie/wpływ - ocenia stopień oddziaływania korzyści odniesionych przez grupę docelową na większą grupę odbiorców Trwałość efektów - ocenia możliwość utrzymania się rezultatów projektu po zakończeniu jego realizacji Projekt ewaluacji - Sesja 1/ćw 3, Sesja 3/ćw.4 Metody i próbę badawczą Możliwe jest stosowanie metod badań ilościowych i jakościowych tj. ankiet, wywiadów, obserwacji, analizy danych, analizy SWOT i innych Próba badawcza - osoby, które obejmiemy badaniem muszą być dobrane w sposób przemyślany, reprezentatywny, zapewniający realizację założonych celów ewaluacji Harmonogram ewaluacji Sporządzając harmonogram nie jest konieczne dokładne określenie terminów działań ewaluacyjnych, ale ustalenie momentów granicznych, których przekroczenia w realizacji danego etapu należy unikać Formę prezentacji wyników Raport, w którym opisane zostaną wyniki ewaluacji może mieć różne formy - dobrze jest ją ustalić już na etapie planowania Raport powinien być sporządzony w oparciu o określone zasady Sposób wykorzystania wyników Należy określić, jaki użytek zostanie zrobiony z wyników procesu, bo w zależności od tego działaniom nadany zostanie odpowiedni kierunek 45

46 Przebieg: Ü Krok 1 Kartki z wypisanymi stwierdzeniami na temat ewaluacji zostają rozłożone na podłodze. Ü Krok 2 Każda z osób staje przy stwierdzeniu, które najbardziej odpowiada jej poglądom na temat ewaluacji. Uczestnicy nie wiedzą, że wszystkie stwierdzenia są prawdziwe. Dokonane wybory mają otworzyć dyskusję na temat procesu ewaluacji. Moderator dyskusji trener powinien poprowadzić ją w sposób od zagadnień ogólnych do kwestii szczegółowych (z wykorzystaniem slajdów na temat postępowania ewaluacyjnego). 20 min. [ ] 4. Ćwiczenie czwarte Cele: Ü Przekazanie wiedzy na temat typów ewaluacji wyróżnianych ze względu na osobę ewaluatora oraz czas przeprowadzania. 46

47 Pomoce: Ü Taśma malarska, pisaki Ü Kartki A4 kolorowe Ü Slajdy Kiedy przeprowadzać ewaluację, Kto może przeprowadzać ewaluację. Kiedy przeprowadzać ewaluację sesja 1/ćw.4 Ewaluację można przeprowadzać: przed rozpoczęciem realizacji projektu - ewaluacja - ex ante w trakcie realizacji projektu ewaluacja bieżąca (on-going), po zamknięciu projektu - ewaluacja ex-post Kto może przeprowadzać ewaluację- Sesja 1/ćw. 4 osoby związane z administracją projektu ewaluacja wewnętrzna/autoewaluacja lub eksperci (firmy lub instytucje świadczące usługi z tego zakresu)- ewaluacja zewnętrzna 47

48 Przebieg: Ü Krok 1 Na ścianie naklejamy taśmę malarską w celu stworzenia linii projektu. Linię dzielimy na 3 etapy planowanie, realizacja, zakończenie. Ü Krok 2 Prowadzący omawia (z wykorzystaniem slajdów) typy ewaluacji, a uczestnicy naklejają na linii kartki z nazwami - ewaluacja ex-ante, on-going, ex-post). Ü Krok 3 Obok linii uczestnicy naklejają kartki z rodzajami ewaluacji wynikającymi z typu realizatora ewaluacji (ewaluacja zewnętrzna, wewnętrzna/autoewaluacja). Linia jest przyklejona do ściany w ciągu całego szkolenia, prowadzący utrwala pojęcia w trakcie dalszych dyskusji odwołując się do przedstawionych w ćwiczeniu nazw. Ü Krok 4 Uczestnicy omawiają zalety i wady każdego z rodzajów ewaluacji. 48

49 10 min. [ ] 5. Ćwiczenie piąte Cele: Ü Podsumowanie sesji szkoleniowej Ü Ocena szkolenia Pomoce: Ü Flipchart Przebieg: Ü Krok 1 Każdy z uczestników zostaje poproszony o wypowiedź na temat tego, jakie aspekty szkolenia mu się podobały, co należy usprawnić, czego/ jakiej wiedzy oczekuje na następnej sesji. Ü Krok 2 Prowadzący zapisuje oczekiwania na flipcharcie, podczas kolejnej sesji weryfikuje ich spełnienie na zakończenie szkolenia. 49

50 110 min. Sesja 2 [ ] 15 min. [ ] 1. Ćwiczenie pierwsze Cele: Ü Rozgrzewka, zachęcenie uczestników do aktywnego włączenia się w ćwiczenia Ü Przełamanie sztywności poznawczej Ü Uświadomienie jak funkcjonujące w naszych umysłach schematy poznawcze mogą blokować znajdowanie właściwych rozwiązań Pomoce: Ü Arkusze z kropkami dla każdej osoby w grupie -zał. nr 2. Ü Slajd - Rozwiązanie ćwiczenia Kropki Rozwiązanie ćwiczenia Kropki - Sesja2 /ćw1 Źródło: Ü Długopisy/ołówki. 50

51 Przebieg: Ü Krok 1 Prowadzący rozdaje wszystkim osobom arkusze z kropkami (załącznik nr 2). Uczestnicy, nie mogąc oderwać ręki od kartki mają zadanie połączenia wszystkich kropek trzema liniami prostymi. Połączenie ma utworzyć figurę zamkniętą. Uczestnicy mogą wykonać cztery próby w celu poprawnego wykonania zadania. Ü Krok 2 Prowadzący prezentuje właściwe rozwiązanie zadania. Następnie przechodzi do kolejnego ćwiczenia, którego punktem wyjścia jest ćwiczenie z kropkami. 30 min. 2. Ćwiczenie drugie [ ] 51

52 Cele: Ü Uświadomienie jak funkcjonujące w naszych umysłach schematy poznawcze mogą wpływać na pojawianie się błędów w ewaluacji projektów Pomoce: Ü Scenariusz ćwiczenia pierwszego z sesji 2 (konieczne jest przeprowadzenie go przed niniejszym ćwiczeniem) Ü Kartki flipchartowe, pisaki Ü Opis projektu - zał.nr 3. Ü Opisy etapów ewaluacji -zał. nr 4, 5, 6,7 Przebieg: Ü Krok 1 Prowadzący nawiązując do ćwiczenia z kropkami otwiera dyskusję na temat roli schematycznego myślenia w kontekście ewaluacji projektów. Proponuje uczestnikom przedyskutowanie tego tematu w mniejszych grupach. Ü Krok 2 Uczestnicy dzielą się na 4 podgrupy, prowadzący przydziela każdej jeden z etapów postępowania ewaluacyjnego (z jego opisem zał. nr 4,5,6,7) oraz opis projektu (zał. nr 3). Każda z grup otrzymuje kartkę, na której wypisuje błędy, wynikające z utartych schematów myślowych mogące pojawić się na danym etapie ewaluacji. Ü Krok 3 Grupy omawiają głośno wyniki swojej pracy. Wszyscy uczestnicy dyskutują na temat wynikających ze schematycznego myślenia, możliwych błędów i ich konsekwencji. 25 min. [ ] 3. Ćwiczenie trzecie Cele: Ü Nauka formułowania celów ewaluacji zgodnie z zasadą SMART 52

53 Pomoce: Ü Kartki A4, długopisy Ü Slajd Zasada SMART ZASADA SMART - Sesja 2/ćw. 3 Sformułowane celu ewaluacji powinno odbyć się w oparciu o ZASADĘ SMART, według której powinien być: S - szczegółowy jasno i konkretnie określone cele łatwiej osiągnąć niż cele ogólne M - mierzalny możliwy do wyrażenia w kategoriach liczbowych A- akceptowalny uzgodniony i zaakceptowany przez zespół projektowy R - realistyczny możliwy do osiągnięcia T terminowy - określony w czasie Przebieg: Ü Krok 1 Każdy z uczestników otrzymuje zadanie zaproponowania i zapisania na kartce celu ewaluacji dowolnego projektu (najlepiej takiego, który realizuje w swojej organizacji). Uczestnicy mogą zaproponować poddanie ewaluacji dowolnego aspektu projektu np. jego innowacyjności, zespołu, skuteczności działań itd. Ü Krok 2 Prowadzący prezentuje uczestnikom zasadę SMART oraz prosi każdą z osób o odczytanie swojego celu. Grupa dyskutuje, czy cele są zgodne z zasadą oraz wskazuje jakich elementów zasady SMART brakuje w prezentowanych celach. Ü Krok 3 Każda z osób przeformułowuje swój cel zgodnie z sugestiami i odczytuje ponownie. 53

54 30 min. 4. Ćwiczenie czwarte [ ] Cele: Ü Nabycie umiejętności konstruowania wskaźników na potrzeby działań monitorujących i ewaluacyjnych Pomoce: Ü Slajd Wskaźniki Ü Tabela Typy wskaźników- zał.nr8 (do rozdania wszystkim uczestnikom po wykonaniu ćwiczenia) Ü Kartki flipchartowe, długopisy Tab.1. Typy wskaźników Wskaźniki - Sesja 2/ćw.4 TYPY WSKAŹNIKÓW ZE WZGLĘDU NA: BUDOWĘ RODZAJ WYKORZYSTYWANYCH INFORMACJI ROLĘ JAKĄ MAJĄ PEŁNIĆ MIEJSCE W LOGICE INTERWENCJI -proste - z jednego zjawiska lub cechy wnioskujemy o wystąpieniu innego zjawiska lub cechy Np. miesięczne dochody na członka gospodarstwa domowego -złożone (syntetyczne) o wystąpieniu określonej cechy lub zjawiska wnioskujemy na podstawie kilku cech lub zjawisk, w. złożony składa się z kilku wskaźników prostych Np. wykluczenie społeczne rodziny składać się na nie może kilka zmiennych np. brak pracy członków rodziny, brak kompetencji zawodowych i społecznych członków rodziny, trudna sytuacja finansowa, uzależnienia członków rodziny itd. - finansowe dotyczą nakładów finansowych przeznaczonych na działania - rzeczowe dotyczą efektów działań Wskaźniki finansowe i rzeczowe stosuje się do monitorowania wydatków projektu i postępu wdrażania zadań, ich zestawienie ze sobą pozwala na pomiar efektywności działań - ilościowe - policzalne, przedstawiane w postaci liczb bezwzględnych lub względnych (%) np. liczba osób które ukończyły kurs języka niemieckiego w ramach projektu - jakościowe - mają charakter opisowy, są trudniejsze do weryfikacji, ich pozyskanie jest czasochłonne Np. wskaźnik - oferta kulturalna gminy -kontekstowe - element analizy społeczno-gospodarczej, ich źródło to najczęściej oficjalne statystyki np. tendencje zainteresowań kulturalnych młodych Europejczyków -osiągania celu (programowe/projektowe) - ich rolą jest określenie celów do osiągnięcia i ich monitorowanie Np. gdy celem jest wzrost atrakcyjności oferty kulturalnej gminy X dla młodych Europejczyków, to wskaźnikiem celu mogą być np. Europejczycy korzystający z oferty festiwali muzycznych według krajów -wkładu- są nimi zaangażowane do realizacji działań zasoby np. ilość środków finansowych przeznaczonych na realizację szkoleń językowych -produktu to bezpośrednie wytwory materialne i usługi powstałe w trakcie realizacji projektu np. szkolenia z języka niemieckiego dla beneficjentów projektu - rezultatu - to bezpośrednie i natychmiastowe efekty projektu, zmiany jakie nastąpiły w wyniku jego realizacji np. wzrost kompetencji językowych beneficjentów - oddziaływania to konsekwencje danego projektu oddziałujące poza obszarem interwencji np. wzrost emigracji mieszkańców gminy do krajów niemieckojęzycznych 54