Projekt Potencjał Działanie - Rozwój: nowy wymiar współpracy Miasta Płocka i płockich organizacji pozarządowych Gmina - Miasto Płock Towarzystwa Wiedzy w Płocku Stowarzyszenia
PLAN I HARMONOGRAM PROCESU EWALUACJI
Efektywna realizacja polityk/programów publicznych opiera się na respektowaniu przez lokalnych partnerów wszystkich faz w procesie kreowania tych polityk, a więc proces od diagnozy lokalnych problemów i planowania poprzez wdrażanie polityk, monitoring realizacji, aż po proces ich oceny (ewaluacji).
Zarówno monitoring jak i ewaluacja powinny być użyteczne i zaspokajać potrzeby informacyjne. Ponadto muszą spełniać następujące funkcje: Poprawa i racjonalizowanie planowania a więc pomoc w lepszym rozpoznaniu potrzeb i problemów grupy docelowej, a następnie racjonalnym zaplanowaniu działań naprawczych Budowanie partnerstwa i współwłasności czyli nawiązywanie współpracy wokół zadania, budowanie więzi miedzy interesariuszami, wzmacnianie partnerstwa
Poprawa wdrażania i bieżącej jakości podnoszenie jakości procedur i procesów wdrażania, płynnego zarzadzania realizacją zadania, poprawa koordynacji Rozliczanie i wzmocnienie odpowiedzialności pokazywanie rzeczywistych efektów (produktów, rezultatów oddziaływania) danego projektu, odnoszenie tego co zostało w rzeczywistości osiągnięte do zakładanych planów i wyjściowych celów projektu
MONITORING Czy wszystko idzie zgodnie z planem? EWALUACJA Czy plan, który realizujemy ma sens? - Czy przynosi oczekiwane efekty? - Co i w jaki sposób możemy robić lepiej?
5 etapów badania ewaluacyjnego: 1. Jak przygotować się do ewaluacji czyli planowanie podjęcie decyzji o badaniu, jego wstępne zaplanowanie (kiedy i po co to robimy, w czym ma nam pomóc), 2. Jak zaplanować badanie przygotowanie szczegółowej listy pytań badawczych, na które ewaluacja ma odpowiedzieć, dobór metod analizy, zaplanowanie harmonogramu badania (co, kiedy i w jakim czasie)
3. Jak zbierać dane zbieranie danych potrzebnych do analizy, wybór odpowiedniej metody/techniki badań (ankiety wywiady, przegląd dokumentów, prowadzenie obserwacji itp.) 4. Jak analizować i formułować ocenę szukanie odpowiedzi na postawione pytania badawcze w oparciu o zebrane dane, ocena zadania i badanych kwestii w świetle zebranych danych 5. Jak wykorzystać wyniki przyjęcie ewaluacji i zastosowanie wniosków i rekomendacji
PLANOWANIE etap ten obejmuje: Sformułowanie celów ewaluacji Prawidłowe postawienie celu to: określenie, jaką wiedzę chcemy dzięki ewaluacji uzyskać Sformułowanie celu powinno odbyć się w oparciu o zasadę SMART (Załącznik nr 1): S-szczegółowy jasno i konkretnie określone cel łatwiej osiągnąć niż cele ogólne M-mierzalny możliwy do wyrażenia w kategoriach liczbowych A-akceptowalny- uzgodniony i zaakceptowany przez zespół projektowy R-realistyczny możliwy do osiągniecia T-terminowy określony w czasie
Określenie odbiorców procesu Podstawowymi odbiorcami ewaluacji są osoby realizujące projekt/program. Przy planowaniu ważne jest jednak określenie, kto jeszcze może być zainteresowany wynikami ewaluacji instytucja udzielająca dotacji na działania, przedstawiciele środowisk na rzecz których usługi są realizowane, czy inne podmioty. Badanie ewaluacyjne musi być planowane tak, by jego wyniki mogły być przydatne także pod kątem określonego odbiorcy.
Sporządzanie projektu ewaluacji (czyli, na co zwracamy szczególną uwagę) określenie takich elementów jak: Przedmiot ewaluacji elementy projektu, które zostaną poddane badaniu np. adekwatność podejmowanych działań do celów projektu, innowacyjność projektu, jakość zespołu projektowego Pytania kluczowe dotyczą konkretnych aspektów projektu, np. Czy oferowane beneficjentom działania są dla nich użyteczne?
Formułowanie pytań, które w efekcie mają posłużyć ocenie realizacji projektu, opiera się na poniższych tzw. kryteriach ewaluacji: TRAFNOŚĆ ocenia na ile cele projektu są adekwatne do problemów i potrzeb, zidentyfikowanych w diagnozie EFEKTYWNOŚĆ ocenia stosunek poniesionych nakładów do osiągniętych efektów SKUTECZNOŚĆ ocenia stopień realizacji celów projektu
ODDZIAŁYWANIE/WPŁYW ocenia stopień oddziaływania korzyści odniesionych przez grupę docelową na większą grupę odbiorców TRWAŁOŚĆ EFEKTÓW ocenia możliwości utrzymania się rezultatów projektu po zakończeniu jego realizacji
METODY I PRÓBY BADAWCZE Metody - możliwe jest stosowanie metod badań ilościowych i jakościowych tj. ankiet, wywiadów, obserwacji, analizy danych, analizy SWOT i in. Próba badawcza osoby, które obejmujemy badaniem muszą być dobrane w sposób przemyślany, reprezentatywny, zapewniający realizację założonych celów realizacji
Harmonogram ewaluacji Nie jest konieczne dokładne określenie terminów działań ewaluacyjnych, ale ustalenie momentów granicznych, których przekroczenie w realizacji danego etapu należy unikać
Forma prezentacji wyników raport w którym opisane zostaną wyniki ewaluacji może mieć różne formy dobrze jest ją ustalić już na etapie planowania Sposób prezentacji wyników należy określić, jaki użytek zostanie zrobiony z wyników procesu, bo w zależności od tego działaniom nadany zostanie odpowiedni kierunek
Najczęściej stosowaną metodą przy ewaluacji są badania ankietowe. Nie zawsze jednak, kwestionariusz jest adekwatnym narzędziem do istoty problemu lub też w pełni wystraczającym do pozyskania niezbędnych danych. Dlatego bardzo istotny jest dobór metod i narzędzi. Dostosowanych do specyfiki danego zjawiska/problemu stanowiącego przedmiot naszego zainteresowania. Najbardziej efektywne jest zastosowanie różnorodnych narzędzi, które pomogą uzyskać pełniejszy obraz badanego zjawiska.
W ewaluacji możemy stosować wszystkie metody wykorzystywane w badaniach społecznych, czyli: obserwacje, wywiady indywidualne i grupowe, ankiety, analizy danych zastanych (np. raporty z monitoringu). Możliwe jest również użycie technik służących porządkowaniu informacji np. analiza SWOT czy PEST Do najtańszych i najłatwiej dostępnych metod należy analiza dokumentów. Aby okazała się równie skuteczna należałoby dostarczyć tworzonym bazom i gromadzonej dokumentacji pełnych i aktualnych danych.
Równie istotnym jak dobór narzędzi jest poprawność ich stosowania. W badaniach społecznych często spotykamy narzędzia zawierające błędy, które w późniejszym czasie rzutują niestety na gromadzenie danych niezgodnych ze stanem faktycznym danego zjawiska/problemu, np. błędnie skonstruowane lub sugerujące odpowiedź pytania ankietowe, źle skonstruowany scenariusz wywiadu, niewłaściwa analiza treści, uwzględniająca wybiórczo dobrane dokumenty.
ANALIZA DANYCH jest równie ważnym etapem ewaluacji jak zebranie danych jest proces ich analizy. Wykorzystując informacje zebrane w trakcie badań należy odpowiedzieć na pytania kluczowe zadane na etapie planowania procesu. Przy formułowaniu wniosków stosujemy następujące zasady: 1. Analizie poddajemy wyniki, uzyskane przy zastosowaniu wielu metod badawczych 2. Za przedmiot badania przyjmujemy wiele, zróżnicowanych przypadków. 3. Korzystamy ze zróżnicowanych źródeł informacji
4. Zwracamy szczególną uwagę na wyjątki/odstępstwa od dominującego wyniku badania, ponieważ może on sygnalizować, ze jakiś aspekt nie został wzięty pod uwagę. 5. Nie trzymajmy się schematycznych przekonań o zależności między cechami, które w odniesieniu do analizowanego zjawiska/problemu nie będą występowały. 6. Niezwykle istotne jest omówienie wyników badań z osobami zaangażowanymi w proces badawczy.
ZASADY TWORZENIA RAPORTU Raport z badania ewaluacyjnego powinien opierać się na analizie odpowiedzi na pytania kluczowe postawione na etapie planowania procesu. Formułowane wnioski muszą być jednoznaczne i konkretne tak by ewentualnie móc wprowadzić faktyczne działania naprawcze Uwzględnione w opisie powinny być nie tylko wyniki badania, ale także przedmiot ewaluacji, procedura badawczy, dobór próby, okoliczności ułatwiające bądź zakłócające gromadzenie danych
Zaprezentowanie raportu w postaci dostosowanie do specyfiki projektu i celu wykorzystania wyników ewaluacji. Poza pisemna wersja raportu niezbędna do dokumentacji projektowej, może być on sporządzony w postaci prezentacji multimedialnej przedstawianej podczas konferencji tak by zaangażować do dyskusji nad wynikami wielu interesariuszy projektu.
WYKORZYSTANIE WIEDZY ZDOBYTEJ W PROCESIE EWALUACJI Dobrze przeprowadzona ewaluacja może dać wiedzę na temat: Stopnia osiągnięcia zakładanych wartości wskaźników Stopnia adekwatności rezultatów projektu z jego calami Skuteczności i efektywności działań
Grupy beneficjentów diagnozy potrzeb oraz stopnia ich zaspokojenia poprzez uczestnictwo w projekcie Zespołu realizującego projekt jego jakości, zaangażowania w działania Poziomu innowacyjności rozwiązań zastosowanych w projekcie Działań upowszechniających wypracowane rezultaty
Wykorzystując wiedzę uzyskaną w procesie ewaluacji możemy: 1. Odpowiedzieć na pytanie: Czy warto kontynuować projekt w dotychczasowej formie? 2. Określić słabe i mocne strony projektu. 3. Zaplanować działania naprawcze w kierunku podniesienia stopnia osiągania celów projektu, bardziej efektywnego wykorzystania posiadanych zasobów, lepszego zaspokajania potrzeb beneficjentów A także:
Zwiększyć odpowiedzialność za powodzenie projektu u osób realizujących działania, poprzez zaangażowanie ich w proces dokonywania oceny Promować własne działania w środowisku lokalnym Wskazywać kierunki rozwoju rekomendować wśród decydentów określone rozwiązania dotyczące przedsięwzięć publicznych Zwiększyć profesjonalizm własnych działań
SKUTECZNA EWALUACJA 1. Dostosowana do potrzeb, możliwości i ograniczeń jednostki realizującej projekt służy rozwojowi podmiotu i podnoszeniu jakości podejmowanych przez niego przedsięwzięć 2. Wykonalna uwzględnia takie czynniki jak ograniczoność czasu, środków finansowych, poziom szczegółowości analiz, dostępność źródeł informacji 3. Użyteczna powinna być narzędziem ułatwiającym skuteczna realizację projektu a nie dodatkowym obciążeniem podstawą użyteczności jest właściwe zaplanowanie procesu
Poprawna metodologicznie spełniająca procedury z zakresu zbierania danych, analizy, wyciągania wniosków z zebranych informacji Zindywidualizowana dostosowana do specyfiki konkretnego projektu błędem jest wykorzystywanie schematu ewaluacji stosowanego na użytek innego przedsięwzięcia
Podstawą ewaluacji powinien być bobrze przeprowadzony monitoring Schematyczna realizowana zgodnie z planem będącym podstawowym warunkiem rozpoczęcia procesu Dbająca o zasady etyki w procesie gromadzenia i analizy danych oraz partycypacyjna uwzględniająca opinie osób zaangażowanych w projekt
ZAPRASZAM DO DYSKUSJI I UDZIAŁU W DZIAŁANIACH PARTNERÓW PROJEKTU: POTENCJAŁ DZIAŁANIE - ROZWÓJ DZIĘKUJĘ ZA UWAGĘ Partner projektu Małgorzata Ciereszko Matusiak, ekspert ds. ewaluacji polityk publicznych