Wewnętrzny monitoring i ewaluacja projektu rozwojowego: jak śledzić rezultaty i efekty dr inż. Piotr Tyszko-Chmielowiec Szkolenia dla wnioskodawców w programie Polska Pomoc są realizowane na zlecenie Ministerstwa Spraw Zagranicznych RP 1
2
Monitoring projektu Proces śledzenia i rejestracji realizacji projektu - jego harmonogramu i budżetu, osiągania rezultatów (mierzenie wskaźników) oraz okoliczności zewnętrznych i wewnętrznych mających wpływ na projekt. Wyniki monitoringu mówią nam czy wszystko przebiega zgodnie z planem i zwracają uwagę na zagrożenia dla jego realizacji. 3
Ewaluacja Całościowa ocena realizacji projektu zwłaszcza jego rezultatów i efektów, efektywności działań oraz trwałości efektów. Wyniki ewaluacji pomagają w doskonaleniu danego projektu oraz przygotowaniu przyszłych przedsięwzięć. 4
Po co monitoring i ewaluacja? Dostarczają aktualnej wiedzy o tym, jak postępuje realizacja projektu i jak są osiągane cele, oraz jak sobie radzi organizacja i partnerzy oraz pozwalają na czas i właściwie korygować działania. Są okazją do zbierania danych i materiałów do raportu dla sponsora. Monitoring, a zwłaszcza ewaluacja, dostarczają informacji pomocnych przy planowaniu przyszłych działań, np. pozwalają identyfikować nowe potrzeby i możliwości. 5
Po co monitoring i ewaluacja? MSZ tego wymaga dobry plan monitoringu i ewaluacji zwiększa szansę na dotację. Np. regulamin konkursu PP mówi w pkt 7.8.6: mechanizmy komunikacji pomiędzy partnerami sprzyjające skutecznemu monitorowaniu realizacji projektu oraz wzajemnej odpowiedzialności 7,5%. MSZ prowadzi własne monitoring i ewaluację projektów - lepiej być na to przygotowanym! 6
Metodyka czyli jak zaplanować M i E? Określenie wskaźników do monitorowania wybranie takich, które najlepiej mierzą postęp w realizacji celów Sprecyzowanie sposobów zbierania danych (raporty, ankiety, rozmowy, spotkania) Sporządzenie harmonogramu monitoringu, w oparciu o harmonogram projektu 7
Metodyka czyli jak zaplanować M i E? Podstawą dobrego planu monitoringu i ewaluacji są: dobrze sformułowane cele, efekty i rezultaty projektu oraz odpowiadające im wskaźniki zawarte w macierzy (matrycy) logicznej. 8
Wskaźniki muszą być: Adekwatne mają mierzyć to, o co chodzi Mierzalne Praktyczne i realistyczne Przejrzyste i zrozumiałe Konstruowanie macierzy logicznej to proces iteracyjny jeśli proponowanego rezultatu lub efektu nie da się zmierzyć, trzeba go zmodyfikować. 9
Co monitorujemy i ewaluujemy Zasoby poniesione nakłady, zaangażowanie pracowników, Proces realizacji realizację planu i budżetu, prawidłowość wykonywania zadań, funkcjonowanie zespołu. Rezultaty czy wskaźniki są osiągane zgodnie z założeniami? Efekty - niektóre krótkoterminowe efekty mogą być także przedmiotem monitoringu. Czynniki ryzyka i założenia 10
Jak zbieramy dane: Analiza bieżących dokumentów księgowych i programowych oraz raportów Obserwacja uczestnicząca w wydarzeniach projektu Ciało doradcze grupa ekspertów i/lub przedstawicieli beneficjentów Wywiady z pracownikami, partnerami, beneficjentami i zewnętrznymi obserwatorami indywidualne i grupowe 11
Jak zbieramy dane: Rozmowy nieformalne Ankietowanie Grupy fokusowe Analiza mediów Zlecenie ewaluacji zewnętrznemu podmiotowi 12
Przykładowe monitorowane wskaźniki Liczba uczestników szkoleń Liczba produktów (studni, szkół, drzew, gospodarstw agroturystycznych) Przyrost liczby (liczbowy i procentowy) dzieci objętych nauczaniem Czas załatwiania typowej sprawy jako miara efektywności wyszkolonych urzędników Poziom satysfakcji petentów obsługiwanych przez wyszkolone osoby Liczba doniesień w mediach na temat projektu 13
Przykład: Czysta Ukrajina czysta Zemlia 14
Przykład macierz logiczna MSZ Cele bezpośrednie i efekty realizacji projektu Cel bezpośredni Stworzenie miejsc pracy generujących regularne i stabilne źródło dochodów dla kobiet wdów z rejonu Balach. Efekty realizacji projektu 1. Funkcjonująca spółdzielnia rękodzielnicza. 2. Większa liczba samozatrudnionych kobietwdów z rejonu Balach. 3. Zwiększona aktywizacja zawodowa kobietwdów z rejonu Balach. Zakładane rezultaty projektu, w tym ilościowe Obiektywnie weryfikowalne wskaźniki celów bezpośrednich i efektów realizacji projektu 1. 40 kobiet-wdów w rejonie Balach, będących współwłaścicielkami nowoutworzonej spółdzielni rękodzielniczej. 2. Min. 5 zamówień generujących dochody zrealizowanych w ciągu 3 miesięcy od rejestracji spółdzielni. 1. Zarejestrowana spółdzielnia rękodzielnicza. 2. 9 wyposażonych stanowisk pracy w maszyny rękodzielnicze duże i maszyny rękodzielnicze małe. 3. 40 kobiet, które ukończyły szkolenia i warsztaty z wynikiem pozytywnym. 4. 10 wyprodukowanych próbek 3 rodzajów produktów rękodzielniczych. Źródło weryfikacji wskaźników celów bezpośrednich i efektów projektu 1. Dokumentacja założycielska spółdzielni (lista członków -współwłaścicieli). 2. Dokumentacja finansowo-księgowa spółdzielni. 3. Lista umów/kontraktów. 1. Wpis do rejestru działalności gospodarczej. 2. Umowa najmu lokalu. 3.Umowy mikro-kredytowe na działalność spółdzielni (maszyny, materiały, surowce). 4.Umowy leasingowe maszyn do rękodzieła. 5. 40 certyfikatów pozytywnie ukończonych szkoleń i warsztatów. 6. Wyprodukowane próbki materiałów. 7. Ewidencja produkcji. 15
Monitoring i ewaluacja częścią zarządzania projektem Należy tak prowadzić zarządzanie projektem i komunikację, by zbierać regularnie informacje o jego realizacji w ramach rutynowych działań: Ustanowić obowiązek regularnego wewnętrznego raportowania, dostarczać w zamian informacje zwrotne. Zaplanować regularne spotkania zespołu i partnerów, służące zarówno planowaniu działań, jak ich monitorowaniu i ewaluacji. Regularnie kontaktować się z partnerami i pracownikami w terenie. 16
Przykład: Budowa szkoły w Afryce Codzienne raporty administratora do organizacji w praktyce co kilka dni. Co tydzień raportowanie wydatków. Raporty podsumowujące po ukończeniu etapów. Codzienne notatki wolontariuszy przedstawiane administratorowi tygodniowo. 17
Przykład: monitoring po ukończeniu projektu 18
Przykład: Drogi dla Natury spotkania ewaluacyjnoplanistyczne partnerów co pół roku, każde u innego partnera spotkania ewaluacyjnoplanistyczne zespołu naukowców co pół roku monitoring rezultatów sadzenia prowadzony corocznie przez zespół naukowców 19
Przykład: Drogi dla Natury raportowanie wydatków przez partnerów przy wnioskach o płatność co 2-3 miesiące kontakty mailowe, telefoniczne, skypowe w sezonie sadzenia częstsze 20
Rady Monitoruj i ewaluuj partycypacyjnie! Pytaj grupę docelową o opinie o projekcie Pracując na Wschodzie lub Południu: nie polegaj wyłącznie na komunikacji elektronicznej bierz poprawkę na różnice w gotowości do krytyki 21
Monitoring i ewaluacja w projektach Polskiej Pomocy We wniosku opisać planowany monitoring i ewaluację: etapy, metodyka, wskaźniki. Ewaluacja i monitoring mają być dostosowana do formy (charakteru) projektu należy uzasadnić metodykę i zaplanowane koszty. Jeśli planuje się ankietowanie, należy podać jego cel i uzasadnić metodę. Jakie przewiduje się mechanizmy dostosowań do wyzwań zewnętrznych i wewnętrznych? Dobrze widziane jest zaproponowanie ewaluacji efektów sięgających poza wsparcie MSZ. 22
Ankieta ewaluacyjna warsztatów Ankiety mówią głównie o tym jak się seminarium podobało uczestnikom trudniej jest wychwycić jego ocenę wartości merytorycznej. Ankieta musi być krótka i prosta, inaczej uczestnicy jej nie wypełnią lub wypełnią pobieżnie. Pytania zarówno zamknięte, jak i otwarte. 23
Ankieta ewaluacyjna warsztatów Przydatne są pytania ze skalą ocen ułatwiają odpowiedź ale nie ograniczajmy się do nich. Pożytecznie jest poprosić o osobną ocenę poszczególnych elementów wydarzenia Stosować pytania sprawdzające pytać o to samo w różny sposób. Uwaga na kontekst w wielu kulturach krytyczne wypowiedzi, zwłaszcza wobec gości, są trudne do uzyskania 24
Przykład ankiety Polsko-ukraińskie seminarium o ochronie bocianów w Okunince, w roku 2004. Co się spodobało w seminarium? Co było zbędne, najmniej udane? Jak oceniacie organizację seminarium (forma, zrozumiałość, organizacja, atmosfera)? 25
Przykład ankiety Czy bariera językowa była przeszkodą? Jak można byłoby poprawić organizację wydarzenia? Czego się nauczyliście podczas seminarium? Jak możecie zastosować to w Waszej pracy? W jaki sposób Towarzystwo Przyrodnicze Bocian może Wam pomóc w organizacji akcji ochrony bocianów w Ukrainie? Uwagi: 26
Podsumowanie Monitoring i ewaluacja: są niezbędną częścią każdego projektu, wymaganą przez sponsorów muszą być zintegrowane w system zarządzania i komunikacji powinny być zintegrowane w cykl projektowy 27
Cykl projektowy (schemat UNEP) 28
Dziękuję za uwagę 29
Pytania nt. zasad udziału w konkursie i przygotowania wniosków projektowych pod względem formalnym należy kierować do DWPR MSZ. infolinia: tel. 22 455 52 18 e-mail: konkurspr2011@msz.gov.pl