KONCEPCJA MONITORINGU I EWALUACJI MODELU FRDL W PILOTAŻU PARTYCYPACYJNEGO MODELU TWORZENIA POLITYK PUBLICZNYCH W PROJEKCIE DECYDUJMY RAZEM.

Transkrypt

1 KONCEPCJA MONITORINGU I EWALUACJI MODELU FRDL W PILOTAŻU PARTYCYPACYJNEGO MODELU TWORZENIA POLITYK PUBLICZNYCH W PROJEKCIE DECYDUJMY RAZEM. Struktura dokumentu: 1. Wprowadzenie. Założenia, cele monitoringu i ewaluacji modelu FRDL w projekcie Decydujmy Razem. 2. Przedmiot monitoringu i ewaluacji. 3. Struktura i metodyka procesu monitoringu i ewaluacji. 4. Ryzyka w monitoringu i ewaluacji. 5. Uwagi końcowe. I. WPROWADZENIE Monitoring i ewaluacja procesu partycypacyjnego tworzenia i realizacji lokalnej polityki publicznej należy do jednej z bardziej skomplikowanych kwestii jakie można napotkać w związku z planowaniem i realizacją interwencji publicznej, w tym związanych z procesami funkcjonowania jednostek samorządu terytorialnego. Złożoność tego problemu wzrasta w momencie kiedy przedmiotem naszego zainteresowania jest mechanizm uspołecznienia procesów zarządzania, który jest efektem wzajemnego współoddziaływania wielu czynników społecznych, normatywnych czy politycznych, skutkujących wysokim poziomem trudności w jego wyjaśnianiu. W tym też sensie niezbędne jest przyjęcie kilku założeń koniecznych do tego aby planowane przedsięwzięcie zostało efektywnie zrealizowane. ZAŁOŻENIA, CELE MONITORINGU I EWALUACJI MODELU FRDL W PROJEKCIE DECYDUJMY RAZEM. Punktem wyjścia dla budowania koncepcji monitoringu i ewaluacji metody FRDL jest uświadomienie faktu, iż jest ona jedną z dwóch metod pobudzania partycypacji publicznej testowanych w przedmiotowym projekcie. Druga, z nich to metoda animacji na poziomie subregionalnym

2 wykorzystywana w projekcie przez Centrum Aktywności Lokalnej. Odnosząc tą okoliczność do złożonej struktury całego projektu i zakresu planowanego działania należy podkreślić, iż będzie się on odnosił ściśle do tego elementu projektu Decydujmy Razem, za którą odpowiedzialność ponosi FRDL. Zgodnie z wnioskiem ewaluacja całości projektu Decydujmy Razem jest w gestii Fundacji Fundusz Współpracy. Odnosząc się z kolei do struktury celów jaka została zapisana w dokumencie projektowym należy podkreślić, iż za cel ogólny projektu Decydujmy Razem uznano budowę mechanizmu partycypacji społecznej w kreowaniu i wdrażaniu polityk lokalnych w jednym z czterech obszarów: zatrudnienie, integracja społeczna, przedsiębiorczość i zrównoważony rozwój. Celami szczegółowymi są: 1. Wypracowanie i przetestowanie modeli partycypacji społecznej z wykorzystaniem instrumentów animacji społecznej. Wskaźniki: modele partycypacji przetestowane do czerwca 2014 r. 2. Wypracowanie mechanizmu oceny i monitoringu partycypacji społecznej. Wskaźniki: wskaźniki typu i natężenia opracowane i przetestowane do 2012 r. 3. Opracowanie i przygotowanie do wdrożenia ogólnopolskiego systemu wspierania partycypacji społecznej. Wskaźniki: system szkolenia, system wsparcia animatora, poradniki z modelowymi rozwiązaniami dotyczącymi partycypacji, katalog dobrych praktyk, pakiet zmian prawnych, całościowe opracowanie modelu struktur wsparcia partycypacji społecznej na poziomie lokalnym do 2014 r. 4. Upowszechnienie modeli partycypacji w środowiskach lokalnych. Wskaźnik: 300 jst zapoznane z modelami partycypacji do 2014 r. Uwzględniając powyżej wskazane założenia monitoring i ewaluacja modelu FRDL w pilotażu partycypacyjnego modelu tworzenia polityk publicznych w projekcie Decydujmy Razem odnosić się będzie do celu szczegółowego nr 1, zakładającego Wypracowanie i przetestowanie modeli partycypacji społecznej z wykorzystaniem instrumentów animacji społecznej. Wskaźnikiem realizacji ma być potwierdzenie, iż modele partycypacji (w tym autorstwa FRDL) zostały przetestowane do czerwca 2014 r. Poprzez model rozumieć tu należy z jednej strony system założeń, pojęć i zależności między nimi pozwalający opisać (odwzorować) z dużym przybliżeniem jakiś aspekt rzeczywistości, z drugiej zaś strony oznacza pewien uogólniony sposób postępowania prowadzący do osiągnięcia jej pożądanego stanu. Sam sposób postępowania a także język go opisujący, powinien pozwolić następnie na możliwość jego doświadczalnego sprawdzenia i przeanalizowania. Tym samy skonstruowany przez ekspertów FRDL teoretyczny model partycypacji publicznej powinien zostać w toku realizacji projektu praktycznie zweryfikowany, zarówno w jego strukturalnym (konstrukcja uczestniczących aktorów, ich ról i zadań) jak i funkcjonalnym (wymiar procesów i relacji między podmiotami). Formułując koncepcję monitoringu i ewaluacji dla wyżej określonego celu należy przyjąć następujące wyjściowe założenia: Założenie 1. Podejście projektowe. Proces monitoringu i ewaluacji metody FRDL należy traktować jako subprojekt realizowany w ramach większej całości objętej zakresem odpowiedzialności FRDL w ramach projektu Decydujmy Razem.

3 Założenie 2. Uwspólnienie stosowanych pojęć i metody. W tak rozumianym działaniu ważnym jest w miarę precyzyjne uzgodnienie siatki pojęciowej używanej w projekcie. Jest to tym bardziej konieczne, iż w miarę postępu w realizacji projektu obserwujemy dużą dowolność w wyjaśnianiu kluczowych pojęć takich jak: monitoring, ewaluacja, metoda FRDL, partycypacja społeczna, partycypacja publiczna, doradztwo, animacja, koordynacja. Założenie 3. Ciągłość i partycypacyjny charakter procesu monitoringu i ewaluacji. Zarówno proces monitorowania jak i ewaluacja metody FRDL powinny być realizowane przy zaangażowaniu wszystkich interesariuszy projektu, z wykorzystaniem zasobów będących w ich dyspozycji. Takie podejście powinno z jednej strony służyć zachowaniu zasady celowego i efektywnego wykorzystania możliwości jakie daje konstrukcja projektu i przyjętej do realizacji metody FRDL, i oznaczać zastosowanie niezbędnych, przewidzianych projektem narzędzi. Z drugiej zaś strony mimo partycypacyjnej orientacji projektu należy zapewnić wiarygodność i rzetelność procedury badawczej. Założenie 4. Zapewnienie ścisłej zależności między monitoringiem i ewaluacją. W tak skonstruowanym przedsięwzięciu należy dążyć do bardzo ścisłego powiązania monitoringu i ewaluacji. Zgodnie z powszechnie podzielanymi poglądami monitoring jest podstawą dobrze przeprowadzonej ewaluacji, tzn. jego rezultaty będą materiałem wyjściowym dla właściwie przeprowadzonej ewaluacji. Tym samym skuteczna realizacja ewaluacji metody FRDL będzie wymagała poprawnie prowadzonego monitoringu. Ważną okolicznością jest w tym względzie takie zaplanowanie działań aby z jednej strony unikać nadmiernego obciążenia uczestników projektu czynnościami badawczymi a z drugiej strony maksymalnie je koncentrować, wykorzystując wszystkie dostępne narzędzia badawcze i źródła informacji. Budując koncepcję monitoringu i ewaluacji należy uściślić jak będziemy rozumieli oba te pojęcia w planowanej procedurze. Jest to tym bardziej istotne, iż oba te terminy są w teorii i praktyce zarządzania projektami bliskoznaczne i szczególnie dużo kontrowersji budzi kwestia zależności między nimi. Monitoring w odróżnieniu od ewaluacji koncentruje się przede wszystkim na odpowiedzi na pytanie o to co się dzieje, jak przebiega realizacja zaplanowanego działania. w związku z oczekiwanymi produktami i czy działania te są realizowane zgodnie z wcześniej zdefiniowanymi celami. Poprzez monitoring będziemy rozumieć proces polegający na systematycznym gromadzeniu, analizowaniu i raportowaniu wiarygodnych, zobiektywizowanych informacji ilościowych i jakościowych, dotyczących wdrażania projektów i programów. Jego intencją jest zapewnienie zgodności ich realizacji z wcześniej przyjętymi założeniami i celami, w aspekcie finansowym i rzeczowym[por. Zajączkowska A., Monitoring na potrzeby wdrażania projektów 2008, Nicholas J. M., Steyn H., Zarządzanie projektami. Zastosowanie w biznesie, inżynierii i nowych technologiach, Warszawa 2011.]. W tym ujęciu monitoring będziemy traktować jako element wewnętrznego, bieżącego i jednocześnie zintegrowanego zarządzania projektem, zorientowanego na bieżącą kontrolę osiągania wcześniej przyjętych celów. W objętym koncepcją przypadku oznacza to konieczność monitorowania ex-post procesu planowania i on-going procesu wdrażania lokalnej polityki publicznej.

4 Z kolei poprzez ewaluację rozumieć będziemy proces polegający na systematycznej i obiektywnej ocenie programu, jego założeń, procesu realizacji i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w ich ramach działań. Ewaluacja powinna dostarczać rzetelnych i przydatnych informacji o obiekcie badania, wspierając w ten sposób proces decyzyjny oraz wspierając współdziałanie wszystkich partnerów zaangażowanych w realizację projektu. Jej celem jest poprawa jakości, skuteczności i spójności udzielanego wsparcia. CELE MONITORINGU i EWALUACJI. Celami planowanego monitoringu i ewaluacji są: pozyskanie kompleksowej wiedzy na temat procesu wdrażania (testowania) modelu FRDL w pilotażu partycypacyjnego modelu tworzenia polityk publicznych. Wiedza ta powinna się odnosić zarówno do funkcjonowania modelu partycypacji publicznej FRDL na etapie opracowywania (planowania) jak i wdrażania dokumentu z obszaru lokalnej polityki publicznej z zakresu zatrudnienia, integracji społecznej, rozwoju przedsiębiorczości i zrównoważonego rozwoju, przeprowadzenie profesjonalnej i kompleksowej oceny wdrażania modelu autorstwa FRDL, zgodnie z przyjętymi wskaźnikami, służącej z jednej strony potwierdzeniu jego wartości z drugiej zaś identyfikacji błędów, deficytów i ograniczeń jakie pojawiły się w trakcie jej testowania, doskonalenie przedmiotowego modelu FRDL, poprzez sformułowanie trafnych i użytecznych rekomendacji, prowadzących do jego ulepszenia zarówno na etapie planowania jak i realizacji polityki publicznej a w konsekwencji opisanie tego przetestowanego modelu w poradniku. Zasygnalizowane w części wstępnej koncepcji kryteria ewaluacji będą rozumiane następująco: 1. Skuteczność - pozwala ustalić, w jakim stopniu cele zdefiniowane w projekcie zostały osiągnięte. 2. Efektywność - pozwala ocenić stosunek poniesionych nakładów do uzyskanych rezultatów oraz oddziaływania, w danym okresie czasu. Można dzięki temu ocenić możliwości osiągnięcia zbliżonych efektów przy wykorzystaniu mniejszych zasobów oraz zwiększaniu efektów przy zastosowaniu porównywalnych nakładów. 3. Użyteczność - pozwala ocenić, do jakiego stopnia oddziaływanie produktu odpowiada na problemy, deficyty grupy docelowej; czy zmiany wywołane wdrożeniem produktu są korzystne z punktu widzenia rozwiązania problemów beneficjentów.

5 4. Trafność - pozwala ocenić, do jakiego stopnia oddziaływanie produktu odpowiada potrzebom grupy docelowej; czy zmiany wywołane wdrożeniem produktu są korzystne z punktu widzenia jst i społeczności, przy uwzględnieniu różnic interesów podmiotów zaangażowanych w przedsięwzięcie. 5. Trwałość kryterium, które odnosi się do zdolności zapewnienia niezakłóconego funkcjonowania modelu FRDL po zakończeniu projektu, utrzymanie przez uczestników zadeklarowanych w trakcie wdrażania wskaźników projektu, na poziomie produktu, rezultatu i oddziaływania. ŹRÓDŁA DANYCH DLA POTRZEB MONITORINGU i EWALUACJI. Z uwagi na złożony charakter projektu oraz standardowy wymóg triangulacji procesu pozyskiwania informacji za kluczowe jej źródła należy przyjąć: animatorów gminnych / powiatowych, doradców, członków zespołu partycypacyjnego, członków zespołu monitoringowego, koordynatorów gminnych / powiatowych, koordynatorów regionalnych FRDL, władze lokalne PRZEDMIOTU MONITORINGU I EWALUACJI, JEJ CELE I ADRESAT EWALUACJI Zgodnie z wyżej wskazanymi założeniami przedmiotem monitoringu i ewaluacji będzie model FRDL tworzenia i realizacji polityki publicznej. Rys. nr 1. Schemat ideowy modelu FRDL w pilotażu partycypacyjnego modelu tworzenia polityk publicznych w projekcie Decydujmy Razem

6 Rys. nr 2. Schemat ideowy struktury monitoringu i ewaluacji modelu FRDL w pilotażu partycypacyjnego modelu tworzenia polityk publicznych w projekcie Decydujmy Razem.

7

8 MONITORING I EWALUACJA METODY FRDL W UJĘCIU TABELARYCZNYM. Monitoring fazy planowania / kluczowe pytania badawcze Ewaluacja modelu FRDL / kluczowe pytania badawcze Czy w proces planowania polityki zarządzania programem jest zapewniony udział czynnika obywatelskiego i jaki jest jego zakres? W jakich formach obywatele uczestniczyli w planowaniu lokalnej polityki publicznej? Czy był to udział sporadyczny czy miał charakter ciągły i trwały? Jaki była zakres wpływu czynnika społecznego na treść dokumentu, w tym definiowanie celów i zadań przyjętych do realizacji? Czy metoda FRDL jest czytelna dla jego uczestników? Czy zrealizowano wszystkie działania przewidziane umowa między FRDL a jst? Które z elementów metody FRDL, zawarte w umowie i innych ustaleniach z jst nie zostały zrealizowane i jakie były tego powody? Jakie działania wymagały modyfikacji i jak je przeprowadzono? Monitoring fazy wdrażania / kluczowe pytania badawcze Czy w procesie wdrażania zarządzania programem jest zapewniony udział czynnika obywatelskiego? W jakich formach i w jaki zakresie obywatele uczestniczą w realizowaniu zadań zawartych w dokumencie? Czy podlega on w trakcie wdrażania istotnym modyfikacjom? Czy udział obywateli w realizacji zaplanowanej polityki jest sporadyczny czy ma charakter ciągły i trwały? Czy zespół partycypacyjny kontynuuje swoją aktywność i podejmuje działania na etapie wdrożeniowym? Jeżeli tak to w jakich formach i z jakim natężeniem? Jeżeli nie kontynuuje swojej aktywności to jaka jest tego przyczyna? Jak przebiega aktywność animatora na etapie wdrażania dokumentu? Czy są przykłady świadczące o tym, iż model FRDL jest trwały i wykorzystywany do kolejnych czynności planistycznych? Czy prawidłowo zaplanowano i przeprowadzono proces pilotażu modelu FRDL? Czy przyjęty w modelu FRDL system współpracy z gminami/ powiatami, dający oczekiwane i wiarygodne wyniki i okazał się efektywny na etapie pilotażu? Czy przyjęty w modelu FRDL system relacji między samorządem a stroną społeczną, przyniósł spodziewane i wiarygodne wyniki i okazał się efektywny na etapie pilotażu? W jakim stopniu zastosowany model FRDL okazał się skuteczny w opracowaniu i wdrażaniu dokumentów lokalnych polityk publicznych? Czy uczestnicy procesu testowania poprawnie wypełnili przypisane im role? Jeżeli nie, to jakie tego były przyczyny? Czy efekty projektu okazały się korzystne dla różnych grup interesariuszy uczestniczących w pilotażu modelu FRDL? Czy pojawiły się pozytywne lub negatywne niezaplanowane efekty uboczne testowania modelu FRDL? Czy efekty wdrażania modelu FRDL są trwałe, odczuwalne w dłuższym okresie czasu? Czy są obserwowalne po zakończeniu projektu? Ewentualnie w jakim stopniu i jakich grup dotyczą? Jakie czynniki (wewnętrzne i zewnętrzne) i z jaką siłą wpłynęły na przebieg procesu pilotażu modelu FRDL i osiągnięte rezultaty? W jakim zakresie proces wdrażania lokalnej polityki publicznej weryfikuje model FRDL? Czy testowany model FRDL jest praktyczny, użyteczny i prezentuje wysoką jakość metodologiczną? Jakich usprawnień i zmian wymaga model FRDL, aby stał się maksymalnie użyteczny dla użytkowników przy optymalnym zaangażowaniu środków? Jakie były osiągnięcia modelu FRDL w zakresie wdrażania polityki równości płci? Czy w efekcie zastosowania modelu FRDL nastąpiła poprawa jakości w tworzeniu i realizacji lokalnej polityki publicznej?

9 Uczestnicy role, cele, fazy i harmonogram procesu monitoringu i ewaluacji metody FRDL: Podmiot /uczestnik procesu Animator gminny/powia towy Rola i cele w procesie, rodzaj wykonywanych działań, ich charakterystyka i rezultat Rolą animatora gminnego/powiatowego będzie monitorowanie procesu wdrażania opracowanego partycypacyjnie dokumentu wybranej polityki publicznej jak również monitorowanie metody FRDL na etapie wdrażania, z uwzględnieniem wcześniejszego etapu planowania, w tym pozyskiwanie i dokumentowanie informacji o faktach dotyczących działania modelu FRDL w praktyce i jego wpływu na uczestnictwo mieszkańców w tym procesie a także identyfikacja i opis barier i ograniczeń związanych z partycypacyjnym realizowaniem polityki publicznej przy wykorzystaniu metody FRDL. Animator powinien również obserwować zjawiska świadczące o trwałości modelu FRDL ewentualnie rejestrować dane ilustrujące potrzebę jego modyfikacji. Ważnym jest także automonitoring własnej roli i działań w tych procesach. Ponadto zadaniem animatora na etapie wdrażania dokumentu jest powołanie zespołu monitorującego składającego się z przedstawicieli strony samorządowej i społecznej i koordynowanie działań tego zespołu przy merytorycznym wsparciu doradcy FRDL. Zadania w ramach monitoringu i ewaluacji 1. Sporządzenie przez animatora 3 raportów uwzględniających zagadnienia związane z procesem monitorowania wdrażania zapisów dokumentu w tym: - raportu otwarcia dla chętnych możliwość spisania wspomnień i refleksji w postaci pamiętnika. - raportu w trakcie procesu monitoringu uwzględniającego realizację metody FRDL na etapie wdrażania dokumentu, - raportu końcowego podsumowującego monitoring 2. Powołanie i koordynowanie działań zespołu monitorującego 3. Przygotowanie wraz z członkami zespołu monitorującego planu monitoringu 4. Udział w indywidualnym wywiadzie swobodnym pogłębionym animatorzy II tury 5. Udział w fokusie Stosowane narzędzia (jak?) 1. Formularz raportu, poruszający zagadnienia związane z procesem monitorowania zapisów dokumentu a także wcześniejszym procesem planowania. Raport weryfikuje realizację zadań pod kątem uczestnictwa mieszkańców w realizacji projektów określonych w dokumencie programowym (formy uczestnictwa, skala zaangażowania społecznego). Preferowana technika to obserwacja bezpośrednia, uczestnicząca. Zbieranie danych ilościowych o partycypacji publicznej 2. Wytyczne dla animatora w sprawie tworzenia i funkcjonowania zespołu monitorującego Harmonogram (kiedy?) Okres jednego roku po uchwaleniu dokumentu przez Radę.

10 Podmiot /uczestnik procesu Rola i cele w procesie, rodzaj wykonywanych działań, ich charakterystyka i rezultat Zadania w ramach monitoringu i ewaluacji Stosowane narzędzia (jak?) Harmonogram (kiedy?) Doradca Rolą doradców na etapie wdrażania dokumentu będzie przeszkolenie zespołu monitorującego w zakresie czynności monitoringowych przy wdrażaniu dokumentów. Celem tego szkolenia będzie przygotowanie członków zespołu monitorującego do uspołecznionego procesu monitorowania wdrażania dokumentów. Drugim ważnym zadaniem doradcy będzie doradztwo na etapie monitorowania etapu wdrażania dokumentu przez zespół monitorujący. Celem tego doradztwa będzie przeprowadzenie członków zespołu monitorującego przez proces uspołecznionego monitoringu wdrażania dokumentu i czuwanie nad prawidłowym przebiegiem tego procesu a tym samym przygotowanie przedstawicieli samorządu i strony społecznej do samodzielnego przeprowadzania procesów partycypacyjnych w przyszłości. Doradca będzie również obserwował działania animatora i zespołu monitorującego, dzięki czemu będzie identyfikował bariery i ograniczenia związane z partycypacyjnym realizowaniem polityki publicznej przy wykorzystaniu metody FRDL w przypadku obserwowanej JST. 1. Przeprowadzenie szkolenia z monitoringu dla zespołów monitorujących h doradztwa w procesie monitoringu dla zespołów monitorujących 3. Udział w fokusie Wytyczne do szkoleń dla zespołu monitorującego. Okres jednego roku po uchwaleniu dokumentu przez Radę. Zespół monitorujący W skład zespołu monitorującego wchodzić będą przedstawiciele strony samorządowej jak i społecznej. Zadaniem zespołu będzie zbieranie informacji na temat przebiegu wdrażania rozwiązań zawartych w uchwalonym dokumencie a także na identyfikacji barier i czynników sukcesu odnoszących się do realizowanych zadań. Pozyskane informacje mają służyć ewentualnej modyfikacji poszczególnych zapisów dokumentu. 1. Uczestnictwo w szkoleniu z zakresu monitoringu dla zespołów monitorujących 2. Stworzenie planu działań monitorujących dla jst Plan działań monitorujących Okres jednego roku po uchwaleniu dokumentu przez Radę.

11 Podmiot /uczestnik procesu Rola i cele w procesie, rodzaj wykonywanych działań, ich charakterystyka i rezultat Zadania w ramach monitoringu i ewaluacji Stosowane narzędzia (jak?) Harmonogram (kiedy?) 3. Aktywne uczestnictwo w spotkaniach zespołu monitorującego (minimum 3 spotkania w ciągu roku) 4. Członkowie zespołu monitoringowego udział w wywiadzie grupowym pogłębionym. 5. Wybrani członkowie zespołu monitoringowego II tury udział w indywidualnych wywiadach pogłębionych Ewaluator Zewnętrzny specjalista, którego rola polegałaby na prowadzeniu procesu ewaluacji modelu FRDL w fazie jego wdrażania. Prowadzi po dwa spotkania ewaluacyjne z członkami zespołu monitoringowego. Poprzez dyskusję z uczestnikami spotkań oraz poprzez obserwację dokonuje oceny zasadności i efektywności procesu wdrażania dokumentu, a także ocenia proces monitoringu. Na podstawie spotkań tworzy raport ewaluacyjny. 1. Opracowanie dwóch raportów (po każdym ze spotkań z zespołami monitorującymi) otwarcia i zamknięcia oraz na tej podstawie jednego raportu zbiorczego (końcowego) 2. Przekazanie raportów zespołowi ewaluacyjnemu. 1. Zagadnienia/ problemy do poruszenia podczas grupowych wywiadów pogłębionych z zespołem monitorującym 2. Wytyczne do przeprowadzenia grupowych wywiadów pogłębionych Scenariusz raportów cząstkowych (otwarcia i zamknięcia) z grupowych

12 Podmiot /uczestnik procesu Rola i cele w procesie, rodzaj wykonywanych działań, ich charakterystyka i rezultat Zadania w ramach monitoringu i ewaluacji Stosowane narzędzia (jak?) Harmonogram (kiedy?) wywiadów pogłebionych 4. Scenariusz raportu zbiorczego z grupowych wywiadów pogłębionych Koordynator regionalny FRDL Rolą koordynatora regionalnego będzie gromadzenie informacji na temat monitorowania procesu wdrażania metody FRDL. Jego czynności będą polegały na uczestnictwie w 3 spotkaniach zespołu monitorującego, obserwacji i sporządzaniu notatek z tych spotkań. Pozyskiwanie i dokumentowanie informacji o faktach dotyczących działania modelu FRDL w praktyce i jego wpływu na uczestnictwo mieszkańców w tym procesie. Koordynator powinien również obserwować zjawiska świadczące o trwałości modelu FRDL, ewentualnie rejestrować dane ilustrujące potrzebę jego modyfikacji. 1. Prowadzenie obserwacji uczestniczącej 3 spotkań obowiązkowych zespołu monitorującego 2. Sporządzanie notatek z 3 spotkań obowiązkowych zespołu monitorującego. Notatki zawierałyby przede wszystkim informację o: przebiegu spotkania, czasie trwania, liczbie uczestników, poruszanych tematach, formach pracy, zgodności z założonym harmonogramem pracy zespołu 1. Wytyczne do sporządzania notatek z obserwacji spotkań zespołów monitorujących 2012 do 2013 Koordynator centralny FRDL Rola koordynatora centralnego FRDL będzie polegała na gromadzeniu informacji o monitorowaniu i ewaluacji modelu FRDL i udostępnieniu wszelkich posiadanych danych o procesie realizacji projektu zarówno z I jak 3. Koordynator regionalny FRDL zbierać będzie raporty animatorów i przekazywać je zespołowi ds. analizy ankiet i raportów Udostępnia wszelkie materiały oraz dane wtórne, zebrane w projekcie w ramach zobowiązań poszczególnych uczestników Brak narzędzi

13 Podmiot /uczestnik procesu Koordynatorzy gminni/powiat owi Zespół Ekspercki ds. Analizy Ankiet i Raportów Zespół ewaluacyjny modelu FRDL Rola i cele w procesie, rodzaj wykonywanych działań, ich charakterystyka i rezultat i II tury jst w projektcie. Jednym z zadań powinna być także obserwacja i koordynacja procesu monitoringu i ewaluacji metody FRDL. Współpraca z doradcami, koordynatorami regionalnymi i zespołem ewaluacyjnym. W związku z modyfikacją roli koordynatorów gminnych pomiędzy I a II turą udział w monitoringu będzie przebiegał następująco: koordynatorzy I i II tury wezmą udział w wywiadach pogłębionych natomiast koordynatorzy II tury dodatkowo wezmą czynny udział w procesie monitorowania wdrożeń. Rolą zespołu byłoby zagregowanie danych uzyskanych na etapie monitorowania modelu FRDL, uzyskanych od animatorów i koordynatorów FRDL. Zapisania ich w postaci raportów kwartalnych i końcowego, podsumowującego zebrany materiał empiryczny oraz prowadzoną procedurę badawczą. Rolą Zespołu byłoby przeprowadzenie badań jakościowych (dwie tury po 6 indywidualnych wywiadów pogłębionych w 15 wybranych jst II tury, 2 fokusy z animatorami (I i II tura), 1 fokus z doradcami na zakończenie projektu) oraz analiza ich wyników zapisana w postaci raportów zbiorczych. Do zadań zespołu należałoby również uwzględnienie w swoich analizach, zapisanych także w postaci raportów zbiorczych, opracowania danych empirycznych, uzyskanych od ewaluatorów. Zadania w ramach monitoringu i ewaluacji projektu np. karty doradztwa, notatki koordynatorów regionalnych oraz materiały z badań empirycznych, w których uczestniczyli uczestnicy metody FRDL: członkowie zespołów, animatorzy, doradcy, koordynatorzy etc. 1. Udział w indywidualnym wywiadzie pogłębionym II tura 2. Udział w procesie monitorowania 1. Opracowanie 3 raportów cząstkowych na podstawie raportów animatorów oraz notatek koordynatorów FRDL 2. Opracowanie raportu zbiorczego na podstawie raportów cząstkowych. 3. Przekazanie raportów zespołowi ewaluacyjnemu 1.Przeprowadzenie przez ewaluatorów w dwóch turach (po 6 w każdej turze) wywiadów swobodnych pogłębionych (IDI) w wybranych 15 jst II tury i sporządzenie raportów cząstkowych z wywiadów w każdym jst po każdej turze. 2. Przeprowadzenie przez ewaluatorów Stosowane narzędzia (jak?) Harmonogram (kiedy?) Brak narzędzi Raport animatorów notatka koordynatorów FRDL Struktura raportu z notatki koordynatorów FRDL 1. Scenariusze wywiadów swobodnych pogłębionych (IDI) do realizacji przez Zespół Ewaluacyjny Modelu FRDL 2. Struktura raportu cząstkowego i raportu

14 Podmiot /uczestnik procesu Rola i cele w procesie, rodzaj wykonywanych działań, ich charakterystyka i rezultat Zadania w ramach monitoringu i ewaluacji Stosowane narzędzia (jak?) Harmonogram (kiedy?) Zadaniem ostatecznym byłaby końcowa ewaluacja modelu FRDL pod kątem założonych wskaźników projektowych: 1. wdrażania modelu FRDL, 2. wypracowanego modelu wdrażania polityk publicznych z zastosowaniem modelu FRDL, 3. efektu testowanego model partycypacji publicznej. Praca zespołu będzie polegała na przedyskutowaniu i sporządzeniu końcowej oceny wdrażania modelu FRDL. Eksperci winni dokonać tej oceny pod kątem efektywności, skuteczności, użyteczności, trafności i trwałości. Elementem raportu końcowego winno być również opracowanie rekomendacji dla FRDL dotyczących ewentualnej modyfikacji modelu i wykorzystania go w szerszej praktyce publicznej. dwóch zogniskowanych wywiadów grupowych (fokusów) - po jednym dla animatorów I tury samorządów i II tury samorządów z wyłączeniem 7 jst badanych przez ISP 3. Przeprowadzenie przez ewaluatorów jednego zogniskowanego wywiadu grupowego (fokusa) dla doradców FRDL 4. Opracowanie raportów cząstkowych z każdego zogniskowanego wywiadu grupowego (fokusa) i na ich podstawie przygotowanie raportu zbiorczego z przeprowadzonych badań fokusowych. 5. Opracowanie raportu łącznego (oceny wdrażania modelu FRDL) na podstawie wszystkich raportów zbiorczych, wypracowanych w procesie monitoringu i ewaluacji oraz raportu opracowanego przez zespół ekspercki ds. analizy ankiet i raportów, uwzględniającego również zasadnicze wnioski, wynikające z zastosowania modelu FRDL w procesie planowania i wdrażania lokalnych polityk publicznych zbiorczego z wywiadów swobodnych pogłębionych (IDI) 3. Wytyczne do przeprowadzenia zogniskowanych wywiadów grupowych (fokusów) z animatorami i doradcami do realizacji przez Zespół Ewaluacyjny 4. Struktura raportów cząstkowych i zbiorczego ze zogniskowanych wywiadów grupowych (fokusów) 5. Wytyczne i struktura raportu łącznego oceny wdrażania modelu, uwzględniające wskaźniki projektowe

15 Ryzyka jakie mogą pojawić się w trakcie monitoringu i ewaluacji: niechęć lokalnych aktorów w tym władz gminy do diagnozowania problemu, bagatelizowanie procedury i badań, odbieranie wartości uzyskanym wynikom, zaprzeczanie wynikom, niechęć do ich ujawniania; niechęć do kolejnej fazy realizacji projektu, uczestnicy procesu nie posiadają wystarczającej wiedzy i umiejętności w zakresie prowadzenia monitoringu i ewaluacji, pozyskiwania informacji, ich analizy i wyciągania wniosków, niedostateczna wiedza o metodzie FRDL i problematyce partycypacji, nieznajomość i niedoskonałość potencjalnych źródeł wiedzy, np. dokumentacji zgromadzonej w ramach projektu, problemy z mierzalnością celów, rezultatów i produktów projektu, trudności w identyfikacji wskaźników (czym mierzyć?), określenie dostępnych (tanich, prostych) metod pozyskiwania danych, brak podstaw do określenia konkretnych zakładanych wartości rezultatów i celów, trudności w zaprojektowaniu monitoringu i ewaluacji i jej realizacji związane np. obciążeniem pracą członków zespołu monitorującego, animatora i doradców, trudności w monitorowaniu, kiedy osoby monitorujące są realizatorami działań, projektowane i realizowane działania są jednostkowe i nie mamy stosownego dystansu dla ich oceny, Wyżej wymienione ryzyka powinny zostać objęte szczególnym monitoringiem możliwości ich wystąpienia. Zarządzaniem ryzykiem zajmie się Kierownik Projektu, który wraz z partnerami, uwzględniając zewnętrzny podmiot realizujący ewaluację, będzie na bieżąco oceniał i analizował pojawiające się zagrożenia, jednocześnie wypracowując działania zaradcze. Ostateczną decyzję o wprowadzeniu działań minimalizujących podejmować powinien Kierownik Projektu na poziomie operacyjnym, natomiast Grupa Monitorująca na poziomie strategicznym.

16 PODSUMOWANIE MONITORINGU I EWALUACJI ORAZ REKOMENDACJE DO DALSZEGO WDRAŻANIA I UŻYTKOWANIA MODELU FRDL: Analiza zebranych danych z monitoringu i ewaluacji pozwolić powinna na zobiektywizowaną ocenę wartości modelu FRDL oraz wypracowanie ostatecznych, optymalnych rozwiązań służących jej doskonaleniu. Monitoring pilotażu i wyniki ewaluacji, posłużyć powinny do udzielenia odpowiedzi na wyżej postawione pytania i określenie warunków jakie będą musiały być spełnione aby metoda FRDL była optymalnie stosowana. Będzie to uzasadnieniem i jednocześnie rekomendacją do dalszego wdrożenia i użytkowania metody FRDL na szerszą skalę.