REGULAMIN MONITORINGU I EWALUACJI PROJEKTU Z Tobą pójdę dalej program wsparcia dla dzieci z powiatu siedleckiego POKL.09.01.02-14-138/12 PRIORYTET IX DZIAŁANIE 9.1 Rozwój wykształcenia i kompetencji w regionach Wyrównywanie szans edukacyjnych i zapewnienie wysokiej jakości usług edukacyjnych świadczonych w systemie oświaty PODDZIAŁANIE 9.1.2 Wyrównywanie szans edukacyjnych uczniów z grup o utrudnionym dostępie do edukacji oraz zmniejszenie różnic w jakości usług edukacyjnych
Spis treści ROZDZIAŁ I POSTANOWIENIA OGÓLNE ROZDZIAŁ II ZAŁOŻENIA MONITORINGU I EWALUACJI I. MONITORING 1. Cele i zadania monitoringu. 2. Przedmiot monitoringu. 3. Narzędzia monitoringowe. 4. Harmonogram ramowy monitoringu. II. EWALUACJA 1. Cele ewaluacji. 2. Odbiorcy ewaluacji. 3. Przedmiot ewaluacji. 4. Pytania kluczowe. 5. Kryteria ewaluacji projektu. 6. Określenie próby i metod badawczych. 7. Wartość dodana projektu 8. Produkty projektu 9. Rezultaty twarde 10. Rezultaty miękkie 11. Harmonogram realizacji ewaluacji. 12. Wykorzystanie wyników ewaluacji w sprawozdaniu merytorycznym z realizacji projektu. ROZDZIAŁ III OBOWIĄZKI OSÓB ZAANGAŻOWANYCH W PROCES MONITORINGU I EWALUACJI ROZDZIAŁ IV NARZĘDZIA I METODY POZYSKIWANIA DANYCH STATYSTYCZNYCH ROZDZIAŁ V RAPORTY EWALUACYJNE ROZDZIAŁ VI METODY ZAPOBIEGANIA RYZYKU. PROCEDURA NAPRAWCZA REZULTATÓW W PROJEKCIE ROZDZIAŁ VII POSTANOWIENIA KOŃCOWE
ROZDZIAŁ I POSTANOWIENIA OGÓLNE 1 1. Objaśnienia skrótów i terminów: 1) EFS Europejski Fundusz Społeczny 2) PO KL Program Operacyjny Kapitał Ludzki 3) BO Beneficjent Ostateczny, uczestnik zajęć w ramach projektu współfinansowanego z EFS 4) monitorowanie proces systematycznego zbierania, sprawdzania i interpretowania wyników opisujących postęp i efekty realizacji projektu, spełnia w ten sposób rolę systemu wczesnego ostrzegania o ewentualnych nieprawidłowościach, zapewniając prawidłowość i wydajność wdrażanego projektu 5) monitoring - proces uzupełniający ze względu na osiągnięcie zamierzonych celów projektu, w ramach którego zbierane są dane niezbędne do dokonania ewaluacji, weryfikowana jest także zgodność realizowanego projektu z założeniami zawartymi we wniosku oraz obowiązującymi zasadami i dokumentami dotyczącymi danego źródła dofinansowania 6) ewaluacja badanie oceniające realizację projektu, ma na celu sformułowanie wniosków i rekomendacji 2 1. Projekt jest realizowany tylko i wyłącznie pod warunkiem obowiązywania umowy o dofinansowanie projektu w ramach PO KL zawartej pomiędzy Powiatem Siedleckim/Powiatowa Poradnia Psychologiczno Pedagogiczna w Stoku Lackim a Instytucją Pośredniczącą.
2. Projekt zakłada objęcie wsparciem 92 beneficjentów, w tym 60 dzieci, młodzieży i 32 rodziców/ prawnych opiekunów. 3. W projekcie uczestniczą dzieci niepełnosprawne w wieku od 5 do 24 roku życia oraz ich rodzice/ prawni opiekunowie. 4. Projekt realizowany jest w okresie od 1 sierpnia 2013 r. do 31 marca 2015 r. 5. Ogólny nadzór oraz rozstrzyganie spraw nieuregulowanych w regulaminie leży w kompetencjach Koordynatora Projektu. 6. Odpowiedzialność za właściwą realizację projektu ponosi Koordynator Projektu. 7. Unia Europejska nakłada na państwa członkowskie obowiązek monitorowania efektów rzeczowych wdrażanego projektu w celu racjonalnego, sprawnego i efektywnego wykorzystania środków strukturalnych. 8. Realizowany projekt będzie poddany procesowi sprawdzania postępów podejmowanych działań oraz osiągniętych wyników. 9. W ramach ewaluacji sprawdzany będzie poziom osiągnięcia rezultatów twardych i miękkich oraz produktów. 10. Monitoring projektu polegać będzie na analizie ilościowej oraz jakościowej dokumentacji wytworzonej w takcie realizacji projektu. ROZDZIAŁ II ZAŁOŻENIA MONITORINGU I EWALUACJI 3 I. MONITORING 1. Cele i zadania monitoringu Monitoring ma na celu zapewnienie zgodności realizacji projektu z założeniami i celami wcześniej zatwierdzonymi w dokumentach projektowych. Monitorowanie spełnia funkcję wewnętrznej kontroli realizacji zadań. Kontrola ta obejmuje kontrolę bieżącą, czyli ocenę skuteczności poszczególnych działań i sposobu ich realizacji pracy oraz kontrolę końcową sprawdzenie czy wytyczone cele zostały zrealizowane. Zadania monitoringu to:
- Monitoring na potrzeby kontroli. Monitoring ma na celu pomiar postępu, systematyczne kontrolowanie, czy wszystkie zaplanowane czynności przebiegają zgodnie z planem na każdym etapie realizacji projektu. - Monitoring na potrzeby sprawozdawczości. Dane zebrane w trakcie procesu monitorowania są analizowane i wykorzystywane do przygotowywania raportów okresowych i końcowych - Monitoring na potrzeby zarządzania jakością. Zarządzanie jakością oznacza czuwanie nad wypracowywaniem pożądanych rezultatów projektu, porównywanie ich adekwatnie do oczekiwań oraz podejmowanie działań zaradczych, gdy zidentyfikuje się odstępstwa. -Monitoring na potrzeby zarządzania zmianą. Wspomaganie procesu decyzyjnego, ułatwia znajdowanie rozwiązań w sytuacjach, kiedy zostały zidentyfikowane zagrożenia, nowelizację planów, pozwala na wprowadzenie koniecznych działań korygujących (poprawek). -Monitoring na potrzeby ewaluacji (ocena okresowa i końcowa - wartościowanie). Efekty monitorowania będą kluczowym źródłem informacji dla bieżącej oceny oraz ewaluacji okresowej i końcowej 2. Przedmiot monitoringu Monitoring skupia się na kontrolowaniu zakresu merytorycznego realizacji zaplanowanych działań i zadań oraz harmonogramu wdrażania projektu, a także jego rezultatów. Obejmuje on kontrolę terminowego realizowania poszczególnych zadań, zgodnie z zapisami we wniosku, systematyczne pomiary osiągania założonych rezultatów i realizacji poszczególnych celów szczegółowych projektu. Z wykorzystaniem odpowiednich narzędzi monitoringu gromadzone są dane potwierdzające poziom osiągania wskaźników rezultatów miękkich i twardych. Również prowadzona jest ewidencja informacji o uczestnikach projektu i formach wsparcia, jakie uzyskują na poszczególnych etapach udziału w projekcie. 3. Narzędzia monitoringowe Dokumentacja monitoringowa projektu obejmuje poniższe narzędzia monitoringowe: - Dokumentacja projektowa, która inwentaryzuje wszystkie istotne, zaplanowane parametry projektu wynikające z zapisów we wniosku, będące bazą wyjściową dla monitoringu
- Kwestionariusze - opracowane formularze w tym: karty rekrutacyjne, listy obecności, dzienniki zajęć, ankiety, karty obserwacji, kwestionariusze wywiadów - Sprawozdania: specjalistów prowadzących zajęcia. - Zestawienia zbiorcze danych, podsumowania ankiet, itp. 4. Harmonogram ramowy monitoringu Analiza dokumentacji projektowej na potrzeby monitoringu Przygotowanie regulaminu i harmonogramu ramowego monitoringu Przygotowywanie narzędzi badawczych Przeprowadzanie obserwacji zajęć (przynajmniej dwa razy w czasie trwania projektu każde zajęcia) Przeprowadzanie wywiadów z beneficjentami i osobami zaangażowanymi w realizację projektu Przeprowadzanie ankiet na potrzeby monitoringu Gromadzenie i analiza zebranych danych 2013 2014 2015 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3
Katalogowanie i archiwizowanie dokumentów związanych z bieżącym monitoringiem Sporządzanie raportów okresowych II. EWALUACJA 1. Cele ewaluacji Głównym celem ewaluacji projektu jest ocena jakości projektu pod kątem realizacji jego celów w czasie zajęć ujętych w poszczególnych zadaniach zgodnych z wnioskiem o dofinansowanie. Celami szczegółowymi ewaluacji projektu są: a) podnoszenie jakości realizacji projektu, poprzez dostarczanie informacji służących zwiększeniu jego efektywności, b) zidentyfikowanie słabych i mocnych stron projektu, c) zasygnalizowanie pojawiających się problemów, d) określenie stopnia zgodności realizacji celów i rezultatów projektu z przyjętymi założeniami, e) określenie stopnia osiągnięcia rezultatów twardych i miękkich. 2. Odbiorcy ewaluacji Odbiorcami ewaluacji projektu będą przede wszystkim sami jego realizatorzy, a mianowicie: a) Koordynator projektu b) Asystenci koordynatora projektu c) Specjaliści zaangażowani w realizację projektu 3. Przedmiot ewaluacji Projekt ma złożony charakter, a zatem nie ma możliwości, by ewaluacją objąć wszystkie aspekty związane z jego realizacją. Pojawia się więc potrzeba wyodrębnienia pewnych obszarów z całości, jaką jest projekt, i skupienia się tylko na ewaluacji wybranego obszaru. Ewaluacja będzie przeprowadzona kilkakrotnie w trakcie realizacji projektu tj. wstępna, kwartalna i końcowa. Wybrano następujące obszary, które poddane zostaną ewaluacji:
a) ocena prowadzonych działań rekrutacyjnych oraz informacyjno promocyjnych, b) stopień osiągnięcia założonych rezultatów twardych i miękkich, c) ocena jakości prowadzonych zajęć oraz frekwencji na zajęciach, 4. Pytania kluczowe Ocena prowadzonych działań rekrutacyjnych oraz informacyjno promocyjnych: a) Czy wykonano wszystkie zaplanowane działania rekrutacyjne i informacyjno - promocyjne? b) Czy proces rekrutacji przebiegał zgodnie z założeniami, harmonogramem i regulaminem? Określenie stopnia osiągnięcia założonych rezultatów twardych i miękkich: a) Czy dofinansowanie z programu wpływa na poprawę atrakcyjności oferty stowarzyszenia zaangażowanego w projekt? b) Czy uczestnictwo w projekcie dało beneficjentom szanse na rozwój indywidualnych zainteresowań i umiejętności? c) Jaki wpływ na beneficjentów miało ich uczestnictwo w projekcie i czy wzrosła ich motywacja do pracy? Ocena jakości prowadzonych działań oraz zajęć dydaktyczno wyrównawczych: a) Czy programy zajęć, warsztatów lub innych form były zgodne z celami projektu? b) Czy treści i organizacja zajęć były dla uczestników ciekawe? c) Czy zajęcia pomogły rozwinąć posiadane umiejętności, a jednocześnie nabyć nowe? d) Czy organizacja zajęć (termin, pora dnia, długość trawania, miejsce) była odpowiednia? e) Czy atmosfera podczas zajęć odpowiadała ich uczestnikom? 5. Kryteria ewaluacji projektu Ewaluacja projektu będzie prowadzona w oparciu o następujące kryteria : trafności, efektywności, skuteczności, użyteczności, trwałości. Kryterium trafności pozwali nam ocenić, w jakim stopniu przyjęte cele projektu odpowiadają zidentyfikowanym problemom w obszarze objętym projektem i realnym
potrzebom beneficjentów (czy dobrze zidentyfikowaliśmy lokalne potrzeby danej grupy docelowej i czy planowane działania rzeczywiście mogą zaspokoić te potrzeby) Kryterium efektywności pozwali ocenić poziom ekonomiczności projektu, czyli stosunek poniesionych nakładów do uzyskanych produktów (nakłady to zasoby finansowe i ludzkie oraz poświęcony czas). Kryterium skuteczności pozwali ocenić, w jakim stopniu zostały osiągnięte cele projektu zdefiniowane na etapie planowania, bada stopień osiągnięcia zamierzonych celów, wpływ czynników zewnętrznych. Kryterium użyteczności pozwoli ocenić na ile zrealizowane działania zaspokoiły rzeczywiste potrzeby i poprawiły sytuację odbiorców Kryterium trwałości efektów pozwali ocenić, czy rezultaty osiągnięte w ramach projektu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest długotrwałe utrzymanie się wpływu projektu na procesy rozwoju dzielnicy. 6. Określenie próby i metod badawczych Ewaluacja prowadzona jest równolegle z realizacją całego projektu dzięki czemu, dostarczy informacji aktualnych i użytecznych do prawidłowego zarządzania realizacją zaplanowanych działań. Podstawę badań będą stanowić bazy danych, dokumenty, sprawozdania. Ponadto na potrzeby ewaluacji skonstruowane zostaną narzędzia badawcze dla beneficjentów - dzieci, młodzieży i ich rodziców, a także realizatorów. Badaniem zostanie objętych nie mniej niż 50% losowo wybranych beneficjentów i ich rodziców, koordynator, asystent oraz specjaliści zaangażowani w realizację projektu. Zostaną przeprowadzone wywiady indywidualne i grupowe, rozmowy z beneficjentami dziećmi, młodzieżą i ich rodzicami, ankiety oraz obserwacje zajęć. 7. Wartość dodana projektu: zagospodarowanie czasu wolnego dziewcząt i chłopców, integracja środowiska terapeutów, powstanie samoistnej grupy wsparcia rodziców. 8. Produkty projektu: zorganizowanie 1 spotkania inaugurującego projekt i promującego go w środowisku, zorganizowanie 1 spotkania podsumowującego projekt, przeprowadzenie, przeprowadzenie 2956 godzin zajęć terapeutycznych, przeprowadzenie 21 godzin zajęć z diagnozy doradztwa zawodowego, przeprowadzenie 21 godzin zajęć warsztatowych z
doradztwa zawodowego, przeprowadzenie 18 godzin warsztatów w zakresie promocji zdrowia - wychowanie do radzenia sobie z seksualnością. Przeprowadzenie 21 godz. zajęć dla rodziców w zakresie promocji zdrowia wychowanie do radzenia sobie z seksualnością. Przeprowadzenie 24 godzin wsparcia psychologiczno pedagogicznego rodziców trening umiejętności wychowawczych, radzenie sobie z trudnymi zachowaniami dzieci. 9. Rezultaty twarde: udział 30 dziewcząt i 30 chłopców niepełnosprawnych intelektualnie w zajęciach, udział 3 dziewcząt i 4 chłopców w diagnozie predyspozycji osobistych, udział 10 dziewcząt w warsztatach z doradztwa zawodowego, udział 13 dziewcząt i 5 chłopców. Udział 32 rodziców (20 kobiet i 12 mężczyzn) w spotkaniach z psychologiem. Na zajęciach dotyczących promocji zdrowia i i radzenia sobie z trudnymi zachowaniami dzieci. Zatrudnienie koordynatora projektu, asystenta koordynatora projektu, zatrudnienie pracownika ds. finansowych, biurowych, umowy z przedsiębiorcą na zorganizowanie zajęć terapeutycznych, umowa z przewoźnikiem do przewozu beneficjentów na zajęcia w dni wolne od zajęć szkolnych. 10. Rezultaty miękkie: korekta zaburzonych funkcji, wzrost umiejętności w zakresie ICT, rozwój zainteresowań i uzdolnień osób niepełnosprawnych, nabycie nowych ruchowych, wzrost poczucia własnej wartości wśród niepełnosprawnych dziewcząt i chłopców, wzrost motywacji do nauki i rozwoju zainteresowań, wzrost świadomości rodziców w zakresie problemów osób niepełnosprawnych i wspierania ich rozwoju, włączenie ojców do opieki nad dziećmi niepełnosprawnymi., wzrost motywacji osób niepełnosprawnych do integracji ze środowiskiem. 11. Harmonogram ramowy realizacji ewaluacji 2013 2014 2015 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 Przygotowanie projektu ewaluacji Opracowanie narzędzi
badawczych Gromadzenie i analiza danych Obserwacja prowadzonych zajęć Pisanie raportów kwartalnych Pisanie raportu końcowego Na podstawie harmonogramu ramowego będą opracowywane kwartalne harmonogramy szczegółowe ewaluacji. 12. Wykorzystanie wyników ewaluacji Ewaluacja projektu zakończy się przedstawieniem raportu końcowego, opracowanego na podstawie raportów i analiz kwartalnych (zgodnie z harmonogramem). Informacje z raportów zostaną wykorzystane w sprawozdaniu merytorycznym z realizacji projektu. Materiały z ewaluacji zostaną wykorzystane w sprawozdaniu merytorycznym w następującym zakresie: a) przy opisie stanu realizacji działań, a zwłaszcza przedstawianiu przyczyn ewentualnych niezgodności realizacji działań z harmonogramem i przy uzasadnieniu proponowanych działań naprawczych oraz w opisie problemów zaistniałych podczas realizacji działań, b) przy podawaniu informacji o stopniu osiągnięcia zakładanych wartości wskaźników w okresie objętym sprawozdaniem. ROZDZIAŁ III
OBOWIĄZKI OSÓB ZAANGAŻOWANYCH W PROCES MONITORINGU I EWALUACJI 4 1. W proces monitoringu i ewaluacji projektu zaangażowane są następujące osoby: 1) Asystent koordynatora mający w zakresie obowiązków następujące szczegółowe zadania: a) opracowanie regulaminu i koncepcji ewaluacji b) opracowanie narzędzi monitoringu i ewaluacji c) przetwarzanie danych osobowych uczestników d) uzupełnianie danych w bazie PEFS e) bieżący monitoring działań w zakresie: jakości, zgodności z zasadami i zapisami umowy w ramach Programu Operacyjnego Kapitał Ludzki f) ocenianie realizowanych działań w projekcie g) przeprowadzenie ewaluacji h) przygotowanie raportów z badań ewaluacyjnych, w tym raportu końcowego, wyciąganie wniosków oraz formułowanie rekomendacji i) prezentację wyników ewaluacji. 2) Prowadzący zajęcia mający w zakresie obowiązków następujące szczegółowe zadania: a) opracowanie programów zajęć uwzględniających cele projektu i zakładane rezultaty b) prowadzenie dokumentacji zajęć, w tym dzienników c) określenie rezultatów, jakie ma osiągnąć BO po zakończeniu projektu d) przeprowadzenie końcowych badań sprawdzających poziom nabytych wiadomości i umiejętności w odniesieniu do zaplanowanych rezultatów i wypełnienie odpowiedniej dokumentacji stanowiącej źródło informacji do ewaluacji końcowej e) monitorowanie frekwencji uczestników i wypełnianie odpowiednich tabel w dziennikach f) monitorowanie postępów beneficjentów g) składanie okresowych sprawozdań z realizacji zajęć h) wypełnianie ankiet i arkuszy obserwacji beneficjentów w ramach ewaluacji wstępnej i końcowej.
ROZDZIAŁ IV NARZĘDZIA I METODY POZYSKIWANIA DANYCH STATYSTYCZNYCH 5 1. W procesie gromadzenia danych statystycznych na potrzeby monitoringu oraz ewaluacji wstępnej i końcowej zostaną wykorzystane następujące narzędzia badawcze: 1) Kwestionariusz wywiadu dla beneficjentów dzieci, młodzieży i ich rodziców oraz nauczycieli/terapeutów zostaną przeprowadzone na początku i na końcu realizacji projektu; posłużą zbadaniu oczekiwań rodziców beneficjentów względem proponowanego wsparcia. 2) Ankiety dla beneficjentów zostaną przeprowadzone w trakcie realizacji projektu, posłużą do zbadania oczekiwań uczestników projektu oraz stopnia zadowolenia i satysfakcji z jakości udzielonego wsparcia. 3) Kwestionariusze rozmów z beneficjentami w tym ich rodzicami rozmowy zostaną przeprowadzone w ramach cyklicznego monitoringu z losowo wybranymi osobami. 4) Analiza dokumentacji obejmie dokumenty takie jak dzienniki zajęć, programy, sprawozdania specjalistów opracowane po zakończeniu zajęć, listy obecności, wytwory beneficjentów powstałe podczas zajęć. 2. Dane statystyczne uzyskane za pomocą w/w metod zostaną wykorzystane do sporządzenia raportów z ewaluacji wstępnej i końcowej. 3. Ocena osiągnięcia rezultatów dokonana zostanie na zakończenie projektu na podstawie zgromadzonych danych, w odniesieniu między innymi do wyników ewaluacji wstępnej. 4. Beneficjenci po zakończeniu projektu otrzymają dyplomy udziału w projekcie Z Tobą pójdę dalej program wsparcia dla dzieci z powiatu siedleckiego. ROZDZIAŁ V RAPORTY EWALUACYJNE 6 1. Raport z ewaluacji wstępnej powstanie na podstawie informacji przekazanych przez beneficjentów ostatecznych za pośrednictwem wykorzystanych narzędzi
badawczych. Będzie zawierał informacje na temat oczekiwań odnośnie projektu oraz poziomu wiadomości i umiejętności beneficjentów w zakresach związanych z planowanym w projekcie wsparciem. 2. Raport z ewaluacji końcowej opracowany zostanie na podstawie danych zgromadzonych w wyniku analizy dokumentacji oraz informacji przekazanych przez wszystkie osoby uczestniczące w badaniach tj. beneficjentów ostatecznych, w tym rodziców/opiekunów prawnych, osoby prowadzące zajęcia za pośrednictwem wykorzystanych narzędzi badawczych. 3. Raport końcowy zawierał będzie informacje dotyczące przydatności i trafności programów zajęć, jakości zajęć oraz efektów udzielonego beneficjentom wsparcia. 4. Raport ukaże, czy założone w projekcie rezultaty zostały osiągnięte. ROZDZIAŁ VI METODY ZAPOBIEGANIA RYZYKU. PROCEDURA NAPRAWCZA REZULTATÓW W PROJEKCIE 7 1. W celu zapewnienia właściwej realizacji projektu należy: 1) jasno określić plan działania i harmonogram prac 2) zatrudnić kompetentnych pracowników i precyzyjnie określić zakresy ich obowiązków 3) postępować zgodnie z przepisami zawartymi w ustawie z dnia 29 sierpnia 1997 r. o ochronie danych osobowych (Dz. U. z 2002 r. Nr 101,poz. 926 ze zm.) w celu wyeliminowania możliwości udostępnienia danych osobowych beneficjentów 4) systematycznie dokonywać archiwizacji dokumentacji projektowej na innej jednostce roboczej lub dysku zewnętrznym zgodnie z procedurą ochrony informacji niejawnych w celu wyeliminowania możliwości utraty danych 5) w przypadku wystąpienia ryzyka, że postęp w realizacji wskaźnika rezultatów jest niewystarczający w danym okresie sprawozdawczym, zastosować analizę SWOT, przedstawioną poniżej za pomocą tabelki ANALIZA SWOT
SZANSE ZAGROŻENIA MONCE STRONY SŁABE STRONY ROZDZIAŁ VII POSTANOWIENIA KOŃCOWE 8 1. Zgodnie z Regulaminem monitoringu i ewaluacji, Projektodawca zastrzega sobie prawo dokonywania zmian w projekcie. 2. Odpowiedzialność za wdrożenie i przestrzeganie Regulaminu monitoringu i ewaluacji ponosi koordynator projektu, asystent koordynatora. 3. Wszelkie uwagi i zgłoszenia dotyczące naruszeń niniejszego regulaminu należy zgłaszać Koordynatorowi Projektu. 4. Aktualna treść regulaminu dostępna jest w Biurze Projektu. 5. Zespół Zarządzający na swoich zebraniach przeanalizuje dokumentację i podejmie stosowne decyzje odnośnie rekomendacji w celu usprawnienia realizacji projektu. 6. Regulamin wchodzi w życie z dniem 1.08.2013 roku.