PROCEDURA DOKONYWANIA EWALUACJI I MONITORINGU

Transkrypt

1 PROCEDURA DOKONYWANIA EWALUACJI I MONITORINGU Załącznik nr 2 do LSR Cel procedury: Niniejsza procedura określa zasady przeprowadzenia oceny funkcjonowania i wdrażania LSR w wyniku: Ewaluacji czyli oceny stopnia realizacji przyjętych wcześniej założeń. Pozwala zweryfikować założenia strategiczne oraz systematycznie doskonalić własne działania, w tym w zakresie zaplanowanych efektów w wymiarze społeczno-gospodarczym, utrzymania transparentności działań czy efektywności planu komunikacji ze społecznością. Ewaluacja odnosi się do ważnych efektów w dłuższej perspektywie czasu. Monitoringu czyli systematycznego pomiaru wybranych wskaźników dotyczących celów, ich weryfikacji w zakresie zgodności z planem działań, stosowanej dokumentacji i funkcjonowania. Monitoring umożliwia bieżący nadzór nad prawidłowością przebiegu zaplanowanych zdarzeń. 1 [Podmioty/osoby odpowiedzialne za monitoring] 1. Osoby/podmioty odpowiedzialne za przeprowadzenie monitoringu wdrażania LSR i funkcjonowania są: a) Zarząd, w tym Komisja ds. ewaluacji i monitoringu b) i Dyrektor 2. Osoby odpowiedzialne za ewaluację: podmioty, o których mowa w ust. 2 oraz podmiot zewnętrzny. 2 [Przebieg procedury] 1. Zarząd powołuje ze swego grona Komisję ds. Ewaluacji i Monitoringu (KEiM), zgodnie z zasad sektorowości, tj. żaden sektor nie stanowi więcej aniżeli 49 proc. składu komisji. 2. Komisja odpowiada za przebieg procesu ewaluacji i monitoringu, w tym prowadzonego przez pracowników i dyrektora biura. 3. KMiE dokonuje ewaluacji i monitoringu w terminach, w zakresach oraz z zastosowaniem narzędzi, o których mowa w Załączniku nr 1 do niniejszej procedury. 4. Praca Zespołu kończy się Raportem z ewaluacji i monitoringu, który jest wspólnym dziełem członków Zespołu. 5. Raport może zawierać wnioski dotyczące: a) przeprowadzenia zmian w organizacji pracy Biura b) przeprowadzenia zmian w sposobach komunikacji ze społecznością c) przeprowadzenia zmian w LSR (aktualizacji) i kryteriach wyboru 3 [Prezentacja raportu] Raport z ewaluacji i monitoringu prezentowany jest przez Przewodniczącego komisji. 1. W przypadku czasu pomiaru dokonywanego z częstotliwością na bieżąco, miesiąc oraz na najbliższym Zarządzie, następującym po upływie badanego u. 2. W przypadku czasu pomiaru dokonywanego raz do oraz do końca 2018 r. na Zarządzie i Walnym Zgromadzeniu w pierwszym półroczu następującego po upływie badanego 4 [Wnioski z przeprowadzonej ewaluacji i monitoringu] 1. Wnioski z przeprowadzonej ewaluacji i monitoringu, zawarte w raporcie stanowią podstawę wprowadzenia zmian w zakresie wdrażania LSR i funkcjonowania w tym w zakresie przyjętych procedur i dokumentów. 2. Tryb i zasady wprowadzania zmian w LSR i kryteriach wyboru określa Procedura aktualizacji LSR, przyjmowania i aktualizacji kryteriów oceny operacji i grantów. 3. Obsługę administracyjną KEiM zapewniają Biura. 1

2 Załącznik nr 1 do procedury ewaluacji i monitoringu Przedmiot badania Odpowiedzialn y podmiot Elementy funkcjonowania podlegające ewaluacji: Funkcjonowanie (optymalizacja) biura, Organ decyzyjny, Podwykonawcy Rzetelność oceny Rady, w tym prawidłowość prowadzenia dokumentacji Zarząd, Komisja ds. ewaluacji i monitoringu (KEiM) eksperci) Zarząd, KEiM (ocena własna) Zarząd KEiM (ocena własna) (ew. ocena zew.) Narzędzia Anonimowa ankieta internetowa z interesariuszami władze gmin, beneficjenci, przedsiębiorstwa, NGO Wywiady swobodne i notatki z rozmów z beneficjentami oraz mieszkańcami podczas spotkań Wywiad z opiekunem projektu/pracownikiem z instytucji pośredniczącej/wdrażającej Opinia dyrektora i/lub kierownika biura nt. Podległego personelu Wywiad z wnioskodawcami Opinia zarządu Opinia komisji rewizyjnej Wywiad z opiekunem projektu/pracownikiem z instytucji pośredniczącej/wdrażającej Weryfikacja poprawności oraz analiza dokumentacji w posiadaniu Częstotliwoś ć z wyjątkiem ostatniego LSR Ogólna ocena jakości funkcjonowania poprawności działań w odniesieniu do założeń LSR Analiza słabych i mocnych stron oraz szans i zagrożeń związanych z funkcjonowaniem współpracy z interesariuszami i społecznością lokalną Rzetelność i terminowość wypełniania obowiązków wskazanych w umowie Realizacja LSR zgodnie z planem działań Uczestnictwo w posiedzeniach Przestrzeganie regulaminu Jakość działań aktywizujących procedur pracy biura, w tym związanych z dokumentacja i archiwizacją Kategorie uwag instytucji wdrażającej Najczęściej spotykane problemy i błędy/niezgodności Sugerowane sposoby wyeliminowania błędów/niezgodności 2

3 Potrzeby szkoleniowe pracowników, członków Rady (w zakresie zgodnym z celami LSR) Poziom merytoryczny zatrudnionej kadry Potrzeby szkoleniowe społeczności lokalnej (w zakresie zgodnym z celami LSR) Jakość doradztwa, seminariów i szkoleń oferowanych przez Efektywność działań promocyjnych Rozpoznawalność marki Zarząd, Dyrektor biura KEiM KEiM (ocena własna) eksperci) Opcjonalnie: Opinia zarządu Opinia dyrektora/kierownika biura Wywiad IDI lub ankieta z pracownikami (PAPI lub CAWI) Wywiad z opiekunem lub pracownikami instytucji wdrażającej (w aspekcie współpracy, słabych stron, błędów, itp.) Wywiady TDI (telefoniczne o charakterze jakościowym) z interesariuszami Analiza dokumentów aplikacyjnych Wywiad telefoniczny CATI z przedstawicielami grup docelowych Analizy danych zastanych (opcjonalnie): Raporty z badań i analiz na temat zapotrzebowania na kompetencje i kwalifikacje Strategie rozwoju na poziomie gmin, powiatów, województw Dane i opracowania publicznych służb zatrudnienia Opinia zarządu Ankieta ewaluacyjna(papierowa audytoryjna) z uczestnikami szkoleń - tuż po szkoleniach - wnioski powinny pozwalać na dokonanie ew. zmian przed kolejną turą Opcja rozszerzona: Wywiad telefoniczny (CATI) - po czasie (odstęp uzależniony od pożądanego dystansu beneficjenta do bardziej długofalowych efektów szkolenia/doradztwa) Protokół z rozdania ulotek/broszur informacyjnych wśród grup docelowych Wzmianki/notatki prasowe/wpisy blogowe na portalach lokalnych, blogach, forach, tematycznych profilach przed realizacją w pierwszym na bieżąco, w trakcie i po turach szkoleniowych Do końca 2018 r. - ewaluacja w trakcie oraz po wydarzeniach, w pozostałych przypadkach Do końca 2018 r. ewaluacja Identyfikacja luk kompetencyjnych zgodności formalnych kwalifikacji i zakresu obowiązków/realizo wanych zadań potrzeb szkoleniowych Poziom zaawansowania Dopasowanie istniejącej oferty szkoleniowej do potrzeb firm Identyfikacja potrzeb szkoleniowych społeczności lokalnej i pracodawców Poziom zaawansowania kompetencji beneficjentów Zakres szkolenia/doradztwa (poprawność sformułowania) Przyrost wiedzy i/lub umiejętności (subiektywne i zobiektywizowane minitest wiedzy ) przydatności wiedzy i/lub umiejętności (przez beneficjentów) pracy/ poziomu merytorycznego trenerów/doradców Liczba rozdanych/przekazan ych ulotek/broszur informacyjnych wśród grup docelowych Liczba wzmianek o marce w źródłach internetowych (np. 3

4 eksperci) social media Słowa kluczowe/frazy związane z marką Ankieta z użytkownikami spotkań i wydarzeń oraz beneficjentami Parametry publicznego profilu instytucji w social media (FB) oddziaływanie, aktywność Elementy wdrażania LSR podlegające ewaluacji: LSR Rejestr danych kryteria wyboru (ich LSR zasadności, Dane księgowe przejrzystości, Ankiety beneficjentów, celowości) operacji, Ewaluacja z sprawozdania plan działań, udziałem beneficjentów, rejestr procedury wyboru społeczności danych lokalnej Raporty z wywiadów/ankiet lub notatki/sprawozdania ze spotkań przeprowadzonych z beneficjentami i/lub pozostałymi interesariuszami Problemy z wdrażaniem LSR, realizacją planu działania Włączenie społeczne w odniesieniu do grup biura biura Analiza raportów z samooceny i ewaluacji wewnętrznej oraz konfrontacja z pozostałymi źródłami Wywiady telefoniczne CATI z beneficjentami Wywiady telefoniczne CATI z pracodawcami (zaangażowanymi w projekty) (okres objęty pomiaremp oprzedni ) Dane księgowe: miesiąc, ostatnia wykonywa na w grudniu 2023 poprzedni poprzedni narzędzie BRAND 24, SOTRENDER) Zasięg źródeł internetowych, w których pojawiają się wzmianki (klikalność, liczba unikalnych użytkowników, liczba polubień na FB, itp., narzędzie Google Analitics) Rating słów kluczowych/fraz wyszukiwanych przez internatutów Powszechność dokumentu na obszarze Stopień realizacji poszczególnych celów i wskaźników Stopień wykorzystania budżetu Zgodność z planem działań Opinia społeczności lokalnej na temat wdrażania LSR i realizowanych operacji wybranych kryteriów ewaluacyjnych, jak: skuteczności, efektywności, trafności, adekwatnościtrwałośc i, spójności Kategorie problemów Waga problemów dla realizacji celów Częstotliwość występowania problemów Liczba projektów skierowanych do grup Liczba miejsc pracy stworzonych dla osób z grup 4

5 Skuteczność planu komunikacji biura eksperci) ilościowa i jakościowa w wymiarach, jak: Systematyczności Przepływu informacji Zainteresowania Jakości Wypracowanych rezultatów Skuteczności działań aplikacyjnych Pomiar w odniesieniu do ankiet ewaluacyjnyc h: w trakcie lub po wydarzeniac h Pomiar w odniesieniu do podręcznikaj ednorazowo po przedstawien iu wersji roboczej Pomiar pozostałych wskaźników Planu: Liczba beneficjentów z grup Protokoły ze spotkań, listy obecności Potwierdzenia odbioru materiałów informacyjnych Liczba wydanych/wysłanyc h materiałów informacyjnych Wzmianki na portalach internetowych i w mediach społecznościowych na temat LSR Informacja w mediach lokalnych Plakaty w urzędach gmin i jednostkach podległych Zapis dyskusji lub wywiadu Pytania dotyczące przystępności podręcznika w ankiecie ewaluacyjnej Liczba wyświetleń filmu instruktażowego w social media, analiza jakościowa komentarzy Potwierdzenia wysyłki elektronicznej filmu/raportu Raport podsumowywujący rezultaty prac KEiM Opinie o wydarzeniu w ankiecie ewaluacyjnej z uczestnikami aplikujących co jakości przygotowywanych wniosków w ankietach ewaluacyjnych % skuteczność w aplikowaniu o 5

6 środki wśród beneficjentów programu Elementy podlegające monitorowaniu: Poziom realizacji wskaźników LSR, i realizacja planu dyrektor działania Funkcjonowanie biura Strona internetowa Jakość dokumentacji Zarząd, KEiM, Dyrektor Zarząd KEiM Analizy własne Arkusz postępu realizacji wskaźników (aktywny formularz w formacie Excel - % poziom realizacji wskaźników liczbowych oraz statusy: weryfikowane, w realizacji, zakończone dla pozostałych) Dane zebrane z przeprowadzonych konkursów Rejestr danych Sprawozdania ze spotkań Listy uczestników wydarzeń (listy mailingowe osób, do których wysłana została informacja oraz liczba profili social media w zasięgu w dniu wysyłki informacji) Opinia Zarządu Anonimowe ankiety Opinia Komisji Rewizyjnej Potwierdzenia nadania/odbioru dokumentów (np. certyfikatów) Rejestr zawieranych umów Statystyki strony internetowej Wywiad z opiekunem projektu/pracownikiem UM (np. wniosek o pomoc, wnioski o płatność) Weryfikacja poprawności oraz analiza dokumentacji prowadzonej przez pracowników czas Zgodność ogłaszania konkursów z harmonogramem, Stopień wykorzystania funduszy Wysokość zakontraktowanych środków Stopień realizacji wskaźników (np. liczby osób i podmiotów korzystających z oferty, inicjatyw, przedsięwzięć, itd.) Analizy własne Dane z rejestrów Dokumenty komisji rewizyjnej Parametry administratora strony Liczba uzupełnień i błędów we wnioskach Kategorie uwag instytucji wdrażającej Najczęściej spotykane problemy i błędy/niezgodności Sugerowane sposoby wyeliminowania błędów/niezgodności 6