Współpraca Narodowej Agencji z Beneficjentami, jakość i monitoring

Transkrypt

1 Fundacja Rozwoju Systemu Edukacji Narodowa Agencja Programu Uczenie się przez całe życie Współpraca Narodowej Agencji z Beneficjentami, jakość i monitoring Szkolenie z beneficjentami TOI 2013 Warszawa, 7 października 2013 r.

2 Cykl projektu Ogłoszenie konkursu sierpień 2012 Składanie wniosków 31 stycznia2013 Selekcja luty-sierpień 2013 Ogłoszenie wyników Sierpień 2013 Raport cząstkowy październik wrzesień 2014 Raport przejściowy październik kwiecień 2013 Rozpoczęcie realizacji projektów 1 października 2013 Podpisywanie umów wrzesień listopad 2013 Ocena raportu październik-grudzień 2014 Raport końcowy październik 2013-wrzesień 2015 Ocena raportu październik - grudzień 2015 Wypłata ostatniej transzy

3 Cykl projektu 1 października 2013 rozpoczęcie realizacji projektu Spotkania partnerskie o ustalenie zasad współpracy podczas pierwszego spotkania; o ustalenie ról partnerów w projekcie. Partnerstwo o upewnienie się, że wszyscy partnerzy rozumieją swoją rolę w projekcie; o podpisanie umów z partnerami (rekomendacja). Zarządzanie projektem o ustalenie zasad podczas pierwszego spotkania, rola narzędzi do zarządzania; o współpraca przy przygotowywaniu formularza kontraktowego, formularza do wizyty monitorującej, raportu postępu prac, cząstkowego i końcowego oraz wniosku o aneks; o zmiany w budżecie aneksowanie powyżej 10% przesunięć pomiędzy uprawnionymi kategoriami (wniosek o aneks, decyzja NA, aneks); o informowanie partnerów nt. informacji zwrotnych z NA (po ocenie raportów), wniosku o aneks, zalecenia po wizycie monitorującej.

4 Współpraca NA-beneficjent Zarządzanie projektem współpraca z Narodową Agencją

5 Współpraca NA-beneficjent 1 października 2013 rozpoczęcie realizacji projektu i współpraca z NA o Opiekun projektu w NA osoba kontaktowa w instytucji beneficjenta (pytania bieżące, podpisywanie umowy, sprawozdawczość, wnioski o aneks, trudności w projekcie itp.) leonardo-toi@frse.org.pl

6 Współpraca NA-beneficjent 1 października 2013 rozpoczęcie realizacji projektu i współpraca z NA o Szkolenia i spotkania organizowane przez NA o sprawozdanie cząstkowe (jesień 2014) o sprawozdanie końcowe (jesień 2015) przygotowanie raportu 2 miesiące (raport eform składany on-line, tabele finansowe G-1-G7 wraz z dokumentacją do podwykonawstwa oraz wyciągi do partnerów, wytyczne do składania raportu, produkty, materiały upowszechniające, sprawozdania ze spotkań itp.) o Wizyty monitorujące m.in. w siedzibie beneficjenta

7 Współpraca NA-beneficjent 1 października 2013 rozpoczęcie realizacji projektu i współpraca z NA o Spotkania informacyjne i działania promocyjne (konferencje, seminaria, seminaria monitoringu tematycznego, biuletyny LdV, inne publikacje FRSE oraz KE) o Działania upowszechniające i wykorzystujące rezultaty projektu na stronie

8 Współpraca NA-beneficjent 1 października 2013 rozpoczęcie realizacji projektu i współpraca z NA o Działania monitorujące NA: o wizyty monitorujące w trakcie trwania projektu pracowników NA i ekspertów zewnętrznych; o kontrole finansowe w trakcie trwania projektu (on the spot) po zakończeniu projektu desk check, on the spot financial check; o analiza sprawozdań (postępów, cząstkowego i końcowego); o bieżące konsultacje; o spotkania w ramach monitoringu tematycznego (konferencje, seminaria, biuletyny LdV, inne publikacje).

9 Współpraca NA-beneficjent 1 października 2013 rozpoczęcie realizacji projektu i współpraca z NA Działania monitorujące NA: o wizyty monitorujące w trakcie trwania projektu pracowników NA i ekspertów zewnętrznych Cel wizyty: wsparcie realizacji projektu (ocena postępów realizacji projektu oraz wypracowanych produktów w porównaniu z zatwierdzonym planem pracy; oszacowanie potencjału projektu, jego wpływu na system kształcenia i szkolenia zawodowego, grupy docelowe i możliwości zastosowania w innych sektorach; weryfikacja aktualnego stanu realizacji projektu; zapoznanie się z charakterem i trybem współpracy partnerskiej, podziałem zadań miedzy partnerami oraz ich rezultatami; poznanie ewentualnych problemów oraz ustalenie form pomocy NA w ich rozwiązaniu) - termin wizyty ustalany na ok. 1 miesiąc wcześniej wysyłane stosowne pismo informujące - przesyłany przez NA formularz do wypełnienia i odesłania na 3 dni przed wizytą - czas trwania wizyty ok. 3-5 godzin - raport po wizycie ok. 1 miesiąca po zakończeniu

10 Współpraca NA-beneficjent 1 października 2013 rozpoczęcie realizacji projektu i współpraca z NA o Działania monitorujące NA: o kontrole finansowe w trakcie trwania projektu (on the spot) (ustalenie terminu wizyty, pismo informujące o celu, czas trwania ok. 3 godzin, formularz raportu przesłany przed wizytą, raport po wizycie) Cel wizyty: wsparcie realizacji projektu pod kątem finansowym (sprawdzenie realności i poprawności działań wspieranych przez fundusze UE; kontrola poprawności i legalności tych działań) o kontrole finansowe po zakończeniu finansowej analizy podstawowej po zakończeniu projektu: - desk check wybrani beneficjenci (analiza dokumentacji księgowej po zakończeniu analizy podstawowej, pismo informujące po analizie podstawowej), - on the spot financial check wybrani beneficjenci (ustalenie terminu wizyty, pismo informujące, raport po zakończeniu) najczęściej audytor zewnętrzny o

11 Jakość projektów transferu innowacji

12 Jakość w projektach transferu innowacji o Jakość w projektach wielostronnych o Jak rozumieć JAKOŚĆ? o Znaczenie zarządzania jakością w projekcie o Koszty jakości o Rola ewaluacji w procesie zarządzania jakością o Przegląd praktycznych problemów dot. zarządzania jakością i przykłady świadomych i nieświadomych niedociągnięć jakościowych (na etapie składania propozycji projektu i w trakcie jego realizacji)

13 Jakość w projektach transferu innowacji Jakość jest intuicyjnie pojmowana jako zbiór wielu cech, na przykład: Użyteczność w zastosowaniu (przydatność w działaniu) Zgodność z.. (np. z założeniami, celem, potrzebami itp.) Zgodność ze standardami / normami Niezawodność (zero defektów) i perfekcja Trwałość w czasie Łatwość naprawy; łatwość korekty / modyfikacji Estetyka Pozytywne odczucie użytkownika / beneficjenta; przyjazność w użyciu Jakość nie jest pojęciem całkowicie obiektywnym!

14 Jakość w projektach transferu innowacji Na etapie oceny propozycji: Dostosowanie analizy potrzeb do charakteru projektu, spójność celów projektu z celami i priorytetami Programu, oryginalność i innowacyjność pomysłu, wymiar europejski projektu. (Ogólne cele programowe, LEO-SpObj-b wsparcie dla poprawy jakości w VET; Priorytety Operacyjne, LEO- OpObj- 1 i 2 poprawa jakości; Priorytety Europejskie, LEO-TraInno-12 usprawnienie systemów zapewnienia jakości w VET) W odniesieniu do oddziaływania Długo- i krótkookresowy wpływ na podstawową grupę docelową, możliwość wykorzystania przez inne grupy / sektory / obszary, możliwość szerszego wykorzystania rezultatów po zakończeniu projektu. (Oczekiwane oddziaływanie proszę opisać jakościowe i ilościowe wskaźniki oddziaływania) Podczas ewaluacji partnerstwa Europejski wymiar, wielopodmiotowy wymiar grupy partnerskiej, uzupełnianie się partnerów, kompetencja w temacie, aktywność wszystkich partnerów. (Jakość konsorcjum projektowego; Plan zapewnienia jakości w zarządzaniu projektem)

15 Model Zapewnienia Jakości Plan działań jakościowych (wszystkie procesy i produkty) Działania korygujące i naprawcze Wdrożenie (metody, narzędzia, organizacja, harmonogram) Ewaluacja i monitoring; mierzalne wskaźniki

16 Dobrze dobrane wskaźniki jakości o o o o o o o Znaczenie dla projektu wskaźniki powinny dotyczyć najbardziej istotnych obszarów działania / procesów / produktów / rezultatów projektu Universalność należy unikać rozdrabniania się na dziesiątki bardzo specyficznych wskaźników Prostota proponowane wskaźniki jakościowe powinny być dobrze rozumiane przez wszystkich (zespół projektowy, beneficjenci, ewaluatorzy, ) Aktualność danych wyjściowych potrzebnych do oszacowania wskaźników Precyzja i jednoznaczność wskaźnika jakości Dostępność / osiągalność danych wyjściowych w odpowiednim czasie Wydajność v.koszt nakład pracy i czasu potrzebnego na zebranie oraz przetworzenie danych potrzebnych do oszacowania wskaźników muszą pozostawać w logicznej proporcji do korzyści

17 Przykłady wskaźników jakości o Realizowane szkolenie jest ukierunkowane na założonego w projekcie odbiorcę / grupę docelową / sektor docelowy; o Uczestnicy szkolenia dobierani są z przestrzeganiem zasady równości; o Metodologia szkolenia jest dostosowana do poziomu kompetencji uczestników o Platforma e-learningowa odpowiada współczesnym standardom o Zakres planowanego szkolenia będzie miał istotny wpływ na rozwój zawodowy uczestnika (orientacja na wyniki) o Budowana baza danych będzie aktualizowana okresowo co X tygodni o Beneficjent / konsorcjum bierze pod uwagę oczekiwania aktorów zewnętrznych o Zespół dedykowany do realizacji projektu posiada odpowiedni zbiór kompetencji o Infrastruktura dedykowana do realizacji projektu i możliwości organizacyjne oraz finansowe konsorcjum odpowiadają oczekiwaniom jakościowym.

18 o o o o Najważniejsi są ludzie. Jeżeli w projekcie zatrudnieni są ludzie o niskich kwalifikacjach, to trudno będzie poprzez techniki zarządzania jakością uzyskać poprawne efekty pracy. Kontrola jakości w projekcie musi być jednakowo rozumiana przez wszystkich partnerów projektu, a stosowane metody akceptowane przez nich. Zadaniem kontroli jakościowej jest poprawienie jakości, a nie walka z resztą zespołu. Osoby zajmujące się na potrzeby zespołu projektowego kontrolą jakości muszą wiedzieć, jaka jest ich właściwa rola. Wynik kontroli jakościowej musi zawierać sugestie poprawy / korekty. Czasami konieczna jest świadoma, dla dobra projektu, akceptacja mniejszych lub większych usterek. Są takie błędy, których istnienie nie może blokować postępu całego projektu. Tyle będzie jakości, ile budżetu i czasu przeznaczono na jakość.

19 o o Prawdziwa jakość wymyka się spod kontroli formalnej. Jakość formalna produktu (zgodność ze standardami, spójność z innymi produktami i półproduktami, wewnętrzna spójność) to tylko część cech dobrego produktu. Ale poza tym produkt musi być sprawny, użyteczny, przyjazny dla użytkownika końcowego / odbiorcy. Ewaluacja produktów poza zespołem projektowym. Dajemy produkt osobie nie będącej jego autorem ani członkiem zespołu autorskiego. Ewaluacja może być dla autorów bolesna, ale w jej ramach zwykle znajduje się wiele rozwiązań dla zidentyfikowanych problemów. o Procedura zarządzania zmianami musi być jedynym środkiem wprowadzania modyfikacji. To jest obrona przed niekontrolowanym rozpełzaniem się projektu. Powinien być zawsze wskazany partner upoważniony do podejmowania odpowiednich decyzji w temacie danego produktu.

20 Koszty jakości o Brak odpowiedniego systemu zarządzania jakością (kontroli jakości) w kolejnych fazach projektu może oznaczać poważne konsekwencje finansowe dla zespołu partnerskiego (kosztowne korekty, opóźnienia czasowe, negatywne oceny aż do utraty części finansowania włącznie). o Koszt usunięcia błędu w fazie analizy i projektowania to jedna jednostka, w fazie testowania produktu to dziesięć jednostek, a w trakcie implementacji / eksploatacji produktu to nawet sto jednostek. o Zarządzanie jakością w projekcie powinno być odpowiednio wyważone w zakresie prac projektowych, racjonalnie skalkulowane w budżecie i jednakowo rozumiane przez wszystkich partnerów projektu. Obowiązuje tu zasada tzw. Żelaznego Trójkąta czyli równowagi jakościowej pomiędzy czasem realizacji, zakresem i kosztem.

21 Ewaluacja o Kiedy ewaluować? Co ewaluować (produkt, rezultat, proces, etap projektu,.)? o Ewaluacja nie tylko twardych ale i miękkich elementów projektu. o Czy ewaluować tylko siłami wewnętrznymi partnerstwa, czy skorzystać z usługi podmiotu z zewnątrz? o Jak uwzględnić wyniki ewaluacji? Jak nie wprowadzić chaosu do harmonogramu realizacji projektu? o Jak dokumentować wyniki ewaluacji?

22 Pułapki zarządzania świadome i nieświadome niedociągnięcia jakości

23 Nierealny zakres projektu Starania o akceptację projektu powodują często przeładowanie propozycji projektu obietnicami bez pokrycia i na wyrost. W efekcie, chcąc dotrzymać tych obietnic, tworzymy nisko-jakościowe, encyklopedyczne i mało przydatne produkty. Nikomu niepotrzebne broszury, odhaczone produkty, zbyt duża liczba języków projektu i niestaranne tłumaczenia, irracjonalne ilości kopii materiałów papierowych lub nośników elektronicznych.

24 Innowacyjność versus rozpoznanie rynku Często występującą wadą, jest świadome lub nieświadome ignorowanie już istniejących dokonań w zakresie celów, produktów i rezultatów projektu w krajach partnerskich. Efekty: powielanie działań, brak wartości dodanej. Zalecenia: dobre rozpoznanie rynku w temacie projektu, obowiązkowe odniesienie się do już istniejących rozwiązań. Krytyczny przegląd dokonań innych ośrodków / zespołów projektowych jest rzeczą wymaganą i świadczącą pozytywnie o świadomości i kompetencjach zespołu projektowego.

25 Ewaluacja pro forma o Ewaluacja interim / on-going traktowana jako zło konieczne, a nie jako istotny instrument i element strategii jakościowej o Partnerzy (lub ich część) nie angażują się w pełni w proces ewaluacji o Zmiany konieczne do uwzględnienia są wprowadzane przypadkowo i wybiórczo o Wynik ewaluacji nie jest oparty o konkretne, mierzalne wskaźniki jakościowe i ilościowe o W procesie ewaluacji interim / on-going nie są zaangażowani beneficjenci projektu / reprezentanci grup docelowych określonych w projekcie wynik ewaluacji nie jest w pełni miarodajny

26 Źle dobrane partnerstwo o Brak koncepcji partnerstwa sprzyja przypadkowości w doborze partnerów. Dobierani są przez koordynatorów nie pod kątem rzeczywistych potrzeb ale np. ze względu na dobrą i przyjemną współpracę w uprzednio realizowanych projektach. o Każdy sobie rzepkę skrobie nieefektywne partnerstwo skutkujące wdrożeniami produktów ograniczonymi tylko do rejonów działań poszczególnych partnerów lub całkiem odmiennym podejściem do jakości produktów.

27 Piękna forma brak treści o system e-learningowy, praktycznie bez zawartości szkoleniowej o bazy danych, praktycznie bez danych lub z minimalną liczbą rekordów, tylko formalnie spełniających założenia projektowe o konferencja / warsztaty: we własnym, partnerskim sosie (brak zainteresowania ze strony grupy docelowej, brak udziału beneficjentów ostatecznych) o publikacja (też elektroniczne) w eleganckiej formie i nadmiernym nakładzie, powielenie i powtórzenie treści znanych z innych źródeł o portal, praktycznie bez historii odwiedzin, bez wizyt beneficjentów z krajów partnerskich o umowa między partnerami o komercjalizacji rezultatów pozostaje martwym, formalnym zapisem, bez praktycznych działań po zakończeniu projektu

28 Inne problemy z zarządzaniem projektem o Kierownictwo projektu nie jest wystarczająco dedykowane celom i zadaniom projektu (obciążenie innymi funkcjami, słaba komunikacja z NA, ograniczony nadzór nad pracami projektowymi). Czasem mamy do czynienia z brakiem stabilności zespołu projektowego. o Zignorowanie elementu ryzyka i konieczności zarządzania ryzykiem w projekcie. Z doświadczeń wcześniejszych edycji wynika, że obszar zarządzania ryzykiem jest na ogół obcy beneficjentom. o Trwałość rezultatów projektu po jego zakończeniu i komercjalizacja rezultatów pozostają papierową fikcją. Projekty są na ogół utożsamiane tylko z fazą realizacji.

29 Wsparcie jakości o Standardy ISO 9001:2000 (np Quality Management, Guidelines for Training), EFQM Excellence Model, Standard PMI i inne o EQAVET European Quality Assurance in VET Portal - o European Foundation for Quality in e-learning - o QALLL Quality Assurance in LifeLong Learning with a Focus on Vocational Education and Training and Adult Education - o Operational model of CQAF "Common Quality Assurance Framework" at VET -

30 Dziękuję za uwagę