Ewaluacja produktu projektu innowacyjnego

Transkrypt

1 Ewaluacja produktu projektu innowacyjnego Alicja Zajączkowska Gdańsk, Roczny Plan Działań współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego.

2 DYLEMATY EWALUACJI ZEWNĘTRZNEJ PRODUKTU PROJEKTU INNOWACYJNEGO (1) 1. Jaki jest cel ewaluacji zewnętrznej? 2. Co należy rozumieć pod pojęciem rzeczywiste efekty testowanego produktu? 3. Co jest przedmiotem ewaluacji zewnętrznej w projekcie innowacyjnym? 4. Jakie kryteria zastosować w ewaluacji zewnętrznej w projekcie innowacyjnym? 5. Różnice: Monitoring a ewaluacja wewnętrzna a ewaluacja zewnętrzna a walidacja? 6. Jakie metody zbierania danych stosować? Proporcje między danymi pierwotnymi a danymi wtórnymi w ewaluacji zewnętrznej. 7. Jaki może być koszt ewaluacji zewnętrznej?

3 DYLEMATY EWALUACJI ZEWNĘTRZNEJ PRODUKTU PROJEKTU INNOWACYJNEGO (2) 8. Na jakim etapie cyklu życia projektu innowacyjnego planujemy ewaluację zewnętrzną? 9. Kiedy podjąć współpracę z ewaluatorem zewnętrznym? 10. Jaki typ ewaluacji zewnętrznej zastosować - ewaluacja końcowa na zakończenie testowania, czy ewaluacja bieżąca - on going? 11. Różnice: Monitoring a Ewaluacja wewnętrzna a Ewaluacja zewnętrzna a Walidacja? 12. Ile współpracy, a ile niezależności przy prowadzeniu ewaluacji zewnętrznej testowanego produktu?

4 ZARZĄDZANIE EWALUACJĄ ZEWNĘTRZNĄ 1. Zarządzanie zakresem ewaluacji zewnętrznej 2. Zarządzanie zamówieniem ewaluacji zewnętrznej 3. Zarządzanie czasem ewaluacji zewnętrznej 4. Zarządzanie zasobami ludzkimi ewaluacji zewnętrznej 5. Zarządzanie komunikacją 6. Zarządzanie jakością ewaluacji zewnętrznej 7. Zarządzanie kosztami ewaluacji zewnętrznej 8. Zarządzanie ryzykiem ewaluacji zewnętrznej

5 GŁÓWNE ETAPY PROCESU EWALUACJI 1. Planowanie ewaluacji 2. Opracowanie projektu ewaluacji 3. Zbieranie informacji badania terenowe 4. Opracowanie i analiza danych 5. Sformułowanie wniosków i rekomendacji 6. Prezentacja wyników ewaluacji

6 Jak projektodawca powinien zaplanować w projekcie działania związane z ewaluacją zewnętrzną i czym ewaluacja zewnętrzna różni się od walidacji produktu? Zgodnie z Wytycznymi w zakresie wdrażania projektów innowacyjnych i współpracy ponadnarodowej w ramach PO KL ewaluacja zewnętrzna stanowi jeden z elementów II etapu realizacji projektu- czyli wdrożenia. W ramach analizy rzeczywistych efektów testowanego produktu projektodawca musi uwzględnić ewaluację zewnętrzną. Ewaluacja ta służy zbadaniu efektywności produktu i powinna zostać wpisana w planie działań, harmonogramie oraz budżecie.

7 KIEDY PLANUJEMY EWALUACJĘ ZEWNĘTRZNĄ? Planowanie ewaluacji zewnętrznej: 1. Ewaluacja we Wniosku projektowym 2. Ewaluacja w Strategii wdrażania 3. Ewaluacja w Raporcie metodologicznym ewaluacji (projekt ewaluacji)

8 STRATEGIA WDRAŻANIA V. Sposób sprawdzenia, czy innowacja działa Należy określić, jakie efekty zastosowania innowacji mogą zostać uznane za wystarczające uzasadnienie dla jej stosowania na szerszą skalę oraz podać, w jaki sposób będą one weryfikowane tj. konieczne jest zdefiniowanie: a. w jaki sposób dokonana zostanie ocena wyników testowania, b. jak zostanie przeprowadzona zewnętrzna ewaluacja produktu finalnego (w tym jak zostanie wyłoniony zewnętrzny ewaluator, jaki będzie zakres ewaluacji, jak zostaną zdefiniowane zadania ewaluatora). Lista sprawdzająca oceny strategii 8. Czy planowane podejście do monitoringu w fazie testowania i ewaluacji skuteczności produktu gwarantuje rzetelność oceny produktu finalnego?

9 CO POWI IE ZAWIERAĆ PROJEKT EWALUACJI? 1. Przedmiot ewaluacji 2. Kryteria oceny 3. Pytania ewaluacyjne 4. Metody badawcze 5. Próbę badawczą 6. Sposób prezentacji wyników

10 DEFINICJE EWALUACJI UE Ewaluacja jest definiowana jako osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. 2. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. 3. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

11 Analiza rzeczywistych efektów testowanego produktu Badanie rzeczywistych efektów testowanego produktu obejmuje dwa elementy: 1. zgromadzenie wszystkich danych z fazy testowania (opinie osób przeprowadzających test przedstawicieli obu grup docelowych, opinie obserwatorów ze strony zespołu projektowego, ocena skutków stosowania produktu) i ich ocenę; 2. ewaluację zewnętrzną.

12 Monitoring i/a ewaluacja Nie istnieje jedna, uniwersalna definicja monitoringu i ewaluacji, a wiele stosowanych pojęć jest niejednoznacznych i zależą od przyjmowanych założeń metodologicznych i koncepcji dociekań badawczych. W bardzo ogólnym ujęciu można powiedzieć, że: monitoring mówi nam, co się dzieje, ewaluacja odpowiada na pytanie dlaczego tak się dzieje. Monitoring jest dla ewaluacji bazą bez danych zbieranych w procesie monitoringu trudno byłoby prowadzić ewaluację. Współcześnie ewaluacja ciągła (on going) zlewa się z monitoringiem będąc jego dopełnieniem w trakcie podsumowywania projektu.

13 MONITORING TESTOWANIA Testowanie musi być przez cały czas monitorowane. Konieczne jest zaplanowanie procesu oceny formularzy do notowania uwag, ankiet do badania opinii i ocen. Ważne jest, by wszystkie opinie pojawiające się w trakcie testowania zostały zarejestrowane. Należy przewidzieć cykliczne spotkania uczestników fazy testowania z ekspertami zespołu, poświęcone dyskusjom nad wszelkimi pojawiającymi się problemami.

14 CELE EWALUACJI ZEWNĘTRZNEJ Ze względu na specyfikę projektów innowacyjnych nastawionych na wypracowanie nowych, skuteczniejszych rozwiązań ewaluacja powinna przede wszystkim zmierzać do udzielenia odpowiedzi na pytanie o to, czy wypracowany produkt (proponowane podejście) faktycznie jest lepszy, skuteczniejszy i bardziej efektywny niż stosowane dotychczas. Powinniśmy otrzymać odpowiedź na pytanie, czy proponowane podejście okazało się atrakcyjną alternatywą dla metod stosowanych wcześniej (czy jest bardziej skuteczne, tańsze lub przynajmniej efektywne), co wpływa na jego skuteczność (czy są to metody pracy, dobór grup docelowych, organizacja procesu wsparcia, czy inne czynniki), czy możliwe jest zwiększenie skuteczności proponowanych metod i pod jakimi warunkami.

15 EWALUACJA ZEWNĘTRZNA TESTOWANEGO PRODUKTU Wstępna wersja produktu finalnego Zastosowanie innowacyjnego rozwiązania Zastosowanie tradycyjnego rozwiązania Wymiar testowania Grupa docelowa projektu w Grupa kontrolna wymiarze testowania Odbiorcy Użytkownicy Odbiorcy Użytkownicy Rzeczywiste efekty testowania Zmiany w odbiorcach Korzyści/ straty dla użytkowników Zmiany w odbiorcach Korzyści/ straty dla użytkowników Efekty netto testowania innowacji Porównanie rzeczywistych efektów testowania innowacji w odniesieniu do odbiorców i użytkowników z uzyskanymi efektami przy zastosowaniu tradycyjnego rozwiązania

16 EFEKT NETTO PROJEKTU C z y n n ik i w p ły w a j ą c e D a n y P r o j e k t W s z y s t k ie p o z o s t a łe c z y n n ik i B e n e f ic j e n c i g r u p a p r o j e k t o w a b e z r o b o t n y c h g r u p a k o n t r o ln a b e z r o b o t n y c h E f e k t y 7 5 o s ó b z n a la z ło n o w ą p r a c ę 5 0 o s ó b z n a la z ło n o w ą p r a c e 7 5 % s z a n s a z n a le z ie n ia p r a c y w p r z y p a d k u u c z e s t n ic z e n ia w p r o j e k c ie 5 0 % s z a n s a z n a le z ie n ia p r a c y b e z u c z e s t n ic z e n ia w p r o g r a m ie E f e k t e m n e t t o p r o g r a m u s z k o le n io w e g o j e s t w z r o s t s z a n s n a z n a le z ie n ie p r a c y p r z e z b e z r o b o t n y c h 16

17 ETAP PLANOWANIA PROJEKTU ETAP WDRAŻANIA PROJEKTU ETAP ZAMYKANIA PROJEKTU ETAP PO ZAKOŃCZENIU PROJEKTU EWALUACJA EX-ANTE EWALUACJA OKRESOWA = EWALUACJA MID- TERM EWALUACJA KOŃCOWA EWALUACJA EX - POST Analiza efektów oczekiwanych Analiza efektów rzeczowych Analiza efektów rzeczywistych Analiza efektów odroczonych Studium wykonalności - stan gotowości projektu do realizacji Usprawnieniamonitorowanie zmiany Realizacja celów szczegółowych Osiągnięcie celów ogólnych

18 KRYTERIA EWALUACJI 1. TRAFNOŚĆ (RELEVANCE) 2. EFEKTYWNOŚĆ (EFFICIENCY) 3. SKUTECZNOŚĆ (EFFECTIVENESS) 4. UŻYTECZNOŚĆ (UTILITY) 5. TRWAŁOŚĆ (SUSTAINABILITY)

19 TABLICA 3: DEFI IOWA IE KRYTERIÓW EWALUACJI Kryterium Trafność Efektywność Definiowanie W jakim stopniu cele projektu są zgodne z potrzebami beneficjentów? W jakim stopniu poniesione nakłady w projekcie są ekonomiczne? CELE A POTRZEBY NAKŁADY A EFEKTY Skuteczność W jakim stopniu cele projektu zostały osiągnięte? PLAN A WYKONANIE Użyteczność Trwałość Wartość dodana Na ile rzeczywiste efekty projektu są zgodne z potrzebami beneficjentów? W jakim zakresie efekty projektu są długotrwałe? Co zmieniło się w ludziach i otoczeniu po jakimś czasie od zakończenia projektu? W jakim stopniu projekt jest innowacyjny? EFEKTY A POTRZEBY WPŁYW NA CEL OGÓLNY PROJEKTU KREATYWNOŚĆ

20 KRYTERIA EWALUACJI PRODUKTU (za Poradnikiem) 1. Adekwatność (czy produkt odpowiada realnym potrzebom?). 2. Efektywność (czy produkt przynosi zakładane efekty przy zakładanych kosztach, czy koszty te nie mogłyby być niższe, dając porównywalne efekty?). 3. Skuteczność (czy produkt jest skuteczny, czy jego stosowanie przynosi zakładane wyniki?). 4. Oddziaływanie/wpływ (czy wdrożenie produktu będzie skutkowało zwiększeniem szans na osiągnięcie celów PO KL?). 5. Trwałość efektów (czy jest prawdopodobne funkcjonowanie produktu po zakończeniu finansowania projektu?).

21 POTENCJAŁ PRODUKTU Potencjał produktu na upowszechnianie (potencjalna użyteczność dla rozwoju realizowanej polityki społecznej) jest tym wyższy im wyższa jest: 1. innowacyjność produktu finalnego 2. adekwatność w kontekście priorytetów polityki 3. skuteczność w rozwiązywaniu problemów grupy docelowej 4. efektywność finansowa usług oferowanych z wykorzystaniem produktu 5. replikowalność i możliwość adaptacji w innych obszarach 6. nakłady konieczne w celu wdrożenia (im wyższe tym ocena niższa, choć nie zawsze, np. przy wysokich kosztach zaniechania) 21

22 KRYTERIA OCENY PRODUKTU FINALNEGO Przydatność produktu innowacyjnego Zgodność produktu ze strategią wdrażania w zakresie celu i grupy docelowej Waga (0 1) 0,10 Skuteczność produktu (korzyści dla grup docelowych) 0,20 Ocena produktu (1 5) Aktualność potrzeby wprowadzenia produktu 0,20 Stopień skomplikowania produktu (łatwość zastosowania wypracowanych narzędzi) Możliwości zastosowania przez użytkowników (prawne, organizacyjne) Efektywność (nakłady do rezultatów) wprowadzenia rozwiązania 0,15 0,10 0,10 Unikatowość rozwiązania 0,15

23 SKUTECZNOŚĆ PRODUKTU (KORZYŚCI DLA GRUP DOCELOWYCH) Ocenie podlega zakładana (szacowana) skuteczność produktu wobec opisanych we wniosku i doprecyzowanych w strategii problemów grup docelowych jak dalece produkt ma szansę sprzyjać rozwiązywaniu tych problemów, w jaki sposób będzie wywierał wpływ na sytuację grup docelowych.

24 UNIKATOWOŚĆ ROZWIĄZANIA Kryterium dotyczy stopnia innowacyjności proponowanego rozwiązania jeśli dotyczy ono obszaru/grupy/problemu, którym nikt inny się nie zajmuje, w którym jak dotąd nie działają żadne instrumenty wówczas ocena będzie wyższa niż w sytuacji, gdy produkt dotyczy kwestii co prawda aktualnych, ale wokół których podejmowane są liczne inicjatywy usprawniające.

25 WYMIARY I SKALA INNOWACYJNOŚCI WYMIAR I OWACJI SKALA I OWACJI 1. Grupa docelowa 2. Problem grupy dotychczas nie wspierane - pomijane, wykluczone nowy problem - brak narzędzi interwencji grupy dotychczas wspierane biernie znany problem - brak narzędzi interwencji grupy wspierane aktywnie ale oferuje się im modyfikację dotychczasowych form wsparcia znany problem - niewystarczające, nieskuteczne narzędzia interwencji 3. Formy wsparcia nowatorskie metody działania znane metody wobec nowych grup Doskonalenie metod wobec tych samych grup - przeróbka stosowanej metody/ adaptacja metody z "zewnątrz"

26 SKALA INNOWACYJNOŚCI SKALA I OWACYJ OŚCI 1. ZE WZGLĘDU A WYBÓR GRUPY DOCELOWEJ: Na ile projekt dociera do odbiorców, którzy do tej pory nie byli objęci tego typu działaniami? 2. ZE WZGLĘDU A TYP POTRZEB: Na ile projekt odpowiada na potrzeby i oczekiwania odbiorców, które wcześniej nie były rozpoznane i zaspokajane? 3. ZE WZGLĘDU A FORMĘ USŁUGI: Na ile zastosowane narzędzia, metody, forma i sposób przekazu nie były stosowane wcześniej dla spełnienia oczekiwań odbiorców? 4. DOSTĘP OŚĆ W PRZESTRZE I: Na ile projekt możemy uznać za unikatowy w skali lokalnej, czy krajowej? (dostępność podobnych rozwiązań w skali region/kraju itd.)

27 GRUPA DOCELOWA w projekcie innowacyjnym UŻYTKOWNICY ODBIORCY Wymiar testowania Wymiar testowania Wymiar upowszechniania Wymiar docelowy Wymiar docelowy

28 REALIZACJA PROJEKTU ETAP 1 Diagnoza i analiza problemu Tworzenie partnerstwa (jeśli jest przewidziane) OCE A Opracowanie wstępnej wersji produktu oraz strategii wdrażania projektu innowacyjnego Upowszechnianie i włączanie do głównego nurtu polityki

29 REALIZACJA PROJEKTU ETAP 2 Testowanie opracowanego produktu Upowszechnianie i włączanie do głównego nurtu polityki Analiza rzeczywistych efektów testowania produktu (ewaluacja zewnętrzna) OCENA - EWALUACJA Opracowanie produktu finalnego na podstawie wyników analizy Upowszechnianie i włączenie do głównego nurtu polityki OCENA - WALIDACJA

30 HARMONOGRAM WDRAŻANIA INNOWACJI ETAP 1 ETAP 2 ETAP 3 do 8 miesięcy do 2 miesięcy np. 12 miesięcy do 2 miesięcy do 12 miesięcy Kreowanie Innowacji Testowanie Innowacji Transfer Innowacji 1.Wstępna wersja produktu finalnego 2.Ostateczna wersja produktu finalnego Upowszechnianie i włączanie wstępnej wersji Produktu Finalnego Upowszechnianie i włączanie wstępnej i testowanej wersji Produktu Finalnego Upowszechnianie i włączanie Produktu Finalnego

31 Tablica: Schemat strategii upowszechniania i włączania do głównego nurtu polityki DZIAŁANIA UPOWSZECHNIAJĄCE TRANSFER INFORMACJI STRATEGIA UPOWSZECH IA IA I MAI STRIMI GU (metody, techniki, narzędzia) ZAKRES DZIAŁAŃ DZIAŁANIA MAINSTRIMINGOWE TRANSFER WDROŻEŃ STRATEGIA EDUKACJI SPOŁECZ EJ STRATEGIA REPLIKOWA IA PRODUKTU Promocja Produktu Projektu Innowacyjnego Przekazywanie i wymiana informacji o Produkcie Projektu Innowacyjnego Wpływ na praktykę Mainstriming horyzontalny 1.Transfer wiedzy i umiejętności o Produkcie Projektu Innowacyjnego do podmiotów zainteresowanych replikowaniem (informacja, szkolenia, doradztwo, instruktarz, praktyki wdrożeniowe, itp.) 2. Wykorzystywanie Produktu Projektu Innowacyjnego przez użytkowników i odbiorców ze wsparciem doradczym twórców Produktu. Wpływ na legislacje - Mainstriming wertykalny 1. Działalność rzecznicza na rzecz systemowego stosowania Produktu Projektu Innowacyjnego. 2. Udzielanie rekomendacji, opinii, stanowisk w zakresie rozwiązań prawnych i systemowych odnośnie Produktu Projektu Innowacyjnego.

32 MODELE EWALUACJI Ewaluacja biurokratyczna jest najczęściej narzucana z zewnątrz jest nakazem prawnym formułowanym w wytycznych. Ewaluator jest niejako na usługach tych agencji rządowych, które sprawują nadzór i kontrolę. W rezultacie jego rola często sprowadza się w praktyce do tworzenia dokumentów (raportów), które warto mieć na wypadek zewnętrznej kontroli.

33 MODELE EWALUACJI Ewaluacja autokratyczna sprowadza ewaluatora do roli eksperta. Nie jest on konsultantem, jak w przypadku ewaluacji biurokratycznej, lecz raczej akademickim badaczem społeczności. Stosowane przez niego metody muszą być rzetelnie i niezawodne a poza tym tak jak każdy ekspert musi być on znawcą przedmiotu ewaluacji. Nie ma obowiązku konsultowania kryteriów ewaluacji albowiem jako ekspert wie jakie standardy jakości działania odnieść do badanych obiektów.

34 MODELE EWALUACJI Ewaluacja demokratyczna - zakres odpowiedzialności ewaluatora oraz prawomocność działań nie są lokowane na zewnątrz. Ewaluator nie jest na usługach polityków, czy osób odpowiedzialnych za sprawowanie nadzoru pedagogicznego, lecz społeczności, dla której pracuje. Ewaluator występuje tutaj jako moderator w procesie komunikowania się wielu grup osób zainteresowanych jakością efektów działań, projektów, czy edukacji. Jego rola polega na animowaniu procesu wymiany informacji i wspieranie procesu badawczego i wnioskowania.

35 MODELE EWALUACJI Ewaluacja demokratyczna - Inna jest rola ewaluacji. Informacje, jakich dostarcza ewaluacja demokratyczna nie służą uspokajaniu sumienia oraz rozliczaniu się z efektów pracy przed przedstawicielami nadzoru, lecz są wykorzystywane w procesie doskonalenia pracy realizatora projektu, czy szkoły raczej z wewnętrznych pobudek. Realizator, czy szkoła definiuje siebie jako organizacja nie tylko wspierająca/ ucząca innych, ale również ucząca się. Dzięki ewaluacji realizator projektu, czy szkoła dowiaduje się czegoś nowego o sobie samej i stąd czerpie motywacje do podejmowania działań projakościowych.

36 Dziękuję za uwagę Roczny Plan Działań współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego.