Konferencja podsumowująca realizację grantu Poprawa jakości wdrażania projektów innowacyjnych i współpracy ponadnarodowej w PO KL 2007-2013 poprzez wykorzystanie doświadczeń uzyskanych przy realizacji projektów w ramach PIW EQUAL 2004-2006 Ewaluacja produktu projektu innowacyjnego testującego Gdańsk, 27.11.2011 Roczny Plan Działań współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego.
Plan prezentacji - Wnioski sformułowane podczas seminarium przeprowadzonego w ramach grantu dotyczące działań związanych z ewaluacją produktu projektu innowacyjnego (PI) testującego; zadania ewaluatora, Beneficjenta, IP/IP2 -Cele ewaluacji zewnętrznej produktu PI testującego - Etapy procesu ewaluacji oraz informacje dot. ewaluacji produktu PI testującego wykazywane przez Beneficjenta w poszczególnych dokumentach a harmonogram realizacji PI testującego - Rekomendacje dla Beneficjentów i IP/IP2 Wnioski sformułowane podczas seminarium przeprowadzonego w ramach grantu z udziałem eksperta Alicji Zajączkowskiej 1. Beneficjent powinien nawiązać współpracę z ewaluatorem w pierwszym etapie realizacji PI testującego, najpóźniej na etapie przygotowania strategii wdrażania PI testującego 2. Ewaluator powinien uczestniczyć w testowaniu produktu (ewaluacja bieżąca on going). Testowanie musi być odpowiednio zaplanowane i przeprowadzone - formularze uwag, ankiety do badania opinii, monitorowanie procesu testowania 3. Działania podejmowane przez IP/IP2, związane z procedurą konkursową powinny uwzględnić w/w potrzeby
Cele ewaluacji zewnętrznej produktu PI testującego ( Projekty innowacyjne. Poradnik dla projektodawców PO KL ) Ewaluacja zewnętrzna produktu powinna dostarczyć odpowiedzi na pytanie: Czy wypracowany produkt (proponowane podejście) faktycznie jest lepszy, skuteczniejszy i bardziej efektywny niż stosowany dotychczas, tj.: Czy proponowane podejście okazało się atrakcyjną alternatywą względem metod stosowanych wcześniej (czy jest bardziej skuteczne, tańsze lub przynajmniej efektywne); Co wpływa na jego skuteczność (czy są to metody pracy, dobór grup docelowych, organizacja procesu wsparcia, czy inne czynniki); Czy możliwe jest zwiększenie skuteczności proponowanych metod i pod jakimi warunkami. Etapy procesu ewaluacji, informacje dot. ewaluacji PI testującego Aby ewaluacja przyniosła zamierzone efekty, Beneficjent musi uwzględnić odpowiednie działania przygotowawcze. Główne etapy procesu ewaluacji: 1. Planowanie ewaluacji 2. Opracowanie projektu ewaluacji 3. Zbieranie informacji - badania terenowe 4. Opracowanie i analiza danych 5. Sformułowanie wniosków i rekomendacji 6. Prezentacja wyników ewaluacji Beneficjent musi wykazać działania związane z ewaluacją zewnętrzną produktu PI testującego: 1. W treści wniosku projektowego 2. W Strategii wdrażania projektu innowacyjnego testującego 3. W raporcie metodologicznym
Specyfika badania ewaluacyjnego a harmonogram realizacji projektu Zidentyfikowane problemy związane z realizacją badania ewaluacyjnego dot. produktu PI: Zgodnie z Wytycznymi w zakresie wdrażania projektów innowacyjnych i współpracy ponadnarodowej w ramach Programu Operacyjnego Kapitał Ludzki z dnia 1 kwietnia 2009, ewaluacja zewnętrzna dot. analizy rzeczywistych efektów testowanego produktu i jest obowiązkowym elementem II etapu realizacji projektu innowacyjnego testującego. W związku z brakiem szerszych informacji nt. specyfiki ewaluacji produktu PI testującego: 1. Istnieje ryzyko że współpraca z ewaluatorem zostanie podjęta w drugim etapie realizacji PI, po zakończeniu procesu testowania. 2. Wydatki związane z realizacją badania ewaluacyjnego dot. produktu PI mogą zostać ograniczone na etapie planowania budżetu i/lub podczas przeprowadzenia oceny merytorycznej, co praktycznie uniemożliwi przeprowadzenie badania w zakresie umożliwiającym osiągnięcie najlepszej jakości produktu Specyfika badania ewaluacyjnego a harmonogram realizacji projektu Jeżeli ewaluator uczestniczy w przygotowaniu procesu testowania produktu oraz na bieżąco pozyskuje informacje z poszczególnych elementów etapu testowania, jakość produktu finalnego może być lepsza, niż w sytuacji kiedy ewaluator otrzymuje wyłącznie gotowy materiał do opracowania, bez możliwości wprowadzenia bieżących modyfikacji oraz systematycznego obserwowania wyników testowania. Zgodnie z Zaleceniami dla Instytucji Pośredniczących i Instytucji Pośredniczących II stopnia w zakresie projektów innowacyjnych w ramach PO KL 2007-2013, w przypadku faz analizy wyników testowania i opracowania produktu finalnego szczególnie czasochłonne może okazać się wielostopniowe merytoryczne i formalne wypracowanie ostatecznych form produktów i doprowadzenie do powstania ostatecznej wersji złożonego, innowacyjnego produktu finalnego, poprzez np. konieczność wielokrotnego obiegu kolejnych korygowanych i modyfikowanych wersji wstępnych, zanim zyskają one finalną akceptację i zatwierdzenie. W związku z powyższym, w przypadku ewaluacji produktu projektu innowacyjnego testującego bardziej korzystna może okazać się ewaluacja bieżąca - on going.
Rekomendacje Beneficjent: 1. Zaleca się, aby współpraca z ewaluatorem została podjęta w I etapie realizacji PI testującego: -Działania przygotowawcze, związane z planowaniem procesu ewaluacji (wypracowanie narzędzi tj. pomoc w opracowaniu raportu metodologicznego oraz założeń dot. ewaluacji do Strategii wdrażania projektu) powinny zostać zrealizowane w I etapie; - W II etapie realizacji PI testującego powinien zostać przeprowadzony proces zebrania oraz analizy danych. 2. Umowa z ewaluatorem powinna uwzględniać specyfikę PI, tj. w/w podział w kontekście możliwości rozwiązania umowy w wyniku negatywnej oceny strategii IP/IP2: 1. Zaleca się, aby w dokumentacji konkursu (lub w dokumencie pomocniczym do dokumentacji) uwzględnić więcej informacji nt. ewaluacji produktu PI testującego 2. Podczas oceny merytorycznej PI testujących, należy mieć na uwadze potrzebę nawiązania wcześniejszej współpracy z ewaluatorem oraz przeprowadzenia ewaluacji bieżącej (Harmonogram, Budżet projektu) Dziękuję za uwagę Joanna Bogdziewicz-Wróblewska Roczny Plan Działań współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego.