2010 Ewaluacja w zakresie sfery B+R projekty Polskiej Agencji Rozwoju Przedsiębiorczości. Maciej Szałaj. Warszawa, 3 XII 2010 r.

2010 Ewaluacja w zakresie sfery B+R projekty Polskiej Agencji Rozwoju Przedsiębiorczości Maciej Szałaj Warszawa, 3 XII 2010 r.

Programy wdrażane przez PARP w obecnej perspektywie finansowej

Udział PARP we wdrażaniu PO IG

1.4 4.1 3.1 3.3 3.1 4.2 4.4 5.1 5.2 5.4 6.1 8.1 8.2 4.2

Ewaluacja w PARP 2001 2004 2005 2006 2007 2008 2009 2010

Ewaluacja w PARP realizujemy ex-ante on-going mid term ex-post 115 ewaluacji

Ewaluacja tematyczna

Ewaluacja tematyczna Działania 1.4-4.1 PO IG przykład Hipotezy badawcze Dofinansowane działania badawczo-rozwojowe prowadzone są wyłącznie w celu wypełnienia wymogów formalnych niezbędnych do otrzymania dofinansowania części wdrożeniowej, a ich wpływ na rozwój działalność B+R w przedsiębiorstwie będzie nieistotny, Inwestycje zaplanowane w dofinansowanych projektach nie są poparte rzetelną analizą rynku, co niekorzystnie wpływa na rokowanie odnośnie ich ekonomicznej opłacalności (możliwości skutecznego wdrożenia wyników prac badawczo-rozwojowych), Inwestycje zaplanowane w dofinansowanych projektach mają niski potencjał innowacyjny (opierają się na szeroko rozpowszechnionych rozwiązaniach organizacyjnych lub technologiach)

Cele ewaluacji Ewaluacja tematyczna Działania 1.4-4.1 PO IG przykład Ocena dofinansowanych projektów z punktu widzenia szans na osiągnięcie celów Działania 1.4-4.1 PO IG, a więc: skuteczne wdrożenie wyników działań badawczorozwojowych objętych dofinansowaniem; zwiększenie innowacyjności przedsiębiorstw korzystających z dofinansowania rozwój działalności badawczo-rozwojowej w przedsiębiorstwach korzystających z dofinansowania

Cele ewaluacji Ewaluacja tematyczna Działania 1.4-4.1 PO IG przykład Diagnoza i analiza zagrożeń dla realizacji celów Działania 1.4-4.1 Ocena systemu wdrażania Działania 1.4-4.1 PO IG z uwzględnieniem dotychczasowych zmian dotyczących dokumentacji programowej oraz warunków współpracy z ekspertami zewnętrznymi Wypracowanie rekomendacji mających na celu określenie celowości kontynuowania w nowej perspektywie finansowej wsparcia w formie zastosowanej w przypadku Działania 1.4-4.1 PO IG

Proces badawczy Ewaluacja tematyczna Działania 1.4-4.1 PO IG przykład Etap pierwszy: analiza ekspercka (desk research) wniosków o dofinansowanie oraz dokumentów, raportów z badań, publikacji i innych danych zastanych Etap drugi: a) wywiady indywidualne z przedstawicielami PARP, innych instytucji zaangażowanych we wdrażanie Działania oraz ekspertami w dziedzinie działalności badawczo-rozwojowej, b) wywiady indywidualne z przedstawicielami Beneficjentów odpowiadającymi za realizację projektów objętych dofinansowaniem w ramach Działania 1.4-4.1 PO IG c) analiza ekspercka dokumentacji określającej kryteria formalne i merytoryczne oceny wniosków oraz warunki współpracy z ekspertami zewnętrznymi Etap trzeci: a) zogniskowany wywiad grupowy (focus group interview) z ekspertami zaangażowanymi przedstawicielami następujących grup interesariuszy Działania 1.4-4.1 PO IG, b) warsztat kreatywny z udziałem przedstawicieli PARP oraz ekspertów oceniających wnioski o dofinansowanie w ramach Działania 1.4-4.1 PO IG

Kluczowi odbiorcy wyników Instytucje zaangażowane w realizację działania 1.4-4.1 PO IG, w tym przede wszystkim Polska Agencja Rozwoju Przedsiębiorczości, Ministerstwo Nauki i Szkolnictwa Wyższego, Ministerstwo Gospodarki oraz Ministerstwo Rozwoju Regionalnego, RIF, Grupa Sterująca Ewaluacją PO IG, Krajowa Jednostka Oceny, Polskie przedsiębiorstwa oraz organizacje zrzeszające przedsiębiorstwa, jednostki badawczo-rozwojowe Urząd Patentowy RP Ewaluacja tematyczna Działania 1.4-4.1 PO IG przykład

Ewaluacja on-going PO IG

Ewaluacja on-going Istotą ewaluacji programów publicznych jest przede wszystkim ustalenie efektów podejmowanych działań. Dla zapewnienia aktualnych informacji w zakresie produktywności wdrażanych instrumentów, potrzeba gromadzenia danych na bieżąco, w sposób systematyczny (on-going) Pomiar wskaźników ustanowionych dla celów Programu i ocena ich wartości skwantyfikowanie zmiany wywołanej podjętą interwencją dostęp do wiedzy w jakim stopniu dany program okazuje się skuteczny (tj. realizuje postawione przed nim cele) Klucz do podejmowania bieżą żących decyzji w procesie wdrażania!

Ewaluacja on-going Projektowania wskaźników Bieżący pomiar i ocena efektów, ale jakich efektów??? Czy POIG jest ewaluowalny w tym zakresie? mapa 0 (przykład : Działanie 1.4 POIG) Prace Grupy Eksperckiej ds. ewaluacji (projekt 2008) Analiza celów i logiki programowej PO IG, w działaniach PARP Audyt danych (dostępnych w systemie POIG, w statystyce publicznej) Analiza wskaźników w PO IG i opracowanie katalogu wskaźników ewaluacyjnych dla działań PARP mapa 3 Mapy 13 działań POIG + Baza wskaźników ewaluacyjnych

Ewaluacja on-going Idea Ewaluacje typu on-going w perspektywie 2004-2006 (best practice) Model ewaluacji on-going w POIG wzorowany na Ocenie rezultatów działania 2.1 i 2.3 SPO WKP po 18 miesiącach. Cechy ewaluacji on-going wybranych Działań POIG Pomiar bezpośrednich rezultatów ujętych w postaci wskaźnikowej (tj. zmian dotyczących beneficjentów, wywołanych interwencją programu). Ocena wpływu instrumentu na obszar, do którego został zaadresowany

Ewaluacja on-going opracowanie projektów Prace Grupy eksperckiej ds. ewaluacji (projekt 2009 - Działania POIG skierowane do przedsiębiorców ) Wypracowanie koncepcji realizacji badań on-going Opracowanie narzędzi badawczych (w Działaniach dla przedsiębiorców ) Koncepcja realizacji - Barometr beneficjenta POIG 8 projektów ewaluacji zintegrowanych w ramach Systemu Internetowych Badań Ewaluacyjnych PARP Idea pomiaru początkowego i końcowego (badania na pełnej populacji beneficjentów, realizowane w II etapach) Adaptacja metodologii GUS przy badaniu innowacyjności, skalowanie jakości projektów, pomiar efektywności wsparcia (metoda typu conjoint)

Ewaluacja on-going opracowanie projektów i realizacja Narzędzia badawcze (przykłady dla Działań 1.4-4.1, 4.2 POIG) * * * kwestionariusze CAWI Moduły pytań rdzeniowych, specyficznych, metryczkowych Zakres zgromadzonych danych dostosowany do możliwości przedsiębiorców (pretesty weryfikowały obciążenie respondentów) Realizacja ewaluacji on-going 2010-2016 2011: Zamówienie i wdrożenie systemu internetowych ewaluacji on-going POIG 2011: Pierwsze badania wśród przedsiębiorców 1) pomiar początkowy w trakcie realizacji projektów (wyrównawczy) 2) badania po dwóch latach od rozliczania projektów (2/3 okresu trwałości) 2011-2016: wieloletnie, systematyczne badania cykliczne (w rundach półrocznych), równolegle wszystkich Działań POIG wdrażanych w PARP

Ewaluacja on-going wykorzystanie wyników badań Bieżące zarządzanie procesem wdrażania w oparciu o informację na temat skwantyfikowanych efektów wsparcia Porównanie trendów w zakresie skuteczności wsparcia (w odniesieniu do projektów z kolejnych rund naboru, w różnych kontekstach gospodarczych, etc.) wizualizacja wyników z ewaluacji on-going SPO WKP funkcja sprawozdawcza, informacyjnym, promocyjna wyniki dostarczą wiedzy pod kątem nowej perspektywy (skuteczność i efektywność proinnowacyjnych instrumentów wsparcia przedsiębiorstw i IOBów) wizualizacja wyników z ewaluacji on-going POIG

Ewaluacja ex-post

Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje przykład ZAŁOŻENIA PROGRAMU BON NA INNOWACJE Program Bon na Innowacje jest pilotażowym projektem Polskiej Agencji Rozwoju Przedsiębiorczości na lata 2008 2010, finansowanym w całości ze środków budżetu państwa. Podstawowym celem Programu jest zainicjowanie kontaktów pomiędzy mikro i małymi przedsiębiorcami a jednostkami naukowymi w zakresie wdrożenia lub rozwoju produktu lub technologii. Maksymalna kwota wsparcia w ramach programu wynosi 15 000 zł netto. Program powstał na bazie podobnych programów w Holandii oraz Irlandii.

Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje cel ewaluacji Cel główny Ocena skuteczności, użyteczności oraz trwałości efektów Programu Bon na innowacje. Szczegółowe dziedziny ewaluacji Charakterystyka wnioskodawców, beneficjentów i projektów zrealizowanych w ramach I oraz II edycji Programu, Ocena wpływu Programu na podejmowanie współpracy przedsiębiorców z jednostkami naukowymi / badawczorozwojowymi, Ocena funkcjonowania oraz pierwszych efektów Programu, Interpretacja danych w celu sformułowania ewentualnych propozycji udoskonaleń Programu

Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje METODOLOGIA BADANIA

Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje Przykładowe wyniki Charakter współpracy z Wykonawcą bezpośrednio po zakończeniu uczestnictwa w Programie Obecnie X/XI.2010 N=256 N=78 Beneficjenci Programu kontynuujący współpracęz wykonawcami usług w ramach Programu Obszar /charakter współpracy z wykonawcąusługi w ramach Programu Kontynuacja projektu Rozszerzenie projektu Nowy projekt Trudno powiedzieć 33,3% 35,9% 53,8% 3,8%

Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje Przykładowe wyniki Plany w zakresie współpracy z dostawcami usług B+R Plany dotyczące współpracy ze sferą B+R w dużej mierze są skonkretyzowane. Zaświadczają to deklaracje beneficjentów, co do przewidywanych terminów podjęcia współpracy. Najbliższe 3 miesięcy Współpraca zostanie nawiązana w okresie 3-6 miesięcy 6-12 miesięcy Trudno powiedzieć N=256 Beneficjenci Programu zamierzający kontynuować współpracę 28,0% 26,3% 37,3% 8,5%

Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje ogólna ocena Cena ogólna w kontekście celu generalnego Programu Bon na innowacyjność Program wsparcia prawidłowo oddziaływuje na wywoływanie współpracy pomiędzy sferą przedsiębiorstw a jednostkami naukowymi i badawczo-rozwojowymi. Opierając się zarówno na wynikach badania jakościowego, jak i ilościowego uzasadnione jest twierdzenie, że ogólny cel Programu wsparcia jest rzeczywiście realizowany, przy czym na uwagę zasługuje również stopień tego oddziaływania. Istnieją przesłanki, aby oceniać go jako wysoce satysfakcjonujący.

Wskazania na przyszłość ść [1/2] Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje rekomendacje Rekomendacja 1 Należy doprowadzić do sytuacji, w której czas na wdrożenie projektu będzie wynosić co najmniej 4-6 miesięcy. Pozwoli to na spokojniejszą realizację projektów i zmniejszy udział projektodawców rezygnujących. Rekomendacja 2 Rozpocząć (kontynuować) prace zmierzające do uruchomienia podprogramu, w ramach którego oferowane byłyby wsparcie o większej wartości - ok. 30-50 tys. zł. W razie jego uruchomienia niezbędne byłoby jednak dopuszczenie dłuższego czasu realizacji projektów (ok. 6 miesięcy) Rekomendacja 3 Wprowadzić wymóg udziału własnego przedsiębiorcy w realizowanym projekcie. Pozwoli to zminimalizować ryzyko zleceń o wątpliwej przydatności. Udział własny nie powinien być zbyt wysoki powinien wynosić od 10 do 20%.

Wskazania na przyszłość ść [2/2] Ewaluacja Ocena skuteczności i efektywności Programu Bon na innowacje rekomendacje Rekomendacja 4 Ze względu na to, że wyższa kwota wsparcia będzie powodować większe zainteresowanie podprogramem, należy rozważyć wprowadzenie do oceny wniosków kryteria oceny merytorycznej, aby unikać konieczności szybkiego zamykania naboru. Wprowadzenie takich kryteriów może wydłużyć proces oceny, dlatego powinny one mieć maksymalnie prosty charakter. Rekomendacja 5 Należy rozważyć wprowadzenie nieco bardziej szczegółowego raportu z realizacji projektu. Będzie to jednak przydatne tylko w sytuacji, gdy analiza takiego raportu będzie trwała bardzo krótko. Oznacza to konieczność wzmocnienia kadrowego jednostki, która miałaby takie raporty analizować. W sytuacji jednak, gdyby skracałoby to istotnie okres realizacji projektów (konieczność rozliczenia całości Programu do końca roku) z wymogu takiego należy zrezygnować. Rekomendacja 6 Celowe byłoby wzmocnienie działań promocyjnych pod kątem prezentacji konkretnych, udanych projektów, zrealizowanych w ramach Programu.

Seria wydawnicza Ewaluacja http://www.parp.gov.pl/index/index/1423

Raporty http://www.parp.gov.p l/index/index/110

Zapraszamy również na seminaria tematyczne PARP http://www.parp.gov.pl/index/index/1574

więcej o ewaluacji. VI Konferencja Ewaluacyjna Warszawa 13-14 grudnia 2010 r. http://www.konferencja-ewaluacja.pl

Dziękuję za uwagę Polska Agencja Rozwoju Przedsiębiorczości ul. Pańska 81/83 00-834 Warszawa Tel. + 48 (22) 432 80 80 Fax + 48 (22) 432 86 20 + 48 (22) 432 84 04 Infolinia: + 48 (22) 432 89 91/92/93 e-mail: info@parp.gov.pl www.parp.gov.pl