Plan sesji IV. Wstęp. M&E na różnych poziomach interwencji. Efekty spillover. Podsumowanie

Transkrypt

1

2 Plan sesji IV Wstęp M&E na różnych poziomach interwencji Efekty spillover Podsumowanie

3 1 Wstęp 3

4 1 Wstęp 4

5 1 Wstęp Source: EC DG Regio, Marek Przeor, presentation for M&E workshop in Gdansk, October

6 1 Wstęp CELE STRATEGICZNE NAKŁADY DZIAŁANIA I PROCESY PRODUKTY REZULTATY ODDZIAŁYWA- NIE KLASYCZNY ŁAŃCUCH WYNIKÓW Przyjęte kierunki i parametry działań Zasoby ludzkie, finansowe i inne Przełożenie nakładów na rezultaty Mierzalne produkty działań Wpływ na grupę docelową (GD) Osiągnięcie celów programów i polityk ADAPTACJA DLA POLITYKI INNOWACYJNEJ WSKAŹNIKI KONTEKSTO WE WSKAŹNIKI DLA CELÓW STRATE- GICZNYCH BUDŻET PERSONEL INNE ZASOBY RZEZNACZONE NA POSZCZE- GÓLNE DZIAŁANIA ZAAWAN- SOWANIE PROCESU DECYZYJNE GO POSTĘP W REALIZACJI DZIAŁAŃ ZREALIZO- WANE PROJEKTY DZIAŁANIA ZAKOŃCZO NE EFEKT OSIĄGNIĘT Y DZIĘKI REALIZACJI PROJEKTU KORZYŚCI DLA GD. RZECZYWIST A ZMIANA WSKAŹNI- KÓW ZMIANA ZACHOWAŃ GD. 6

7 1 Wstęp DIAGNOZA: WYZWANIA/PROBLEMY Problem/wyzwanie RIS3 Cel strategiczny Program POLITYKA CO1 CO2 Instrument/działanie P1 P2 P3 BENEFICJENCI I1 I2 I3 F1,F2,F3,F4,F5,F6. 7

8 1 Wstęp

9 1 Wstęp

10 1 Wstęp 1. Model interwencji a model monitoringu i ewaluacji Logika interwencji Polityka (Strategia inteligentnej specjalizacji) Czy instrumenty i programy, które realizuję, przybliżają mnie do celu danej polityki? Program 1 (Dostęp do finansowania) Program 2 (Klastry kluczowe) Program 3 (Promocja eksportu) Instrument 1 Instrument 1 Instrument 1 Instrument 2 Instrument 2 Instrument 2 Jakie mam cele i jak je osiągam przy danych nakładach? Instrument 3 Instrument 3 Instrument 3 Wniosek: żeby dobrze mierzyć zmianę, musi ona być właściwie zaplanowana Monitoring i ewaluacja 10

11 1 Wstęp Monitoring: ocena postępów w realizacji działań Czy interwencja przebiega zgodnie z planem? Czy osiągamy zaplanowane rezultaty? Czy zmienia się kontekst naszych działań? Ewaluacja: ocena efektów działań Czy robimy właściwe rzeczy? Czy robimy je właściwie? Czy można to zrobić lepiej? Narzędzie szybkiej interwencji Narzędzie refleksji Poziomy interwencji: Monitoring i ewaluację można prowadzić na każdym poziomie interwencji jest wiele podejść Względy praktyczne: koszty, czas, zasoby ludzkie, przebieg zmiany strategicznej wymuszają ograniczenia Na poziomie regionu warto prowadzić monitoring na wszystkich poziomach, a ewaluację na poziomie strategii/polityki Na poziomie kraju, przy dużych programach zaleca się również ewaluację na poziomie programu Ewaluacja polityki będzie obejmowała realizowane programy i instrumenty 11

12 2 M&E na różnych poziomach interwencji 1.1. Poziom polityki: prowadzimy monitoring i ewaluację Monitorujemy: Postęp w realizacji w odniesieniu do kontekstu Postęp w odniesieniu do założonych celów Poniesione nakłady Polityka Program Instrument Monitoring Ewaluacja Oceniamy: Oddziaływanie: czy udało nam się wpłynąć na zmiany zachowań grup docelowych 12

13 2 M&E na różnych poziomach interwencji 1.2. Dlaczego monitorujemy politykę? Polityka Program Monitoring Chcemy się dowiedzieć: Jaka jest nasza pozycja konkurencyjna i jej zmiany? Instrument Czym powinniśmy się zająć lub jakie działania zintensyfikować? Ile kosztuje nas realizacja całej polityki i poszczególnych programów? Na jaki % grupy docelowej rzeczywiście wpływamy i czy jest on wystarczający, aby osiągnąć realną zmianę? Ewaluacja 1.3. Dlaczego oceniamy politykę? Chcemy się dowiedzieć: Czy osiągnęliśmy zamierzone efekty? Czy grupy docelowe faktycznie zmieniły swoje zachowania w wyniku naszej interwencji? 13

14 2 M&E na różnych poziomach interwencji 1.4. Odbiorcy monitoringu i ewaluacji polityki Decydenci (najważniejsze wyniki) Instytucje zarządzające politykami innowacji i inteligentnych specjalizacji) Instytucje realizujące polityki (porównanie z innymi instytucjami) Instytucje kontrolujące przebieg realizacji polityk Partnerzy społeczni i gospodarczy, mieszkańcy (najważniejsze wyniki) Naukowcy badający politykę innowacyjną (informacje szczegółowe) Polityka Program Instrument Monitoring Ewaluacja 14

15 2 M&E na różnych poziomach interwencji 1.5. Wskaźniki stosowane w monitoringu polityki Polityka Monitoring Ewaluacja Kontekstowe Dla polityki innowacyjnej: Nakłady na B+R w relacji do PKB % przedsiębiorstw innowacyjnych w przemyśle i usługach Wpływy podatkowe z B+R na 1 mieszkańca Dla inteligentnych specjalizacji: Eksport sektorów wysokotechnologicznych % przedsiębiorstw innowacyjnych wg branż Eksport wg branż Liczba patentów zgłoszonych i udzielonych wg branż Program Instrument Nakładu Środki przeznaczone na realizację polityki innowacyjnej/inteligentnych specjalizacji: Rocznie, w porównaniu do innych województw W całym okresie programowania, w porównaniu do innych województw W przeliczeniu na poszczególne cele/programy Środki w przeliczeniu na grupy docelowe: Nakłady w przeliczeniu na 1 przedsiębiorstwo z grupy docelowej Nakłady w przeliczeniu na 1 naukowca z grupy docelowej Nakłady w przeliczeniu na 1 instytucję otoczenia biznesu z grupy docelowej 15

16 2 M&E na różnych poziomach interwencji 1.6. Wskaźniki stosowane w ewaluacji polityki Oddziaływania Zwrot z inwestycji publicznej (public ROI) Instrument Zmiana nakładów na B+R w grupie docelowej Zmiana liczby przedsiębiorstw innowacyjnych w grupach docelowych Efekt netto i brutto danej polityki Zmiana powiązań sieci aktorów w ramach obszarów specjalizacji: wzrost liczby powiązań/wzrost głębokości powiązań Efekt dźwigni z inwestycji publicznej: ile dodatkowych środków zainwestowały przedsiębiorstwa, które otrzymały wsparcie na działalność innowacyjną Ważne: Wskaźniki stosowane w ewaluacji polityki są: Dobierane w zależności od typu interwencji i teorii programu Zależne od postawionych pytań badawczych Zgodne z przyjętymi pytaniami ewaluacyjnymi i typem ewaluacji Polityka Program Monitoring Ewaluacja 16

17 2 M&E na różnych poziomach interwencji 2.1. Poziom programu: prowadzimy monitoring, ewaluację tylko przy dużych programach Monitorujemy: Zmiany specyficznego kontekstu, którego dotyczy program Poniesione nakłady Uzyskane rezultaty dla celów strategicznych Uzyskane produkty i rezultaty dla działań strategicznych Uwaga: monitoring powinien prowadzić do wyciągania wniosków dotyczących interwencji, ma więc częściowo charakter ewaluacji ongoing Polityka Program Instrument Monitoring Ewaluacja Oceniamy: Skuteczność (osiąganie założonych celów) Efektywność (uzyskane efekty a koszty ich osiągnięcia) Użyteczność (czy spełniliśmy potrzeby beneficjentów lub odpowiedzieliśmy na potrzeby społecznogospodarcze) czyli efekt zmiany strategicznej w stosunku do zaplanowanych celów i poniesionych nakładów 17

18 2 M&E na różnych poziomach interwencji 2.2. Porównywanie programów: przykład Wskaźniki dla programów powinny być porównywane z innymi programami: jakie efekty osiągamy przy danych nakładach z różnych programów? Monitoring Ewaluacja Polityka IS: Bezpieczne systemy IS: Inteligentne technologie środowiskowe IS: Zdrowie i jakość życia Innowacyjność MSP Internacjonalizacja IS Transfer technologii Strategie przedsiębiorstw Program Instrument Cele Nakłady Działania Rezultaty IS:Mobilność B+R Klastry i sieci 18

19 2 M&E na różnych poziomach interwencji 2.3. Dlaczego monitorujemy program? Chcemy się dowiedzieć: Jaka jest nasza pozycja konkurencyjna i jej zmiany w specyficznym obszarze? Ile kosztuje nas realizacja całej programu? W jakim stopniu udało nam się osiągnąć cele programu? W jakim stopniu udało nam się zrealizować zaplanowane działania strategiczne? Jakie zmiany powinniśmy wprowadzić? 2.4. Dlaczego oceniamy program (jeśli się na to decydujemy)? Chcemy się dowiedzieć: Czy program był efektywny (stosunek nakładów do efektów)? Czy program był skuteczny (czy osiągnęliśmy to, co zamierzyliśmy)? Czy program osiągnął zamierzony efekt (impact/użyteczność: efekt zmiany)? Polityka Program Instrument Monitoring Ewaluacja 19

20 2 M&E na różnych poziomach interwencji 2.5. Odbiorcy monitoringu i ewaluacji programu Osoby zarządzające operacyjnie (informacje szczegółowe) Instytucje zarządzające politykami innowacji i inteligentnych specjalizacji) Instytucje realizujące polityki (porównania z innymi instytucjami) Instytucje kontrolujące przebieg realizacji polityk Partnerzy społeczni i gospodarczy zaangażowani w realizację programu Mieszkańcy (najważniejsze wyniki) Naukowcy badający obszar, którym zajmuje się program (informacje szczegółowe) Polityka Program Instrument Monitoring Ewaluacja 20

21 2 M&E na różnych poziomach interwencji 2.6. Wskaźniki stosowane w monitoringu programu Polityka Program Monitoring Kontekstowe Dla programów w ramach polityki innowacyjnej: Instrument % przedsiębiorstw ponoszących nakłady na działalność innowacyjną % przedsiębiorstw wdrażających innowacje marketingowe % przedsiębiorstw działających w klastrach Dla programów w ramach inteligentnych specjalizacji: Zmiana liczby przedsiębiorstw innowacyjnych w branżach zakwalifikowanych do danej specjalizacji Liczba nowych przedsiębiorstw w branżach zakwalifikowanych do danej specjalizacji Ewaluacja Nakładu Środki przeznaczone na realizację programu W przeliczeniu na poszczególne cele/działania W przeliczeniu na rodzaj beneficjenta Produktu Liczba audytów innowacyjnych w przedsiębiorstwach Liczba projektów zrealizowanych we współpracy nauka-gospodarka w ramach obszarów specjalizacji Liczba przedsiębiorstw uczestniczących w programie internacjonalizacji 21

22 2 M&E na różnych poziomach interwencji 2.6. cd. Wskaźniki stosowane w monitoringu programu Polityka Program Instrument Monitoring Rezultatu Liczba przedsiębiorstw, które wdrożyły strategie innowacyjne lub innowacyjne modele biznesu w wyniku audytu innowacyjności Liczba nowych lub znacząco zmienionych produktów i usług wdrożonych w wyniku projektów zrealizowanych we współpracy nauka-gospodarka w ramach obszarów specjalizacji Liczba przedsiębiorstw, które rozpoczęły działalność eksportową po zakończeniu programu internacjonalizacji Ważne: Oprócz standardowych wskaźników monitoringu, na poziomie programów i działań strategicznych powinien być prowadzony stały dialog z beneficjentami i realizatorami programów. Jest to z jednej strony element przedsiębiorczego odkrywania (sprawdzamy jak przebiega wdrażanie strategii innowacji/inteligentnej specjalizacji), a z drugiej pozwala na wczesną identyfikację problemów i możliwości usprawnień w realizacji programów). Ewaluacja 2.7. Wskaźniki stosowane w ewaluacji programu są: Dobierane w zależności od typu interwencji i teorii programu Zależne od postawionych pytań badawczych Zgodne z przyjętymi pytaniami ewaluacyjnymi i typem ewaluacji 22

23 2 M&E na różnych poziomach interwencji 3.1. Poziom instrumentu: prowadzimy monitoring Polityka Program Monitoring Monitorujemy: Instrument Sposób realizacji w celu kontroli przebiegu wdrażania Poniesione nakłady Uzyskane produkty i rezultaty Obszary możliwych problemów i usprawnień Uwaga: monitoring powinien prowadzić do wyciągania wniosków dotyczących interwencji, ma więc częściowo charakter ewaluacji ongoing Ewaluacja 3.2. Dlaczego monitorujemy instrumenty/działania? Chcemy się dowiedzieć: Czy wdrażanie instrumentu przebiega zgodnie z planem? Czy prawidłowo wydatkujemy środki? Czy instrument jest atrakcyjny dla beneficjentów? Co powinniśmy poprawić? Czy osiągamy zamierzone efekty? 23

24 2 M&E na różnych poziomach interwencji 3.3. Odbiorcy monitoringu instrumentów/działań Polityka Monitoring Ewaluacja Program Instrument Osoby zarządzające taktycznie (informacje szczegółowe o danym instrumencie) Instytucje zarządzające politykami innowacji i inteligentnych specjalizacji Instytucje realizujące polityki Instytucje kontrolujące przebieg realizacji polityk Partnerzy społeczni i gospodarczy zaangażowani w realizację działania Mieszkańcy (przypadki sukcesu) Naukowcy badający obszar, którym zajmuje się instrument/działanie (informacje szczegółowe) 24

25 2 M&E na różnych poziomach interwencji 3.4. Wskaźniki stosowane w monitoringu instrumentu/działania Polityka Program Instrument Monitoring Nakładu Środki przeznaczone na realizację instrumentu/działania w przeliczeniu na 1 beneficjenta Ewaluacja Produktu (zależne od typu instrumentu) Poziom realizacji zaplanowanych wskaźników produktu dla całego działania/instrumentu Liczba beneficjentów zainteresowanych realizacją projektów w ramach instrumentu (liczba złożonych wniosków) Liczba zrealizowanych projektów w ramach działania/instrumentu Rezultatu (zależne od typu instrumentu) Kwota środków zainwestowanych dodatkowo przez przedsiębiorstwa w realizację projektów Liczba przedsiębiorstw, które zmieniły strategię swojego działania lub model biznesowy po realizacji projektu Liczba przedsiębiorstw, które rozpoczęły działalność eksportową po zakończeniu programu internacjonalizacji % beneficjentów w ramach grupy docelowej, którzy skorzystali z dofinansowania 25

26 2 M&E na różnych poziomach interwencji 3.4. cd. Wskaźniki stosowane w monitoringu instrumentu/działania Polityka Program Instrument Monitoring Ewaluacja Ważne podobnie jak przy programach: Oprócz standardowych wskaźników monitoringu, na poziomie programów i działań strategicznych powinien być prowadzony stały dialog z beneficjentami i realizatorami programów. Jest to z jednej strony element przedsiębiorczego odkrywania (sprawdzamy jak przebiega wdrażanie strategii innowacji/inteligentnej specjalizacji), a z drugiej pozwala na wczesną identyfikację problemów i możliwości usprawnień w realizacji programów. 26

27 3 Efekty zewnętrzne (spillover effects) 1. Skupienie środków na IS aby silniej wpłynąć na wzrost gospodarczy i powiększyć dobrobyt 2. Mechanizm efektów zewnętrznych ułatwia osiąganie tego celu Efekty zewnętrzne- uboczny skutek danej działalności, którego konsekwencje ponosi szersze grono odbiorców- nie tylko Ci bezpośrednio w nie zaangażowani 3. Ale nie każda polityka może wytworzyć efekty zewnętrzne- potrzeba otwartego systemu innowacji 4. Czynniki sprzyjające : Technologia i innowacja: Wiele możliwych zastosowań Zastosowania ogólne Rynek i struktura przemysłu Przemysł o wysokiej wartości dodanej z wieloma możliwymi zastosowaniami Przemysły rozwijające się Uwarunkowania instytucjonalne Podmioty Aktywna funkcja uniwersytetów i instytutów badawczych Związki pomiędzy podmiotami Relacje sieciowe i umowy współpracy między podmiotami Geograficzne skupienie beneficjentów programu Mechanizmy transmisji Niskie koszty transmisji wiedzy- połączone z rodzajem wiedzy Różnorodność mechanizmów Potencjał absorpcyjny Wysoki potencjał absorpcyjny 27

28 3 Efekty zewnętrzne (spillover effects) 1. Jaki to ma związek z M&E? 2. Prawdziwy wpływ danej polityki jest większy niż ten szacowany tradycyjnie ( korzyść społeczna ) 3. Proponowany system opiera się na wskaźnikach związanych z czynnikami sprzyjającymi 4. Ogólnie: większa intensywność danego czynnika większy potencjał na efekty zewnętrzne 5. Ocena intensywności czynników- wykorzystanie analizy jakościowej (grupy fokusowe, spotkanie ekspercie, obserwacje uczestniczące) 6. Budowanie scenariuszy, tworzenie narracji 7. Ważona suma wskaźników pozwala na porównania pomiędzy specjalizacjami 8. Przydatne zarówno w analizie ex-ante jak i w analizie śródokresowej lub ex-post. 28

29 4 Podsumowanie Zmiana podejścia: Już nie może być tak jak na rysunku obok: Nie planujemy monitoringu po napisaniu strategii tylko razem z nią a potem jest z nami poprzez cały proces wdrażania Zdobyte doświadczenia zabieramy na następny okres planowania 29

30 4 Podsumowanie Logika interwencji jest oceniana zgodnie ze strategicznym łańcuchem wyników Zagregowane wskaźniki niższego poziomu powinny przekładać się na wskaźnik wyższego poziomu i pokazywać stopniowe osiąganie zaplanowanej zmiany strategicznej Nie dotyczy to jednak wskaźników kontekstowych wg obecnie znanych metodyk niemożliwe jest udowodnienie wpływu realizowanych polityk na zmiany wskaźników ogólnogospodarczych, które są uzależnione od zbyt wielu powiązanych czynników zewnętrznych, których działania nie da się wystarczająco odseparować Ważne: Żeby móc zrealizować monitoring i ewaluację zgodnie z logiką interwencji, konieczne jest planowanie wskaźników już na etapie planowania interwencji tak, aby dokładnie odzwierciedlały one cele polityk, programów i działań. 30

31 4 Podsumowanie a) Monitoring realizujemy na wszystkich poziomach interwencji, ewaluację na poziomie polityki i/lub programu jeśli jest duży b) Oczekiwania od M&E: - Na poziomie instrumentu: kontrola sposobu realizacji - Na poziomie programu: wiedza, czy osiągamy cele i czy zmienia się kontekst naszego działania - Na poziomie polityki: udowodnienie efektów zmiany strategicznej i wiedza o zmianach kontekstu c) Interwencja na poziomie firmy a interwencja na poziomie specjalizacji: sprawdzamy czy efekt osiągnięty w jednej firmie (case study) przekłada się na całą grupę docelową (grupę firm z obszaru specjalizacji) (badanie ilościowe i jakościowe) d) M&E inteligentnych specjalizacji będzie skuteczny jeśli: - Dobrze je zdefiniowaliśmy - Co pewien czas sprawdzamy zmiany struktury gospodarczej i dostosowujemy interwencję - Dopuszczamy zmiany i pomyłki i się na nich uczymy e) Wskaźnik KE innovation output: wskaźnik dla działań najczęściej się powtarzających, możliwy do agregacji na poziomie UE jest powtarzalny, podczas gdy wskaźniki rezultatu i produktu są specyficzne dla konkretnej interwencji i odnoszą się do zaplanowanych celów i działań f) Jeśli sama interwencja jest źle zaplanowana (ma niedokładne i niemierzalne cele, nie przeznaczono na nią odpowiednich nakładów i zasobów organizacyjnych) to niemożliwe jest określenie właściwych wskaźników, a co za tym idzie stworzenie skutecznego systemu M&E 31

32 4 Podsumowanie Efekty dobrego monitoringu i ewaluacji wg. logiki interwencji: Rozumiemy efekty naszych działań Podnosimy precyzję interwencji Potrafimy lepiej komunikować efekty naszych działań Lepiej wydatkujemy środki Potrafimy przekazać realizatorom działań, czego dokładnie oczekujemy W rezultacie: Zwrot z inwestycji publicznej jest wyższy Lepiej komunikujemy się z naszymi władzami i partnerami Jesteśmy lepiej postrzegani i skuteczniejsi Lepiej zarządzamy Wpływamy na zmiany zachowań aktorów systemu innowacji Zdobyte kompetencje przenosimy na inne obszary naszego działania 32

33 4 Podsumowanie 1. M&E RIS3 czy IS? 2. Czy konieczny M&E wszystkich aspektów interwencji? 3. Jak udowodnić nasz rzeczywisty wpływ? 33