System monitorowania i ewaluacji Regionalnej Strategii Innowacji Województwa Kujawsko-Pomorskiego (RSI WK-P)

Załącznik nr 3 do RSI WK-P 2014-2020 System monitorowania i ewaluacji Regionalnej Strategii Innowacji Województwa Kujawsko-Pomorskiego (RSI WK-P) Dokument opracowany w ramach procesu aktualizacji RSI WK-P do roku 2020 Maj 2013 Wrzesień 2012

Załącznik nr 3 do RSI WK-P 2014-2020 System monitorowania i ewaluacji Regionalnej Strategii Innowacji Województwa Kujawsko-Pomorskiego (RSI WK-P) Dokument opracowany w ramach procesu aktualizacji RSI WK-P do roku 2020 29.05.2013 PAG Uniconsult Migdałowa 4 02-796 Warszawa T. (22) 256 39 00 F. (22) 256 39 10 biuro@pag-uniconsult.pl www.pag-uniconsult.pl

Spis treści 1. WPROWADZENIE... 4 2. MONITORING ORGANIZACJA SYSTEMU... 4 2.1 POZIOM PODSTAWOWY SYSTEMU MONITORINGU... 4 2.2 POZIOM AGREGACYJNY... 5 3. MONITORING WSKAŹNIKI (KLUCZOWE I UZUPEŁNIAJĄCE)... 6 3.1. WYZNACZENIE WSKAŹNIKÓW KLUCZOWYCH... 6 3.2. WYZNACZENIE WSKAŹNIKÓW UZUPEŁNIAJĄCYCH... 6 3.3. WSKAŹNIKI CELÓW OPERACYJNYCH WARTOŚCI BAZOWE I ŹRÓDŁA... 6 3.4. SYNTETYCZNY WSKAŹNIK REALIZACJI RSI WK-P... 9 3.5. WSKAŹNIKI REALIZACJI DZIAŁAŃ RSI WK-P... 11 4. Ewaluacja... 15 4.1. CELE EWALUACJI... 15 4.2. KRYTERIA EWALUACJI... 16 4.3. RODZAJE EWALUACJI... 16 4.4. WYTYCZNE W ZAKRESIE UKŁADU CZASOWEGO EWALUACJI... 17 4.5. SZCZEGÓŁOWE WYTYCZNE DO EWALUACJI... 17 4.6. ORGANIZACJA SYSTEMU EWALUACJI... 22 3

1. Wprowadzenie Niniejszy dokument prezentuje system monitoringu i ewaluacji zaktualizowanej Strategii Innowacji Województwa Kujawsko-Pomorskiego na lata 2014-2020 (Strategia, RSI WK-P). Ramowy opis obu systemów zawarto w podrozdziałach: 10.1 Strategii ( Monitoring Regionalnej Strategii Innowacji ) oraz 10.2 ( Ewaluacja Regionalnej Strategii Innowacji ). Część dotycząca komponentu monitoringu przedstawia założenia organizacyjne systemu monitorowania realizacji Strategii oraz zestawy wskaźników, na których opierać się będzie monitoring (są to tzw. wskaźniki kluczowe i uzupełniające oraz wskaźnik syntetyczny, służący do oceny realizacji celu głównego RSI-WKP). Z kolei w części dotyczącej ewaluacji opisano stronę organizacyjną i funkcjonalną komponentu ewaluacyjnego, przedstawiając w nim także propozycje wiodących (kierunkowych) pytań ewaluacyjnych, odpowiednio do różnych rodzajów ewaluacji. 2. Monitoring organizacja systemu System monitoringu stanowi ważny element mechanizmu wdrażania Strategii. Powinien on zapewniać skuteczną realizację procesów gromadzenia, przetwarzania, archiwizowania i udostępnianie danych, obrazujących efekty realizacji Strategii i podejmowanych w jej ramach projektów. Innymi słowy, system monitoringu służy śledzeniu postępów wdrażania, w oparciu o ustalone wskaźniki celów strategicznych, operacyjnych oraz planowanych działań. Informacje (przetworzone dane) pozyskiwane z systemu monitoringu umożliwiać będą podejmowanie decyzji co do dalszych kierunków wdrażania Strategii, odpowiednio do zmieniających się czynników zewnętrznych i wewnętrznych. Niezbędne dopełnienie systemu monitoringu stanowi system ewaluacji Strategii, dla którego monitoring stanowić będzie jedno z podstawowych źródeł danych / informacji. Biorąc pod uwagę stronę wykonawczą funkcji monitorowania RSI WK-P, to będzie ona sprawowana na dwóch szczeblach organizacyjnych tj.: na szczeblu podstawowym oraz na tzw. szczeblu agregacyjnym. 2.1 Poziom podstawowy systemu monitoringu Pierwszy poziom systemu szczebel podstawowy tworzą jednostki, którym przyznana zostanie funkcja wdrażania działań w ramach Strategii. Tym samym, wraz z przekazaniem tej funkcji, jednostka wdrażająca odpowiedzialna będzie za sprawowanie monitoringu przyporządkowanych jej działań, w uzgodnionym zakresie będzie prowadzić ich bieżącą obserwację, pod kątem odpowiednich wskaźników (zarówno określonych w RIS WK-P dla działań, jak i wskaźników projektowych ustalanych na etapie konfiguracji projektów i ich uruchamiania). Od strony proceduralnej, każda jednostka 4

wdrażająca zobowiązana będzie do przekazywania danych z monitoringu na szczebel wyższy agregacyjny. Zobowiązanie to stanowić będzie jeden z elementów porozumienia / umowy w sprawie wdrażania. Ten (podstawowy) poziom monitoringu Strategii, obejmie działania i projekty wdrażane w ramach kolejnych Planów Wykonawczych. Na tym poziomie prowadzona będzie również szczegółowa inwentaryzacja projektów, oparta przede wszystkim na badaniu ich produktów. 2.2 Poziom agregacyjny Funkcje drugiego szczebla mechanizmu monitorowania tzw. agregacji realizowane będą przez jednostkę CeZaRIS, a więc strukturę odpowiedzialną za całościowy proces wdrażania Strategii. Na tym poziomie agregowane będą wyniki działań monitoringowych, realizowanych przez wszystkie jednostki wdrażające w odniesieniu do przyporządkowanych im działań (jako sprawozdające w tym zakresie jednostce CeZaRIS), a ponadto, śledzone będzie kształtowanie się wskaźników celów operacyjnych, strategicznych i celu głównego. Zagregowane dane z monitoringu będą udostępniane dla celów przeprowadzanych badań ewaluacyjnych, wykonywanych przez zewnętrznych ewaluatorów (ewaluacje bieżące i strategiczne zlecane będą przez główną jednostkę zarządzania CeZaRIS). Przedstawiony powyżej podział funkcji w ramach systemu monitoringu niezależnie od szczegółowych rozwiązań w tym zakresie musi odpowiadać ogólnej logice systemu wdrażania, zakładającej, nie tylko delegację zadań wdrożeniowych Strategii na rzecz rozmaitych instytucji i partnerów (interesariuszy) Strategii, ale także (w tym) szeregu powiązanych z funkcją wdrażania szczegółowych aktywności zarządczych, w tym dotyczących monitoringu. Zakłada się, że działania monitoringowe (pomiary wskaźników) będą wykonywane w trybie: bieżącym: w odniesieniu do projektów badanie będzie skorelowane ze sprawozdawczością projektową (stopień wykonania wskaźników, dotyczących danego projektu), cyklicznym: w przypadku działań Strategii zawsze (co najmniej) na zakończenie realizacji Planu Wykonawczego wdrażania Strategii, w przypadku celu strategicznego i celów operacyjnych w cyklach, zgodnych z dostępnością danych ze statystki publicznej. 5

Wskaźniki w ramach monitoringu będą analizowane poprzez porównanie wartości bazowych z wartościami docelowymi. Wartości bazowe, ustalone będą dla wskaźników celów strategicznych i operacyjnych w roku 2013, za rok / lata wcześniejsze z uwzględnieniem dostępności danych przed uruchomieniem wdrażania Strategii w roku 2014 (w niniejszym dokumencie ustalono wartości bazowe wskaźników kluczowych, korzystając z dostępnych statystyk publicznych za rok 2010 lub 2011). 3. Monitoring wskaźniki (kluczowe i uzupełniające) 3.1. Wyznaczenie wskaźników kluczowych Niniejszy dokument przedstawia wskaźniki pomiaru celów operacyjnych i strategicznych RSI WK-P, wskazując także wartości bazowe tych wskaźników. Ponadto, prezentowana jest tu metodologia wyznaczenia głównego (syntetycznego) wskaźnika Strategii ( Kujawsko-Pomorskie w czołowej 5-tce województw w Polsce pod względem innowacyjności ) wraz z metodyką pomiaru stopnia osiągnięcia tego celu. 3.2. Wyznaczenie wskaźników uzupełniających Do osiągnięcia celu głównego Strategii oraz celów strategicznych i operacyjnych prowadzić będzie realizacja poszczególnych działań (a w ich ramach projektów). Matryca celów i działań RSI WK-P na lata 2014-2020 została przedstawiona w rozdziale 6 Strategii ( Cele Regionalnej Strategii Innowacji ), natomiast w niniejszym załączniku zaproponowano wskaźniki realizacji poszczególnych działań RSI WK-P wraz z określeniem sposobu i częstotliwości ich pomiaru. Są to tzw. wskaźniki uzupełniające. 3.3. Wskaźniki celów operacyjnych wartości bazowe i źródła Tab. 1. CO (cel operacyjny) I.1 Rozwój innowacyjnej edukacji Wskaźniki celu operacyjnego Wartość wyjściowa (2011) Pozycja w kraju (2011) Źródło danych Średni wynik egzaminów gimnazjalnych (część matematyczno-przyrodnicza) Wskaźnik zdawalności egzaminu maturalnego (dla absolwentów z roku przeprowadzania egzaminu) 22,65 pkt 15 75% 8 Centralna Komisja Egzaminacyjna Centralna Komisja Egzaminacyjna Częstotliwość pomiaru wysokości wskaźnika: co 1 rok Wartość docelowa wskaźnika: co najmniej 5. pozycja w Polsce 6

Tab. 2. CO I.2 Rozwój kształcenia kadr dla innowacyjnej gospodarki Wskaźniki celu operacyjnego Wartość wyjściowa (2011) Pozycja w kraju (2011) Źródło danych Odsetek studentów kierunków ścisłych i technicznych w ogólnej liczbie Liczba studentów na 10 tys. mieszkańców Liczba absolwentów kierunków ścisłych i technicznych na 10 tys. mieszkańców 23,1% 14 396 10 24 13 Liczba studentów studiów doktoranckich na 10 tys. mieszkańców 5 10 Częstotliwość pomiaru wysokości wskaźnika: co 1 rok Wartość docelowa wskaźnika: co najmniej 5. pozycja w Polsce Tab. 3. CO II.1 Rozwój potencjału naukowo-badawczego na rzecz innowacyjnej gospodarki Wskaźniki celu operacyjnego Liczba udzielonych patentów na 1 mln mieszkańców Nakłady budżetowe bieżące na B+R na 1 mieszkańca Zatrudnienie w działalności B+R na 10 tys. mieszkańców Liczba jednostek z działalnością B+R na 100 tys. podmiotów gospodarki narodowej Wartość wyjściowa Pozycja w kraju 38 (2011) 9 (2011) 22 zł (2010) 14 (2010) 20 (2010) 11 (2010) 41 (2010) 8 (2010) Częstotliwość pomiaru wysokości wskaźnika: co 1 rok Wartość docelowa wskaźnika: co najmniej 5. pozycja w Polsce Źródło danych Tab. 4. CO II.2 Rozwój wysoko zaawansowanych badań naukowych Wskaźniki celu operacyjnego Wartość wyjściowa (2009) Pozycja w kraju (2009) Źródło danych Średnia liczba punktów w ocenie efektywności na jednostkę naukową w regionie 85,30 6 Częstotliwość pomiaru wysokości wskaźnika: co 3 lata Wartość docelowa wskaźnika: co najmniej 5. pozycja w Polsce Ministerstwo Nauki i Szkolnictwa Wyższego 7

Tab. 5. CO III.1 Rozwój innowacyjności i powiązań sieciowych przedsiębiorstw Wskaźniki celu operacyjnego Nakłady na B+R w sektorze przedsiębiorstw na 1 mieszkańca Odsetek przedsiębiorstw przemysłowych wprowadzających innowacje Przedsiębiorstwa przemysłowe współpracujące w zakresie działalności innowacyjnej w ogóle przedsiębiorstw Udział przychodów netto za sprzedaży produktów innowacyjnych na rynku w przychodach netto ze sprzedaży Wartość wyjściowa (2010) Pozycja w kraju (2010) 20,40 zł 11 17,91% 5 5,6% 11 3,6% 8 Źródło danych Nakłady na działalność innowacyjną (B+R, zakup wiedzy i oprogramowania) na 1 podmiot gospodarki narodowej 499 zł 10 Częstotliwość pomiaru wysokości wskaźnika: co 1 rok Wartość docelowa wskaźnika: co najmniej 5. pozycja w Polsce Tab. 6. CO III.2 Wzmocnienie oddziaływania sieci instytucji otoczenia biznesu Wskaźniki celu operacyjnego Liczba ośrodków wspierania innowacyjności na 1 mln mieszkańców Kapitał funduszy pożyczkowych i funduszy poręczeniowych na 1 przedsiębiorstwo niefinansowe Wartość wyjściowa (2010) Pozycja w kraju (2010) 6,3 9 1851 zł 6 Częstotliwość pomiaru wysokości wskaźnika: co 1 rok Wartość docelowa wskaźnika: co najmniej 5. pozycja w Polsce Źródło danych Raport Ośrodki innowacji i przedsiębiorczości w Polsce, SOOIPP Polski Związek Funduszy Pożyczkowych i Krajowe Stowarzyszenie Funduszy Poręczeniowych Tab. 7. Koperta cyfrowa CO 1. Rozwój infrastruktury sieci Internet Wskaźniki Odsetek gospodarstw domowych z dostępem do Internetu o prędkości co najmniej 30 Mbps Wartość wyjściowa i źródło danych Pomiar własny Wartość docelowa Częstotliwość pomiaru wysokości wskaźnika 100% Co 3 lata Odsetek gospodarstw domowych Pomiar 50% Co 3 lata 8

z dostępem do Internetu o prędkości co najmniej 100 Mbps. własny Tab. 8. Koperta cyfrowa - CO 2. Rozwój innowacyjnej gospodarki cyfrowej Wskaźniki Wartość wyjściowa Pozycja w kraju Źródło danych Odsetek szkół ponadgimnazjalnych wyposażonych w komputery przeznaczone do użytku uczniów z dostępem do Internetu Odsetek gospodarstw domowych posiadających dostęp do Internetu Odsetek przedsiębiorstw otrzymujących zamówienia poprzez sieci komputerowe (stronę internetową, systemy typu EDI) 54,9% (2011) 16 (2011) 59,5% (2011) 11 (2011) 6,3% (2010) 15 (2010) Odsetek przedsiębiorstw posiadających Intranet 40,9% (2010) 9 (2010) Częstotliwość pomiaru wysokości wskaźnika: co 1 rok Wartość docelowa wskaźnika: co najmniej 5. pozycja w Polsce 3.4. Syntetyczny wskaźnik realizacji RSI WK-P Sformułowanie ogólnego celu RSI WK-P jako zajęcie przez województwo kujawsko-pomorskie co najmniej piątego miejsca w Polsce pod względem konkurencyjności pociągnęło za sobą konieczność określenia metodologii wyznaczenia poziomu innowacyjności tego województwa oraz każdego z pozostałych regionów w kraju. W tym celu przeprowadzono następującą sekwencję działań: Krok 1. Krok 2. Krok 3. Krok 4. Zidentyfikowano trzy obszary interwencji, kluczowe do osiągnięcia wysokiego poziomu innowacyjności. Są to: I. Edukacja, II. Nauka, III. Gospodarka. Dla każdego z trzech ww. obszarów interwencji wyznaczono jeden cel strategiczny, którego osiągnięcie powinno zapewnić wysoki poziom innowacyjności regionu. Dla każdego z trzech celów strategicznego określono dwa cele operacyjne, których osiągnięcie powinno zapewnić realizację celów strategicznych (tak więc, łącznie zdefiniowano sześć celów operacyjnych). Określono sposób pomiaru realizacji każdego z sześciu celów operacyjnych, oparty o wskaźniki, które w prosty sposób będą mogły zostać wyliczone dla wszystkich regionów Polski na podstawie ogólnodostępnych statystyk (formuły wskaźników określone dla 9

celów operacyjnych, wskazujące sposób ich wyliczenia, zostały przedstawione w tabelach poprzedniego podrozdziału). Tym samym, możliwe stało się określenie które miejsce, z uzyskaną wysokością wskaźników celów operacyjnych, zajmuje w kraju województwo kujawsko-pomorskie. Krok 5. Krok 6. Średnia wartość z miejsc zajętych przez województwo kujawskopomorskie w kraju, w wysokości poszczególnych wskaźników operacyjnych przypisanych do danego celu strategicznego, pozwala uzyskać wartość wskaźnika każdego celu strategicznego, a tym samym poznać pozycję zajmowaną przez region w danym obszarze interwencji. Średnia wartość z wysokości trzech wskaźników celów strategicznych stanowi wartość syntetycznego wskaźnika realizacji RSI WK-P. Zastosowanie opisanej metodologii prezentuje poniższy schemat: Krok 1 Obszary interwencji: I. Edukacja II. Nauka III. Gospodarka Cele strategiczne: Krok 2 I. Ukształtowanie innowacyjnych i kreatywnych postaw społeczności regionu II. Ukształtowanie sektora nauki jako zaplecza innowacyjnej gospodarki II. Ukształtowanie regionalnej gospodarki jako opartej na wiedzy i innowacyjności Cele operacyjne: Krok 3 CO I.1 Rozwój innowacyjnej edukacji CO I.2 Rozwój kształcenia kadr dla innowacyjnej gospodarki CO II.1 Rozwój potencjału naukowobadawczego na rzecz innowacyjnej gospodarki CO II.2 Rozwój wysoko zaawansowanych badań naukowych CO III.1 Rozwój innowacyjności przedsiębiorstw CO III.2 Wzmocnienie oddziaływania sieci instytucji otoczenia biznesu Krok 4 Krok 5 Krok 6 Wskaźniki celów operacyjnych (patrz podrozdział Wskaźniki celów operacyjnych wartości bazowe i źródła danych ) Wielkość wskaźnika 3 celów strategicznych 12 10 9 Wartość syntetycznego wskaźnika realizacji RSI WK-P 10 Przykład. Wyliczenie wielkości wskaźnika celu strategicznego w obszarze Edukacja : Suma pozycji regionu, określona wskaźnikami celu operacyjnego I.1: 10

Zob. Tab. 1; suma dwóch uwzględnionych wskaźników = 15+8 Zob. Tab. 2, suma czterech uwzględnionych wskaźników = 14+10+13+10 Suma wskaźników (pozycji) w ramach obu celów operacyjnych wynosi: 15 + 8 + 14 + 10 + 13 + 10 = 70 Liczba wskaźników = 6 Pozycja uśredniona = 70 / 6 11,67 przyjęto 12 3.5. Wskaźniki realizacji działań RSI WK-P Osiągnięcie każdego z celów operacyjnych będzie możliwe poprzez realizację przedsięwzięć zgodnych ze zdefiniowanymi w Strategii typami działań. Poniżej przedstawiono zarówno te działania, jak i wskaźniki służące ocenie stopnia ich realizacji. Wartości bazowe oraz docelowe wskaźników zostaną określone jako jedno z zadań systemu realizacji Strategii, który zostanie uruchomiony w okresie przygotowującym wdrażanie RSI WK-P. Częstotliwość pomiaru zostanie dostosowana do potrzeb skutecznego wdrażania RSI WK-P, będzie jednak nie mniejsza niż raz na trzy lata (w ostatnim roku realizacji planów wykonawczych Strategii). Tab. 9. CO I.1. Rozwój Innowacyjnej edukacji Działanie Wskaźniki Źródło danych 1. Wprowadzenie innowacyjnej edukacji od szkoły podstawowej do matury 2. Wprowadzenie innowacyjnego szkolnictwa zawodowego Liczba wdrożonych programów wspierających kreatywność i przedsiębiorczość uczniów Odsetek uczniów objętych programami wspierającymi ich kreatywność i przedsiębiorczość Liczba okresowych badań zapotrzebowania gospodarki na wykwalifikowane kadry Liczba wdrożonych programów wspierających innowacyjność szkolnictwa zawodowego Odsetek uczniów objętych programami wspierającymi innowacyjność szkolnictwa zawodowego, przy udziale dyrekcji szkół wdrażających programy Badanie ankietowe na próbie pracodawców regionu, przy udziale dyrekcji szkół wdrażających programy Tab. 10. CO I.2. Rozwój kształcenia kadr dla innowacyjnej gospodarki Działanie Wskaźniki Źródło danych 1. Zwiększenie liczby absolwentów kierunków ścisłych i technicznych Liczba studentów kierunków ścisłych i technicznych, w obszarze specjalizacji regionalnych, objętych programami stypendialnymi Wartość programów wsparcia rozwoju kierunków ścisłych oraz technicznych, w 11

dziedzinach specjalizacji regionalnych, istotnie zwiększających liczbę studentów na kierunkach ścisłych lub technicznych 2. Wdrożenie programów praktyk i staży 3. Kształcenie wysoko wykwalifikowanych kadr B+R+I dla innowacyjnych przedsiębiorstw Liczba studentów i absolwentów objętych programami praktyk i staży w przedsiębiorstwach i jednostkach naukowych Ocena stopnia przygotowania absolwentów kujawsko-pomorskich uczelni do pracy w innowacyjnym przedsiębiorstwie (opinie innowacyjnych firm) Liczba stypendiów dla doktorantów realizujących prace doktorskie we współpracy z przedsiębiorstwami (mające na celu rozwiązanie konkretnego problemu zgłaszanego przez przedsiębiorstwo) Liczba prac doktorskich, ściśle powiązanych z zapotrzebowaniem regionalnego przemysłu Liczba platform informatycznych oraz działających na nich programów kształcenia na odległość, przeznaczonych do przekazywania / udostępniania wysoko zaawansowanej wiedzy w zakresie nauk ścisłych, technicznych, medycznych i rolniczych dla pracowników regionalnych przedsiębiorstw Badanie ankietowe na próbie innowacyjnych firm regionu, przy udziale uczelni regionu, przy udziale uczelni i jednostek naukowych regionu Tab. 11. CO II.1. Rozwój potencjału naukowo-badawczego na rzecz innowacyjnej gospodarki Działania Wskaźniki Źródło danych 1. Utworzenie infrastruktury naukowo-badawczej świadczącej usługi dla gospodarki 2. Wdrożenie systemowej współpracy uczelni i jednostek naukowych z przemysłem Wartość nowo zakupionego sprzętu naukowo-badawczego wykorzystywanego w pracach badawczo-rozwojowych realizowanych dla przedsiębiorstw Liczba laboratoriów badawczych, na uczelniach i w jednostkach naukowych, które zostały uruchomione i uzyskały akredytację Liczba naukowców spoza województwa, ze znaczącym dorobkiem naukowym, zatrudnionych na uczelniach i w jednostkach naukowych regionu, świadczących usługi dla gospodarki Odsetek uczelni posiadających wdrożony szczegółowy system transferu technologii (określający m.in. zasady współpracy naukowców z gospodarką oraz tworzenia firm spin-off i spin-out) Odsetek uczelni oferujących usługi rzecznika patentowego, przy udziale uczelni regionu, przy udziale uczelni regionu 12

Odsetek uczelni i jednostek naukowych posiadających bazę wyników prac badawczych Odsetek firm, które w okresie ostatnich 12 miesięcy zrealizowały projekty badawczorozwojowe we współpracy z jednostkami naukowymi, przy udziale uczelni i jednostek naukowych regionu, przy udziale jednostek naukowych regionu Tab. 12. CO II.2. Rozwój wysoko zaawansowanych badań naukowych Działanie Wskaźniki Źródło danych 1. Kształtowanie specjalizacji regionu w zakresie wysoko zaawansowanych badań naukowych Liczba programów wsparcia wysoko specjalizowanych badań naukowych w zakresie specjalizacji regionu Wartość wsparcia potencjału naukowego laboratoriów prowadzących badania naukowe na poziomie co najmniej krajowym Liczba sfinansowanych udziałów jednostek naukowych w międzynarodowych programach naukowych Tab. 13. CO III.1. Rozwój innowacyjności i powiązań sieciowych przedsiębiorstw Działania Wskaźniki Źródło danych 1. Budowa innowacyjności firm poprzez działalność B+R 2. Budowa innowacyjności w sektorze mikro i małych firm Liczba małych sfinansowanych projektów badawczo-rozwojowych, realizowanych przez firmy we współpracy z jednostkami badawczymi (mini-granty, voucher technologiczny, itp.) Liczba wspartych projektów badawczorozwojowych, realizowanych przez firmy, konsorcja firm i konsorcja naukowoprzemysłowe we współpracy z jednostkami sfery badawczo-rozwojowej (projekty celowe) Liczba jednostek z działalnością B+R w sektorze przedsiębiorstw w regionie Liczba przedsiębiorstw wspartych w zakresie uzyskania prawa w zakresie ochrony własności przemysłowej i intelektualnej (np. patenty, wzory użytkowe i przemysłowe) Liczba wspartych usług doradczych w zakresie transferu technologii, ochrony patentowej, prowadzenia badań, rozwoju innowacyjności, zrealizowanych na rzecz mikro i małych firm Liczba wspartych nowotworzonych firm spin-off, spin-out i start-up, bazujących na innowacjach i/lub wiedzy wypracowanej na uczelniach i w jednostkach naukowych 3. Tworzenie Liczba firm skupionych w klastrach na, przy 13

Działania Wskaźniki Źródło danych powiązań sieciowych i międzynarodowych 100 tys. przedsiębiorstw w regionie udziale danych pochodzących od koordynatorów klastrów i z Głównego Urzędu Statystycznego, Banku Liczba wspartych inicjatyw klastrowych Wartość wsparcia udzielonego inicjatywom klastrowym Odsetek przedsiębiorców uczestniczących w obrocie międzynarodowym (eksport, inwestycje zagraniczne, udział w wymianie międzynarodowej) Badanie ankietowe na próbie przedsiębiorców regionu Tab. 14. CO III.2. Wzmocnienie oddziaływania sieci instytucji otoczenia biznesu Działania Wskaźniki Źródło danych 1. Kształtowanie proinnowacyjnych usług doradczych i integracja instytucji otoczenia biznesu 2. Tworzenie i rozwój parków przemysłowych i technologicznych 3. Rozbudowa regionalnych instrumentów inżynierii finansowej Odsetek podmiotów gospodarczych korzystających z usług IOB w zakresie wsparcia innowacyjności Odsetek podmiotów gospodarczych korzystających z usług IOB w zakresie wsparcia internacjonalizacji przedsiębiorstw, eksportu, tworzenia międzynarodowych powiązań kooperacyjnych oraz realizacji inwestycji zagranicznych przez firmy z regionu Odsetek podmiotów gospodarczych korzystających z usług IOB w dziedzinie cyfryzacji działalności gospodarczej / gospodarki Odsetek IOB prowadzących współpracę (samodzielnie lub wraz z innymi IOB) w zakresie innowacji z przedsiębiorstwami. Liczba wspartych inicjatyw parków przemysłowych i technologicznych oraz inkubatorów Liczba dofinansowanych usług wsparcia innowacyjnych przedsiębiorstw, zrealizowanych w okresie ostatnich 12 miesięcy w parkach i inkubatorach Wartość środków przeznaczonych na udzielanie pożyczek i poręczeń, służących sfinansowaniu inwestycji o wysokim potencjale innowacyjnym Liczba innowacyjnych przedsiębiorstw utworzonych bezpośrednio w wyniku uzyskania współfinansowania fazy zalążkowej projektów / przedsięwzięć innowacyjnych Badanie ankietowe na próbie przedsiębiorców regionu przy udziale IOB regionu przy udziale IOB regionu przy udziale IOB regionu przy udziale wspartych parków i inkubatorów przy udziale funduszy pożyczkowych i poręczeniowych regionu przy udziale wspartych podmiotów 4. Kształtowanie Liczba godzin szkolenia i doradztwa w 14

innowacyjnej administracji publicznej zakresie przygotowywania dokumentów przetargowych i stosowania nowych rozwiązań mających na celu stymulowanie powstawania innowacji Liczba wspartych usług e-administracji Koperta cyfrowa Działania Wskaźniki Źródło danych Wdrożenie sieci Internet następnej generacji Badania w zakresie IT i wysoko zaawansowanych aplikacji informatycznych Odsetek gospodarstw domowych regionu mających możliwość podłączenia do sieci Internet nowej generacji (o prędkości transmisji 30 Mbps oraz 100 Mbps) Odsetek gospodarstw domowych podłączonych do sieci Internet nowej generacji Liczba wspartych projektów badań nad rozwojem nowych technologii przetwarzania danych Liczba wspartych projektów stymulujących popyt na nowe aplikacje i wykorzystanie systemów ICT Liczba dofinansowanych projektów wsparcia wdrażania nowych rozwiązań ICT w gospodarce regionalnej Badanie ankietowe dostawców Internetu oraz na próbie gospodarstw domowych Badanie ankietowe dostawców Internetu oraz na próbie gospodarstw domowych 4. Ewaluacja Komponent ewaluacji służy systematycznej i obiektywnej ocenie stopnia realizacji Strategii. Ewaluacja stanowi źródło wiedzy, niezbędnej do formułowania pogłębionych ocen w sprawie bieżących, jak i całościowych wyników wdrażania Strategii. Oceny te są także niezbędne do podejmowania ewentualnych decyzji co do weryfikacji treści Strategii (przede wszystkim działań w ramach celów operacyjnych), w oparciu o wnioski płynące z ewaluacji. 4.1. Cele ewaluacji Ogólnym celem systemu ewaluacji jest poprawa jakości, skuteczności i spójności działań interwencyjnych zaplanowanych w RSI WK-P w zakresie całokształtu problematyki kształtowania innowacyjności regionu. Tak określony cel główny osiągany będzie poprzez szereg następujących, szczegółowych celów ewaluacji, obejmujących: określanie stopnia realizacji celów interwencji w ramach RSI WK-P, identyfikowanie pozytywnych i negatywnych czynników oraz ich siły, które wywarły lub wywierają wpływ na wdrażanie Strategii, 15

identyfikowanie niezaplanowanych efektów realizacji Strategii, przegląd oraz ocena wykonanych działań (ich produktów i rezultatów), opracowanie wniosków ewaluacyjnych, niezbędnych do ewentualnej modyfikacji / aktualizacji Strategii. 4.2. Kryteria ewaluacji Do standardowych kryteriów ewaluacji, wykorzystywanych także w przypadku RSI WK-P, należą: trafność służąca ocenie, w jakim stopniu cele interwencji odpowiadają potrzebom rozwojowym województwa w kontekście innowacyjności, efektywność pozwalająca ocenić poziom ekonomiczności interwencji (stosunek poniesionych nakładów do uzyskanych produktów), skuteczność która pozwoli ocenić, do jakiego stopnia cele zdefiniowane na etapie programowania Strategii zostały osiągnięte, użyteczność oceniająca, do jakiego stopnia produkty, rezultaty i oddziaływanie interwencji odpowiadają potrzebom proinnowacyjnego rozwoju województwa, trwałość służąca ocenie, czy pozytywne zmiany wywołane realizacją interwencji będą kontynuowane również po jej zakończeniu. 4.3. Rodzaje ewaluacji W procesie tworzenia i realizacji Strategii wykonywane będą następujące rodzaje ewaluacji: Ewaluacja operacyjna Ewaluacja strategiczna Ewaluacja ex ante Ewaluacja bieżąca Ewaluacja ex post Ewaluacja RSI WK-P (ewaluacje dotyczące celów operacyjnych Strategii) Projekt RSI WK-P Ewaluacja na temat metodyki i systemu realizacji RSI WK-P Ewaluacja RSI WK-P ewaluacja strategiczna ex-ante (zostanie przeprowadzona na etapie akceptacji RSI WK-P, a więc jeszcze przed przystąpieniem do wdrażania Strategii), 16

ewaluacja strategiczna ex post, której celem będzie analiza i generalna ocena rezultatów oraz oddziaływania Strategii na kształtowanie innowacyjności województwa, ewaluacje operacyjne, wspomagające i powiązane z monitorowaniem procesu realizacji Strategii (będą to ewaluacje bieżące wykonywane co najmniej dla każdego z celów operacyjnych). 4.4. Wytyczne w zakresie układu czasowego ewaluacji Ogólnopoglądowy układ czasowy operacjonalizacji działań monitorujących i ewaluacyjnych w ramach RSI WK-P prezentują poniższe tabele. RSI WK-P na lata 2014-2020 RSI WK-P 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 Plan Działań w okresie przejściowym Monitoring i ewaluacja: Plan Wykonawczy 2015-2017 Plan Działań w okresie przejściowym do nowej Strategii Plan Wykonawczy 2018-2020 Monitoring (1) (2) (2) (2) (2) (2) (2) Ewaluacja (1) (2) (3) (1) monitoring wyjściowy (weryfikacja / ustalenie poziomów wskaźników wyjściowych) (2) monitoring bieżący (1) ewaluacja strategiczna: ocena metodyki i systemu realizacji (2) ewaluacja operacyjna: wykonywana co najmniej dla każdego z celów operacyjnych (3) ewaluacja strategiczna: analiza i generalna ocena rezultatów Strategii (również zasilająca proces tworzenia / aktualizacji RSI WK-P na kolejny okres) Uwaga: w powyższej prezentacji pominięto ewaluację ex ante stanowi ona etap procesu przyjmowania strategii. 4.5. Szczegółowe wytyczne do ewaluacji Ewaluacja Strategii realizowana będzie systematycznie, z odpowiednim uwzględnieniem rozkładu czasowego badań, który powinien być planowany w taki sposób, aby umożliwiać skuteczne wdrażanie zaleceń ewaluacyjnych. W działaniach ewaluacyjnych stosowane będą typowe dla ewaluacji metody, obejmujące: badania dokumentacyjne (desk research), metody ilościowe oraz jakościowe. 17

W kontekście ewaluacji Strategii, której celem jest podnoszenie innowacyjności regionu, szczególnie dużą wagę przywiązywać należy do badań jakościowych. Stanowią one niezbędne uzupełnienie analiz o charakterze ilościowym, umożliwiając pogłębioną i tym samym trafną interpretację danych ilościowych. Podejście jakościowe powinno uwzględniać rozmaite perspektywy oceny wdrażania RSI WK-P, reprezentowane przez różnych interesariuszy Strategii (sferę gospodarczą, społeczną, władz publicznych, sferę nauki i edukacji), tworzących szeroki, regionalny system innowacyjności. Konieczność takiego podejścia uzasadnia także wielopłaszczyznowość oddziaływania Strategii. W związku z tym, w realizowanych ewaluacjach powinny znajdować jak najszersze zastosowanie techniki jakościowe, obejmujące np. indywidualne wywiady pogłębione, panele i dyskusje grupowe oraz studia przypadków. Są to elementy składowe szerszej kompozycji technik badawczych, które stanowić będą konieczny element każdego badania ewaluacyjnego (wymogi w tym zakresie uwzględniane będą w opisach / specyfikacjach przedmiotu badania). Należy w tym miejscu wskazać na dodatkowe, istotne powiązanie systemu ewaluacji i monitoringu. Mianowicie, w ramach systemu monitoringu prowadzona będzie inwentaryzacja projektów, obejmująca zarówno zbierane oraz analizowane danych ilościowych, charakteryzujących każdy projekt, jak i informacji jakościowych, służących pogłębieniu wiedzy na jego temat, wiedzy dotyczącej produktów, rezultatów, oddziaływania, a także pragmatyki realizacji działań projektowych. W tym celu podmiot / podmioty zarządzające prowadzić powinny cykliczne (np. organizowane w okresach rocznych) panele z beneficjentami projektów lub stosować będą inne, właściwe dla danego przypadku metody gromadzenia informacji. Informacje te stanowić będą dodatkowe źródło danych, uzupełniające i wspomagające ewaluacje zewnętrzne. W przypadku Strategii wytyczne, konkretyzujące układ działań ewaluacyjnych po przyjęciu Strategii (pomijamy w tym miejscu ewaluację ex-ante, która stanowi etap tworzenia Strategii) przedstawia prezentowane na kolejnych stronach zestawienie. 18

Ewaluacja Dziedzina Systematyka badań Wiodące pytania badawcze Metodyka Metodyka i system wrażania RSI WK-P 2014 na wyjściowym etapie wdrażania RSI 2016, 2019 przed aktualizacją planu wykonawczego o Czy powołano odpowiednie struktury wdrażające RSI WK-P? o Jaka jest skuteczność funkcjonowania struktur wdrażających? o Czy dokonano właściwego podziału zadań pomiędzy poszczególnymi elementami struktury wdrażania? o Czy działanie struktury wdrażania jest skuteczne i efektywne? o Jakie są główne problemy funkcjonowania struktury wdrażania i monitoringu? o Czy system wdrażania umożliwia kształtowanie partnerstw na rzecz rozwoju innowacyjności regionu? Ewaluacja strategiczna, dotycząca mechanizmu wdrażania Źródła: Dokumenty zastane, badania socjologiczne, głównie jakościowe. Forma: ewaluacja zewnętrzna. o Jakie są niezbędne zmiany struktury wdrażania z punktu widzenia zapewnienia skuteczności i efektywności ich funkcjonowania? o Czy ustalone wskaźniki umożliwiają skuteczne monitorowanie? Bieżąca ocena stopnia realizacji RSI WK-P 2016, 2019 przed aktualizacją planu wykonawczego o Jakie typy projektów są realizowane? o Jaki jest stopień dostosowania projektów co celów operacyjnych i działań określonych w Strategii? o Czy realizowane projekty zapewniają osiągnięcie celów operacyjnych? W jakim stopniu? o Jaka jest spójność projektów w ramach celów strategicznych? Czy skutecznie prowadzą do realizacji celów strategicznych i celu głównego? o Czy projekty i w jakim stopniu adresują kluczowe Ewaluacja bieżąca, operacyjna, dotycząca stopnia realizacji poszczególnych celów operacyjnych Strategii (tematyczna w ramach działań przewidzianych w celach operacyjnych). Źródła: Dokumenty zastane, monitoring bieżący, badania socjologiczne, 19

Ewaluacja Dziedzina Systematyka badań Wiodące pytania badawcze Metodyka aspekty rozwojowe z punktu widzenia proinnowacyjnego rozwoju regionu? o W jakim stopniu projekty wykorzystują specjalizacje wojewódzkie i czy prowadzą do ich wzmocnienia? o Jakie są i jaka jest siła głównych czynników, stanowiących bariery ograniczające sprawność realizacyjną projektów? ilościowe i jakościowe. Forma: ewaluacja wewnętrzna, analizująca projekty (produkty), zewnętrzna -rezultaty. o Jakie są nieprzewidywane (pozytywne / negatywne) rezultaty projektów? o Czy działania projektowe prowadzą do efektywnej i skutecznej ich realizacji? o Czy realizowane projekty uwzględniają potrzeby i wyzwania wszystkich grup społecznych przyczyniających się do budowania regionalnego potencjału innowacyjnego? o W jakim stopniu projekty wykorzystują zewnętrzne źródła finansowania (poza wsparciem publicznym z poziomu regionalnego i lokalnego)? o Jakie powiązania występują pomiędzy projektami? Czy powiązania mają charakter wyłącznie wewnętrzny (w ramach celu operacyjnego), czy też zewnętrzny (pomiędzy celami )? o Czy i w jakim stopniu projekty realizowane są w ramach platform partnerskich? Czy ułatwiają ich zawiązywanie? Jak trwałe są to platformy? Strategiczna ocena realizacji RSI WK-P 2019 lub 2020 na końcowym etapie realizacji RSI WK-P o Czy udało się zrealizować cele strategiczne i cel główny RSI WK-P? o Czy alokacja środków finansowych na Ewaluacja ex-post, strategiczna, dotycząca realizacji celów Strategii. 20

Ewaluacja Dziedzina Systematyka badań Wiodące pytania badawcze Metodyka poszczególne obszary interwencji pozwoliła na skuteczne osiąganie celów RSI WK-P? o Jakie zmiany zaszły w odniesieniu do kształtu systemu innowacyjności województwa? o W jakim stopniu wdrożenie RSI WK-P poprawiło dyfuzję innowacji w regionie (rozwój sieci społecznych, stymulacja procesu uczenia się, ocena jakości i trwałości powstałych sieci współpracy i wymiany informacji, ocena istniejących luk)? o Czy cele RSI WK-P pozostają nadal aktualne? W odniesieniu do jakich dziedzin wymagają one zmian? o Jaka jest ogólna ocena skuteczności i efektywności działania Strategii? o Jakie były główne czynniki wspomagające lub ograniczające realizacje celów RSI WK-P? o Które cele operacyjne okazały się głównymi nośnikami zmian w zakresie innowacyjności? o Czy w wyniku realizacji strategii doszło do zmian w zakresie mocnych / słabych stron województwa w porównaniu do okresu wyjściowego? o Jaka jest ogólna ocena sprawności i efektywności funkcjonowania systemu wdrażania Strategii? Czy wypracowano skuteczny system wdrażania i monitoringu? Źródła: Dokumenty zastane, monitoring bieżący, badania socjologiczne, ilościowe i jakościowe. Forma: ewaluacja zewnętrzna (rezultaty i oddziaływanie). 21

4.6. Organizacja systemu ewaluacji W proces ewaluacji włączone zostaną różne podmioty systemu realizacji Strategii. Rozkład zadań w tym zakresie wyglądać będzie następująco: CeZaRIS w ramach funkcji wdrażania, odpowiedzialny będzie za ustalenie / uszczegółowienie kalendarza ewaluacji, a następnie w przypadku ewaluacji realizowanych przez podmioty zewnętrzne zlecanie zadań w tym zakresie. Na tym poziomie następować będzie odbiór ewaluacji i kompilacja wniosków, następnie skierowanie ich do innych struktur systemu, tj. pod obrady: Komitetu Monitorującego i Sterującego RSI WK-P, w celu zaopiniowania wniosków i propozycji ich uwzględnienia w procesie wdrażania (w tym tworzenia planów wykonawczych), a ostatecznie (po zaopiniowaniu przez Komitet) pod obrady Zarządu Województwa. Zarząd w ramach procesu tworzenia planów wykonawczych zatwierdzać będzie propozycje, wdrażające wnioski z ewaluacji oraz podejmować będzie decyzje, dotyczące modyfikacji lub aktualizacji Strategii. podmioty wdrażające cele / działania odpowiedzialne będą za prowadzenie ewaluacji bieżącej w odniesieniu do projektów (inwentaryzacja, analiza wskaźników projektowych jako zadanie systemowe w procesie wdrażania celów / działań). W tym zakresie będą współdziałać z wykonawcami badań. Zarząd Województwa Kujawsko-Pomorskiego Opinia w sprawie wniosków z ewaluacji Wnioski z ewaluacji Komitet Monitorujący i Sterujący RSI WK-P CeZaRIS Zasilenia w ramach monitoringu Odbiór wyników ewaluacji Podmioty wdrażające cele / działania Zlecenie ewaluacji Ewaluatorzy 22