Opracowanie narzędzi badawczych do ewaluacji on-going wybranych działań Programu Operacyjnego Innowacyjna Gospodarka, na lata 2007-2013, adresowanych bezpośrednio do przedsiębiorców PARP, 1 lutego 2010
Plan prezentacji Gallup kilka słów o firmie Krótko o projekcie Podstawowe założenia i zakres projektowanych ewaluacji Konstrukcja narzędzi badawczych Metodologia i logika pomiaru Narzędzia do ewaluacji - wizualizacja wyników Organizacja procesu wdrażania Pogłębiony profil beneficjenta Efekty wsparcia 2
3 Krótko o Gallupie Ponad 20 milionów wysłuchanych rocznie opinii osób i zrelacjonowanych zachowań (z tego ponad 60.000 w Polsce) Ponad 1 miliard zadawanych pytań każdego roku Lata 40. /50. Lata 90 1997 otwarcie biura Gallupa w Polsce Stworzenie pojęcia zaangażowania pracowników w miejscu pracy oraz zaangażowania klientów (ewaluacja zarządzania KL) 1935 Prekursor badań wizerunkowych i pomiaru wartości marki George Gallup pionier badań rynku i opinii publicznej (autor metody próby reprezentacyjnej dla badań społecznych) zakłada firmę
Krótko o projekcie Podstawowe założenia Konstrukcja narzędzi badawczych Metodologia i logika pomiaru
Założenia projektu 3.3.2 Tworzenie systemu ułatwiającego inwestowanie w MSP (przedsiębiorstwa) Kwestionariusz internetowy CAWI Elastyczność rozwiązania możliwość modyfikacji oraz uruchamiania nowych badań Bezpieczeństwo i łatwość zarządzania danymi Możliwość bieżącej kontroli i łatwego zarządzania procesem ewaluacji Kwestionariusz internetowy CAWI Działanie 4.2 Stymulowanie działalności B+R przedsiębiorstw oraz wsparcie w zakresie wzornictwa przemysłowego Działanie 1.4-4.1 Wsparcie projektów celowych oraz wsparcie wdrożeń wyników prac B+R. 8.2 Wspieranie wdrażania elektronicznego biznesu typu B2B Kwestionariusz internetowy CAWI Kwestionariusz internetowy CAWI System Internetowych Badań Ewaluacyjnych PARP (SIBE) Kwestionariusz internetowy CAWI Kwestionariusz internetowy CAWI Działanie 4.4 Nowe inwestycje o wysokim potencjale innowacyjnym 5.4.1 Zarządzanie własnością intelektualną 8.1 Wspieranie działalności gospodarczej w dziedzinie gospodarki elektronicznej Kwestionariusz internetowy CAWI Kwestionariusz internetowy CAWI 6.1 Paszport do eksportu Help Desk dla respondentów realizacja Uruchamianie rund badawczych, monity Analiza danych Porównywalność danych ze statystyką publiczną Raporty i prezentacje wyników Sprostanie potrzebom informacyjnym : PARP, Ministerstwa, Opinia publiczna
Co wyznaczało zakres planowanych ewaluacji? Baza wskaźników Grupy Eksperckiej ds. ewaluacji POIG Wskaźniki na poziomie działania Potrzeby informacyjne Zespołów Wdrażających Wskaźniki na poziomie priorytetu Narzędzie ewaluacji on-going Propozycje zespołu badawczego oraz Sekcji Ewaluacji PARP 6
Porównywalność ze statystyką publiczną Porównywalność między Działaniami Konstrukcja narzędzi badawczych CAWI Kwestionariusz CAWI (3)Bloki pytań specyficznych dla Działania (2)Blok pytań rdzeniowych (wspólnych) (1)Formularz wskaźników metryczkowych Profile beneficjentów i projektów, modele biznesowe Pomiar założonych wskaźników Źródła informacji o dofinansowaniu Motywy korzystania ze wsparcia publicznego Modele pracy nad wnioskiem i obsługi formalnej projektów, koszty wynajęcia firm wyspecjalizowanych w pozyskiwaniu dotacji Problemy w realizacji projektów Dane zbierane wg. metodologii GUS/Eurostat Dane o sytuacji ekonomicznej przedsiębiorstw (przychody, zatrudnienie, nakłady na działalność innowacyjną itp.) Innowacyjność przedsiębiorstw Firma otrzymuje informację o rozpoczęciu badania Panel logowania NIP: 525-00-00-251 Hasło: ****** HTTPS Panel WWW beneficjenta Wyloguj ankieta ewaluacyjna formularz wskaźników metryczkowych FAQ Wydruk formularza metryczkowego 7
Logika pomiaru poziom projektu Data podpisania umowy Prognozowana data rozpoczęcia projektu Data rozliczenia projektu A B C D P Prognozowana data zakończenia projektu Pomiar początkowy: P A + 1/3*[C-B] Okres trwałości K Pomiar końcowy: K= D + 24msc Wprowadzenie dwóch pomiarów umożliwia: Zbadanie dwóch istotnych momentów w realizacji projektów: początku realizacji projektu, z możliwością dopytania o okres przygotowania wniosku o dofinansowanie oraz pierwszych dwóch lat okresu trwałości projektu Zebranie danych dla wszystkich lat pomiędzy pomiarem początkowym a końcowym oraz bieżące badanie trendów ekonomicznych obserwowanych wśród beneficjentów POIG 8
Logika pomiaru poziom działania Aktualizacja baz danych Prezentacja wyników* Prezentacja wyników* Projekt 1 Projekt n P1 Projekt 2 K2 Pn Projekt n Kn Połowa okresu realizacji: H1 I okres realizacji badania Połowa okresu realizacji: H2 II okres realizacji badania styczeń czerwiec grudzień Pomiar początkowy (P) Jeżeli H1 Pn H2 Pn Projekt n badamy w I okresie realizacji, w przeciwnym wypadku n zbadamy w II okresie realizacji badania Analogicznie Pomiar końcowy (K) Jeżeli H1 Kn H2 Kn Projekt n badamy w I okresie realizacji, w przeciwnym wypadku n zbadamy w II okresie realizacji badania
Ewaluacja on-going PO IG Wizualizacje wyników ewaluacji Programu Operacyjnego Innowacyjna Gospodarka Przegląd według kluczowych zagadnień 10
ORGANIZACJA PROCESU WDRAŻANIA Źródła infomacji, instytucje wdrażające, problemy z realizacją projektów 11
Skąd dowiedzieli się Państwo o możliwości uzyskania wsparcia w ramach Działania...? Działanie 8.1 55% 10% 25% 8% 2% Działanie 6.1 30% 40% 2% 8% Działanie 5.4.1 15% 5% 10% 5% 65% Działanie 4.4 10% 35% 45% 5% 5% 0% 40% 60% 80% 100% z Internetu od przedstawicieli instytucji otoczenia biznesu z przekazu prasowego od pracownika PARP lub ze spotkań organizowanych przez PARP Inne Na wykresie pokazano odsetki najczęstszych wskazań 12
Wiedza o PO IG, postrzeganie instytucji wdrażających Najbardziej użyteczne źródło wiedzy na etapie pisania wniosku 90% 80% 70% 60% 50% 40% 30% 10% 0% Internet Szkolenia PARP/RIF Firma konsultingowa Kontakt telefoniczny z PARP/RIF Inne 80% 70% 60% 50% 40% 30% 10% 0% Na wykresach pokazano odsetki najczęstszych wskazań 13
Ocena instytucjonalnych źródeł informacji 49% beneficjentów POIG zwróciło się do PARP z prośbą o pomoc w wyjaśnieniu lub udzielenie dodatkowych infromacji na etapie przygotowania wniosku o dofinansowanie Przydatność uzyskanych informacji Życzliwość pracowników instytucji Łatwość uzyskania informacji 0% 40% 60% 80% 100% 75% beneficjentów POIG zwróciło się do PARP z prośbą o pomoc w wyjaśnieniu lub udzielenie dodatkowych infromacji na etapie realizacji projektu Przydatność uzyskanych informacji Życzliwość pracowników instytucji Łatwość uzyskania informacji 0% 40% 60% 80% 100% Bardzo dobrze Raczej dobrze Przeciętnie Raczej źle Bardzo źle Nie mam zdania Podobnie pytamy o ocenę RIF, Punktów Konsultacyjnych i firm konsultingowych. 14
Ocena organizacji etapu ubiegania się o dofinansowanie Średnia ocena wybranego aspektu organizacji Zrozumiałość reguł ubiegania się o dofinansowanie Koordynacja działań między PARP i RIF związanych z procesem przyjmowania i oceny wniosków o dofinansowanie Dostępność informacji dotyczących kosztów kwalifikowanych Szybkość procesu oceny wniosków Funkcjonalność Generatora Wniosków [?: aplikacji służącej do składania wniosków o dofinansowanie] Zrozumiałość kryteriów oceny wniosków Bardzo źle (1) Przeciętnie(3) Bardzo dobrze (5) 15
Ocena organizacji etapu ubiegania się o dofinansowanie Średnia ogólna ocena organizacji (3,3) Zrozumiałość reguł ubiegania się o dofinansowanie 5 Koordynacja działań między PARP i RIF związanych z procesem przyjmowania i oceny wniosków o dofinansowanie 4 3 2 1 Dostępność informacji dotyczących kosztów kwalifikowanych Szybkość procesu oceny wniosków Funkcjonalność Generatora Wniosków [?: aplikacji służącej do składania wniosków o dofinansowanie] Zrozumiałość kryteriów oceny wniosków Bardzo źle (1) Przeciętnie(3) Bardzo dobrze (5) 16
Ocena organizacji etapu ubiegania się o dofinansowanie Średnia ocena wybranego aspektu organizacji Średnia ogólna ocena organizacji (3,3) Zrozumiałość reguł ubiegania się o dofinansowanie 5 Koordynacja działań między PARP i RIF związanych z procesem przyjmowania i oceny wniosków o dofinansowanie 3,3 4 3 2 1,2 2,5 Dostępność informacji dotyczących kosztów kwalifikowanych 1 4,3 Szybkość procesu oceny wniosków 4,9 3 Funkcjonalność Generatora Wniosków [?: aplikacji służącej do składania wniosków o dofinansowanie] Zrozumiałość kryteriów oceny wniosków Bardzo źle (1) Przeciętnie(3) Bardzo dobrze (5) 17
Problemy w trakcie realizacji projektu Zmieniające się wzory dokumentów (np. formularze wniosków, wzory umów) Konieczność opóźnienia momentu rozpoczęcia lub zakończenia realizacji projektu Trudności z ubieganiem się o refundację (formalności związane z wnioskami o płatność) Opóźnienia w wypłacie środków Trudności w uzyskaniu założonych we wniosku wartości wskaźników Opóźnienia w realizacji harmonogramu Konieczność zmiany zakresu rzeczowego projektu Trudności z modyfikacjami budżetu projektu (np. przesunięcia między kategoriami wydatków) w Inne 0% 40% 60% 80% 100% 5% 10% 23% 32% 47% 50% 56% 64% Na wykresie pokazano odsetki przedsiębiorców, kórzy doświadczyli danego problemu 100% Jeżeli problem wystąpił Stopień uciążliwości problemu 1 5 2,3 4,2 4,9 5 2,2 3,1 3,4 2,3 4,9 W tabeli pokazano wartości średnie odpowiedzi na skali 1 (w ogóle nie uciążliwe) i 5 (bardzo uciążliwe) 18
POGŁĘBIONY PROFIL BENEFICJENTA Rodzaje projektów, startegie rynkowe, współpraca z firmami konsultingowymi 19
Strategie rynkowe beneficjentówpoig Prosimy wskazać główny powód, dla którego Państwa firma, jako jedno z podstawowych źródeł finansowania swojego przedsięwzięcia, wybrała środki publiczne? 8% 5% 7% 5% 15% 5% 10% Brak kapitału własnego 45% Brak możliwości pozyskania kapitału Obniżenie ryzyka finansowego przedsięwzięcia Dla nowoczesnego i innowacyjnego wizerunku Konkurencja z firmami korzystającymi z dotacji Pozyskiwanie dotacji strategią firmy Okazja do obniżenia kosztów wcześniej planowanego przedsięwzięcia Inne Co przede wszystkim chcieliby Państwo osiągnąć poprzez realizację projektu współfinansowanego ze środków Działania POIG? 15% 10% 15% 25% 10% 15% 15% 10% 10% 25% 10% 15% 5% 15% 15% 30% 15% mikro małe średnie duże Zdecydowanie obniżenie kosztów Raczej obniżenie kosztów Koszty i jakość w równym stopniu Raczej podniesienie jakości Zdecydowanie podniesienie jakości Inne 20
Charakter projektów w Działaniu 8.2 POIG Projekt polegał głównie na 40% 60% 0% 50% 100% wdrożeniu od podstaw nowego rozwiązania informatycznego modyfikacji oraz integracji istniejących rozwiązań informatycznych Celem realizowanego projektu było głównie 55% 45% 0% 50% 100% dopasowanie naszego systemu informatycznego do rozwiązania bądź rozwiązań wykorzystywanych przez naszych partnerów biznesowych udostępnienie naszym partnerom biznesowym rozwiązań informatycznych umożliwiających automatyzację procesów biznesowych między naszymi firmami Jeżeli celem było dopasowanie systemu do rozwiązań wykorzystywanych przez partnerów Czy w celu dopasowania swojego rozwiązania informatycznego do rozwiązań z których korzystają Państwa partnerzy, należało 10% 45% 25% wdrożyć w całości takie samo rozwiązanie jak to wykorzystywane przez Państwa partnerów biznesowych zmodyfikować własne rozwiązanie, wprowadzając dodatkowy moduł/aplikację kompatybilną z rozwiązaniami wykorzystywanymi przez Państwa partnerów biznesowych zmodyfikować własne rozwiązanie, wprowadzając modyfikacje technologiczne lub nieznacznie modyfikując jego funkcjonalność pod kątem kompatybilności z rozwiązaniami inne działanie 21
Rodzaje e-usług w ramach projektów dofinansowanych z Działania 8.1 Główna kategoria e-usług świadczonych przez Beneficjenta w wyniku wsparcia z Działania 8.1 10% 5% 4% 45% 10% 8% 6% 5% e-pośrednictwo e-zarządzanie e-bezpieczeństwo e-wiedza Najczęstsze sposoby świadczenia usług typu e-wiedza 2% 4% 12% 5% 19% 58% Inne Web 2.0, portale społecznościowe, portale z ogłoszeniami on-line, rozwiązania umożliwiające komunikację on-line Dostarczanie usług radiowych, telewizyjnych on-line Dostarczanie informacji i bieżących wiadomości Udostępnianie zasobów elektronicznych do pobrania za pośrednictwem Internetu Narzędzia i platformy e-learningowe 22
Rodzaje projektów dofinansowanych z Działania 4.2 Typ projektu: Rozwój lub podjęcie działalności B+R Opracowanie i wdrożenie wzoru przemysłowego Opracowanie i wdrożenie wzoru użytkowego Przekształcenie w Centrum Badawczo- Rozwojowe 5% 25% 0% 10% 30% 40% 50% 60% 55% CBR Jakiej głównie korzyści oczekiwali/oczekują Państwo z uzyskania statusu Centrum Badawczo-Rozwojowego? 7% 3% 15% 30% 25% Większy potencjał działalności badawczo-rozwojowej Korzyści wynikające ze zwolnień podatkowych i odliczeń Większy prestiż firmy 100% 50% 0% nie tak Czy w toku realizacji projektu dofinansowanego z Działania 4.2 15% Wybudowano nowe laboratorium badawcze / specjalistyczne? 35% Istotnie zmodernizowano dotychczas istniejące laboratorium badawcze / specjalistyczne? 55% Nieznacznie zmodernizowano dotychczas istniejące laboratorium badawcze / specjalistyczne? Nawiązanie intensywnej współpracy z instytucjami naukowymi Nawiązanie intensywnej współpracy z innymi przedsiębiorstwami Czy wzory przemysłowe/użytkowe opracowane w ramach projektu współfinansowanego z Działania 4.2, są unikalne w skali światowej? unikalne w skali europejskiej? unikalne w skali krajowej? 0% 50% 100% tak nie trudno powiedzieć 23
Doświadczenia beneficjentów z firmami konsultingowymi W jaki sposób firma pracowała nad wnioskiem? 10% 25% samodzielnie 10% 15% ze wsparciem firmy konsultingowej wyrównany wkład firmy wnioskującej i konsultingowej firma konsultingowa, konsultacje z firmą wyłącznie firma konsultingowa Sposoby wynagrodzenia za pomoc w otrzymaniu dofinansowania 7% 13% 15% 25% 40% ustalona z góry kwota prowizja od przyznanej kwoty dofinansowania zaliczka zwracana w przypadku nieuzyskania dofinansowania brak opłaty, ale firma prowadzi dalej projekt sposób mieszany/inny zatrudniony przez firmę ekspert Zdaniem 80% beneficjentów, którzy korzystali z pomocy firmy konsultingowej, przyczyniła się ona do otrzymania dofinansowania W stopniu bardzo małym [1] 3,94 bardzo dużym [5] 35% 25% 0% 50% 100% do 2 tys. PLN 2-5 tys. PLN 5-8 tys. PLN pow. 8 tys. PLN 24
EFEKTY WSPARCIA Innowacyjność, B+R, zatrudnienie, pozycja konkurencyjna, inne wskaźniki 25
POIG jako szansa na sfinansowanie przedsięwzięć innowacyjnych 76% beneficjentów miało pomysł na projekt przed dowiedzeniem się o istnieniu PO IG. Prosimy o wyobrażenie sobie sytuacji, w której nie byłoby takiej możliwości, Projekt realizowany jak dotacja z PO IG. Czy w tej sytuacji Państwa projekt zostałby zrealizowany? 100% 80% 60% 100% 80% 60% Z jakich źródeł staraliby się Państwo sfinansować swój projekt, gdyby nie było możliwości ubiegania się o wsparcie w ramach PO IG? 40% 0% Mikro Małe Średnie Duże nie mniejszy zakres podobny zakres większy zakres 40% 0% mikro małe średnie duże kapitał własny firmy kredyt z banku Venture Capital inne 26
Analiza trendów ekonomicznych 40% 30% Rok złożenia wniosku o dofinansowanie 76% beneficjentów uważa, że bez projektu współfinansowanego z POIG poziom zartudnienia w ich firmie byłby obecnie niższy 10% 0% -10% 2004 2005 2006 2007 2008 2009 2010 2011 2012 Średni przyrost zatrudnienia w % w stosunku do 2007 Średnie tempo wzrostu zatrudnienia Pomiar końcowy Na wykresie pokazano dane dla pojedynczej kohorty beneficjentów tych, którzy złożyli wniosek o dofinansowanie w tym samym roku 27
Analiza trendów ekonomicznych 40% 0% - Rok złożenia wniosku o dofinansowanie r-3 r-2 r-1 r r+1 r+2 r+3 r+4 Średni przyrost przychodów ze sprzedaży w % w stosunku do r Średnie tempo wzrostu przychodów sprzedaży Średni przyrost nakładów na innowacje w stosunku do roku złożenia wniosku o dofinansowanie w poszczególnych kohortach beneficjentów 60% 40% 0% 55% 45% 35% 25% 1 rok po... 2 lata po... 3 lata po.. 4 lata po... 5 lat po 28
Wycena rzeczywistej wartości wsparcia - Conjoint [Przykład: Firma uzyskała wsparcie wysokości 150 tys. PLN] Państwa firma otrzymała wsparcie wysokości 150 tys. PLN. Prosimy sobie wyobrazić, że istnieje możliwość otrzymania części tej kwoty bez jakichkolwiek zobowiązań co do trybu wykorzystania środków. Co by Państwo wybrali? Projekt PO IG, 150 tys. PLN [Respondent wybrał opcję po lewej] 60 tys. PLN bez zobowiązań 100% 80% 60% Kwota wybrana zamiast wsparcia PO IG 61% wybór PO IG [powyżej 80%] 80% dotacji 60% dotacji 40% dotacji Podbijamy ofertę : co wybraliby Państwo obecnie? 40% 16% dotacji Projekt PO IG, 150 tys. PLN 90 tys. PLN bez zobowiązań 7% 4% 0% Wynik wyceny wartości wsparcia = 10%*0,04 + 30%*0,07 + 50%*0,12 + 70%*0,16 + 90%*0,61 = 74,6% 12% 29
Efekty Działania 8.1 Które z poniższych stwierdzeń najlepiej opisuje pozycję strony WWW Państwa firmy w wynikach wyszukiwania Google dla trzech głównych słów kluczowych opisujących świadczoną e-usługę? 50% 10% 11% 39% Strona naszej firmy wyświetla się jako pierwszy wynik wyszukiwania. Strona naszej firmy wyświetla się na pierwszej stronie 10 wyników wyszukiwania. Strona naszej firmy wyświetla się jako jeden z dalszych wyników wyszukiwania. Nasza strona nie wyświetla się w wynikach wyszukiwania Google. Rozwój świadczenia e-usług wartości średnie wskaźników dla beneficjentów wybranej rundy Działania 8.1 1600 1400 1200 1000 800 600 400 200 0 120 135 46 75 82 15 12 36 rok złożenia wniosku 571 428 451 981 198 725 84 727 1471 294 +1 +2 +3 e-kienci indywidualni miesięcznie e-klienci biznesowi miesięcznie zarejestrowanych kont 31 XII aktywnych kont 31 XII odwiedzin strony miesięcznie [tys.] 1150 134 30
Cel: eko-innowacyjność (4. oś priorytetowa) 27% firm wprowadziło technologie środowiskowe, polegające na obniżeniu materiałochłonności na jednostkę produktu 15% 15% 30% obniżeniu energochłonności na jednostkę produktu obniżeniu emisji dwutlenku węgla przez przedsiębiorstwo użyciu materiałów mniej zanieczyszczających lub niebezpiecznych dla środowiska zmniejszeniu zanieczyszczenia gleby, wody, powietrza lub poziomu hałasu 24% firm wprowadziło eko-produkty, których korzyść dla środowiska polega na 25% 35% 40% zmniejszeniu zużycia energii Łącznie 40% firm wprowadziło technologię środowiskową lub eko-produkt. Pytamy o powody. zmniejszeniu zanieczyszczenia powietrza, wody, gleby lub poziomu hałasu Powody, dla których firma wprowadziła innowacje korzystne dla środowiska obowiązujące już regulacje dotyczące środowiska lub podatki związane z zanieczyszczaniem środowiska regulacje dotyczące środowiska lub podatki związane z zanieczyszczaniem środowiska przewidywane w dostępność rządowych grantów, subsydiów lub innych finansowych zachęt do wprowadzania innowacji obecny lub spodziewany popyt ze strony klientów na innowacje korzystne dla środowiska dobrowolny kodeks lub porozumienia (umowy) dotyczące dobrych ekologicznych praktyk w inny powód 10% 10% 5% 35% 25% 15% 0% 5% 10% 15% 31
Rozwój działalności B+R a oddziaływanie PO IG Czy Państwa firma prowadzi obecnie działalność badawczo-rozwojową zewnętrzną? wewnętrzną? 40% 30% 55% 0% 50% 100% [Pomiar końcowy:] Czy obecnie w Państwa firmie istnieje dział badawczo-rozwojowy? 15% 60% 45% 55% Tak, został utworzony przed realizacją dofinansowanego projektu lub w jej trakcie. Tak, został utworzony po zakończeniu realizacji dofinansowanego projektu. Nie, w naszej firmie nie ma działu B+R. tak nie Bez filtra Czy w okresie 3 lat przed złożeniem wniosku o dofinansowanie Państwa firma prowadziła działalność B+R? zewnętrzną? wewnętrzną? Rozpoczęto działalność B+R Czy podjęcie działalności B+R jest efektem realizacji dofinansowanego projektu? Jeżeli dział istniał przy pomiarze początkowym i kontynuuje działalność 30% 55% 70% 45% 0% 50% 100% liczbę realizowanych projektów badawczych przez dział B+R zwiększenie nakładów na wewnętrzną działalność B+R wzrost zatrudnienia w dziale B+R tak nie 85% 15% 60% 80% 100% 46% tak nie Czy realizacja dofinansowanego projektu przełożyła się na 82% 76% tak nie 54% 18% 24% 0% 50% 100% 32
Dziękujemy za uwagę. 33