2014 Dobre praktyki w zakresie monitoringu i ewaluacji w Polsce: BAROMETR INNOWACYJNOŚCI Warsztaty monitorowania inteligentnych specjalizacji w Polsce Warszawa, 12 marca 2014 r. Jacek Pokorski PARP
Idea ewaluacji on-going Istotą ewaluacji programów publicznych jest przede wszystkim ustalenie efektów podejmowanych działań. Dla zapewnienia aktualnych informacji w zakresie produktywności wdrażanych instrumentów, potrzeba gromadzenia danych na bieżąco, w sposób systematyczny (on-going) Pomiar wskaźników ustanowionych dla celów Programu i ocena ich wartości skwantyfikowanie zmiany wywołanej podjętą interwencją dostęp do wiedzy w jakim stopniu dany program okazuje się skuteczny (tj. realizuje postawione przed nim cele) Klucz do podejmowania bieżących decyzji w procesie wdrażania!
Idea ewaluacji on-going w PO IG Ewaluacje typu on-going w perspektywie 2004-2006 (best practice) Model ewaluacji on-going w POIG wzorowany na Ocenie rezultatów Działania 2.1 i 2.3 SPO WKP po 18 miesiącach Cechy ewaluacji on-going wybranych działań POIG Pomiar bezpośrednich rezultatów Programu (tj. obserwowanych zmian dotyczących beneficjentów) Analiza jakości procesów realizacji Programu Ocena wpływu interwencji na zaadresowany obszar Koncepcja ewaluacji działania Programu oparta na wskaźnikach ( indicator-based evaluation framework ) wskaźniki celów interwencji (rezultaty, wpływ) wskaźniki preferencji i satysfakcji konsumentów (beneficjentów)
Projektowanie ewaluacji on-going PO IG (2008-2010) Bieżący pomiar wskaźników i ocena efektów, ale jakich??? mapa 0 (brak matrycy logicznej Działań PO IG) Rekonstrukcja teorii Programu Analiza celów i logiki programowej PO IG w Działaniach PARP Audyt danych (dostępnych w systemie POIG, w statystyce publicznej) Analiza wskaźników w PO IG i opracowanie katalogu wskaźników ewaluacyjnych dla Działań PARP mapa 3 (kompletna logika Działań PO IG wdrażanych przez PARP) + Baza wskaźników ewaluacyjnych Wypracowanie koncepcji realizacji badań on-going ( BAROMETR INNOWACYJNOŚCI ) Opracowanie narzędzi badawczych (kwestionariuszy CAWI)
Wdrożenie BAROMETRU INNOWACYJNOŚCI (2011) Koncepcja realizacji ewaluacji on-going: 8 projektów ewaluacji zintegrowanych w ramach systemu internetowych badań ewaluacyjnych (system ewaluacji PARP dla Działań PO IG adresowanych do przedsiębiorstw) Logika pomiaru - idea pomiaru początkowego i końcowego Narzędzia badawcze standaryzacja i spójność Adaptacja metodologii GUS przy badaniu innowacyjności i kondycji ekonomicznej przedsiębiorstw (formularze F-01, PNT-01), Pomiar efektywności wsparcia (metoda conjoint), segmentacja projektów, skalowanie jakości projektów Porównywalność danych: między etapami, między Działaniami, ze statystyką publiczną Zakres gromadzonych danych dostosowany do możliwości respondentów (pretesty narzędzi, technika CAWI, wystandaryzowane wskaźniki)
Realizacja ewaluacji on-going (2011-2015) Wielowymiarowe, systematyczne badania rezultatów Działań PO IG, realizowane cyklicznie (on-going w latach 2011-2015) zgodnie z postępem Programu (w rundach półrocznych) - równolegle we wszystkich Działaniach wdrażanych w PARP adresowanych do przedsiębiorstw (1.4-4.1, 3.3.2, 4.2, 4.4, 5.4.1, 6.1, 8.1 i 8.2 PO IG). Do końca 2013 r. przeprowadzono V edycji badania wśród przedsiębiorców Zebrano dane dla 5197 projektów, w tym 4103 w pomiarze początkowym (okres realizacji) i 1094 w pomiarze końcowym (okres trwałości)
Projekty objęte badaniem w podziale na Działania PO IG DZIAŁANIE POMIAR POCZĄTKOWY N % przypadków danego Działania względem ogółem POMIAR KOŃCOWY N % przypadków danego Działania względem ogółem % przypadków pomiaru końcowego danego Działania względem pomiaru początkowego 1.4-4.1 515 40% 30 2% 6% 3.3.2 nie dotyczy 52 53% 4.2 141 29% 45 21% 32% 4.4 257 62% 69 17% 27% 5.4.1 78 48% 14 9% 18% 6.1 1323 38% 358 10% 27% 8.1 1058 55% 243 13% 23% 8.2 975 60% 283 18% 29% Ogółem 4103 100% 1094 100% 27%
Wykorzystanie wyników BAROMETRU Bieżące zarządzanie procesem wdrażania w oparciu o informacje: o skwantyfikowanych rezultatach wsparcia (np. działalność B+R, innowacje) o jakości procesu realizacji (np. obsługa beneficjentów, koszty) Porównanie trendów w zakresie skuteczności wsparcia (pomiędzy Działaniami, pomiędzy naborami, pomiędzy regionami, w różnych kontekstach gospodarczych, etc.) Funkcja sprawozdawcza, informacyjnym, promocyjna Wyniki dostarczają wiedzy pod kątem nowej perspektywy 2014-2020 (skuteczność i efektywność proinnowacyjnych instrumentów wsparcia)
Ograniczenia ewaluacji on-going Dane gromadzone w ramach BAROMETRU INNOWACYJNOŚCI pozwalają odpowiedzieć m.in. na pyt.: Czy poziom innowacyjności wspartych firm zmienia się w czasie? Czy w ramach poszczególnych schematów pomocy zmierzamy w dobrym kierunku? Czy przyjęte założenia (cele Programu) są realizowane? Czy w związku z obserwowanymi zmianami (lub jakością obsługi beneficjentów) konieczne jest podjęcie działań zaradczych? Dokonywany pomiar nie pozwala jednak na identyfikację związków przyczynowych pomiędzy podjętą interwencją a obserwowanymi zmianami na poziomie wspartych przedsiębiorstw.
Analiza efektów netto jako konieczny element systemu oceny Programu Z punktu widzenia oceny skuteczności interwencji kluczowe jest ustalenie stopnia w jakim obserwowane zmiany są faktycznie jej efektem Sam pomiar wartości wskaźników (pomimo etykietowania części z nich, jako wskaźniki oddziaływania ) jest w tym względzie niewystarczający Konieczne jest dokonanie oszacowania tzw. efektów netto wsparcia, bazując na podejściu kontrfaktycznym Rekonstrukcja kondycji beneficjenta w sytuacji braku wsparcia (lub w sytuacji skorzystania z alternatywnego wsparcia) z wykorzystaniem odpowiednich grup kontrolnych (schematy quasi-eksperymentalne) Takie podejście pozwala zminimalizować obciążenia selekcyjne wspartych podmiotów (np. efekt zbierania śmietanki) i dokładnie oszacować efekt interwencji (lub porównać efekty poszczególnych Działań)
BAROMETR INNOWACYJNOŚCI 2.0 Analiza efektów netto wybranych Działań PO IG z wykorzystaniem podejścia counterfactual impact evaluation 1) Jak wyglądałaby sytuacja firm, gdyby skorzystały ze wsparcia innego rodzaju? Analizy porównawcze efektów ( względnych ) Działań PO IG (2013 +) Źródło danych: BAROMETR 2) Jak wyglądałaby sytuacja firm, gdyby nie skorzystały ze wsparcia w ogóle? Rozwój metodyki analizy efektów netto ( absolutnych ) - Phare MSP 2002-2003 - SPO WKP 2004-2006 - PO IG 2007-2013 (2014 +) Źródła danych: bazy wnioskodawców, GUS
Dziękuję za uwagę! kontakt: jacek_pokorski@parp.gov.pl