Wykorzystanie ewaluacji w zarządzaniu programem operacyjnym na przykładzie RPO. Tomasz Kupiec Warszawa, 6 marca 2014

Transkrypt

1 Wykorzystanie ewaluacji w zarządzaniu programem operacyjnym na przykładzie RPO Tomasz Kupiec (t.kupiec@evaluation.pl) Warszawa, 6 marca 2014

2 Plan prezentacji Kontekst, przesłanki, cele badania Podstawowe pojęcia Wykorzystanie ewaluacji studia przypadku Użytecznośd ewaluacji analiza raportów

3 Ewaluacja w Polsce Brak własnych tradycji ewaluacji Kultura ewaluacji zaszczepiona przez UE, fundusze strukturalne Pierwsze doświadczenia koniec XX w programy przedakcesyjne Początki systematycznego wykorzystania 2004 Decentralizacja, początki ewaluacji na poziomie regionalnym 2008 Systematyczne wykorzystanie ewaluacji nadal ogranicza się do pola polityki spójności UE

4 Przesłanki badania (1) wzrost znaczenia ewaluacji Liczba jednostek ewaluacyjnych Liczba pracowników JE 7 30 >150 Liczba realizowanych badao rocznie Roczny budżet na badania (mln PLN) 5 50 >115-2,2 27,9 Liczba aktywnych wykonawców 4 ok. 20 > 40 W sumie od 2004 zrealizowano ponad 750 badao ewaluacyjnych

5 Przesłanki badania (2) podejrzenie słabego wykorzystania Własne obserwacje: niska jakośd raportów, ograniczone wykorzystanie Brak własnej tradycji ewaluacji, rozwój ewaluacji determinowany regulacjami UE Rozczarowujące obserwacje dotyczące wykorzystania ewaluacji ze świata (m.in. de Leon 1988, Greene 1994, Patton 1986, Rist 1994, Weiss and Bucuvalas, 1980, Dahler-Larsen 1998) Nieliczne i ograniczone badania wykorzystania ewaluacji w Polsce

6 Cele badawcze Cel główny: ocena stopnia wykorzystania ewaluacji, jako narzędzia zarządzania programem operacyjnym, na przykładzie wybranych RPO Cele dodatkowe: 1) wskazanie kluczowych czynników wpływających na wykorzystanie ewaluacji 2) dostarczenie wniosków dotyczących pożądanej organizacji procesu ewaluacji programów operacyjnych w latach

7 Podstawowe pojęcia Wspiera podejmowanie decyzji poprzez dostarczanie wiedzy i danych (Patton 1997, Logan 2001). Proces informacyjnodecyzyjny, rozstrzygający o kluczowych problemach organizacji (Stabryła 2002). Wykorzystanie ewaluacji w zarządzaniu Proces ciągły, strumieo badao towarzyszący zarządzaniu (Rist i Stame, 2006) Ciągłe adaptacje i uczenie się (Chakravarthy 1982, Mintzberg et al. 1998) Adaptacje, modyfikacje w zakresie założeo interwencji (strategiczne) oraz sposobu jej wdrażania (operacyjne)

8 Metodyka badania Wykorzystanie ewaluacji 3 studia przypadku: 4 IDI w każdym z 3 województw, z przedstawicielami: komórek zarządzającej i wdrażającej RPO, JE, dyrekcji departamentu zarządzającego RPO Pogłębiona analiza dokumentacji badao ewaluacyjnych wybranych województw Analiza dokumentacji opisującej system realizacji RPO (m.in. instrukcje wykonawcze, OSZIK, regulamin organizacyjny UM, plany ewaluacji i informacje roczne) Analiza danych ze Zintegrowanego Systemu Zarządzania Wnioskami i Rekomendacjami (ZSZWR) oraz poszczególnych wersji RPO i URPO Użytecznośd ewaluacji analiza dokumentacji próby ewaluacji wszystkich województw z lat (n=71, ok. 30% populacji)

9 Wykorzystanie ewaluacji wnioski ze studiów przypadku

10 Zrealizowane badania, rekomendacje, modyfikacje Województwo I II III Liczba badao 20 (0) 10 (1) 14 (0) Wartośd badao (zł) Liczba badao z rekomendacjami Liczba rekomendacji ok Wdrożone ok Do wdrożenia (prawdopodobne) Zmiany / decyzje wsparte ewaluacją 60 (30) 28 (19) 36 (28)

11 Charakter zmian / decyzji wspartych ewaluacją przykłady Szkolenia beneficjentów, np. nacisk na praktyczne przykłady, mniejsze grupy, zmiana szaty graficznej materiałów informacyjnych Działania informacyjne, np. nowa zakładka na stronie www, FAQ, aktualizowane dokumenty z zaznaczonymi zmianami, informacje o popełnianych błędach we wnioskach, Działania promocyjne, np. wykorzystanie maskotki RPO, rezygnacja z krótkich reklam, i nieefektywnych mediów Punkty informacyjne, np. lepsze oznakowanie, monitorowanie prac Organizacja prac nad wnioskami o płatnośd Wskaźniki, np. zmiana katalogu, doprecyzowanie nazw

12 Charakter zmian / decyzji wspartych ewaluacją wnioski Wprowadzane zmiany mają charakter operacyjny Ewaluacja RPO nie wspiera decyzji strategicznych Decyzje strategiczne są podejmowane, lecz bez udziału ewaluacji W zakresie decyzji strategicznych występują przypadki niewłaściwego i symbolicznego użycia ewaluacji

13 Potencjalny wpływ dotychczasowych ewaluacji na RPO Większośd proponowanych zmian ma charakter operacyjny Nieliczne proponowane zmiany strategiczne są zwykle oczywiste (np. koncentracja na projektach zintegrowanych, wsparcie ośrodków subregionalnych, różnicowanie wsparcia miasto / wieś, premiowanie projektów zgodnych z potrzebami zdrowotnymi mieszkaoców) Pojedyncze przypadki wartościowych propozycji: wskazanie 31 propozycji projektów kluczowych przygotowanie projektu poprawy bezpieczeostwa ruchu, koncepcja budowy kolei aglomeracyjnej, wsparcie działao uzupełniających kluczowe projekty kolejowe klasyfikacja powiatów województwa na trzy typy (konwergencji, dywergencji i stabilizacji) i różnicowanie wsparcia wg. tych typów

14 Wpływ ewaluacji na zmianę stanu wiedzy i sposobu postrzegania problematyki RPO Ewaluacja nie wzbogaca stanu wiedzy w zakresie rozwoju regionu i sposobu wpływu na niego poprzez RPO Tylko w jednym z województw respondenci są w stanie wskazad przykłady ewaluacji z których czegoś się nauczyli Tylko w jednym z województw wyniki ewaluacji wykorzystywane są w dyskusjach, debatach jako argument uzasadniający podejmowane decyzje

15 Dotychczasowe wykorzystanie ewaluacji RPO w badanych województwach, zarówno instrumentalne jak i koncepcyjne jest zdecydowanie niesatysfakcjonujące Jakie są przyczyny tego stanu?

16 Model procesu ewaluacji Określenie celów Planowanie (zasoby, procedury) Produkty badania Planowanie i zlecanie badania Realizacja badania Kontrola Uwarunkowania Wsparcie procesu zarządzania Użycie ewaluacji

17 Przyczyny niskiego wykorzystania ewaluacji Niedostosowanie metodyki Niekompetencja ewaluatora Braki danych zastanych Zły moment realizacji badania Niska jakośd analizy danych Niekompletnośd raportów Niespełnianie oczekiwao informacyjnych Wiedza oczywista Wiedza nieistotna Niesatysfakcjonujące wykorzystanie ewaluacji Brak monitoringu i modyfikacji procesu ewaluacji

18 Różnice w podejściu między województwami Działania na rzecz rozwoju kultury ewaluacyjnej NASTAWIENIE DYREKCJI? Liczba pracowników JE? Miejsce JE w strukturze IZ Nadzór na etapie realizacji Zarządzanie rekomendacjami Praktyki refleksji Wynikanie badao z potrzeb X X????? Wykorzystanie koncepcyjne Wykorzystanie instrumentalne Spełnianie oczekiwao informacyjnych / kompletnośd raportu / istotnośd, oczywistośd wiedzy

19 Użytecznośd ewaluacji wnioski z analizy próby ewaluacji RPO

20 Liczba i wartośd zrealizowanych ewaluacji RPO W sumie w latach , liczba badao: 236, wartośd badao: 16 mln PLN

21 Typy realizowanych ewaluacji RPO procesy: 128 (62%), efekty: 34 (17%), procesy/efekty: 44 (21%)

22 Rozumienie pojęcia Wiarygodnośd rekomendacji Powiązanie rekomendacji z wnioskami z badania Czytelnośd, możliwośd wdrożenia Jakośd metodyki badania Użytecznośd ewaluacji RPO Istotnośd tworzonej wiedzy Czy rekomendacje odnoszą się do znaczących, pozytywnych zmian, czy kwestii drobnych Adekwatnośd ustaleo Spełnianie oczekiwao informacyjnych odbiorców Kompletnośd raportów Moment realizacji badania

23 Wiarygodnośd rekomendacji (1) W 1/5 badao < 50% rekomendacji powiązanych z wnioskami W: Mimo, że potencjalni beneficjenci mają dostęp do informacji na temat możliwości pozyskania funduszy dużo wniosków jest odrzucanych. R: Dostosowanie ilości i tematyki spotkao edukacyjnych zgodnie z potrzebami i oczekiwaniami beneficjentów. W: Sukcesy aplikacyjne poza kompetencjami i determinacją kadr zależą również od kryteriów oceny projektu. R: Wprowadzad kryteria podnoszące szanse na uzyskanie dofinansowania dla podmiotów o mniejszym potencjale organizacyjnym. W 1/5 badao < 50% rekomendacji czytelnych, szczegółowych, wykonalnych W: Niedoinformowanie beneficjentów w zakresie szkoleo. R: Poszukiwanie odpowiednich kanałów komunikacji z beneficjentami RPO. R: Wnioski o projekty powinny byd oceniane jakościowo przez wybitnych specjalistów i ekspertów w danej dziedzinie.

24 Wiarygodnośd rekomendacji (2) W 47% badao metodyka niedostosowana do celów badania, w 17% dostosowana częściowo Wpływ projektów RPO na realizację celów Strategii Lizbooskiej / rozwój województwa badany ankietą wśród beneficjentów RPO Ocena wpływu netto RPO na konkurencyjnośd województwa, zbadana ekspercko Dane dostępne dla populacji w dokumentach pozyskiwane dla próby beneficjentów w CATI Badanie skali komplementarności w oparciu o 6 casów Spójnośd wskaźników z przedmiotami projektów oceniana bez analizy projektów W 1/3 badao niewiarygodna liczebnośd i struktura prób PAPI na próbie n=10 przedsiębiorstw nieaplikujących o wsparcie / CAWI przedstawicieli gmin n=37 / CATI pracowników funduszy pożyczkowych n=7 Czynniki zmniejszające próbę : wariantowe pytania, prezentacja wyników w przekrojach Inne problemy: niskie zwroty CAWI, grupy kontrolne w badaniach kontrfaktycznych

25 Wiarygodnośd rekomendacji (3) A+B+C+D 25% badao A+B 60% badao C+D 27% badao A) >50% rekomendacji powiązanych z wnioskami 80% badao B) >50% rekomendacji czytelnych wykonalnych 80% badao C) Metodyka dostosowana do celów badania 36% badao D) Wiarygodne próby w badaniach ilościowych 66% badao

26 Istotnośd tworzonej wiedzy Rekomendacja istotna: ma potencjał do wywołania znaczącej, pozytywnej zmiany, rozwiązania ważnego problemu, nie może wskazywad rozwiązao oczywistych, nieodkrywczych, niedotykających istoty poruszanego problemu, a koncentrujących się na działaniach drobnych, technicznych. W 2/3 badao > 50% rekomendacji nieistotnych 16% nie zawiera rekomendacji istotnych W 2/3 badao efektów brak istotnych strategicznych rekomendacji Przykłady: Umieszczenie na www informacji o projektach dobrych praktykach Zmienid szatę graficzną materiałów informacyjnych opracowanie matrycy komplementarności efektów RPO względem celów SRW

27 Adekwatnośd ustaleo W 27% raportów rekomendacje niezgodne z celami badania, w 48% jedynie częśd rekomendacji zgodnych W 72% badao brakuje odpowiedzi przynajmniej na częśd kluczowych pytao Przykłady (miało byd - jest): Analiza wpływu wsparcia RPO w dziedzinie transportu - Ogólny opis znaczenia transportu dla rynku pracy Analiza wpływu RPO na realizacje SRW - Wyliczanka projektów możliwych do powiązania z celami strategii Analiza wpływu wdrożenia rekomendacji z poprzedniej ewaluacji - Wskazanie rekomendacji wdrożonych i niewdrożonych, czasami ich zasadności Prawie połowę badao zrealizowano w nieodpowiednim momencie. 31% zbyt późno by wykorzystywad wyniki.

28 Podsumowanie Czy na wiedzy wynikającej z ewaluacji można się opierad podejmując decyzje (wiarygodnośd, operacyjnośd)? Czy wiedza ta dotyczy kwestii istotnych z punktu widzenia zarządzania programem (istotnośd)? Czy jest to wiedza której oczekiwali w danym momencie odbiorcy (adekwatnośd)? 3 x NIE, użytecznośd większości dotychczasowych ewaluacji RPO jest zdecydowanie niezadowalająca. Studia przypadków wskazują, że przekłada się to na bardzo niski stopieo wykorzystania ewaluacji w zarządzaniu RPO Problem dotyczy w szczególności bardziej istotnych ewaluacji efektów realizacji RPO.