Od jednostkowych badań w stronę syntezy i metaanalizy -wyzwanie dla procesu planowania ewaluacji w perspektywie 2014-2020 OPOLSKA KONFERENCJA MONITOROWANIA I EWALUACJI POLITYK PUBLICZNYCH doświadczenia przeszłości wyzwaniem dla przyszłości Opole, 10-11 grudnia 2014 roku Stanisław Bienias Fundacja IDEA Rozwoju
Trzy fundamentalne kwestie Metaanaliza/synteza: czy warto się tak męczyć? Metaanliza/synteza: czy jest przestrzeń do jej wykorzystania? jeżeli na obydwa pytania uda się nam odpowiedzieć twierdząco, to wówczas pozostaje odpowiedzieć na ostatnie pytanie: Jak to zrobić?
Metaanaliza/synteza: czy warto się tak męczyć? Badania podsumowujące wynik wcześniejszych badań dają zdecydowanie najsilniejsze dowody (liczne doświadczenia na polu evidence based medicine) Ograniczamy wpływ sytuacji kontekstowej na wynik naszego pomiaru (wyniki są bardziej uniwersalne i częściej pozwalają na generalizację). Polityka Spójności stanowi znaczną część polityki rozwoju w Polsce (warto udoskonalać) ODPOWIEDŹ: TAK!
Metaanliza/synteza: czy jest przestrzeń do jej wykorzystania? Unikalny układ wdrażania Polityki Spójności (16 RPO o podobnej strukturze + programy krajowe umożliwiające porównywanie/syntetyzowanie wyników). Wspólnota interesów (zainteresowanie nową wiedzą zarówno na poziomie samorządu, jak i rządu) Znaczne środki finansowe przeznaczane na Politykę Spójności (Polska laboratorium Polityki Spójności w Europie) Duże ilości beneficjentów (umożliwiające zastosowanie różnych metod badawczych, w tym CIE) Duży potencjał ewaluacyjny (wiedza i umiejętności zarówno na poziomie administracji, jak i rynku; ustanowione platformy współpracy) Znaczne (w praktyce nieograniczone) środki finansowe na realizację badań 2014-2020 OBOWIĄZEK PLANOWANIA PROCESU EWALUACJI ODPOWIEDŹ: TAK!
Aspekty formalno-prawne 2014-2020 OBOWIĄZEK PLANOWANIA PROCESU EWALUACJI Plany obejmują cały okres programowania (koordynacja w czasie) Wytyczne MIR (platforma dla ustalenia zakresu badań obowiązkowych) Uruchomione platformy współpracy z dysponentami danych (np. GUS) Każda oś priorytetowa obowiązkowo musi zostać poddana ewaluacji co najmniej raz (duże podobieństwo między osiami w ramach RPO a i tak każdy to musi zrobić)
Obszary badań 2014-2020 OBOWIĄZEK REALIZACJI KAŻDEJ Z OSI PRIORYTETOWEJ BADANIA WSPÓLNE. PUNKT WYJŚCIA CELE TEMATYCZNE. Takie badania mogą być realizowane na co najmniej dwa sposoby: 1. JE RPO opracowują badania w ramach swoich programów, a następnie MIR je syntetyzuje. Wówczas niezbędne będzie rozstrzygnięcie, jak silna będzie koordynacja i do których badań będzie się odnosić. Możliwe są dwie główne opcje (oraz warianty pośrednie): -od pełnej koordynacji: MIR opracowuje szczegółowo koncepcję i metodologię badania a RPO ją wdrażają (przy rygorystycznym podejściu do metodologii możliwa jest wówczas nawet metaanaliza wyników); -po sugestię ze strony MIR a teraz chętne regiony w roku Y niech przygotują badanie w obszarze X a my to rok później podsumujemy.
Obszary badań 2014-2020 OBOWIĄZEK REALIZACJI KAŻDEJ Z OSI PRIORYTETOWEJ BADANIA WSPÓLNE. PUNKT WYJŚCIA CELE TEMATYCZNE. Takie badania mogą być realizowane na co najmniej dwa sposoby: 2. MIR realizuje badanie dla wszystkich regionów (np. skuteczności wsparcia w obszarze dotacji dla MSP w oparciu o schemat kontrfaktyczny przy wykorzystaniu danych jednostkowych GUS) i w określonym momencie przekazuje wyniki badań ilościowych regionom. Rolą JE RPO jest wówczas realizacja badań, które tłumaczyć mają dlaczego w danym regionie są takie, a nie inne efekty, z czego to wynika i jak optymalizować wsparcie. MIR na końcu może je poddać syntezie.
Obszary badań 2014-2020 OBOWIĄZEK REALIZACJI KAŻDEJ Z OSI PRIORYTETOWEJ BADANIA WSPÓLNE. PUNKT WYJŚCIA SYSTEM REALIZACJI. Badania ewaluacyjne mające na celu podniesienie jakości systemu wdrażania: - Kryteria wyboru projektów - System wdrażania - Polityki horyzontalne - Synteza potrzebna by zdefiniować lepiej system wdrażania na lata 2021-2027 (poćwiczmy już teraz!)
Jakość badań jednostkowych Strategiczne wykorzystanie wyników 1. Koordynacja i silniejsza rola ośrodka centralnego trzeba inwestować w kadry (6 etatów w KJE to zdecydowanie za mało-to powinien być Departament, a może już dorośliśmy do stworzenia (nowego) RCSS) 2. Koncentracja - mniej pytań ewaluacyjnych!!!! 3. Rygorystyczne podejścia badawcze (zarówno jakościowe, jak i ilościowe) 4. Więcej badań wykorzystujących badania kontrfaktyczne 5. Zapewnienie dostępu do danych. BRAWO OPOLE!!! ale GUS to dopiero pierwszy element systemu
Jakość debaty publicznej Obecnie: - ewaluacja zamknięta jest głównie świecie administracyjnym - Do pewnego stopnia akademicy (raczej pojedynczy naukowcy) i niezależni eksperci Brakuje: - Media - Organizacje pozarządowe - Uczelnie Wyższe - Inni interesariusze Konieczność rozszerzenia grona interesariuszy. Budujmy PARTNERSTWO nie KONTROLĘ!
Jakość produktu finalnego Wysokiej jakości produkty (umiejętność opracowania badań syntetyzujących, język ) ale i właściwy marketing i dystrybucja
Trzy fundamentalne kwestie Pytania do Państwa Metaanaliza/synteza: czy warto się tak męczyć? Metaanliza/synteza: czy jest przestrzeń do jej wykorzystania? Jak to zrobić?
Dziękuję za uwagę! stanislawbienias@ideaorg.eu www.ideaorg.eu