Tworzenie programów w Unii Europejskiej Plan Jeszcze o kontekście oczekiwań Wnioski dla diagnozy Struktura diagnozy Diagnoza jako ujęcie procesów (dynamicznych!) Diagnoza jako ujęcie strategiczne Diagnoza jako ujęcie problemowe (nie podmiotowe!) Metodologia analizy SWOT Przełożenie strategiczności na diagnozę Co jest obiektem analizy? Co w środku, a co na zewnątrz Ewaluacja Kryteria i logika 19.11.2009 Tworzenie programów w UE 2
Kontekst oczekiwań Gdzie chcemy być po zakończeniu projektu? Jakie kryteria doboru pomiędzy grupami? Jakie cele rozwojowe dla grup docelowych? Jakie cele rozwojowe da beneficjentów? Jakie cele rozwojowe dla instytucji, które w realizację projektu są zaangażowane? Jakie cele rozwojowe dla tych, którzy do projektu nie zostali włączeni? PRIORYTETYZACJA! 19.11.2009 Tworzenie programów w UE 3 Wnioski dla Polski z poprzednich lat Dobrze określić SWOT Dobrze dobrać alokację środków do działań Analizować wskaźniki Opracować dobry system monitorowania i ewaluacji Koncentrować się na priorytetach dobrych z punktu widzenia własnego kraju 19.11.2009 Tworzenie programów w UE 4
Miejsce programowania W PCM 19.11.2009 Tworzenie programów w UE 5 Logika wydatkowania funduszy Problemy społeczno-ekonomiczne nierozwiązywalne przez rynek Oddziaływanie Potrzeby Program Rezultaty/wyniki Cele Nakłady/środki Działania Produkty Trafność, adekwatność Ocena programu Efektywność, wydajność Skuteczność Użyteczność i trwałość oddziaływań 19.11.2009 Tworzenie programów w UE 6
Logika programowania Wcześniejsze działania Doświadczenia Obecna sytuacja sektora - analiza społecznoekonomiczna Potrzeby i problemy - ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, produktu rezultatów (wyniki), oddziaływania 19.11.2009 Tworzenie programów w UE 7 Struktura diagnozy I. Opis i analiza obecnej sytuacji II. Wcześniejsze działania i doświadczenia III. Ranking potrzeb i rozbieżności IV. SWOT V. Strategia i hierarchia celów VI. Wybór działań VII. Wskaźniki 19.11.2009 Tworzenie programów w UE 8
Opis i analiza obecnej sytuacji Wcześniejsze działania Obecna sytuacja sektora. Analiza społecznoekonomiczna Doświadczenia Potrzeby i Problemy. Ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, wyniki, oddziaływanie 1. Ukierunkowany opis i gruntowna analiza Analiza => kierunki programu Tylko istotne dane, zwięzła, krótka 2. Wybór i oszacowanie danych wyjściowych Dobór wskaźników Zakres danych bazowych (EUROSTAT, GUS, inne) 19.11.2009 Tworzenie programów w UE 9 Opis i analiza obecnej sytuacji Wybór i oszacowanie punktów odniesienia Przykłady: Wiadomo, że ma być lepiej... ale do jakiego poziomu? Punkty wyjściowe dla Polski Punkt odniesienia średnia dla Polski średnia dla UE kraj referencyjny (który już przeszedł tę drogę!) najlepsza praktyka w UE Uzasadnienie: W innych krajach też coś się dzieje! Programujemy na 7 lat konkurencyjność w tej perspektywie! Działania muszą zmniejszać dystans 19.11.2009 Tworzenie programów w UE 10
Opis i analiza obecnej sytuacji Przedstawienie krajowych tendencji rozwoju Przykłady Dotychczasowa dynamika zmian Dzięki czemu zmiana się dokonała? Działania publiczne? Samorzutne procesy? (społeczeństwo, firmy, inwestycje zagraniczne) Czy dynamika była wystarczająca? (zdaniem administracji czy zdaniem również innych interesariuszy?) Czego zabrakło by zwiększyć dynamikę? Tendencje w innych krajach UE Czy dynamika zmian w UE i w Polsce była inna? Dzięki czemu? 19.11.2009 Tworzenie programów w UE 11 Wcześniejsze działania Wcześniejsze działania Obecna sytuacja sektora. Analiza społecznoekonomiczna Doświadczenia Potrzeby i Problemy. Ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, wyniki, oddziaływanie Jakie działania podjęto do tej pory? Programy krajowe i UE Inne programy zagraniczne Co do tej pory osiągnięto? Jakie są przesłanki, żeby stwierdzić, że to akurat dzięki tym działaniom? Co było korzystne, a co nie i dlaczego? 19.11.2009 Tworzenie programów w UE 12
Ranking potrzeb i rozbieżności Wcześniejsze działania Doświadczenia Obecna sytuacja sektora. Analiza społecznoekonomiczna Potrzeby i Problemy. Ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, wyniki, oddziaływanie Jakie największe potrzeby? Rozbieżności: wobec trendu i wobec oczekiwań regionalne/lokalne, wiejskie/miejskie, krajowe/międzynarodowe Hierarchia potrzeb i rozbieżności 19.11.2009 Tworzenie programów w UE 13 Analiza SWOT Wcześniejsze działania Doświadczenia Obecna sytuacja sektora. Analiza społecznoekonomiczna Potrzeby i Problemy. Ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, wyniki, oddziaływanie STRENGTHS (Mocne strony) WEAKNESSES (Słabe strony) OPPORTUNITIES (Szanse) THREATS (Zagrożenia) 19.11.2009 Tworzenie programów w UE 14
SWOT Identyfikacja wewnętrznych słabych i mocnych stron Wykorzystanie zewnętrznych szans Przezwyciężenia zewnętrznych zagrożeń tak, by.. Strategia osiągnięcia tych celów 19.11.2009 Tworzenie programów w UE 15 SWOT S (mocne strony) O (szanse) Wykorzystanie własnych przewag relatywnych w sprzyjających warunkach zewnętrznych (+ +) T (zagrożenia) Podtrzymanie własnych przewag relatywnych w niesprzyjających warunkach zewnętrznych (+ -) W (słabe strony) Wykorzystanie sprzyjających warunków zewnętrznych do wzmocnienia własnych słabych stron (- +) Utrzymanie się na rynku mimo niesprzyjających warunków zewnętrznych (- -) 19.11.2009 Tworzenie programów w UE 16
Programowanie a cele Wcześniejsze działania Obecna sytuacja sektora. Analiza społecznoekonomiczna Doświadczenia Potrzeby i Problemy. Ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, wyniki, oddziaływanie Cele mają hierarchię (PRIORYTETYZACJA) Od ogólnych do szczegółowych (DRZEWO PROBLEMOWE) Osiągane są dzięki produktom programu, w postaci rezultatów i oddziaływania 19.11.2009 Tworzenie programów w UE 17 Hierarchia celów POTRZEBY Oddziaływanie Cele ogólne Rezultaty Produkty Cele szczegółowe Cele operacyjne Hierarchia celów Nakłady Działania programu 19.11.2009 Tworzenie programów w UE 18
Logika celów 1. Nakłady pozwalają na realizację Działań 2. Działania generują Produkty programu 3. Poprzez osiągnięcie Produktów realizujemy Cele operacyjne programu 4. Produkty powinny przekształcać się w widoczne Rezultaty 5. Poprzez osiągniecie Rezultatów realizujemy Cele szczegółowe programu 6. Wpływ Rezultatów w dłuższym okresie to Oddziaływanie programu (=> Cele ogólne) 19.11.2009 Tworzenie programów w UE 19 Logika celów 1. Fundusze (nakłady) pieniężne pozwalają na realizację Inwestycji (działanie) np. w drogi 2. Dzięki tym Inwestycjom (działanie) powstają km dróg (produkt programu) 3. Dobra infrastruktura drogowa (produkty) przyciąga firmy na dany obszar (cel operacyjny) 4. Większa liczba firm (nagromadzenie produktów) większe obroty na danym obszarze (rezultat) 5. Poprzez działanie firm (rezultat) aktywizuje się dany obszar, przybywają nowe miejsca pracy (Cele szczegółowe) 6. W ciągu kilu lat widocznie wzrasta przedsiębiorczość (Oddziaływanie), dzięki któremu osiągamy rozwój danego obszaru (cel ogólny) 19.11.2009 Tworzenie programów w UE 20
Wybór działań Wcześniejsze działania Obecna sytuacja sektora. Analiza społecznoekonomiczna Doświadczenia Potrzeby i Problemy. Ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, wyniki, oddziaływanie Muszą być odzwierciedleniem analizy SWOT oraz Strategii, a nie odwrotnie! Każde działanie oddzielnie opisane identyfikacja kwalifikowalnych wnioskodawców, kwalifikowalne inwestycje oraz czynności, kryteria kwalifikowalności kryteria selekcji, wskaźniki itd. 19.11.2009 Tworzenie programów w UE 21 Wskaźniki Wcześniejsze działania Obecna sytuacja sektora. Analiza społecznoekonomiczna Doświadczenia Potrzeby i Problemy. Ranking rozbieżności S W O T Cele i priorytety Wybór działań Wskaźniki, wyniki, oddziaływanie Postępy, efektywność i skuteczność => wskaźniki (nakładów i wyników) Wskaźniki na wszystkich poziomach: Wskaźniki oddziaływania Wskaźniki rezultatów Wskaźniki produktów 19.11.2009 Tworzenie programów w UE 22
Cechy wskaźników (SMART) Specyficzne Specific (właściwe np. dla sektora) Mierzalne - Measurable (muszą gdzieś być dane) Adekwatne - Achievable (generalnie osiągalne i stosowne) Realne - Relevant (realistyczne i ważne w danym momencie) Terminowe - Time-related (określone w czasie) 19.11.2009 Tworzenie programów w UE 23 Ewaluacja Niezależna, obiektywna analiza wdrażania, wyników i oddziaływania publicznych interwencji Pozwala ocenić adekwatność programu realistyczność programu (osiągnięcie wskaźników przy danych nakładach) Wykorzystuje monitoring poprzednich działań (o ile jest!) Analizuje kontekst administracyjny i instytucjonalny 19.11.2009 Tworzenie programów w UE 24
Historia ewaluacji Data 1992 1996 marzec 2000 lipiec 2000 grudzień 2000 lipiec 2001 2002 2002 Komisja Europejska przyjmuje metodologię wraz ze strukturą działania pomocowego opartą na konkretnych działaniach, środkach itd. Dobre praktyki i wytyczne dla zarządzania funkcją ewaluacji Biała Księga Koncentracja na wynikach: wzmocnienie ewaluacji działań Komisji Wsparcie reformy zarządzania finansowego Wdrożenie zarządzania opartego na działaniach w Komisji Normy ewaluacji w dobrych praktykach Krok Zmiany w Przepisach Finansowych [SEC (2002) 1605] i Zasadach Wdrażania [SEC (2002) 2342] źródłem podstawowych reguł dotyczących ewaluacji 19.11.2009 Tworzenie programów w UE 25 Miejsce ewaluacji w PCM 19.11.2009 Tworzenie programów w UE 26
Kryteria ewaluacji Adekwatność Wydajność Skuteczność Oddziaływanie Trwałość 19.11.2009 Tworzenie programów w UE 27 Cykle ewaluacji Ex-ante: (przed wdrażaniem programu); jakość i wydajność programowania Średniookresowa: (w trakcie wdrażania); postępy we wdrażaniu programu (nakłady i wyniki) Ex-post: (po wdrożeniu programu); osiągnięcia (nakłady i wyniki) Ocena ciągła: (cały czas); monitoring i ocena postępów wdrażania, (wsparcie dla Instytucji Zarządzających i Komitetu Monitorującego -> programy naprawcze) 19.11.2009 Tworzenie programów w UE 28
Cykle ewaluacji Ewaluacja Ex-ante Ewaluacja Średniookresowa Ewaluacja Ex-post Wdrażanie programu i Monitoring Rezultaty programu i Ewaluacja Oczekiwane Osiągnięte 19.11.2009 Tworzenie programów w UE 29 Logika ewaluacji Potrzeby Problemy Społeczno-ekonomiczne Oddziaływanie Rezultaty/wyniki Cele Nakłady/Środki Działania Produkty Trafność, adekwatność programowanie Ocena/ewaluacja Skuteczność Użyteczność, trwałość oddziaływań Efektywność, wydajność 19.11.2009 Tworzenie programów w UE 30
Kryteria oceny (ewaluacji) Adekwatność i użyteczność (potrzeby i odpowiedzi na nie) Efektywność i skuteczność (osiągnięcie rezultatów i koszt tego) Trwałość (co się stanie, kiedy skończy się finansowanie) Uczestnictwo (partycypacja) (beneficjenci/potrzebujący, grupy docelowe, sposób powstawania projektów) Dostępność (czy są bariery w korzystaniu z projektów?)... w razie potrzeby inne kryteria DO WYBORU PRZEZ EWALUATORA! 19.11.2009 Tworzenie programów w UE 31 Efekty zewnętrzne Punktem odniesienia jest hipoteza kontrfaktyczna - co by było gdyby? (Counterfactual) 1. Dodatkowość (Additionality) na ile projekt wniósł coś czego bez niego nie mogłoby powstać? 2. Efekty straty społecznej (Deadweight) ile funduszy zostało wydanych bez potrzeby? 3. Efekty substytucji (Substitution) jaki jest bilans dobrego i złego? 4. Efekty zniekształcenia (Displacement) na ile problemy rozwiązane w jednym miejscu przyczyniły się do powstania problemów w innym? 5. Efekty mnożnikowe (Multiplier) - czy środki projektu/programu uruchomiły jeszcze inne środki? 6. Efekt podwójnego pomiaru na ile osiągnięte zmiany można przypisać tylko wpływowi danego projektu/programu? 19.11.2009 Tworzenie programów w UE 32
Dodatkowość Dodatkowość osiągnięcia, (bezpośrednio przypisane do programu i nie wystąpiłyby bez programu) musi wziąć pod uwagę przemieszczenie i niezależne efekty Przykład przyznanie dotacji firmie na zakup inwestycyjny, którego nie dokonałaby bez tej dotacji ani ze środków własnych ani ze środków innego programu 19.11.2009 Tworzenie programów w UE 33 Strata społeczna i substytucja Zmiana miałaby miejsce niezależnie od interwencji Przykład firma, która otrzymała dotację na zakup inwestycyjny mogłaby z łatwością uzyskać niskooprocentowany kredyt bankowy, który byłaby w stanie spłacić, niemniej wybrała dotację, ponieważ było ją łatwiej zdobyć na realizację tego zakupu inwestycyjnego 19.11.2009 Tworzenie programów w UE 34
Zniekształcenie (displacement) Problem przesunął się gdzie indziej Przykład firma dostała dotacje na inwestycję, ale druga firma (której zdolność kredytowa nie pozwala na samodzielne sfinansowanie inwestycji) pozostała bez możliwości rozwoju ta druga firma może być w innym województwie, co pogłębia trudności w tym regionie program ta druga firma może być w innej branży, co spowalnia rozwój tego sektora 19.11.2009 Tworzenie programów w UE 35 Synergia Efekty Mnożnikowy środki z projektu zmobilizowały jeszcze inne środki (spoza projektu!) Efekt Synergii środki z projektu ulokowane w danej inwestycji wzmogły efekt innej inwestycji Przykład 1 Dotacja na inwestycję dla danej firmy, powoduje, że jest ona w stanie np. wziąć aktywnie udział w konsolidacji mniejszych przedsiębiorstw w tym regionie Przykład 2 Dzięki dotacji na inwestycję, większa liczba dzieci może uczestniczyć w edukacji przedszkolnej (większa liczba miejsc pracy, większe dochody...) miejsca pracy stworzono nie tylko w tej firmie, ale także downstream albo upstream (bo rośnie efektywność całej gałęzi np. w regionie) 19.11.2009 Tworzenie programów w UE 36
Podwójny pomiar Nie wystarczy zmierzyć przed i po Są przecież inne działania o podobnym wpływie Dla danego programu ważny jest tylko jego efekt, oraz ewentualnie wartość dodana (synergia) ze złożenia (komplementarność) Liczą się efekty netto 19.11.2009 Tworzenie programów w UE 37 Efekty netto - przykład NOWE MIEJSCA PRACY efekt brutto Liczba nowych miejsc pracy utworzonych w obszarze działania programu liczba miejsc pracy które i tak by powstały gdyby programu nie było liczba miejsc pracy które powstałyby gdzieś indziej zamiast tu lub kto inny by je dostał + liczba miejsc pracy z prywatnych inwestycji powstałych na skutek przyciągania i uzupełniania programu z innymi = efekt netto 19.11.2009 Tworzenie programów w UE 38
Kryteria podstawowe pytania 1. Dodatkowość na ile projekt wniósł coś co bez niego nie mogłoby powstać? (PUBLICZNE A UE) 2. Efekty straty społecznej ile funduszy zostało wydanych bez potrzeby? 3. Efekty substytucji jaki jest bilans dobrego i złego? 4. Efekty przeniesienia na ile problemy rozwiązane w jednym miejscu przyczyniły się do powstania problemów w innym? 5. Efekty mnożnikowe - czy środki projektu/programu uruchomiły jeszcze inne środki? Efekty podwójnego pomiaru na ile osiągnięte zmiany można przypisać tylko wpływowi danego działania? 19.11.2009 Tworzenie programów w UE 39