Konkurs Dotacji Fundusze strukturalne na poziomie Narodowej Strategii Spójności ETCP INDEX (European Territorial Cooperation Project INDEX) system monitorowania programów i projektów Celu 3 Europejska Współpraca Terytorialna Raport końcowy z badania Dr Paweł Kościelecki Współpraca: Wojciech Goleman i Dr Sergiej Matjunin Warszawa-Lublin 2008
Spis treści WSTĘP. ZAŁOŻENIA BADANIA I PROCEDURA BADAWCZA...3 0.1 Cel projektu...3 0.2 Procedura badawcza...4 0.3 Grupy tematyczne wskaźników...9 1. PRZEGLĄD PIŚMIENNICTWA PRZEDMIOTU. DEFINICJA WSKANNIKAW...11 2. CHARAKTERYSTYKA PROGRAMAW INTERREG III A I EUROPEJSKIEJ WSPAŁPRACY TERYTORIALNEJ...22 2.1 Charakterystyka programów INTERREG III A...22 2.2 Charakterystyka programów Europejskiej Współpracy Terytorialnej...31 3. ANALIZA SYSTEMU WSKANNIKAW W PROGRAMACH INTERREG III A...35 3.1 Wskaźniki na poziomie projektu...36 3.2 Wskaźniki na poziomie programu...37 4. ANALIZA SYSTEMU WSKANNIKAW W PROGRAMACH EWT...47 4.1 Wskaźniki na poziomie projektu...47 4.2 Wskaźniki na poziomie programu...48 5. PRZYSTAWALNOŚ. WSKANNIKAW PROGRAMAW CELU 1 I CELU 3 OKRESU PROGRAMOWANIA 2007-2013...53 6. INDEKS WSKANNIKAW PROGRAMAW EUROPEJSKIEJ WSPAŁPRACY TERYTORIALNEJ PROPOZYCJA...73 6.1 Wskaźniki charakteryzujące projekty...74 6.2 Wskaźniki produktów...75 6.3 Wskaźniki rezultatu...79 PIŚMIENNICTWO...79
Wstęp. Założenia badania i procedura badawcza 0.1 Cel projektu Celem projektu jest wzmocnienie procesu zarządzania programami, realizowanymi w Polsce w ramach Celu 3 Polityki Spójności: Europejskiej Współpracy Terytorialnej. Do osiągnięcia tego celu ma przyczynić się proponowany ETCP INDEX - system monitorowania projektów wdrażanych w ramach programów Celu 3, realizowanych w Polsce. System będzie także pozwalał na koordynację wdrażanych projektów z projektami, realizowanymi z Regionalnych Programach Operacyjnych w poszczególnych województwach. Pierwszym celem szczegółowym projektu jest dostarczenie odpowiednich narzędzi Instytucjom Zarządzającym oraz instytucji Krajowej dla programów Europejskiej Współpracy Terytorialnej, realizowanych w Polsce, Wspólnym Sekretariatom Technicznym. Narzędzia te mają pomóc w systemie monitorowania projektów oraz pomóc w dostarczaniu odpowiednich danych dla ewaluacji. Drugim celem szczegółowym jest opracowanie metod badania przy pomocy zaproponowanych wskaźników powiązań między projektami, realizowanymi w poszczególnych województwach w ramach programów Celu 3 z programami przede wszystkim regionalnymi. Cel szczegółowy będzie osiągnięty poprzez stworzenie bazy wskaźników dla projektów, wdrażanych w ramach celu 3 Europejska Współpraca Terytorialna. Baza w zamyśle ma posłużyć nie tylko do monitorowania projektów, a w konsekwencji programów UE, ale także skoordynować wdrażane projekty i programy z Regionalnymi Programami Operacyjnymi, a w konsekwencji oceniać ich wzajemną komplementarność i synergię. Przyjęcie takiego zakresu projektu wynikało z jednej zasadniczej przesłanki. Otóż celem strategicznym Narodowej Strategii Spójności jest tworzenie warunków dla wzrostu konkurencyjności gospodarki polskiej opartej na wiedzy i przedsiębiorczości, zapewniającej wzrost zatrudnienia oraz wzrost poziomu spójności społecznej, gospodarczej i przestrzennej. Cel strategiczny osiągany jest poprzez realizację horyzontalnych celów szczegółowych. Jednym z celów horyzontalnych NSS jest Wzrost konkurencyjności polskich regionów i - 3 -
przeciwdziałanie ich marginalizacji społecznej, gospodarczej i przestrzennej. Zasadniczym instrumentem, finansowanym ze środków UE, realizacji tego celu jest 16 programów regionalnych, Program Operacyjny Rozwój Polski Wschodniej oraz wspomniane wyżej programy Europejskiej Współpracy Terytorialnej. Wszystkie finansowane są z EFRR. Zespół aplikujący o dofinansowanie przedmiotowego projektu dostrzega konieczność stworzenia instrumentów, ułatwiających koordynację monitoringu projektów ze wszystkich tych trzech rodzajów programów. System powinien wychodzić od programów, które obejmują największy wachlarz projektów. 0.2 Procedura badawcza 0.2.1. Gromadzenie danych dotyczących wskaźników Krok 1.1. Analiza i zestawienie wskaźników na poziomie projektów, wdrażanych w ramach Programów INTERREG III A Krok ten objął analizę materiałów z Programów: Program Inicjatywy Wspólnotowej INTERREG III A Niemcy (Meklemburgia-PrzedpomorzePBrandenburgiar Polska 2004-2006, Program Inicjatywy Wspólnotowej INTERREG III A Niemcy (Brandenburgiar Polska 2004-2006, Program Inicjatywy Wspólnotowej INTERREG III A Niemcy (Saksoniar- Polska 2004-2006, Program Współpracy Przygranicznej Republika Czeska-Polska INTERREG III A 2004-2006, Program Współpracy Przygranicznej INTERREG III A Polska-Republika Słowacka 2004-2006, Program Sąsiedztwa Litwa-Polska-Rosja (Okręg Kaliningradzkir 2004-2006. Krok ten polegał na kwerendzie źródłowej, dotarciu do wniosków, złożonych do Programów przez polskich beneficjentów, które zostały skierowane do realizacji przez Komitety Sterujące oraz w stosunku do których zostały podpisane umowy o dofinansowanie ze środków Europejskiego Funduszu Rozwoju Regionalnego (INTERREG IIIAr. Materiałem źródłowym były również sprawozdania końcowe z realizacji tych projektów. Zarówno wnioski jak sprawozdania końcowe są w dyspozycji właściwych Instytucji Pośredniczących dla tych programów, to jest Biur Zarządzania Funduszami Europejskimi Urzędów Wojewódzkich w: Olsztynie, Gdańsku, Szczecinie, Gorzowie Wielkopolskim, Wrocławiu, Opolu, a dla programu Współpracy Przygranicznej INTERREG III A Polska-Republika Słowacka 2004-2006 we - 4 -
Wspólnym Sekretariacie Technicznym przy Władzy Wdrażającej Programy Europejskie w Warszawie (ryc. 1r Kwerenda i analiza źródłowa polegały na zidentyfikowaniu wskaźników produktów i rezultatów, stosowanych przez polskich beneficjentów do monitorowania swoich projektów. W przypadku Programu Sąsiedztwa Litwa-Polska-Rosja (Okręg Kaliningradzkir 2004-2006 lista wskaźników została zamknięta i opublikowana we wzorze wniosku. W tym przypadku badanie polegało na stwierdzeniu i wyliczeniu, ile razy w projektach wskaźniki były wykorzystywane (frekwencja wykorzystywania wskaźnikówr oraz zidentyfikowaniu, które ze wskaźników były pomijane przez beneficjentów. Krok 1.2. Analiza i zestawienie wskaźników na poziomie programów, wdrażanych w ramach Programów INTERREG III A Krok ten obejmował analizę materiałów z tych samych Programów, co wymienione w kroku badawczym 1.1 i polegał na kwerendzie źródłowej, dotarciu do dokumentów programowych (Programów oraz ich Uzupełnieńr i zidentyfikowaniu wskaźników produktów i rezultatów, stosowanych przez instytucje zarządzające do monitorowania postępu rzeczowofinansowego. Krok 1. 3. Analiza i zestawienie wskaźników na poziomie projektów, wdrażanych w ramach Programów Europejskiej Współpracy Terytorialnej Krok ten obejmował analizę materiałów z Programów Europejskiej Współpracy Terytorialnej: Niemcy (Meklemburgia-PrzedpomorzePBrandenburgiar Polska 2007-2013, Niemcy (Brandenburgiar Polska 2007-2013, Niemcy (Saksoniar- Polska 2007-2013, Czeska- Polska 2007-2013, Polska-Republika Słowacka 2007-2013, Południowy Bałtyk 2007-2013. Litwa Polska 2007-2013. Krok ten polegał na kwerendzie źródłowej, dotarciu do dokumentów programowych, wytycznych dla beneficjentów, wzorów wniosków i ustaleniu, czy istnieją listy wskaźników, które mają być stosowane przez beneficjentów na poziomie projektu. Krok 1.4. Analiza i zestawienie wskaźników na poziomie programów, wdrażanych w ramach Programów Europejskiej Współpracy Terytorialnej - 5 -
Krok ten obejmuje analizę materiałów z Programów, wymienionych w kroku 1.3 i polega na kwerendzie źródłowej, dotarciu do dokumentów programowych oraz zidentyfikowaniu wskaźników produktów i rezultatów, stosowanych przez instytucje zarządzające do monitorowania postępu rzeczowo-finansowego. Krok 1. 5. Analiza i zestawienie wskaźników na poziomie projektów, wdrażanych w ramach Regionalnych Programów Operacyjnych 2007-2013 Krok ten obejmował analizę materiałów z następujących Programów: RPO Województwa Warmińsko-Mazurskiego 2007-2013, RPO Województwa Pomorskiego 2007-2013; RPO Województwa Zachodniopomorskiego 2007-2013; RPO Województwa Lubuskiego 2007-2013; RPO Województwa Dolnośląskiego 2007-2013; RPO Województwa Opolskiego 2007-2013; RPO Województwa Śląskiego 2007-2013; RPO Województwa Małopolskiego 2007-2013; RPO Województwa Podkarpackiego 2007-2013. Krok ten polegał na kwerendzie źródłowej, dotarciu do dokumentów programowych, wytycznych dla beneficjentów, wzorów wniosków i ustaleniu, czy istnieją listy wskaźników, które mają być stosowane przez beneficjentów na poziomie projektu. Krok 1.6. Analiza i zestawienie wskaźników na poziomie programów, wdrażanych w ramach Regionalnych Programów Operacyjnych Krok ten polega na kwerendzie źródłowej, dotarciu do dokumentów programowych, wymiotnych w kroku badawczym 1.5, a następnie zidentyfikowaniu wskaźników produktów i rezultatów, stosowanych przez instytucje zarządzające do monitorowania postępu rzeczowo-finansowego. 0.2.2 Agregacja danych i tworzenie list wskaźników Wstępna agregacja danych polega na stworzeniu zagregowanych list wskaźników. Agregacja wskaźników polega na sporządzeniu list wskaźników produktów, rezultatów i oddziaływań (opcjonalnie, dla programówr, które przynajmniej raz zostały użyte bądź znajdują się na liście indykatywnych wskaźników. Krok 2.1 Lista wskaźników na poziomie projektów, stosowanych w programach INTERREG III A - 6 -
W tabeli zestawiono z list wskaźników, ustalonych w kroku 1.1 jednolitą listę wskaźników produktów i rezultatów. Listę taką sporządzano poprzez zestawienie wszystkich indykatorów oraz usunięcie z niej wskaźników powtarzających się. Krok 2.2 Lista wskaźników na poziomie programów, stosowanych w programach INTERREG III A W tabeli zestawiono z list wskaźników, ustalonych w kroku 1.2 jednolitą listę wskaźników produktów i rezultatów na poziomie programów. Listę taką sporządzono poprzez zestawienie wszystkich indykatorów oraz usunięcie z niej wskaźników powtarzających się lub nachodzących się pod względem zakresu tematycznego. Krok 2. 3 Lista wskaźników na poziomie projektów, stosowanych w programach EWT W tabeli badacze mieli zestawić z list wskaźników, ustalonych w kroku 1.3 jednolitą listę wskaźników produktów i rezultatów. Listę taką miano sporządzić poprzez zestawienie wszystkich indykatorów oraz usunięcie z niej wskaźników powtarzających się. Jednakże brak odpowiednich dokumentów i źródeł uniemożliwił stworzenie pierwotnej listy wskaźników, zatem pominięto krok badawczy 1.3 i 2.3 Krok 2. 4 Lista wskaźników na poziomie programów, stosowanych w programach EWT W tabeli zestawiono z list wskaźników, ustalonych w kroku 1.4 jednolitą listę wskaźników produktów i rezultatów na poziomie programów. Listę taką sporządzono poprzez zestawienie wszystkich indykatorów oraz usunięcie z niej wskaźników powtarzających się lub nachodzących się pod względem zakresu tematycznego. Krok 2. 5 Lista wskaźników na poziomie projektów, stosowanych w programach RPO 2007-2013 W tabeli zestawiono z list wskaźników, ustalonych w kroku 1.5 jednolitą listę wskaźników produktów i rezultatów. Listę taką sporządzono poprzez zestawienie wszystkich indykatorów oraz usunięcie z niej wskaźników powtarzających się. Krok 2. 6 Lista wskaźników na poziomie programów, stosowanych w RPO 2007-2013 W tabeli wprowadzono z list wskaźników, ustalonych w kroku 1.6 jednolitą listę wskaźników produktów i rezultatów na poziomie programów. Listę taką sporządzono się poprzez - 7 -
zestawienie wszystkich indykatorów oraz usunięcie z niej wskaźników powtarzających się lub nachodzących się pod względem zakresu tematycznego. Krok 2. 7 Krytyka źródłowa zestawień wskaźników Po wykonaniu zestawień w kroku badawczym 2.1-2.2, 2.4-2.6, badacze dokonali ich analizy pod kątem analizy SMART oraz kryteriów z Laeken. W analizie SMART ocenia się czy: 1r wskaźniki są konkretne, to znaczy czy odnosi się do rezultatu, celu szczegółowego lub celu ogólnego, 2r czy są mierzalne w sposób ilościowy i jakościowy, 3r czy wskaźniki są dostępne po uzasadnionych kosztach, 4r czy zaspokajają one potrzeby informacyjne samej instytucji aplikującej i instytucji monitorującej projekt, 5r czy pozwalają określić horyzont czasowy osiągnięcia wartości wskaźnika. Druga faza oceny zostały sformułowana na podstawie portfela cech wskaźników, określonych przez tak zwaną grupę z Laeken 1. Wskaźniki powinny: 1r ujmować istotę problemu - oznacza to, iż zadaniem wskaźników wychwycenie esencji problemu, 2r posiadać jasną normatywnie akceptowalną interpretację. Akceptowalna interpretacja oznacza, iż wskaźnik charakteryzuje się intuicyjną trafnością oraz ma postać pozwalającą na ustanawianie planowanych wartości docelowych i ocenę stopnia ich realizacji, 3r być odporne na zniekształcenia to znaczy: sprawdzone pod względem statystycznym i oparte na wiarygodnych danych nie poddanych arbitralnym korektom, 4r być odporne na manipulację, zwłaszcza polityczne. Za wskaźnik odporny uznaje się taki, który zmienia wartość, jeśli interwencja przynosi efekty, da się powiązać z działaniami i nie powinien pozwalać na manifestowanie pozornych efektów. 1 ATKINSON, CANTILLON B, MARLIER, NOLLAN 2002-8 -
0.2.3. Budowa indeksu Krok. 3.1 Budowa indeksu EWT: listy uniwersalnych wskaźników dla EWT na poziomie programu Badacze dokonali scalenia list wskaźników, stosowanych dotychczas na poziomie programu w Programach INTERREG III A i w programach EWT i wskazali przez to kierunki rozwoju systemu wskaźników. 0.3 Grupy tematyczne wskaźników Kluczowy był podział merytoryczny wskaźników, według osi priorytetowych oraz rodzajów projektów. Ze względu na różny podział Regionalnych Programów Operacyjnych, jak też duże różnice w podziale tematycznym badanych programów, finansowanych, zarówno z Inicjatywy Wspólnotowej INTERREG III, jak i Celu 3: Europejska Współpraca Terytorialna, zrezygnowano także z przypisywania wskaźników do poszczególnych osi priorytetowych. Na podstawie podziałów programów udało się wydzielić następujące grupy tematyczne: Wsparcie przedsiębiorczości obejmująca projekty skierowane do firm, osób prowadzących działalność gospodarczą (za wyjątkiem projektów szkoleniowychr oraz wsparcie sektora B+R Transport obejmująca projekty z zakresu budowy i modernizacji sieci transportu kołowego, szynowego, wodnego oraz taboru, a także infrastruktury ICT Energetyka obejmująca projekty z zakresu modernizacji sieci energetycznych, rozwoju systemów wykorzystania energii odnawialnej oraz promocji tejże energii Ochrona środowiska obejmująca także projekty z zakresu ochrony przyrody i form chronionych Kultura i dziedzictwo kulturowe grupa obejmująca projekty realizowane bezpośrednio w instytucjach kultury i wobec obiektów zabytkowych Turystyka grupa projektów z zakresu infrastruktury i promocji, skierowane bezpośrednio do turystów lub nastawione na wzrost ruchu turystycznego, a których nie można było przypisać do grupy: ochrona środowiska iplub kultura i dziedzictwo kulturowe - 9 -
Zdrowie i sprawy społeczne grupa ta obejmuje projekty z zakresu infrastruktury zdrowia, bezpieczeństwa zdrowotnego, a także patologii społecznych, w tym bezdomności i bezrobocia (poza projektami szkoleniowymir Rozwój zasobów ludzkich projekty związane z rozwojem szkolnictwa, edukacji, projekty szkoleniowe, dydaktyczne Współpraca sieciowa obejmująca ponadsektorowe planowanie przestrzenne oraz wdrażanie przekrojowych strategii. Ze względu na przestrzenny charakter tej grupy projektów włączono do niej również projekty z zakresu rozwoju obszarów wiejskich, obecne szczególnie w programach na granicy polsko-niemieckiej w perspektywie finansowej 2000-2006. - 10 -
1. Przegląd piśmiennictwa przedmiotu. Definicja wskaźników Po raz pierwszy pojęcie wskaźnika zostało użyte w 1942 r. w pracy S.S. Dodda 2. Intensywna dyskusja nad problematyką stosowania wskaźników w zarządzaniu politykami publicznymi datuje się od lat pięćdziesiątych i sześćdziesiątych XX w. 3 i była rozwijana systematycznie od lat siedemdziesiątych XX w. 4 Metodologia tworzenia i stosowania wskaźników (zwanych dalej także indykatoramir koncentrowała się przede wszystkim nad wskaźnikami socjalnospołecznymi i była powiązana z programami publicznymi, mającymi na celu poprawę sytuacji społecznej i socjalnej wybranych grup społecznych w Stanach Zjednoczonych i Wielkiej Brytanii. Piśmiennictwo na temat wskaźników jest ogromne 5 i daleko wykracza poza zakres niniejszego raportu. Nauką przewodnią zajmującą się pojęciem i zastosowaniem wskaźników jest i pozostaje socjologia, także w Polsce. Zagadnieniem tym zajmował się w naszym kraju między innymi S. Nowak i T. Pawłowski. 6 W Polsce zagadnienie wskaźników w politykach publicznych jest szczególnie obecne od 2004 r., od momentu akcesji Polski do Unii Europejskiej i wdrażania programów, finansowanych ze środków Funduszy Strukturalnych. To powoduje, iż zagadnienie to jest w naszym kraju pod szczególnym wpływem metodologicznym Komisji Europejskiej, tak w okresie programowania 2004-2006 7, jak w obecnym okresie budżetowym (2007-2013r. Czołowymi badaczami zajmującymi się obecnie problematyką wskaźników i ich zastosowaniem w zarządzaniu i oceną programów, finansowanych ze środków publicznych pozostają J. Górniak i K. Keler 8. Zastosowanie wskaźników do monitorowania i ewaluacji funduszy strukturalnych stało się praktyką w połowie lat dziewięćdziesiątych. Przygotowany przez Komisję w 1999 roku dokument roboczy dotyczący wskaźników dla monitoringu i ewaluacji przyczynił się do wyjaśnienia stosowanej terminologii i stanowił punkt odniesienia. Okres programowy 2000-2006 przyniósł znaczący postęp w systematycznym stosowaniu wskaźników we wszystkich 2 3 4 5 6 7 8 DODD 1942 LAZARSFELD 1957; TENŻE 1968; BAUER 1966 Np. LAND 1975 GÓRNIAK, KELER 2007 NOWAK 1965; 2007; PAWŁOWSKI 1969 KOMISJA EUROPEJSKA [1999] GÓRNIAK 2007; GÓRNIAK, KELER 2007, CI SAMI 2008A; 2008B - 11 -
programach finansowanych w ramach funduszy strukturalnych. System wskaźników działał lepiej, przyczyniając się do bardziej skutecznego zarządzania programem 9. W przypadku programów INTERREG III oraz Europejskiej Współpracy Terytorialnej, liczba opracowań na temat wskaźników jest dość skąpa. Poza dokumentami metodycznymi Komisji Europejskiej z poprzedniego okresu programowania 10, większym opracowaniem pozostaje studium wykonane na zlecenie INTERACT, dotyczące wskaźników, stosowanych w programach INTERREG III B i INTERREG III C oraz ewaluacja, a więc mające nieco ograniczone zastosowanie do naszych rozważań oraz strategia średniookresowa programów INTERREG 11. W przypadku Polski nie ma w zasadzie żadnych dotychczas opracowań na temat systemu wskaźników programów INTERREG III, zwłaszcza komponentu A oraz Europejskiej Współpracy Terytorialnej. W pewnym stopniu zagadnienia tego dotykała jedynie ewaluacja on-going, prowadzona w 2007 r. dla Programu Sąsiedztwa Polska-Białoruś-Ukraina INTERREG IIIAPTacis CBC, prowadzona z inicjatywy Stowarzyszenia Euroregionu Karpacki Polska, w której przedstawiono krytykę systemu wskaźników na poziomie programowym i projektowym 12. Co ciekawe, w dostępnych już dla programów transgranicznych Europejskiej Współpracy Terytorialnej ewaluacjach ex-ante i opracowaniach szacunkowych zagadnieniu wskaźników nie poświęca się praktycznie w ogóle uwagi lub kwituje się ją ogólnikami 13. Czym jest wskaźnikc Według S. Nowaka wskaźnikiem zdarzenia (własności) Z to takie zdarzenie (taka własność) W, że stwierdzenie jej istnienia, pojawienia się lub stopnia intensywności bądź faktycznie jest wykorzystane jako przesłanka, bądź zasadnie nadaje się na przesłankę wnioskowania, iż w określonych przypadkach z pewnością, w określonym prawdopodobieństwem lub przynajmniej prawdopodobieństwem wyższym niż przeciętne wystąpiło zdarzenia (własność) Z 14. Własność lub zdarzenie wskazywane przez wskaźnik to indicatum 15, zaś sam element wskaźnikujący (pokazującyr to definiens. Podobną definicję 9 10 11 12 13 KOMISJA EUROPEJSKA 2006 KOMISJA EUROPEJSKA 2000 BACHTLER, TAYLOR, OLEJNICZAK 2005; FIORINI, BUSCEMI, ANGORI 2006 CYMBAREWICZ, KOŚCIELECKI 2007 Por. KÁRÁSZ 2006; WAGNER 2007: Projekt programu przewiduje stały monitoring oparty na wskaźnikach. Według ocen ewaluatorów ex-ante zaproponowany system wskaźników oferuje w tym zakresie podstawę merytorycznie uzasadnioną i możliwą do przeprowadzenia z punktu widzenia nakładów administracyjnych. 14 15 NOWAK 2007 PAWŁOWSKI 1969-12 -
przyjmują także wspomniani wcześniej J. Górniak i K. Keler. Również oni, za S. Nowakiem rozróżniają kilka kategorii wskaźników, głównie natury metodologicznej. Są to: 1r wskaźniki definicyjne 2r wskaźniki empiryczne 3r wskaźniki inferencyjne. O wskaźniku definicyjnym mówimy wówczas, gdy między zjawiskiem wskaźnikowanym a jego wskaźnikiem zachodzi relacja tożsamości, czyli indicatum jest w zasadzie definiensem. Wskaźniki korelacyjne (empiryczner stosowane są wtedy, gdy zjawisko wskaźnikowane ma charakter obserwowalny, związek miedzy zjawiskiem a wskaźnikiem ma charakter empirycznej korelacji, wskaźnik może stanowić część definiensa (wskaźniki korelacyjny wewnętrzny. Wskaźnik może nie wchodzić w skład definiensa (wskaźniki korelacyjny zewnętrznyr np. liczba wdrożonych procedur jako wyznacznik efektywności instytucji publicznych. Wskaźniki inferencyjne z kolei stosuje się gdy zjawisko wskaźnikowane nie jest obserwowalne, wskaźnik nie jest definiensem (elementem definicjir pojęcia, zaś z zajścia wskaźnika wnioskujemy o zajściu zjawiska wskaźnikowanego. Taki charakter mają wskaźniki postaw i innych stanów wewnętrznych badanych osób lub kondycji instytucji publicznych. W przypadku Komisji Europejskiej, podejście do wskaźników w definicji ma wyraźnie charakter praktyczny: Wskaźnik może być zdefiniowany jako miernik wyznaczonego celu, zmobilizowanych zasobów, osiągniętego efektu, miernik jakości lub zmienna kontekstowa. Wskaźnik powinien składać się z definicji, wartości oraz jednostki miary 16. Dużo uwagi przywiązuje się wskaźnikom w ogólnodostępnych podręcznikach komisyjnych, poświęconych przede wszystkim ewaluacji 17. Dużo uwagi poświęca temu zagadnieniu Evalsed. Wskaźnik może być według autorów przewodnika definiowany jako sposób pomiaru osiągania celów operacyjnych, wykorzystania zasobów i osiągania efektów, miarę jakości i zmiennych kontekstowych. Wskaźnik dostarcza wymiernych informacji, pomocnych aktorom zaangażowanym w interwencję publiczną do komunikowania, negocjowania lub 16 KOMISJA EUROPEJSKA 2006. Co ciekawe, w okresie 2000-2006 Komisja Europejska nie wypracowała definicji wskaźników (por. Komisja Europejska [1999], odnosząc ją wprost do MEANS 1998 17 MEANS 1998, THE EVALUATION 2003, The GUIDE [2008]. Szerzej na temat różnic OLEJNICZAK 2008. - 13 -
podejmowania decyzji. W ramach ewaluacji, najważniejsze wskaźniki są powiązane z kryteriami sukcesu interwencji publicznej. Aby skutecznie wykorzystywać wskaźniki, powinny one mieć swoją określoną charakterystykę: 1r definicja wskaźnika powinna być powiązana z celami strategicznymi polityki, celami taktycznymi interwencji oraz wartościami docelowymi wskaźników (przy czym wskaźnik jest bardziej pomocny, jeżeli cele taktyczne są wpisane w wartości docelowe wskaźników lub etapy osiągania tych wartościr 18 2r wskaźnik powinien być mierzony regularnie. Pomaga to w uzyskaniu serii informacji, zgodnymi z definicją wskaźnika. Idealne informacje to takie, które bezpośrednio wynikają z wdrożenia lub przyjęcia interwencji. Czasami zdarza się, iż interwencja wymaga gromadzenia nowych danych, które nie zostały przewidziane w początkowej fazie wdrażania programu. 3r wskaźnik mierzony jest w sposób wiarygodny. Na przykład, dla wskaźników produktu i części rezultatu pomiaru dokonuje się na poziomie projektu i wprowadza się jedynie system kontroli i weryfikacji tych danych. Dla wskaźników oddziaływania, lepiej jest, by dane były gromadzone niezależnie od projektów. W praktyce jednak wskaźniki rzadko spełniają powyższe trzy charakterystyki i stanowią raczej zestaw informacji, pochodzących z różnych źródeł, w tym: danych administracyjnych, źródeł pierwotnych, pochodzących od interesariuszy, źródeł zastanych oraz nakładów poniesionych w proces programowania. Wskaźniki zawierać powinny informacje służące tak monitoringowi, jak ewaluacji programu (interwencji publicznejr, na przykład wskaźnikiem typowo monitorującym jest wskaźnik w programie sfinansowano szkolenia dla 1200 bezrobotnych, zaś wskaźnik służący ewaluacji uznać należy wskaźnik 75% uczestników szkolenia deklaruje, iż była zadowolona lub bardzo zadowolona ze szkoleń, sfinansowanych w programie. Dobry wskaźnik powinien gromadzić proste informacje, łatwo zrozumiały i komunikatywny. Jest to warunek niezbędny, ale nie przesądzający o jakości wskaźnika. 18 Na zagadnienie różnicy między pojęciami celu strategicznego (goalsr, operacyjnegoptaktycznego (objectivesr i osiągania wartości docelowych wskaźników (targetsr, co na język polski przekłada się jako cele zwrócili uwagę J. GÓRNIAK, K. KELER 2007-14 -
Wskaźnik powinien mieć także w danym czasie zmiany swojej wartości. Zmiany te ustanawiają trendy 19. Po co w ogóle stosuje się wskaźniki C Przedsięwzięcia, finansowane z funduszy publicznych to projekty, podlegające powszechnie stosowanym standardom opisu działań, uzasadnień podejmowania interwencji publicznej, ale także ich mierzenia. W swojej pracy Re-inventing government, Osborne i Gaebler z 1992 r. wprowadzają uzasadnienie mierzenia efektów projektów, programów i interwencji publicznych: 1. Co da się zmierzyć, będzie zrobione 2. Jeśli nie mierzysz efektów, nie odróżnisz sukcesu od porażki 3. Jeśli nie możesz zobaczyć sukcesu, nie możesz go nagrodzić 4. Jeśli nie możesz nagrodzić sukcesu, prawdopodobnie nagrodzisz porażkę 5. Jeśli nie umiesz zobaczyć sukcesu, nie potrafisz wyciągnąć z niego nauki 6. Jeśli nie możesz rozpoznać porażki, nie dasz rady jej skorygować 7. Jeśli potrafisz zaprezentować efekty, możesz pozyskać poparcie społeczne 20. W piśmiennictwie przedmiotu można wyróżnić trzy zasadnicze podejścia do roli garnituru wskaźników. Po pierwsze wskaźniki to narzędzie badań porównawczych, ukazywania różnic, zmienności zjawisk i procesów społecznych. Po drugie wskaźniki pozwalają na raportowanie społeczne, czyli ilustrowania zachodzących zjawisk i procesów grupom społecznym. Po trzecie i najważniejsze z punktu widzenia niniejszych badań wskaźniki pozwalają na badanie wpływu danej interwencji publicznej, czyli powiązania raportowania z konstruowaniem celów tej interwencji 21. Z pojęciami wskaźników w projekcie nierozerwalnie wiąże się definicja logiki interwencji publicznej, ciąg przyczynowo-skutkowy. Do logiki interwencji programu należą cztery elementy projektu. Stosowane są różne nazewnictwa tych elementów, niemniej jednak zakres definicyjny pozostaje dokładnie ten sam. W klasycznych logikach projektów i programów rozróżnia się pojęcie działań, realizowanych w programie, pojęcie produktu (outputr, rezultatu programu (resultr oraz jego oddziaływania (impactr. W nowej 19 20 21 Na podstawie The GUIDE [2008] OSBORNE, GAEBLER 1993 ANDERSON, BROWN, SCARUPA 2003-15 -
nomenklaturze w okresie 2007-2013, zmodyfikowano nazewnictwo logiki interwencji, pozostawiając w praktyce takie samo ich znaczenie. Spotyka się także inne nazewnictwo, wynikające z innych tradycji oraz nieco odmiennego podejścia metodologicznego 22. W niniejszym opracowaniu celowo zrezygnowano w opisu diagnozy wyjściowej oraz uzasadnienia wdrożenia programu lub projektu. Niemniej należy zauważyć, iż właściwe wskaźnikowanie sytuacji wyjściowej pozwala na odpowiednie porównanie wartości tych wskaźników po zaprzestaniu programu i sprawdzenie jej ewentualnego wpływu na zmianę. Pierwszym elementem są podejmowane w programie działania (activitiesr. Elementarnym działaniem na poziomie programu jest pojedynczy projekt. W przypadku samego projektu elementarnym działaniem jest usługa, dostawa lub robota budowlana. Na poziomie działań właściwymi wskaźnikami są wskaźniki nakładu (input, resource indicatorr. Dostarczają one informacji na temat finansowych, ludzkich, materiałowych, organizacyjnych i regulacyjnych zasobów, niezbędnych do wdrożenia programupprojektu. Za zasoby te odpowiadają niejako wspólnie instytucje alokujące zasoby, jak też je wdrażające. Wskaźniki na tym poziomie dostarczane są przede wszystkim przez system monitoringu. Przykłady takich wskaźników to: całkowity budżet programu i relacja dofinansowania ze środków UE, roczna absorpcja budżetu (stopień wydatkowania środkówr, liczba osób pracujących przy wdrażaniu programu, liczba instytucji, zaangażowanych w jego zarządzanie. ProduktyP rezultaty (results, outputsr i wskaźniki produktuprezultatu reprezentują materialne efekty działań w programiepprojekcie. Inaczej rzec ujmując, są to wszystkie te elementy, zakupione za środki publiczne. Za ten element interwencji publicznej odpowiada ten operator (instytucjar sprawozdaje się z niego przez system monitoringu. Przykłady wskaźników to: liczba kilometrów zbudowanych dróg (km br, obszar zurbanizowany poddany rewitalizacji (har, pojemność instalacji do oczyszczania wód, liczba szkoleń 23 22 O tym szerzej OLEJNICZAK 2008. 23 The GUIDE [2008] podaje jako wskaźnik produktu również liczbę uczestników szkoleń. Autorzy niniejszego opracowania uważają, iż na jednym poziomie mierzenie liczby szkoleń i liczby uczestników nie jest właściwe. Liczba uczestników szkoleń jest miarą wykorzystywania produktu jakim jest samo szkolenie mierzone godzinami lub dniami szkoleniowymi. W konsekwencji miarą produktów infrastrukturalnych powinna być liczba osób, jeżdżących po nowych lub zmodernizowanych drogach. W konsekwencji zatem liczba osób przeszkolonych powinna być miarą osiągania celu szczegółowegoprezultatu. Potwierdza to dokument roboczy (por. KOMISJA EUROPEJSKA 2006r - 16 -
Miara osiągania celu szczegółowego lub inaczej rezultat (specific objective, resultsr to fizyczny, bezpośredni wpływ zrealizowanych działań Puzyskanych produktów na bezpośrednich beneficjentów osiąganym natychmiast po zakończeniu realizacji programupprojektu. Wskaźnik będący miarą osiągnięcia celu szczegółowego jest zatem związany bezpośrednio z natychmiastowymi efektami projektu i dostarcza informacji o zmianach, jakie nastąpiły w wyniku wdrożenia projektu u bezpośrednich beneficjentów pomocy. Określany jest poprzez opis stanów pożądanych i badany także przy pomocy dostępnych miar i wag lub jednostek matematycznych, podobnie jak produkt. W prawidłowo skonstruowanej logice projektu, wskaźniki osiągnięcia celu szczegółowegoprezultatu są inne niż wskaźniki produktu. Wskaźniki osiągnięcia celu szczegółowego mierzy się przeważnie jako wyraz zmiany stanu negatywnego na lepszy w porównaniu z rokiem bazowym (rokiem 0 r (np. w %r. Wskaźniki powinny być zbierane w pierwszej kolejności przez operatorów interwencji (przez instytucje zarządzające na poziomie programu na podstawie danych od zarządzających projektamir i dotyczyć bezpośrednich beneficjentów lub grup docelowych, np: czas zaoszczędzony przez użytkowników dróg, kwalifikacje zdobyte w trakcie szkoleń, wykorzystanie nowych produktów, wyprodukowanych przez firmę, poziom satysfakcji przedsiębiorców, którzy korzystali z doradztwa. Rezultaty mogą być liczone w tym samym czasie, kiedy to beneficjenci przyjmują wsparcie lub dostawy, usługi lub odbierają roboty budowlane, współfinansowane z programu Przez miarę osiągania celów ogólnych lub oddziaływań (overall objectives, impactsr projektu rozumie się długofalowe konsekwencje zrealizowanego przedsięwzięcia dla bezpośrednich adresatów po zakończeniu ich udziału w projekcie lub po ukończeniu danej inwestycji, a także pośrednie konsekwencje dla innych adresatów. Oddziaływania i cele ogólne odnosi się do konsekwencji danego projektu wykraczających poza natychmiastowe efekty dla bezpośrednich beneficjentów, np. wpływ projektu na sytuację społeczno-gospodarczą w pewnym okresie od zakończenia jego realizacji, wzrost poziomu bezpieczeństwa, zwiększony przepływ osób, wzrost aktywności społeczno-ekonomicznej. Drugi rodzaj oddziaływań dotyczy tych wszystkich efektów, które dotyczą instytucji lub grup nie będących beneficjentami projektu lub programu. Warto przy tym wskazać, iż oddziaływania mogą mieć charakter rynkowy (na przykład wpływ interwencji na dostawców lub podwykonawców - 17 -
głównego beneficjentar jak charakter pozarynkowy. Ten ostatni bardzo często nie da się ująć w wymiarze finansowym, stąd szczególny charakter tych oddziaływa stosuje się w opisie kontekstu interwencji publicznej. Ze względu na długi horyzont czasowy obserwacji oddziaływań, często nie można ich uchwycić w trakcie bieżącego zarządzania i monitorowania interwencją publiczną. Stąd wskaźniki oddziaływania są mierzone jedynie od czasu do czasu, zazwyczaj w trakcie ewaluacji. Podsumowując, logika interwencji jest ciągiem zdań opisujących wewnętrzny związek przyczynowo-skutkowy między działaniem i fizycznie mierzalnymi ich produktami. Te z kolei są konsumowane w procesie osiągania celu szczegółowego projektu (rezultatur. Osiągnięcie tego celu ma wprost przyczynić się do osiągnięcia celu ogólnego projektu (oddziaływańr. Do ilustracji logiki interwencji służy matryca logiczna. Stanowi ona swoistą mapę projektupprogramu i pozwala w jednym miejscu zebrać wszystkie elementarne informacje o przedsięwzięciu (ryc. 2r. Matryca logiczna jest bardzo wygodnym narzędziem do gromadzenia danych i przenoszenia ich na późniejszym etapie do odpowiednich działów i punktów w formularzu wniosku. W przypadku wskaźników rezultatów w projektach, ich wyjątkowość polega na tym, iż nie wskazują dynamiki procesu i zmian w sytuacji (kontekścier wskaźnikowanej lecz ma pomóc w zliczeniu fizycznych rezultatów - produktów usług, dostaw i robót budowlanych. Wskaźniki celu szczegółowego mogą mieć charakter mieszany: to znaczy ujmować wymiary liczbowy sposobu wykorzystania rezultatu (np. liczba osób przeszkolonych w okresie realizacji projektur jak i ujmować pewne zjawiska dynamicznie (np. wzrost liczby osób, które posiadły wiedzę o.% do końca realizacji projektur. - 18 -
Logika interwencji Wskaźniki Weryfikacje wskaźników Zagrożenia Cele ogólne Cel ogólny projektu stanowiący efekt szerszego oddziaływania efektu osiągnięcia celu szczegółowego dla grupy docelowej i dookoła niej (oddziaływanier Cele szczegółowe Cel bezpośredni projektu, który stanowi odzwierciedlenie problemu grupy docelowej i który jest osiągany poprzez wykorzystanie bezpośredniego efektu dostaw, robót i usług (rezultatr Obiektywnie weryfikowalne Wskaźniki celu ogólne Wskaźniki z jednostkami miar, które enumeratywnie określają liczbowy wymiar osiągnięcia celu ogólnego docelowej Obiektywnie weryfikowalne Wskaźniki celu szczegółowego Wskaźniki z jednostkami miar, które enumeratywnie określają liczbowy wymiar osiągnięcia celu bezpośredniego (rezultatu( źródła informacji o wartościach wskaźnika Instytucja sprawdzająca wskaźniki oddziaływania źródła informacji o wartościach wskaźnika Dane dla obliczenia wskaźników rezultatu Potencjalne zagrożenia dla oddziaływania programu, przy założeniu, że produkt i rezultat projektu został osiągnięty Produkty Bezpośredni efekt dostaw, robót i usług Podejmowane działania Dostawy, roboty i usługi, realizowane w projekcie Obiektywnie weryfikowalne wskaźniki produkty Wskaźniki z jednostkami miar, które enumeratywnie określają liczbowy wymiar bezpośredniego efektu dostaw, robót i usług Środki i zasoby własne (wskaźniki wkładur źródła informacji o wartościach wskaźnika Dane dla obliczenia wskaźników produkt Budżet programu (wskaźnik wkładur Potencjalne zagrożenia dla osiągnięcia rezultatu, przy założeniu, że produkt został osiągnięty Potencjalne zagrożenia dla sprawnej realizacji działań Warunki początkowe (diagnozar Ryc. 2 Wzór matrycy logicznej interwencji publicznej. Opr. własne Portfel wskaźników powinien być rozsądny pod względem liczby obejmowanych przez siebie wymiarów, ale powinien ujmować możliwie wszystkie kluczowe obszary problemowe danego zagadnienia. Portfel wskaźników powinien być jak najbardziej przejrzysty, zrozumiały. Warto przy tym pamiętać, iż powodzenie projektów mierzone może być nie tylko przez klasyczne wskaźniki produktoweprezultatu (output indicatorsr. The Guide wskazuje na wiele typów indykatorów, w zależności od ich podziału funkcjonalnego. I tak wskaźniki możemy podzielić: 1r w zależności od zmienności można rozróżnić wskaźniki całościowe, częściowe oraz kompleksowe, 2r w zależności od procesu zdobywania informacji: wskaźniki podstawowe, pochodne oraz złożone, 3r w zależności od stopnia porównywalności informacji: szczegółowe, ogólne i wskaźniki podstawowe (core indicatorsr, 4r w zależności od źródła informacji można je podzielić na wskaźniki kontekstowe i programowe, - 19 -
5r w zależności od fazy wdrażania programu: wskaźniki nakładów, produktów, rezultatów i oddziaływań 6r w zależności od kryteriów ewaluacyjnych: wskaźniki adekwatności, efektywności, użyteczności i wykonalności (skutecznościr 7r w zależności od sposobu pomiaru i wykorzystania informacji: wskaźniki monitoringu i ewaluacji 24. W dokumentach roboczych metodologicznych, wytyczających kierunki budowy pakietu wskaźników w latach 2007-2013 zwraca się uwagę przede wszystkim na podział wskaźników na indykatory programowe i kontekstowe. Podczas gdy wskaźniki kontekstowe dostarczają ilościowej informacji na temat sytuacji społeczno-gospodarczej i mogą wyrażać zidentyfikowane potrzeby w ujęciu ilościowym, wskaźniki programowe dotyczą efektu interwencji. Mierzą, do jakiego stopnia oczekuje się, że zamierzone efekty programu zmienią środowisko społeczno-gospodarcze lub zachowanie podmiotów w tym środowisku działających. Wyrażają tym samym skwantyfikowane cele interwencji. Na ten podział nakłada się inny. Komisja wskazuje bowiem na konieczność zbudowania systemu wskaźników kluczowych. Wskaźniki, wskazane przez Komisję na specjalnej liście:, powinny zostać włączone - tam gdzie jest to wskazane - do systemu wskaźników programowych w ramach każdego z programów operacyjnych. Lista ta została utworzona tak, by odzwierciedlić priorytety wspólnotowe, które zostały zarysowane w Strategicznych Wytycznych Wspólnoty oraz strukturę kodyfikacji interwencji (rozporządzenie implementacyjne nr 1828/2006). Informacja powinna być uaktualniana w raportach rocznych, najlepiej, aby była zagregowana na poziomie programów operacyjnych (bądź NSRO, o ile to możliwe). Państwa członkowskie powinny wykorzystać informacje dostępne w momencie akceptowania projektów (zakładane produkty) 25. W przypadku współpracy transgranicznej wyróżniono następujące wskaźniki kluczowe (ryc. 3r. 24 25 Tamże KOMISJA EUROPEJSKA 2006-20 -