Główne cele badania CEL OGÓLNY CELE SZCZEGÓŁOWE...4. Metody i techniki badawcze...4

Transkrypt

1 Adaptacja metodologii pomiaru efektu netto interwencji publicznych do potrzeb sektora infrastruktury transportowej Raport końcowy Akademia Leona Koźmińskiego

2 SPIS TREŚCI: Główne cele badania CEL OGÓLNY CELE SZCZEGÓŁOWE...4 Metody i techniki badawcze KONCEPCJA BADANIA METODOLOGIA I ZAKRES BADANIA WARTOŚĆ DODANA WYNIKAJĄCA Z ZASTOSOWANEJ METODY ETAPY BADANIA...7 BieŜący stan wiedzy w zakresie zagadnienia badawczego POTRZEBY EWALUACYJNE W OBSZARZE INFRASTRUKTURY BIEŻĄCY STAN WIEDZY METODY STOSOWANE PRZY EWALUACJI PROJEKTÓW/PROGRAMÓW Z ZAKRESU INFRASTRUKTURY TRANSPORTOWEJ SZACOWANIE EFEKTU NETTO INTERWENCJI PUBLICZNYCH W ZAKRESIE OCHRONY ŚRODOWISKA ASPEKT STATYSTYCZNY BADANIA EFEKTU NETTO ZASTOSOWANIE PROPENSITY SCORE MATCHING (PSM)...21 Realizacja badania KONCEPCJA SZACOWANIA EFEKTU NETTO INTERWENCJI PUBLICZNYCH NA PRZYKŁADZIE PROJEKTU PRZEBUDOWA SZCZEGÓLNIE NIEBEZPIECZNYCH SKRZYŻOWAŃ NA SIECI DRÓG KRAJOWYCH WYBÓR METODY ANALIZY DANYCH DOBÓR JEDNOSTEK REFERENCYJNYCH WYNIKI ANALIZY EFEKTU NETTO INTERWENCJI PUBLICZNEJ W ZAKRESIE BEZPIECZEŃSTWA RUCHU DROGOWEGO ZAŁOŻENIA BADANIA EFEKTU NETTO ASPEKTÓW ŚRODOWISKOWYCH...35 Wnioski i rekomendacje WNIOSKI DOTYCZĄCE ZASTOSOWANYCH METOD STATYSTYCZNYCH REKOMENDOWANY MODEL ZBIERANIA DANYCH I ANALIZY EFEKTU NETTO PRZEDSIĘWZIĘĆ INFRASTRUKTURALNYCH WNIOSKI KOŃCOWE...46 Bibliografia:...47 Spis wykresów, tabel i map S t r o n a

3 Raport opracowany przez zespół w składzie: Dr Dominika Wojtowicz ElŜbieta Kozłowska Bartosz Ledzion Alicja Weremiuk Łukasz Widła Michał Wolański 3 S t r o n a

4 Główne cele badania 1.1 CEL OGÓLNY Celem ogólnym niniejszego badania jest wzmocnienie potencjału ewaluacyjnego Polski w zakresie oszacowywania efektów netto programów i projektów infrastrukturalnych współfinansowanych ze środków z funduszy strukturalnych. Cel ten został zrealizowany poprzez adaptację metodologii pomiaru efektu netto interwencji publicznej do potrzeb sektora infrastrukturalnego. Pod pojęciem efektu netto rozumie się zamiany spowodowane bezpośrednio przez tę interwencję, po wyeliminowaniu oddziaływania innych czynników. Wymaga to odpowiedzi na pytanie, jak zmieniłby się załoŝony współczynnik, gdyby interwencja nie została podjęta. 1.2 CELE SZCZEGÓŁOWE Cel główny badania został osiągnięty poprzez realizację niŝej określonych celów szczegółowych: 1. stworzenie studium state of the art (bieŝącego stanu wiedzy), dotyczącego pomiaru efektu netto, ze szczególnym uwzględnieniem sektora infrastrukturalnego; 2. zaprojektowanie i wykonanie pilotaŝowego badania efektu netto na przykładzie projektu Przebudowa szczególnie niebezpiecznych skrzyŝowań na sieci dróg krajowych, realizowanego w ramach SPO-Transport; 3. uwzględnienie w pomiarach efektu netto takŝe aspektów środowiskowych związanych ze zmianą wpływu inwestycji na środowisko; 4. wyciągnięcie wniosków, pozwalających na stworzenie metodologii i systemu oceny efektu netto projektów realizowanych w przyszłości. Metody i techniki badawcze 2.1 KONCEPCJA BADANIA Pomiar efektu netto jest jednym z bardziej zaawansowanych i najskuteczniejszych narzędzi ewaluacji skutków interwencji państwowej, gdyŝ pomaga ocenić jej rzeczywisty efekt, oddzielając oddziaływanie czynników zewnętrznych. Dotychczas metodologia ta nie była stosowana w sektorze infrastrukturalnym, ze względu na szereg problemów związanych z trudnościami w wyznaczeniu wiarygodnych współczynników sukcesu (np. w przypadku budowy skrzyŝowań), zebraniem danych, czy wreszcie wyborem tzw. sytuacji kontrfaktycznych [counterfactual situations]. Pod tym ostatnim pojęciem rozumie się jednostki lub populacje moŝliwie podobne do danej, które nie zostały poddane interwencji. Wzajemne ich porównanie pozwala określić zmiany, niebędące wynikiem ewaluowanych działań. Stąd teŝ moŝna uznać, Ŝe opracowana metodologia pomiaru efektu netto projektów infrastruktury transportowej będzie miała unikalny i innowacyjny charakter, gdyŝ nikt wcześniej nie podjął się w Polsce realizacji podobnych działań. 4 S t r o n a

5 W celu osiągnięcia postawionych w badaniu celów zdecydowano się na zastosowanie metodologii zbliŝonej do eksperymentu. Istotą eksperymentu jest zbadanie wpływu zmiennej niezaleŝnej (przebudowy skrzyŝowania) na zmienną zaleŝną (organizacja ruchu na skrzyŝowaniu i jego funkcjonowanie). Z reguły w badaniach eksperymentalnych zmienna niezaleŝna przybiera formę bodźca eksperymentalnego, który albo występuje, albo nie. Oznacza to, ze jest ona zmienną dychotomiczną, przyjmującą dwie moŝliwe wartości: obecna lub nieobecna. W typowym schemacie eksperymentator porównuje sytuację, w której oddziałuje bodźcem z sytuacją, w której bodźca brak [Babbie E. (2007), Badania społeczne w praktyce, Wydawnictwo Naukowe PWN: Warszawa, s. 247]. W przypadku przebudowy skrzyŝowań zastosowanie typowego eksperymentu było by de facto niemoŝliwe, niemniej oparcie koncepcji badania o metodę eksperymentu jest w pełni uzasadnione i często praktykowane. Tak jak w przypadku eksperymentu na podstawie wybranych kryteriów zostanie zbadane funkcjonowanie skrzyŝowania kontrfaktycznego, a więc takiego, którego parametry są moŝliwie najbardziej zbliŝone do parametrów skrzyŝowania poddanego interwencji publicznej. Z uwagi na fakt, iŝ realizacja inwestycji mających na celu poprawę płynności ruchu i zmniejszenia wypadkowości wiąŝe się zwykle takŝe z efektem w postaci zmniejszenia wpływu na środowisko, w ramach naszego projektu podejmiemy się próby budowy koncepcji pomiaru efektu netto dla środowiska. Oceniony więc zostanie wpływ projektów na zmianę emisji do środowiska takich zanieczyszczeń jak: zanieczyszczenia powietrza pochodzące ze spalin (ołów, kadm, kobalt, glin, arsen itp.), zanieczyszczenia wód i gleb związkami ropopochodnymi, hałas. NaleŜy podkreślić, Ŝe zastosowane podejście metodologiczne jest zgodne ze stanowiskiem Komisji Europejskiej, która podkreśla, Ŝe gdy mówimy, Ŝe dane efekty zostały wyprodukowane lub spowodowane przez program, oznacza to, Ŝe gdyby program nie miał miejsca, lub miałby miejsce w innej formie lub innym stopniu, efekty te nie wystąpiłyby lub nie wystąpiłyby w tym samym stopniu. Oznacza to, Ŝe waŝne jest, by mieć precyzyjny obraz tego, co stałoby się bez programu. Nazywa się to sytuacją kontrfaktyczną [Ewaluacja programów wydatków Unii Europejskiej. Przewodnik. Komisja Europejska, styczeń 1997, s. 39]. W ramach przygotowań do realizacji projektu zidentyfikowano problemy z dostępnością danych, stąd teŝ efektem projektu będzie równieŝ - ułatwiającą późniejszą, bardzo precyzyjną ewaluację realizowanych w przyszłości projektów metodologia monitorowania KPI (kluczowych czynników sukcesu) i innych zmiennych, potrzebnych do oceny efektu netto. Pozwoli to skuteczniej ewaluować a co za tym idzie - zarządzać funduszami unijnymi, przeznaczonymi na infrastrukturę. 2.2 METODOLOGIA I ZAKRES BADANIA Ocena efektu netto w sektorze infrastruktury zostanie zrealizowana na przykładzie projektu przebudowy skrzyŝowań w całym kraju (finansowanym ze SPOT, realizacja GDDKiA). Projekt w całości został zakończony w 2007 roku (ale niektóre skrzyŝowania przed 2007 rokiem). Miał wartość 75 mln zł, z czego 44 mln zł pochodziły z środków UE. Dokonano wyboru tego projektu ze względu na jasny współczynnik sukcesu (zmniejszenie wypadkowości funkcja wypadków, kolizji, ofiar oraz czynników środowiskowych). Ponadto w trakcie prowadzenia innych badań odnotowano w tym projekcie stosunkowo dobrą dostępność danych. Pomiar efektu netto badacze będą realizować w kontekście: 5 S t r o n a

6 Efektu netto zmian wypadkowości w miarę moŝliwości dla części z 25 skrzyŝowaniach (przy czym liczba kolizji będzie rozpatrywana z podziałem na skrzyŝowania, ale łączna wypadkowość będzie mierzona ogólnie ze względu na małą liczbę wypadków śmiertelnych Efekt netto zmian płynności ruchu na wybranych skrzyŝowaniach (projektowych i kontrfaktycznych łącznie ok. 8)1. Efekt netto zmian presji projektu na środowisko np.: wpływu projektów na zmianę emisji do środowiska takich zanieczyszczeń jak: hałas, zanieczyszczenia powietrza pochodzące ze spalin (ołów, kadm, kobalt, glin, arsen itp.), zanieczyszczenia wód i gleb związkami ropopochodnymi. Efekt netto generalnej oceny jakości skrzyŝowania próba stworzenia parametru zintegrowanego, uwzględniającego równieŝ dopasowanie formy skrzyŝowania do lokalnej specyfiki. 2.3 WARTOŚĆ DODANA WYNIKAJĄCA Z ZASTOSOWANEJ METODY Biorąc pod uwagę uniwersalny charakter narzędzi powstałych w wyniku realizacji projektu, które pozwoli na ich stosowanie w innych obszarach interwencji, naleŝy zaznaczyć, Ŝe omawiany projekt bez wątpienia stanowi wsparcie naukowe dla procesu zarządzania, wdraŝania, monitorowania, oceny i kontroli NSS, a jego wyniki powinny zostać wykorzystane w kontekście wdraŝania NSS, a w szczególności priorytetów określających interwencje w obszarze infrastruktury transportowej. Przyjęta technika pozwoli równieŝ na bardziej precyzyjne określenie zmian tych wskaźników, a takŝe na opracowanie uniwersalnego modelu do badania efektu netto podobnych przedsięwzięć. Zastosowanie powyŝszego podejścia badawczego daje szereg korzyści i gwarantuje przejrzyste, uŝyteczne efekty badania. Podsumowano je w tabeli poniŝej. Mocne strony i efekty zastosowanego podejścia badawczego I. UmoŜliwia dobór jednostek kontrfaktycznych do jednostek ewaluowanych nawet przy niewielkiej bazie danych II. III. IV. UmoŜliwia szacowanie efektu netto na kilku wymiarach Daje się łatwo zaimplementować do innych projektów badawczych z zakresu infrastruktury UmoŜliwia określenie warunków sine qua non, bez których niemoŝliwe jest oszacowanie efektu netto. V. Opiera się na jasnej i dobrze opisanej w literaturze metodzie PSM bazującej na modelu regresji logistycznej. VI. W odpowiednich warunkach (opisanych w raporcie) daje moŝliwość szacowania efektu netto nawet na poziomie pojedynczych przypadków. 1 Realizacje tego działania była zagroŝona, ze względu na opóźnienia w otrzymywaniu danych z GDDKiA problem ten był przedmiotem konsultacji z Ministerstwem Rozwoju Regionalnego. 6 S t r o n a

7 2.4 ETAPY BADANIA 7 S t r o n a

8 8 S t r o n a

9 BieŜący stan wiedzy w zakresie zagadnienia badawczego 3.1 POTRZEBY EWALUACYJNE W OBSZARZE INFRASTRUKTURY Przygotowanie się do oceny wpływu inwestycji infrastrukturalnych jest istotne w obecnej chwili ze względu na fakt, iŝ w Komisji Europejskiej toczą się rozmowy na temat przyszłości polityki spójności po 2013 r. Przed rozpoczęciem projektowania załoŝeń finansowania, zwł. jego wielkości oraz kierunków strategicznych wsparcia, Komisja Europejska potrzebuje rzetelnych informacji nt. efektów dotychczasowej polityki. Przykładowo, w 2006 r. KE zleciła m.in. strategiczną ewaluację dotyczącą potrzeb inwestycji transportowych finansowanych z funduszy strukturalnych w perspektywie (Strategic Evaluation on Transport Investment Priorities under Structural and Cohesion Funds for the Programming Period ). Autorzy tej ewaluacji podsumowali doświadczenia w zakresie ewaluacji wpływu inwestycji transportowych. Stwierdzili oni, Ŝe dotychczas prowadzone badania, oparte na modelowaniu ekonomicznym, dowiodły pozytywnego wpływu inwestycji transportowych w zakresie generowania efektów popytowych oraz częściowo negatywnego na poziomie makroekonomicznym (jak np. wysokość deficytu, stóp procentowych), w sumie jednak pozytywnych efektów w długim okresie. Niemniej jednak autorzy przytaczanego opracowania przestrzegają przed przecenianiem efektów inwestycji transportowych, stwierdzając, iŝ ocena efektów netto inwestycji przedsięwzięć infrastrukturalnych wymaga dalszych badań. W związku z powyŝszym, rozwój metodologii ewaluacji wpływu, a następnie ocena efektów netto, będą cenną pomocą w generowaniu argumentów do dyskusji na temat kształtu polityki spójności w przyszłości. 3.2 BIEŻĄCY STAN WIEDZY Jednym z kluczowych zadań ewaluacji jest ustalenie związku przyczynowego między podjętą interwencją a obserwowanymi wynikami. Ustalenie przyczynowego wpływu interwencji wymaga: zmierzenia efektu całkowitego interwencji, jako ogólnej zmiany w zakresie zdefiniowanym przez cel (zmiany na poziomie przyjętych wskaźników), oddzielenia zmiany niezaleŝnej od podjętej interwencji od zmiany, którą moŝna przypisać wpływowi interwencji (efekt netto) [Górniak J., (2007), Ewaluacja w cyklu polityk publicznych, w: Ewaluacja funduszy strukturalnych perspektywa regionalna, red. S. Mazur, wyd: Uniwersytet Ekonomiczny w Krakowie Małopolska Szkoła Administracji Publicznej, Kraków]. Pomimo zaznaczenia przez Komisję Europejską w Przewodniku ewaluacji w połowie okresu i ex-post zalet stosowania metody analizy sytuacji kontrfaktycznych pozwalających na badanie efektu netto programów i/lub projektów w ramach badań ewaluacyjnych 2, w rzeczywistości narzędzie to 2 Ewaluacja programów wydatków Unii Europejskiej: Przewodnik Ewaluacja w połowie okresu i ex-post XIX/02 Synthèse budgétaire et évaluation, Dyrekcja Generalna XIX BudŜet Komisja Europejska, 1997

10 wykorzystywane jest w bardzo ograniczonym zakresie, czego dowodzi przeprowadzone przez autorów niniejszego raportu analiza raportów ex-post i mid term programów realizowanych w wybranych krajach UE (Wielka Brytania, Niemcy, Szwecja, Włochy) oraz liczne publikacje naukowe [por. np. Center for Global Development, 2006, When Will We Ever Learn? Improving Lives Through Impact Evaluation, Evaluation Gap Working Group, Centre for Global Development, New York; White, H., 2006, Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington]. Jak juŝ wspomniano powyŝej, dotychczasowe badania wpływu inwestycji transportowych przeprowadzane na zlecenie Komisji Europejskiej koncentrowały się na modelowaniu ekonomicznym. Wart przytoczenia jest wciąŝ rozwijany model SASI (Socio-Economic and Spatial Impacts of Trans- European Transport Networks). Pomimo iŝ skupia się on na szacowaniu wpływu inwestycji transportowych, nie zaś konkretnie wpływu netto, krótki opis jego podstawowych załoŝeń oraz części wyników przedstawi punkt odniesienia dla poszukiwań metodologii oceny efektu netto, choćby w zakresie rodzaju oddziaływań oraz ich wielkości w skali kraju. Model SASI jest wciąŝ rozwijany, m.in. w projekcie IASON (Integrated Appraisal of Spatial Economic and Network effects of transport investments and policies) oraz w pracach Europejskiej Sieci Obserwacyjnej Rozwoju Terytorialnego i Spójności Terytorialnej (ESPON). W modelu na strukturę sieci trzech gałęzi transportu, tj. drogowego, kolejowego i lotniczego, nałoŝono przestrzenne relacje transportowe (podróŝe biznesowe oraz prywatne). Model, składający z kilku submodeli, w jednym z nich, tj. submodelu Regionalny PKB prognozuje wielkość PKB generowaną w kaŝdym regionie w trzech sektorach, tj. rolnictwie, przemyśle i usługach. Prognozy oparte są na funkcji produkcji, gdzie dostępność regionalna (szacowana w innym submodelu) jest jedną ze zmiennych objaśniających. Model zakłada 4 scenariusze, tj.: referencyjny (bez inwestycji, inwestycje zakończone do 2007 r.), maksymalny drogowy (realizowane będą wszystkie postulowane inwestycje drogowe), maksymalny kolejowy oraz zrównowaŝony. Wyniki dla Polski przewidują stopę wzrostu PKB wyŝszą w przypadku scenariusza zrównowaŝonego o ok. 0,8 punktu procentowego w 2031 r. niŝ w przypadku scenariusza referencyjnego w tym samym roku. Skala oddziaływań na stopę wzrostu PKB na poziomie kraju pokazuje jak trudny do uchwycenia będzie wpływ netto, mierzony akurat taką wartością, na niŝszym poziomie. Niemniej jednak na niŝszych poziomach, np. projektu, pozostają inne zmienne wpływu, jak np. wielkość dochodu gospodarstw domowych, co zostanie opisane szerzej w części dotyczącej praktyki Banku Światowego. Większość badań dotyczących oceny efektów działań publicznych (polityk, przedsięwzięć, etc.) z wykorzystaniem metod porównania stanu rzeczywistego ze stanem kontrfaktycznym zleconych została przez Bank Światowy. Instytucja ta jest podmiotem bardzo aktywnie wspierającym badania nad zasadnością i korzyściami płynącymi ze stosowania tzw. impact evaluation, a więc ewaluacji pozwalającej na określenie realnych zmian w Ŝyciu beneficjentów programu/projektu. Stosowanie impact evaluation pozwala odpowiedzieć na pytanie: jak wyglądałaby sytuacja osób poddanych interwencji, gdyby w rzeczywistości nie skorzystaliby z niej? Ogromnemu doświadczeniu zdobytemu przez Bank Światowy w zakresie prowadzenia tego typu badań dowodzi obszerna baza artykułów, raportów, studia przypadków i róŝnego rodzaju publikacji zamieszczonych na stronie ~pagePK:162100~piPK:159310~theSitePK:384329,00.html. Wśród badań przeprowadzonych w oparciu o zasady impact evaluation zleconych przez Bank Światowy dominują te, które dotyczą 10 S t r o n a

11 interwencji z zakresu polityki społecznej, polityk i działań podejmowanych na rzecz rozwiązywania problemów biedoty w krajach trzeciego świata. Niemniej jednak znajdują się tam równieŝ dwa ciekawe opracowania, a mianowicie wskazówki do koncepcji szacowania efektów netto dla projektów dotyczących dróg wiejskich [Walle, Impact Evaluations of Rural Road Projects] oraz transportu miejskiego [Boarnet, Conducting Impact Evaluation in Urban Transport]. Tu przytoczone zostaną tylko propozycje autorów w zakresie wyboru zmiennych poszukiwanych. W pierwszej pracy dotyczącej wpływu dróg wiejskich autorka proponuje analizę przykładowo: dochodów gospodarstw domowych lub wysokość ich konsumpcji, oszczędności czasu podróŝy, oszczędności kosztów podróŝy, zmiany cen na rynku lokalnym, mobilność mieszkańców, kierunki i wielkość ruchu migracyjnego. W drugim opracowaniu dotyczącym transportu miejskiego autor proponuje analizę róŝnych pól wpływu, takich jak: rynek pracy, korzystanie z usług oraz ceny ziemi. W niniejszych opracowaniach pokazany jest równieŝ szereg metod moŝliwych do zastosowania w ocenie efektów netto. Ciekawą bazę raportów i publikacji z zakresu impact evaluation zawiera takŝe strona internetowa Governance and Social Development Resource Centre [ ZałoŜona przez Department for International Development (Departament ds. Rozwoju Międzynarodowego) Wielkiej Brytanii jednostka zaleca stosowanie metod analizy stanów kontrfaktycznych, jako narzędzia pozwalającego na określenie rzeczywistych efektów realizowanych programów i projektów na rzecz rozwoju państw i regionów zacofanych. Podkreśla przy tym konieczność prowadzenia tego typu ewaluacji ze względu na znaczne środki pochodzenia publicznego przeznaczane na interwencje z tego zakresu. Inną jednostką promującą stosowanie metod analizy sytuacji kontrfaktycznych w badaniu efektów stosowanych przez rząd róŝnego rodzaju rozwiązań w sferze publicznej jest Strategic Unit (Jednostka Strategiczna) działająca przy premierze Wielkiej Brytanii. Na stronie internetowej instytucji obok opisu głównych załoŝeń metodologii badań ewaluacyjnych opartych o porównanie sytuacji kontrfaktycznych dających moŝliwość szacowania realnego efektu netto danej interwencji, podane są przykłady ich zastosowania. Pierwszy z nich dotyczy oceny efektu wdroŝenia dyrektywy unijnej dotyczącej składowania odpadów w Wielkiej Brytanii, drugi natomiast dowodzi skuteczności projektu Restart interview for Jobseekers in 1989/90, mającego na celu wsparcie bezrobotnych w powrocie na rynek pracy (grupa poddana interwencji 8000 osób, grupa kontrfaktyczna 500 osób). Zastosowanie analizowanej metody jest równieŝ wykorzystywane przy ewaluacji interwencji publicznych w Stanach Zjednoczonych. Niemniej w większości tych badań analiza porównawcza nie wykorzystywała metodologii opartej na załoŝeniach eksperymentu (porównanie stanów kontrfaktycznych), lecz koncentrowała się na ocenie efektywności danej interwencji w odniesieniu do podobnych projektów federalnych (dobór ze względu na ich przedmiot, zakres finansowy, itp.) [ Analiza opublikowanych w Polsce w ostatnich latach raportów ewaluacyjnych wskazuje, Ŝe zastosowanie metody szacowania efektu netto dotyczyło nieznacznej części przeprowadzonych badań. Metodę szacowania efektu netto na podstawie analizy stanów kontrfaktycznych wykorzystano w badaniu przeprowadzonym przez PBS na zlecenie Polskiej Agencji Rozwoju Przedsiębiorczości w kontekście oceny wpływu programów aktywizacji zawodowej. Efektem brutto był określany procent 11 S t r o n a

12 beneficjentów, którzy znaleźli pracę po określonym czasie od rozpoczęcia programu, za efekt netto uznano beneficjentów, którzy znaleźli pracę po określonym czasie od rozpoczęcia programu, a nie zaleźliby jej bez udziału w programie. Autorzy raportu dowiedli, Ŝe przy porównaniu odsetków zatrudnionych wśród beneficjentów i w grupie kontrolnej moŝna zaobserwować, iŝ juŝ w pierwszym miesiącu od zakończenia udziału w programie beneficjenci podejmowali pracę statystycznie istotnie częściej niŝ osoby naleŝące do grupy kontrolnej. Porównanie zjawiska dla grupy biorącej udział w programie i grupy kontrolnej przeprowadzono dla kolejnych 12 miesięcy, co dało podstawy do wyciągnięcia rzetelnych wniosków dotyczących wystąpienie efektu netto realizowanego programu. Rysunek 1 Odsetek zatrudnionych po określonym czasie od udziału w programie aktywizacyjnym Źródło: R. Konarski, M. Kontarowski, Zastosowanie metody propensity score matching w ewaluacji ex-post, w: Ewaluacja ex-post Teoria i praktyka badawcza, pod red. A Haber, PARP, Warszawa 2007 Innym przykładem zastosowania metody szacowania efektu netto jest ewaluacja typu ex-post Programu SAPARD w Polsce i na Słowacji prowadzona przez zespół z Uniwersytetu w Kiel (Niemcy) [Michalek, Zarnekow, Stulrajter, and Klank, (2008), Cartographic and statistical analysis of RDI in Poland and Slovakia. Regional Report RR3-2, University of Kiel]. NaleŜy zaznaczyć, Ŝe badacze zajmują się szerszym wykorzystaniem metody szacowania efektu netto przy uŝyciu analizy stanów kontrfaktycznych interwencji w sektorze rolnym [por. Michalek 2008 (a), Kaufmann, Stagl, Zawalinska, Michalek 2007, Michalek 2008 (b)]. Autorzy w raporcie metodologicznym bardzo wyraźnie podkreślają istotność zastosowania metody porównania stanów kontrfaktycznych, jako jedynego narzędzia gwarantującego rzetelne oszacowanie rzeczywistego efektu netto danego programu/projektu. Najczęściej wykorzystywaną w badaniach ewaluacyjnych metodę badania efektów, polegającą na zmierzeniu wybranych wskaźników przed i po realizacji danej interwencji, nazywają oceną naiwną (naive evaluation), gdyŝ nie jest ona w stanie uwzględnić innych czynników (np. koniunktury, zmian w przepisach prawnych) oddziałujących na zjawisko/beneficjentów, których dotyczy projekt/program. I tak zbadanie wzrostu zatrudnienia czy dochodów per capita beneficjentów programu zakładającego wsparcie producentów sektora rolnego, nie jest w stanie wytłumaczyć na ile zmiany te wynikały właśnie z faktu otrzymania dotacji, a nie były wynikiem innych, niezaleŝnych od programu czynników. 12 S t r o n a

13 Rysunek 2 Przykład naiwnej ewaluacji efektów programu Dlatego badacze powinni dokonać doboru grupy porównawczej. Podobieństwo jednostek poddanych interwencji i tych, które nie otrzymały wsparcia powinno być zweryfikowane statystycznie na podstawie analizy rozkładu róŝnych obserwowanych zmiennych współzmiennych. Pomocna okazuje się w tym przypadku analiza Propensity Score Matching (o której w dalszej części niniejszego raportu). Zastosowanie metody analizy sytuacji kontrfaktycznych pozwala na udzielenie odpowiedzi na najwaŝniejsze z punktu widzenia oceny rzeczywistych efektów projektu pytanie: Jaka byłaby sytuacja beneficjentów, gdyby nie mieli oni moŝliwości skorzystania ze wsparcia w ramach programu? [Michalek, Zarnekow, Stulrajter, and Klank, (2008), Cartographic and statistical analysis of RDI in Poland and Slovakia. Regional Report RR3-2, University of Kiel]. Dzięki niej moŝemy wskazać na wystąpienie pozytywnego lub negatywnego efektu netto danej interwencji, co pokazuje poniŝszy wykres(rysunek). 13 S t r o n a

14 Rysunek 3 Istotność uwzględnienia w badaniach jednostek niebiorących udziału w ewaluowanym programie/projekcie (porównania sytuacji kontrfaktycznej do sytuacji badanej) Ciekawym przykładem zastosowania metody analizy sytuacji kontrfaktycznych autorzy niniejszego raportu odnaleźli w badaniu przeprowadzonym na zlecenie Komisji Europejskiej przez Agrosynergie Groupement Européen d Intérêt Economique. Dotyczyło ono oceny uruchomienia płatności bezpośrednich z tytułu upraw owoców i warzyw według modelu regionalnego. Podejście ewaluacyjne opierało się na wynikach etapu strukturyzacji metody wynikającej z podstaw ekonomicznych. Taka analiza umoŝliwiła sformułowanie załoŝeń, które zostały skonfrontowane z wynikami analizy ilościowej i jakościowej i pozwoliły na udzielenie odpowiedzi na pytania ewaluacyjne. Teoretyczne podejście mikroekonomiczne polegało na analizie zachowania producentów w odpowiedzi na róŝne sygnały z rynku i środki wsparcia. Sytuacja kontrfaktyczna odpowiadająca sytuacji rynkowej bez środka wsparcia została porównana z trzema sytuacjami: całkowitym oddzieleniem płatności od produkcji, wyjątkami w stosowaniu całkowitego oddzielenia płatności od produkcji w postaci zasad uŝytkowania gruntów wyjątkami w całkowitym oddzieleniu płatności od produkcji w postaci pomocy częściowo związanej z produkcją lub częściowo oddzielonej od produkcji. Metodologia zastosowana do oceny była w tym badaniu połączeniem analizy ilościowej (klasyczna statystyczna analiza ilościowa i analiza modelizacyjna Pozytywne Programowanie Matematyczne) z gromadzeniem i analizą informacji jakościowych. Analiza danych dotyczących róŝnych kierunków techniczno-ekonomicznych gospodarstw rolnych dokonana została dla sześciu regionach Unii Europejskiej (Emilia-Romania, Andaluzja, Akwitania, Wschodnia Anglia, Dania i Nadrenia-Północna Westfalia). W ramach opracowania analizy state of art, dla uzyskania pełniejszego obrazu wykorzystania metody szacowania efektów netto interwencji publicznych autorzy dokonali przeglądu metodologii 14 S t r o n a

15 stosowanych w badaniach ewaluacyjnych wykonanych dotychczas w naszym kraju. Przeanalizowano wszystkie raporty typu ex-post znajdujące się w bazie dostępnej na stronie DEBECDCE56AF/49191/bazabadan xls (opracowanie stan na ). Zestawienie wyników analizy przedstawia poniŝsza tabela. Tabela 1 Zestawienie raportów ewaluacyjnych przeanalizowanych pod kątem wykorzystania metod szacowania efektu netto programu/projektu Przedmiot ewaluacji, podmiot odpowiedzialny za opracowanie, rok publikacji Ewaluacja ex-post regionalnego komponentu MSP Phare 2003 Spójność Społeczna i Gospodarcza (2003/ Regionalny program wsparcia małych i średnich przedsiębiorstw) Ewaluacja ex-post sektorowego komponentu MSP Phare 2003 Spójność Społeczna i Gospodarcza (2003/ /05.02 Wsparcie konkurencyjności polskich przedsiębiorstw Inwestycje MSP w Technologie i Innowacje)"przygotowana dla Polskiej Agencji Rozwoju Przedsiębiorczości,Warszawa 2008 "Ewaluacja ex-post Programu Phare PL0008 Komponent RZL" opracowany przez Pracownie Badań Społecznych w Sopocie na zlecenie Polskiej Agencji Rozwoju Przedsiębiorczości, Wstęp do ewaluacji ex-post Programu PL Promocja Zatrudnienia i Rozwój Zasobów Ludzkich (Phare 2001 SSG komponent RZL)" opracowany przez Polską Agencję Rozwoju Przedsiębiorczości,Warszawa 2005 Wstęp do ewaluacji ex-post Phare SSG 2001 RZL Rotacja miejsc pracy" opracowany przez Polską Agencję Rozwoju Przedsiębiorczości,Warszawa 2006 Ocena efektów osiągniętych podczas wdraŝania ZPORR w kontekście realizacji Strategii Rozwoju Województwa Kujawsko Pomorskiego na lata Wpływ uzyskanej dotacji ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Typ ewaluacji Ex-post Ex-post Ex-post Ex-post Ex-post Ex-post Ex-post Czy została wykorzystana w badaniu metoda badania efektu netto (analiza sytuacji kontrfaktycznych)? JeŜeli tak, to w jakim zakresie? Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu 15 S t r o n a

16 Priorytetu I i III ZPORR na lata na wzrost wydatków inwestycyjnych w gminach w województwie wielkopolskim. Ewaluacja końcowa programu pomocowego Unii Europejskiej Phare - Rapid ( Ocena Ex-Post Funduszu Dotacji - komponentu Programu PHARE-STRUDER ( Ewaluacja ex-post komponentu regionalnego programu Phare 2002 SSG- Komponent RZL, PARP, 2006/2007 Ocena uruchomienia płatności bezpośrednich z tytułu upraw owoców i warzyw według modelu regionalnego Agrosynergie Groupement Européen d Intérêt Economique, 2008 Źródło: Opracowanie własne Ex-post Ex-post Ex-post Ex-post faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Brak zastosowania metodologii opartej o porównanie stanu faktycznego z kontrfaktycznym Badanie efektu netto Podprojektu 1 Phare 2002 komponentu regionalnego SSG RZL porównanie odsetka zatrudnionych w grupie beneficjentów, w grupie kontrolnej oraz w puli nie biorącej udziału w programie Zastosowanie metody porównawczej stanu faktycznego (dostępność dopłat bezpośrednich dla producentów owoców i warzyw) i kontrfaktycznego (odpowiadającego sytuacji rynkowej bez środka wsparcia) 16 S t r o n a

17 3.3 METODY STOSOWANE PRZY EWALUACJI PROJEKTÓW/PROGRAMÓW Z ZAKRESU INFRASTRUKTURY TRANSPORTOWEJ W sektorze transportowym ocena efektu netto jest bardzo istotna, ze względu na duŝą jego zaleŝność od innych działów gospodarki, co bardzo zniekształca wiele współczynników. Przykładem moŝe być tutaj chociaŝby łączna liczba wypadków drogowych i ich ofiar, które w ostatnim roku mimo wielu działań prewencyjnych, w tym wprowadzenia obowiązku jazdy na światłach wzrosły. Jest jednak prawdopodobne, Ŝe wzrost ten nastąpił wskutek zwiększenia liczby samochodów, zaś podjęte działania prewencyjne charakteryzują się pozytywnym efektem netto (tj. bez nich obserwowany wzrost wypadkowości byłby jeszcze większy). Przeprowadzona kwerenda literatury oraz raportów z europejskich i amerykańskich badań ewaluacyjnych (zgodnie z wykazem na końcu dokumentu) wskazuje, Ŝe w przypadku przedsięwzięć infrastrukturalnych pomiar efektu netto nie był dotychczas stosowany. Pewną analogią do efektu netto moŝe być monitorowanie wybranych współczynników nie tylko w wartościach bezwzględnych, ale równieŝ względem prognoz referencyjnych. Tego typu podejście stosowane jest stosowane w pewnym zakresie równieŝ w Polsce, czego przykładem mogą być chociaŝby projekty zakupu i modernizacji taboru realizowane przez PKP Przewozy Regionalne [Wolański M., Gil M., Pander W., (2008), Wpływ projektów dotyczących zakupu lub modernizacji pojazdów szynowych na osiągnięcie głównego celu poddziałania tzn. poprawę warunków przejazdów pasaŝerów transportem kolejowym między aglomeracjami miejskimi i w aglomeracjach, CASE-Doradcy i EGO, Warszawa]. Brak jest przy tym jednak prób weryfikacji ex-post prognoz referencyjnych, bazujących przecieŝ na szeregu innych załoŝeń makroekonomicznych, dokonanych ex-ante, a zatem z duŝo mniejszą wiedzą. W przypadku analizowanych badań amerykańskich3 operuje się jedynie zakładanymi i faktycznie osiągniętymi wielkościami wybranych współczynników, nie wyodrębniając przy tym efektów badanej interwencji oraz oddziaływania innych czynników a zatem zmian, które nastąpiłyby równieŝ bez interwencji. Przykład takiego wskaźnika analogicznego do planowanego badania zawiera poniŝsza tabela. 3 Detailed Information on the Amtrak Assessment, dostęp w dniu Detailed Information on the Railroad Safety Program Assessment, dostęp w dniu Detailed Information on the Federal Motor Carrier Safety Administration Grant Program Assessment, dostęp w dniu Detailed Information on the Highway Infrastructure Assessment, dostęp w dniu S t r o n a

18 Tabela 2 Przykład konstrukcji amerykańskiego wskaźnika, dotyczącego bezpieczeństwa ruchu drogowego liczba ofiar śmiertelnych na 100 mln mil przebiegu pojazdów ciężarowych i autobusów. Wyraźny brak analiz rozwoju wskaźnika w przypadku braku interwencji Rok Cel Wykonanie ,185 0, ,179 0, ,175 Pending , , , , ,157 (wstępny) ,154 (wstępny) Źródło: Detailed Information on the Federal Motor, Podobne systemy wskaźników stosuje się równieŝ w Niemczech, chociaŝ to autorzy analizowanej ewaluacji niemieckiej zauwaŝają, Ŝe: w zasadzie skutki działań polityki transportowej powinny być oceniane poprzez porównanie sytuacji, w której dane działanie wprowadzamy (przypadek >>with<<) i w której go nie wprowadzamy (przypadek >>without<<). W przypadku stosowanych tabel wskaźników opisywany jest tymczasem jedynie przypadek >>with<<. [Ridder M. et. al., (2003), Halbzeitbewertung des Operationellen Programms Verkehrsinfrastruktur für das Deutsche Zeil-1-Gebiet. MR, Gefra, IVM, Delmenhorst, Münster, s. 36]. Przyczyn braku porównania ex-post przypadku with i przypadku without moŝna dopatrywać się m.in. w duŝej skali podejmowanych działań, co utrudnia określenie stanu kontrfaktycznego. Problemem jest równieŝ określenie jednostek, obrazujących stan kontrfaktyczny uŝytkowników, bądź elementów infrastruktury, a wreszcie stworzenie odpowiednio trafnych wskaźników oddziaływania i rezultatu. Nie ulega jednak wątpliwości, Ŝe kwestia oddzielenia wpływu interwencji od innych czynników w przypadku transportu jest zasadna, o czym świadczy fakt, Ŝe większość wskaźników oddziaływania oraz rezultatu, monitorowanych w ramach programów i projektów infrastrukturalnych jest podatna na wiele czynników w skali makro. Prostym, lecz dobitnym przykładem mogą być tutaj zmiany PKB. Wpływają one istotnie na mobilność społeczeństwa, przez co mają wpływ na wielkość przewozów, a z drugiej równieŝ ryzyko wypadku, rosnące przy zatłoczeniu dróg, ale malejące dzięki zakupom bezpieczniejszych samochodów. 18 S t r o n a

19 Wszystko to oddziałuje na typowe wskaźniki projektów i programów infrastrukturalnych, takie jak wielkość przewozów, czy liczba wypadków. 3.4 SZACOWANIE EFEKTU NETTO INTERWENCJI PUBLICZNYCH W ZAKRESIE OCHRONY ŚRODOWISKA Przed przystąpieniem do analizy metod stosowanych w ocenie wpływu realizacji projektów/programów na środowisko naleŝy zwrócić uwagę, iŝ w krajach starej unii oraz USA zakres problemów związanych z sektorem transportowym jest róŝny od tego z jakimi obecnie spotykamy się w Polsce. W krajach z zachodnich dobrze rozwinięta i o wysokiej jakości infrastruktura drogowa powoduje iŝ badania prowadzone w zakresie wpływu na środowisko nie skupiają się na pomiarach efektu netto związanego z podwyŝszeniem jakości infrastruktury drogowej, lecz raczej koncentrują się na szacowaniu wpływu na środowisko emisji z samych pojazdów analizują wpływ takich czynników jak jakość paliwa oraz jakość pojazdów na poziom emisji zanieczyszczeń [por. np. EEA Report, Transport and environment: on the way to a new common transport policy, TERM 2006: indicators tracking transport and environment in the European Union]. Innym często poruszanym w analizach tematem jest badanie efektów pośrednich oraz kumulatywnych związanych z emisją z sektora transportu do środowiska. Są to badania wykonane w celu określenia faktycznego wpływu, a nie bezpośredniego oddziaływania. W krajach takich jak Polska, gdzie stan infrastruktury drogowej wciąŝ wymaga wzmocnienia, a problemem jest nie tylko wzrastająca liczba pojazdów poruszających się po drogach, lecz istotne niedostatki w samej infrastrukturze drogowej. Złej jakości infrastruktura drogowa przyczynia się nie tylko pogorszenia płynności ruchu i związanej z nią wyŝszą emisją do środowiska, lecz wpływają takŝe na zwiększenie się wypadkowości. Zgodnie z Podręcznikiem dobrych praktyk wykonywania opracowań środowiskowych dla dróg krajowych, głównym uzasadnieniem dla budowy, przebudowy lub remontu drogi, skrzyŝowania, węzła lub innych obiektów drogowych są zazwyczaj korzyści społeczne i ekonomiczne odnoszone przez uŝytkowników drogi (kierowców, podróŝnych, firm transportowych). Korzyści te mogą obejmować: - uzyskanie dostępności dojazdu; - redukcję czasu podróŝy; - zmniejszenie kosztów ruchu i kosztów utrzymania drogi; - poprawę bezpieczeństwa ruchu uŝytkowników nowej lub przebudowanej drogi/skrzyŝowania w porównaniu do korzystania z dotychczasowej ( starej ) drogi/skrzyŝowania; - zwiększenie przepustowości oraz zmniejszenie przeciąŝenia istniejących odcinków dróg i skrzyŝowań; - moŝliwość skoncentrowania ruchu cięŝkich pojazdów na drogach przebiegających przez tereny mniej wraŝliwe środowisko; - podwyŝszenie komfortu jazdy; 19 S t r o n a

20 - wpływ na rozwój turystki; - pobudzenie aktywności gospodarczej osiedli i miejscowości usytuowanych wzdłuŝ drogi. Budowa nowej drogi oprócz wyŝej wymienionych korzyści moŝe pociągać za sobą wiele uciąŝliwości dla sąsiadującego z nią otoczenia. Inwestycje liniowe mogą powodować wiele negatywnych oddziaływań na bezpośrednie otoczenie drogi, tj. na środowisko oraz na zdrowie i warunki Ŝycia ludzi. Z drugiej strony budowa nowej drogi moŝe przynieść takŝe pewne korzyści w bezpośrednim lub/i bardziej odległym otoczeniu np. w obrębie juŝ istniejących dróg. Przykładem moŝe być budowa obwodnicy miasta, która skanalizuje ruch pojazdów poza miasto, ograniczy uciąŝliwości wynikające z ruchu pojazdów w samym mieście, jednocześnie jednak spowoduje powstanie efektów ubocznych w najbliŝszym otoczeniu nowej obwodnicy. Niestety, trudno jest wskazać dobre praktyki w zakresie badania efektu netto w tym zakresie. Sam wpływ ulepszenia infrastruktury drogowej na zmianę emisji do środowiska jest analizowany w opracowanych na etapie planowania projektu dokumentach, a więc w Raportach Oddziaływania na Środowisko. Te dokumenty zawierają zwykle wyniki pomiarów hałasu w stanie obecnym (przed realizacją projektu) oraz ocenę, co w tym zakresie moŝe się zmienić po zakończeniu jego realizacji. Weryfikacja rzeczywistego wpływu odbywa się w pewnym okresie po zakończeniu realizacji projektu w ramach przygotowywanych analiz porealizacyjnych. JednakŜe w literaturze amerykańskiej i europejskiej nie znaleziono przykładów w których skupiono by się na pomiarze efektu netto aspektów środowiskowych dla wszystkich projektów. Jako pewien rodzaj próby zebrania wyników efektu realizacji kilku projektów moŝna wskazać badanie ewaluacyjne Przewidywany wpływ wybranych projektów realizowanych w ramach Sektorowego Programu Operacyjnego Transport na stan środowiska naturalnego oraz stan zdrowia ludzi naraŝonych na negatywne oddziaływanie infrastruktury transportowej. W badaniu tym w miarę dostępności wyników dokonano analizy w jaki sposób wartości zakładane w Raportach Oddziaływania na Środowisko w zakresie emisji do środowiska zostały osiągnięte w rzeczywistości. JednakŜe z uwagi na zbyt krótki czas jaki upłynął od zakończenia realizacji projektów w większości przypadków dane z analiz porealizacyjnych nie były jeszcze dostępne. Wykonana kwerenda literatury oraz raportów z europejskich i amerykańskich badań ewaluacyjnych (zgodnie z wykazem na końcu dokumentu) wskazuje, Ŝe w przypadku przedsięwzięć infrastrukturalnych właściwy pomiar efektu netto nie był dotychczas stosowany. 20 S t r o n a

21 3.5 ASPEKT STATYSTYCZNY BADANIA EFEKTU NETTO ZASTOSOWANIE PROPENSITY SCORE MATCHING (PSM) W literaturze przedmiotu zwykło się utoŝsamiać badanie efektu netto w ewaluacjach z uŝyciem metody Propensity Score Matching (PSM) [Strawiński P., (2008), Quasi-eksperymentalne metody ewaluacji, w: Środowisko i warsztat ewaluacji, PARP: Warszawa; Konarski R., Kotnarowski M., (2007), Zastosowanie metody propensity score matching w ewaluacji ex post,, w: Ewaluacja ex-post, teoria i praktyka badawcza, PARP: Warszawa]. Propensity score matching to metoda, którą w latach 80-tych stworzono w celu wsparcia wyników badań eksperymentalnych. Chodziło m. in. o to, aby zniwelować efekt wpływu nielosowego doboru do grup eksperymentalnej i kontrolnej. W załoŝeniu powinny być one dobrane losowo z określonej populacji (czasem bardzo duŝej!), w praktyce jest to jednak mało realne. W konsekwencji pojawia się trudny do oszacowania błąd, który moŝe być na tyle duŝy, aby mieć znaczący wpływ na całkowity wynik badania. Propensity score matching zakłada wykorzystanie dodatkowych zmiennych towarzyszących i za ich pomocą wyrównanie róŝnic i błędu związanego z nielosowym doborem. Na ich podstawie wylicza się metodą regresji logistycznej propensity score i dopasowuje obie grupy. Metoda ta dobrze się sprawdza w przypadku, gdy efekt netto jest dobrze zdefiniowany. O ile nam wiadomo, większość, jeśli nie wszystkie, dotychczasowe ewaluacje ex-post mające za zadanie ocenić efekt netto poszczególnych przedsięwzięć nie miały problemu z definicją co rzeczywiście jest pozytywnym efektem projektu4. W takich przypadkach modelowanie metodą PSM przynosi wymierne rezultaty. Z punktu widzenia statystyka, metoda PSM ma swoje ograniczenia. Po pierwsze wymaga dobrze określonego i najlepiej dychotomicznie określonego efektu netto (taką sytuację mamy w przypadku projektów aktywizacji zawodowej5). Po drugie metoda dobierania bliźniaka lub bliźniaków do ewaluowanego obiektu wymaga zazwyczaj duŝej bazy wyjściowej, z której dobierane są obiekty do parowania. Ponownie w przypadku projektów, w których beneficjentami są konkretne jednostki, nie nastręcza to problemów. Metodę PSM z powodzeniem zaczyna się wprowadzać równieŝ do standardowych badań rynkowych, w przypadku, gdy wylosowana próbka nie pokrywa dostatecznie szerokiego spektrum populacji. RównieŜ tam PSM wymaga jednak spełnienia określonych warunków wejściowych, których nie będziemy tu omawiać6. Oczywiście, metoda PSM nie jest jedyną, która nadaje się do szacowania efektu netto. Do szacowania efektywności programów, w przypadku których nie mamy do czynienia z obszerną i relewantną bazą 4 Dobrze obrazuje to poniŝszy fragment z artykułu Jarosława Górniaka i Karoliny Keller: śeby określić, czy cel został osiągnięty lub w jakim stopniu zbliŝyliśmy się do jego osiągnięcia (gdy dystans do celu jest co najmniej stopniowalny), musimy mieć moŝliwość wyznaczenia istotnych wymiarów celu w kategoriach zmiennych poddających się pomiarowi, Górniak J., Keller K., Wskaźniki w ewaluacji ex-post programów publicznych ; PARP W przypadku projektów transportowych jedynie część wskaźników daje się skategoryzować w kategoriach zmiennych, problematyczne byłoby wykorzystanie PSM jako metody słuŝącej do wyłonienia pełnego efektu netto. 5 Konarski R., Kotnarowski M., op.cit. 6 Jedynym znanym autorowi, choć z całą pewnością nie jedynym zrealizowanym do tej pory był pilotaŝowy projekt badawczy, którego wyniki zostały przedstawione na tegorocznym kongresie PTBRiO ( Wykorzystanie Propensity Score do poprawy wnioskowań z wyników badań marketingowych. opracowane przez Lilianę Stołowską, Lecha Komendanta oraz Włodzimierza Daaba). 21 S t r o n a

22 danych, z których moŝemy dobierać jednostki metodą PSM moŝna posiłkować się analizą szeregów czasowych. Analiza ta umoŝliwia predykcję na podstawie analizy kilku punktów czasowych przeprowadzonych dla tego samego obiektu. Inaczej mówiąc, jeśli mamy kilka punktów czasowych opisujących dany obiekt, moŝemy przewidzieć, jakie byłyby parametry owego obiektu, gdyby nic się nie zmieniło, w przyszłości. Szacowanie efektu netto na tej podstawie polegałoby na porównywaniu predykcji wynikającej z analizy szeregów czasowych z rzeczywistością obserwowalną. Pojawia się tutaj jednak ponownie problem, z którym borykałaby się metoda PSM, gdyby jej wykorzystanie doszło do skutku złoŝoność, a przez to rozmycie, efektu netto w przypadku badań ewaluujących projekty transportowe7. Warto zauwaŝyć jeszcze jedną niedogodność, niezaleŝną od wykorzystanej ostatecznie metody (lub metod). Dane historyczne dla omawianego w tym raporcie projektu nie są zbierane w sposób ciągły. Skutkuje to tym, Ŝe dla skrzyŝowania x w danym okresie, zazwyczaj dość szerokim, zaobserwowano y wypadków. Wypadki nie są jednak czymś, co zdarza się codziennie i na kaŝdym skrzyŝowaniu. Mając więc dane dla ocenianego skrzyŝowania moŝemy mieć do czynienia z sytuacją, gdy nie zdarzyło się na nim jeszcze Ŝaden wypadek, gdyŝ po prostu dane referencyjne nie obejmują dostatecznie długiego odcinka czasu. W przypadku modelowania za pomocą szeregów czasowych jesteśmy w stanie określić poziom wypadkowości w dowolnym momencie objętym analizą: moŝemy stwierdzić, Ŝe wypadkowość na danym skrzyŝowaniu powinna przykładowo wynieść 0,7 dziennie. Z faktu, Ŝe na danym skrzyŝowaniu nie wydarzył się Ŝaden wypadek nie moŝemy wnosić, Ŝe jego stopa wypadkowości wynosi 0%. MoŜe się, więc okazać, Ŝe metoda szacowania efektu netto w przypadku projektów, w których beneficjentami nie są poszczególne i dobrze zdefiniowane jednostki, będzie ostatecznie metodą triangulacyjną, wykorzystującą z jednej strony statystyki bazujące na danych zastanych, obrazujących ogólne trendy, z drugiej strony na analizie szeregów czasowych biorących pod uwagę dane historyczne i współczesne dotyczące poszczególnych, ewaluowanych obiektów i z trzeciej strony metodę PSM jako łącznik pomiędzy analizą ogólną a szczegółową, stanowiącą niejako wagę słuŝącą wystandaryzowaniu wyników. 7 Gdzie sukcesem jest i zmniejszenie poziomu hałasu, i zmniejszenie wypadkowości, i poprawienie płynności ruchu 22 S t r o n a

23 Realizacja badania 4.1 KONCEPCJA SZACOWANIA EFEKTU NETTO INTERWENCJI PUBLICZNYCH NA PRZYKŁADZIE PROJEKTU PRZEBUDOWA SZCZEGÓLNIE NIEBEZPIECZNYCH SKRZYŻOWAŃ NA SIECI DRÓG KRAJOWYCH Opracowanie modelu szacowania efektu netto interwencji publicznych z zakresu inwestycji w infrastrukturę transportową dokonane zostało na przykładzie projektu o nazwie Przebudowa szczególnie niebezpiecznych skrzyŝowań na sieci dróg krajowych. Projekt ten realizowany był od maja 2003 do marca 2008 roku przez Generalną Dyrekcję Dróg Krajowych i Autostrad. Koszt realizacji projektu wyniósł 71 mln złotych. 61% tej kwoty pochodziło ze środków Unii Europejskiej alokowanych w ramach Sektorowego Programu Operacyjnego Transport. GDDKiA w załoŝeniach projektu wskazywała, Ŝe główne problemy bezpieczeństwa ruchu drogowego w Polsce to: niebezpieczne zachowanie uczestników ruchu oraz nieodpowiednia jakość infrastruktury drogowej. Poziom wypadkowości podnoszą niebezpieczne obiekty w pasie drogowym, przejścia dróg tranzytowych przez miasta i miejscowości, błędne rozwiązania skrzyŝowań i przejść dla pieszych. W związku z tak postawioną diagnozą, po szczegółowej analizie wypadkowości skrzyŝowań w całym kraju, do przebudowy wybrano 25 z nich 8, które dotychczas charakteryzowały się podwyŝszoną wypadkowością, świadczącą o ich niebezpiecznej konstrukcji. Na skrzyŝowaniach objętych projektem zaobserwowano wyŝszy i odbiegający od średniej poziom wypadkowości, co skłoniło GDDKiA do podjęcia prac w celu ich przebudowy na bardziej bezpieczne. Podstawowym celem realizowanego projektu było podniesienie poziomu bezpieczeństwa ruchu drogowego, a w szczególności ograniczenie liczby wypadków na kaŝdym z zaznaczonych na poniŝszej mapie skrzyŝowań. 9 8 W rzeczywistości przebudowanych zostało 26 skrzyŝowań. 9 Pełna lista skrzyŝowań poddanych interwencji w ramach opisanego projektu znajduje się w załączniku do niniejszego raportu. 23 S t r o n a

24 Mapa 1 Lokalizacja skrzyżowań poddanych interwencji w ramach projektu Przebudowa szczególnie niebezpiecznych skrzyżowań na sieci dróg krajowych Źródło: Materiały zamieszczonych na stronie W wyniku realizacji projektu oczekiwano (w zaleŝności od typu skrzyŝowania) wystąpienia pozytywnych efektów dotyczących: zapewnienia bezpiecznego przejazdu uŝytkownikom krzyŝujących się dróg, ograniczenia prędkości i uspokojenie ruchu w obszarze skrzyŝowania, wzrostu czytelności układu skrzyŝowania, maksymalnego rozdzielenia i ograniczenia liczby punktów kolizji na skrzyŝowaniu, poprawy przepustowości i płynności ruchu na skrzyŝowaniu, zapewnienia odpowiedniej dostrzegalności i percepcji układu drogowego, zapewnienia właściwych (bezpiecznych) warunków ruchu pieszych w obrębie skrzyŝowania, dostosowania rozwiązań geometrycznych do obowiązujących wymagań technicznych, 24 S t r o n a

25 przywrócenia właściwego stanu technicznego infrastruktury drogowej WYBÓR METODY ANALIZY DANYCH DOBÓR JEDNOSTEK REFERENCYJNYCH Zazwyczaj do badania efektu netto w ewaluacjach korzysta się z metody Propensity Score Matching. W przypadku niniejszego badania zachodziła uzasadniona obawa, Ŝe PSM nie da rzetelnych wyników, bądź w ogóle nie da się zastosować ze względu na słabą jakość dopasowania. Obawa ta bazowała na przesłance dotyczącej faktu, Ŝe baza danych jednostek niepoddanych interwencji powinna być dość obszerna tak, by moŝna było dobrać do jednostek ewaluowanych odpowiedniej jakości obserwacje bliźniacze. W toku konceptualizacji metody do badania zakładano, Ŝe w razie zaistnienia sytuacji uniemoŝliwiającej wykorzystanie w zadowalający sposób PSM, będą poszukiwane inne metody, które pozwolą na dobranie jednostek referencyjnych do jednostek ocenianych. Na tym etapie przygotowań zakładano nie tylko moŝliwość wykorzystania metody szeregów czasowych, ale nawet, zwaŝywszy na niewielką liczbę ewaluowanych obiektów, na ręczny dobór skrzyŝowań bliźniaczych. Oczywiście ostatnią z wymienionych metod posłuŝono by się w ostateczności, gdyby metoda PSM oraz TS nie dały zadowalających rezultatów. Obawy, co do rzetelności zastosowanych metod budziła takŝe jakość bazy danych, jak równieŝ konieczność nielosowego doboru skrzyŝowań referencyjnych. Dobór nielosowy był konieczny, gdyŝ skrzyŝowania wybrane do przebudowy zostały określone, jako szczególnie niebezpieczne. Siłą rzeczy członkowie zespołu projektowego zmuszeni zostali do wyszukania równie niebezpiecznych skrzyŝowań referencyjnych. Stało się, więc jasne, Ŝe nie moŝna było wziąć pod uwagę całej populacji skrzyŝowań, a jedynie wybrać spośród nich te, które zdaniem badaczy są szczególnie niebezpieczne. Konsekwencją takiego podejścia był celowy dobór jednostek do próby. Podstawą przeprowadzonych w ramach niniejszego badania analiz statystycznych była baza danych, skonstruowana na potrzeby projektu obejmująca kilka róŝnych zbiorów danych. Wszystkie z niŝej wymienionych, wykorzystanych baz danych, zostały pozyskane za pośrednictwem Biura Studiów Generalnej Dyrekcji Dróg Krajowych i Autostrad: baza danych dotycząca wypadków na przestrzeni lat , tworzona na podstawie raportów policyjnych, która była podstawą do określenia liczby wypadków oraz ich skutków; Generalny Pomiar Ruchu 2005, który pozwolił określić wielkość ruchu na tych wlotach analizowanych skrzyŝowań, które miały rangę drogi krajowej lub wojewódzkiej; dane wygenerowane z Banku Danych Drogowych dla wybranych regionów, które stanowiły podstawę do opisu geometrii skrzyŝowań (w szczególności kontrfaktycznych); studium wykonalności projektu SPOT Przebudowa szczególnie niebezpiecznych skrzyŝowań na sieci dróg krajowych (pomocniczo przykładowo zawarte w nim dane dotyczące natęŝenia ruchu miały format nieporównywalny z GPR, brak było pikietaŝy niektórych skrzyŝowań itp.). 10 Opracowane na podstawie materiałów zamieszczonych na stronie 25 S t r o n a