Ocena systemu kryteriów wyboru projektów w ramach Regionalnego Programu Operacyjnego Województwa Podlaskiego na lata 2007-2013 Posiedzenie Komitetu Monitorującego Program Operacyjny Województwa Podlaskiego na lata 2007 2013 Białystok 20 listopada 2008 r.
Podstawa i cel badania 1. Badania przeprowadzone w ramach projektu miały na celu dokonanie oceny poszczególnych kryteriów wyboru projektów oraz ich grup. 2. W badaniu wykorzystano szereg metod i technik badawczych, takich jak analizy eksperckie, symulacyjną ocenę projektów, wywiady z osobami zaangażowanymi we wdrażanie RPOWP, wywiady telefoniczne z beneficjentami i potencjalnymi beneficjentami oraz panele ekspertów.
Przedmiot badania Przedmiotem badania były następujące grupy kryteriów: Kryteria formalne (jednakowe dla wszystkich wniosków: ogólne i szczegółowe) Kryteria merytoryczno-techniczne (dopuszczające) Kryteria merytoryczno-techniczne (ogólne) Kryteria merytoryczno-techniczne, szczegółowe (dla Osi Priorytetowych i poszczególnych Działań).
Wyniki badania Większość kryteriów ogólnych spełnia wymogi jakości oraz użyteczności. Kryteria szczegółowe są swoistą kontynuacją (dopełnieniem) kryteriów ogólnych. Mają one dwoisty, administracyjno-merytoryczny charakter. Wysoką jakość i użyteczność kryteriów stwierdzono przy kryteriach dotyczących spełniania warunków minimalnej lub maksymalnej wartości projektu, zgodności danych dotyczących miejsca realizacji projektu, poprawności wyliczeń matematycznych, kompletności załączników oraz ich poprawności, a także prawidłowości wskaźników projektów.
Wyniki badania Kryteria merytoryczno-techniczne dzielą się na dopuszczające i ogólne. Obie grupy kryteriów generują szereg problemów w ocenie, w szczególności tam, gdzie projekty nie mają charakteru twardego. Kryteria obu grup trudno jest czasem zweryfikować - np. kryterium właściwie przygotowana analiza ekonomiczna, gdzie oceniający sprawdza czy analiza została przygotowana zgodnie z wytycznymi MRR nie daje możliwości udzielenia jednoznacznej odpowiedzi (problemem jest określenie właściwa podobnego typu określeń należy zdecydowanie unikać w kryteriach).
Wyniki badania Kryteria wyboru projektów pierwszej Osi priorytetowej można uznać w większości przypadków za użyteczne. Zidentyfikowano tutaj takie kryteria których jednoznaczność jest problematyczna, bądź nie odpowiadają do końca projektom realizowanym w ramach działania (np. kryterium dotyczące wprowadzenia nowych rozwiązań technologicznych prowadzących do powstania i wprowadzenia na rynek nowego produktu w odniesieniu do projektów infrastrukturalnych realizowanych przez inkubatory, Centra Transferu Technologii, czy też ocena wpływu na rozwój klastra w przypadku funduszy pożyczkowych i poręczeniowych). Kryteria sformułowane w odniesieniu do wszystkich czterech działań pierwszej Osi priorytetowej są kryteriami wpływającymi na optymalność wyboru projektów.
Wyniki badania W ramach drugiej Osi priorytetowej kryteria wyboru projektu w znacznej części sąużyteczne i poprawne jakościowo. Dotyczy to w szczególności projektów z zakresu infrastruktury lotniczej oraz rozwoju transportu kolejowego. W mniejszym stopniu ocena ta dotyczy projektów z zakresu wspierania rozwoju infrastruktury drogowej (zarówno projektów indywidualnych, jak i konkursowych) oraz w zakresie rozwoju transportu publicznego. Kryteria wyboru projektów drugiej Osi priorytetowej pozwalają w dużej mierze na wybór projektów optymalnych z punktu widzenia regionu.
Wyniki badania W przypadku trzeciej Osi priorytetowej istnieją trzy odrębne listy kryteriów na tym poziomie. Dwie zostały przygotowane dla działania 3.1, jedna dla działania 3.2. Większośćkryteriów nie spełnia wymogów jakości oraz użyteczności. Lista kryteriów, przy pomocy których mająbyćoceniane projekty promocyjne oraz odrębnie projekty infrastrukturalne badająinne elementy. Jako grupa kryteria te nie są odpowiednie. Sprawdzają one kwestie formalnoadministracyjne i rzeczywiście odnoszą się do zagadnień, związanych bezpośrednio z administracyjną wykonalnością projektu. kryteria z działania 3.1 nie pozwalają one z nielicznymi wyjątkami wyłonić projekty, które przyczynią się do zlikwidowania lub zminimalizowania problemów zdiagnozowanych w sytuacji społeczno-gospodarczej regionu
Wyniki badania W przypadku kryteriów czwartej Osi priorytetowej kryteria w większości są kryteriami użytecznymi i dobrymi jakościowo, przy czym wymagają doprecyzowania. W zasadzie tylko w przypadku jednego kryterium (wykorzystanie zaawansowanych technologii informatycznych) istnieją wątpliwości co do jego jednoznaczności i użyteczności (z jednej strony kryterium zakłada, że stosowane mogą być rozwiązania inne niż zaawansowane, z drugiej zaś strony, stwarza pole dla subiektywności oceny). W przypadku kryteriów IV Osi priorytetowej stwierdzić można, że przygotowane kryteria spełniają w całości wymogi optymalności projektów z punktu widzenia potrzeb regionu.
Wyniki badania Dla projektów, aplikujących o środki z piątej Osi priorytetowej przygotowano praktycznie pięć zestawów kryteriów szczegółowych, dla każdego z grup projektów. Większość analizowanych kryteriów w obecnym układzie jest odpowiednia, to znaczy dotyczy zagadnień, właściwych dla ochrony środowiska Zdecydowanie gorzej wypada ocena jednoznaczności kryteriów. Opisy kryteriów nie sąjasne, dająpole do szerokich interpretacji Kryteria w osi priorytetowej w praktyce nie pozwalają na ostateczny wybór projektów optymalnych. W kryteriach brak jest takich, które badają stronę popytową, to znaczy oceniająprzystawalnośćprojektu do problemu. W osi priorytetowej V pewna część kryteriów odnosi się wprost do parametrów ilościowych projektów i nagradza większą liczbą punktów te, które te parametry mają po prostu większe.
Wyniki badania W szóstej Osi priorytetowej przygotowano osobne zestawienia kryteriów merytoryczno-technicznych szczegółowych dla poszczególnych działań, W przypadku działania 6.1 część kryteriów jest odpowiednia i odnosi się do oceny jakości projektu. W działaniu 6.1 w zakresie edukacji nieobiektywne są kryteria dotyczące zajęć pozalekcyjnych oraz osiągnięć szkoły w konkursach i olimpiadach W przypadku działania 6.2 wszystkie kryteria sąodpowiednie i dotycząoceny jakości i odpowiedniości rezultatów projektów z zakresu infrastruktury zdrowia. W działaniu 6.2 zastrzeżenia budzi jedynie kryterium ostatnie dotyczące zgodności projektów z wdrażaniem dyrektyw. W przypadku działania 6.3 większośćkryteriów jest odpowiednia.
Rekomendacje Podzielenie kryteriów formalnych na dopuszczające oraz uzupełniające. Kryteria dopuszczające to te, których niespełnienie powoduje bezwarunkowe odrzucenie wniosku. Kryteria uzupełniające przewidują możliwość sprawdzenia wniosku, zwrócenia siędo beneficjenta z prośbąo uzupełnienia i poprawki. Dopiero przy powtórnym sprawdzaniu, czy projekt spełnia kryteria formalne uzupełniające istniałaby możliwośćodrzucenia wniosku. Po odrzuceniu wniosku procedury odwoławcze stosuje się odpowiednio.
Rekomendacje Połączenie elementów zgodności projektu z Uszczegółowieniem RPOWP na lata 2007-2013, Linią demarkacyjną oraz Dokumentacją konkursową w jednolite zespoły kryteriów. Zespół proponuje, by badanie kwalifikowalności beneficjenta, miejsce realizacji projektu oraz kwalifikowalność typu projektu znalazły się w kryteriach dopuszczających (bowiem nie mogą one ulec zmianie), natomiast pozostałe elementy (które nota benebyły badane odrębnie pod pojęciem linii demarkacyjnej, zgodności z zasadą N+3/2, zgodności z Uszczegółowieniem RPOWP na lata 2007-2013) umieścićw kryteriach formalnych uzupełniających
Ocena administracyjna (formalna) Rekomendacje Projekt nie spełnia kryteriów Kryteria formalne -dopuszczające Kryteria formalneuzupełniające Projekt nie spełnia kryteriów (zapytanie) Kryteria formalneuzupełniające Projekt nie spełnia kryteriów Projekt spełnia kryteria Projekt spełnia kryteria
Rekomendacje Podzielenie kryteriów merytoryczno-techniczne dopuszczające i ogólne na dwie grupy kryteriów. Pierwszą grupę stanowiłyby kryteria stałe dla wszystkich działań wszystkich Osi priorytetowych (kryteria merytorycznotechniczne ogólne), drugą zaś kryteria charakterystyczne tylko dla danego działania lub grupy projektów (kryteria merytoryczno-techniczne szczegółowe).
Rekomendacje Sugeruje się: 1. Doprecyzować zapisy brzmienia niektórych kryteriów tak, aby zachować pełnączytelnośćocenianych zagadnieńw sposób zaprezentowany w Aneksie nr 1 do niniejszego raportu. 2. Zmienićwagi punktowe kryteriów tak, aby uwzględniały nowy kształt całego systemu kryteriów wyboru projektów (zmienione relacje wag kryteriów merytoryczno-technicznych dopuszczających, uzupełniających oraz szczegółowych relacja 40 punktów 60 punktów).
Rekomendacje (ocena merytoryczno-techniczna) Kryteria merytoryczno-techniczne ogólne (40 pkt) Kryteria merytoryczno-techniczne szczegółowe (60 pkt)
Rekomendacje dodatkowe Po ostatecznej akceptacji systemu kryteriów wyboru projektów sugeruje się zestawienie wszystkich kryteriów dla poszczególnych Osi priorytetowych, działań i poddziałań, tak aby beneficjent mógł łatwo i kompleksowo znaleźć informację o wszystkich kryteriach jakie musi spełnić (lub przez prymat jakich będzie oceniany). Zestawienie to powinno zostać poprzedzone zestawem definicji obowiązujących w kryteriach (np. wykluczenie cyfrowe, trwałość projektów, polityki horyzontalne, itd.). Jednocześnie takie zestawienie może być łatwo wykorzystywane na etapie ogłaszania konkursów poprzez dołączenie danego zestawienia do dokumentacji konkursowej. Alternatywnie proponuje się stworzenie Przewodnika po kryteriach, który obejmowałby zestaw definicji dotyczących kryteriów, zakres oceny poszczególnych kryteriów, zestawienie dokumentów i rozporządzeń regulujących oceniane kwestie (np. polityki horyzontalne).