PROGRAMY RAMOWE UE Z PERSPEKTYWY POLSKICH JEDNOSTEK NAUKOWYCH BADANIE EWALUACYJNE

Transkrypt

1

2

3 PROGRAMY RAMOWE UE Z PERSPEKTYWY POLSKICH JEDNOSTEK NAUKOWYCH BADANIE EWALUACYJNE Marta M. Rószkiewicz, Barbara Warzybok

4 Programy Ramowe UE z perspektywy polskich jedostek aukowych badaie ewaluacyje Autorzy: Marta M. Rószkiewicz, Barbara Warzybok Recezet aukowy: Dr hab. Ma gorzata Duczkowska-Piasecka, prof. SGH Wydawca: O rodek Przetwarzaia Iformacji Istytut Badawczy al. Niepodleg o ci 188 b Warszawa tel , fax opi@opi.org.pl Copyright by O rodek Przetwarzaia Iformacji Istytut Badawczy Warszawa 2013 Wszelkie prawa zastrze oe ISBN Projekt gra czy: Studio Artis Sp. z o.o. ul. Wi iowa 19, Warszawa Druk i oprawa: O cya Drukarska Jacek Chmielewski ul. Soko owska 12a, Warszawa

5 SPIS TRE CI Streszczeie... 5 Rozdzia I. ISTOTA PROGRAMÓW RAMOWYCH I CHARAKTERYSTYKA POLSKIEGO UCZESTNICTWA... 9 Rozdzia II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Ewaluacja jako arz dzie do ocey efektów projektów z polskim uczestictwem Ewaluacja programów ramowych do wiadczeia wybraych krajów Metodologia badaia Charakterystyka badaej populacji Kryteria doboru próby Narz dzia i techiki badawcze Podstawa empirycza badaia Rozdzia III. OCENA EFEKTÓW PROGRAMÓW RAMOWYCH WYNIKI BADANIA EWALUACYJNEGO Motywacja do uczestictwa w projektach ramowych Ocea skuteczo ci efektów programów ramowych Ocea u yteczo ci efektów programów ramowych Ocea trwa o ci efektów programów ramowych Ocea oddzia ywaia programów ramowych a sektor auki w Polsce - wioski i podsumowaie Bibliogra a Za czik 1. Studia przypadku Za czik 2. Wykaz skrótów Spis rysuków Spis tabel

6

7 STRESZCZENIE Publikacja przedstawia wyiki badaia ewaluacyjego, którego celem by o zaprezetowaie iformacji o zakresie oddzia ywaia programów ramowych Uii Europejskiej a sektor auki w Polsce. Aby zrealizowa powy sze zamierzeie, przeprowadzoo oce efektów zako czoych projektów, realizowaych przez polskie jedostki badawcze. To badaie jest pierwsz tego typu prób ca o ciowej aalizy efektów polskich projektów, wspieraych z tego ród a do asowaia. Publikacja jest adresowaa do szerokiej grupy odbiorców. W szczególo ci wyiki badaia dotrze powiy do dzia ów admiistracji publiczej, które wspó decyduj o zakresie wsparcia uczestictwa w programach ramowych. Przeprowadzoe aalizy mog okaza si rówie cee dla bee cjetów programów ramowych ju posiadaj cych do wiadczeie w realizacji tego typu projektów oraz tych, którzy b d w ich bra udzia w przysz o ci. Aaliza rzeczywistych efektów projektów realizowaych przez polskich uczestików programów ramowych przeprowadzoa zosta a zgodie z kaoem bada ewaluacyjych. Badaie umo liwi o oce jako ci i warto ci polskiego uczestictwa w ajwi kszym istrumecie asowaia bada a poziomie Uii Europejskiej. Jedocze ie, zastosowaie takiej formy badaia ustrukturyzowa o jego proces, zw aszcza e przyj to jede z klasyczych modeli ewaluacyjych, zorietowaych a oce efektów iterwecji publiczej. Badaie przeprowadzoo a podstawie trzech porz dkuj cych aaliz kryteriów ewaluacyjych: skuteczo, u yteczo i trwa- o. Kryteria te korespodowa y jedocze ie z pytaiami badawczymi. Zwi kszaj c obiektywo przedstawioych w opracowaiu aaliz, wykorzystao zasad triagulacji metod badawczych. Techiki wykorzystae w aalizie obejmowa y: badaie akietowe, pog bioe wywiady idywiduale (IDI), pael ekspertów oraz studia przypadków. Badaie ilo ciowe obj o 300 podmiotów, b d cych jedostkami aukowymi uczesticz cymi w 5., 6. oraz 7. Programie Ramowym. Rezultaty badaia zestawioe zosta y z wyikami podobych ewaluacji przeprowadzoych w iych krajach, co zwi kszy o obiektywo ocey otrzymaych wyików, a tak e pozwoli o sformu owa trafiejsze wioski z badaia. Dae pochodz ce z europejskiej bazy o programach ramowych (E-CORDA) zosta y udost pioe przez Krajowy Pukt Kotaktowy Programów Badawczych Uii Europejskiej. Aaliza wyików badaia ewaluacyjego mia a charakter z o oy. Projekty obj te badaiem ró icowa status i rola polskiej istytucji w kosorcjum. Rówie wa ym elemetem, który dywersy kowa odpowiedzi respodetów, by typ jedostki aukowej realizuj cej projekt. Poadto, zaczeie w aalizie mia y tak e takie parametry projektu, jak: bud et i poziom do asowaia, czas realizacji projektu oraz dziedzia auki reprezetowaa przez bee cjeta. Badaie pozwoli o wysu ast puj ce ajwa iejsze wioski: Efekty realizacji projektów ramowych przez ich polskich uczestików ie odbiegaj od efektów projektów realizowaych przez podmioty zagraicze. Taki wiosek dotyczy tak e motywów podejmowaia uczestictwa w programach ramowych. Wyiki wskazuj, i projekty ramowe s u przede wszystkim jako arz dzie asowaia bada, a ich celem jest osi gaie efektów o charakterze aukowym oraz efektów zwi zaych z rozwijaiem wspó pracy w ramach sieci aukowych i bizesowych. 5

8 STRESZCZENIE Warto ci wska ików kryteriów skuteczo ci, u yteczo ci i trwa o ci efektów ros w czasie wraz z realizacj kolejych programów. Do- wiadczeie w realizacji projektów ramowych poskutkowa o osi gaiem ajlepszych rezultatów w 7. Programie Ramowym. W aalizie efektów zaobserwowao przewag osi gaia wska ików produktu ad wska ikami rezultatu. Ozacza to, e beeficjeci programów ramowych wskazywali przede wszystkim a bezpo redie efekty realizacji projektów w postaci udzia u w koferecjach, publikacji wyików, zakupu i wytworzeia aparatury badawczej czy wyposa eia laboratoriów. Efekty, które d ugofalowo oddzia uj a istytucj i jej otoczeie, by y przez bee - cjetów osi gae rzadko. Uczestictwo w programach umacia pozycj jedostki w krajowym systemie ocey. Wyiki badaia wskazuj, i jedostki aukowe wykorzystuj to ród o asowaia do podoszeia stadardu jedostki, osi gaj c w ramach projektów ramowych efekty wysoko puktowae w tym systemie. Rodzaj fukcji, jak istytucje pe i w projekcie, wp ywa a warto ci wska ików skuteczo ci, u yteczo ci i trwa o ci efektów projektów koordyatorzy osi gali lepsze efekty i cz okowie kosorcjów. Zaobserwowao zró icowaie osi gaych efektów w zale o ci od pro lu jedostki aukowej. O ile szko y wy sze i istytuty Polskiej Akademii Nauk (PAN) ajcz ciej osi ga y efekty o charakterze aukowym i dydaktyczym, to istytuty badawcze cz ciej zyskiwa y korzy ci ekoomicze, cho wyst powaie efektów o charakterze ekoomiczym w wyiku realizacji projektów by o rzadkie. Rozwój kariery aukowej cz oków zespo u badawczego jest komplemetarym efektem projektów ramowych. Ozacza to, e uczestictwo polskich zespo ów badawczych w programach ramowych w bardzo du ym stopiu wykorzystywae by o do rozwoju aukowego cz oków zespo u i powi kszaia ich dorobku aukowego. Podoszeie presti u jedostki ast puje poprzez rozwój aukowy w projektach ramowych. Efekt te wi e si z umocieiem pozycji istytucji w ród jedostek o podobej specjalizacji badawczej, w szczególo ci a areie mi dzyarodowej. Wraz z realizacj kolejych programów ramowych dzia aia projektowe rzadziej skupia y si a iwestycjach ifrastrukturalych. Zjawisko to mo a t umaczy z jedej stroy coraz miejszymi potrzebami istytucji w zakresie wyposa eia badawczo-techiczego, z drugiej atomiast alteratywymi ród ami asowaia ifrastruktury. Kluczowym i ajbardziej po daym efektem programów ramowych jest etworkig. Nowe kotakty mia y przede wszystkim charakter aukowy, rzadziej bizesowy, a ich zakres okre- lay by przez beeficjetów g ówie jako mi dzyarodowy. Nawi zae kotakty uwa- ao rówie za d ugotrwa e, co potwierdza wiosek, e wypracowaa w projektach baza kotaktów s u y jako d wigia do dalszego uczestictwa w programach ramowych. W porówaiu z iymi efektami wdro eia wyikaj ce z realizacji projektu ramowego osi gae by y rzadko. Wyik te wi e si z obserwacj, i wdro eie plaowae by o zaczie rzadziej i ie efekty projektów, a tak e w porówaiu do iych plaowaych efektów by o ajcz ciej ieosi gae. Programy ramowe ie przyczyiaj si do komercjalizacji wyików bada. Beeficjeci programów ramowych rzadko plaowali osi gaie efektów zwi zaych z ochro praw w aso ci itelektualej, które potecjalie mog y przyie istytucji dochody z dzia alo ci badawczo-rozwojowej (B+R). U yteczo projektów ramowych oceioa zosta a a przeci tym poziomie, co ozacza, e oddzia ywaie projektów ramowych a otoczeie istytucji ie w pe i satysfakcjoowa o bee cjetów. Naji ej oceioo wp yw projektów a wyst powaie takich efektów jak: wzrost zatrudieia, wzrost dochodów istytucji wyikaj cych z wdro eia wyików projektu 6

9 STRESZCZENIE oraz powstawaie owych rm typu spi-off lub spi-out zak adaych w celu komercjalizacji techologii. Bee cjeci programów deklarowali trwa o wypracowaych wyików w ramach projektów ramowych oraz wykorzystywaie ich co ajmiej cz ciowo, a cz sto ca kowicie w kolejych przedsi wzi ciach badawczych. Bee cjeci potwierdzili wyst powaie efektu syergii, b d cego wyikiem realizacji przez ich jedostk rówoleg ych dzia a do projektów ramowych. W ajwi kszym stopiu dzia aia te kocetrowa y si a iych pracach badawczo-rozwojowych oraz wspieraiu wspó pracy i poszerzaiu sieci kotaktów. Badaia realizowae w ramach projektów ramowych s kotyuowae po zako czeiu projektu ajcz ciej w ramach takich iicjatyw, jak: realizacja dalszych prac rozwojowych, publikowaie wyików bada oraz uczestictwo w koferecjach aukowych. Zakres dzia a b d cych kotyuacj projektu ramowego ma raczej wymiar krajowy, co mo e by spowodowae brakiem istytucjoalych rodków a podejmowaie aktywo ci o charakterze mi dzyarodowym. Publikacja sk ada si z czterech rozdzia ów. Pierwszy z ich staowi wprowadzeie oraz charakterystyk polskich do wiadcze w projektach badawczych programów ramowych. Opracoway zosta a podstawie daych statystyczych o programach, gromadzoych przez Komisj Europejsk. Drugi rozdzia po wi coy zosta metodologii badaia ewaluacyjego. Ta cz uzasadia zastosowaie ewaluacji jako arz dzia racjoalizacji iterwecji publiczej poprzez oce efektów projektów z udzia em polskich zespo ów badawczych. Istotym jej uzupe ieiem jest charakterystyka wybraych bada ewaluacyjych oraz wyików ewaluacji programów ramowych w iych krajach. Rozdzia zawiera rówie opis próby badawczej oraz wykorzystaych techik badawczych. Problem badawczy opisay zosta przez pryzmat trzech kryteriów ewaluacyjych, których aaliza staowi trzeci rozdzia publikacji. Rozdzia trzeci ma w zwi zku z tym charakter empiryczy. W pierwszej kolejo ci, charakteryzuj c wyiki badaia, omówioo motywacj jedostek aukowych do uczesticzeia w programach ramowych. Nast pie oceioo skuteczo efektów projektów ramowych, rozró iaj c w ród ich efekty plaowae przed realizacj projektów oraz te, które ie zosta y przewidziae (tzw. efekty ubocze). U yteczo efektów projektów ramowych staowi a kolejy przedmiot aaliz. W aalizach oddzia ywaia projektów ramowych a istytucj i jej otoczeie uwzgl dioo pi grup efektów. Ostatim kryterium zastosowaym w aalizie wyików by a trwa o, pozwalaj ca a oce d ugofalowo ci wykorzystaia efektów projektów programów ramowych, obj tych badaiem. Aaliz podsumowuj wioski, rozbudowae o potecjale kieruki przysz ych bada, staowi ce czwarty rozdzia publikacji. 7

10

11 Rozdzia I ISTOTA PROGRAMÓW RAMOWYCH I CHARAKTERYSTYKA POLSKIEGO UCZESTNICTWA Programy Ramowe Uii Europejskiej (PR UE) to ajwi ksze przedsi wzi cie ukierukowae a - asowaie rozwoju auki w Europie, w tym a tworzeie owej wiedzy, owych techologii, owych produktów i procesów oraz wprowadzaie iowacji do istiej cych ju rozwi za. Programy ramowe (PR) maj a celu zwi kszeie kokurecyjo ci i iowacyjo ci gospodarki europejskiej, a ich efekty powiy mie wymiar mi dzyarodowy i oddzia ywa a ajwa iejsze obszary gospodarcze. O doskoa o ci aukowej bada realizowaych z fuduszy programów wiadczy do asowywaie jedyie projektów, które wykraczaj poza obecy sta wiedzy w swojej dziedziie (stateof-the-art). Najlicziejsz grup do asowaych projektów z tego ród a staowi projekty badawcze, realizowae przez kosorcja projektowe. Kosorcja skupiaj jedostki z krajów Uii Europejskiej i krajów trzecich, a tak e orgaizacje reprezetuj ce ró e sektory gospodarki, w tym szczególe zaczeie ma udzia sektora przedsi biorstw [Komisja Europejska 2007]. Wraz z kolejymi programami ramowymi ewoluowa o podej cie do realizacji projektów, w tym projektów badawczych. Wyika o to m.i. z potrzeb zmieiaj cego si otoczeia gospodarczego oraz zwi kszaia iowacyjo ci. Te proces trudo uchwyci w aalizie ilo ciowej. We wprowadzeiu podae zosta y jedyie bardzo podstawowe iformacje o historii uczestictwa polskich zespo ów w programach ramowych. Bazy daych o bee- cjetach (E-CORDA) gromadz dae o projektach programów ramowych, które dost pe s a etapie podpisaia z Komisj Europejsk umowy o grat (dla 7. PR gromadzoe s rówie dae, zawieraj ce iformacje o oceie wiosków). S to podstawowe parametry dotycz ce tematyki i charakteru projektów, a tak e koordyatora i parterów w kosorcjum. Komisja Europejska ie gromadzi jedak iformacji o efektach projektów, które dost pe by yby w zagregowaej postaci. Zbierae s jedyie raporty okresowe, podsumowuj ce iformacje o post pach i rezultatach projektów, jedak e ich obszera forma uiemo liwia przekrojow aaliz. Dost p do tych daych jest rówie utrudioy. Co wi cej, raporty zawieraj g ówie parametry techicze i opis czyo ci projektowych, brak atomiast daych o subiektywych do wiadczeiach bee cjetów programów. Zagadieie wydaje si jedak istote, zw aszcza dlatego, e jedym z kryteriów ocey, decyduj cym o przyzaiu do asowaia z fuduszy programów ramowych, jest przedstawieie spodziewaych efektów projektu oraz opisaie ich europejskiego wymiaru. W wietle tak du ej iwestycji, jak s programy ramowe, a tak e w obliczu owej perspektywy do asowaia bada zwi zaej z tworzeiem kolejego programu Horyzot 2020, iformacje podsumowuj ce do wiadczeia bee cjetów wydaj si iezwykle cee. Do tej pory przeprowadzoe zosta y badaia ewaluacyje efektów programów ramowych w kilku krajach europejskich. Komisja Europejska regularie prowadzi rówie ewaluacje dzia a w obszarze programów ramowych. Brak jest jedak aalizy do wiadcze polskich podmiotów, która podsumowywa aby efekty projektów pod wzgl dem takich kryteriów, jak: skuteczo, u yteczo i trwa o (rozumiaa jako ich wykorzystaie w krótkiej i d u szej perspektywie). W szczególo ci przydata z puktu widzeia polskiej polityki aukowej wydaje si by aaliza wykorzystaia wyików wypracowaych podczas uczestictwa polskich zespo ów badawczych w programach ramowych oraz dost p polskich zespo ów do wyików ca ego kosorcjum projektu. Z tego powodu iiejsze badaie ewaluacyje staowi prób odpowiedzi a pytaie o rze- 9

12 I. ISTOTA PROGRAMÓW RAMOWYCH I CHARAKTERYSTYKA POLSKIEGO UCZESTNICTWA czywiste wyiki projektów realizowaych w programach ramowych oraz stopie ich wykorzystaia w kolejych przedsi wzi ciach badawczych. Polskie do wiadczeia w projektach badawczych programów ramowych Polska rozpocz a uczestictwo w programach ramowych jako kraj stowarzyszoy UE w 1999 roku, gdy rozpoczya si 5. Program Ramowy. Wraz z akcesj do Uii Europejskiej zasady polskiego uczestictwa uleg y zmiaie. Stopiowo abywae do wiadczeia sprawi y, e zwi kszy a si rola polskich jedostek wspó tworz cych kosorcja mi dzyarodowe oraz ast pi wzrost poziomu uczestictwa. Proces te widoczy jest w przedstawioych w tym podrozdziale statystykach. Poiewa w zrealizowaym badaiu kocetrowao si przede wszystkim a wyikach projektów badawczych, statystyki zaw oo w a ie do tej grupy projektów. Rysuek 1. Statystyki uczestictwa polskich zespo ów w projektach badawczych 5. PR, 6. PR i 7. PR do asowaie przyzae polskim uczestikom projektów badawczych liczba polskich uczestików projektów badawczych PR 6. PR 7. PR liczba projektów badawczych z polskim uczestictwem liczba polskich koordyacji projektów badawczych ród o: Opracowaie KPK a podstawie baz E-CORDA (wydaie dla 5. PR, wydaie dla 6. PR oraz wydaie 10.0 po 307 kokursach 7. PR). Rysuek 1 przedstawia statystyki uczestictwa polskich jedostek w kolejych Programach Ramowych: Pi tym, Szóstym i Siódmym. Dae dotycz ce 7. PR odosz si do daych zgromadzoych po 307 kokursach programu, dae o 5. PR i 6. PR pochodz z ostatich dost pych wyda baz a temat tych programów, które by y publikowae przez Komisj Europejsk. 0 Dost pe statystyki polskiego uczestictwa w 7. Programie Ramowym, obejmuj ce 307 zako czoych kokursów, wskazuj, e a tym etapie polskie zespo y zaaga owae by y miej liczie w projekty badawcze i w 6. Programie Ramowym 1, jedak e do asowaie przyzae bee cjetom zaczie przekroczy o fudusze a badaia polskich jedostek w programie poprzedzaj cym obecie ko cz cy si 7. PR ( ). Taki wyik wi e si ze wzmocieiem roli, jak polskie orgaizacje odgrywaj obecie w perspektywie Przyzaie wy szego do asowaia jest kosekwecj przypisaia polskim jedostkom bardziej istotych i presti owych, z puktu widzeia projektu, zada. Mo a zatem uza, e wraz z kolejymi programami polskie zespo y zyskiwa y do wiadczeie i stawa y si coraz bardziej atrakcyje jako parterzy w projektach. Za tym wioskiem przemawia rówie fakt, i pomimo miejszej liczby bee cjetów, liczba koordyatorów w 7. Programie Ramowym by a taka sama jak w 6. Programie Ramowym Porówaie daych opisuj cych wyiki 307 kokursów 7. Programu Ramowego do wyików ca ego poprzediego programu jest uzasadioe, poiewa 6. Program Ramowy trwa 5 lat, za kolejy zaplaoway zosta a 7 lat. Aalizowae 307 kokursów stosukowo dobrze wpasowuje si w pi cioleti okres trwaia 7. Programu Ramowego, co sprawia, e dae s porówywale.

13 I. ISTOTA PROGRAMÓW RAMOWYCH I CHARAKTERYSTYKA POLSKIEGO UCZESTNICTWA Statystyki uczestictwa polskich zespo ów w projektach badawczych programów ramowych, uwzgl diaj ce ró e istrumety asowaia 2, przedstawioe zosta y a rysuku 2. Rysuek 2. Projekty badawcze 5. PR, 6. PR i 7. PR z udzia em polskich bee cjetów w podziale a kategorie asowaia 5. PR PR 7. PR % 20% 30% 40% 50% 60% 70% 80% 90% 100% FP5 research projects FP5 demostratio projects FP5 combied projects FP6 IP projects FP6 STREP projects FP7 collaborative projects FP7 FP collaborative projects FP7 IP collaborative projects FP7 SICA projects FP7 TP projects ród o: Opracowaie KPK a podstawie baz E-CORDA (wydaie dla 5. PR, wydaie dla 6. PR oraz wydaie 10.0 po 307 kokursach 7. PR). W 5. Programie Ramowym wi kszo projektów z polskim uczestictwem obejmowa a projekty badawcze. Pozosta e istrumety wyst powa y rzadko, staowi c oko o 6% projektów. Badaia prowadzoe przez polskie zespo y w kolejym programie ramowym obejmowa y w 61% projekty ma e lub redie oraz w 39% projekty du e. Ze wzgl du a licziejsz grup istrumetów fiasowaia projektów badawczych w 7. Programie Ramowym podzia projektów z polskim uczestictwem by bardziej zró icoway. Poad po ow projektów (54%) staowi y projekty ma e lub redie. Udzia du ych projektów badawczych wyiós 26%. Na pozosta e 20% projektów realizowaych przez polskie podmioty sk ada y si przede wszystkim projekty badawcze realizowae poza wymieioymi istrumetami asowaia. Poziom polskiego uczestictwa w projektach badawczych jest zbli oy do rediej dla pa stw UE, gdzie 50% wszystkich projektów realizowaych przez pa stwa cz okowskie staowi projekty badawcze. Porówywalie w ajwi cej projektów badawczych zaaga owae s zespo y 2 W kolejych programach ramowych zmieia a si iezaczie de icja projektu badawczego, któr okre la si a podstawie istrumetu asowaia projektów. Taki istrumet wyzacza podstawowe zasady dotycz ce zakresu asowaia dzia a badawczych, okresu trwaia prac projektowych oraz zasad uczestictwa. Poi ej przedstawioe zosta y istrumety asowaia projektów badawczych stosowae w kolejych programach. W 5. Programie Ramowym za projekty badawcze przyjmowao projekty realizowae w ramach ast puj cych dzia a : Projekty badawcze (ag. research projects) projekty badawcze skocetrowae a pozyskiwaiu owej wiedzy w celu stworzeia owych lub ulepszeia ju istiej cych produktów, procesów lub us ug zajduj cych si w obszarze polityki UE; Projekty demostracyje (ag. demostratio projects) projekty demostracyje wspieraj ce owe techologie, które ios potecjale korzy ci ekoomicze, lecz ie mog by w prosty sposób komercjalizowae; Projekty mieszae (ag. combied projects) projekty cz ce elemety projektów badawczych i akcji demostracyjych. W 6. Programie Ramowym projekty badawcze asowao w ramach dwóch istrumetów: Projekty STREP (ag. small or medium-scale focused research projects) projekty badawcze i akcje demostracyje a ma lub redi skal ; Projekty IP (ag. itegrated projects) projekty badawcze polegaj ce a wspó pracy a redi lub du skal. W 7. Programie Ramowym projekty badawcze azywae projektami wspó pracy (ag. collaborative projects) mog wyst powa jako zwyk e projekty badawcze, bez dodatkowej specjalizacji (p. w priorytecie ENERGIA) lub mog by wspierae przez odpowiedio skostruoway istrumet asowaia. Wyró ia si ast puj ce istrumety asowaia: Ma e projekty wspó pracy (ag. FP focused projects) ma ej lub rediej wielko ci projekty badawcze polegaj ce a wspó pracy; Du e projekty wspó pracy (ag. IP itegrated projects) du e projekty badawcze polegaj ce a wspó pracy; Celowe projekty wspó pracy (ag. TP targeted projects) projekty badawcze ukierukowae a specjalie wybra grup odbiorców (p. M P); Projekty wspó pracy ukierukowae a mi dzyarodowe dzia aia itegracyje (ag. SICA speci c iteratioal cooperatio actios) projekty badawcze ukierukowae a wspó prac. 11

14 I. ISTOTA PROGRAMÓW RAMOWYCH I CHARAKTERYSTYKA POLSKIEGO UCZESTNICTWA z Filadii i Szwecji (56% projektów). Wysokim wyikiem poszczyci si mo e tak e Belgia (55%) oraz Niemcy i W ochy (po 54%). Najmiej projektów badawczych realizuje Cypr (38%), otwa (31%), a tak e Malta (29%). Na taki rozk ad ma jedak wp yw skala uczestictwa zespo ów z tych krajów silie zale a od rozmiaru sektora B+R (por. rysuek 3). Rysuek 3. Rozk ad uczestictwa bee cjetów 7. Programu Ramowego w asowaych projektach badawczych 60% 50% 40% 56% 56% 55% 54% 54% 53% 53% 53% 52% 52% 50% 49% 49% 48% 48% 48% 47% 47% 47% 46% 42% 42% 42% 41% 38% 30% 31% 29% 20% 10% 0% FI SE BE DE IT AT DK NL CZ SI EL PL RO IE SK ES FR HU PT LU BG LT UK EE CY LV MT ród o: Opracowaie KPK a podstawie E-CORDA (wydaie 10,0 dae po 307 kokursach 7. PR). Uczestikami projektów badawczych asowaych przez programy ramowe s w wi kszo ci zespo y reprezetuj ce szko y wy sze i o rodki badawcze 3 (w tym istytuty badawcze). Udzia szkó wy szych utrzymywa si w programach a sta ym poziomie, atomiast udzia o rodków badawczych by ajwi kszy w projektach 6. Programu Ramowego. Ciekawy wydaje si wzrost udzia u przedsi biorstw w programach z 4% do 30%. Warto jedak zwróci uwag a bardzo licz kategori ie w 5. Programie Ramowym, która zak óca rozk ad liczby uczestików pod wzgl dem typu orgaizacji. Takie przyporz dkowaie wyika z iedoskoa ych stosowaych wówczas procedur klasy kacji wed ug typu istytucji, a tak e z jako ci baz daych, gromadz cych iformacje o 5. Programie Ramowym. Orgaizacje kategorii ie w 5. Programie Ramowym obejmuj g ówie fudacje i agecje pa stwowe. Natomiast a kategori ie w 7. Programie Ramowym sk adaj si jedostki publicze (34 do asowaych uczestictw staowi cych ok. 5% bee- cjetów projektów badawczych) oraz orgaizacje, które ie kwali kowa y si do iej kategorii orgaizacji (stowarzyszeia, fudacje, itp.), (por. rysuek 4) W omeklaturze Komisji Europejskiej, stosowaej w bazach E-CORDA, u ywa si azwy agielskiej research orgaizatios, która ozacza orgaizacje prowadz ce dzia alo badawczo-rozwojow (poza jedostkami szkó wy szych).

15 I. ISTOTA PROGRAMÓW RAMOWYCH I CHARAKTERYSTYKA POLSKIEGO UCZESTNICTWA Rysuek 4. Udzia w uczestictwie polskich orgaizacji w programach badawczych 5. PR, 6. PR i 7. PR w podziale a typ istytucji 5. PR 38% 4% 19% 39% 6. PR 7. PR 38% 13% 34% 15% 35% 30% 30% 6% 0 20% 40% 60% 80% 100% OTH - ie istytucje ród o: Opracowaie KPK a podstawie baz E-CORDA (wydaie dla 5. PR, wydaie dla 6. PR oraz wydaie 10.0 po 307 kokursach 7. PR). Spo ród wymieioych powy ej kategorii orgaizacji, polskimi koordyatorami projektów badawczych w 5. Programie Ramowym i 6. Programie Ramowym ajcz ciej by y o rodki badawcze (odpowiedio 47% i 53% spo ród koordyatorów deklarowa o te typ istytucji), atomiast w 7. Programie Ramowym ajwi cej, bo 45% koordyacji, przypad o szko om wy szym. Przedsi biorstwa koordyowa y ielicze projekty. Rozk ad do asowaia przyzaego bee - cjetom przedstawioy wed ug kategorii orgaizacji (por. rysuek 5) zmieia si iezaczie w stosuku do rozk adu, a który wskazywa by poziom uczestictwa, przedstawioego a rysuku 4. Szko y wy sze uzyska y wy sze do asowaie, za przedsi biorstwa i sze do asowaie i wskazywa yby a to udzia y przedstawioe a rysuku 5. Zaczie wy szy od oczekiwaego jest rówie udzia asowy o rodków badawczych. Du y wp yw a przedstawio zale o (dla 6. PR i 7. PR) maj zasady do asowaia bee cjetów, które zak adaj wy szy poziom do- asowaia dla uczeli i o rodków badawczych (zazwyczaj jest to do asowaie do 75% kosztów dzia a projektowych, w szczególych przypadkach do asowaie obejmuje awet 100% bud etu projektu) i dla orgaizacji z sektora przedsi biorstw (ajcz ciej do asowaie Komisji Europejskiej ie przekracza 50% bud etu projektu, w przypadku jedostek sektora ma ych i redich przedsi biorstw próg te wyosi 75%). Rysuek 5. Udzia w do asowaiu polskich orgaizacji w programach badawczych 5. PR, 6. PR i 7. PR w podziale a typ istytucji 5. PR 32% 7% 41% 20% 6. PR 45% 10% 34% 11% 7. PR 37% 28% 30% 4% 0 20% 40% 60% 80% 100% OTH - ie istytucje ród o: Opracowaie KPK a podstawie baz E-CORDA (wydaie dla 5. PR, wydaie dla 6. PR oraz wydaie 10.0 po 307 kokursach 7. PR). 13

16 Wraz z realizacj kolejych programów ramowych zaobserwowao wzrost uczestictwa polskich jedostek aukowych w tych przedsi wzi ciach. Pomimo ros cego zaiteresowaia badaiami o mi dzyarodowej skali aktywo ta oceiaa jest wci jako iska. Taki wiosek potwierdza zestawieie wska ików udzia u polskich jedostek aukowych ze wska ikami dla iych europejskich krajów, charakteryzuj cych si podob struktur sektora B+R [Krajowy Pukt Kotaktowy 2013]. Wraz z wst powaiem owych pa stw do Uii Europejskiej oraz otwarciem mo liwo ci uczestictwa coraz wi kszej liczbie krajów spoza UE w projektach ramowych wzrasta rówie kokurecja o rodki a badaia. Wykorzystaie jak ajlepiej szasy a realizacj mi dzyarodowych bada ie jest mo liwe bez zrozumieia mechaizmów, zgodie z którymi polskie jedostki uczesticz w programach. Wsparcie polskiego uczestictwa powio by poparte aaliz efektów tego istrumetu asowaia bada, co pozwoli poza skal oddzia ywaia programów ramowych a sektor auki. Taka wiedza jest iezb da z puktu widzeia realizacji polityki aukowej w Polsce. Niiejsza publikacja jest prób przybli- eia tego zagadieia. 14

17 Rozdzia II WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA 2.1 Ewaluacja jako arz dzie do ocey efektów projektów z polskim uczestictwem Obecie coraz bardziej doceia si zaczeie ocey efektów programów w racjoalizacji polityk publiczych 4. W tym kotek cie w Polsce ci gle dostrzegala jest stosukowo iska kultura ewaluacyja w sektorze badawczo-rozwojowym (B+R). Dotychczasowe aalizy wyra ie pokazuj, i badaia ewaluacyje ograiczaj si g ówie do iterwecji publiczych 5 wspó - asowaych z fuduszy Uii Europejskiej. Wci domiuje paradygmat prowadzeia bada ewaluacyjych w obszarze programów operacyjych, zarówo krajowych, jak i regioalych. Istote jest zatem zapocz tkowaie dzia a maj cych a celu przeikaie kultury ewaluacyjej z polityki spójo ci (realizowaej m.i. poprzez uije programy operacyje) do iych polityk publiczych zarówo szczebla krajowego, jak i europejskiego. Kolej, istot przes ak do wykorzystywaia ewaluacji w celu ocey efektów projektów (w tym przypadku projektów Programów Ramowych UE) jest ograiczoy dost p do iformacji o efektach projektów sfery B+R. Podstaw ewaluacji jest bowiem dost po daych. Poadto, ich samodziele zdobywaie staowi jede z wra liwszych, kosztoch oych etapów ewaluacji. Wybór tematyki oraz zakresu iiejszego badaia uwarukoway by wi c dwoma bardzo wa ymi czyikami. Z jedej stroy wzi to pod uwag obszar, który ie by dot d w Polsce poddaway aalizom przy wykorzystaiu arz dzia, jakim jest ewaluacja. Poadto drug przes ak dla realizacji badaia by a mo liwo dost pu do daych gromadzoych w bazie E-CORDA. Aaliza rzeczywistych efektów projektów realizowaych w Programach Ramowych UE z udzia em polskich zespo ów badawczych przeprowadzoa zosta a zgodie z kaoem bada ewaluacyjych. Z jedej stroy pozwalaj oe ocei, w zale o ci od przyj tej perspektywy badawczej, efekty ró ych typów dzia a publiczych. Z drugiej stroy atomiast, strukturyzuj przebieg badaia. Ewaluacja de iowaa jest wi c jako systematycze badaia spo eczo-ekoomicze iformuj ce o jako ci i warto ci dzia a publiczych. Aby móc iformowa o jako ci i warto ci daej iterwecji, trzeba j ocei. Dlatego cetralym elemetem ewaluacji jest ocea dzia a [Patto, 2008; Rossi et al. 1999, Weiss 1998]. G ówym przedmiotem bada ewaluacyjych s ró e typy dzia a publiczych: pojedycze projekty, tematycze grupy projektów, programy oraz ca e polityki publicze. Literatura przedmiotu wyró ia kilka modeli bada ewaluacyjych b d cych wyikiem zró icowaego podej cia do wykorzystaia ewaluacji w praktyce badawczej. Modele dywersy kuj takie czyiki jak cel badaia, kieruek realizacji oraz fukcja badaia i uzyskae wyiki. Modele bada ewaluacyjych, stosowae w oceie efektów iterwecji publiczych mo a podzieli a: Modele oceiaj ce skuteczo iterwecji publiczych (aalizy celów, rezultatów, okre- loych elemetów programów, potrzeb bee cjetów programów, potrzeb orgaów zarz dzaj cych programem); Modele oceiaj ce efektywo iterwecji publiczych (aaliza kosztów iterwecji, aaliza wydajo ci iterwecji); 4 Polityka publicza rozumiaa jest jako obszar zracjoalizowaych i systemowych dzia a pa stwa i spo ecze stwa wokó problemów publiczych [Ko cielecki i Warzybok 2011]. 5 Na iterwecje publicze sk adaj si ró e typy dzia a, takie jak: pojedycze projekty, tematycze grupy projektów, programy oraz ca e polityki [Ko cielecki i Warzybok ].

18 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Modele opieraj ce si a wykorzystaiu w ewaluacji podej cia peer review (recezji aukowej). Ze wzgl du a to, i g ówym celem badaia by a aaliza rezultatów projektów Programów Ramowych Uii Europejskiej z udzia em polskich zespo- ów badawczych, w badaiu zastosowao model opieraj cy si a oceie skuteczo ci tych projektów. Podstawowymi elemetami tego modelu s z jedej stroy plaowae wyiki programu, czyli rezultaty osi gae dzi ki realizacji projektów, oraz z drugiej stroy efekty ubocze programu, czyli ieplaowae efekty, które zaistia y w wyiku realizacji projektów. Tego typu model bada ewaluacyjych pozwala a aaliz programu a podstawie jego zak adaych efektów w kofrotacji z efektami rzeczywistymi. W badaiu wykorzystao schemat zapropooway przez E. Vedug [2009], który sk ada si z ast puj cych elemetów: Rysuek 6. Zastosoway w badaiu model ewaluacji Rezultaty programu Model ewaluacji Model zorietoway a skuteczo programu Efekty ubocze programu ród o: Opracowaie OPI a podstawie E. Vedug, Public Policy ad Program Evaluatio, s. 36 za: E.G. Guba, Y.S. Licol, Effective Evaluatio: Improvig the Usefuless of Evaluatio Results Through Resposive ad Naturalistic Approaches. Niezale ie od wyboru modelu ewaluacji, ka de badaie powio by realizowae a bazie podstawowych kryteriów ocey iterwecji publiczych (tzw. kryteria ewaluacyje), które wyzaczaj ramy badaia i adaj mu w a ciwy kieruek. Nie wszystkie kryteria mog i powiy by wykorzystywae jedocze ie w okre loym badaiu ewaluacyjym. Jest to uwarukowae mometem prowadzeia badaia 6 oraz jego zakresem przedmiotowym (przyk adowo orietacja badaia a procesy i procedury w obszarze wdra aia i zarz dzaia iterwecj lub a efekty wdra aia). W praktyce bada ewaluacyjych wyró ia si pi podstawowych kryteriów, które akcetuj obszar poddaway oceie oraz relacj okre loych czyików programu (por. rysuek 7) Wyró ia si ewaluacje wst pe, tzw. ex-ate przed realizacj iterwecji, ewaluacje bie ce, tzw. o-goig w trakcie realizacji iterwecji, ewaluacje bie ce, tzw. mid-term w po owie realizacji iterwecji oraz ewaluacje ko cowe, tzw. ex-post po zako czeiu realizacji iterwecji.

19 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Rysuek 7. Podstawowe kryteria ewaluacyje Trafo (relevace) ocea adekwato ci plaowaych celów iterwecji i metod jej wdra aia do problemów i wyzwa spo eczo-ekoomiczych (zidety kowaych w diagozie) kryterium wykorzystywae przed rozpocz ciem iterwecji i w pierwszych fazach wdra aia Skuteczo (effectiveess) ocea stopia realizacji zak adaych celów, skuteczo ci wykorzystaych metod, istytucji oraz wp ywu czyików zew trzych a ostatecze efekty iterwecji Wydajo (ef ciecy) ocea relacji mi dzy ak adami, kosztami, zasobami ( asowymi, orgaizacyjymi, ludzkimi) a osi gi tymi efektami iterwecji U yteczo (utility) ocea ca o ci rzeczywistych efektów wywo aych przez iterwecj (zarówo plaowaych, ieplaowaych tzw. uboczych) odosz ca si do bie cej, obserwowalej sytuacji kryterium wykorzystywae po zamki ciu iterwecji lub w ko cowej fazie jej wdra aia Trwa o (sustaiability) ocea ci g o ci efektów okre loej iterwecji w perspektywie redio- i d ugookresowej (po zako czeiu iterwecji zwykle po 2 3 latach) ród o: opracowaie OPI a podstawie Ko cielecki i Warzybok 2011, s. 14. W model oparty a oceie skuteczo ci iterwecji publiczych wpisuje si rówie podej cie wykorzystywae przez Komisj Europejsk do realizacji bada ewaluacyjych w zakresie polityk publiczych, obszarów badawczych czy programów asowaych ze rodków KE (por. rysuek 8). Rysuek 8. System ewaluacji stosoway przez Komisj Europejsk Oddzia ywaie Uwarukowaia spo eczoekoomicze Potrzeby Problemy Rezultaty Program Cele Wk ad Produkty Ocea Trafo Skuteczo U yteczo Trwa o Wydajo ród o: Opracowaie OPI za: Europea Commissio Workig Papers, o. 1, 2006 za: Nagaraja ad Vaheukele,

20 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Podej cie stosowae przez Komisj Europejsk wskazuje a istote powi zaie dzia a programu z jego celami, zak adaymi produktami oraz rezultatami, przy wykorzystaiu scharakteryzowaych powy ej podstawowych kryteriów ewaluacyjych. Przyj ty schemat adaje badaiu ewaluacyjemu po day kieruek i pozwala a utrzymaie go w przyj tych ramach metodologiczych. Zastosowaie metodologii zgodej z wy ej opisaym modelem jest ajbardziej adekwatym podej ciem do ocey efektów programów ramowych w Polsce. 2.2 Ewaluacja programów ramowych do wiadczeia wybraych krajów Badaia ewaluacyje s powszech form bada spo eczo-ekoomiczych realizowaych w ró ych krajach, zarówo w Europie, jak i poza i. Jak ju wspomiao, a oceie efektów programów ramowych kocetruj si cz sto dzia- aia Komisji Europejskiej. Warto przytoczy badaie: The impact of publicly fuded research o iovatio. A aalysis of Europea Framework Programmes for Research ad Developmet, które obejmuje mi dzy iymi aaliz efektów programów ramowych z perspektywy wszystkich pa stw cz okowskich UE. Niektóre kraje uije takie jak: Wielka Brytaia, Niemcy, Filadia, Irladia, Daia, Estoia czy Czechy prowadz badaia ewaluacyje w obszarze tego istrumetu asowaia bada. Rówie kraje stowarzyszoe lub dzia aj ce a podstawie porozumie parterskich, takie jak: Szwajcaria, Norwegia, Chiy czy Australia prowadz tego typu badaia. Aaliza wybraych raportów z bada ewaluacyjych dost pych a stroie iteretowej Komisji Europejskiej 7 wskazuje przede wszystkim a szerokie zaiteresowaie oce rezultatów projektów Programów Ramowych UE. W ród raportów udost piaych przez Komisj Europejsk domiuj badaia o przekroju tematyczym, sektorowym etc. Jedak e, wyró i mo a kilka raportów, które bezpo redio dotycz ocey efektów projektów programów ramowych traktuj cych owe programy jako obszar badawczy. Badaia ewaluacyje prowadzoe przez kraje cz okowskie lub kraje stowarzyszoe z programem charakteryzuje podobe podej cie metodologicze do ocey efektów, uwzgl diaj ce zbli oy zestaw arz dzi i metod realizacji prac badawczych. Jedak e badaia te s zró icowae przede wszystkim pod wzgl dem obszarów i pyta badawczych. Wspólym elemetem aalizowaych raportów jest charakterystyka uczestictwa okre loych podmiotów i istytucji w tych programach. Z kolei czyikiem ró icuj cym, jest przede wszystkim stopie kocetracji a poszczególych elemetach, takich jak: motywacja do uczestictwa; cele uczestictwa; wspó praca parterów w kosorcjum i czyiki j warukuj ce; wyiki i rezultaty projektów; oddzia ywaie projektów a iowacyjo Uii Europejskiej; wp yw projektów a podstawowe wska iki makroekoomicze. W grupie krajów, których badaia ewaluacyje programów ramowych kocetrowa y si przede wszystkim a oceie rezultatów projektów oraz ich oddzia ywaia a poziomie makroekoomiczym, zalaz y si : Daia, Wielka Brytaia, Irladia oraz Szwajcaria (por. tabela 1). Na uwag zas uguje to, e badaie ewaluacyje rezultatów projektów programów ramowych z udzia em polskich zespo ów badawczych, pod wzgl dem metodologiczym ie odbiega o od bada prezetowaych w poi szej tabeli. 7 ród o: aktuale a dzie

21 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Tabela 1. Badaia ewaluacyje projektów w programach ramowych w wybraych krajach Kraj Chiy Kraje UE Czechy Daia Filadia Rodzaj ewaluacji Ex-post 5., 6. Program Ramowy UE Ex-post 5., 6., 7. Program Ramowy UE Ex-post 5. i 6. Program Ramowy UE Ex-post 6. i 7. Program Ramowy UE Ex-post 6. Program Ramowy UE Nazwa badaia Evaluatio of Chiese participatio i the EU Framework Programme The impact of publicly fuded research o iovatio. A aalysis of Europea Framework Programmes for Research ad Developmet Assessmet of Participatio of the Czech Republic i the EU Framework Programmes Evaluatio of Daish Participatio i the 6th ad 7th Framework Programmes Fis i the EU 6th Framework Programme Evaluatio of Participatio ad Networks Metodologia Aaliza desk research; Wywiady z uczestikami programów ramowych; Wywiady z przedstawicielami istytucji rz dowych; Badaie akietowe z uczestikami programów ramowych Aaliza akiety Commuity Iovatio Survey (CIS) badaia prowadzoe przez Komisj Europejsk ; Aaliza daych z bazy E-CORDA (gromadz ca iformacje o projektach programów ramowych); Wywiady idywiduale z uczestikami programów ramowych Badaie akietowe z uczestikami programów ramowych Aaliza daych z bazy E-CORDA; Badaie akietowe z uczestikami programów ramowych; Wywiady idywiduale z uczestikami programów ramowych Badaie akietowe z uczestikami programów ramowych; Wywiady idywiduale z uczestikami programów ramowych; Warsztaty Zagadieia Badaie obejmowa o: - aaliz motywacji i celu uczestictwa; - jako wspó pracy z parterami w projekcie oraz czyiki j warukuj ce; - wyiki i rezultaty projektów; - trwa o wyików oraz ich wykorzystaie w dalszych dzia aiach badawczych Badaie obejmowa o: - charakterystyk uczestictwa (poziom krajów UE); - czyiki warukuj ce skuteczo wspó pracy w projektach zorietowaych a zastosowaie wyików w praktyce; - charakterystyk czyików warukuj cych podejmowaie aktywo ci w obszarze praw w aso ci itelektualej i przemys owej; - aaliz wp ywu projektów ramowych a iowacyjo UE Badaie obejmowa o: - aaliz i charakterystyk projektów; - wielko uczestictwa (wg liczby projektów, bud etu, poziomu do asowaia); - wp yw uczestictwa a podstawowe wska iki makroekoomicze Badaie obejmowa o: - oce skali zaaga owaia istytucji w realizacj projektów ramowych (liczba, wielko do asowaia) oraz charakterystyk uczestictwa; - aaliz sk adu kosorcjów; - aaliz motywacji uczestictwa; - aaliz roli orgaizacji w parterstwie; - czyiki warukuj ce wspó prac w projektach; - koszty i korzy ci uczestictwa; - oce rezultatów projektów; - oce wsparcia udzielaego przez agecje krajowe a rzecz bee cjetów programów Badaie obejmowa o: - oce skali zaaga owaia istytucji w realizacj projektów ramowych (liczba, wielko do asowaia) oraz charakterystyk uczestictwa; - aaliz czyików wp ywaj cych a wspó prac w projektach; - aaliz wyików projektów w podziale a obszary tematycze 19

22 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Kraj Niemcy Rodzaj ewaluacji Ex-post 6. Program Ramowy UE Nazwa badaia Germa study o participatio patters i the Framework Programme Metodologia Aaliza daych z bazy E-CORDA; Badaie akietowe z uczestikami programów ramowych; Wywiady idywiduale z uczestikami programów ramowych Zagadieia Badaie obejmowa o: - aaliz i charakterystyk uczestictwa; - aaliz korzy ci i kosztów z uczestictwa Wielka Brytaia Irladia Ex-post 4., 5., 6.,7. Program Ramowy UE Ex-post 6. Program Ramowy UE The impact of the EU RTD Framework Programme o the UK Evaluatio of Framework Programme 6 i Irelad Aaliza daych z bazy E-CORDA; Badaie akietowe z uczestikami programów ramowych; Wywiady idywiduale z uczestikami programów ramowych Aaliza daych z bazy E-CORDA; Badaie akietowe z uczestikami programów ramowych; Wywiady idywiduale z uczestikami programów ramowych Badaie obejmowa o: - oce skali zaaga owaia istytucji w realizacj projektów ramowych (liczba, wielko do asowaia) oraz charakterystyk uczestictwa; - aaliz sk adu kosorcjów; - aaliz motywacji uczestictwa; - aaliz roli orgaizacji w parterstwie; - czyiki warukuj ce wspó prac w projektach; - koszty i korzy ci uczestictwa; - oce rezultatów projektów; - oce wsparcia udzielaego przez agecje krajowe a rzecz bee cjetów Badaie obejmowa o: - oce skali zaaga owaia istytucji w realizacj projektów ramowych (liczba, wielko do asowaia) oraz charakterystyk uczestictwa; - aaliz sk adu kosorcjów; - aaliz motywacji uczestictwa; - aaliz roli orgaizacji w parterstwie; - czyiki warukuj ce wspó prac w projektach; - koszty i korzy ci uczestictwa; - oce rezultatów projektów; - oce wsparcia udzielaego przez agecje krajowe a rzecz bee cjetów Szwajcaria Iterim 6. i 7. Program Ramowy UE Effects of Swiss participatio i EU Research Framework Programmes Aaliza daych z bazy E-CORDA; Badaie akietowe z uczestikami programów ramowych Aaliza obejmowa a: - koszty i korzy ci uczestictwa; - aaliz wp ywu projektów a gospodark i zatrudieie; - charakterystyk wyików projektów; - oce efektów aukowych i sieci wspó pracy; - wp yw projektów a podiesieie umiej to ci i wiedzy uczestików programów 20

23 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Kraj Szwajcaria Norwegia Rodzaj ewaluacji Ex-post 7. Program Ramowy UE Ex-post 6. i 7. Program Ramowy UE Nazwa badaia Switzerlad s Participatio i the 7th Europea Research Framework Programme, stocktakig report I Need of a Better Framework for Success. A evaluatio of the Norwegia participatio i the EU 6th Framework Programme ( ) ad the rst part of the EU 7th Framework Programme ( ) Metodologia Aaliza daych z bazy E-CORDA; Badaie akietowe z uczestikami programów ramowych Aaliza daych z bazy E-CORDA; Badaie akietowe z uczestikami programów ramowych; Wywiady z uczestikami programów ramowych; Studia przypadku Zagadieia Aaliza obejmowa a: - charakterystyk projektów oraz skal zaaga owaia istytucji; - uczestictwo w projektach (liczba projektów, wielko do asowaia), - charakterystyk wspó pracy w ramach parterstwa Badaie obejmowa o: - aaliz wyików projektów; - korzy ci i koszty uczestictwa; - aaliz i charakterystyk uczestictwa; - aaliz skali zaaga owaia istytucji; - aaliz wp ywu projektów a wska iki makroekoomicze ród o: Opracowaie OPI a podstawie raportów z bada ewaluacyjych dost pych a stroie: idex_e.cfm?pg=archive. Przedstawioe w powy szej tabeli badaia ewaluacyje wykoae w iych krajach europejskich obejmowa y okres w trakcie realizacji lub po zako czeiu projektów. Rol takich bada jest ocea rezultatów projektów i ich oddzia ywaia. Odmie, obserwowa praktyk a poziomie UE jest tak e ewaluacja przed rozpocz ciem programu (tzw. badaie ex-ate). W tym przypadku wyiki oce pe i i rol pozawcz, iformuj c o spodziewaej skuteczo ci dzia a. Prowadzoe przez Komisj Europejsk kosultacje z ekspertami oraz kosultacje spo ecze maj charakter ocey za o e programowych, przyj tych mechaizmów asowaia oraz rodzajów projektów, które mog odpowiada a postawioe cele przed rozpocz ciem realizacji programu [IDEA Cosult 2010, s. 65; Tamtik i Sá 2012 vol. 29, r 4, s. 452]. 21

24 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA 2.3 Metodologia badaia Badaie ewaluacyje zrealizowae w ród polskich bee cjetów programów ramowych mia o a celu oce rzeczywistych efektów projektów realizowaych z udzia em polskich zespo ów badawczych pe i cych rol koordyatorów oraz uczestików mi dzyarodowych kosorcjów a zasadzie parterstwa. Aalizie poddao projekty zako czoe w 5., 6. oraz 7. Programie Ramowym. Najwikliwiej zbadao projekty o charakterze badawczym, miej uwagi po wi coo atomiast projektom ifrastrukturalym oraz wspieraj cym mi dzyarodowe sieci wspó pracy 8. Badaie efektów projektów Programów Ramowych UE obejmowa o oce rezultatów zako czoych projektów, które by y plaowae przez bee cjetów przed podj ciem dzia a projektowych oraz tzw. efektów uboczych, czyli efektów osi gi tych w wyiku realizacji badaia, lecz ieplaowaych. Badaie mia o charakter ex-post i opiera o si a trzech kryteriach ewaluacyjych: skuteczo ci, u yteczo ci i trwa o ci 9. Tak skostruowae badaie oraz kryteria badawcze pozwoli y a sformu owaie ast puj cych pyta ewaluacyjych (por. tabela 2). Tabela 2. Zestawieie kryteriów badawczych, obszarów badawczych i wykorzystaych pyta ewaluacyjych Kryterium Obszar badawczy Pytaie ewaluacyje Skuteczo U yteczo Trwa o Stopie osi gi cia produktów i rezultatów oraz ich zastosowaie w gospodarce Stopie osi gi cia produktów i rezultatów oraz ich zastosowaie w gospodarce Komplemetaro dzia a w ramach istytucji D ugofalowo wykorzystaia produktów i rezultatów Czy uzyskao produkty i rezultaty projektów (w jakim zakresie)? Jakie ewetuale problemy dotycz ce osi gi cia zaplaowaych produktów i rezultatów zaistia y w trakcie realizacji projektu? Czy projekt przyczyi si do rozwi zaia problemów/wyzwa zidety kowaych przez bee cjeta? Jakie kokrete zmiay przyios a realizacja projektu? Jak zmiei a si sytuacja w istytucji bee cjeta i jego otoczeiu w wyiku realizacji projektu? Czy bee cjet realizuj cy projekt korzysta z efektów i rezultatów poprzedich projektów? Jaki jest poziom komplemetaro ci badaego projektu z iymi zrealizowaymi projektami? Jak d ugo bee cjet wykorzystuje produkty i rezultaty projektu? Czy produkty i rezultaty ulega y dalszym mody kacjom, moderizacjom? Jakie s perspektywy wdra aia kolejych projektów bazuj cych a powsta ych produktach i rezultatach? ród o: Opracowaie OPI. Przedstawioe pytaia ewaluacyje pozwalaj scharakteryzowa wyiki badaia w obszarze efektów projektów programów ramowych, zarówo tych plaowaych, jak i ieplaowaych oraz ich oddzia ywaia Wielko i rodzaj próby zosta y opisae szerzej w podrozdziale Kryteria ewaluacyje zosta y omówioe w podrozdziale 2.1.

25 II. WYKORZYSTANIE EWALUACJI DO OCENY EFEKTÓW PROGRAMÓW RAMOWYCH METODOLOGIA BADANIA Charakterystyka badaej populacji Badaie ewaluacyje obejmowa o projekty realizowae wy czie z wykorzystaiem rodków Programów Ramowych UE. Podzia projektów obejmowa takie kryteria, jak: horyzot czasowy, rol i status polskiej istytucji w projekcie, system asowaia oraz priorytety i obszary tematycze, a tak e rodzaj projektu (uwzgl diaj cy domiuj cy rodzaj realizowaych dzia a ). Poi ej przedstawioo opis badaej populacji, opisuj cy charakterystyki wszystkich projektów, w których brali udzia polscy bee cjeci, uwzgl diaj c ast puj cy schemat: I podzia projektów ze wzgl du a horyzot czasowy: Tabela 3. Podzia programów ramowych ze wzgl du a horyzot czasowy ród o: opracowaie OPI. Rodzaj programu Horyzot czasowy 5. Program Ramowy Program Ramowy Program Ramowy 2007 ajpó iejsza data zako czeia projektów uwzgl dioych w badaej próbie 10 II podzia projektów ze wzgl du a rol i status polskiej istytucji w projekcie: projekty koordyowae przez polsk istytucj ; projekty, w których polska istytucja pe i a rol partera kosorcjum. III podzia projektów ze wzgl du a system asowaia (rodzaj projektu): Projekty 5. PR, 6. PR i 7. PR, w których uczesticzy y polskie jedostki 11 mo a podzieli ze wzgl du a system asowaia a ast puj ce podgrupy (por. tabela 4): Tabela 4. Podzia programów ramowych ze wzgl du a system asowaia projektów 5. Program Ramowy 6. Program Ramowy 7. Program Ramowy projekty badawcze (ag. research projects) akcje koordyacyje projekty wspó pracy (ag. coordiatio actios) (ag. collaborative projects) projekty demostracyje (ag. demostratio projects) projekty mieszae (ag. combied projects) projekty CRAFT (ag. cooperative research) graty przygotowawcze dla M P (ag. exploratory awards) stypedia dla istytucji: pukty szkoleiowe (ag. Marie Curie-stays i traiig sites) sieci badawczo szkoleiowe (ag. research traiig etworks) sieci tematycze (ag. thematic etworks) dzia aia koordyuj ce (ag. cocerted actios) dzia aia towarzysz ce (ag. classical accompayig measures) projekty sektorowe (ag. collective research projects) projekty CRAFT (ag. co-operative research projects) zitegrowae iicjatywy w dziedziie ifrastruktury (ag. itegrated ifrastructure iitiatives) akcje promuj ce ifrastruktury badawcze (ag. speci c actios to promote research ifrastructures) projekty IP (ag. itegrated projects) akcje Marie Curie (ag. Marie Curie Actios) sieci doskoa o ci (ag. etworks of excellece) akcje wspieraj ce (ag. speci c support actios) projekty STREP (ag. speci c targeted research projects) subwecje (ag. grats subvetios) akcje koordyacyje i wspieraj ce (ag.coordiatio ad support actios) projekty mieszae (ag. combiatio of collaborative projects ad coordiatio ad support actios projects) sieci doskoa o ci (ag. etworks of excellece) badaia a rzecz M P lub stowarzysze M P (ag. research for the bee t of speci c groups) Wsparcie a rzecz bada pioierskich (ag. support for frotier research) akcje Marie Curie (ag. Marie Curie Actios) 10 Dae udost pioe przez Krajowy Pukt Kotaktowy. Do badaia zosta y wybrae projekty zako czoe ajpó iej r. 11 Zestawieie zawiera tylko takie systemy asowaia, z których korzysta y polscy bee cjeci, w rzeczywisto ci lista systemów (istrumetów) asowaia bada w wymieioych programach jest bardziej obszera. 23