Ocena wniosków o granty ERC Advanced Jakie rozwiazania można wykorzystać?

Transkrypt

1 Ocena wniosków o granty ERC Advanced Jakie rozwiazania można wykorzystać? Karol Życzkowski Uniwersytet Jagielloński (Kraków) Polska Akademia Nauk (Warszawa) Kraków, 19 października, 2012

2 Research Grants of the European Research Council a) Advanced Grants: open for all applicants = > for the very best European scientists b) Starting Grants, c) Consolidators for younger applicants, not more than 12 years after Ph.D. My experience: 2008, 2010, 2012 Advanced Grants panel PE-2 (physics)

3 Results of the ERC Advanced Grants competions 6874 projects submitted 909 grants awarded (13,2% success rate) among them only 4 for Polish scientists: 2008 T. Dietl, physics, Warsaw M. Lewenstein, physics, Barcelona, 2010 A. Udalski, astronomy, Warsaw, 2011 R. Horodecki, physics, Gdańsk (physical science only!) Life Science (LS), Social Science and Humanities (SSH) No grants for Polish scientists!

4 Looking at theese results, a natural question arises: Are the ERC evaluation procedures unbiased? In some communities scientists do believe that evaluation of the ERC grants is biased against candidates from less developed states

5 Procedura przyznawania grantów ERC Advanced Grants I 1. Wybór panelu ekspertów 2. I etap: wybór oceniających dany wniosek (autor + projekt!) 3. ocena części A wniosku przez 4-5 panelistów I trzydniowe posiedzenie panelu ERC w Brukseli: 4. wybór wniosków zakwalifikowanych do II etapu 5. Ustalanie listy recenzentów zewnętrznych 6. II etap: ocena całości wniosku przez 4-5 panelistów recenzentów zewnętrznych II trzydniowe posiedzenie panelu w Brukseli 7. Szczegółowa analiza każdego wniosku, i wszystkich recenzji 8. Ustalanie listy rankingowej wniosków 9. Analiza proponowanych budżetów oraz wnioski do ERC o sfinansowanie najlepszych wniosków do określonej sumy.

6

7 Procedura przyznawania grantów ERC Advanced Grants II 1. Wybór panelu ekspertów (większość ze starej Europy ) 2. I etap: wybór oceniających dany wniosek (autor + projekt!) 3. ocena części A wniosku przez 4-5 panelistów I trzydniowe posiedzenie panelu ERC w Brukseli: 4. wybór wniosków zakwalifikowanych do II etapu 5. Ustalanie listy recenzentów zewnętrznych 6. II etap: ocena całości wniosku przez 4-5 panelistów recenzentów zewnętrznych II trzydniowe posiedzenie panelu w Brukseli 7. Szczegółowa analiza każdego wniosku, i wszystkich recenzji 8. Ustalanie listy rankingowej wniosków 9. Analiza proponowanych budżetów oraz wnioski do ERC o sfinansowanie najlepszych wniosków do określonej sumy.

8 Procedura przyznawania grantów ERC Advanced Grants III Kluczowy problem: Kalibracja ocen przyznawanych przez recenzentów zewnętrznych - Niektórzy dają oceny maksymalne: ( niech się moja tematyka rozwija! ) - A inni bardzo dobrym wnioskom stawiają oceny średnie: ( recenzowany wniosek jest gorszy niż noblisty XX )

9 Co oznacza poniższy schemat? A B

10 Co oznacza poniższy schemat? A A) Zbiór recenzentów kompetentnych do wykonania recenzji grantu ERC B B) Zbiór recenzentów chętnych do wykonania recenzji grantu ERC

11 Stockholm 2013

12 Critique in a Nutshell Researchers today face an overload of evaluation activities of all kinds, Time pressure that may jeopardize the quality of assessments, A heavy bias disqualifying humanities and social sciences which do not fit in the system, An increasing imbalance between the costs of the evaluation system, the advancement of science, and the profits made by private companies Bibliometrics: Use and Abuse in the Review of Research Performance Stockholm, May 2013

13 Propozycja dla NCN Aby kalibrować oceny recenzentów zagranicznych - Wysyłamy im 3-5 wniosków z tej samej dziedziny z prośbą o uporządkowanie ich wg ich wartości - tj. o ocenę w skali punktów, z informacją, że 90 oznacza wniosek, który miały szanse w konkursie ERC Advanced - dbamy o recenzentów pisząc jeden krótki list przewodni (do wszystkich wniosków) i umożliwiając im jednokrotne logowanie się do systemu oraz ograniczenie swej recenzji wyłącznie do podania oceny liczbowej każdego wniosku.

14 A) ERC Rola bibliometrii w ocenie wniosków Wzory wniosków nie nakazują podawania danych bibliometrycznych (a jedynie wybranych 10 publikacji z liczbą cytwań) Panel nie uwzględnia recenzji typu Dr. XX is an outstanding researcher, as his h-index = 37 B) NCN Wzór wniosku nakazuje podać impact factor (IF) pisma, W niektórych przypadkach recenzje sprowadzają się do analizy danych bibliometrycznych dorobku wnioskodawcy (liczba prac, liczba cytowań, indeks Hirscha, suma wartości IF wszystkich pism, w których publikował swe prace) zamiast skupić się na stronie merytorycznej

15 Popularne tezy: a) wartość IF pisma świadczy wprost o jakości opublikowanej w nim pracy b) liczba cytowań pracy wyznacza jej wartość naukową nie są prawdziwe!

16 Total number of citations skromny przykład I (100 moich wybranych prac z lat ) 140 Impact factor vs total number of citations ,00 1,00 2,00 3,00 4,00 5,00 6,00 7,00 8,00 Impact factor (IF) of the journal Liczba cytowań pracy jest słabo skorelowana z wskaźnikiem Impact Factor czasopisma

17 Quality of the paper skromny przykład II 8 Total number of citations vs quality Total number of citations Wartość naukowa mych prac (oceniona w skali [0,10]) nie jest bezpośrednio zależna od całkowitej liczby ich cytowań

18 skromny przykład III Quality of the paper 8 2-Year citations vs quality Number of citations in a 2-year window after publication Wartość naukowa mych prac (oceniona w skali [0,10]) nie jest bezpośrednio zależna od liczby cytowań w ciągu 2 lat po publikacji (= wkład danego artykułu do IF pisma)

19 skromny przykład IV Quality of the paper 8 Impact factor of the journal vs quality ,00 1,00 2,00 3,00 4,00 5,00 6,00 7,00 8,00 Impact factor (IF) of the journal Wartość naukowa mych prac (oceniona w skali [0,10]) nie jest mocno skorelowana z IF czasopisma!

20 Znaczenie bibliometrii i) Dane bibliometryczne mają charakter statystyczny, więc mogą być przydatne w ocenie rozwoju pewnej dziedziny wiedzy czy stanu nauki w danym kraju. ii) do oceny wartości dorobku uczonego są mniej przydatne i pozwalają na wnioskowanie w jedną stronę: - wnioskodawca z małą liczbą prac i cytowań prawdopodobnie nie jest wielkim naukowcem, - duża liczba publikacji i ich cytowań jeszcze nie dowodzi, że autor jest wybitnym uczonym.

21 Podsumowanie 1. Ocena wniosków w ERC działa (dość) dobrze, wiec z niektórych przykładów warto korzystać 2. Trzeba dążyć do umiędzynarodowienia procesu oceny wniosków NCN: porównawcze oceny wniosków otrzyma się łatwiej z zagranicy rezygnując z szczegółowych omówień każdego projektu 3. Ani we wzorach wniosków o granty NCN ani w recenzjach projektów nie należy przykładać nadmiernej wagi do analizy bibliometrycznej: Nic nie zastąpi oceny merytorycznej kompetentnego eksperta. Ocenę wykonanych projektów wykona gratis: środowisko sprawozdania merytoryczne z wykonanych projektów powinny być ogólnie dostępne w internecie!