Scholarly Communication Research Group Scholarly Communication Research Group Ocena publikacji jako narzędzie polityki naukowej Emanuel Kulczycki Poznań, 7 maja 2018 r. 1
Różnorodność ewaluacji 2
Ewaluacja w nauce Ewaluacja ex-post Ewaluacja ex-ante Ocena artykułu zgłoszonego do czasopisma. Ocena w awansach naukowych (doktorat, habilitacja) Ocena dorobku naukowego instytucji, naukowca, kraju itd Ocena projektu dopiero co planowanych badań (granty) 3
Ocena dorobku różne poziomy 4
Jak ocenić jakość jednej publikacji? Przeczytać ją. Po prostu ocena koleżeńska (peer review) 5
Jak ocenić dorobek jednego naukowca? Przeczytać jego najlepsze prace oraz spojrzeć na kilka wskaźników bibliometrycznych, aby ocenić aktywność i rozpoznawalność w kontekście jego własnej dziedziny. 6
Jak ocenić dorobek jednej uczelni? Przede wszystkim bierzemy najlepsze publikacje i je oceniamy i tutaj pojawia się całe wyzwanie: jak wybieramy publikacje, i jak je oceniamy. 7
Po co w Polsce ocenia się jednostki naukowe i w ramach tej oceny publikacje? 8
System finansowania oparty o produktywność Performance-based research funding system (PRFS) 9
Dwa modele krajowych systemów oceny nauki Ocena ekspercka Wielka Brytania Ocena parametryczna Polska, Norwegia, Czechy, Włochy (łącznie kilkanaście krajów, w których często system oceny nauki jest zespolony z systemem jej finansowania) 10
Zasada dziedziczenia prestiżu: Ocena artykułów Krajowa lista czasopism (Polska, Czechy, Litwa, Norwegia, Dania, Finlandia). Wskazanie istniejących baz (Web of Science lub Scopus). Zasada dziedziczenia prestiżu: Ocena książek Lista wydawców (Dania, Belgia, Norwegia, Finlandia, Hiszpania). Zasada byle co, byle formalnie się zgadzało Formalna oceny spełniania kryteriów (Polska, Czechy, Litwa, Słowacja) 11
Jak zmieniać system oceny publikacji w Polsce? 12
Zmiana rozwiązań systemu ewaluacji powinna być oparta na badaniach i analizie: stanu polskiej nauki, aby określić stan obecny i stan pożądany z perspektywy polskiej polityki naukowej, obecnych rozwiązań ewaluacyjnych, aby określić ich użyteczność, konsekwencji stosowania ewaluacji na praktykę naukową polskich naukowców i zarządzanie nauką. 13
Pamiętajmy o skali: W 2017 r. zgłoszono do kategoryzacji 560,000 publikacji (zgłoszeń ewaluacyjnych) Większość naszych publikacji jest napisana po polsku, zatem w potencjalnej ocenie eksperckiej konieczna jest znajomość polskiego. 14
Odsetek publikacji naukowych po angielsku z całości publikacji w naukach humanistycznych i społecznych w 2014 roku Norwegia 61.8% Finlandia 68.3% Dania 63.4% % publikacji po angielsku Angielski Język lokalny Inne języki Flandria (Belgia) 78.7% Słowenia 45.9% Czechy 26.4% Polska 17.2% Słowacja 25.8% DOI :10.1007/s11192-018-2711-0
Odsetek publikacji po angielsku w latach 2011 2014 Ekonomia Prawo Filozofia & Teologia 100% 80% 60% 40% 20% 0% 2011 2012 2013 2014 100% 80% 60% 40% 20% 0% 2011 2012 2013 2014 100% 80% 60% 40% 20% 0% 2011 2012 2013 2014 Czechy Finlandia Flandria Norwegia Polska Słowenia Kulczycki E., Engels T.C.E, Pölönen J., Bruun K., Dušková M., Guns R., Nowotniak R., Petr M., Sivertsen G.,Istenič Starčič A., Zuccalla A.A., (2018). Publication patterns in the social sciences and humanities: Evidence from eight European countries, Scientometric. 10.1007/s11192-018-2711-0 16
Perspektywa instytucjonalna czy indywidualna? Co wpływa na zmianę praktyk publikacyjnych: zmiany parametryzacji czy (również) zmiany zasad awansów naukowych 17
50000 System parametryczny w Polsce Powołanie KEJN-u 45000 Liczba publikacji w Scopusie 40000 35000 30000 25000 20000 15000 10000 5000 0 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 Białoruś Czechy Węgry Polska Słowacja Ukraina Źródło danych: Scopus (SciVal) 27 kwietnia 2017 r.
Odsetek monografii polskich naukowców w zależności od liczby autorów 2009 2016 Humanistyka Nauki społeczne Nauki twarde 100% 100% 100% 90% 90% 90% 80% 80% 80% 70% 70% 70% 60% 60% 60% 50% 50% 50% 40% 40% 40% 30% 30% 30% 20% 20% 20% 10% 10% 10% 0% 2009 2010 2011 2012 2013 2014 2015 2016 0% 2009 2010 2011 2012 2013 2014 2015 2016 0% 2009 2010 2011 2012 2013 2014 2015 2016 Monografia jednoautorska Monografia (4 10 autorów) Monografia (2 3 autorów) Monografia (11 i więcej autorów) Kulczycki E., (2018). The diversity of monographs: Changing landscape of book evaluation i Poland, Aslib Journal of Information Management information (in review) 19
Odsetek monografii polskich naukowców w zależności od liczby autorów 2009 2016 Humanistyka Nauki społeczne Nauki twarde 100% 100% 100% 90% 90% 90% 80% 80% 80% 70% 70% 70% 60% 60% 60% 50% 50% 50% 40% 40% 40% 30% 30% 30% 20% 20% 20% 10% 10% 10% 0% 2009 2010 2011 2012 2013 2014 2015 2016 0% 2009 2010 2011 2012 2013 2014 2015 2016 0% 2009 2010 2011 2012 2013 2014 2015 2016 Monografia jednoautorska Monografia (4 10 autorów) Monografia (2 3 autorów) Monografia (11 i więcej autorów) Kulczycki E., (2018). The diversity of monographs: Changing landscape of book evaluation i Poland, Aslib Journal of Information Management information (in review) 20
Efekt 2013 roku 5 000 4 500 4 000 3 500 3 000 2 500 2 000 1 500 1 000 500 0 2009 2010 2011 2012 2013 2014 2015 2016 Liczba wszczętych postępowań i przewodów habilitacyjnych Liczba monografii jednoautorskich we wszystkich dyscyplinach Kulczycki E. (2018). The diversity of monographs: Changing landscape of book evaluation in Poland, Aslib Journal of Information Management information (in review) 21
Łatwiej założyć czasopismo niż opublikować artykuł 2012 1 639 2013 1 807 2015 2 212 0 750 1 500 2 250 3 000 W ciągu 3 lat przybyło nam blisko 600 punktowanych polskich (!) czasopism. Kulczycki, E., Rozkosz, E. A., & Drabek, A. (2016). Ocena ekspercka jako trzeci wymiar ewaluacji krajowych czasopism naukowych. Nauka, 1, 107 142. 22
1356 polskich czasopism, które były indeksowane na listach B w 2012, 2013 i 2015 r. 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% Nauki społeczne Humanistyka Nauki twarde 2012 2013 2015 2012 2013 2015 2012 2013 2015 2012 2013 2015 Umiędzynarodowienie autorów Umiędzynarodowienie recenzentów Międzynarodowe języki publikacji Umiędzynarodowienie rady naukowej
Główne wyzwania ewaluacji publikacji naukowych Wyznaczenie celu ewaluacji nauki w Polsce. Polityka naukowa czy polscy humaniści powinni publikować (również) po angielsku? Dziedziczenie prestiżu czy jest alternatywa? Bibliometryczna ocena humanistyki i nauk społecznych. Jak w jednym systemie pogodzić ocenę prawa i fizykę kilo-autorską? Jak dzielić punkty za publikacje? 24
Dziękuję ekulczycki.pl kontakt: emanuel@ekulczycki.pl @ekulczycki 25