Zasady oceny parametrycznej jednostek naukowych, a lista czasopism punktowanych Leszek Stypułkowski leszek.stypulkowski@indexcopernicus.com Konferencja Sukces Czasopisma Naukowego, Warszawa 27-28 październik 2017 r.
Agenda 1. Historia tzw. Listy czasopism punktowanych - wykres prezentujący historię listy czasopism punktowanych MNiSW - historia ewaluacji czasopism naukowych - plany dotyczące rozwoju czasopism naukowych w Polsce - ustawa 2.0. 2. Wpływ punktacji czasopism naukowych na kategorię jednostek naukowych klasy punktowe na liście czasopism punktowanych - klasy punktowe na liście czasopism punktowanych - struktura publikacji w klasach punktowych a kategoria jednostki naukowej - oczekiwania Ustawodawcy w zakresie publikacji (3N-2N0) - wady zasady dziedziczenia prestiżu punktacja czasopism a liczba cytowań 3. Przyszły kształt listy czasopism punktowanych - spodziewany termin publikacji nowej listy czasopism naukowych - nowa lista czasopism punktowanych, a sprawa polska
Historia listy czasopism punktowanych Lista A ocena czasopism z listy filadelfijskiej Lista B ocena pozostałych czasopism polskich i zagranicznych 2012 Lista A - ocena w oparciu o posiadany IF Lista B - ankieta złożona online Lista C - baza ERIH 2013 Lista A - ocena w oparciu o posiadany IF Lista B - ankieta złożona online Lista C -baza ERIH 2014 brak przeprowadzonej oceny 2015 Lista B - ograniczona do krajowych czasopism naukowych oraz dodanie oceny eksperckiej i podniesienie maksymalnej oceny do 15 pkt 2016 brak przeprowadzonej oceny 2017 brak przeprowadzonej oceny ujednolicony wykaz czasopism na potrzeby oceny jednostek naukowych (2013-2016) Założenia: Lista A i C zastąpiona przez ministerialny wykaz czasopism indeksowanych w międzynarodowych bazach Lista B ujednolicona punktacja dla czasopism spełniających jedynie wymogi formalne ETAP I (do roku 2012) ETAP II (2012 2015) ETAP III (2016 dziś) ETAP IV (ustawa 2.0) Przed pierwszą oceną parametryczną jednostek naukowych Ewaluacja czasopism w ramach projektu POL-on Ewaluacja czasopism po zakończeniu projektu POLon Lista czasopism w kontekście ustawy 2.0
Definicja funkcjonalna czasopisma naukowego Funkcja celu działania czasopisma naukowego (Index Copernicus): dotarcie z opublikowanym w czasopiśmie artkułem naukowym do jak największej liczby odbiorców (naukowców) na świecie, którzy wyniki opublikowanej pracy mogą zastosować w swoich własnych badaniach i później publikacjach. Jedynym uznanym dowodem na osiągnięcie celu jest odnotowanie publikacji w kolejnym artykule naukowym zacytowanie. Dotąd nie przeprowadzono kompleksowego zliczenia cytowań w skali kraju, uwzględniającego analizę wszystkich notacji opublikowanych prac we wszystkich wydanych pracach naukowych.
Ocena parametryczna jak podstawa dopuszczenia czasopism na listę B Cele Kryterium oceny parametrycznej (lista B) Efekty spełnienia kryterium Digitalizacja Internacjonalizacja Kooperacja Indeksacja w bazach danych Wersje on-line Język publikacji Umiędzynarodowienie recenzentów Umiędzynarodowienie recenzentów Liczba artykułów naukowych publikowanych/rok Częstotliwość/regularność wydawania zniesienie ograniczeń dostępności czasopisma w kraju spowodowanych niskim nakładem drukowanym Zniesienie ograniczeń dostępności czasopisma na arenie międzynarodowej oraz promocja czasopisma za granicą Budowanie międzynarodowej pozycji czasopisma poprzez wykorzystanie synergii między niezależnymi instytucjami naukowymi, zaangażowanie w rozwój czasopisma osób spoza jednostki w tym z zagranicy
Rekomendacje Plany dotyczące rozwoju polskich czasopism naukowych n podstawie pierwszej oceny parametrycznej za rok 2012 Rozpoczęcie pracy nad stworzeniem systemu do gromadzenia danych do PWW Zgromadzenie 20% polskich cytowań w PWW Zgromadzenie 50% polskich cytowań w PWW Zgromadzenie 80% polskich cytowań w PWW Komunikacja celów stawianych przez MNiSW polskim czasopismom naukowym nie posiadającym obliczonego wskaźnika cytowalności 1 2 Podniesienie poziomu realizacji kryteriów oceny niezbędnego do uzyskania punktów. Zwiększenie udziału PWW w ocenie parametrycznej do 20% Kolejne podniesienie poziomu realizacji kryteriów oceny. Zwiększenie udziału PWW w ocenie parametrycznej do 50% 3 4 Zwiększenie udziału PWW w ocenie czasopism do 80% (Digitalizacjia, Internacjonalizacja i Kooperacja staną się warunkiem koniecznym). 2013 2014 2015 2016
Krótka międzynarodowa kariera listy B Zagraniczne czasopisma doceniły metodykę oceny czasopism naukowych prowadzonej przez MNISW 2012 2013 UE nowi reszta świata członkowie 7% 2% reszta świata 21% UE15 4% Polska 87% UE nowi członkowie 5% UE15 6% Polska 68%
Krótka historia Polski jako regionalnego ośrodka ewaluacji nauki 1 Polska 2027 2 Indie 266 3 Wielka Brytania 93 4 Stany Zjednoczone 91 5 Rumunia 76 6 Ukraina 54 7 Szwajcaria 36 8 Litwa 32 9 Turcja 26 10 Chiny 20 11 Włochy 20 12 Iran 18 13 Grecja 16 14 Słowacja 14 15 Czechy 13 16 Niemcy 13 17 Serbia 12 18 Hongkong 11 19 Rosja 11 20 Hiszpania 10 Polska liderem ewaluacji czasopism naukowych w regionie Bułgaria Nigeria Kanada Chorwacja Pakistan Słowenia Brazylia Tajlandia Bangladesz Kolumbia Malezja Bośnia i Hercegowina Francja Indonezja Maroko Portugalia Finlandia Węgry Japonia Holandia Austria Azerbejdżan Algieria Egipt Korea Południowa Łotwa Mołdawia Nepal Szwecja Zjednoczone Emiraty Arabskie Albania Australia Belgia Boliwia Etiopia Irlandia Izrael Libia Czarnogóra Macedonia Oman Peru Singapur Wenezuela RPA
Punktacja czasopism naukowych, a ewaluacja jednostek naukowych Publikacje w czasopismach naukowych wchodzą do karty oceny w kryterium I (osiągnięci naukowe i twórcze), decydują o katgorii jednostki naukowej od 60% do 80% Obowiązuje zasada dziedziczenia prestiżu publikacja w czasopiśmie naukowym jest warta tyle, ile czasopismo, którego redakcja zdecydowała się na opublikowanie danej publikacji o Punkty za publikacje tzw. wielośrodkowe są rozdzielane między jednostki naukowe, do których publikację afiliują autorzy Punkty za publikacje naliczane są automatycznie (członkowie Zespołów Oceniających KEJN mogą podjąć decyzję o nieuznaniu danej publikacji, ale nie mogą zmienić jej oceny punktowej)
Oczekiwania ustawodawcy w zakresie liczby publikacji Co oznacza ograniczenie liczby publikacji, które mogą wejść do karty oceny (utrzymane w zasadach ewaluacji od roku 2009)? 3N-2N 0 1. Ustawodawca oczekuje, że każdy naukowiec zgłosi 3 najlepsze publikacje wydane w ciągu 4 lat objętych ewaluacją; 2. Wskaźnikiem oceny dorobku publikacyjnego nie jest więc łączna suma punktów za publikacje, ale średnia wartość punktów 3 najlepszych publikacji przygotowanych w ciągu 4 lat;
Lista B oraz C Lista A Klasy punktowe publikacji porównanie jednostek z grupy HS1EK w poszczególnych kategoriach bieżącej parametryzacji znormalizowane do wielkości jednostki N=100 Liczba publikacji 2013-2016 Lista MNISW Punktacja Nauki humanistyczne i społeczne (HS1EK) Kategoria A+ Kategoria A Kategoria B Kategoria C 50 1 0 0 0 45 4 0 0 0 40 13 1 4 1 35 10 0 4 0 30 35 0 1 2 25 31 2 1 2 20 44 5 0 2 15 41 0 7 1 15 21 77 5 0 14 83 152 54 9 13 18 45 23 17 12 45 70 60 19 11 21 54 43 13 10 67 193 96 45 9 94 164 181 27 8 72 81 44 204 7 14 63 27 23 6 7 27 42 26 5 13 9 30 10 4 6 1 0 3 3 1 0 0 0 2 0 0 0 4 1 0 0 0 0 Łączna liczba publikacji 1124 1656 1155 604 Źródło: ICI Science Evaluation dane wystandaryzowane do wielkości N=100
Struktura publikacji, a kategoria naukowa jednostek naukowych Rozkład punktowy publikacji w latach 2013-2016 w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych Rozkład punktowy publikacji w latach 2013-2016 w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych Rozkład punktowy publikacji w latach 2013-2016 w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych Rozkład punktowy publikacji w latach 2013-2016 w zależności od uzyskanej kategorii naukowej jednostki
Struktura publikacji, a kategoria naukowa jednostek naukowych Rozkład punktowy publikacji w latach 2013-2016 w zależności od uzyskanej kategorii naukowej jednostki
Lista B Lista A Klasy punktowe publikacji przykładowa struktura Lista MNISW Punktacja Liczba publikacji 2013-2016 Nauki humanistyczne i społeczne (HS1EK) Kategoria A+ Kategoria A Kategoria B Kategoria C 50 1 0 0 0 45 4 0 0 0 40 13 1 4 1 35 10 0 4 0 30 35 0 1 2 25 31 2 1 2 20 44 5 0 2 15 41 0 7 1 15 21 77 5 0 14 83 152 54 9 13 18 45 23 17 12 45 70 60 19 11 21 54 43 13 10 67 193 96 45 9 94 164 181 27 8 72 81 44 204 7 14 63 27 23 6 7 27 42 26 5 13 9 30 10 4 6 1 0 3 3 1 0 0 0 2 0 0 0 4 1 0 0 0 0 Łączna liczba publikacji 1124 1656 1155 604 Liczba publikacji nieuwzględnionych w karcie oceny 483 712 533 196 Odsetek nieuwzględnionych publikacji 43% 43% 46% 32%
Punktacja czasopism, a liczba cytowań dziedzina nauk prawniczych https://journals.indexcopernicus.com
Punktacja czasopism, a liczba cytowań 70 60 50 40 30 20 10 0 Czasopisma z liczbą cytowań w danym przedziale Dyscyplina: Prawo Cytowania pochodzące z lat 2010 2015 Liczba czasopism w przedziale 0 11 1 15 62 16 30 26 31 60 33 61 100 25 101 200 22 201 300 16 301 600 13 601 1 000 7 1 000 3 000 6 Źródło: Opracowanie własne na podstawie danych z systemu ICI World of Journals Łącznie 221
Punktacja czasopism, a liczba cytowań Cytowania pochodzące z lat 1993-2015 Punktacja MNiSW 2015 Liczba czasopism % badanej populacji Mniej niż 120 Od 8 do 15 59 27% Ponad 120 Od 0 do 7 24 11% Ponad 500 Od 8 do 15 12 5% Źródło: Opracowanie własne na podstawie danych z systemu ICI World of Journals
Punktacja czasopism, a liczba cytowań Case study Spośród czasopism, które w ewaluacji MNiSW za rok 2015 uzyskały ponad 8 punktów, 73% czasopism ma poniżej 221 cytowań. Spośród czasopism, które w ewaluacji MNiSW za rok 2015 uzyskały mniej niż 8 punktów, 33% czasopism ma powyżej 68 cytowań. Tytuł Prokuratura i Prawo Przegląd Prawa Handlowego Państwo i Prawo Cytowania pochodzące z lat 1993-2015 Punktacja MNiSW 2015 2679 4 2535 11 1878 13 Źródło: Opracowanie własne na podstawie danych z systemu ICI World of Journals
Główne założenia dotyczące listy czasopism punktowanych w propozycji Ustawy 2.0 1. Jednolita lista czasopism punktowanych - Wykaz Czasopism Naukowych 2. Ministerialna lista wydawnictw punktowanych (na potrzeby wydawania monografii) Wykaz Wydawców Naukowych 3. Przekształcenie listy B w nisko punktowany ryczałt 4. Program wsparcia dla najlepszych polskich czasopism 5. Pierwsze listy zostaną opublikowane po wejściu w życie Ustawy 2.0, a w kolejnych latach listy publikowane będą na początku roku, żeby punktacja za publikacje była z góry znana 6. Program Pakiet technologiczny dla czasopism mający pomóc czasopismom naukowym w konkurowaniu na światowym rynku nauki
Międzynarodowe czasopisma naukowe, a sprawa polska 1. Jaką wymierną korzyść ma polska nauka z tego, by polscy naukowcy publikowali głównie (masowo) w zagranicznych czasopismach? 2. Czy jest wymierna korzyść dla polskiej nauki, by czasopisma zagraniczne wspierać lub promować bardziej, niż polskie czasopisma naukowe? 3. Czy polskie czasopisma mogą stać się pożądanym forum dla promocji światowej nauki? 4. Co powinny zrobić wydawcy polskich czasopism, by ich periodyki osiągnęły międzynarodowe uznanie i zachęciły zagranicznych autorów do publikowania?
Sukces czasopisma naukowego w perspektywie Ustawy 2.0. Znalezienie się na wykazie czasopism punktowanych MNiSW w roku 2018: 1. Zapewnienie czasopismu miejsca w grupie najlepszych czasopism : 1.1 Wykazanie siły oddziaływania czasopisma poprzez uzyskanie wyliczonego wskaźnika cytowań 1.2 Indeksacja w międzynarodowych bazach danych, które zostaną uwzględnione jako bazy referencyjne oraz uzyskanie odpowiedniego ratingu 2. Aktywny udział w dyskusji dotyczącej roli czasopism naukowych afiliowanych do polskich instytucji nauki w przyszłej ocenie parametrycznej.
Dziękuję za uwagę! Leszek Stypułkowski główny autor Paulina Najdychor współautorka, asystentka naukowa