Czy można uciec od wskaźnika Impact Factor?# Alternatywne metryki i ćwierkanie o badaniach

Transkrypt

1 Czy można uciec od wskaźnika Impact Factor?# Alternatywne metryki i ćwierkanie o badaniach 4 czerwca 2014 r. # # # # # # # # # # # Emanuel Kulczycki

2 Plan wystąpienia 1. Dlaczego warto zajmować się alternatywnymi metrykami?# 2. Rola wskaźników bibliometrycznych w polskim systemie awansów.# 3. W stronę alternatywnych metryk.# 4. Podsumowanie. Zalety i wady alternatywnych metryk.

3 I Dlaczego warto zajmować się alternatywnymi metrykami?

4 Ocena dorobku Procedury awansów naukowych w Polsce zaczęły uwzględniać naukometryczne/bibliometryczne wskaźniki.# Jednakże większość wskaźników powstała przed internetową rewolucją w komunikacji naukowej. Dlatego warto obserwować trendy w naukometrii i analizować postępujące zmiany.) Anternatywne metryki mają 5-6 lat. To bardzo mało. Jednakże wskaźnik Hirscha został zaprezentowany zaledwie 9 lat temu, a już zawojował naukometrię.

5 Dlaczego alternatywne metryki są interesujące? Ponieważ nie ograniczają się w ocenie dorobku autora do ilościowej oceny czasopism(!), w których publikował. =

6 Nauka w XX i XXI wieku uległa wielkim przemianom wzrost liczby publikacji# wzrost cen publikacji# wzrost liczby naukowców# Internet i media społecznościowe# Open Access# nanopublikacje# selfpublishing

7 II Rola wskaźników bibliometrycznych w polskim systemie awansów

8 Wskaźniki bibliometryczne jako filtry i wyznaczniki jakości Nikt nie jest w stanie przeczytać wszystkiego# Liczba artykułów indeksowanych w bazie MEDLINE w ciągu roku! Filtrami stają się dwa główne wskaźniki bibliometryczne (liczenie cytowań i Journal Impact Factor) obok systemu recenzenckiego. Źródło:

9 HABILITACJA: Kryteria oceny w zakresie osiągnięć naukowo-badawczych niezależne od obszarów wiedzy ( 4) 3. sumaryczny impact factor publikacji naukowych według listy Journal Citation Reports (JCR), zgodnie z rokiem opublikowania; # 4. liczbę cytowań publikacji według bazy Web of Science (WoS); # 5. indeks Hirscha opublikowanych publikacji według bazy Web of Science (WoS);

10 We wniosku kierownik podaje: impact factor czasopism, w których publikował;# liczbę cytowań poszczególnych publikacji;# indeks H.

11 Jorge E. Hirsch opisuje wskaźnik bibliometryczny Marzec 2011 Ogłoszenie pierwszych konkursów NCN wymóg h-index Wrzesień 2011 Nowe kryteria habilitacji Google Trends

12 Impact Factor Sumaryczny Impact Factor Miara oddziaływania czasopisma, w którym opublikował naukowiec. Jego tekst może nie być w ogóle cytowany. Suma IF czasopism, w których opublikował autor. Jego artykuły mogły w ogóle nie przyczynić się do wysokości IF. Te wskaźniki nadają się do porównywania czasopism, a nie naukowców, czy pojedynczych artykułów.

13 Liczba wszystkich cytowań autora w tym krytycznych, negatywnych, wspominkowych itd. Indeks Hirscha sprawdza się do porównywania dojrzałych naukowców w wybranych dziedzinach Ocena dorobku naukowca Liczba cytowań danej publikacji

14 III W stronę alternatywnych metryk

15 Czym są alternatywne metryki Termin alternatywne metryki (altmetrics) został zaproponowany w 2010 jako ogólna nazwa dla article level metrics. # Co znaczące, swoje źródło ma w Twitterowym hashtagu #altmetrics.# Altmetrics dotyczą źródła danych (artykuły, blogi), a nie poziomu agregacji (czasopisma, prace zbiorowe). Obecnie alternatywne metryki zostały przeniesione również na ocenę naukowców, książek, prezentacji, kodów źródłowych, stron i nie opierają się jedynie na liczeniu cytowań.# Więcej:

16 Jakie instytucje wprowadzają alternatywne metryki?

17 Liczba wszystkich cytowań autora Liczba cytowań danej publikacji Indeks Hirscha Źródła danych do wskaźników Czasopisma Serwisy dla naukowców Monografie Blogi naukowe Prace zbiorowe Media społecznościowe

18 Blogi zmieniają naukę Publikacja w Science o odkryciu przez NASA nowej formy życia arsenowych bakterii# Krytyka na blogach naukowych#! Krytykowani autorzy: tylko w czasopismach recenzowanych# można uprawiać krytykę naukową# Redaktorzy Nature napisali, że blogerzy i sieciowi komentatorzy mają ważną rolę do odegrania w ocenianiu wyników badań

19 Źródła dla liczenia wpływy przy wykorzystaniu alternatywnych metryk Artykuł naukowy Odsłona PLOS HTML# PLOS PDF# PubMed HTML# PubMed PDF Zapisanie CiteULike# Mendeley Dyskusja Rekomendacja Nature Blogs# ScienceSeeker# ResearchBlogging# PLOS Comments# F1000 Prime Wikipedia# Twitter# Facebook Wzrost zaangażowania Na podstawie: Cytowanie CrossRef# PubMed# Web of Science# Scopus

20 Narzędzia alternatywnych metryk

21

22 Społecznościowe mierzenie wpływu) Artykuł opublikowany w Nature 13 września 2012 r.# Wpis o artykule opublikowany 14 września 2012 r.#

23 PLoS Impact Explorer) Altmetric.com)

24 IV Podsumowanie. Zalety i wady alternatywnych metryk

25 Alternatywne metryki nie mówią o jakości danej publikacji tylko o ściągnięciach i odsłonach na stronach internetowych? A o czym mówi # Sumaryczny Impact Factor?

26 Krytyka alternatywnych metryk Pokazują zaangażowanie i oddziaływanie, ale nie wpływ na rozwój nauki (ale tak samo dzieje się z cytowaniami).# Można ograć alternatywne metryki (np. dzięki botom) ale to samo dotyczy klasycznych wskaźników bibliometrycznych.# Ogranicza się tylko do Internetu i pomija publikacje papierowe.# Uwzględnia nienaukowe ( nieformalne ) zaangażowanie.

27 Potencjał alternatywnych metryk Artykuły mogą być poddawane setkom recenzji od razu po publikacji a te recenzje są rejestrowane.# Mierzenie wpływu nie ogranicza się do jednego źródła ( formalnych cytowań).# Altmetrics mierzą wpływ poza akademią i pokazują, jakie oddziaływania ma nauka na gospodarkę, dydaktykę itd.# Prędkość oddziaływania i zbierania danych jest nieporównywalna.

28 Spis ilustracji Strona 1 Unsplash CC 0! Strona 3 CC BY-NC-SA 2.0 andercismo! Strona 6 CC BY 2.0 woodleywonderworks! Strona 7 CC BY-NC-ND 2.0 Komodor! Strona 14 CC BY-NC-ND 2.0 photographer padawan *(xava du)! Strona 28 CC BY-SA 2.0 spcbrass

29 Dziękuję) Emanuel Kulczycki#