Kategoryzacja Jan Figiel Instytut Fizyki Jądrowej im. H. Niewodniczańskiego PAN, KEJN. Założenia i cele kategoryzacji; warunki początkowe

Transkrypt

1 Kategoryzacja 2013 Instytut Fizyki Jądrowej im. H. Niewodniczańskiego PAN, KEJN Założenia i cele kategoryzacji; warunki początkowe System oceny (ewaluacji) instytucji naukowych Metoda kategoryzacji Organizacja kategoryzacji Wyniki kategoryzacji 2013 Odwołania Kategoryzacja

2 Założenia i cele kategoryzacji (1) Kategoryzacja = instrument polityki naukowej państwa: - ocena stanu nauki polskiej, - podstawa do kształtowania polityki naukowej państwa - przyznanie jednostce naukowej (JN) tzw. kategorii, od której zależy finansowanie statutowe, - ukierunkowanie rozwoju JN Kategoria Opis, poziom finansowania statutowego A+ Poziom wiodący, extra finansowanie A Poziom b. dobry, dobre+ finansowanie B Poziom zadowalający, dobre- finansowanie C Poziom niezadowalający, finansowanie tylko pół roku! 2

3 Założenia i cele kategoryzacji (2) Wg Ustawy ewaluacja zależy od wielkości, rodzaju i profilu JN nauki ścisłe i inżynierskie (SI), nauki o życiu (NZ), nauki humanistyczne i społeczne (HS), nauki o sztuce i twórczości artystycznej (TA) Jednostki uczelniane (wydziały), Instytuty PAN, Instytuty Badawcze, Inne... Kategoryzacja 2013 lata : 962 JN! 3

4 Założenia i cele kategoryzacji (3) KEJN organ opinio-twórczo doradczy MNiSW, jego zadanie ustawowe: KEJN 30 uczonych (kadencja 4 lata, wymiana połowy członków po 2 latach), 4 komisje wg grup nauk 4

5 warunki początkowe (4) Warunki Ministerstwa: Ocena parametryczna, Punktacja publikacji wg ministerialnej listy czasopism n. (Zespół do Spraw Oceny Czasopism Naukowych) KEJN ma wolną rękę konsultacje społeczne... 5

6 warunki początkowe (4) Warunki Ministerstwa: Ocena parametryczna, Punktacja publikacji wg ministerialnej listy czasopism n. (Zespół do Spraw Oceny Czasopism Naukowych) KEJN ma wolną rękę konsultacje społeczne... Mission impossible but doable... 6

7 System oceny (ewaluacji) (1) Grupa nauk obszar badań Grupa Wspólnej Oceny GWO GWO: obszar badań typ JN (wydział, PAN, IB, inne) 7

8 System oceny (ewaluacji) (2) Liczba GWO: 74 8

9 System oceny (ewaluacji) (3) Grupa Nauk Ścisłych i Inżynierskich GWO SI1/2BA Nazwa Budownictwo i architektura SI1/2CT Chemia i technologia ch. SI1/2EA Elaktrotechn., elektronika, + SI1/2FA Fizyka i astronomia SI1/2GE Górnictwo, energetyka +... SI1/2IM Inżynieria mat. + inż. środow... SI1/2MU Maszyny i urządzenia + SI1/2MI Matematyka i podst. inform. Ucz.1 PAN2 GWO Nazwa 30 1 SI3/4GE Górnictwo, energetyka SI3/4IO Infrastruktura, ochr. Środow SI3/4EI Elektrotechn., elektronika SI3/4MU Maszyny i urządzenia SI3/4TM Technologia mat. I chem SI3/4TB Transport i bezpiecz IB 3 10 Inne

10 System oceny (ewaluacji) (4) Opis parametryczny JN: 4 kryteria oceny > parametry P1, P2, P3, P4 Kryt. opis Parametr 1 Osiągnięcia naukowe i twórcze: publikacje, monografie, wystąpienia konf. (Web of Science), patenty,... P1 2 Potencjał naukowy: uprawnienia, stopnie, tytuły, Laboratoria, inne... P2 3 Efekty materialne działalności naukowej: extra wynagrodzenia osobowe, inwestycje własne, nowe technologie, licencje, ekspertyzy, wdrożenia(!) P3 4 Pozostałe efekty działalności naukowej: do 10 najważniejszych osiągnięć (opis <900 znaków każde) P4 10

11 System oceny (ewaluacji) (5) Kryterium 1: Listy czasopism (MNiSW): 2009, 2010, Lista A (JCR) : (13 40) punktów Lista B : Lista C (ERIH): 1 10 (1 9) Monografie: 20, 25 Materiały konf.: 10 Patenty: 15, 25 Inne: 2-10 % aut. JN waga < <

12 System oceny (ewaluacji) (6) Kryterium 2 (Potencjał: uprawn. hab pkt, dr 30 pkt,... ): P2 = punktów (!) Kryterium 3 (Efekty materialne: przychód - 2, 1 pkt za 50 tys. zł, wdrożenia - 1 pkt za 500 tys. zł...): P3 = ( przychodów)/n Kryterium 4 (Pozostałe efekty...): P4 {0 100} <= eksperci Zespołu Ewaluacji* Ocena parametryczna JN (i) : (P1i, P2i, P3i, P4i) * Zespoły Ewaluacji (Ustawa!) weryfikują dane ewaluacyjne i ustalają ocenę P4 12

13 System oceny (ewaluacji) (7) Wagi kryteriów mogą być różne! (W1, W2, W3, W4) Grupa Nauk Ścisłych i Inżynierskich 13

14 Metoda kategoryzacji (1) Problem: porządkowanie wielokryterialne (decision science) Metoda: porównanie parami S. Kistryn i O. Hryniewicz, Forum Akademickie 7-8,

15 Metoda kategoryzacji (2) Porządkowanie JN w GWO metodą porównania każdej z każdą Wynik: uporządkowanie JN w GWO wg miary S(X) ( oceny ostatecznej ) 15

16 Metoda kategoryzacji (3) Uporządkowanie JN w GWO => kategoryzacja? 16

17 Metoda kategoryzacji (4) 17

18 Metoda kategoryzacji (5) Wyznaczanie jednostek referencyjnych 1. Analiza statystyczna rozkładu parametru Pi : Jednostka wzorcowa J_W maksimum parametru Pi J_A/B = frac_a/b * J_W J_B/C = frac_b/c * J_W Wartości frac_a/b i frac_b/c : decyzja KEJN 2. Ekspercka modyfikacja wartości frac_a/b i frac_b/c, w oparciu o pozycję w świecie dyscypliny polskiej nauki Wartości jedn. ref. wyznaczone w oparciu o ślepe wyniki ewaluacji 2013! 18

19 Metoda kategoryzacji (5) Statystyka => jednostki referencyjne Fizyka i astronomia Wydziały u. Inst. PAN 19

20 Metoda kategoryzacji (6) Pozycja Polski w świecie => Jednostki Referencyjne Nauki Ścisłe i Inżynierskie 0.3 ZE frac_b/c 0.24, 0.27, 0.3 C 0.6 R O B frac_a/b 0.55, 0.6, 0.65!!! Kryt. 2, 4 O Kryt. 1, 3 Fizyka, matematyka... Karol Życzkowski, Czy znaczenie nauki polskiej w świecie maleje?, PAUza Akademicka Nr 139/140, 27 października 3 listopada

21 Organizacja kategoryzacji (1) Ankieta JN: OPI, JN Karta Oceny JN: ICI Lista GWO KEJN, MNiSW Ewaluacja osiągnięć JN: ZE, ICI Wyznaczenie Jednostek Ref.: KEJN, ICI Kategoryzacja JN: KEJN, MNiSW, ICI Odwołania ZE, KEJN, MNiSW, ICI Kategoryzacja 2013 wykonawcy: KEJN (30), MNiSW (~6), ZE (~160), ICI (~10) + system informatyczny ICI 21

22 Wyniki kategoryzacji 2013 (1) Fizyka i astronomia, SI1FA Jednostka referencyjna A/B 70,8 Jednostka referencyjna B/C 37,55 487,41 258,48 13,

23 Wyniki kategoryzacji 2013 (2) Fizyka i astronomia, SI2FA Jednostka referencyjna A/B 70,8 487,41 13, % 17% 40% A+ A B C 40% 23

24 Wyniki kategoryzacji 2013 (3) KEJN, Forum Akademickie 10, Kategoryzacja 2013 trochę bardziej surowa niż

25 Wyniki kategoryzacji 2013 (4) Kategorie w grupach nauk Fizyka i astronomia (FA) 35 17% 40% 40% 3% 25

26 Wyniki kategoryzacji 2013 (5) Udział kategorii A, A+ w wybranych grupach i obszarach 26

27 Wyniki kategoryzacji 2013 (6) Kategorie w typach JN 27

28 Wyniki kategoryzacji 2013 (7) Zmiany kategorii w typach JN 28

29 Odwołania (1) 280 JN złożyły odwołania (na 962 JN) Odwołania od 5988 zdarzeń ewal. (na ) kwestionowane Rozporządzenie decyzje ZE (na ) zaakceptowane Procenty: Złożone odwołania 0.35 % rozpatrzonych zdarzeń ewal. Zaakcept. odw. Złożone odwołania 1.8 % decyzji ZE Zaakcept. odw % rozpatrzonych zdarzeń ewal % decyzji ZE 29

30 Odwołania (2) Ministerstwo nie skończyło rozpatrywania odwołań! 30

31 Kategoryzacja 2017 (1) Nowelizacja Ustawy o sposobach finansowania nauki (KEJN + ) mało prawdopodobna... Aktualne stanowisko MNiSW i KEJN-u: zachować istotę systemu, uprościć, poprawić błędy KEJN przygotowuje ankietę dla kierowników JN... 31

32 Kategoryzacja 2017 (2) KEJN powołał Zespoły Robocze ds: Jednostki Referencyjne i porównanie parami GWO niejednorodne JN Wynalazki, wdrożenia, miara innowacyjności, przychody... Kryterium IV i wagi kryteriów Pozycja międzynarodowa Wyłanianie kategorii A+ Monografie, lista ERIH Język podstawowy Dorobek artystyczny 32

33 Kategoryzacja 2017 (3) TERAZ jest czas na poważne propozycje systemu kategoryzacji