Analiza i ocena produktywności jednostek naukowych



Podobne dokumenty
1. Konkurs jest prowadzony w dwóch kategoriach: granty doktorskie,

Ocena parametryczna i kategoryzacja jednostek naukowych w 2017 roku

Parametryzacja i kategoryzacja Jednostek Naukowych

Kategoryzacja Jan Figiel Instytut Fizyki Jądrowej im. H. Niewodniczańskiego PAN, KEJN. Założenia i cele kategoryzacji; warunki początkowe

KARTA OCENY JEDNOSTKI NAUKOWEJ

Ocena parametryczna i kategoryzacja jednostek naukowych w 2017 roku

Wielowymiarowa analiza porównawcza w tworzeniu rankingów szkół wyższych

CZYLI NAJNOWSZE INFORMACJE O PRACACH I PLANACH KOMITETU EWALUACJI JEDNOSTEK NAUKOWYCH (KEJN)

Warsztaty praktyk unijnych

KATEGORIA NAUKOWA JEDNOSTKI NAUKOWEJ. WYŻSZA SZKOŁA POLICJI W SZCZYTNIE mł.insp. dr Danuta Bukowiecka Przemysław Sawicz

ZINTEGROWANY SYSTEM INFORMACJI POL-ON DOŚWIADCZENIA JEDNOSTKI BADAWCZEJ

Analiza ekonomiczna w instytucjach publicznych analiza organizacji i projektów

R E K T O R ZARZĄDZENIE WEWNĘTRZNE 44/2016

PRÓBA IMPLEMENTACJI METODY DEA DO OCENY EFEKTYWNOŚCI PROCESU RESTRUKTURYZACJI SEKTORA HUTNICZEGO W POLSCE

STRATEGIA ROZWOJU WYDZIAŁU INŻYNIERII PRODUKCJI I LOGISTYKI DO ROKU 2020

Wdrażanie przepisów U2.0: kształcenie w szkołach doktorskich AGH

Część I Podstawy koncepcyjne kształtowania łańcuchów dostaw jutra

Kategoria wydziału w ocenie parametrycznej a indywidualny dorobek pracownika

Wyniki oceny parametrycznej Wydziału Ekonomiczno-Socjologicznego lata

Efekty kształcenia dla kierunku studiów informatyka i agroinżynieria i ich odniesienie do efektów obszarowych

3. Koncepcja benchmarkingu i możliwości jej stosowania w szkolnictwie wyższym

ZASADY. przyznawania środków finansowych na utrzymanie potencjału badawczego (UBP) w ramach dotacji podmiotowej

Badania naukowe na UEP w kontekście planowanych zmian w prawie o szkolnictwie wyższym

KIERUNKOWE EFEKTY KSZTAŁCENIA

Spis treści. Analiza i modelowanie_nowicki, Chomiak_Księga1.indb :03:08

Wydziały Politechniki Poznańskiej

Spis treści 5. Spis treści. Część pierwsza Podstawy projektowania systemów organizacyjnych przedsiębiorstwa

Controlling operacyjny i strategiczny

Oceny jakości działalności naukowej lub badawczo-rozwojowej jednostek naukowych

Zasady ewaluacji jakości działalności naukowej jednostek ( ) wg projektu z dnia 14 czerwca 2018 r.

ZAŁOŻENIA POLITYKI PAŃSTWA W OBSZARZE NAUKI DO 2020 ROKU

Metodyka benchmarkingu działalności centrów transferu technologii

Dziennik Ustaw 26 Poz KARTA KOMPLEKSOWEJ OCENY JEDNOSTKI NAUKOWEJ dla grupy nauk humanistycznych i społecznych 1)

ANALIZA I OCENA PRODUKTYWNOŚCI JEDNOSTEK NAUKOWYCH

METODA DEA W ANALIZIE EFEKTYWNOŚCI NAKŁADÓW NA GOSPODARKĘ ODPADAMI

Przegląd modułów systemu POL-on

WZÓR NAZWA JEDNOSTKI...

SPRAWOZDANIE Z DZIAŁALNOŚCI NAUKOWO-BADAWCZEJ ZA ROK 2009 (sprawozdanie jest częścią sprawozdania Rektora z działalności Uczelni)

Zasady ewaluacji jakości działalności naukowej jednostek ( ) wg projektu z dnia 26 marca 2018 r.

Wsparcie publiczne dla MSP

Parametryzacja i kategoryzacja jednostek naukowych wg ustawy z dnia 30 kwietnia 2010 r. o zasadach finansowania nauki (Dz. U.

OCENA PARAMETRYCZNA JEDNOSTEK NAUKOWYCH Ewa Dahlig-Turek, UAM Komitet Ewaluacji Jednostek Naukowych

/WZÓR/ Nr rejestracyjny wniosku... (nadaje przyjmujący wniosek, DNiSW)

Uchwała nr 32/2010 Rady Wydziału Hodowli i Biologii Zwierząt z dnia 17 grudnia 2010 roku

PRZEWODNIK PO PRZEDMIOCIE ANALIZA SYSTEMOWA. Logistyka. Niestacjonarne. I stopnia III. dr Cezary Stępniak. Ogólnoakademicki.

Regulamin okresowych ocen pracowników naukowych Instytutu Fizyki Jądrowej im. Henryka Niewodniczańskiego Polskiej Akademii Nauk I CZĘŚĆ OGÓLNA

Ankieta kompleksowej oceny jednostki naukowej 2013 (kategoryzacja jednostek naukowych)

Politechnika Wrocławska Biuro Prasowe tel ,

Wojskowy Instytut Medyczny w Warszawie WNIOSEK O FINANSOWANIE PROJEKTU BADAWCZEGO W RAMACH DZIAŁALNOŚCI STATUTOWEJ W ROKU...

Regulamin przyznawania Nagród Rektora na Wydziale Metali Nieżelaznych AGH

Model referencyjny doboru narzędzi Open Source dla zarządzania wymaganiami

Warszawa, dnia 25 listopada 2014 r. Pozycja 52

Strona 1 WYKAZ JEDNOSTEK ORGANIZACYJNYCH UPRAWNIONYCH DO NADAWANIA STOPNI NAUKOWYCH I STOPNI W ZAKRESIE SZTUKI ORAZ NAZWY NADAWANYCH STOPNI

Tabela odniesień efektów kierunkowych do efektów obszarowych (tabele odniesień efektów kształcenia)

Wymagania stawiane pracom dyplomowym na Wydziale Elektroniki i Informatyki Politechniki Koszalińskiej

Nazwa uczelni/placówki naukowej. Instytut Chemii Fizycznej Polskiej Akademii Nauk, Zakład Fizykochemii Płynów i Miękkiej Materii

Jacek Skorupski pok. 251 tel konsultacje: poniedziałek , sobota zjazdowa

Metodologie badania efektywności szkół. Tomasz Żółtak IFiS PAN

WZÓR. KARTA OCENY JEDNOSTKI NAUKOWEJ dla nauk humanistycznych, społecznych i dziedzin sztuki 1)

Ranking Kierunków Studiów uwagi praktyczne. Warszawa, 21 lipca 2016r.

Agnieszka Markowska-Radomska

Dziennik Ustaw 32 Poz KARTA KOMPLEKSOWEJ OCENY JEDNOSTKI NAUKOWEJ dla grupy nauk ścisłych i inżynierskich 1)

OCENY I PUBLIKACJI OSIĄGNIĘĆ PRACOWNIKÓW DO PARAMETRYZACJI

/WZÓR/ Nr rejestracyjny wniosku... (nadaje przyjmujący wniosek, DNiSW)

STRESZCZENIE. rozprawy doktorskiej pt. Zmienne jakościowe w procesie wyceny wartości rynkowej nieruchomości. Ujęcie statystyczne.

ROZPORZĄDZENIE MINISTRA NAUKI I SZKOLNICTWA WYŻSZEGO 1) z dnia 25 maja 2010 r.

Załącznik 2 do uchwały nr 42/2015 Rady Wydziału Ekonomii Uniwersytetu Rzeszowskiego z dnia 17 września 2015 r.

POTENCJAŁ BADAWCZY REGIONU ODRY

PROGRAM STUDIÓW DOKTORANCKICH

doc. dr Beata Pułska-Turyna Zarządzanie B506 mail: mgr Piotr J. Gadecki Zakład Badań Operacyjnych Zarządzania B 505.

Wielowymiarowa analiza regionalnego zróżnicowania rolnictwa w Polsce

Seminarium Rankingowe. Sesja I. Jak mierzyć potencjał naukowy, efektywność naukową i innowacyjność

Dolny Śląsk: próba analizy potencjału innowacyjnego i osiągnięć

Strona 1. Nazwa stopnia A Jednostki organizacyjne szkół wyższych UNIWERSYTETY. doktor nauk humanistycznych w zakresie filozofii

Strona 1 WYKAZ JEDNOSTEK ORGANIZACYJNYCH UPRAWNIONYCH DO NADAWANIA STOPNI NAUKOWYCH I STOPNI W ZAKRESIE SZTUKI ORAZ NAZWY NADAWANYCH STOPNI

Nowości w zakresie realizacji POKL. Joanna Kica. Nauka dla innowacji w biznesie. prof. dr hab. Robert Karaszewski

Przegląd problemów doskonalenia systemów zarządzania przedsiębiorstwem

ZAKŁADANE EFEKTY KSZTAŁCENIA DLA KIERUNKU Technika Rolnicza i Leśna

STATYSTYKA EKONOMICZNA

2 913 Instytut Technologii Elektronowej Instytut Technologii Elektronowej Instytut Optoelektroniki Wojskowej Akademii Technicznej

SYLABUS. Nazwa jednostki prowadzącej Wydział Matematyczno Przyrodniczy Centrum Mikroelektroniki i Nanotechnologii

Wzór wniosku o przyznanie stypendium w ramach projektu "Krok w przyszłość - stypendia dla doktorantów IV edycja "

Projekt zmian w ocenie parametrycznej i kategoryzacji jednostek naukowych w 2017 roku. Konferencja MNiSW i KEJN Warszawa, 18 lutego 2015 r.

Nowe zasady parametryzacji jednostek naukowych

Wykorzystanie pojęć sprawności, skuteczności, efektywności i produktywności w administracji publicznej

Program kształcenia na Studiach Doktoranckich Wydziału Zarządzania Uniwersytetu Warszawskiego w roku 2014/2015

STRATEGIA ROZWOJU INSTYTUTU FIZYKI CENTRUM NAUKOWO-DYDAKTYCZNEGO POLITECHNIKI ŚLĄSKIEJ NA LATA

Regulamin okresowych ocen pracowników naukowych Instytutu Fizyki Jądrowej im. Henryka Niewodniczańskiego Polskiej Akademii Nauk I CZĘŚĆ OGÓLNA

Do realizacja tego zadania zalicza się weryfikację poprawności rozwiązań zaproponowanych przez realizatora (wykonawcę), czyli:

01, 02, 03 i kolejne numer efektu kształcenia. Załącznik 1 i 2

Przetwarzanie danych i dostarczanie informacji z systemów informatycznych OPI

prospektywna analiza technologii

WYMOGI STAWIANE PRACOM LICENCJACKIM

Ekspertyzy, wdrożenia, aplikacje elementy oceny praktycznych efektów działalności naukowej Instytutu

Recenzja. promotor: dr hab. Marianna Kotowska-Jelonek, prof. PŚk

Załącznik nr 7 do Regulaminu Wydziału Mechaniczno-Energetycznego

Znaczenie klastrow dla innowacyjności gospodarki w Polsce

LOSY NASZYCH ABSOLWENTÓW 2015

ROZPORZĄDZENIE MINISTRA NAUKI I SZKOLNICTWA WYŻSZEGO1) z dnia 18 sierpnia 2011 r.

Efekty kształcenia dla kierunku inżynieria środowiska

Transkrypt:

POLITECHNIKA POZNAŃSKA WYDZIAŁ INŻYNIERII ZARZĄDZANIA Analiza i ocena produktywności jednostek naukowych Promotor prof. dr hab. inż. Joanicjusz Nazarko mgr Joanna Jakuszewicz Politechnika Białostocka Wydział Zarządzania Katedra Informatyki Gospodarczej i Logistyki Poznań, 17.04.2015

Plan prezentacji 1. Uzasadnienie wyboru tematu 2. Problem badawczy 3. Cele pracy 4. Hipotezy badawcze pracy 5. Metodyka badań 6. Wyniki badań 7. Podsumowanie J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 2/35

Uzasadnienie wyboru tematu 1. Rosnące znaczenie sektora badań i roli jednostek naukowych EDUKACJA dyfuzja wiedzy NAUKA produkcja wiedzy INNOWACJE implementacja wiedzy Koncepcja trójkąta wiedzy Źródło: opracowanie własne na podstawie: K. Piech, Wiedza i innowacje w rozwoju gospodarczym w kierunku pomiaru i współczesnej roli państwa, Instytut Wiedzy i Innowacji, Warszawa 2009, s. 204; S.S.C. Shang, S. Lin, Y. Wu, Service innovation through dynamic knowledge management, Industrial Management & Data Systems 2009, t. 109, nr 3, s. 325-327. 2. Ewaluacja wyników działalności naukowej jako element realizacji polityki naukowej instrument zarządzania 3. Potrzeba racjonalności wydatków publicznych na badania naukowe 4. Rozwój metod instytucjonalnej oceny działalności naukowej 5. Nowe podejście ang. science of science policy (J. Lane, Director of the Science of Science&Innovation Policy Programme, National Science Foundation, USA) J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 3/35

System oceny działalności naukowej w Polsce 1. Ocena parametryczna MNiSW system porównywania wielkości produkcji naukowej poszczególnych jednostek naukowych 2. Prawie 1000 jednostek naukowych 3. Podstawa decyzji o kategoryzacji jednostek sfery nauki i o finansowaniu ich działalności statutowej 4. Brak mechanizmu w zakresie koordynacji i oceny efektywności wydatków 5. Dyskusyjność dotychczasowych zasad oceny jednostek naukowych w Polsce (zasadność stosowanych kryteriów, arbitralność procedur) 6. Warunki oceny parametrycznej wskazują na możliwość jej doskonalenia poprzez adaptację koncepcji produktywności jednostek naukowych i wykorzystanie do jej pomiaru metod naukowych J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 4/35

Koncepcja produktywności nauki Czynniki środowiskowe Wejścia (nakłady) Procesy transformacji Wyjścia (rezultaty) Produktywność jednostki naukowej to ogół wyników jej działalności w stosunku do nakładów poniesionych na ten obszar działalności w określonym czasie (M. Print, J. Hattie, Measuring quality in universities: An approach to weighting research productivity, Higher Education 1997, t. 33) Nakłady np. liczba pracowników, infrastruktura Efekty działalności naukowej produkcja wiedzy (publikacje, cytowania) upowszechnianie wiedzy (np. wdrożenia, patenty, kształcenie) rozwój naukowy pracowników (np. awanse naukowe i podnoszenie kompetencji pracowników naukowo-badawczych, nagrody i wyróżnienia) Czynniki środowiskowe (niekontrolowane) poziom finansowania, dydaktyka J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 5/35

Luka badawcza i problem badawczy W polskim piśmiennictwie brak systematycznych opracowań w zakresie problematyki produktywności nauki Brak poglądowych, oryginalnych lub polemicznych publikacji na temat sposobu adaptacji koncepcji produktywności na potrzeby systematycznej oceny instytucjonalnej badań naukowych Analiza możliwości wykorzystania koncepcji produktywności do wartościowania i porównywania dorobku jednostek naukowych oraz zastosowanie tej koncepcji w zarządzaniu organizacją i finansowaniem badań naukowych. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 6/35

Cele rozprawy Cele poznawcze (CP) (1) Dyskusja nad porównywaniem i wartościowaniem dorobku instytucji naukowych (2) Analiza i ocena istniejących modeli systematycznej oceny jednostek naukowych (3) Krytyczna analiza metodyki oceny parametrycznej stosowanej przez MNiSW Cel metodyczny (CM) Opracowanie metodyki oceny działalności jednostek naukowych opartej na koncepcji produktywności z wykorzystaniem metody Data Envelopment Analysis (DEA) Cel utylitarny (CU) Zaprojektowanie modyfikacji procedury oceny parametrycznej jednostek naukowych stosowanej przez MNiSW J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 7/35

Hipotezy badawcze 1. Analiza produktywności jednostek naukowych daje możliwość oceny wykorzystania ich zasobów materialnych i niematerialnych (H1). 2. Zastosowanie metody DEA zwiększa obiektywność ewaluacji działalności naukowej przez możliwość zaakcentowania indywidualnych charakterystyk poszczególnych ocenianych jednostek oraz uwzględnienia ich uwarunkowań środowiskowych (H2). 3. Ocena parametryczna MNiSW wykazuje w jej dotychczasowym kształcie wiele słabości i istnieje konieczność jej dalszego doskonalenia merytorycznego i formalnego (H3). 4. Ocena produktywności działalności naukowej może być podstawą do kształtowania instrumentów zarządzania organizacją i finansowaniem badań naukowych (H4). J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 8/35

Struktura pracy Tytuł rozdziału Zadania badawcze Metody badawcze Cele, hipotezy Wprowadzenie Sformułowanie problemu badawczego, celów i hipotez rozprawy 1. Aspekty zarządzania w sektorze badań naukowych 2. Produktywność nauki 3. Analiza metod oceny jednostek naukowych Prace studialne z zakresu: zarządzania sektorem nauki, kreowania polityki naukowej, ewaluacji instytucjonalnej jednostek naukowych systemów oceny i finansowania jednostek naukowych Adaptacja koncepcji produktywności do analizy jednostek naukowych oraz przegląd metod jej pomiaru analizy i krytyki piśmiennictwa analizy i krytyki piśmiennictwa, analizy i konstrukcji logicznej analizy i krytyki piśmiennictwa, analizy i konstrukcji logicznej CP1 CP1 CP2 CP2 H1 4. System oceny jednostek naukowych w Polsce Krytyczna analiza metodyki oceny parametrycznej MNiSW analizy i krytyki piśmiennictwa, analizy i konstrukcji logicznej, metody statystyczne CP3 H3 J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 9/35

Struktura pracy c.d. Tytuł rozdziału Zadania badawcze Metody badawcze Cele, hipotezy 5. Założenia metodyczne badania produktywności metodą DEA Prace studialne z zakresu metody DEA i jej zastosowania do oceny działalności naukowej w kraju i na świecie analizy i krytyki piśmiennictwa, analizy i konstrukcji logicznej CM H1 6. Badania produktywności jednostek naukowych Identyfikacja i analiza nakładów i efektów jednostek naukowych Wielowymiarowa analiza statystyczna pozyskanych zbiorów danych Analizy symulacyjne przy opracowaniu metodyki oceny produktywności jednostek naukowych Testowanie modeli DEA, badanie ich wrażliwości na błędy i perturbacje danych analizy i krytyki piśmiennictwa, analizy i konstrukcji logicznej, metody statystyczne, metody symulacyjne CM H1 H2 J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 10/35

Struktura pracy c.d. Tytuł rozdziału Zadania badawcze Ocena i analiza porównawcza produktywności jednostek naukowych w Polsce oraz dyskusja wyników Metody badawcze Cele, hipotezy 7. Rekomendacje do metodyki DEA w ocenie jednostek naukowych Wypracowanie propozycji metodycznych oceny działalności jednostek naukowych opartej na koncepcji produktywności z wykorzystaniem metody DEA analizy i konstrukcji logicznej CM CU H4 Zaprojektowanie modyfikacji procedury oceny parametrycznej jednostek naukowych stosowanej przez MNiSW Zakończenie Sformułowanie wniosków J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 11/35

Założenia i rozwój oceny parametrycznej klasyfikacja parametryzacja kategoryzacja Rok oceny 1999 2003 2006 2010 2013 Klasy grupy jednorodne grupy jednorodne grupy jednorodne grupy jednorodne grupy wspólnej oceny (GWO) Liczba klas Liczba zmiennych Metoda Kategorie 13 20-28 1, 2, 3, 4, 5, 6 13 20 24-30 37 iloraz ważonej sumy punktów oceny parametrycznej do przeliczeniowej liczby N osób zatrudnionych 1, 2, 3, 4, 5 1, 2, 3, 4, 5 23 (30) 23-38 A, B, C 60 32-46 metoda porównań parami A+, A, B, C J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 12/35

Słabości oceny parametrycznej Merytoryczne Proceduralne Organizacyjne sposób doboru zmiennych słaba różnicowalność jednostek przez nadmiarowy zbiór kryteriów niski poziom zróżnicowania jednostek względem niektórych kryteriów dobór wag kryteriów klasyfikacja jednostek na grupy jednorodne (grupy wspólnej oceny), nieseparowalność grup jednorodnych brak preferencji dla jednostek oszczędnych brak transparentności i arbitralność metodyki brak jasnych kryteriów zaliczania jednostek do danej kategorii naukowej niejasny sposób identyfikacji jednostek o najwyższym potencjale naukowym niesatysfakcjonująca metodyka porównywania małych jednostek naukowych z dużymi nierzetelność danych limitowanie liczby jednostek w poszczególnych kategoriach porównywanie z syntetycznymi jednostkami referencyjnymi zbyt późne ogłaszanie zasad oceny brak informacji o wartościach cząstkowych wyników nadmierna centralizacja systemu oceny dokonywanie zmian w trakcie procesu oceny lub po ogłoszeniu wyników J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 13/35

Założenia metody Data Envelopment Analysis efekty graniczna krzywa produkcji C A Graficzna ilustracja koncepcji metody DEA nakłady Źródło: opracowanie własne na podstawie J. Zhu, Quantitative models for performance evaluation and benchmarking: Data Envelopment Analysis with spreadsheets and DEA Excel solver, Kluwer Academic Publishers, Boston 2003, s. 8-11. T j = x ij y rj B C C T j D E P j s r 1 m i 1 v y rj ux ij P j wskaźnik produktywności obiektu DMU j x ij nakład i-ty obiektu DMU j (wejście) u ij waga przypisana nakładowi x ij y rj efekt r-ty obiektu DMU j (wyjście) v rj waga przypisana efektowi y rj r = 1,2,, s liczba efektów i = 1,2,, m liczba nakładów j = 1,2,, n liczba DMU Ks korekta środowiskowa rj ij K s J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 14/35

Przesłanki zastosowania metody DEA Możliwość przeprowadzenia wielokryterialnej oceny działalności jednostek charakteryzujących się wielością nakładów i efektów oraz zmiennych niekontrolowanych (środowiskowych). Porównywanie jednostek decyzyjnych między sobą, co oznacza, iż nieproduktywne jednostki są porównywane do rzeczywistych organizacji, a nie do poziomu abstrakcyjnych mierników statystycznych. Obiektywizacja wag poszczególnych zmiennych, ustalanych tak, by zmaksymalizować produktywność względną każdego obiektu (programowanie liniowe). J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 15/35

Zakres i metodyka badań Zdefiniowanie i wybór jednostek decyzyjnych 683 obiekty uniwersum 823 publiczne jednostki naukowe jednostki artystyczne specyficzne rezultaty działalności, braki danych Identyfikacja zmiennych 11% 1% podstawowe jednostki uczelni (482) instytuty badawcze (117) Wybór i konfiguracja modelu DEA 17% 71% jednostki naukowe PAN (75) inne jednostki naukowe (10) Weryfikacja modelu Interpretacja wyników J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 16/35

Zakres i metodyka badań Zdefiniowanie i wybór jednostek decyzyjnych 40 zmiennych (ocena parametryczna 2010 + wysokości środków na finansowanie lub dofinansowanie działalności statutowej w latach 2002-2010 z Dzienników Urzędowych MNiSW) Identyfikacja zmiennych Rodzaj Liczba zmiennych Wybór i konfiguracja modelu DEA Weryfikacja modelu Charakterystyka jednostki naukowej 8 Publikacje 9 Patenty, wynalazki 16 Współpraca z otoczeniem 5 Finansowanie działalności statutowej 1 Interpretacja wyników J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 17/35

Zakres i metodyka badań Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych Wybór i konfiguracja modelu DEA 40 zmiennych (ocena parametryczna 2010, wysokości środków na finansowanie lub dofinansowanie działalności statutowej w latach 2003-2010 z Dzienników Urzędowych MNiSW) Analiza statystyczna (analiza struktury danych, analizy zależności między zmiennymi, analiza wskaźników pojemności informacji ) Redukcja zmiennych (17 opisujących wyniki działalności naukowej jednostek oraz 2 zmienne charakteryzujące nakłady) Weryfikacja modelu Interpretacja wyników J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 18/35

Metodyka klasyfikacji jednostek naukowych Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych Wybór i konfiguracja modelu DEA Patenty Publikacje 3,5 3 2,5 2 1,5 1 0,5 0-0,5-1 Granty Inne jednostki naukowe Instytuty badawcze Jednostki naukowe PAN Uczelnie Weryfikacja modelu Wdrożenia Umowy B+R Interpretacja wyników Orientacja działalności naukowej według rodzaju jednostki Źródło: opracowanie własne. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 19/35

Metodyka klasyfikacji jednostek naukowych Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych Wybór i konfiguracja modelu DEA uniwersytety techniczne medyczne kościelne 3,5 3 2,5 2 1,5 1 0,5 0-0,5-1 -1,5 służb państwowych wojskowe wychowania fizycznego Weryfikacja modelu Interpretacja wyników pedagogiczne rolnicze morskie ekonomiczne Publikacje Granty Umowy B+R Wdrożenia Patenty Orientacja działalności naukowej według rodzaju uczelni Źródło: opracowanie własne. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 20/35

Metodyka klasyfikacji jednostek naukowych Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych Wybór i konfiguracja modelu DEA Statystyczna klasyfikacja jednostek naukowych (analiza składowych głównych) Weryfikacja modelu Interpretacja wyników J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 21/35

Zakres i metodyka badań analiza porównawcza grup jednorodnych Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych monografie w języku polskim rozdziały w monografiach X15 w języku angielskim J6 X14 X11 publikacje MNiSW J1-J6 grupy jednorodne (obiekty) X3-X47 zmienne w modelu J5 J3 Wybór i konfiguracja modelu DEA X10 X13 X37 J4 J1 X16 X3 Weryfikacja modelu X22 X36 patenty krajowe liczba projektów X24 X35 J2 X31 X5 X12 X34 X9 liczba punktów za publikacje JCR X28 X47 patenty zagraniczne dotacja statutowa Interpretacja wyników Graficzna prezentacja relacji obiekt-obiekt, obiekt-cecha, cecha-cecha z wykorzystaniem metody M. Rybaczuka Źródło: opracowanie własne z wykorzystaniem autorskiego programu M. Rybaczuka Wizualizacja. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 22/35

Zakres i metodyka badań struktura grup jednorodnych Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych Wybór i konfiguracja modelu DEA Weryfikacja modelu Interpretacja wyników Grupa J1 J2 J3 J4 J5 J6 Dominujący profil naukowy jednostki inżynieryjne z zakresu nauk inżynierii chemicznej i materiałowej, konstrukcji i technologii, mechaniki, elektrotechniki, biologicznych oraz nauk fizycznych, chemicznych i matematycznych wydziały społeczno-humanistyczne: filologiczne, humanistyczne, zarządzania, administracji, ekonomiczne, pedagogiczne, teologiczne jednostki inżynieryjne (inżynieria środowiska, transport) i o Ziemi (geologia) jednostki nauk medycznych i o zdrowiu, jednostki rolnicze i przyrodnicze, techniczne o profilu elektrycznym i mechanicznym wydziały chemii oraz elektroniki, informatyczno-matematyczne. wydziały o nauk o żywności i medycyny weterynaryjnej, wydziały farmaceutyczne jednostki nauk przestrzennych, jednostki chemii i fizyki jądrowej, biologii doświadczalnej J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 23/35

Zakres i metodyka badań Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych Wybór i konfiguracja modelu DEA Modele DEA orientacja na efekty model nadproduktywności (P j >100) bez zmiennej środowiskowej i uwzględniający zmienną środowiskową (typ jednostki naukowej, województwo, wskaźnik PKB wg województw, wskaźnik PKB na 1 mieszkańca wg województw, wysokość dotacji statutowej) testy wrażliwości opracowanych modeli Weryfikacja modelu Interpretacja wyników J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 24/35

Zmienne uwzględnione w modelu DEA Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych NAKŁADY kontrolowane Liczba pracowników B+R DEA EFEKTY Uprawnienia do nadawania stopnia doktora habilitowanego Publikacje z listy JCR, ERIH, MNiSW SE-VCR-O Redakcja czasopism Wybór i konfiguracja modelu DEA niekontrolowane Dotacja statutowa Monografie i rozdziały w monografiach Licencje i patenty krajowe i zagraniczne Weryfikacja modelu Prawa ochronne na wzór użytkowy Interpretacja wyników Liczba projektów UE Wartość umów na prace B+R Przychody z tytułu wdrożenia prac B+R J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 25/35

Zestawienie wyników Zdefiniowanie i wybór jednostek decyzyjnych Identyfikacja zmiennych Wybór i konfiguracja modelu DEA Weryfikacja modelu Grupy jednorodne Kryterium J1 J2 J3 J4 J5 J6 Liczba produktywnych Liczba nieproduktywnych Liczba produktywnych model ze zmienną środowiskową Liczba nieproduktywnych model ze zmienną środowiskową Źródło: opracowanie własne. 120 (57,41%) 148 (100%) 61 (83,56%) 63 (78,75%) 60 (56,60%) 53 (81,54%) 89 0 12 17 46 12 57 (27,27%) 148 (100%) 72 (98,63%) 80 (100%) 70 (66,04%) 65 (100%) 152 0 1 0 36 0 Interpretacja wyników J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 26/35

U498 U613 U197 U497 U315 U321 U414 U413 U181 U158 U99 U383 U415 U51 U583 U602 U22 U312 U165 U417 U29 U663 U9 U395 U367 U585 U664 U163 U397 U11 U39 U388 U8 U342 U324 U381 U681 U329 U365 U32 U366 U614 U610 U606 U605 U670 U609 U275 U274 U424 U36 U468 U550 Wskaźnik produktywności U286 U42 U416 U213 U499 U73 U93 U232 U516 U193 U204 U90 U52 U242 U211 U230 U43 U303 U91 U98 U231 U195 U194 U214 U221 U505 U125 U504 U119 U202 U510 U118 U217 U75 U148 U307 U350 U237 U196 U121 U162 U120 U200 U116 U326 U199 U259 U235 U299 U96 U95 U244 U261 U97 U201 U198 U94 U147 U92 U260 U258 U233 U238 U207 U44 U152 U149 U115 U249 U192 U150 U234 U247 Wskaźnik produktywności Porównanie wskaźników 1400 1300 1200 1100 1000 900 800 700 600 500 400 300 200 100 0 Jednostki naukowe w grupie J3 1000 900 800 700 600 500 400 300 200 100 0 Jednostki naukowe w grupie J5 SE-VRS-O bez zmiennej środowiskowej skorygowany SE-VRS-O* ze zmienną środowiskową MNiSW J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 27/35

Zakres i metodyka badań Zdefiniowanie i wybór jednostek decyzyjnych Graf benchmarkingowy grupy J5 Identyfikacja zmiennych Wybór i konfiguracja modelu DEA Weryfikacja modelu Interpretacja wyników nieproduktywne (P j <100) produktywne (100<=P j <1000) superproduktywne (P j =1000) Źródło: opracowanie własne. z wykorzystaniem oprogramowania Gephi 0.8.2. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 28/35

Zakres i metodyka badań Zdefiniowanie i wybór jednostek decyzyjnych Graf benchmarkingowy grupy J5 Identyfikacja zmiennych Wybór i konfiguracja modelu DEA U30 (Wydział Chemii Uniwersytetu Łódzkiego) obiekty wzorcowe U12 (Instytut Chemii Organicznej PAN) U21 (Wydział Chemii Uniwersytetu Wrocławskiego) U4 (Wydział Chemiczny Politechniki Warszawskiej). Weryfikacja modelu Konkurenci technologiczni Interpretacja wyników nieproduktywne (P j <100) produktywne (100<=P j <1000) superproduktywne (P j =1000) Źródło: opracowanie własne. z wykorzystaniem oprogramowania Gephi 0.8.2. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 29/35

Interpretacja wyników Zdefiniowanie i wybór jednostek decyzyjnych Technologia docelowa jednostek nieproduktywnych oparta na technologii optymalnej na przykładzie obiektu U30 Wskaźnik produktywności: 93,52 Identyfikacja zmiennych Zmienna Technologia empiryczna T j Technologia docelowa T * j Wybór i konfiguracja modelu DEA Weryfikacja modelu Y2 publikacje JCR 8137 Y5 redakcja czasopism 0 Y12 patent zagraniczny 1 Y15 liczba projektów (uczestnictwo instytucjonalne) 0 8700,45 19,46 3,11 10,41 Interpretacja wyników Y16 wartość umów zawartych z innymi podmiotami na wykonanie prac B+R Źródło: opracowanie własne. 599,85 824,16 J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 30/35

Koncepcja systematycznej oceny produktywności z zastosowaniem metody DEA Projektowanie Pozyskanie danych organizacyjne Weryfikacja danych Analiza statystyczna zmiennych Klasyfikacja statystyczna obiektów Konstrukcja modelu DEA Weryfikacja modelu merytoryczne Ocena produktywności jednostek naukowych Interpretacja wyników Sformułowanie rekomendacji Komunikacja wyników proceduralne Monitorowanie postępów Źródło: opracowanie własne. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 31/35

Efekty badań Zastosowana metodyka w poszczególnych etapach oceny parametrycznej Etapy oceny Ocena parametryczna MNiSW Model autorski Dobór kryteriów dobór arbitralny analiza statystyczna Klasyfikacja jednostek dobór arbitralny analiza statystyczna Dobór wag kryteriów dobór arbitralny metoda DEA (optymalizacja liniowa) Klasyfikacja zmiennych w zakresy dobór arbitralny brak Wagi zakresów dobór arbitralny brak OP1999-OP2010 ważona suma punktów oceny parametrycznej do przeliczeniowej liczby N Metodyka wyznaczania zatrudnionych do prac B+R; wskaźnika E OP2013 metoda porównań metoda DEA parami z uwzględnieniem arbitralnie przyjętych wartości jednostek referencyjnych Kategoryzacja podział arbitralny wyniki metody DEA Źródło: opracowanie własne. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 32/35

Wnioski 1. Gromadzenie i analiza danych o nauce i środowisku naukowym w Polsce są niejednorodne i niesystematyczne. 2. W Polsce brak systematycznej ewidencji wpływu wielkości inwestycji na naukę na poziom wyników naukowych i efektywność ekonomiczną działania jednostek naukowych. 3. Poziom finansowania jednostek naukowych w postaci dotacji statutowej determinuje osiągane przez nie rezultaty naukowe i ich rozwój. 4. Rodzaj jednostki naukowej determinuje jej orientację w zakresie rezultatów. 5. Klasyfikacja jednostek naukowych w grupy jednorodne na podstawie metod statystycznych pozwala ujawnić ich cechy dominujące. 6. Wytypowane wzorce dla obiektów nieproduktywnych pozwalają na oszacowanie obszarów oszczędności nakładów lub niedoborów rezultatów. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 33/35

Podsumowanie hipotezy badawcze 1. W rozprawie wykazano, że analiza produktywności jednostek naukowych daje możliwość oceny wykorzystania ich zasobów materialnych i niematerialnych. 2. Wykazano, że zastosowanie metody DEA oraz zastosowanie metod statystycznych w procedurze oceny produktywności zwiększa obiektywność i wiarygodność wyników. Uwzględnienie czynników środowiskowych w ocenie produktywności jednostek naukowych pozwala na pełniejsze rozpoznanie i wyjaśnienie uwarunkowań ich działalności. 3. Na podstawie analiz statystycznych, analizy postulatów krytycznych środowiska oraz dokumentów wykazano, że ocena parametryczna MNiSW wykazuje w jej dotychczasowym kształcie wiele słabości i istnieje konieczność jej dalszego doskonalenia merytorycznego i formalnego. 4. Adaptacja koncepcji produktywności i zastosowanie metody DEA umożliwia kształtowanie instrumentów zarządzania organizacją i finansowaniem badań naukowych. J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 34/35

Dziękuję za uwagę Rozprawa została przygotowana w ramach grantu promotorskiego MNiSW N N115 294138, pt. Analiza i ocena produktywności jednostek naukowych J. Jakuszewicz, Analiza i ocena produktywności jednostek naukowych 35/35

POLITECHNIKA POZNAŃSKA WYDZIAŁ INŻYNIERII ZARZĄDZANIA Analiza i ocena produktywności jednostek naukowych Promotor prof. dr hab. inż. Joanicjusz Nazarko mgr Joanna Jakuszewicz Politechnika Białostocka Wydział Zarządzania Katedra Informatyki Gospodarczej i Logistyki Poznań, 17.04.2015