Ogólne zasady przygotowywania rankingów szkół wyższych Waldemar Siwiński Prezes Zarządu Fundacja Edukacyjna Perspektywy Vice President IREG Observatory on Academic Ranking and Excellence
1. Czym są rankingi? Uporządkowana informacja (pod kątem potrzeb odbiorcy) na temat uczelni, wydziałów lub programów studiów Cechy rankingu: kryteria, metodologia, wagi, sposób prezentacji Podstawowe wymogi: wiarygodność danych, przejrzystość metodologii
Po co się robi rankingi? Rankingi konsumenckie dla kandydatów na studia (klasyczne rankingi prasowe, poczynając od najstarszego i najbardziej znanego rankingu US News & World Report Rankingi dla celów polityki państwa w zakresie nauki i innowacji (gdzie lokować środki finansowe, np. Chiny) Rankingi dla celów badawczych (instytuty polityki szkolnictwa wyższego, np. w Holandii)
Konstruowanie rankingu określenie grup(y) odbiorców docelowych, zdefiniowanie koherentnej listy instytucji objętych rankingiem, wyselekcjonowanie zestawu kryteriów właściwie i w pełni charakteryzujących instytucje akademickie, określenie wag procentowych dla poszczególnych wskaźników i kryteriów, dbanie o właściwy odbiór rankingu przez podstawowe grupy odbiorców (stakeholders). Obliczenia rankingowe w oparciu o analizę wielokryterialną Multi-Criteria Analysis, MCA).
Czy rankingi są obiektywne? W przygotowaniu każdego rankingu występują dwa momenty subiektywne: wybór kryteriów oraz wybór wag procentowych, z jakimi te kryteria są w ostatecznej klasyfikacji uwzględniane dlatego: obiektywne rankingi nie istnieją, choć jak najwięcej innych elementów (weryfikacja danych, sposób liczenia itp.) twórcy rankingów starają się standaryzować.
Trochę historii Pierwszy profesjonalny ranking amerykańskich uczelni opublikowany został przez Boba Morse a na łamach US News & World Raport w 1983 r. publikowany jest corocznie Pierwszy światowy ranking uniwersytetów opublikował w 2003 roku profesor Nian Cai Liu z Jiao Tong University w Szanghaju ranking publikowany jest corocznie Pierwszy regionalny ranking europejskich ośrodków badawczych opublikował Gero Federkeil z Centre for Higher Education Development (Niemcy) w 2007 r. uwzględniono: biologię, chemię, matematykę i fizykę Pierwszy profesjonalny Ranking Szkół Wyższych w Polsce przygotowany został przez Perspektywy w 2000 roku publikowany jest corocznie
Światowe rankingi uniwersytetów 2011 Główne rankingi miedzyanarodowe: Academic Ranking of World Universities (Szanghaj, Chiny) ranking instytucjonalny Times Higher Education (Wielka Brytania) ranking instytucjonalny QS Quacquareli Symonides (Wielka Brytania) ranking instytucjonalny Webometrics (Hiszpania) ranking oparty na zasobach internetowych Higher Education Evaluation & Accreditation Council of Taiwan (Tajwan) ranking bibliometryczny Leiden University (Holandia) ranking bibliometryczny Financial Times (Wielka Brytania) ranking programów biznesowych
Konferencja Rektorów Uniwersytetów Polskich Ranking Times Higher Education - od 2010 www.timeshighereducation.co.uk Łódź, 12 października 2010 r.
Konferencja Rektorów Uniwersytetów Polskich Polskie uczelnie w Rankingu THE W pierwszej edycji rankingu THE (publikacja 16.09.2010) znalazły się następujące polskie uczelnie: Uniwersytet Warszawski - 252 Uniwersytet Jagielloński - 300 Politechnika Warszawska - 329 Uwaga: Oficjalnie opublikowane został jedynie ranking 200 najlepszych uniwersytetów świata. www.timeshighereducation.co.uk Łódź, 12 października 2010 r.
Projekt U-Multirank Założenia projektu Komisji Europejskiej (Design and test the feasibility of a Multi-dimensional Global University Ranking) czyli Globalnego Rankingu Uniwersytetów widzianych z europejskiej perspektywy. Nowy ranking będzie: Wielowymiarowy uwzględniający kilka różnych dziedzin działalności uczelni, takich jak edukacja, badania, innowacyjność, internacjonalizacja i współpraca ze społecznością lokalną. Niezależny powinien być prowadzony przez instytucje pozarządowe i pozauniwersyteckie. Przejrzysty jego kryteria muszą być oczywiste i zrozumiałe dla osób konsultujących ranking, aby można było korzystać z niego pod określonym kątem, dopasowanym do indywidualnych potrzeb. Globalny uwzględniający uczelnie europejskie, amerykańskie, australijskie i azjatyckie Ranking Europejski opublikowany zostanie w maju 2011 roku www.u-multirank.eu
U-Multirank - polskie uczelnie Do udziału w fazie testowej projektu U-Multirank zostały zaproszone następujące polskie uczelnie: Uniwersytet Warszawski Uniwersytet Jagielloński Uniwersytet Śląski Politechnika Łódzka Politechnika Świętokrzyska Akademia Rolnicza w Krakowie Akademia Muzyczna we Wrocławiu Szkoła Wyższa Psychologii Społecznej Szansa na szersze uwzględnienie polskiej specyfiki w docelowej metodologii Rankingu Europejskiego. www.u-multirank.eu
Ranking Perspektyw sztuka ewolucji
Ranking Perspektyw - tak zaczynaliśmy Finał Rankingu 2000
Ranking Perspektyw rok po roku Finał rankingu 2008
Ranking Perspektyw finał 2010
Ewolucja Rankingu Perspektyw (1) Seminarium Rankingowe
Ewolucja Rankingu Perspektyw (2)
Zasady Rankingu Perspektyw 1. Ranking wielokryterialny 2. Ranking uwzględniający zróżnicowanie statusu, misji oraz poziomu akademickiego uczelni 3. Ranking oparty na weryfikowalnych danych 4. Kryteria rankingu skonsultowane (uzgodnione) ze środowiskiem akademickim konferencjami rektorów 5. Nad przestrzeganiem zasad Rankingu czuwa zewnętrzna w stosunku do uczelni Kapituła (pod kierunkiem prof. Michała Kleibera) 6. Obszerna publikacja wyników (nie tylko kolejność!) 7. Uroczyste ogłaszanie wyników Rankingu w Perspektywach i Rzeczpospolitej
Kluczowa rola Kapituły Rankinu 1. Ustala metodologię Rankingu (kryteria i ich wagi) 2. Nadzoruje prawidłowość zbierania i opracowywania danych 3. Ogłasza wyniki Rankingu Dotychczasowi przewodniczący Kapituły: dr Grzegorz Wojtowicz, prof. Marek Safjan, prof. Bogusław Smólski, prof. Michał Kleiber
Narodowe kontra globalne (1) Rankingi narodowe: dostępność różnorodnych danych w różnych grupach kryteriów, możliwość klarownego zdefiniowania poszczególnych grup instytucji akademickich, dostępność szczegółowych danych, duża liczba różnorodnych kryteriów (Perspektywy 32), instytucje akademickie poznają stosunkowo szybko szczegółową ocenę i mogą modyfikować własne aktywności.
Narodowe kontra globalne (2) Rankingi globalne: o wiele trudniejszy logiczny podział instytucji akademickich na poszczególne grupy i zdefiniowanie adekwatnych kryteriów, znaczące różnice pomiędzy systemami szkolnictwa wyższego w poszczególnych krajach, brak ogólnoświatowych porównywalnych danych statystycznych o instytucjach szkolnictwa wyższego, znacząco wolniejsze uzyskiwanie informacji zwrotnych, które dodatkowo są mniej precyzyjne.
ARWU QS Taiwan Webometric THE Category Sub-category value % Prestige (25%) Scientific strenght (40%) Innovation (5%) Studying Environment (15%) Internationalization (15%) Employers reputation 12,0 10% Peer review 11,0 40% 19,5% Olympians' preferences 2,0 Growth of HEI's faculty 8,0 Scientific titles awarded 7,0 Scientific potential 7,0 Saturation by staff with highest qualifications 4,0 20% Rights to award scientific degrees 4,0 Publications 2,0 20% 4,5% Citations 3,0 20% 20% 100% 15% 32,5% H-indeks 3,0 10% Doctoral programs 1,0 Accreditation 1,0 Outside funds for research 2,0 8,5% Patents and utility models 1,5 Participation in EU financed projects 1,5 Student access to the teaching staff 6,0 20% 15,00% Printed library stock 1,5 E-collection 2,0 20% Library facilities 1,5 Individual development possibilities 1,0 Cultural opportunities 1,0 Facilities for out of town students 1,0 Sport achievements 1,0 Programs of studies 4,0 Students studying in foreign languages 3,0 Students mobility (outbound) 2,5 Student s mobility (inbound) 2,5 International students 1,0 5% 2% Foreign teaching staff 1,0 5% 3% Courses in foreign languages 0,5 Summer schools 0,5 ARWU Nobel Prize 10% ARWU Professors with Nobel Prize 20% Webometrics: Internet reslources 65% Reputation survey - teaching 15%
Prestiż Dom rankingowy Innowacyjność Warunki studiowania Umiędzynarodowienie Warunki socjalne Prestiż u pracodawców Siła naukowa
Prestiż (częściowo) ARWU ranking Warunki studiowania 20% ARWU ranking 10% 20% 20% 10% Alumni Nobel & Field Medal 10% 20% Staff Nobel & Field Medal 20% Per capita academic performance of an institution 10% Nature & Science citation 20% SCI & SSCI citation 20% Highly cited researchers 20% Siła naukowa (częściowo)
Ranking uniwersytetu Leiden (bibliometryczny)... Warunki studiowania
Prestiż ranking QS Warunki Studiowania Umiędzynarodowienie 20% THES ranking 20% 5% Prestiż u pracodawców 10% 5% Students/Staff Ratio 20% 40% International Students 5% International Staff 5% Academic Peer Review (6354 resp.) 40% Reputation Employers (2339 resp.) 10% Citations TSD or Scopus per faculty number 20%
Ranking Webometrics Innowacyjność Web Size Rich Files Google Scholar (Link) Visibility Webometrics 20% 50% 15% 15%
Tylko harmonijne połączenie wszystkich kryteriów tworzy pełny obraz uczelni!
W trosce o jakość rankingów IREG Observatory
IREG Observatory on Academic Ranking and Excellence Grono twórców i analityków rankingów - rozumiejąc społeczną odpowiedzialność swoich działań i wzrastające oczekiwania co do rzetelności rankingów - przedsięwzięło działania zmierzające do ulepszenia istniejących systemów rankingowych: - stworzono stałe forum debat w postaci konferencji i seminariów IREG organizowanych corocznie w różnych krajach świata - Przyjęto tzw. Zasady Berlińskie będące zestawem best practices w zakresie przygotowywania i publikacji rankingów uniwersyteckich - utworzono międzynarodową organizację: IREG Observatory on Academic Rankings and Excellence, zarejestrowaną w Brukseli, z siedzibą w Warszawie www.ireg-observatory.org
Seminarium Rankingowe Audyt rankingów Podczas konferencji IREG-5 w Berlinie zaprezentowano zasady audytu rankingów (IREG Ranking Audit) realizowanego na zasadzie dobrowolności. Rankingi, które pomyślnie przejdą audyt będą mogły używać oznaczenia IREG Approved.
Seminarium Konferencja Rankingowe Rektorów Uniwersytetów Polskich Konferencje IREG Observatory Podsumowanie IREG Forum, Bratysława, 10-11 października 2011 Uczelnia Łódź, Łazarskiego, 12 października 21 2010 czerwca r. 2011 r.
Albert Einstein: Not everything that can be counted counts, and not everything that counts can be counted
Tylko harmonijne połączenie wszystkich kryteriów tworzy pełny obraz uczelni! Dziękuję za uwagę! Waldemar Siwiński w.siwinski@perspektywy.pl