Posiedzenie pełnomocników ds. ewaluacji jakości kształcenia

Transkrypt

1 Posiedzenie pełnomocników ds. ewaluacji jakości kształcenia Protokół z posiedzenia w dniu 28 lutego 2013 r. w Collegium Novum s. 30 (15:00 18:00) Posiedzenie otworzył Pełnomocnik Rektora UJ ds. ewaluacji jakości systemu kształcenia dr Grzegorz Bryda. Poinformował, że spotkanie będzie dotyczyło Oceny Zajęć Dydaktycznych (OZD) i Oceny Pracy Administracji (OPA). W zimowym semestrze bieżącego roku akademickiego ankieta OZD została poddana weryfikacji, skrócona i przeniesiona z USOSweb na platformę zdalnego nauczania Pegaz. Kwestionariusz składa się z części dotyczącej oceny pracownika, która została ustalona w wyniku konsultacji ze środowiskiem akademickim i jest taka sama dla wszystkich zajęć prowadzonych na UJ, oraz z części dotyczącej typów zajęć, która jest przygotowywana przez Wydziałowe Zespoły Doskonalenia Jakości Kształcenia (WZDJK). Przed zimową edycją ankiety nie wszystkie wydziały przygotowały swoje zestawy pytań do typów zajęć, więc powinny to uzupełnić. Pytań powinno być co najmniej 2, maksymalnie 6, wskazane jest zastosowanie pytania o punkty ECTS. Na platformie Confluence znajduje się lista wykorzystywanych do tej pory pytań do typów zajęć, z której można skorzystać w przygotowaniu swojego zestawu wydziałowego. Można też wymyślić własne pytania, wymaga to wówczas konsultacji metodologicznej z doktorem Grzegorzem Brydą. Ankieta została przeniesiona na platformę Pegaz z powodu problemów, jakie pojawiały się przez ostatnie 4 lata w USOSie. Jest zasilana z bazy USOS, co oznacza, że wszystkie kursy wpisane do USOS znajdują się również na Pegazie. Prosimy studentów o zaangażowanie w prace nad wyglądem ankiety. Pegaz otwiera nowe możliwości medialne, które będzie można wykorzystać. Strategia rozwojowa OZD dotyczy rozwoju ankiety na platformie Pegaz. Planowane jest utworzenie standardów promocji, aby nie zastanawiać się przed każdym semestrem jak promować ocenę zajęć. Promocja ma kształtować u studentów i pracowników postawę projakościową, budować kulturę jakości kształcenia. Agnieszka Bernas przedstawiła podstawowe informacje dotyczące realizowanych akcji ankietowych, ich celów, osiąganych frekwencji. Zaprezentowała w skrócie plan promocji na najbliższe lata (media uniwersyteckie służące do promocji, analiza SWOT, główne założenia promocji i współpracy w tym zakresie). Szczegóły znajdują się w prezentacji. Merytoryczną odpowiedzialność za realizowane projekty ponosi Pełnomocnik Rektora UJ ds. ewaluacji jakości systemu kształcenia dr Grzegorz Bryda, realizacją zajmuje się Zespół ds. analiz jakości kształcenia (ZAJK), we współpracy z Działem Rekrutacji na Studia i Biurem Karier. Wykorzystywane ankiety są tłumaczone na język angielski i przystosowane do czytników dla osób niewidomych, a raporty z badań są udostępnione na stronie W ciągu roku akademickiego realizowanych jest 7 projektów. Pierwsza ankieta adresowana jest do kandydatów na studia, jest wbudowana w proces rekrutacji na studia, realizowana przez Dział Rekrutacji na Studia. Po rozpoczęciu studiów studenci wypełniają ankietę Monitorowanie Aktywności i Kompetencji Strona 1 z 8

2 Studentów (MAKS). Pod koniec semestru zimowego rozpoczyna się Ocena Zajęć Dydaktycznych (OZD) wraz z Oceną Pracy Administracji (OPA). Na wiosnę odbywa się Barometr Satysfakcji Studenckiej (BSS), po nim MAKS adresowany do osób kończących studia. Semestr letni kończy akcja OZD i OPA. Pół roku, trzy i pięć lat po studiach do absolwentów jest wysyłana ankieta Badania Losów Absolwentów (BLA), realizowana przez Biuro Karier UJ. W międzyczasie w ciągu roku odbywa się ewaluacja kursu Ars Docendi. Planowane jest też uruchomienie nowego badania Barometru Satysfakcji Pracowniczej (BSP). Agnieszka Bernas podkreśliła, że w ciągu roku akademickiego są tylko dwa miesiące, w których nie odbywa się żadna akcja ankietowa. Poza tymi dwoma przerwami cały czas realizowane są akcje promocyjne, które należy zaplanować i skoordynować tak, aby nie zmęczyć studentów natłokiem informacji, a wręcz wywołać wrażenie, że ankiety są naturalnym elementem życia na UJ. Został utworzony plan promocji akcji ankietowych, zostanie on przekazany pełnomocnikom po skonsultowaniu go z Samorządem Studentów. Ponadto na Confluence zostaną udostępnione pliki graficzne, które są lub mogą być wykorzystywane do przygotowania materiałów promocyjnych. Przy założeniu, że zasoby pozwalające na przeprowadzenie badań i ich promocję są ograniczone, należy położyć różny nacisk na poszczególne projekty. Szczególnej uwadze będą podlegały OZD, OPA, MAKS i ocena Ars Docendi. Można się zastanowić nad wsparciem BKS i BLA. BSS jest realizowany w satysfakcjonującym stopniu, nie wymaga inwestycji. Dr Bryda zapytał przedstawiciela Samorządu Studentów, czy uważa, że przeprowadzanie Barometru Satysfakcji Studenckiej jest konieczne co roku, czy mogłoby być rzadziej. Tomasz Kocoł stwierdził, że to zależy od tego, jak są wykorzystywane wyniki i czy w ogóle są brane pod uwagę. W Ocenie Zajęć Dydaktycznych w roku 11/12 wziął udział co drugi student (co drugi wypełnił przynajmniej jedną ankietę). Najmniejsza frekwencja jest w grupie doktorantów i słuchaczy studiów podyplomowych. Wynika to m.in. z tego, że nie korzystają z systemu USOS (czasem nawet nie są do niego wpisani) lub korzystają w ograniczonym zakresie. W niektórych jednostkach dydaktycznych są przeprowadzane ankiety papierowe, które zbierzemy, przeanalizujemy i zaproponujemy wspólne rozwiązanie. W edycji 11/12 odsetek wypełnionych ankiet wyniósł 11%, co mogło wynikać z dużej liczby ankiet i ich długości. Po przeprowadzeniu procedury weryfikacji ankieta została skrócona, co powinno spowodować wzrost frekwencji. Na jej obniżenie wpłynęło przeniesienie ankiety na platformę Pegaz w dniu spotkania wynosiła ona 5,32%. W związku z tym akcja w tym semestrze została wydłużona o tydzień, do 10 marca 2013r. Frekwencja w OPA jest bardzo niska. Być może wynika to z tego, że cały czas są w niej wprowadzane zmiany, są stosowane różne narzędzia. Najwyższa frekwencja to 1,6% i pochodzi z edycji, w której ankieta była na USOSweb. Jej konfiguracja powodowała jednak niestabilność systemu USOS, a zatem była konieczność znalezienia innej platformy. Frekwencja na dzień spotkania wynosiła 1,8% wypełnionych ankiet dla sekretariatów dydaktycznych. Grupy docelowe działań USDJK to głównie studenci, ale należy też pamiętać o pracownikach dydaktycznych, naukowo-dydaktycznych i administracyjnych, budować u nich przekonanie o wartości systemu. Uniwersytet Jagielloński posiada swój system identyfikacji wizualnej (SIW), taki system ma też USDJK dostępny na platformie Confluence i na prośbę mailowo (a.bernas@uj.edu.pl). W tym roku zostały też wprowadzone SIW poszczególnych akcji ankietowych. Zespół korzysta z wielu różnych kanałów komunikacji ze środowiskiem akademickim, ma też plany wykorzystania nowych (np. miesięczniki studenckie). Bony książkowe o wartości 200zł i doładowania MPK za udział w akcjach ankietowych zostają wycofane. Zostaną one zastąpione gadżetami promocyjnymi (np. pendrive'y), które pozwolą na wypromowanie strony internetowej i USDJK. Strona 2 z 8

3 Z analizy SWOT wynika, że silną stroną jest to, że w środowisku istnieje świadomość funkcjonowania systemu USDJK, oraz że został wypracowany pewien model współpracy między jednostkami. Słabe strony to niechęć i brak zaufania ze strony środowiska, bierność i popełnione w przeszłości błędy. Strategia promocji opiera się na wzmocnieniu mocnych stron i zwalczeniu słabych. Plan promocji został przygotowany na trzy najbliższe lata akademickie. Zawiera on trzy cele promocyjne: budowanie kultury jakości na UJ (ocena ankietowa stanie się naturalnym elementem procesu dydaktycznego), wsparcie zasobów ludzkich (rzetelna informacja, pomoc i wspólne rozwiązywanie problemów, sprawna komunikacja, wskazane utworzenie jednego źródła informacji), niesienie dowodu na to, że USDJK to żywy organizm (system tworzą zaangażowani ludzie działający projakościowo). Akcent pracy jest przeniesiony na lokalność i ciągłe, długofalowe, nieagresywne oddziaływanie. Proponujemy utworzyć Wydziałowe Zespoły Promocyjne (WZP), które zorganizowałyby lokalnie promocję, co pozwoli na uporządkowanie podejmowanych w tym zakresie działań. W ich skład mogłyby wejść następujące osoby: pracownik dziekanatu lub sekretariatu (osoba znająca procedury administracyjne, mająca dostęp do systemów administracyjnych), koordynator ds. promocji, pełnomocnicy ds. ewaluacji jakości kształcenia, przedstawiciele studentów i doktorantów. WZP byłyby wspierane przez Zespół ds. analiz jakości kształcenia. Powinny stworzyć wydziałowy plan promocji USDJK spójny z ogólnym planem promocji (zawierający planowane działania, ich daty, zaangażowane osoby i środki) i przekazać go do ZAJK. Dr Bryda przypomniał, że przewodniczący WZDJK wchodzą w skład UZDJK, co pozwala na uzgadnianie kwestii ogólnouniwersyteckich. Ale większość prac odbywa się na wydziałach, a zatem WZDJK są odpowiedzialne za przeprowadzenie promocji oceny zajęć dydaktycznych i efektywne wykorzystanie jej wyników. WZP mają być wsparciem dla WZDJK. Pełnomocnicy powinni decydować jak będzie wyglądać promocja OZD w ich jednostkach przy wsparciu ze strony ZAJK lub pełnomocnika (dr Próchnicka lub dr Bryda). Nie przenosimy na pełnomocników odpowiedzialności, ale czynimy ich współodpowiedzialnymi. Pełnomocnik w ramach tych działań powinien stać się osobą zaufania publicznego w jednostce, do której każdy może przyjść i zgłosić swoje uwagi dotyczące jakości kształcenia bez obaw o anonimowość. Jeśli pełnomocnicy odczuwają potrzeby w zakresie przeszkolenia się z jakichś tematów, powinni wysłać propozycje do biura ZAJK. Padła propozycja, aby zastanowić się nad wprowadzeniem obowiązku wypełniania ankiet, ponieważ nachalna promocja i brak obowiązku obniża rangę akcji ankietowych. Wypełnianie ankiet powinny być obowiązkowe tak jak obowiązkiem prowadzącego zajęcia jest ocenić studentów. Studenci nie musieliby wypełniać wszystkich ankiet, ale np. 60% - bez tego nie powinni dostać zaliczenia roku. Pełnomocnik podkreślił, że obowiązkowość wypełniania ankiet sprawi, że nie będą one wiarygodne. Studenci także uważają, że ankiety nie powinny być obowiązkowe. Pełnomocnik zaproponował, że wydziały mogą wprowadzić u siebie obowiązkowość wypełniania ankiet po przeprowadzeniu konsultacji z wydziałowym Samorządem Studenckim, wystarczy, że wpłynie oficjalne pismo do pełnomocnika. Nie istnieje formalna możliwość, żeby zobowiązać studenta do wypełniania ankiet, pod groźbą niezaliczenia roku jest to niezgodne z regulaminem studiów i Ustawą o Szkolnictwie Wyższym. WZDJK mogą spróbować wymyślić inną formę zobowiązania studenta do wypełniania ankiet, ale nie może być ona powiązana z zaliczeniem etapu toku studiów. Tomasz Kocoł przyznał, że najlepsze są ankiety audytoryjne (papierowe) przeprowadzane na ostatnich zajęciach, które jednak przy dużej liczbie studentów i zajęć na uniwersytecie są kłopotliwe do przeprowadzania. Na Wydziale Matematyki i Informatyki studenci postanowili przeprowadzić próbną ocenę zajęć dydaktycznych na skanowalnych kwestionariuszach. Część zgromadzonych przyznała rację, że ankiety papierowe mają wyższą zwrotność. Strona 3 z 8

4 Pełnomocnik podkreślił, że ocena zajęć przez system USOS lub Pegaz nie jest ostateczna, mogą być przeprowadzane ankiety audytoryjne na wybranych zajęciach. Dywersyfikacja form zbierania danych jest bardzo pożądana. Problem tkwi w integracji danych i tym, że oceniani pracownicy przyzwyczaili się do uzyskiwania szybko wyników oceny zaraz po zakończeniu akcji. Dr Grzegorz Żuchowski zapytał, jak to się ma do zarządzenia, które zakazuje stosowania innych ankiet do oceny zajęć dydaktycznych poza tymi znajdującymi się w systemie. Pełnomocnik odpowiedział, że przeprowadzanie ankiet papierowych nie powinno mieć miejsca, ponieważ i tak wyniki papierowych ankiet nie będą uwzględniane w ocenie pracownika. Dr Elżbieta Sochacka-Tatara zaznaczyła, że jeśli zajęcia oceni elektronicznie mały odsetek studentów, to też nie powinno to być brane pod uwagę w ocenie pracownika, bo dane nie są wiarygodne. Dyskusję przerwała pani Kinga Drechny-Mucha, która przyznała, że miała już okazję zapoznać się z planem promocji USDJK i całkowicie się zgadza z tym, co jest w nim zawarte. Biuro Promocji współpracuje z osobami, które zostały wyznaczone przez dziekanów do prowadzenia działań promocyjnych na wydziałach. Osoby te mogłyby zająć się również promocją ankiet, odciążając tym samym pełnomocników z tego działania, co pozwoliłoby im się skupić na analizie wyników ankiet. Zaproponowała, że może się podjąć inicjacji współpracy na wydziałach, być może zorganizować spotkania, na których można będzie przedyskutować kwestię promocji lokalnej prosi tylko o przesłanie informacji, że jest taka prośba. Podkreśliła, że jednostki mają swoją specyfikę i rozwiązanie które się sprawdzi w jednej nie musi się sprawdzić w drugiej. Pojawiła się wątpliwość związana z tym, czy informacja zwrotna do studentów powinna płynąć od biura ZAJK lub Biura Promocji to dydaktycy powinni jasno dawać do zrozumienia swoim studentom, że wyniki ankiet pozwoliły im poprawić sposób prowadzenia zajęć. Pełnomocnik przyznał, że nie są prowadzone badania dotyczące tego, ilu nauczycieli akademickich przegląda swoje wyniki z OZD i jak z nich korzysta, więc nie znamy skali wykorzystania ankiet przez prowadzących. Docierają do nas pojedyncze sygnały, przeprowadzone zostało też 50 wywiadów z pracownikami dydaktycznymi, które dostarczyły jakościowej wiedzy na ten temat. Dr hab. Roman Dąbrowski stwierdził, że studenci nie potrzebują informacji technicznych o terminach i sposobie dostępu do ankiet. Wypełniają ankiety skrajnie, bo nie wiedzą jak mają ocenić zajęcia, które były przeciętne na 4 czy na 5 (w skali 1-5). Zaproponował, żeby organizować ze studentami pierwszego roku spotkania, na których można z nimi porozmawiać nie o stronie technicznej, a o stronie etycznej wypełniania ankiet, o odpowiedzialności, nauczyć ich refleksji nad zajęciami, w których uczestniczą. Wyraził wątpliwość co do tego, czy wprowadzenie obowiązku wypełniania ankiet jest dobrym pomysłem. Pełnomocnik przypomniał o pomyśle przeprowadzania ze studentami pierwszego roku tutoriali, na których studenci starszych lat uczą nowych, o co chodzi w ankietach. Dr Urszula Bęczkowska podkreśliła analogię w sytuacji oceny: prowadzący ma obowiązek rzetelnie i uczciwie ocenić każdego studenta, to student też powinien rzetelnie i uczciwie ocenić swoich prowadzących. Pracownicy z jej jednostki wielokrotnie zgłaszali swoje uwagi do Rektora, ale nigdy nie zostały one uwzględnione. Między innymi prośba o podział uzyskanych ocen według tego, jaką ocenę otrzymał student na zakończenie kursu. Agnieszka Feliks-Długosz poinformowała, że wymaga to powiązania danych studenta z odpowiedziami z ankiet, czego do tej pory nigdy nie robiliśmy. Piotr Ciesielski zwrócił uwagę, że oznacza to brak anonimowości np. wówczas, gdy ocenę wystawi student, który jako jedyny otrzymał dany stopień na zaliczenie. Dr Grzegorz Bryda powiedział, że powstaje na Pegazie system raportujący dla pracownika i decydentów, gdzie taki podział będzie można uwzględnić. Kolejną prośbą było przeprowadzanie oceny zajęć przed egzaminami, co pozwoli uniknąć ocen wynikających z rozżalenia po nieudanym egzaminie, co zamienia ocenę jakości kształcenia na festiwal popularności dydaktyków. Prof. Roman Dąbrowski przetestował to na swoim przypadku oceny wystawione przed egzaminem i po różniły się od siebie. Dr Bryda przyznał, że w Pegazie jest to możliwe. Problem jest związany Strona 4 z 8

5 z tym, skąd brać informacje kiedy odbywają się egzaminy w sytuacji, gdy niektórzy dydaktycy organizują egzaminy przed sesją. Dodatkową wątpliwość wzbudza przeprowadzanie akcji ankietowej w sesji poprawkowej we wrześniu. Pełnomocnik wyjaśnił, że przynosi ona około 5% frekwencji, ale jeśli pełnomocnicy uważają, że nie należy jej przeprowadzać, to nie ma problemu. Dr Paweł Kozyra przypomniał, że zawsze było zalecenie, aby wypełniać ankiety po egzaminie, bo wtedy można ocenić sposób oceniania, przestrzeganie kryteriów zaliczenia. Dr hab. Katarzyna Kulig zaproponowała rezygnację z ankiet w USOSie, na rzecz ankiet przeprowadzanych samodzielnie przez wydziały. Dr Grzegorz Bryda wyjaśnił, że nie ma takiej możliwości, bo uniwersytet musi mieć wewnętrzny system zapewniania jakości kształcenia. Dr Żuchowski podkreślił, że Polska Komisja Akredytacyjna (PKA) sprawdza przede wszystkim istnienie systemu wydziałowego, co potwierdziła również dr Agnieszka Pac mówiąc, że przedstawiciele PKA nie mogli zrozumieć, dlaczego wydział jest ograniczony w swobodzie stosowania pytań do oceny zajęć. Dr Kozyra dopytał, czy jest formalna możliwość nałożenia obowiązku wypełniania ankiet na studentów, czy jest w ogóle nad czym dyskutować. Dr Grzegorz Bryda wyjaśnił, że jeśli WZDJK postanowi, że jest to konieczne, to (pod warunkiem, że nie będzie powiązane z zaliczeniem roku) jest otwarty na takie rozwiązania. To rozwiązanie może dotyczyć tylko niektórych wydziałów, bo nie wszędzie jest problem z frekwencją. Problem jest innego typu - chociaż co na niektórych wydziałach prawie co drugi student bierze udział w akcji, to nie wypełnia wszystkich dostępnych dla niego ankiet. Należy zatem skupić się na budowaniu postawy projakościowej u studentów, zaczynając od studentów pierwszego roku. Im późniejszy rok studiów, tym mniej studentów wypełnia ankiety, choć na poszczególnych wydziałach może być inaczej. Dr Agnieszka Pac stwierdziła, że na Wydziale Lekarskim może to wynikać z tego, że na wyższych latach przypada dużo więcej ankiet na jednego studenta (nawet 50 na osobę) niż na początkowych latach studiów, dlatego frekwencja spada. Dr Żuchowski podkreślił, że student nie zobaczy efektów wypełniania ankiet, bo ocenia przedmiot, którzy właśnie zakończył, prawdopodobnie już więcej nie będzie miał kontaktu z tym samym prowadzącym. Dr Grzegorz Bryda oznajmił, że na Wydziale Filozoficznym testowo będą udostępnione studentom wyniki oceny zajęć (tylko pytania do typów zajęć, nie do oceny prowadzącego). Student na Pegazie będzie mógł zobaczyć wyniki oceny zajęć, na które uczęszczał. Poprosił też pełnomocników, aby się zastanowili czy na ich wydziałach pytania do oceny prowadzącego powinny mieć różne wagi (pytania do typów zajęć też), prosi o przesłanie informacji mailem. Raportowane będą dwa wskaźniki: wskaźnik pracownika i wskaźnik oceny zajęć. Dr hab. Katarzyna Kulig zapytała w jaki sposób wyniki widzi student, zwłaszcza w przypadku przedmiotów prowadzonych przez kilku prowadzących. Dr Agnieszka Pac wyjaśniła, że student widzi tyle ankiet, ilu jest prowadzących. A w ankiecie widzi pytania do oceny prowadzącego i do oceny zajęć, przy czym w pierwszej części ankiety jest pytanie, o którym pełnomocnicy nic nie wiedzą, (o to, czy student uczestniczył w zajęciach). Oznacza to, że nawet w przypadku gdy student miał tylko 2 godziny zajęć z danym prowadzącym musi wypełnić tak samo długą ankietę jak wtedy, gdy ocenia zajęcia trwające cały rok. Dr Grzegorz Bryda stwierdził, że jeśli wydział uważa, że wystarczą pytania do typów zajęć, to można zrezygnować z pytań do oceny prowadzącego. Jeżeli pełnomocnicy uważają, że pytania do typów zajęć są zbędne, też można z nich zrezygnować, jeżeli możliwości techniczne na to pozwolą. Dr Agnieszka Pac spytała o możliwości techniczne stopniowego udostępniania ankiet do oceny ciągłej na WL, tak aby nie były otwarte zbyt długo po zakończeniu zajęć i otwarte przed rozpoczęciem zajęć. Na Pegazie zostanie utworzony panel administracyjny, w którym każdy pełnomocnik będzie miał możliwość administrowania ankietami, w tym również ustalania terminów otwarcia i zakończenia ankiety. Dr Żuchowski zapytał o możliwość podglądu, czy pracownicy mają przypisane grupy seminaryjne. Dr Bryda oświadczył, że jeżeli jest taka potrzeba, to zostanie ona uwzględniona w pracach nad panelem administracyjnym. Pełnomocnik poprosił o przesyłanie Strona 5 z 8

6 mailem informacji o tym, do jakich informacji pełnomocnicy i pracownicy chcieliby mieć dostęp na Pegazie. Każdy pełnomocnik na wydziale ma mieć możliwość raportowania wyników punktowych poszczególnych pracowników swojej jednostki. Pracownicy będą mogli zobaczyć swoje oceny z poprzednich lat. Dr Żuchowski zaznaczył, że raportowane powinny być także te zajęcia, które nie zostały ocenione. Na dzień dzisiejszy nie są dostępne statystyki dotyczące frekwencji w poszczególnych jednostkach. Docelowo na Pegazie ma być taka funkcjonalność na poziomie nawet konkretnych zajęć, co pozwoli pełnomocnikom na trafne reagowanie. Dr Kozyra spytał o wyniki porównania ankiet papierowych i elektronicznych, o to, które są bardziej wiarygodne. Dr Bryda poinformował, że korelacja ocen jest na poziomie 0,8. Ocena internetowa jest bardziej indywidualną, a ocena papierowa jest oceną audytoryjną, więc są to różne metody. Ocena audytoryjna jest wyższa niż ocena elektroniczna. To może brać się stąd, że anonimowa ankieta internetowa pozwala na większą swobodę. Nie ma jednak możliwości rezygnacji z ankiet elektronicznych na rzecz ankiet papierowych, ponieważ Rektor UJ nie jest skłonny do powrotu do papierowych ankiet. Dr Bryda przyznał, że w niektórych jednostkach ankieta papierowa może być przeprowadzana jako wsparcie dla elektronicznej, ale wydłuży to czas dostępu do danych. Zebrani przyznali, że studenci nie będą chcieli wypełniać dwóch ankiet i należy się zdecydować jedno albo drugie. Dr Piotr Gierowski spytał czy WZDJK może podważyć kwestie związane z przyznawaniem nagród (25% frekwencji i przynajmniej 50 osób oceniających daną osobę). Dr Bryda poinformował, że te regulacje już nie obowiązują, jest nowy regulamin, który zawiera progi wiarygodności wypracowane w wyniku konsultacji z dziekanami. W regulaminie jest furtka, która mówi, że na wniosek pełnomocnika można tak dostosować progi, aby zajęcia mogły je spełnić. Dr Halina Podgórni stwierdziła, że robione są złe założenia. Cały system mógłby sprawnie funkcjonować, gdyby studia na UJ były elitarne. A spośród osób studiujących na UJ jest 10% tych, którzy chcą się uczyć, a pozostali nie wiadomo dlaczego się na studiach znaleźli. Zły materiał powoduje frustrację u prowadzących. Przyznawanie nagród osobom, które wiadomo, że są słabymi dydaktykami, działa demotywująco na pozostałych. W większości studenci nie są osobami świadomymi i dojrzałymi, a zatem nie należy spodziewać się, że będą wypełniać ankiety. Dr Grzegorz Bryda wyjaśnił, że ocena zajęć dydaktycznych nie oznacza oceny pracownika. W dokumentach było zapisane, że jest elementem oceny pracownika i ludzie to zinterpretowali wprost. Dyskusje prowadzone w ramach posiedzeń UZDJK mówią wyraźnie, że nie należy utożsamiać oceny zajęć dydaktycznych pracownika z jego oceną, bo jest to skrót myślowy. Ocena pracownika składa się również z innych elementów. Jeden z pełnomocników zauważył, że studenci nie znają prowadzących z innej strony jak tylko z zajęć, a więc ocena zajęć jest wtedy równa ocenie pracownika. Takie podejście do oceny wynika z tego, jak wyniki traktowane są przez władze, a tabelki przecież najłatwiej zestawiać. Dr Bryda podkreślił, że Rektorzy zdają sobie sprawę, że ocena z ankiet nie jest tożsama z oceną pracownika. Dr Żuchowski przypomniał, że w nagłówkach stosowanych dokumentów jest przecież ocena pracownicza, a nie postrzeganie pracownika przez studenta. Dr Bryda powiedział, że można to zmienić. W drugiej części spotkania Piotr Ciesielski zaprezentował zmiany w regulaminie Oceny Zajęć Dydaktycznych. Czas trwania akcji nadal wynosi 6 tygodni, ale ankiety uruchamiane są nie tydzień, a dwa tygodnie przed sesją. Ankieta jest podzielona na moduły moduł A to pięć pytań ogólnouniwersyteckich do oceny prowadzącego zajęcia, B - pytania do typów zajęć, których maksymalnie może być 6, a minimalnie moduł musi zawierać pytanie o punkty ECTS na potrzeby PKA. W regulaminie nie ma takiego zapisu, ale pełnomocnik podkreślił, że stosowanie pytań do typów zajęć jest traktowane jako obowiązek. Moduł C to komentarze dotyczące prowadzącego i zajęć. Moduł D to pytania specyficzne dla danego przedmiotu, które mogą być dopisane do ankiety dla danych zajęć przez pełnomocnika wydziałowego po konsultacji z Grzegorzem Brydą. Minimum pytań, które muszą znajdować Strona 6 z 8

7 się w ankiecie to moduły A, B i C. Wyjaśniono na czym polega ocena ciągła. Jest to sposób oceny zajęć na Wydziale Lekarskim, który polega na tym, że ankieta jest dostępna dla studentów od początku semestru przez cały czas. Piotr Ciesielski wyjaśnił, że udostępnianie wyników odbywa się nadal drogą elektroniczną i za pośrednictwem pełnomocników w jednostkach. Zmienił się algorytm obliczania wyników dla pracowników, co jest konsekwencją usunięcia pytania o ogólną ocenę zajęć. Przy obliczaniu wyników do tej pory były brane pod uwagę wszystkie oceny i wszystkie prowadzone zajęciach, również w innych jednostkach. Obecny regulamin wprowadza progi wiarygodności, które decydują o tym, czy ocena danego kursu będzie uwzględniania w końcowej ocenie pracownika czy też nie. Jeśli żadne zajęcia pracownika nie spełnią progów wiarygodności, to pracownik otrzymuje status nieklasyfikowany. To oznacza, że nie może dostać nagrody, ale też nie powinien być rozliczany za niską ocenę. Dr Bryda poprosił zgromadzonych o sugestie rozwiązań, jakie można by wprowadzić w związku z niską frekwencją w tym semestrze, o pomysły na to, co zrobić z tymi pracownikami, którzy dostaną status nieklasyfikowany. Progi wiarygodności opracowane przez Pełnomocnika Rektora określają ile minimalnie studentów powinno wypełnić ankietę, aby wliczyć dane zajęcia do oceny, przy uwzględnieniu różnej liczebności grup zajęciowych. Pełnomocnicy zwrócili uwagę na nieprawidłowe zapisy w tabeli, które oznaczają, że np. w grupie o liczebności od 11 do 30 studentów powinno być wypełnionych minimum 10 ankiet wobec tego poprosili pełnomocnika o poprawienie i dopracowanie tabeli. Dr Agnieszka Pac powiedziała, że progi wiarygodności mogą być niezasadne w przypadku wykładów, na których obecność jest nieobowiązkowa. Dr Bryda stwierdził, że kwestia wykładów wymaga jeszcze dyskusji, a na Wydziale Prawa i Administracji pani Dziekan zastanawia się w ogóle nad zlikwidowaniem zajęć w formie wykładów. Padła propozycja, aby do obliczania frekwencji uwzględniać tylko tych studentów, którzy podchodzą do zaliczenia. Dr Bryda przyznał, że to sensowny pomysł i że zostanie wzięty pod uwagę. Dr Pac przypomniała, że jeśli student nie odebrał dokumentów po rezygnacji ze studiów, to w świetle prawa do września kolejnego roku jest aktywnym studentem, a więc nie można zamknąć mu dostępu do ankiet. Agnieszka Feliks-Długosz dodała, że student może nie podejść do sesji, ale może wypełnić ankiety, a zatem odliczenie go z frekwencji będzie nieprawidłowe. Grzegorz Bryda zapowiedział, że wyniki oceny zajęć zostaną przeliczone według przedstawionej propozycji. Dr Żuchowski zasugerował, aby zastosować okres przejściowy między poprzednim sposobem obliczania a nowym. Dr Piotr Gierowski zauważył, że jeśli dydaktyk prowadzi zajęcia w wielu małych grupach i nie osiągnie progu wiarygodności na żadnej z nich, to sumarycznie jednak może go przekroczyć. Odrzucenie wyników ankiet będzie wtedy krzywdzące dla pracownika. Dr Pac zaproponowała usunięcie z tabeli kolumny z minimalnymi liczebnościami i zostawić tylko minimalny odsetek. Piotr Ciesielski przerwał dyskusję na temat martwych dusz w USOSie stwierdzeniem, że to biura na wydziałach generują sztuczne liczby, co komplikuje kwestie obliczania frekwencji w ocenie zajęć dydaktycznych. W regulaminie została zapisana kwestia wyznaczania i nazewnictwa pięciu grup wyników (punkt 2. regulaminu). Granice kategorii porównawczych są wyznaczane na podstawie kategorii stenowych wyliczanych z poprzednich dwóch lat. Przyjęcie wspomnianych wcześniej progów wiarygodności spowoduje komplikacje w tym zakresie, ponieważ niewystarczająca frekwencja wykluczy zbyt dużo danych z obliczeń i w skrajnym przypadku wyliczenie stenów będzie niemożliwe. Paweł Kozyra przypomniał, że WZDJK Wydziału Chemii prosił o zmianę nazewnictwa kategorii z normy na średnią uniwersytecką. Dr Bryda zapowiedział, że baza z danymi pochodzącymi z ankiet będzie zarejestrowana w GIODO, ponieważ ustawa Prawo o szkolnictwie wyższym i przepisy wewnętrzne UJ lokują wyniki akcji ankietowych w kontekście oceny okresowej pracownika, a to pociąga za sobą konieczność zachowania ochrony danych osobowych. Oznacza to, że nie można upubliczniać wyników oceny poszczególnych pracowników. Piotr Ciesielski przypomniał, że Strona 7 z 8

8 dziekani i pełnomocnicy dziekanów otrzymują upoważnienia do przetwarzania danych osobowych z zakresu akcji ankietowych i zobowiązują się do przestrzegania przepisów ustawy dotyczących ich ochrony. Mogą udostępniać dane tylko osobom, których są do tego uprawnione. W sytuacji, gdy o wyniki zwraca się do pełnomocnika np. komisja awansowa lub kierownik instytutu, pełnomocnik jest zobowiązany sprawdzić, czy wszystkie te osoby mają stosowne upoważnienie jeżeli nie mają, nie można im udostępnić wyników. Pełnomocnicy mogą przekazać wyniki oceny danego pracownika jemu samemu, jeśli o to poprosi, ponieważ każdy pracownik ma prawo pełnego dostępu do swoich danych osobowych. Oznacza to, że każdy pracownik może się zgłosić do pełnomocnika z prośbą o udostępnienie mu jego wyników i pełnomocnik powinien mu je przekazać (wydrukować lub skopiować w formie elektronicznej) lub wskazać system informatyczny, w którym pracownik będzie mógł te wyniki przeglądać. Docelowo pracownicy będą mieli dostęp do swoich wyników na platformie Pegaz, która umożliwi im wydruk raportu z oceny na potrzeby np. starania się o zatrudnienie czy o awans. Pełnomocnicy mają dostęp do historii oceny pracowników i mają obowiązek na prośbę pracownika przygotowywać zestawienia ocen z minionych okresów. Mogą zbierać kopie upoważnień, aby nie było konieczności za każdym razem potwierdzać uprawnień poszczególnych osób. Osoby zajmujące stanowiska kierownicze prawdopodobnie mają takie upoważnienia i sprawdzenie ich będzie formalnością. Piotr Ciesielski poinformował, że dostęp do platformy Confluence ze względów technicznych może być utrudniony, w przypadku problemów proszę się kontaktować z nim mailowo (piotr.ciesielski@uj.edu.pl lub telefonicznie (12) ). Dr Agnieszka Pac poprosiła o udostępnienie na Confluence danych z pytań do typów zajęć. Dr hab. Roman Dąbrowski poinformował, że próbował zobaczyć jak wygląda ankieta na Pegazie. W tym celu zmienił swoją rolę w systemie z prowadzący na student, co pozwoliło mu nie tylko na podglądnięcie formularza ankiety, ale również na jej wypełnienie. Dr Agnieszka Pac zwróciła uwagę na kolejny problem na Pegazie można dopisywać do grupy studentów, którzy nie są wpisani na zajęcia w USOSie studenci ci mają dostęp do ankiet. Dr Bryda stwierdził, że takie przypadki będzie można raportować, a dane z USOSa i Pegaza się nie zgodzą. Co prawda w systemie USOS też jest dużo błędnych wpisów, ale będzie przeprowadzony audyt, który pozwoli wyczyścić system z błędów. Pełnomocnik poinformował, że kolejne spotkanie odbędzie się w maju w celu podsumowania obecnej akcji i przetestowania nowych rozwiązań wprowadzonych na platformę Pegaz. Sporządziła: Agnieszka Feliks-Długosz Zespół ds. analiz jakości kształcenia Dział Nauczania UJ Załączniki: 1. Lista obecności. Strona 8 z 8

9

10

11