5 grudnia r. IV edycja Ogólnouniwersyteckiej Ankiety Oceniającej Jakość Kształcenia na UW. Wybrane problemy ewaluacji jakości kształcenia w jednostkach. Mikołaj Jasiński
Ogólnouniwersyteckie ankiety studenckie Ogólnouniwersyteckie badania ankietowe prowadzone przez PEJK wśród studentów UW 8 I edycja ankiety dla studentów 9 II edycja ankiety dla studentów III edycja ankiety dla studentów I edycja ankiety dla doktorantów IV edycja ankiety dla studentów
Ogólnouniwersyteckie ankiety studenckie Cele badania Zebranie informacji o opiniach społeczności studentów UW na temat warunków kształcenia Zdiagnozowanie kluczowych problemów kształcenia na UW Dostarczenie władzom centralnym UW informacji na temat ogólnouniwersyteckich zagadnień dot. warunków kształcenia Dostarczenie władzom jednostek dydaktycznych informacji na temat zagadnień dot. warunków kształcenia na poziomie jednostek 3
Ogólnouniwersyteckie ankiety studenckie Wybrane zagadnienia metodologiczne Technika realizacji - ankieta internetowa Rekrutacja do badania przez USOS-weby i stronę internetową obejmuje całą populację studentów Okres realizacji: czerwiec - lipiec Zakres tematyczny badań: zagadnienia stałe, powtarzane w kolejnych edycjach zagadnienia powtarzające się co kilka lat zagadnienia podejmowane jednorazowo 4
Ogólnouniwersytecka ankieta Dynamika realizacji badania studencka IV edycja 5
Ogólnouniwersytecka ankieta studencka IV edycja Komunikacja drogą elektroniczną na UW Monitorowanie kluczowych obszarów - kontynuacja E-learning 6
Kluczowe obszary Komunikacja drogą elektroniczną na UW Monitorowanie kluczowych obszarów - kontynuacja E-learning Obsługa dydaktyki Organizacja studiów w jednostce USOS Program studiów w kontekście umiejętności Zadowolenie ze studiów Prawa studenta 7
Ogólnouniwersytecka ankieta studencka IV edycja Bloki problemów podejmowanych w ankiecie odnoszące się do pojedynczych jednostek Obsługa dydaktyki wewnątrz jednostki Obieg informacji wewnątrz jednostki Program studiów w jednostce Przestrzeganie praw studenta w jednostce Infrastruktura lokalowa i wyposażenie materiałowe jednostki 8
Ogólnouniwersytecka ankieta studencka IV edycja Sposób prezentacji wyników min Wydział X max 6.7 3.9 4. Czy wybór studiów w jednostce uważasz za trafny? 9
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Zagadnienia metodologiczne Zawartość kwestionariusza badawczego Termin realizacji badania Sposób realizacji badania Sposób gromadzenia danych Analiza danych
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Zawartość kwestionariusza badawczego Zróżnicowana między jednostkami tematyka pytań Zaleta: możliwość uchwycenia specyfiki jednostek Wada: niemożność prowadzenia porównań Wspólna tematyka pytań Zaleta: możliwość prowadzenia równoczesnych analiz dla wszystkich jednostek Wada: konieczność formułowania pytań na ogólnym poziomie
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Zawartość kwestionariusza badawczego Obecność pytań otwartych Zaleta: możliwość pogłębionych analiz Wada: niemożność regularnego prowadzenia analiz Wyłącznie pytania zamknięte Zaleta: wystandaryzowane, jednoznaczne wyniki Wada: powierzchowne analizy 3
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Termin realizacji badania Przed zakończeniem realizacji zajęć dydaktycznych Zaleta: studenci oceniają zajęcia, a nie otrzymane oceny Wada: Badania zajmują czas w okresie zajęć dydaktycznych Po zakończeniu realizacji zajęć Zaleta: wydłużony czas badania Wady: brak kontroli czynników wpływających na oceny studenckie trudności w dotarciu do badanych 4
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Sposób realizacji badania Ankieta internetowa (przez USOS-web) Zaleta: niskie koszty Wada: brak kontroli nad społecznym kontekstem badania Ankieta audytoryjna Zaleta: badanie jako wspólne przedsięwzięcie społeczności UW Wada: obciążenia organizacyjne 5
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Sposób gromadzenia danych Ręczne kodowanie odpowiedzi Zaleta: niewielkie wymagania kompetencji od kodera Wada: wysokie koszty realizacji i duża liczba pomyłek Automatyczna rejestracja odpowiedzi przez system elektroniczny Zaleta: Wysoka efektywność przy masowych badaniach Wada: Znaczna pracochłonność przy uruchamianiu systemu 6
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Analiza danych Autorskie opracowania wyników w poszczególnych jednostkach dydaktycznych Zaleta: możliwość prowadzenia pogłębionych analiz Wada: wysokie koszty jednostkowe i w związku z tym niemożność prowadzenia systematycznych analiz Wystandaryzowane, proste opracowania Zalety i wady tego rozwiązania są negatywami zalet i wad opracowań autorskich 7
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Rozwiązanie wdrożone na UW Wspólna tematyka pytań Krótki kwestionariusz Badanie realizowane przed zakończeniem realizacji zajęć dydaktycznych Ankieta audytoryjna Skanowanie wypełnionych kwestionariuszy 8 Proste i czytelne opracowania przekazywane do jednostek dydaktycznych
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Przygotowanie organizacyjne do badania wymaga zaangażowania jednostek dydaktycznych UW Działu Aplikacji Komputerowych Pracowni Ewaluacji Jakości Kształcenia 9
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych Wcześniejsze centralne działania organizacyjne: Ustalenie listy grup zajęciowych, w których maja zostać prowadzone badania Ustalenie wielkości grup zajęciowych źródło informacji - USOS Główne problemy: Część grup zajęciowych nie istnieje w systemie USOS Dublujące się grupy zajęciowe Niekompletne dane nt. wielkości grup zajęciowych Niekompletne dane nt. prowadzących zajęcia Zakłócenia w Zakładzie Graficznym UW
Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych KOD GRUPY ZAJĘCIOWEJ 3 4 5 6 7 8 9 3 4 5 6 3 4 5 6 7 8 9 3 4 5 6 - - - - - - - - 5. Do jakiej części zajęć, Twoim zdaniem, prowadzący BYŁ PRZYGOTOWANY? zawsze był przygotowany - - - - - - - - - -
- - - - - - 5. Do jakiej części zajęć, Twoim zdaniem, prowadzący BYŁ PRZYGOTOWANY? zawsze był przygotowany - - - - - - - - - - tak nie tak nie 3 4* JEŻELI ZAJĘCIA PROWADZONE SĄ W PRACOWNI / LABORATORIUM / SĄ WYKŁADEM Z EKSPERYMENTAMI, TO JAK OCENIASZ - - - - Czy jesteś studentem(-ką) jednostki dydaktycznej, która prowadzi oceniane zajęcia? tak nie 3 3 4 5 3
3 Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych
4 Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych
5 Ogólnouniwersytecki system skanowanych ankiet oceny zajęć dydaktycznych
Monitorowanie losów absolwentów uczelni wyższych z wykorzystaniem danych administracyjnych ZUS
Monitorowanie losów absolwentów uczelni wyższych z wykorzystaniem danych administracyjnych ZUS Moduł I, czyli historia edukacyjna i zawodowa absolwentów uczelni na podstawie istniejących baz danych Moduł II, czyli badanie wzajemnych oczekiwań pracodawców, studentów i absolwentów Moduł III, czyli badanie panelowe dotyczące oceny sytuacji absolwentów wchodzących na rynek pracy 7
Moduł I, czyli historia edukacyjna i zawodowa absolwentów uczelni na podstawie istniejących baz danych 8
Efekty modułu I (/) Raporty, które pozwolą na charakterystykę i analizę mechanizmów selekcji na etapach: rekrutacji na studia wyższe w trakcie studiów na rynku pracy sytuacji absolwentów i studentów na rynku pracy związków wyników w trakcie nauki z sukcesem na rynku pracy programów studiów (ścieżek, specjalizacji itd.) ze względu na przydatność na rynku pracy 9 Moduł I IRK- USOS- ZUS
Efekty modułu I (/) Raporty Systematyczne i automatyczne Zindywidualizowane ze względu na odbiorców Modyfikowalne ze względu na potrzeby odbiorców 3
Harmonogram działań Ustalenie ograniczeń i możliwości analiz, zakresu tematycznego Analiza potrzeb odbiorców raportów, konsultacje Badania terenowe na UW Budowa oprogramowania łączącego dane i raportującego Przygotowanie testowych baz danych Testowanie programów Przygotowanie baz danych na podstawie połączonych informacji IRK-USOS-ZUS Przygotowanie finalnych raportów na podstawie prawdziwych danych 3
Dziękuję za uwagę Pracownia Ewaluacji Jakości Kształcenia UW ul. Karowa 8, -97 Warszawa ewaluacja@uw.edu.pl pejk@uw.edu.pl