AMINY WSPOMAGANE KOMPUTEROWO ARSZAWSKIM UNIWERSYTECIE MEDYCZNYM OKĄD ZMIERZAMY? Joanna Gotlib Zakład Dydaktyki i Efek Kształcenia WNoZ WUM

AMINY WSPOMAGANE KOMPUTEROWO ARSZAWSKIM UNIWERSYTECIE MEDYCZNYM OKĄD ZMIERZAMY? Joanna Gotlib Zakład Dydaktyki i Efek Kształcenia WNoZ WUM

III SEMINARIUM SZKOLENIOWE Z CYKLU DYDAKTYKA SZKOŁY WYŻSZEJ WARSZTATY Metody doskonalenia egzaminów testowych. Konstruowanie pisemnych zadań zamkniętych. 21 kwietnia 2015 r. (wtorek) Centrum Biblioteczno-Informacyjne WUM

PLAN PREZENTACJI EGZAMINY I ZALICZENIA WSPOMAGANE KOMPUTEROWO W WARSZAWSKIM UNIWERSYTECIE MEDYCZNYM OPINIE STUDENTÓW I NAUCZYCIELI NA TEMAT EGZAMINÓW ELEKTRONICZNYCH PLANY ROZWOJU EGZAMINÓW ELEKTRONICZNYCH

ZIMOWA SESJA EGZAMINACYJNA R.AK. 2014/2015 PRAWO W MEDYCYNIE POŁOŻNICTWO I GINEKOLOGIA UBEZPIECZENIA ZDROWOTNE

Biuro Egzaminów Uczelnianych PRAWO W MEDYCYNIE Pielęgniarstwo, I rok II stopień Koordynatorzy: mgr Aleksander Zarzeka i dr hab. Joanna Gotlib Liczba studentów: 152 Zgłoszone zastrzeżenia: 11, w tym 2 rozpatrzone pozytywnie Liczba udostępnionych terminów: 12 od 16 do 30 stycznia 2015 r. Wielkość bazy pytań: 200 Liczba pytań: 30 Czas egzaminu: 20 minut (45 sekund/pyt Próg zaliczenia: 60% (18 punktów) Maksymalny wynik końcowy: 27 punktów Minimalny wynik końcowy: 13 punktów Średnia: 20 punktów

PRAWO W MEDYCYNIE Biuro Egzaminów Uczelnianych

PRAWO W MEDYCYNIE Biuro Egzaminów Uczelnianych

Biuro Egzaminów Uczelnianych POŁOŻNICTWO I GINEKOLOGIA Pielęgniarstwo, III rok II stopień Koordynatorzy: dr Zoulika Jabiry- Zieniewicz i lek. Filip Dąbrowski Liczba studentów: 141 Zgłoszone zastrzeżenia: 26, w tym 2 rozpatrzone pozytywnie Liczba udostępnionych terminów: 6 6 lutego 2015 r. Wielkość bazy pytań: 120 Liczba pytań: 60 Czas egzaminu: 60 minut (1 minuta/ pyta Próg zaliczenia: 60% (36 punktów) Maksymalny wynik końcowy: 51 punktów Minimalny wynik końcowy: 21 punktów Średnia: 40 punktów

POŁOŻNICTWO I GINEKOLOGIA Biuro Egzaminów Uczelnianych

POŁOŻNICTWO I GINEKOLOGIA Biuro Egzaminów Uczelnianych

POŁOŻNICTWO I GINEKOLOGIA Biuro Egzaminów Uczelnianych

Biuro Egzaminów Uczelnianych UBEZPIECZENIA ZDROWOTNE Zdrowie Publiczne, II rok II stopień, studia niestacjonarne Koordynator: dr Grażyna Dykowska Zgłoszone zastrzeżenia: 1 rozpatrzone pozytywnie Liczba studentów: 30 Liczba udostępnionych terminów: 1 Wielkość bazy pytań: 26 Liczba pytań: 26 Czas egzaminu: 30 minut Próg zaliczenia: 57% (15 punktów) Maksymalny wynik końcowy: 21 punktów Minimalny wynik końcowy: 8 punktów Średnia: 14 punktów

UBEZPIECZENIA ZDROWOTNE Biuro Egzaminów Uczelnianych

Parametry Kierunek i przedmiot Pielęgniarstwo (I rok, II st.) Prawo w medycynie Pielęgniarstwo (III rok, I st.) Położnictwo i ginekologia Zdrowie Publiczne (II rok, II st., nst.) Ubezpieczenia zdrowotne Koordynatorzy dr hab. Joanna Gotlib mgr Aleksander Zarzeka dr ZoulikaJabiry-Zieniewicz lek. Filip Dąbrowski dr Grażyna Dykowska Liczba studentów 152 141 30 Liczba terminów 12 (16-30.01.2015) 6 (6.02.2015) 1 (7.02.2015) Wielkość bazy pytań 200 120 26 Liczba pytań 30 60 26 Czas egzaminu 20 minut (45 sekund na pytanie) 60 minut (1 minuta na pytanie) 30 minut Czas na przejrzenie błędów 5 minut 5 minut 5 minut Próg zaliczenia 60% (18 pkt) 60% (36 pkt) 57% (15 pkt) Maksymalny wynik 27 pkt 51 pkt 21 pkt Minimalny wynik 13 pkt 21 pkt 8 pkt Średnia 20,90 40,79 14,31 Ocena końcowa nie tak tak Zgłoszone zastrzeżenia 11 (w tym 2 rozpatrzone pozytywnie) 26 (w tym 2 rozpatrzone pozytywnie) 1 (rozpatrzone pozytywnie)

ZASTRZEŻENIA DO PYTAŃ TESTOWYCH Zgłaszane po egzam 5 minut Rozpatrywane przez Koordynatora

OPINIE STUDENTÓW I NAUCZYCIELI NA TEMAT EGZAMINÓW ELEKTRONICZNYCH Studenci, którzy brali udział w EE -59/323 osób (18%) Studenci, którzy nie brali udziału w EE -89osób Nauczyciele akademiccy WUM -28osób

KWESTIONARIUSZ Badania ankietowe, dobrowolne, anonimowe Termin badania: 23-28 luty Kwestionariusz internetowy 58stwierdzeń 5domen tematycznych 5-cio stopniowa skala Likerta Obsługa platformy egzaminów elektronicznych ASK Systems Organizacja zaliczeń i egzaminów elektronicznych na platformie egzaminów elektronicznych ASK Systems Postawy wobec sprawdzania wiedzy studentów z użyciem platformy egzaminów elektronicznych Zalety zaliczeń i egzaminów elektronicznych Wady zaliczeń i egzaminów elektronicznych

OBSŁUGA PLATFORMY EGZAMINÓW ELEKTRONICZNYCH Pytanie Grupa 1 Przed rozpoczęciem egzaminu w formie elektronicznej byłam/byłem zdenerwowany 44/59 Obsługa platformy egzaminów elektronicznych była łatwa 50/59 Nie miałam/miałem żadnych problemów technicznych w czasie obsługi platformy egzaminów elektronicznych Udział w egzaminie elektronicznym przygotuje mnie do kolejnych tego typu egzaminów 47/59 41/59

ORGANIZACJA ZALICZEŃ I EGZAMINÓW ELEKTRONICZNYCH Pytanie Grupa 1 Czas egzaminu elektronicznego był wystarczający 38/59 Terminy egzaminów były wyznaczone w dogodnym czasie 49/59 Udział w egzaminie elektronicznym był lepszy niż go sobie wcześniej wyobrażałam/wyobrażałem Jeśli miałbym/miałabym wybór, wszystkie zaliczenia i egzaminy powinny odbywać się w formie elektronicznej 29/59 17/59

POSTAWY STUDENTÓW aminowanie elektroniczne wymaga od studentów atkowego wysiłku intelektualnego Pytanie Grupa 1 Grupa 2 p 49% 24% 0,00 ślę, że wyniki zaliczeń przedmiotów odbywających się na tformie egzaminów elektronicznych mogą być gorsze iał w egzaminie elektronicznym zwiększa stres aminacyjny 29%* 44% 0,05 64% 35% 0,00 niejsza szansę na oszukiwanie, ściąganie podczas egzaminu 63% 34% 0,00

POSTAWY STUDENTÓW A POSTAWY NAUCZYCIELI Pytanie Grupa 1 Grupa 2 Grupa 3 p minowanie elektroniczne umożliwia skonstruowanie pytań, których ułożenie byłoby nie liwe w przypadku tradycyjnej, papierowej formy egzaminu testowego 8 29 15 0,0 minowanie elektroniczne wymaga od studentów dodatkowego wysiłku intelektualnego 29 21 6 0,0 miny elektroniczne są tylko chwilową modą w metodach sprawdzania wiedzy studentów 18 26 6 0,0 lę, że wyniki zaliczeń przedmiotów odbywających się na platformie egzaminów tronicznych mogą być gorsze 28 30 3 0,0

POSTAWY STUDENTÓW A POSTAWY NAUCZYCIELI Pytanie Grupa 1 Grupa 2 Grupa 3 p anizacja egzaminu elektronicznego zwiększa szanse na lepszy wynik iczenia 6 27 7 0,0 owanie indywidualnego zestawu pytań testowych 28 44 7 <0 cie materiałów multimedialnych: zdjęć, filmów, materiałów audio ytaniach testowych 21 31 6 0,0 niejsza szansę na oszukiwanie, ściąganie podczas egzaminu 28 22 18 <0

PODSUMOWANIE Brak konieczności wcześniejszego przygotowania studentów Brak zastrzeżeń studentów do rzetelności egzaminów ale zastrzeżenia studentów do pytań! Porównywalne wyniki Ujednolicenie egzaminów (czas egzaminu, liczba pytań) Budowa bazy pytań testowych Publikacja wyników: studenci a nauczyciele?

PLANY ROZWOJU EGZAMINÓW ELEKTRONICZNYCH

BUDOWA BAZY PYTAŃ TESTOWYCH Ewaluacja dotychczasowej bazy Konstrukcja pytań multimedialnych Egzaminy elektroniczne Egzaminy papierowe

BAZA PYTAŃ Scottish Qualifications Authority. E-assessment: Guide to effective prac Scottish Qualifications Authority 2007: 1 Dennick R, Wilkinson S, Purcell N. Online e-assessment: AMEE Guide No. Medical Teacher 2009; 31: 192 Joint Information Systems Committee. Effective Practice with e-assessm An overview of technologies, policies and practice in further and higher educ JISC 2007; 1: Brak danych na ten temat w piśmiennictwie

BAZA PYTAŃ LICZBA PYTAŃ ZAWARTYCH W BAZIE ZALEŻY OD WIELU CZYNNIKÓW Treści kształcenia! Liczby stanowisk komputerowych Liczby tur egzaminu Liczby studentów Liczby pytań w egzaminie Założeń testu - ile pytań może się powtarzać

PRZYKŁADOWY EGZAMIN DLA STUDENTÓW KIERUNKU LEKARSKIEGO 1600 pytań Plan testu: 100pytań 400 studentów 30 stanowisk komputerowych 400 studentów/30 stanowisk = 14 tur 14 tur x 100 pytań = 1400pytań 100% wymiany np. 15% (210 pytań) pytań zapasowych

INWENTARYZACJA BAZY PYTAŃ TESTOWYCH W REALIZACJI 9lat: r. ak. 2004/2005 - r. ak. 2012/2013 na początek kierunek lekarski 13przedmiotów

miot r.ak. 2004 /2005 r.ak. 2005 /2006 r.ak. 2006 /2007 r.ak. 2007 /2008 r.ak. 2008 /2009 r.ak. 2009 /2010 r.ak. 2010 /2011 r.ak. 2011 /2012 rgia - - - - - 100 100 100 10 oby trzne by źne styka ryjna - - - 100-100 100 10 - - - - - 100 100 100 10 - - - - 100 100 100 100 10 ologia - - - - - 100 100 10 tyka - - - - - 50 - - 10 yna nna - - - - - - - - - ologia - - - - 100 100 100 100 - ogia - 50 - - 100 100 100 100 10 fologia - - - - - 100 100 100 10 atria - - - - 100 - - - - yka - - - - - 60 60 - - tria - - - - - - 100-10 r.a 201 /20

INWENTARYZACJA BAZY PYTAŃ TESTOWYCH W REALIZACJI

EWALUACJA DOTYCHCZASOWEJ BAZY - ANALIZY EGZAMINÓW TRADYCYJNYCH Dermatologia Położnictwo i ginekologia Mikrobiologia Kardiologia dla Fizjoterapii Podstawy pielęgniarstwa

PODSTAWY PIELĘGNIARSTWA. Rok ak. Liczba studentów Łączna liczba pytań Liczba opcji Liczba pytań usuniętych Średnia liczba punktów Minimalna liczba punktów Maksymaln a liczba punktów SD Rzetelność testu Liczba pytań z ujemną korelacją Łatw tes 2006 /2007 Brak danych 2007 /2008 Brak danych 2008 /2009 243 60 4 1 37 22 48 4,61 0,49 1 0,62 2009 /2010 Brak danych 2010 /2011 168 60 4 0 38 23 50 5,22 0,62 4 0,63 2011 /2012 155 60 4 1 40 20 51 5,33 0,66 2 0,68

PODSTAWY PIELĘGNIARSTWA 180 pytań

PODSTAWY PIELĘGNIARSTWA

POŁOŻNICTWO I GINEKOLOGIA EE DLA STUDENTÓW III ROKU RATOWNICTWA MEDYCZNEGO Sesja zimowa Sesja letnia Pielęgniarstwo Położnictwo Ginekologia Ratownictwo medyczne Położnictwo Ginekologia Medycyna ratunkowa: 35 pytań

DOSKONALENIE BAZY PYTAŃ TESTOWYCH 24 poprawione pytania

EWALUACJA EGZAMINÓW ELEKTRONICZNYCH NA PLATFORMIE ASK SYSTEMS

PRAWO W MEDYCYNIE 200 pytań testowych 3warianty odpowiedzi nowe pytania analiza funkcjonowania pytań

PRAWO W MEDYCYNIE

PRAWO W MEDYCYNIE ANOVA rang Kruskala-Walli Łatwość H=2,946, p=0,81 Moc różnicująca H=2,842, p=0,82 Tura Liczba zdających Liczba pytań Rzetelność Łatwość Moc różnicująca średnia mediana średnia mediana 2015-01-21 08:15 12 30 0,322 0,77 0,83 0,27 0,37 2015-01-21 12:00 26 30 0,293 0,68 0,69 0,23 0,23 2015-01-22 19:15 12 30 0,541 0,69 0,79 0,30 0,29 2015-01-28 12:00 27 30 0,513 0,68 0,72 0,27 0,27 2015-01-23 08:15 17 30 0,252 0,68 0,71 0,22 0,24 2015-01-23 12:00 28 30 0,434 0,72 0,79 0,26 0,25 2015-01-28 08:15 18 30 0,269 0,71 0,72 0,23 0,24

CZĘSTOŚĆ WYKORZYSTANIA PYTAŃ W BAZIE N Średnia Mediana SD CV Skośność 183 25,4 22,0 17,99 70,9% 1,87

ŁATWOŚĆ BAZY PYTAŃ N Średnia Mediana SD CV Skośność 183 0,715 0,750 0,2346 32,8% -0,64

OCENA ZGODNOŚCI DLA ZAKŁADANEJ ŁATWOŚCI WZGLĘDEM WYLICZONEJ Para zmiennych Korelacja gamma N Gamma Z Zakładana łatwość & Wyliczona łatwość 182 0,433 5,595726 Wraz ze wzrostem liczby losowań daneg pytania spada wyliczona dla niego łatwo Na każde jedno dodatkowe wylosowani pytania spada jego łatwość o wartość 0,0 Zależność ta nie jest pewna!

ZAMIAST PODSUMOWANIA Egzaminy papierowe egzaminy elektroniczne Wybrane przedmioty Na początek: zaliczenia? Dla małych grup studentów

PROCEDURA OCENIANIA STUDENTÓW Regulamin egzaminów testowych Regulamin egzaminów elektronicznych

MIĘDZYUCZELNIANA WYMIANA PYTAŃ TESTOWYCH?

IF: 0,21 DYDAKTYKA NAUKA riusz Panczyk, Joanna Gotlib. essment of reliability, sensitivity, objectivity and validity of MCQ Pharmacology Exams potential output variable forpredictive analysis. ian Journal of Pharmaceutical Education and Research 2015; 49(1):1-9 riusz Panczyk, Henryk Rebandel, Joanna Gotlib. essmentof predictivevalueof admissioncriteriaof candidatesfor pharmaceutical dies an empirical investigation. ian Journal of Pharmaceutical Education and Research 2015; (49)2: 117-125

Dziękuję za uwagę