AMINY WSPOMAGANE KOMPUTEROWO ARSZAWSKIM UNIWERSYTECIE MEDYCZNYM OKĄD ZMIERZAMY? Joanna Gotlib Zakład Dydaktyki i Efek Kształcenia WNoZ WUM

Transkrypt

1 AMINY WSPOMAGANE KOMPUTEROWO ARSZAWSKIM UNIWERSYTECIE MEDYCZNYM OKĄD ZMIERZAMY? Joanna Gotlib Zakład Dydaktyki i Efek Kształcenia WNoZ WUM

2 III SEMINARIUM SZKOLENIOWE Z CYKLU DYDAKTYKA SZKOŁY WYŻSZEJ WARSZTATY Metody doskonalenia egzaminów testowych. Konstruowanie pisemnych zadań zamkniętych. 21 kwietnia 2015 r. (wtorek) Centrum Biblioteczno-Informacyjne WUM

3 PLAN PREZENTACJI EGZAMINY I ZALICZENIA WSPOMAGANE KOMPUTEROWO W WARSZAWSKIM UNIWERSYTECIE MEDYCZNYM OPINIE STUDENTÓW I NAUCZYCIELI NA TEMAT EGZAMINÓW ELEKTRONICZNYCH PLANY ROZWOJU EGZAMINÓW ELEKTRONICZNYCH

4 ZIMOWA SESJA EGZAMINACYJNA R.AK. 2014/2015 PRAWO W MEDYCYNIE POŁOŻNICTWO I GINEKOLOGIA UBEZPIECZENIA ZDROWOTNE

5 Biuro Egzaminów Uczelnianych PRAWO W MEDYCYNIE Pielęgniarstwo, I rok II stopień Koordynatorzy: mgr Aleksander Zarzeka i dr hab. Joanna Gotlib Liczba studentów: 152 Zgłoszone zastrzeżenia: 11, w tym 2 rozpatrzone pozytywnie Liczba udostępnionych terminów: 12 od 16 do 30 stycznia 2015 r. Wielkość bazy pytań: 200 Liczba pytań: 30 Czas egzaminu: 20 minut (45 sekund/pyt Próg zaliczenia: 60% (18 punktów) Maksymalny wynik końcowy: 27 punktów Minimalny wynik końcowy: 13 punktów Średnia: 20 punktów

6 PRAWO W MEDYCYNIE Biuro Egzaminów Uczelnianych

7 PRAWO W MEDYCYNIE Biuro Egzaminów Uczelnianych

8 Biuro Egzaminów Uczelnianych POŁOŻNICTWO I GINEKOLOGIA Pielęgniarstwo, III rok II stopień Koordynatorzy: dr Zoulika Jabiry- Zieniewicz i lek. Filip Dąbrowski Liczba studentów: 141 Zgłoszone zastrzeżenia: 26, w tym 2 rozpatrzone pozytywnie Liczba udostępnionych terminów: 6 6 lutego 2015 r. Wielkość bazy pytań: 120 Liczba pytań: 60 Czas egzaminu: 60 minut (1 minuta/ pyta Próg zaliczenia: 60% (36 punktów) Maksymalny wynik końcowy: 51 punktów Minimalny wynik końcowy: 21 punktów Średnia: 40 punktów

9 POŁOŻNICTWO I GINEKOLOGIA Biuro Egzaminów Uczelnianych

10 POŁOŻNICTWO I GINEKOLOGIA Biuro Egzaminów Uczelnianych

11 POŁOŻNICTWO I GINEKOLOGIA Biuro Egzaminów Uczelnianych

12 Biuro Egzaminów Uczelnianych UBEZPIECZENIA ZDROWOTNE Zdrowie Publiczne, II rok II stopień, studia niestacjonarne Koordynator: dr Grażyna Dykowska Zgłoszone zastrzeżenia: 1 rozpatrzone pozytywnie Liczba studentów: 30 Liczba udostępnionych terminów: 1 Wielkość bazy pytań: 26 Liczba pytań: 26 Czas egzaminu: 30 minut Próg zaliczenia: 57% (15 punktów) Maksymalny wynik końcowy: 21 punktów Minimalny wynik końcowy: 8 punktów Średnia: 14 punktów

13 UBEZPIECZENIA ZDROWOTNE Biuro Egzaminów Uczelnianych

14 Parametry Kierunek i przedmiot Pielęgniarstwo (I rok, II st.) Prawo w medycynie Pielęgniarstwo (III rok, I st.) Położnictwo i ginekologia Zdrowie Publiczne (II rok, II st., nst.) Ubezpieczenia zdrowotne Koordynatorzy dr hab. Joanna Gotlib mgr Aleksander Zarzeka dr ZoulikaJabiry-Zieniewicz lek. Filip Dąbrowski dr Grażyna Dykowska Liczba studentów Liczba terminów 12 ( ) 6 ( ) 1 ( ) Wielkość bazy pytań Liczba pytań Czas egzaminu 20 minut (45 sekund na pytanie) 60 minut (1 minuta na pytanie) 30 minut Czas na przejrzenie błędów 5 minut 5 minut 5 minut Próg zaliczenia 60% (18 pkt) 60% (36 pkt) 57% (15 pkt) Maksymalny wynik 27 pkt 51 pkt 21 pkt Minimalny wynik 13 pkt 21 pkt 8 pkt Średnia 20,90 40,79 14,31 Ocena końcowa nie tak tak Zgłoszone zastrzeżenia 11 (w tym 2 rozpatrzone pozytywnie) 26 (w tym 2 rozpatrzone pozytywnie) 1 (rozpatrzone pozytywnie)

15 ZASTRZEŻENIA DO PYTAŃ TESTOWYCH Zgłaszane po egzam 5 minut Rozpatrywane przez Koordynatora

16 OPINIE STUDENTÓW I NAUCZYCIELI NA TEMAT EGZAMINÓW ELEKTRONICZNYCH Studenci, którzy brali udział w EE -59/323 osób (18%) Studenci, którzy nie brali udziału w EE -89osób Nauczyciele akademiccy WUM -28osób

17 KWESTIONARIUSZ Badania ankietowe, dobrowolne, anonimowe Termin badania: luty Kwestionariusz internetowy 58stwierdzeń 5domen tematycznych 5-cio stopniowa skala Likerta Obsługa platformy egzaminów elektronicznych ASK Systems Organizacja zaliczeń i egzaminów elektronicznych na platformie egzaminów elektronicznych ASK Systems Postawy wobec sprawdzania wiedzy studentów z użyciem platformy egzaminów elektronicznych Zalety zaliczeń i egzaminów elektronicznych Wady zaliczeń i egzaminów elektronicznych

18 OBSŁUGA PLATFORMY EGZAMINÓW ELEKTRONICZNYCH Pytanie Grupa 1 Przed rozpoczęciem egzaminu w formie elektronicznej byłam/byłem zdenerwowany 44/59 Obsługa platformy egzaminów elektronicznych była łatwa 50/59 Nie miałam/miałem żadnych problemów technicznych w czasie obsługi platformy egzaminów elektronicznych Udział w egzaminie elektronicznym przygotuje mnie do kolejnych tego typu egzaminów 47/59 41/59

19 ORGANIZACJA ZALICZEŃ I EGZAMINÓW ELEKTRONICZNYCH Pytanie Grupa 1 Czas egzaminu elektronicznego był wystarczający 38/59 Terminy egzaminów były wyznaczone w dogodnym czasie 49/59 Udział w egzaminie elektronicznym był lepszy niż go sobie wcześniej wyobrażałam/wyobrażałem Jeśli miałbym/miałabym wybór, wszystkie zaliczenia i egzaminy powinny odbywać się w formie elektronicznej 29/59 17/59

20 POSTAWY STUDENTÓW aminowanie elektroniczne wymaga od studentów atkowego wysiłku intelektualnego Pytanie Grupa 1 Grupa 2 p 49% 24% 0,00 ślę, że wyniki zaliczeń przedmiotów odbywających się na tformie egzaminów elektronicznych mogą być gorsze iał w egzaminie elektronicznym zwiększa stres aminacyjny 29%* 44% 0,05 64% 35% 0,00 niejsza szansę na oszukiwanie, ściąganie podczas egzaminu 63% 34% 0,00

21 POSTAWY STUDENTÓW A POSTAWY NAUCZYCIELI Pytanie Grupa 1 Grupa 2 Grupa 3 p minowanie elektroniczne umożliwia skonstruowanie pytań, których ułożenie byłoby nie liwe w przypadku tradycyjnej, papierowej formy egzaminu testowego ,0 minowanie elektroniczne wymaga od studentów dodatkowego wysiłku intelektualnego ,0 miny elektroniczne są tylko chwilową modą w metodach sprawdzania wiedzy studentów ,0 lę, że wyniki zaliczeń przedmiotów odbywających się na platformie egzaminów tronicznych mogą być gorsze ,0

22 POSTAWY STUDENTÓW A POSTAWY NAUCZYCIELI Pytanie Grupa 1 Grupa 2 Grupa 3 p anizacja egzaminu elektronicznego zwiększa szanse na lepszy wynik iczenia ,0 owanie indywidualnego zestawu pytań testowych <0 cie materiałów multimedialnych: zdjęć, filmów, materiałów audio ytaniach testowych ,0 niejsza szansę na oszukiwanie, ściąganie podczas egzaminu <0

23 PODSUMOWANIE Brak konieczności wcześniejszego przygotowania studentów Brak zastrzeżeń studentów do rzetelności egzaminów ale zastrzeżenia studentów do pytań! Porównywalne wyniki Ujednolicenie egzaminów (czas egzaminu, liczba pytań) Budowa bazy pytań testowych Publikacja wyników: studenci a nauczyciele?

24 PLANY ROZWOJU EGZAMINÓW ELEKTRONICZNYCH

25 BUDOWA BAZY PYTAŃ TESTOWYCH Ewaluacja dotychczasowej bazy Konstrukcja pytań multimedialnych Egzaminy elektroniczne Egzaminy papierowe

26 BAZA PYTAŃ Scottish Qualifications Authority. E-assessment: Guide to effective prac Scottish Qualifications Authority 2007: 1 Dennick R, Wilkinson S, Purcell N. Online e-assessment: AMEE Guide No. Medical Teacher 2009; 31: 192 Joint Information Systems Committee. Effective Practice with e-assessm An overview of technologies, policies and practice in further and higher educ JISC 2007; 1: Brak danych na ten temat w piśmiennictwie

27 BAZA PYTAŃ LICZBA PYTAŃ ZAWARTYCH W BAZIE ZALEŻY OD WIELU CZYNNIKÓW Treści kształcenia! Liczby stanowisk komputerowych Liczby tur egzaminu Liczby studentów Liczby pytań w egzaminie Założeń testu - ile pytań może się powtarzać

28 PRZYKŁADOWY EGZAMIN DLA STUDENTÓW KIERUNKU LEKARSKIEGO 1600 pytań Plan testu: 100pytań 400 studentów 30 stanowisk komputerowych 400 studentów/30 stanowisk = 14 tur 14 tur x 100 pytań = 1400pytań 100% wymiany np. 15% (210 pytań) pytań zapasowych

29 INWENTARYZACJA BAZY PYTAŃ TESTOWYCH W REALIZACJI 9lat: r. ak. 2004/ r. ak. 2012/2013 na początek kierunek lekarski 13przedmiotów

30 miot r.ak /2005 r.ak /2006 r.ak /2007 r.ak /2008 r.ak /2009 r.ak /2010 r.ak /2011 r.ak /2012 rgia oby trzne by źne styka ryjna ologia tyka yna nna ologia ogia fologia atria yka tria r.a 201 /20

31 INWENTARYZACJA BAZY PYTAŃ TESTOWYCH W REALIZACJI

32 EWALUACJA DOTYCHCZASOWEJ BAZY - ANALIZY EGZAMINÓW TRADYCYJNYCH Dermatologia Położnictwo i ginekologia Mikrobiologia Kardiologia dla Fizjoterapii Podstawy pielęgniarstwa

33 PODSTAWY PIELĘGNIARSTWA. Rok ak. Liczba studentów Łączna liczba pytań Liczba opcji Liczba pytań usuniętych Średnia liczba punktów Minimalna liczba punktów Maksymaln a liczba punktów SD Rzetelność testu Liczba pytań z ujemną korelacją Łatw tes 2006 /2007 Brak danych 2007 /2008 Brak danych 2008 / ,61 0,49 1 0, /2010 Brak danych 2010 / ,22 0,62 4 0, / ,33 0,66 2 0,68

34 PODSTAWY PIELĘGNIARSTWA 180 pytań

35 PODSTAWY PIELĘGNIARSTWA

36 POŁOŻNICTWO I GINEKOLOGIA EE DLA STUDENTÓW III ROKU RATOWNICTWA MEDYCZNEGO Sesja zimowa Sesja letnia Pielęgniarstwo Położnictwo Ginekologia Ratownictwo medyczne Położnictwo Ginekologia Medycyna ratunkowa: 35 pytań

37 DOSKONALENIE BAZY PYTAŃ TESTOWYCH 24 poprawione pytania

38

39 EWALUACJA EGZAMINÓW ELEKTRONICZNYCH NA PLATFORMIE ASK SYSTEMS

40 PRAWO W MEDYCYNIE 200 pytań testowych 3warianty odpowiedzi nowe pytania analiza funkcjonowania pytań

41 PRAWO W MEDYCYNIE

42 PRAWO W MEDYCYNIE ANOVA rang Kruskala-Walli Łatwość H=2,946, p=0,81 Moc różnicująca H=2,842, p=0,82 Tura Liczba zdających Liczba pytań Rzetelność Łatwość Moc różnicująca średnia mediana średnia mediana : ,322 0,77 0,83 0,27 0, : ,293 0,68 0,69 0,23 0, : ,541 0,69 0,79 0,30 0, : ,513 0,68 0,72 0,27 0, : ,252 0,68 0,71 0,22 0, : ,434 0,72 0,79 0,26 0, : ,269 0,71 0,72 0,23 0,24

43 CZĘSTOŚĆ WYKORZYSTANIA PYTAŃ W BAZIE N Średnia Mediana SD CV Skośność ,4 22,0 17,99 70,9% 1,87

44 ŁATWOŚĆ BAZY PYTAŃ N Średnia Mediana SD CV Skośność 183 0,715 0,750 0, ,8% -0,64

45 OCENA ZGODNOŚCI DLA ZAKŁADANEJ ŁATWOŚCI WZGLĘDEM WYLICZONEJ Para zmiennych Korelacja gamma N Gamma Z Zakładana łatwość & Wyliczona łatwość 182 0,433 5, Wraz ze wzrostem liczby losowań daneg pytania spada wyliczona dla niego łatwo Na każde jedno dodatkowe wylosowani pytania spada jego łatwość o wartość 0,0 Zależność ta nie jest pewna!

46 ZAMIAST PODSUMOWANIA Egzaminy papierowe egzaminy elektroniczne Wybrane przedmioty Na początek: zaliczenia? Dla małych grup studentów

47 PROCEDURA OCENIANIA STUDENTÓW Regulamin egzaminów testowych Regulamin egzaminów elektronicznych

48 MIĘDZYUCZELNIANA WYMIANA PYTAŃ TESTOWYCH?

49 IF: 0,21 DYDAKTYKA NAUKA riusz Panczyk, Joanna Gotlib. essment of reliability, sensitivity, objectivity and validity of MCQ Pharmacology Exams potential output variable forpredictive analysis. ian Journal of Pharmaceutical Education and Research 2015; 49(1):1-9 riusz Panczyk, Henryk Rebandel, Joanna Gotlib. essmentof predictivevalueof admissioncriteriaof candidatesfor pharmaceutical dies an empirical investigation. ian Journal of Pharmaceutical Education and Research 2015; (49)2:

50 Dziękuję za uwagę