Seminarium szkoleniowe Wybrane formy egzaminowania jako narzędzia kontroli efektów i jakości kształcenia 14 marca 2014 Analiza ilościowa wyników egzaminów testowych jako element doskonalenia systemu oceny efektów kształcenia dr Mariusz Panczyk Zakład Dydaktyki i Efektów Kształcenia, Wydział Nauki o Zdrowiu Warszawski Uniwersytet Medyczny
Sprawdzian testowy a jakość kształcenia Kształcenie Sprawdzian Wyniki Oceny? Ewaluacja Analiza
Egzaminy testowe WUM Rocznie egzaminów i kolokwiów: 260; Liczba wczytanych kart: 28.000; Wszystkie Wydziały i Kierunki studiów.
Analiza wyników: przypadek 1 Test jednokrotnego wyboru Liczba pytań: 50 Liczba dystraktorów: 4 Liczba zdających: 134 Rzetelność testu * : 0,7 Przedstawia stosunek różnic systematycznych i losowych w wynikach osób rozwiązujących test. Wartość współczynnika rzetelności powyżej 0,7 oznacza, że różnice uzyskane w punktacji przez poszczególnych studentów nie są przypadkowe, lecz obrazują realną wiedzę.
Lewostronny ogon przypadek 1
Wąski przedział wyników przypadek 1
50 48 46 Niska zdolność dyskryminacji 44 42 TEST 40 38 Wąski zakres wyników 36 34 32 30 28 26 Mediana = 46 25%-75% = (44, 47) Zakres nieodstających = (40, 49) Odstające Ekstremalne przypadek 1
Przypadek 1: wnioski Zbyt duża liczba pytań łatwych uniemożliwia rzetelną ocenę osiągnięć studentów. Uzyskane wyniki nie odzwierciedlają rzeczywistego zróżnicowania poziomu wiedzy studentów. Mogą one świadczyć również o zużyciu zestawu pytań egzaminacyjnych.
Analiza wyników: przypadek 2 Test jednokrotnego wyboru Liczba pytań: 100 Liczba dystraktorów: 4 Liczba zdających: 78 Rzetelność testu: 0,78
Prawostronny ogon przypadek 2
Przedział wyników przypadek 2
Brak wyników > 83 pkt. przypadek 2
90 Wyniki w przedziale 40 70 pkt. 80 70 Obszar wyników dyskryminujących TEST 60 50 40 30 Mediana = 54 25%-75% = (48, 60) Zakres nieodstających = (36, 77) Odstające Ekstremalne przypadek 2
Przypadek 2: wnioski Zbyt duża liczba trudnych pytań: pytania wykraczają poza zakres przekazywanych treści kształcenia, w danym egzaminie nie uczestniczą najlepsi studenci (termin zerowy),
Analiza wyników: przypadek 3 Test jednokrotnego wyboru Liczba pytań: 60 Liczba dystraktorów: 5 Liczba zdających: 462 Rzetelność testu: 0,83
Umiarkowany lewostronny ogon przypadek 3
Zakres dyskryminacji przypadek 3
Zakres dyskryminacji 60 55 50 45 Zakres dyskryminacji 40 TEST 35 30 25 20 15 10 Mediana = 42 25%-75% = (37, 47) Zakres nieodstających = (22, 58) Odstające Ekstremalne przypadek 3
Analiza pytań Współczynnik łatwości odsetek zdających którzy prawidłowo odpowiedzieli na pytanie (opt. 0,4-0,6). Moc różnicująca parametr określający, jak dane pytanie odróżnia osoby, które generalnie dobrze rozwiązały cały test od tych które rozwiązały go słabo (opt. 0,2-0,4).
B 0,93 0,22 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E pytanie bardzo łatwe
D 0,17 0,24 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E pytanie bardzo trudne
1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E funkcjonują tylko dwa dystraktory
1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E optymalne pytanie
1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E konieczność sprawdzenia klucza z treścią pytania
Optymalizacja testu poprzez dobór pytań Analiza parametrów łatwości i mocy różnicującej poszczególnych pytań umożliwia usuwanie z bazy pytań o niskiej wartości. Dobrze ułożony test powinien zawierać dużo pytań o optymalnej mocy różnicującej i jak najmniej pytań zbyt łatwych i zbyt trudnych, o niskiej (lub zerowej) mocy różnicującej.
49 34 16
10 pytań
34
Sprawdzian testowy a ocena Kształcenie Sprawdzian Wyniki Oceny? Analiza
Ile punktów muszę uzyskać, aby zdać egzamin Wyznaczenie normy ilościowej w pomiarze sprawdzającym: metoda Angoffa (metoda ucznia granicznego); metoda zakładkowa; metoda grupy granicznej; metoda grup kontrastowych; metoda instruktażowa; Niemierko B. Diagnostyka edukacyjna: podręcznik akademicki. Wydawnictwo Naukowe PWN, 2009.
Leinster S. Setting standards. Lancet. 2004; 363(9407):496
Podsumowanie Monitorowanie parametrów testu jest istotne w kontroli jakości testu i znacznie ułatwia korektę bazy pytań, tak aby optymalnie odpowiadała ona potrzebom dydaktycznym. W kontekście nowych wymogów, konieczne jest zwrócenie szczególnej uwagi na efektywność narzędzi sprawdzających jakość kształcenia. Dane pomocne w doskonaleniu narzędzia są przekazywane każdorazowo osobom odpowiedzialnym za dany egzamin.
Dziękuję dr Mariusz Panczyk Zakład Dydaktyki i Efektów Kształcenia, Wydział Nauki o Zdrowiu Warszawski Uniwersytet Medyczny