Analiza ilościowa wyników egzaminów testowych jako element doskonalenia systemu oceny efektów kształcenia

Transkrypt

1 Seminarium szkoleniowe Wybrane formy egzaminowania jako narzędzia kontroli efektów i jakości kształcenia 14 marca 2014 Analiza ilościowa wyników egzaminów testowych jako element doskonalenia systemu oceny efektów kształcenia dr Mariusz Panczyk Zakład Dydaktyki i Efektów Kształcenia, Wydział Nauki o Zdrowiu Warszawski Uniwersytet Medyczny

2 Sprawdzian testowy a jakość kształcenia Kształcenie Sprawdzian Wyniki Oceny? Ewaluacja Analiza

3 Egzaminy testowe WUM Rocznie egzaminów i kolokwiów: 260; Liczba wczytanych kart: ; Wszystkie Wydziały i Kierunki studiów.

4 Analiza wyników: przypadek 1 Test jednokrotnego wyboru Liczba pytań: 50 Liczba dystraktorów: 4 Liczba zdających: 134 Rzetelność testu * : 0,7 Przedstawia stosunek różnic systematycznych i losowych w wynikach osób rozwiązujących test. Wartość współczynnika rzetelności powyżej 0,7 oznacza, że różnice uzyskane w punktacji przez poszczególnych studentów nie są przypadkowe, lecz obrazują realną wiedzę.

5 Lewostronny ogon przypadek 1

6 Wąski przedział wyników przypadek 1

7 Niska zdolność dyskryminacji TEST Wąski zakres wyników Mediana = 46 25%-75% = (44, 47) Zakres nieodstających = (40, 49) Odstające Ekstremalne przypadek 1

8 Przypadek 1: wnioski Zbyt duża liczba pytań łatwych uniemożliwia rzetelną ocenę osiągnięć studentów. Uzyskane wyniki nie odzwierciedlają rzeczywistego zróżnicowania poziomu wiedzy studentów. Mogą one świadczyć również o zużyciu zestawu pytań egzaminacyjnych.

9 Analiza wyników: przypadek 2 Test jednokrotnego wyboru Liczba pytań: 100 Liczba dystraktorów: 4 Liczba zdających: 78 Rzetelność testu: 0,78

10 Prawostronny ogon przypadek 2

11 Przedział wyników przypadek 2

12 Brak wyników > 83 pkt. przypadek 2

13 90 Wyniki w przedziale pkt Obszar wyników dyskryminujących TEST Mediana = 54 25%-75% = (48, 60) Zakres nieodstających = (36, 77) Odstające Ekstremalne przypadek 2

14 Przypadek 2: wnioski Zbyt duża liczba trudnych pytań: pytania wykraczają poza zakres przekazywanych treści kształcenia, w danym egzaminie nie uczestniczą najlepsi studenci (termin zerowy),

15 Analiza wyników: przypadek 3 Test jednokrotnego wyboru Liczba pytań: 60 Liczba dystraktorów: 5 Liczba zdających: 462 Rzetelność testu: 0,83

16 Umiarkowany lewostronny ogon przypadek 3

17 Zakres dyskryminacji przypadek 3

18 Zakres dyskryminacji Zakres dyskryminacji 40 TEST Mediana = 42 25%-75% = (37, 47) Zakres nieodstających = (22, 58) Odstające Ekstremalne przypadek 3

19 Analiza pytań Współczynnik łatwości odsetek zdających którzy prawidłowo odpowiedzieli na pytanie (opt. 0,4-0,6). Moc różnicująca parametr określający, jak dane pytanie odróżnia osoby, które generalnie dobrze rozwiązały cały test od tych które rozwiązały go słabo (opt. 0,2-0,4).

20 B 0,93 0,22 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E pytanie bardzo łatwe

21 D 0,17 0,24 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E pytanie bardzo trudne

22 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E funkcjonują tylko dwa dystraktory

23 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E optymalne pytanie

24 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A B C D E konieczność sprawdzenia klucza z treścią pytania

25 Optymalizacja testu poprzez dobór pytań Analiza parametrów łatwości i mocy różnicującej poszczególnych pytań umożliwia usuwanie z bazy pytań o niskiej wartości. Dobrze ułożony test powinien zawierać dużo pytań o optymalnej mocy różnicującej i jak najmniej pytań zbyt łatwych i zbyt trudnych, o niskiej (lub zerowej) mocy różnicującej.

26

27 10 pytań

28 34

29 Sprawdzian testowy a ocena Kształcenie Sprawdzian Wyniki Oceny? Analiza

30 Ile punktów muszę uzyskać, aby zdać egzamin Wyznaczenie normy ilościowej w pomiarze sprawdzającym: metoda Angoffa (metoda ucznia granicznego); metoda zakładkowa; metoda grupy granicznej; metoda grup kontrastowych; metoda instruktażowa; Niemierko B. Diagnostyka edukacyjna: podręcznik akademicki. Wydawnictwo Naukowe PWN, 2009.

31 Leinster S. Setting standards. Lancet. 2004; 363(9407):496

32 Podsumowanie Monitorowanie parametrów testu jest istotne w kontroli jakości testu i znacznie ułatwia korektę bazy pytań, tak aby optymalnie odpowiadała ona potrzebom dydaktycznym. W kontekście nowych wymogów, konieczne jest zwrócenie szczególnej uwagi na efektywność narzędzi sprawdzających jakość kształcenia. Dane pomocne w doskonaleniu narzędzia są przekazywane każdorazowo osobom odpowiedzialnym za dany egzamin.

33 Dziękuję dr Mariusz Panczyk Zakład Dydaktyki i Efektów Kształcenia, Wydział Nauki o Zdrowiu Warszawski Uniwersytet Medyczny