Zasady konstruowania i przeprowadzania pisemnych egzaminów testowych dobre praktyki. Henryk Rebandel

Transkrypt

1 Zasady konstruowania i przeprowadzania pisemnych egzaminów testowych dobre praktyki Henryk Rebandel

2 Jaką rolę moŝe e pełni nić egzamin? Selekcyjną - wybranie najlepiej przygotowanych (egzamin wstępny) z licznego grona (np. kandydatów). Kwalifikacyjną - badanie czy egzaminowani spełniaj niają (LEP???) określone minimum w zakresie posiadanej wiedzy. Weryfikacyjną - badanie jakości wiedzy uzyskanej (egzamin końcowy) w wyniku prowadzonego nauczania. Sposoby przeprowadzenia egzaminu: 1. Sala wykładowa, wersja papierowa, 2. Sala wykładowa, wersja ekranowa, 3. Sala komputerowa.

3 Wybrane cechy (właściwo ciwości) ci) egzaminu testowego: Wszyscy zdający dostają taki sam zestaw zadań. DuŜa a liczba zadań pozwala objąć nimi cały y zakres nauczania przedmiotu. MoŜna precyzyjnie określi lić (zaplanować) ) ilościowy udział w egzaminie zadań odnoszących się do poszczególnych działów w przedmiotu. Obiektywność (jednakowe: zasada i kryteria) oceniania. Przygotowanie egzaminu jest pracą zespołow ową,, czego efektem jest korzystna róŝnorodnor norodność formalna i merytoryczna zadań, a główna g część pracy przypada na okres przed sesyjny.

4 Wybrane cechy (właściwo ciwości) ci) egzaminu testowego: Nie intuicyjna (statystyczna) ocena poziomu przygotowania całego zbioru zdających i obiektywne porównanie tych zbiorów w z kolejnych lat egzaminowania. Porównawcza ocena grup w obrębie bie całego zbioru. MoŜliwo liwość róŝnych strategii oceniania: - wyodrębnienie w teście podzbioru zadań bazowych lub podzbiorów w zadań badających róŝne r aspekty wiedzy, - uwzględnienie w ocenie końcowej dodanej punktacji za róŝne osiągni gnięcia studentów, (np. za pracę na ćwiczeniach, za egzamin praktyczny). MoŜliwo liwość precyzyjnego regulowania (dopasowania) poziomu trudności egzaminu przez dobór r zadań o róŝnej r trudności.

5 Zadania testowe Test egzaminacyjny Przebieg egzaminu Wyniki - typy i rodzaje zadań - konstrukcja zadań - błędy - projektowanie (źródła a zadań) - konstrukcja (wersje, warianty) - błędy - zasady - wygląd d zbioru zadań,, instrukcja - analiza - ocena jakości narzędzia - ocena jakości grupy badanej

6 Zadania testowe - niewalidowane - walidowane Bank zadań -źródło o zadań walidowanych struktura: - wg działów w nauczania przedmiotu - wg celów w nauczania - wg typów w zadań. moŝliwo liwość uzyskania testu o zaprojektowanych: - poziomie średniej trudności, - proporcji trudności działów.

7 Przeprowadzenie egzaminu Zbiór r zadań i karta egzaminacyjna Wersje lub warianty testu Rozmieszczenie osób b egzaminowanych na sali Rodzaj sali i warunki techniczne Czas trwania egzaminu Sposób b rozpoczęcia cia egzaminu Sposób b zakończenia egzaminu Zasady porządkowe

8 Analiza wyników w testu mówi ca wi całą prawdę: - o stopniu przygotowania egzaminowanych, ale takŝe - o jakości narzędzia egzaminacyjnego Średnia testu Odchylenie standardowe Łatwość i moc róŝnicujr nicująca ca zadań Zakres zmienności i rozkład często stości Udział zadań nadmiernie: łatwych lub/oraz trudnych Trafność i rzetelność testu Udział zadań o trafności =<

9 ANALIZA WYNIKÓW dla poszczególnych zadań testu dla poszczególnych działów w testu dla całego testu dla poszczególnych osób b egzaminowanych dla dowolnie zestawianych grup dla całego zbioru osób b egzaminowanych» łatwość zadania - udział odpowiedzi prawidłowych» moc róŝnicujr nicująca ca zadania - analiza zgodno» trafność testu» rzetelność testu - zgodno analiza zgodności wewnętrznej (udziału prawidłowych odpowiedzi na dane zadanie w odniesieniu ieniu do wyników w całego testu) zdolność do rozróŝnienia pomiędzy wiedzącymi więcej i wiedzącymi mniej (lepszymi i gorszymi) testu - zdolno zgodność z jaką powtórzy rzyłyby yby się wyniki testu w przypadku ponownego jego o przeprowadzenia

10 ANALIZA ZADAŃ Rozkład często stości wyboru wariantów w odpowiedzi ( w %) 1 8 A B C D - odpowiedź prawidłowa

11 1 Rozkład często stości wyboru wariantów w odpowiedzi ( w %) 1 1 Gdy łatwość zadania jest nadmierna: A B C D A B C D A B C D zadania o optymalnej łatwości

12 1 Rozkład często stości wyboru wariantów w odpowiedzi ( w %) Gdy t r a f n o ść zadania maleje: A B C D A B C D A B C D

13 Egzamin końcowy - pomiar weryfikacyjny badanie jakości wiedzy uzyskanej w wyniku prowadzonego nauczania. Wystawienie ocen - odci odcięcie cie (ustalenie progu: zdał / nie zdał) - ustalenie skali oceniania Pomiar weryfikacyjny - jednostopniowy - wielostopniowy moŝe e uwzględnia dniać: - tylko wynik testu - takŝe e punkty dodatkowe

14 STRATEGIE OCENIANIA STUDENTÓW seria1 seria2 seria3

15 Dziękuj kuję