Rodzaje testów Testy wiedza umiejętności zdolności właściwości poznawcze właściwości afektywne uczucia postawy osobowość emocje wierzenia istnieje odpowiedź prawidłowa autoekspresja brak odpowiedzi prawidłowej ZGADYWANIE TRAFNOŚĆ SAMOOPISU
Analiza zadań 1) Ustalenie, czy pozycja testowa jest poprawna rzeczowo, tj. czy da się ją wyprowadzić z teorii mierzonej właściwości psychologicznej 2) Sprawdzenie, czy pozycja testowa jest poprawnie zredagowana, tj. czy nie jest wieloznaczna lub zbyt zawiła 3) Obliczenie statystycznych wskaźników dla poszczególnych pozycji testowych współczynnika trudności współczynnika mocy dyskryminacyjnej - opartego na wielkości korelacji pomiędzy wynikiem danej pozycji a ogólnym wynikiem w teście - opartego na istotności różnicy między skrajnymi grupami
Współczynnik trudności jest to stosunek liczby osób odpowiadających poprawnie na daną pozycję testową do liczby wszystkich badanych osób Współczynnik mocy dyskryminacyjnej jest to stopień, w jakim dana pozycja testowa różnicuje badaną populację. - pozycja testowa o dodatniej mocy różnicującej jest częściej rozwiązywana przez badanych o wysokich wynikach testowania, a więc różnicuje badanych w zgodzie z innymi pozycjami testu i zwiększa wariancję wyników testowania. - pozycja testowa o ujemnej mocy różnicującej jest częściej rozwiązywana przez badanych o niskich wynikach testowania, a więc różnicuje badanych przeciwnie niż inne pozycje testu i zmniejsza wariancję wyników testowania.
Wskaźnik trudności zadania T n = i = n p i gdzie: T = współczynnik trudności n i = liczba osób, które odpowiedziały poprawnie na i-tą pozycję testową n = ogólna liczba badanych osób p i = proporcja osób odpowiadających poprawnie na i-tą pozycję testową
Wariancja pozycji testowej 2 δ = pq i i i gdzie: p i = proporcja osób odpowiadających poprawnie na i-tą pozycję testową q i = proporcja osób odpowiadających niepoprawnie na i-tą pozycję testową
Poprawka na zgadywanie dla wyniku i-tej pozycji testowej w przypadku pozycji zamkniętych (dwu i więcej kategorialnych) R = f i W / (m-1) gdzie: R = liczba osób, które rzeczywiście znały odpowiedź f i = zarejestrowana częstość odpowiedzi prawidłowych W = liczba odpowiedzi nieprawidłowych m = liczba dostępnych kategorii odpowiedzi Poprawka na zgadywanie dla wyniku ogólnego w teście w przypadku pozycji zamkniętych (dwu i więcej kategorialnych) C = R W / (m-1) gdzie: C = wynik poprawiony ze względu na zgadywanie R = liczba odpowiedzi prawidłowych W = liczba odpowiedzi nieprawidłowych m = liczba dostępnych kategorii odpowiedzi
Trudność pozycji testowych przy założeniu maksymalnego zróżnicowania odpowiedzi, z uwzględnieniem poprawki na zgadywanie T o = p o + q o /m T o = 0.50 + 0.50/m Rozkład wartości T i T o dla pozycji posiadających różną liczbę kategorii odpowiedzi Liczba kategorii Proporcja osób odpowiadających prawidłowo Proporcja osób zgadujących odpowiedź T o Wartości T o podane przez Lorda 2 kategorie 0.50 0.50/2=0.25 0.50+(0.50/2)=0.75 0.85 3 kategorie 0.50 0.50/3=0.17 0.50+(0.50/3)=0.67 0.77 4 kategorie 0.50 0.50/4=0.125 0.50+(0.50/4)=0.62 0.74
Wskaźnik dyskryminacji gdzie: D = p u - p l p u = proporcja odpowiedzi zgodnych z kluczem w tzw. górnej grupie badanych p l = proporcja odpowiedzi zgodnych z kluczem w tzw. dolnej grupie badanych Analiza przykładowego wzorca odpowiedzi Badany 1+ 2+ 3-4+ 5 6 7 8-9 10- Poz.1 0 1 1 1 0 1 1 0 1 0 Poz.2 1 1 1 1 0 0 0 1 0 1 Poz.3 1 0 1 1 0 1 1 1 1 1................................. Ogółem w 30 poz. 25 27 15 24 20 18 16 14 22 10 Charkterystyka poszczególnych pozycji testowych poz.1 D = 0.67-0.33 = 0.34 poz.2 D = 1.00-1.00 = 0.00 poz.3 D = 0.67-1.00 = 0.33 Kryteria selekcji pozycji testowych ze względu na wartość D 1. Jeżeli D>= 0.40 pozycję testową można włączyć do testu 2. Jeżeli 0.30<= D <=39, pozycja testowa wymaga niewielkich zmian 3. Jeżeli 0.20<= D <=.29, pozycja testowa ma znaczenie marginesowe i wymaga poważnych zmian 4. Jeżeli D <= 0.19, pozycja testowa powinna zostać wyeliminowana z testu lub całkowicie zmieniona
Związek między wynikiem pozycji testowej a ogólnym wynikiem w teście korelacja dodatnia korelacja ujemna wynik pozycji testowej wynik pozycji testowej 1 1 0 0 X i ogólny wynik w teście X i ogólny wynik w teście odpowiedź diagnostyczna zwiększa ogólny wynik w teście odpowiedź diagnostyczna zmniejsza ogólny wynik w teście
Moc dyskryminacyjna współczynniki korelacyjne Współczynnik korelacji dwuseryjnej Założenia: (1) ogólny wynik w teście jest zmienną ciągłą, posiadającą rozkład normalny (2) wynik i-tej pozycji testowej jest zmienną ciągłą Współczynnik korelacji punktowo-dwuseryjnej Założenia: (1) ogólny wynik w teście jest zmienną ciągłą, posiadającą rozkład normalny (2) wynik i-tej pozycji testowej jest zmienną dyskretną (dychotomiczną) Współczynnik korelacji punktowo-czteropolowej brak założeń co kształtu rozkładu zmiennych
Moc dyskryminacyjna analiza różnic pomiędzy skrajnymi grupami Skala postaw typu Likerta Dolna grupa Górna grupa Niski wynik w całym teście istotna różnica między grupami Wysoki wynik w całym teście
Analiza zadań - procedura postępowania Kolejny etap Etap 1 Etap 2 Etap 3 Etap 4 Etap 5 Etap 6 Etap 7 Etap 8 Etap 9 Opis zadania Zdefiniowanie mierzonej właściwości (teoria) Określenie formatu bodźca i formatu odpowiedzi Sformułowanie "puli matki" - około 100% pozycji więcej niż będzie ich liczyć ostateczna wersja testu Analiza logiczno-językowa pozycji (sędziowie kompetentni); ewentualnie test językowy na małej próbie Ustalenie klucza oceny odpowiedzi Badania standaryzacyjne Obliczenie wybranych wskaźników statystycznych dla wszystkich pozycji testu Podjęcie decyzji, które pozycje testowe wejdą do ostatecznej wersji testu Powrót do etapu 3, jeżeli zbyt mało pozycji testowych zakwalifikowało się do ostatecznej wersji testu
Specjalne zagadnienia analizy zadań wynik danej pozycji jest elementem ogólnego wyniku w teście wynik danej pozycji nie jest elementem ogólnego wyniku w teście 1 1 2 r it r it 1 2 3 3 t = 1+ 2 + 3 t = 2 + 3