Kognitywistyka II r Teorie inteligencji i sposoby jej pomiaru (3) Analiza zadań Rodzaje testów Testy wiedza umiejętności zdolności właściwości poznawcze właściwości afektywne uczucia postawy osobowość emocje wierzenia istnieje odpowiedź prawidłowa autoekspresja brak odpowiedzi prawidłowej ZGADYWANIE TRAFNOŚĆ SAMOOPISU 1
Analiza zadań Każdy test jest tak dobry, jak dobre są pozycje testowe wchodzące w jego skład Celem analizy zadań jest określenie parametrów pozycji wchodzących w skład testu Pozycja testowa sformalizowana sytuacja (bodziec), wywołująca zachowania będące wskaźnikiem danej cechy psychologicznej format pozycji skala odpowiedzi klucz oceny odpowiedzi Konstruowanie pozycji testowej wielokategorialnej z jedną opcją do wyboru (na przykładzie testu sprawdzającego poziom wiedzy z matematyki) Rodzaj wiedzy: Rodzaj pozycji testowej: Cechy bodźca Zadanie z treścią wymagające obliczenia iloczynu dwóch ułamków dziesiętnych Każdy z ułamków powinien zawierać jedno lub dwa miejsca po przecinku W żadnym zadaniu nie powinny się dwukrotnie powtórzyć te same liczby umiejętność mnożenia ułamków dziesiętnych obliczanie iloczynów dwóch ułamków dziesiętnych Cechy odpowiedzi Odpowiedzi są podawane w postaci wartości iloczynów, w porządku malejącym lub rosnącym Każde zadanie posiada cztery odpowiedzi do wyboru a) odpowiedź prawidłowa b) dystraktor - błąd wynikający ze z nieprawidłowego określenia miejsca dziesiętnego c) dystraktor - błąd wynikający ze złego ustawienia ("podpisania") ułamków d) dystraktor - błąd wynikający z niezrozumienia treści zadania 2
Etapy analizy zadań 1) Ustalenie, czy pozycja testowa jest poprawna rzeczowo, tj. czy da się ją wyprowadzić z teorii mierzonej właściwości psychologicznej 2) Sprawdzenie, czy pozycja testowa jest poprawnie zredagowana, tj. czy nie jest wieloznaczna lub zbyt zawiła 3) Obliczenie statystycznych wskaźników dla poszczególnych pozycji testowych Wskaźnik trudności zadania Wskaźnik trudności jest to stosunek liczby osób odpowiadających poprawnie na daną pozycję testową do liczby wszystkich badanych osób Wskaźnik trudności zadania T n n i = = p gdzie: T = współczynnik trudności n i = liczba osób, które odpowiedziały poprawnie na i-tą pozycję testową n = ogólna liczba badanych osób p i = proporcja osób odpowiadających poprawnie na i-tą pozycję testową i 3
Wariancja pozycji testowej δ = p q 2 i i i gdzie: p i = proporcja osób odpowiadających poprawnie na i-tą pozycję testową q i = proporcja osób odpowiadających niepoprawnie na i-tą pozycję testową Optymalna wartość współczynnika trudności Jeżeli naszym celem jest różnicowanie badanych osób na całym kontinuum zmienności cechy to dobrą pozycją testową jest taka pozycja, która gwarantuje nam to zróżnicowanie. A dana pozycja różnicuje tym lepiej, im bardziej jej wskaźnik trudności zbliża się do 50%. Dlatego też optymalne pod względem trudności są takie pozycje testowe, których trudność oscyluje wokół tej wartości. Optymalna wartość współczynnika trudności Taka prosta reguła decyzyjna może być stosowana pod jednym wszakże warunkiem, a mianowicie, że pozycje testowe nie pozostają ze sobą w żadnym związku. Gdy pozycje testowe korelują ze sobą zaleca się, aby posiadały one zróżnicowaną trudność (od najłatwiejszych do najtrudniejszych) i zróżnicowanie to powinno być tym większe, im większa jest korelacja pomiędzy pozycjami. Pozycje testowe należy dobrać tak, by średnia trudność całego testu oscylowała wokół 50% 4
Polska adaptacja testu słownikowego z baterii WAIS-R Lp Treść p% 1 nieprzyjaciel 94,4 2 astronomia 79,1 3 opał 74,5 4 rok 73,2 5 chleb 73,1 6 proszek 70,0 7 zarezerwować 69,6 8 konserwować 68,4 9 szereg 68,2 Polska adaptacja testu słownikowego z baterii WAIS-R 10 pomidor 66,6 11 adapter 66,3 12 cierń 63,8 13 wieczny 62,6 14 mandarynka 61,9 15 tuczyć 60,7 16 oślepiać 60,2 17 sen 59,2 18 oduczyć 57,9 19 przezwyciężyć 56,9 20 zainstalować 55,6 Polska adaptacja testu słownikowego z baterii WAIS-R 21 odkrywać 55,0 22 pobiec 54,6 23 neon 51,1 24 meteor 49,7 25 wyjściowy 47,4 26 utrzeć 45,9 27 pchać 44,8 28 blokada 40,9 29 parlament 35,2 30 dyspensa 32,0 31 monitować 29,6 32 powłóczyście 28,6 33 winieta 09,3 34 apokryf 06,4 35 eschatologia 05,1 p% = 53, 65 5
Poprawka na zgadywanie Im większa jest liczba pozycji testowych, na które osoba badana odpowiedziała błędnie, tym większe prawdopodobieństwo, że część jej odpowiedzi prawidłowych jest efektem zgadywania Poprawka na zgadywanie Założenia: Osoba badana albo zna odpowiedź (udziela wtedy odpowiedzi prawidłowej), albo jej nie zna a) jeżeli nie zna odpowiedzi, to zgaduje b) wszystkie odpowiedzi nieprawidłowe są efektem zgadywania, bo osoba badana nie wie, jaka jest odpowiedź prawidłowa Poprawka na zgadywanie Prawdopodobieństwo udzielenia odpowiedzi prawidłowej (przy założeniu braku wiedzy i jednakowej atrakcyjności wszystkich k opcji) wynosi: 1 k 6
Poprawka na zgadywanie Prawdopodobieństwo udzielenia odpowiedzi nieprawidłowej wynosi zaś: 1 k 1 1 = k k Poprawka na zgadywanie Możemy oszacować liczbę pozycji testowych, na które osoba badana odpowiedziała zgadując (n g ) następująco (n w = liczba odpowiedzi nieprawidłowych): n g = k n k-1 w n w = n g k 1 k Poprawka na zgadywanie k n"true" = n ng = n nw k 1 k = n nw + nw nw k 1 k k + 1 1 = n nw nw = n nw nw k 1 k 1 1 = nr nw k 1 1 = RIGTS WRONG k 1 7
Poprawka na zgadywanie w przypadku pozycji zamkniętych (dwu i więcej kategorialnych) W nt = R k 1 gdzie: n t = liczba osób, które rzeczywiście znały odpowiedź R = liczba osób, które odpowiedziałyprawidłowo W = liczba osób, które odpowiedziałynieprawidłowo k = liczba dostępnych kategorii odpowiedzi Trudność pozycji testowej przy założeniu maksymalnej wariancji i z uwzględnieniem poprawki na zgadywanie Tp = po + q o /k Maksymalna wariancja, gdy p o = 0,50 T = 05, + 05, /k p Rozkład wartości T i Tp dla pozycji posiadających różną liczbę kategorii odpowiedzi Liczba kategorii 2 kategorie 3 kategorie 4 kategorie Proporcja osób odpowiadających poprawnie 0.50 0.50 0.50 Proporcja osób zgadujących odpowiedź 0.50/2=0.25 0.50/3=0.17 0.50/4=0.125 T p 0.50+(0.50/2)=0.75 0.50+(0.50/3)=0.67 0.50+(0.50/4)=0.62 Wartości T p podane przez Lorda 0.85 0.77 0.74 8
Współczynnik mocy dyskryminacyjnej Współczynnik mocy dyskryminacyjnej jest to stopień, w jakim dana pozycja testowa różnicuje badaną populację. - pozycja testowa o dodatniej mocy różnicującej jest częściej rozwiązywana przez badanych o wysokich wynikach testowania, a więc różnicuje badanych w zgodzie z innymi pozycjami testu i zwiększa wariancję wyników testowania. - pozycja testowa o ujemnej mocy różnicującej jest częściej rozwiązywana przez badanych o niskich wynikach testowania, a więc różnicuje badanych przeciwnie niż inne pozycje testu i zmniejsza wariancję wyników testowania. Związek między wynikiem pozycji testowej a ogólnym wynikiem w teście korelacja dodatnia korelacja ujemna wynik pozycji testowej wynik pozycji testowej 1 1 0 0 X i ogólny wynik w teście X i ogólny wynik w teście odpowiedź diagnostyczna zwiększa ogólny wynik w teście odpowiedź diagnostyczna zmniejsza ogólny wynik w teście Moc dyskryminacyjna współczynniki korelacyjne Współczynnik korelacji dwuseryjnej Założenia: (1) ogólny wynik w teście jest zmienną ciągłą, posiadającą rozkład normalny (2) wynik i-tej pozycji testowej jest zmienną ciągłą r bi X = X p S y p x 9
Oznaczenia X p średni wynik ogólny w teście, w grupie osób, które odpowiedziały diagnostycznie na daną pozycję testową X średni wynik ogólny w teście dla całej badanej grupy p proporcja odpowiedzi diagnostycznych dla danej pozycji testowej y rzędna rozkładu normalnego w punkcie przecięcia między proporcjami p i q S x odchylenie standardowe ogólnych wyników w teście Moc dyskryminacyjna współczynniki korelacyjne Współczynnik korelacji punktowo-dwuseryjnej Założenia: (1) ogólny wynik w teście jest zmienną ciągłą, posiadającą rozkład normalny (2) wynik i-tej pozycji testowej jest zmienną dyskretną (dychotomiczną) r pbi X p X p = S q x Oznaczenia X p średni wynik ogólny w teście, w grupie osób, które odpowiedziały diagnostycznie na daną pozycję testową X średni wynik ogólny w teście dla całej badanej grupy p proporcja odpowiedzi diagnostycznych dla danej pozycji testowej q proporcja odpowiedzi niediagnostycznych dla danej pozycji testowej S x odchylenie standardowe ogólnych wyników w teście 10
Moc dyskryminacyjna współczynniki korelacyjne Współczynnik korelacji punktowo-czteropolowej brak założeń co do kształtu rozkładu zmiennych φ = p 2 u p pq l Oznaczenia p u proporcja odpowiedzi diagnostycznych dla danej pozycji testowej w górnej grupie osób badanych p l proporcja odpowiedzi diagnostycznych dla danej pozycji testowej w dolnej grupie osób badanych p proporcja odpowiedzi diagnostycznych dla danej pozycji testowej w całej grupie osób badanych q proporcja odpowiedzi niediagnostycznych dla danej pozycji testowej w całej grupie osób badanych Zagadnienia specjalne wynik danej pozycji jest elementem ogólnego wyniku w teście wynik danej pozycji nie jest elementem ogólnego wyniku w teście 1 1 2 r it r it 1 2 3 3 t = 1+ 2 + 3 t = 2 + 3 11
Zagadnienia specjalne Jeżeli korelujemy wynik ogólny z wynikiem pozycji, będącym częścią tego wyniku ogólnego to wielkość r it wykazuje tendencję do wzrastania. Im krótszy test, tym większy będzie wzrost wartości r it. Jest to problem tzw. pokrywania się zakresów. Zagadnienia specjalne Gdyby hipotetycznie przyjąć, że rzeczywista korelacja wszystkich pozycji z ogólnym wynikiem w teście wynosi zero i zero wynoszą wariancje wszystkich pozycji, to współczynnik korelacji pomiędzy ogólnym wynikiem (z którego nie wyłączono wyniku danej pozycji) a tą pozycją wynosiłby 1/ n, gdzie n oznacza liczbę pozycji. I tak, gdyby test składał się z 25 pozycji, to korelacja ta wynosiłaby 0.20 dla wszystkich pozycji. Wartość ta jest istotna na poziomie równym nawet 0.01, o ile tylko badana grupa jest wystarczająco liczna. Można by ją zatem traktować jako istotną statystycznie, gdyby nie świadomość, iż jest ona fałszywa. Zagadnienia specjalne Biorąc powyższe wyjaśnienie pod uwagę zaleca się - przy obliczaniu korelacyjnego współczynnika mocy dyskryminacyjnej - wyłączanie wyniku danej pozycji z ogólnego wyniku w teście. 12
Zagadnienia specjalne Jeżeli pod uwagę bierzemy jedynie dane z analizy pozycji, to dobór pozycji ze względu na najwyższą wartość współczynnika korelacji wyniku danej pozycji z ogólnym wynikiem w teście prowadzi bezpośrednio do zwiększenia rzetelności testu (powstaje bowiem metoda homogeniczna), zmniejsza się natomiast trafność testu. Test jest tym bardziej trafny im jest bardziej heterogeniczny (ma wysokie korelacje z zewnętrznym kryterium). Zalecanym rozwiązaniem jest konstruowanie testów homogenicznych (wysoka rzetelność) i łączenie ich w heterogeniczne baterie testów (wysoka trafność). Analiza różnic pomiędzy skrajnymi grupami Dolna grupa Górna grupa Niski wynik w całym teście istotna różnica między grupami Wysoki wynik w całym teście Analiza różnic pomiędzy skrajnymi grupami t = X u X ( Xu Xu) + ( Xl Xl) l 2 2 ( 1) n n 13
Wskaźnik dyskryminacji D = p p u gdzie: p u = proporcja odpowiedzi zgodnych z kluczem w górnej grupie badanych p l = proporcja odpowiedzi zgodnych z kluczem w dolnej grupie badanych l Wskaźnik dyskryminacji Analiza przykładowego wzorca odpowiedzi Badany 1+ 2+ 3-4+ 5 6 7 8-9 10- Poz.1 0 1 1 1 0 1 1 0 1 0 Poz.2 1 1 1 1 0 0 0 1 0 1 Poz.3 1 0 1 1 0 1 1 1 1 1................................. Ogółem w 30 poz. 25 27 15 24 20 18 16 14 22 10 D = 0.67-0.33 = 0.34 D = 1.00-1.00 = 0.00 D = 0.67-1.00 = -0.33 Kryteria selekcji pozycji testowych ze względu na wartość D 1. Jeżeli D>= 0.40 pozycję testową można włączyć do testu 2. Jeżeli 0.30<= D <=0.39 pozycja testowa wymaga niewielkich zmian 3. Jeżeli 0.20<= D <=0.29 pozycja testowa ma znaczenie marginesowe i wymaga poważnych zmian 4. Jeżeli D <= 0.19 pozycja testowa powinna zostać wyeliminowana z testu lub całkowicie zmieniona 14
Rzetelność pozycji Wskaźnik rzetelności pozycji rs s n = = rs t i 1 it i Wyrażenie jest wskaźnikiem rzetelności pozycji i it i jest miarą wkładu pozycji do do wariancji całkowitej, a przez to miarą wkładu do rzetelności testu Trafność pozycji Wskaźnik trafności pozycji n rs i= 1 gi i rtg = n rs i = 1 ti i rs Wyrażenie gi i jest wskaźnikiem trafności pozycji. Wielkość tego wskaźnika zależy od wielkości korelacji między wynikami pozycji i wynikami kryterium oraz od wielkości odchylenia standardowego tej pozycji. Analiza zadań - procedura postępowania Kolejny etap Etap 1 Etap 2 Opis zadania Zdefiniowanie mierzonej właściwości (teoria) Określenie formatu bodźca i formatu odpowiedzi Etap 3 Sformułowanie "puli matki" - około 100% pozycji więcej niż będzie ich liczyć ostateczna wersja testu 15
Analiza zadań - procedura postępowania Etap 4 Etap 5 Etap 6 Analiza logiczno-językowa pozycji (sędziowie kompetentni); ewentualnie test językowy na małej próbie Ustalenie klucza oceny odpowiedzi Badania standaryzacyjne Analiza zadań - procedura postępowania Etap 7 Etap 8 Etap 9 Obliczenie wybranych wskaźników statystycznych dla wszystkich pozycji testu Podjęcie decyzji, które pozycje testowe wejdą do ostatecznej wersji testu Powrót do etapu 3, jeżeli zbyt mało pozycji testowych zakwalifikowało się do ostatecznej wersji testu 16