Psychometria. Psychometria. Co wyniki testu mówią nam o samym teście? Co wyniki testu mówią nam o samym teście?

Transkrypt

1 Psychometria Co wyniki mówią nam o samym teście? C. Właściwości sychometryczne ozycji testowych. W7 dr Łukasz Michalczyk związkie ozycji testowych z testem ojmowanym jako całość Test jako narzędzie obejmuje szereg ozycji testowych (lub zadań) omiar ilościowy diagnoza to efekt koicydencji zachowań minimalizacja błędu (losowego) rozkład wyników z jedną ozycją testową Psychometria Co wyniki mówią nam o samym teście? C. Właściwości sychometryczne ozycji testowych. 1 0,75 0,5 0,25 W7 dr Łukasz Michalczyk 0 0 1

2 rozkład wyników z dwoma ozycjami testowymi rozkład normalmy wyników z wielu ozycji testowych 1 0,75 0,5 0, rozkład wyników z 10 ozycjami testowymi związkie ozycji testowych z testem ojmowanym jako całość Test jako narzędzie obejmuje szereg ozycji testowych (lub zadań) omiar ilościowy diagnoza to efekt koicydencji zachowań minimalizacja błędu (losowego)

3 związkie ozycji testowych z testem ojmowanym jako całość średnia wyników ozycji jest równa średniej ozycji. związkie ozycji testowych z testem ojmowanym jako całość wariancja jest sumą wariancji ozycji testowych oraz ich odwojonych kowariancji wsółwystęowanie zachowań jako wskaźnik cechy związkie ozycji testowych z testem ojmowanym jako całość Jak wielki jest związek omiędzy wynikiem otrzymanym (X) a wynikiem rawdziwym (T)? TEN SLAJD JUŻ wsółczynnik ZNAMY determinacji Tabela 1. Test z losowymi odowiedziami (6 ozycji, 14 ob.). Tabela 2. Dane z badania skalą E z EPQ-R(24) (6 ozycji, 14 o.b.). rtt= rtt <0,1> Wariancja wyniku rawdziwego Wariancja błędu wskaźnik rzetelności test 1 test / (20+10) = 0,67 60 / (60+10) = 0,86 Wniosek: Im bardziej heterogeniczna jest badana cecha (większa zmienność) tym łatwiej uzyskać rzetelny test

4 związkie ozycji testowych z testem ojmowanym jako całość średnia wyników ozycji jest równa średniej ozycji. wariancja jest sumą wariancji ozycji testowych oraz ich odwojonych kowariancji a) nie ma sensu dodawać ozycji testowej o zerowej wariancji bo wydłuża test a różnice omiędzy wynikami testowymi ozostają takie same b) warto dodawać ozycje testowe o niezerowej wariancji bo zwiększają znacząco wariancję całkowitą. Ale tylko wtedy gdy interkorelacje z innymi ozycjami są dodatnie. Własności ozycji testowych decydują o rzetelności i trafności całego brak recyzji lub skomlikowana forma językowa dobra, ale mierzy coś soza zakresu założeń konstruktu Właności ozycji testowych decydują o rzetelności i trafności całego Definicja: ozycja testowa to sformalizowany składnik danej cechy sychicznej.

5 Definicja: ozycja testowa to zdanie oisujące (lub wyzwalające) określone zachowanie oraz skala rejestrująca to zachowanie. Własności ozycji testowych decydują o rzetelności i trafności całego 1. rozkład wyników ozycji testowej ( modelowy to rozkład normalny) korelacja omiędzy ozycjami - decyduje o kurtozie rozkładu średnie ozycje - decydują o jego skośności 2. trudność ozycji testowej 3.moc dyskryminacyjna (różnicująca osoby) ozycji testowej Własności ozycji testowych decydują o rzetelności i trafności całego rozkład wyników 1. rozkład wyników ozycji testowej ( modelowy to rozkład normalny) korelacja omiędzy ozycjami - decyduje o kurtozie rozkładu średnie ozycje - decydują o jego skośności 2. trudność ozycji testowej 3.moc dyskryminacyjna (różnicująca osoby) ozycji testowej

6 rozkład wyników rozkład wyników letokurtyczny lewoskośny rozkład wyników rozkład wyników latokurtyczny rawoskośny

7 rozkład wyników rozkład normalny ozycji testowych jak go uzyskać? ozycje o zróżnicowanej trudności (ale równomiernej na kontinuum trudności) Item 1 Item 2 Item 3 Item 4 Item 5 osoba osoba osoba osoba osoba suma odowiedzi orawnych Trudność () 1 0,8 0,6 0,4 0,2 Wzór odowiedzi ZGODNY z modelem Guttmana rozkład normalny ozycji testowych jak go uzyskać? ozycje o zróżnicowanej trudności (ale równomiernej na kontinuum trudności) rozkład normalny ozycji testowych jak go uzyskać? Item 1 Item 2 Item 3 Item 4 Item 5 osoba osoba osoba osoba osoba suma odowiedzi orawnych Trudność () 1 0,8 0,6 0,4 0,4 Wzór odowiedzi NIEZGODNY z modelem Guttmana

8 rozkład normalny ozycji testowych jak go uzyskać? ozycje o zróżnicowanej trudności (ale równomiernej na kontinuum trudności) Własności ozycji testowych decydują o rzetelności i trafności całego 1. rozkład wyników ozycji testowej ( modelowy to rozkład normalny) korelacja omiędzy ozycjami - decyduje o kurtozie rozkładu średnie ozycje - decydują o jego skośności 2. trudność ozycji testowej 3. moc dyskryminacyjna (różnicująca osoby) ozycji testowej rozkład normalny ozycji testowych jak go uzyskać? ozycje o zróżnicowanej trudności (ale równomiernej na kontinuum trudności) ozycje o rzeciętnych interkorealcjach trudność ozycji testowej

9 PRZYKŁAD srawdzamy trudność ozycji X rzebadano 30 osób (N=30) jeżeli 24 osoby udzieliły rawidłową odowiedź na ozycję testową X to: Definicja: trudność ozycji testowej to stosunek liczby osób, które udzieliły rawidłowej (zgodnej z kluczem i diagnotycznej) odowiedzi na ytanie, do ogólem rzebadanej liczby osób. Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 osoba osoba osoba osoba osoba suma odowiedzi orawnych Trudność () 1 0,8 0,6 0,4 0,2 0 M=0,5 Wzór odowiedzi ZGODNY z modelem Guttmana rozkład wyników rawoskośny Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 osoba osoba osoba osoba osoba suma odowiedzi orawnych Trudność () 1 0,8 0,6 0,4 0,4 0,6 Wzór odowiedzi NIEZGODNY z modelem Guttmana M= 0,63

10 wariancja ozycji testowej trudność ozycji testowej Własności ozycji testowych decydują o rzetelności i trafności całego 1. rozkład wyników ozycji testowej ( modelowy to rozkład normalny) korelacja omiędzy ozycjami - decyduje o kurtozie rozkładu średnie ozycje - decydują o jego skośności 2. trudność ozycji testowej 3. moc dyskryminacyjna (różnicująca osoby) ozycji testowej Problem zgadywania odowiedzi Własności ozycji testowych decydują o rzetelności i trafności całego R liczba rawidłowo rozwiązanych zadań orawiona ze względu na zgadywanie t liczba orawnych odowiedzi F liczba błędnych odowiedzi m liczba możliwych alternatyw odowiedzi 1. rozkład wyników ozycji testowej ( modelowy to rozkład normalny) korelacja omiędzy ozycjami - decyduje o kurtozie rozkładu średnie ozycje - decydują o jego skośności 2. trudność ozycji testowej 3. moc dyskryminacyjna (różnicująca osoby) ozycji testowej

11 moc dyskryminacyjna wskaźnik dyskryminacji dla ozycji dwukategorialnej moc dyskryminacyjna w jakim stoniu ytanie/zadanie różnicuje daną oulację, ze względu na mierzoną cechę U l skorygowany wsółczynnik korelacji ozycja - skala Grua osób o najwyższych Grua osób o najniższych moc dyskryminacyjna wskaźnik dyskryminacji dla ozycji dwukategorialnej moc dyskryminacyjna wskaźnik dyskryminacji dla ozycji dwukategorialnej ozycja X ozycja X U l U l Grua osób o najwyższych Grua osób o najniższych PRZYKŁAD: 5 na 10 osób w każdej gruie odowiedziało rawidłowo, czyli U=0,5 i l=0,5, więc D = 0. Grua osób o najwyższych Grua osób o najniższych

12 moc dyskryminacyjna wskaźnik dyskryminacji dla ozycji dwukategorialnej Kuder, Richardson (2005) Zgodność wewnętrzna TEN SLAJD JUŻ ZNAMY K= liczba itemów w teście = rocent orawnych odowiedzi q= 1- (rocent błędnych odowiedzi) Sx 2 = wariancja wyników U l Grua osób o najwyższych Grua osób o najniższych ytanie 1 ytanie używany w rzyadku dwukategorialnych formatów odowiedzi (tak/nie) moc dyskryminacyjna skorygowany wsółczynnik korelacji ozycja - skala to korelacja omiędzy ozycją a skalą Zgodność wewnętrzna Wsółczynnik alfa Cronbacha (2005) K= liczba itemów w teście Si 2 =wariancja odowiedzi i-tego itemu SX 2 = wariancja wyników ITEM Trudność Wariancja Moc dyskryminacyjna Rzetelność o usunięciu itemu TEN SLAJD JUŻ ZNAMY używany w rzyadku różnych formatów odowiedzi

13 moc dyskryminacyjna w jakim stoniu ytanie/zadanie różnicuje daną oulację, ze względu na mierzoną cechę to korelacja omiędzy ozycją a skalą ITEM Trudność Wariancja Moc dyskryminacyjna Rzetelność o usunięciu itemu