10. Podstawowe wskaźniki psychometryczne

Transkrypt

1 10. Podstawowe wskaźniki psychometryczne q analiza własności pozycji testowych q metody szacowania mocy dyskryminacyjnej q stronniczość pozycji testowych q własności pozycji testowych a kształt rozkładu

2 Analiza własności pozycji testowych vpozwala lepiej zrozumieć własności testów psychologicznych Zbadanie charakterystyk pozycji testu jest kluczowe dla zrozumienia, dlaczego charakteryzuje go określony poziom rzetelności i trafności pomiaru. vwspółczynnik rzetelności informuje o wpływie błędów pomiaru na wyniki w teście; vwspółczynniki trafności pomiaru dają informację o dokładności przewidywań budowanych na podstawie wyników testu.

3 Trudność pozycji testowych stosunek liczby osób, które udzieliły na te pozycje prawidłowej (zgodnej z kluczem, diagnostycznej) odpowiedzi, do ogółem przebadanej liczby osób, czyli jest to proporcja odpowiedzi poprawnych (0-1); Pozycje testowe należy dobrać tak, aby trudność całego testu oscylowała wokół 50%.

4 Współczynniki mocy dyskryminacyjnej wskaźniki dobroci pozycji testowych Stopień, w jakim dana pozycja testowa różnicuje badaną populację w zakresie zachowania, które dany test ma mierzyć. Interpretacja współczynnika mocy dyskryminacyjnej: a) pozycja testowa o dodatniej mocy d. jest częściej rozwiązywana przez osoby badane o wysokich ogólnych wynikach w teście; b) pozycja testowa o ujemnej mocy d. jest częściej rozwiązywana przez osoby badane o niskich ogólnych wynikach w teście.

5 Do ostatecznej wersji testu wchodzą pozycje o dodatniej, wysokiej mocy dyskryminacyjnej. Metody szacowania: 1. proste wskaźniki dyskryminacyjne (0-1; 27%) 2. współczynniki korelacji pozycji z ogólnym wynikiem (współczynniki korelacji dwuseryjnej, punktowo-dwuseryjnej, punktowo-czteropolowej) 3. współczynniki oparte na różnicach między skrajnymi grupami (2 skrajne grupy, test t dla średnich).

6 Podstawowe parametry statystyczne charakteryzujące pozycje testowe: 1. wskaźnik trudności 2. współczynnik mocy dyskryminacyjnej, w tym: wskaźnik dyskryminacji, współczynniki korelacyjne, współczynniki oparte na różnicy między grupami skrajnymi.

7 Stronniczość pozycji testowych Założenie: 1. Zróżnicowanie zachowania testowego w danej pozycji wynika z wielu źródeł wariancji 2. Źródła wariancji błędu różnią się w sposób systematyczny dla dających się wyodrębnić grup osób badanych.

8 Stronniczość testu oznacza błąd systematyczny popełniany przy prognozowaniu wartości zmiennej kryterialnej dla osób z różnych grup, będący rezultatem: 1) oparcia diagnozy lub prognozy na wspólnej linii regresji, wyznaczonej dla wszystkich osób bez względu na ich populacyjną przynależność lub też 2) oparcia diagnozy lub prognozy wyników osób należących do jednej grupy na równaniu regresji wyznaczonej dla innej grupy.

9 Stronniczość pozycji testowej oznacza stały błąd pomiaru. W sensie psychometrycznym stronniczość polega na tym, że poszczególne pozycje testowe są mniej lub bardziej trudne dla osób należących do różnych podgrup, wyodrębnianych z tej samej populacji. Techniki szacowania stronniczości pozycji testowych: oparte na sędziowaniu, na analizie wariancji, analizie wsp. trudności pozycji testowych, teście chi kw.

10 Własności pozycji testowych a kształt rozkładu wyników testu Kształt rozkładu wyników testu, podobnie jak wszystkie inne własności testu jako całości, zależy od własności poszczególnych pozycji testowych. "Modelowym" rozkładem w psychometrii jest rozkład normalny. Aby to osiągnąć, test powinien być zbudowany z pozycji o przeciętnych trudnościach i przeciętnie dodatnio ze sobą skorelowanych. Innym wariantem prowadzącym do tego rozwiązania jest zbudowanie testu z pozycji o bardzo różnym poziomie trudności (zarówno "łatwych", "trudnych", jak i "przeciętnie trudnych"), które jednocześnie są ze sobą przeciętnie, dodatnio skorelowane.

11 Przyjmuje się, że wartości kurtozy mieszczące się w przedziale od -1 do + 1 oraz wartości skośności rozkładu mieszczące się także w przedziale od -1 do + 1 są charakterystyczne dla rozkładów nie odbiegających w sposób znaczny od rozkładu normalnego. Gdy korelacje między poszczególnymi pozycjami są zbyt silne, rozkład wyników ulega nadmiernemu spłaszczeniu (staje się platokurtyczny).

12 Własności pozycji doskonałego testu Test doskonały powinien zawierać pozycje oidentycznych własnościach statystycznych (średnich, wariancjach oraz korelacjach z innymi pozycjami). W takim przypadku wszystkie pozycje byłyby diagnostycznie równoważne, a rozkład wyników testu byłby normalny (skala pomiarowa: ciągła i prostoliniowa).

13 Jak uzyskać rozkład normalny? Zbudować zestaw pozycji o przeciętnej trudności i przeciętnych dodatnich interkorelacjach albo o zróżnicowanej trudności (równomiernie wg kontinuum trudności) i przeciętnychinterkorelacjach Inne rozkłady uzyskujemy dobierając pozycje pod względem jednego z w/w/ parametrów.

14 Wskaźnik trudności pozycji qdychotomiczna punktacja (0 1 punkt): Trudność = M i = p q Skala Likerta (od zera to kilku puntów): Trudność = M i / max. możliwy wynik w danej skali Wcelu obliczenia wskaźnika trudności pozycji (czy nawet testu) niezbędne jest zakotwiczenie wyniku minimalnego w wartości zerowej.

15 Relacje między różnymi wskaźnikami pozycji vrelacja między średnią pozycji (trudnością) a wariancją pozycji jest krzywoliniowa (w formie odwróconego U ) wariancja jest większa w przypadku pozycji o przeciętnej trudności. vrelacja między średnią (trudnością) a korelacją pozycji z innymi pozycjami jest także krzywoliniowa (odwrócone U ) -korelacja jest większa dla pozycji o przeciętnej trudności.

16 Jak uzyskać inne rozkłady wyników testu? Założenie -manipulowanie interkorelacjami albo wskaźnikami trudności: 1. wszystkie pozycje o identycznej przeciętnej trudności oraz manipulowanie interkorelacjami (stały wzrost oraz początkowo obniżenie do zerowych, później ujemne); 2. wszystkie pozycje o identycznych stałych interkorelacjachoraz manipulowanie wskaźnikami trudności.

17 Kurtoza (zagęszczenie wyników wokół średniej) zależy zarówno od interkorelacji, jak i trudności pozycji, zaś skośność głównie od trudności pozycji. Niewłaściwa kombinacja pozycji powoduje zatem uzyskanie rozkładu o własnościach odbiegających od charakterystyki rozkładu normalnego.

18 ZAGADNIENIA 1. Analiza własności i ustalanie trudności pozycji testowych 2. Moc dyskryminacyjna i metody jej szacowania 3. Podstawowe parametry statystyczne pozycji testowych 4. Stronniczość testu i techniki jej szacowania 5. Własności pozycji testowych a kształt rozkładu 6. Co wyznacza kurtozę, a co skośność rozkładu 7. Rozkład normalny, rozkład plato i leptokurtyczny 8. Własności pozycji doskonałego testu 9. Jak uzyskać rozkład normalny