Psychometria PLAN NAJBLIŻSZYCH WYKŁADÓW. Co wyniki testu mówią nam o samym teście? A. Rzetelność pomiaru testem. TEN SLAJD JUŻ ZNAMY

Transkrypt

1 definicja rzetelności błąd pomiaru: systematyczny i losowy Psychometria Co wyniki testu mówią nam o samym teście? A. Rzetelność pomiaru testem. rozkład X + błąd losowy rozkład X rozkład X + błąd systematyczny rozkład X W 5 dr Łukasz Michalczyk 1 Błąd losowy nie wpływa na średnią grupową a na wariancję (zróżnicowanie) wyników. Błąd systematyczny nie wpływa na wariancję (zróżnicowanie) wyników, ale na średnią grupową. 3 PLAN NAJBLIŻSZYCH WYKŁADÓW TEORIA: Definicja rzetelności: ogólna i matematyczna (wykład 4) PRAKTYKA: Metody określania rzetelności testów psychologicznych (wykład 5) definicja rzetelności błąd pomiaru: systematyczny i losowy klasyczna teoria rzetelności testu pojęcia: wariancja, kowariancja, odchylenie standardowe, standardowy błąd pomiaru wskaźnik rzetelności, 2 4

2 Jak wielki jest związek pomiędzy wynikiem wskaźnik rzetelności (ang. reliability index) współczynnik korealcji X = T + E kowariancja odchylenia standardowe Jak wielki jest związek pomiędzy wynikiem wskaźnik współczynnik rzetelności determinacji (ang. reliability index) miarą siły związku między dwiema zmiennymi jest współczynnik determinacji (Ferguson, Takayama, 1997) współczynnik korelacji = wskaźnik rzteleności 5 X = T + E 7 Jak wielki jest związek pomiędzy wynikiem Definicja: wskaźnik rzetelności (ang. reliability index) Klasyczna teoria rzetelności testu: Aksjomat 2: Rzetelność pomiaru testem to kwadrat proporcja korelacji wariancji między wyników wynikami prawdziwych prawdziwymi do a wariancji otrzymanymi. wyników otrzymanych. X = T + E Nie ma związku pomiędzy błędami pomiaru a wynikami prawdziwymi 6 8

3 Jak wielki jest związek pomiędzy wynikiem Jak wielki jest związek pomiędzy wynikiem rtt= rtt= 1 rtt <0,1> Informuje jaką część wariancji wyników prawdziwych stanowi wariancja wyników otrzymanych. Wskazuje na zakres w jakim różnice indywidualne w wynikach testowych można przypisać prawdziwym różnicom w zakresie badanej cechy, a w jakim błędom losowym. 9 X=T dla wszystkich badanych E=0 ρ TX =1 σ T2 = σ X 2 11 Jak wielki jest związek pomiędzy wynikiem Jak wielki jest związek pomiędzy wynikiem X = T + E rtt= 0 Błąd wyniku prawdziwego Błąd wyniku prawdziwego X=E dla wszystkich badanych ρ XE =1 σ 2 = σ 2 rzetelny test mało rzetelny test 10 12

4 Jak wielki jest związek pomiędzy wynikiem rtt= rtt <0,1> wyniku prawdziwego błędu wskaźnik rzetelności test 1 test / (40+20) = 0,67 Informuje jaką część wariancji wyników prawdziwych stanowi wariancja wyników otrzymanych. 40 / (40+10) = 0,80 definicja rzetelności bład pomiaru: systematyczny i losowy klasyczna teoria rzetelności testu pojęcia: wariancji, odchylenia standardowego, standardowego błędu pomiaru wskaźnik rzetelności, właściwości rozkładu wyników u pojedynczej osoby właściwości rozkładu wyników w populacji Wskazuje na zakres w jakim różnice indywidualne w wynikach testowych można przypisać prawdziwym różnicom w zakresie badanej cechy, a w jakim błędom losowym Jak wielki jest związek pomiędzy wynikiem rtt= rtt <0,1> wyniku prawdziwego błędu wskaźnik rzetelności test 1 test / (20+10) = 0,67 60 / (60+10) = 0,86 Andrzej 140 Wniosek: Im bardziej heterogeniczna jest badana cecha (większa zmienność) tym łatwiej uzyskać rzetelny test Andrzej

5 Andrzej ? pojedyncza osoba 0,1% 2,1% 2,1% 0,1% T ponad 60% populacji populacja 0,1% 2,1% 2,1% 0,1% M 19 X = T + E X = E Andrzej ,5 pojedyncza osoba 0,1% 2,1% 2,1% 0,1% T ponad 60% populacji

6 populacja a osoba pojedyczna pojedyncza osoba 0,1% 2,1% 2,1% 0,1% rozkład wyników prawdziwych rozkład błędów pomiaru I założenie teorii Średnia arytmetyczna w rozkładzie wszystkich wyników otrzymanych będzie równa średniej wyników prawdziwych. II założenie teorii w rozkładzie wszystkich wyników otrzymanych będzie większa od wariancji wyników prawdziwych. III założenie teorii Rozkład błędów w rozkładzie populacji będzie taki sam jak rozkład błędów pojedynczej osoby. rozkład wyników otrzymanych PLAN NAJBLIŻSZYCH WYKŁADÓW TEORIA: Definicja rzetelności: ogólna i matematyczna (wykład 4) PRAKTYKA: Metody określania rzetelności testów psychologicznych (wykład 5) 0 0,1% 2,1% 2,1% 0,1% T T M T T definicja rzetelności bład pomiaru: systematyczny i losowy klasyczna teoria rzetelności testu pojęcia: wariancji, odchylenia standardowego, standardowego błędu pomiaru wskaźnik rzetelności, właściwości rozkładu wyników u pojedynczej osoby właściwości rozkładu wyników w populacji Psychometria Co wyniki testu mówią nam o samym teście? A. Metody określania rzetelności testów psychologicznych W 5 dr Łukasz Michalczyk 22 24

7 Wynik prawdziwy jest nieobserwowalny test - retest ( stabilność bezwzględna ) dwukrotne badanie tej samej grupy tym samym testem nie możemy więc obliczyć rzetelności; odstęp czasowy: kilka tygodni - kilka miesięcy możemy za to oszacować jej wielkość; za każdym razem oszacowanie to próba oceny udziału wariancji wyniku prawdziwego w wariancji wyniku otrzymanego. miara rzetelności: współczynnik korelacji między dwoma pomiarami (r-pearsona) Musi być spełnione założenie równoległości pomiaru tzn. M1 = M Rodzaje oszacowań Wynik prawdziwy test - retest Wynik otrzymany testy równoległe jednokrotne badanie danym testem test o większej rzetelności Błąd pomiaru test o mniejszej rzetelności metoda połówkowa zgodność wewnętrzną zgodność sędziów kompetentnych 26 Pomiar 1 Pomiar 2 Pomiar 1 Pomiar 2 Im większy błąd losowy tym mniejsza korelacja między oboma pomiarami. 28

8 testy równoległe (wersje alternatywne) testy równoległe (wersje alternatywne) Średnia wyników otrzymanych w teście A równa się średniej wyników otrzymanych w teście B. ZALETY WADY Odchylenie standardowe wyników otrzymanych w teście A równa się odchyleniu standardowemu wyników otrzymanych w teście B. Interkorelacje w teście A są takie same jak& interkorelacje w teście B. Test A (wyniki otrzymane) koreluje z zewnętrznym kryterium tak samo jak test B. 1. minimalizacja efektu zapamiętywania 2. istnienie dwóch wersji testu - użyteczne nie tylko jako miara rzetelności, ale także porównanie wyników osiągnięć. 1. nie można wykluczyć, że nadal występuje efekt uczenia się i wprawy 2. tworzenie dwóch wersji jest mało ekonomiczne rzetelność = współczynnik równoważność międzytestowej (r=pearsona) testy równoległe czas! Metoda połówkowa rzetelność = korelacja między parami wyników równoważnych połówek testu rzetelność = współczynnik stabilności względnej (r=pearsona) 30 32

9 Metoda połówkowa Metoda połówkowa parzyste - nieparzyste inne to: 1. dobór losowy 2. podział dosłownie na pół 3. wg kryterium podobieństwa wzór Spearmana - Browna część A część B 33 k stosunek liczby pozycji testowych dłuższego testu do liczby pozycji testowych krótszego testu 35 Metoda połówkowa Metoda połówkowa wzór Spearmana - Browna = poprawka na zredukowaną długość testu szacowanie rzetelności całego testu na podstawie rzetelności jego połowy - rzetelność (współczynnik korelacji) całego testu - współczynnik korelacji pomiędzy połówkami testu np. mamy test o rzetelności rtt=0,60 Długość testu k Przewidywana rzetelność 40 itemów 2 0,75 60 itemów 3 0,81 80 itemów 4 0, itemów 5 0, itemów 6 0,90 k stosunek liczby pozycji testowych dłuższego testu do liczby pozycji testowych krótszego testu 34 36

10 Metoda połówkowa Zgodność wewnętrzna Współczynnik alfa Cronbacha (2005) np. mamy test o rzetelności rtt=0,60 K= liczba itemów w teście Si 2 =wariancja odpowiedzi i-tego itemu SX 2 = wariancja wyników testu Długość testu k Przewidywana rzetelność 40 itemów 2 0,75 60 itemów 3 0,81 80 itemów 4 0, itemów 5 0, itemów 6 0,90 k stosunek liczby pozycji testowych dłuższego testu do liczby pozycji testowych krótszego testu używany w przypadku różnych formatów odpowiedzi Kuder, Richardson (2005) Zgodność wewnętrzna Zgodność oceny sędziów kompetentnych K= liczba itemów w teście p= procent poprawnych odpowiedzi q= 1-p (procent błędnych odpowiedzi) Sx 2 = wariancja wyników testu bardziej rzetelny mniej rzetelny stosowany gdy odpowiedzi osoby badanej podlegają swobodnej ocenie diagnosty pytanie 1 pytanie używany w przypadku dwukategorialnych formatów odpowiedzi (tak/nie) źródłem błedu (E) - subiektywność oceny sędziów, czyli rozbieżność pomiędzy nimi w ocenie odpowiedzi WSPÓŁCZYNNIKI KORELACJI: r - Pearsona => gdy dwóch sędziów W - Kendalla => gdy więcej sędziów 38 40

11 Jakie czynniki wpływają na rzetelność testu? 1.poziom trudności pozycji testowych 2.długość narzędzia (liczba pozycji testowych) 3.metoda oceny rzetelności 4.format odpowiedzi 5.wariancja badanej zmiennej w próbie 6.procedura: sposób podania testu, jasna instrukcja 7.osoba testująca 8.podobieństwo pozycji testowych 9.warunki fizyczne sytuacji w jakiej test był wypełniany oraz stan badanego 10.jakość pozycji testowych Interpretacja wartości współczynnika rzetelności rtt > 0,90 bardzo rzetelny pomiar, test może być stosowany zarówno w badaniach naukowych, jak i do formułowania diagnoz indywidualnych 0,90 > rtt > 0,80 rzetelny pomiar, test może być stosowany w badaniach naukowych, jak i d diagnoz indywidualnych, które będą mniej precyzyjne 0,80 > rtt > 0,70 przeciętna rzetelność, test powinien być stosowany jedynie w badaniach naukowych 0,70 > rtt > 0,60 niska rzetelność, test może być stosowany warunkowo w badaniach naukowych 0,60 > rtt > 0,50 wątpliwa rzetelność pomiaru, test bezużyteczny KR tzn. Kudera - Richardsona Metoda pomiar wykonany jeden po drugim: test - retest pomiar z przerwą czasową: test - retest pomiar wykonany jeden po drugim: wspólczynnik równoważności międzytestowej: pomiar z przerwą czasową: wspólczynnik stabilności względnej metoda połówkowa Źródło błędów czynniki losowe związane z osobą badań, ujawniające się w krótkim czasie Zmienność w czasie warunków badania i stanu badanych dobór treści dobór treści z zmienność w czasie dobór treści Plan wykładów Co wyniki testu mówią nam o samym teście? A. Rzetelność pomiaru testem. B. Trafność pomiaru testem. C. Właściwości psychometryczne pozycji testowych. współczynnik KR lub alfa Cronbacha dobór treści zgodność sędziów kompetentnych różnice między sędziami 42 44