Klasyczny model rzetelności H. Gulliksen (1950) gdzie: X = wynik obserwowany T = wynik prawdziwy E = błąd pomiaru X = T +E Założenia: (1) M E = 0 (założenie o nieobciążoności narzędzia pomiarowego) () r ET = 0 (założenie o niezależności) (3) r E1E = 0
Wskaźnikiem rzetelności testu jest wielkość współczynnika korelacji pomiędzy wynikiem obserwowanym a wynikiem prawdziwym (ρ XT )
Korzystając z klasycznego modelu wyniku testowego można udowodnić, że r XT XX '
Wyprowadzenie Ponieważ wskaźnikiem rzetelności testu jest wielkość korelacji pomiędzy wynikiem obserwowanym a wynikiem prawdziwym, czyli D XT, to można wskaźnik rzetelności wyrazić w postaci współczynnika korelacji Współczynnik korelacji między dwiema zmiennymi jest definiowany jako: r XY CovXY = ( SD )( SD ) X Y czyli: ρ XT σ XT = σ σ X T Przyjmując klasyczny model teorii testów, tj. X = T + E ρ XT σ σ σ σ σ = = = = σ σ σ σ σ σ σ ( T+ E) T T + TE T T X T X T X T X Przekształcając współczynnik korelacji na współczynnik determinacji otrzymamy: ρ XT σ = σ T X
Wyprowadzenie - cd Korzystając następnie z założeń dotyczących równoległości testów, czyli Testy równoległe to testy mierzące tę samą właściwość psychologiczną i spełniające następujące założenia: X A = XB SDA = SD r = r AZ BZ B możemy zapisać: r AB σ σ + + σ + σ + σ + σ = = = σ σ σ σ σ σ XAXB ( T EA)( T EB) T TEA TEB EAEB XA XB XA XB XA XB Ponieważ zgodnie z założeniami klasycznej teorii testów: σ = 0iσ = 0iσ = 0 TEA TEB EAEB a z definicji testów równoległych wynika, że X A = X B, dlatego: σ σ = σ σ = σ XA XB X X X W zawiązku z tym: r AB σ = = ρ σ T X XT Współczynnikiem rzetelności testu jest współczynnik korelacji między wynikami otrzymanymi w dwóch testach równoległych
Metody oparte na porównaniu dwukrotnego badania tym samym testem (metoda testretest) między badaniem pierwszym (test) a badaniem drugim (retest) mija jakiś czas - estymacja stabilności bezwzględnej badanie drugie (retest) następuje zaraz po zakończeniu badania pierwszego (test) - estymacja wiarygodności testu
Metody oparte na porównaniu form alternatywnych (równoległych) testu między badaniem pierwszą wersją testu a badaniem drugą wersją testu mija jakiś czas - estymacja stabilności względnej badanie drugą formą testu następuje zaraz po zakończeniu badania pierwszą formą testu - estymacja równoważności międzytestowej
Testy równoległe to testy mierzące tę samą właściwość psychologiczną i dokładnie w ten sam sposób, tzn: X A = X B SD A = SD B r AZ = r BZ
Metody oparte na porównywaniu połówek tego samego testu (analiza równoważności międzypołówkowej - metoda split-half) szacowanie rzetelności całego testu na podstawie rzetelności połówki wzór Spearmana Browna r tt r = 1 + r pp pp gdzie: r pp to rzetelność połowy testu r tt to rzetelność całego testu
Metody oparte na analizie właściwości statystycznych pozycji testowych (analiza zgodności wewnętrznej) Wzór alpha Cronbacha gdzie: k = liczba pozycji S i S = i k α = 1 i= 1 k 1 = wariancja i-tej pozycji testowej wariancja wyników testowych k S S t i
Metody szacowania rzetelności testu Wymagana liczba badań Jedno Dwa Wymagana liczba wersji testu Jedna Połówkowa (split-half) Kudera Richardsona α Cronbacha Powtarzanie testu (testretest) Dwie Wersje alternatywne (badanie jedno po drugim) Wersje alternatywne (badania w pewnym odstępie czasu) Jedna osoba - wielu oceniających Zgodność ocen sędziów
Źródła wariancji błędu w zależności od metody szacowania współczynnika rzetelności Metoda szacowania współczynnika rzetelności Powtarzanie testu (badania w pewnym odstępie czasu) Powtarzanie testu (badanie jedno po drugim) Wersje alternatywne (badanie jedno po drugim) Wersje alternatywne (badania w pewnym odstępie czasu) Połówkowa Kudera Richardsona i α Cronbacha Zgodność ocen sędziów Wariancja błędu Zmienność w czasie Czynniki losowe Dobór treści Zmienność w czasie i dobór treści Dobór treści Heterogeniczność Różnice między sędziami
Rzetelność Inwentarza osobowości NEO-FFI Costy i McCrae współczynnik alfa Cronbacha Neurotyczność Ekstrawersja Otw. na dośw. Ugodowość Sumienność 15-19 0,80 0,80 0,69 0,66 0,81 0-9 0,8 0,77 0,71 0,61 0,79 30-39 0,84 0,74 0,64 0,7 0,81 40-49 0,76 0,71 0,58 0,60 0,80 50-80 0,73 0,77 0,47 0,60 0,76 Dane te prowadzą do wniosku, że teza o uniwersalności demograficznej Wielkiej Piątki ma pełne uzasadnienie jedynie w przypadku płci, a w odniesieniu do wieku raczej u osób młodych. U osób starszych bowiem homogeniczność zachowań konstytuujących podstawowe cechy osobowości jest znacznie mniejsza.
Rzetelność Inwentarza osobowości NEO-FFI Costy i McCrae współczynnik alfa Cronbacha Otrzymane wyniki ograniczają możliwość stosowania polskiej adaptacji NEO-FFI do indywidualnej diagnozy osobowości raczej osób młodych. W grupach starszych należy się liczyć ze znacznym pogorszeniem rzetelności i związanym z tym bardzo dużym błędem pomiaru