Rzetelność ma dwa aspekty: konsystencja (precyzja pomiaru) stabilność pomiaru (powtarzalność wyników)

Transkrypt

1 6. RZETELNOŚĆ TESTU Metody szacowania rzetelności Rodzaje testu a wybór metody szacowania rzetelności Czynniki wpływające na rzetelność pomiaru Kryteria akceptacji rzetelności pomiaru Praktyczne wykorzystanie standardowych błędów pomiaru.

2 Rzetelność ma dwa aspekty: konsystencja (precyzja pomiaru) stabilność pomiaru (powtarzalność wyników) Ocena w oparciu w współczynniki korelacji Założenie -równość średnich

3 Definiowanie operacyjne - powtarzalność wyników współczynnik wiarygodności (dwukrotne badanie bez przerwy czasowej) współczynnik stabilności bezwzględnej (test-retest w odstępie czasu) Zastosowanie wersji równoległych współczynnik równowar wnoważności testowej (dwukrotne badanie bez przerwy czasowej) współczynnik stabilności względnej (dwukrotne badanie w odstępie czasu).

4 Metoda testów równoległych Metoda testów równoległych wymaga dwóch odrębnych testów -jest metodą uogólnioną, łączącą zgodność wewnętrzną oraz test-retest. Do obliczeń wykorzystujemy współczynnik korelacji Pearsona -rzetelność pomiaru jest równa współczynnikowi korelacji obu testów równoległych (wielkości kowariancji obu testów).

5 Stabilność czasowa u Stabilność bezwzględna (powtórny pomiar tym samym testem) u Stabilność względna (powtórny pomiar wersją równoległą testu) u Forma oboczna - test-retest (pomiar tym samym testem raz po razie).

6 Metoda połówkowa u Metoda zgodności wewnętrznej przy podziale testu na wiele częś ęści (założenie równolegr wnoległości wszystkich częś ęści testu) u Metoda zgodności wewnętrznej wykorzystująca analizę wariancji u Test składaj adający się z N pozycji można podzielić na N częś ęści - wzory Kudera i Richardsona ). (odpowiedzi dwukategorialne).

7 KR 20 Zgodność wewnętrzna Metoda zgodności wielu częś ęści testu - wzór Kudera-Richardsona R tt = N (S 2 t - S 2 i ) N - 1 S t 2 gdzie: N - liczba częś ęści testu S t2 - to wariancja wyników w całego testu S i2 to suma wariancji częś ęści testu.

8 Czynniki wpływające na rzetelność pomiaru vzakres (zmienność) wyników w badanej próbie współczynniki są niższe w przypadku, gdy zmienność w próbie jest mniejsza (lub osoby badane mają zbliżone nasilenie cechy). Należy pamiętać, że współczynnik rzetelności oznacza rzetelność różnic interindywidualnychlub rzetelność zróżnicowania osób badanych.

9 vcharakterystyka testu współczynniki są wyższe gdy test zawiera dużo pozycji (z uwagi na dużą liczbę kowariancji) oraz gdy korelacje między pozycjami są wysokie (z uwagi na to, że duża proporcja wariancji całkowitej wynika z kowariancji) vmetoda oszacowania rzetelności pomiaru współczynniki zgodności wewnętrznej dają wyższe oszacowanie rzetelności niż współczynniki stabilności (z uwagi na większą liczbęźródeł błędu). Należy pamiętać, że testy o wyższej zgodności wewnętrznej zwykle wykazują też wyższą stabilność czasową (poza testami badającymi stany psychologiczne).

10 Podstawowe źródła błędu w różnych metodach szacowania rzetelności

11 Kryteria akceptacji rzetelności pomiaru testem Zgodność wewnętrzna: qtesty przeznaczone do diagnozy indywidualnej - wartość minimalna 0,80 wartość optymalna ponad 0,90 qtesty przeznaczone do badań naukowych -wartość minimalna 0,70 wartość optymalna ponad 0,80 qabsolutna wartość minimalna współczynnika rzetelności wynosi 0,50 (połowa wariancji wynika z błędu).

12 Stabilność czasowa: qwartość minimalna = 0,50 (tylko połowa zmienności wynika ze zgodności wyników obu pomiarów) Testy równoległe: qwartość minimalna = 0,50 (tylko połowa zmienności wynika ze zgodności wyników obu testów).

13 Zastosowanie standardowych błędów pomiaru vwyznaczanie przedziału ufności W celu wyznaczenia przedziału ufności należy wyznaczyć półprzedział, tzn. S bp (standardowy błąd pomiaru) przemnożyć przez określoną wartość "z" rozkładu normalnego, tj.: wartość: 2,58 (dla 99% pewności, tj. 1% błędu oszacowania) 1,96 (dla 95% pewności),tj. 5% błęduoszacowania oraz dodać i odjąć od wyniku otrzymanego.

14 Zastosowanie standardowych błędów pomiaru vporównania wyniku danej osoby z normą (średnią w grupie) czy inną wartością (np. wynikiem progowym) vporównania wyników dwóch osób (różnice interindywidualne) badanych tym samym testem (czy różnica jest realna wynika z cechy czy z błędu) vporównania wyników danej osoby (różnice intraindywidualne) badanej dwoma testami (czy różnica jest realna wynika z cechy czy z błędu).

15 Zagadnienia 1. Metody szacowania rzetelności 2. Współczynniki wiarygodności, stałości i równoważności testów 3. Co oznacza stabilność czasowa i zgodność wewnętrzna 4. Pojęcia alfa Cronbacha 5. Zgodność oceny sędziów 6. Rodzaje testu a wybór metody szacowania rzetelności 7. Czynniki wpływające na rzetelność testu 8. Źródła błędu w szacowaniu rzetelności 9. Kryteria akceptacji wskaźników rzetelności 10. Zastosowanie standardowego błędu pomiaru.