Zajęcia 1. Rzetelność

Transkrypt

1 Wzory Psychometria

2 Zajęcia 1. Rzetelność 1950 Guliksen, za Spearmanem (1910) przyjmuje, że: t = T + e t wynik otrzymany T wynik prawdziwy pozycja danej osoby na kontinuum cechy (zdolności); przysługuje każdej jednostce (a więc jest dla niej zawsze taki sam we wszystkich testach równoległych); e błąd pomiaru Rzetelność (współczynnik rzetelności) wg Guliksena: r tt = S T / S t Gdzie: S T - wariancja wyników prawdziwych, S t - wariancja wyników otrzymanych Można także wyrazić rzetelność następująco: r tt = 1 S e / S t Gdzie: S e - wariancja błędu Wskaźnik rzetelności NIE TO SAMO co współczynnik rzetelności; wyraża korelacje między t i T. r tt = r tt Dla wprowadzenia działania pierwiastkowania możemy w arkuszu kalkulacyjnym wybraną liczbę x podnieść do potęgi 0,5 (np. X^0,5) lub użyć formuły: = PIERWIASTEK(x)

3 Wzór Spearmana-Browna na rzetelności n-krotnie wydłużonego testu: r ttn = n r tt 1 + n 1 r tt Gdzie: n krotność przedłużenia, r tt - rzetelność przed przedłużeniem Możemy też iść w drugą stronę i obliczyć przedłużenie, jakie potrzebujemy by osiągnąć niezbędny poziom rzetelności. n = r ttn (1 r tt ) r tt (1 r ttn ) Gdzie: r tt - rzetelność przed przedłużeniem, r ttn - rzetelność po przedłużeniu Rzetelność w nowej próbie (po np. zabiegu heterogenizacji próby, gdy dana jest nowa wariancja dla wyników otrzymanych w teście): r uu = 1 s t (1 r tt ) s u I w drugą stronę (czyli: jakie powinno być odchylenie wyników w teście, by osiągnąć odpowiedni poziom rzetelności): s u = s t 1 r tt 1 r uu Gdzie: s t - wariancja wyników w teście, r tt - rzetelność, r uu - rzetelność w nowej próbie

4 Zajęcia. Standardowy błąd pomiaru Standardowy błąd pomiaru (SEM): r tt = 1 s e s t s e = s t (1 r tt ) SEM = s e = s t 1 r tt Dolna i górna granica przedziału ufności opartego o SEM: T min = t j s e z α/ T max = t j + s e z α/ Gdzie: z α/ = ROZKŁAD.NORMALNY.S.ODW(1-(1-PU)/) lub =ROZKŁAD>NORMALNY.S.ODW(PU/+0,5) Kiedy stosujemy? Gdy rtt > 0,7.

5 Gdy liczymy prawdopodobieństwo, nie znamy PU, więc musimy sami przekształcić wynik otrzymany danej osoby na skalę wyników z, co robimy wg wzoru: z α = t T SEM Wartość bezwzględną wprowadzamy za pomocą formuły = MODUŁ.LICZBY(t-T) P prawdopodobieństwo, że osoba o wyniku T = x uzyska wynik równy lub zbliżony do x; zawsze używamy formuły =ROZKŁAD.NORMALNY.S(z α ) p prawdopodobieństwo, że osoba o wyniku T = x uzyska wynik y lub wyższy (zawsze liczymy jako =1-P)

6 Zajęcia 3. Standardowy błąd pomiaru skorelowany z wynikiem prawdziwym Błąd standardowy skorelowany z wynikiem prawdziwym (wzór 1): S e(t) = k P j Q j gdzie: k liczba zadań, P proporcja zadań, które osoba może rozwiązać, Q proporcja zadań, których nie może rozwiązać j-ta osoba Wzór na P proporcję zadań, które osoba badana może rozwiązać poprawnie i Q proporcję zadań, której osoba badana nie może rozwiązać: P j = T j k Q j = 1 T j k Błąd standardowy skorelowany z wynikiem prawdziwym (wzór ): s e(t) = T j (k T j ) k

7 Możliwe jest stworzenie przedziałów ufności w oparciu o SEM(T) jego granice to: A więc: T L = t j zα T L k k T L T L = t j S e T z α/ T U = t j + S e T z α/ 0,5 i T U = t j + zα Jak wiadomo: (a ± b) = a ± ab + b, zatem (upraszczając): T u k k T u 0,5 T UL 1 + zα k T UL t j + zα + t j = 0 Ogólnie: = b 4ac a = 1 + z α/ k b = t j z α/ c = t j Granice przedziału ufności obliczamy natomiast jako: T U = b + a i T L = b a

8 Zajęcia 4. Standardowy błąd estymacji Przewidywany wynik prawdziwy (T): Gdzie: M średnia wyników, t wynik otrzymany, r tt - rzetelność T = M + r tt t M = t r tt + M (1 r tt ) Średnią obliczyć możemy na piechotę lub korzystając z formuły = ŚREDNIA(x1:x5) gdy dla całego zakresu komórek (od:do); lub =ŚREDNIA(X1;X3;X5) gdy wybieramy konkretne komórki, a nie cały zakres Standardowy błąd estymacji (SEE): s ee = SEM r tt = s t 1 r tt r tt Przedziały ufności oparte o SEE: T L = T z α/ s ee T U = T + z α/ s ee

9 Dla zadań z prawdopodobieństwem: z α = T T SEE P liczymy jak zwykle = ROZKŁAD.NORMALNY.S(z α ) p jak zwykle jako = 1-P UWAGA!!! Jeśli masz za zadanie zbudować przedział ufności/policzyć prawdopodobieństwo, upewnij się najpierw jaką rzetelność ma test, którego wynikami się posługujesz! Jeśli: rzetelności jest wyższa niż 0,7 posługujemy się SEM rzetelność jest niższa niż 0,7 posługujemy się SEE. Przykładowe zadanie z prawdopodobieństwem dla SEM/SEE: W podręczniku do pewnego testu podano, że rzetelność wynosi 0,84/0,54. jakie jest prawdopodobieństwo, że osoba z wynikiem prawdziwym równym 130 uzyska wynik surowy 146 lub wyższy? /Magnusson, s. 13, zad. 3.

10 Zajęcia 5. Rzetelność różnic Standardowy błąd różnic dla dwóch wyników (1): s ed = s g 1 r gg + s h (1 r hh ) Wzór ten stosujemy w sytuacji, gdy wyniki dla danej osoby przedstawione są na dwóch odrębnych skalach (posiadających różne odchylenia standardowe wyników). Wyniki otrzymane dla jednej osoby w dwóch testach przelicza się często na wspólną skalę. Wtedy mamy sytuację, w której s g = s h. Oznaczając odchylenie naszej skali jako s t, mamy zatem (): s ed = s t r gg r hh Jeżeli natomiast jesteśmy w sytuacji, w której daną osobę zbadaliśmy dwa razy tym samym testem (3), to r gg = r hh. Oznaczając rzetelność tego określonego testu jako r tt, otrzymujemy: s ed = s t (1 r tt ) Rzetelność różnic wewnątrzosobniczych możemy wyrażać także za pomocą odpowiedniego współczynnika rzetelności. Wzór: r dd = r gg r gh 1 r gh Oznaczenia: r dd - współczynnik rzetelności różnic wewnątrzosobniczych r gg - średnia wartość współczynników rzetelności dla użytych testów r gh - korelacja miedzy wynikami pomiarów w obu testach

11 Możemy sprawdzić, czy różnica między dwoma pomiarami jest istotna statystycznie. Jeżeli będzie zbyt duża, a więc większa niż krytyczna różnica dla określonych porównań różnice uznać możemy, w skrócie, za nierzetelne. d-krytyczne (d α ) krytyczna różnica dla porównań międzyosobniczych.: d α = s ed z α./ z α./ = ROZKŁAD.NORMALNY.S.ODW(1-(1-PU)/) Przykładowe zadanie: Rzetelność dwóch testów wynosi 0,95 i 0,91. Jaka musi być różnica w którymkolwiek kierunku miedzy wynikami na skali T w tych testach, abyśmy mogli mieć w stosunku do niej 95% pewności? / Magnusson, str. 146, zad. 1.

12 Jeżeli liczymy prawdopodobieństwo: z α = d/sed d różnica między wynikami dla dwóch osób (jeżeli znamy wynik dla osoby A i osoby B) Przykładowe zadanie: Osoby A i B otrzymały w pewnym teście, którego wyniki przekształcono na skalę T, wyniki 46 i 4. Rzetelność testu wyniosła 0,84. Oblicz, jakie jest prawdopodobieństwo, że gdyby osoby A i B miały takie same wyniki prawdziwe, to otrzymałyby jednakowe lub większe różnice zmierzające w tym samym kierunku. /Magnusson, s. 146, zad.. Różnica dla dwóch osób w tym przypadku: 46-4 = 4 ;-) sed wyliczamy wg stosownego wzoru. P i p wg sposobu, który stosowaliśmy wcześniej w podobnych sytuacjach.

13 Zajęcia 6. Metody estymacji rzetelności Wzór Spearmana-Browna wymogiem formalnym jest udzielenie odpowiedzi na wszystkie pytania testowe, ponadto połówki muszą być podobne maksymalnie (podobna trudność, dyspersja, treść); możliwe jest przecenienie rzetelności testu ze względu na minimalizację wariancji błędu; r tt = r oe 1 + r oe r oe korelacja między wynikiem ogólnym w jednym teście (I połówka) i drugim (II połówka) Wzór Rulona podobne założenia, wg Cronbacha jedna z lepszych metod szacowania rzatelności połówkowej; r tt = 1 s d s t s d wariancja rozkładu różnic między wynikiem w I i II połówce; s t - wariancja wyników ogólnych w całym teście Wzór Guttmana także jedna z lepszych metod; r tt = 4 r oe s o s e s t s o odchylenie standardowe wyników I połówki s e odchylenie standardowe wyników II połówki Wzór Flanagana jak wyżej; r tt = (1 s o + s e s t )

14 UWAGA! Kiedy stosujesz metodę połówkową (jakąkolwiek!) najpierw POSORTUJ pytania wg stopnia trudności!

15 Współczynnik zgodności wewnętrznej: KR-0, KR-1, alfa-cronbacha KR-0 założenia: test mierzy jeden czynnik, a interkorelacje itemów i ich wariancje są równe. Tylko dla pozycji ocenianych dychotomicznie (0-1). r tt = k k 1 ( 1 pq s t ) p proporcja odpowiedzi poprawnych; q proporcja odpowiedzi błędnych (q = 1-p). KR-1 założenia: test mierzy jeden czynnik, interkorelacje itemów i ich wariancje są równe, itemy mają równą trudność. r tt = k k 1 ( 1 k M p M q s t ) M p średnia wartość p dla pozycji testu; M q średnia wartość q dla pozycji testu. Alfa Cronbacha zakłada, że współczynniki KR to średnia ze wszystkich współczynników równoważności międzypołowkowej; rozszerza wzory KR na pozycje inne nić dwukategorialne; daje dolną granicę rzetelności (konserwatywne oszacowanie). α = k k 1 ( 1 s i s ) t s i wariancja pozycji testowych

16 Metody oparte na analizie związku pozycji testowych z wynikiem ogólnym Metoda Spearmana-Browna określanie interkorelacje pozycji testowych z wynikiem ogólnym/wynikiem w skali; wg wzoru: r it = k r it 1 + k 1 r it Metoda Gulliksena wg wzoru: r tt = n n 1 (1 s i ( r it s i ) ) r it korelacja wyniku w itemie z wynikiem w teście; r it = s t s i k 1 s i

17 Przydatne formuły w arkuszu kalkulacyjnym: =WSP.KORELACJI(x1:x5;y1:y5) wylicza współczynnik korelacji między dwoma zmiennymi =SUMA.ILOCZYNÓW(x1:x5;y1:y5) wylicza sumy iloczynów dla dwóch zakresów (np. p i q jak we wzorze na KR-0) =WARIANCJA.POPUL(x1:x5) oblicza wariancję dla zakresu wyników =ODCH.STANDARD.POPUL(x1:x5) oblicza odchylenie standardowe dla zakresu wyników

18 Zajęcia 7A. Trafność Ogólnie: współczynnik trafności korelacja między wynikami w teście (t) i wynikami w kryterium (g) r tg = WSP. KORELACJI(t 1 : t n ; g 1 : g n ) Jeżeli kryterium jest nierzetelne, możliwe jest wprowadzenie poprawki na to (poprawka na nierzetelność kryterium): Gdzie: r gg - rzetelność kryterium r tg = r tg r gg Poprawka na obniżenie (gdy nierzetelne jest i kryterium, i test): r tg = r tg r tt r gg

19 Trafność po wydłużeniu testu: r tng = r tg r ttn r tt r tng = r tg n 1+ n 1 r tt Gdzie: r tg - współczynnik trafności przed wydłużeniem, r tt = rzetelność przed wydłużeniem, r ttn - rzetelność po wydłużeniu, n krotność wydłużenia

20 Zajęcia 7B. Przewidywanie Standardowy błąd przewidywania: s yx = s y 1 r xy Możliwe jest stworzenie przedziału ufności dla Y (wyników w kryterium) na podstawie s yx wg formuły: T y ± s yx z α/ gdzie: z / = ROZKŁAD. NORMALNY. S. ODW 1 1 PU Przewidywanie wartości wg wzoru: dla wyników standaryzowanych: z y = r xy z x dla wyników surowych: T y = t x M x s y s x r xy + M y Przykładowe zadanie: W predyktorze o trafności 0,35 jeden z uczniów uzyskał 4 stanin. Jakie byłoby najlepsze oszacowanie jego oceny końcowej w kryterium określonym w skali wyników przeliczonych dla testów Wechslera? Między jakimi wartościami znajdować się będzie jego końcowa ocena przy: a) 68% pewności; b) 95% pewności? /zajęcia nr 8, zadanie 1B/

21 Jeżeli liczymy prawdopodobieństwo złego przewidzenia wyniku: z = T y T y s yx Przykładowe zadanie: Korelacja pomiędzy zmiennymi I oraz II wynosi 0,50, a ich wyniki podawane są w skali T. Oblicz: a) ryzyko, że osoba z wynikiem 60 w zmiennej I uzyska wynik poniżej średniej w zmiennej II; b) prawdopodobieństwo, że osiągnie ona w zmiennej II wynik co najmniej 70.? /zajęcia nr 8, zadanie 1C/5

22 Zajęcia 7C. Selekcja Obliczanie granicy cięcia: (z c z p z x = r xy 1 r xy ) gdzie: r xy trafność narzędzia; z p wynik standaryzowany odcinający tą część rozkładu normalnego, która reprezentuje przyjęty poziom ryzyka p; np. dla p = 10% - odcinająca 10% rozkładu; =ROZKŁAD.NORMALNY.S.ODW(p) z c wynik krytyczny w zmiennej kryterialnej; obliczany wg wzoru: z c = Y c M y s y Przykładowe zadanie: Wyniki w predyktorze o trafności 0,65 podawane są w skali o średniej 70 i odchyleniu standardowym 10. Kryterium określone jest w skali o M = 18 i s = 4, zaś granica przejścia wynosi 1. Oblicz granicę przyjęcia, tak aby ryzyko niepowodzenia nie przekraczało 10%.

23 Zajęcia 8. Analiza czynnikowa Wariancja wspólna - h : h = a 1 + b 1 + c m 1 Gdzie: a, b, c m ładunki czynnikowe w danej macierzy = SUMA.KWADRATÓW(x1:xm) Wariancja specyficzna v : T s = h + v r tt = h + v Wariancja swoista - u : u = v + s e Zatem: 1,00 = h + u

24 Możemy obliczać korelację między dwoma zmiennymi, jeżeli znamy ich ładunki czynnikowe. Wyraża się ona wzorem: = SUMA.ILOCZYNÓW (zakres x; zakres y) r xy = a x a y + b x b y + + m x m y Istotne dla pojęcia trafności korelacja między testem i kryterium. Standardowy ładunek czynnikowy (SFL): HETEROGENIZACJA SFL = h n Gdzie: n liczba czynników (po dodaniu nowych!) Trafność w nowym teście: r tg = h n (a g + b g + ) Górna granica tak obliczonej trafności wynosi wtedy: r tg max = h t h g

25 Zajęcia 9A. Analiza zadań Wskaźnik rzetelności itemu (WRI): WRI = r ti s i Znając sumę WRI dla wszystkich pytań testu możemy określić odchylenie standardowe wyników w teście: s t = r ti s i Wskaźnik trafności itemu (WTI): WTI = r gi s i Możliwe jest ujęcie trafności w następujący sposób: r tg = r gis i r ti s i Rzetelność po usunięciu itemu wg KR-0: KR0 = k k 1 (1 pq p i q i (s t r ti s i ) ) gdzie: p i, q i wskaźniki p i q dla usuniętego itemu; r ti s i wskaźnik rzetelności dla usuniętego itemu; s i można liczyć wg wzoru: s i = p i q i

26 Zajęcia 9B. Normalizacja Quasi-normalizacja przekształcenie wartości surowych na wyniki z: z = X M s Normy w skalach przeliczonych: Jeżeli rozkład wyników jest zbliżony do normalnego, liniowo przekształcamy wyniki na wybraną skalę standardową wg wzoru: Jeżeli rozkład nie jest normalny: 1. obliczamy szereg rozdzielczy (f i ). szereg skumulowany (cf i ) 3. obliczamy punkt centylowy wg wzoru: Y = s y s x X M x + M y centyl = f x + cf x 1 4. Obliczamy wartość z norm dla punktu centylowego: =ROZKŁAD.NORMALNY.S.ODW(centyl) 5. po czym przeliczamy na skalę standardową wg wzoru: N Y = z norm s + M