Psychometria. klasyczna teoria rzetelności testu. trafność. Co wyniki testu mówią nam o samym teście? B. Trafność pomiaru testem.

Transkrypt

1 Psychometria Co wyniki testu mówią nam o samym teście? B. Trafność pomiaru testem. klasyczna teoria rzetelności testu W6 dr Łukasz Michalczyk Trafność czy udało się zmierzyć to, co zamierzaliśmy zmierzyć rozkład X + błąd losowy rozkład X rzetelność rozkład X trafność rozkład X + błąd systematyczny Błąd losowy nie wpływa na średnią grupową a na wariancję (zróżnicowanie) wyników. Błąd systematyczny nie wpływa na wariancję (zróżnicowanie) wyników, ale na średnią grupową.

2 Rodzaje trafności trafność treściowa a) trafność treściowa (wewnętrzna), b) trafność kryterialna (diagnostyczna i prognostyczna), c) trafność teoretyczna. Analiza trafności treściowej jest niezbędnym etapem prac konstrukcyjnych testu etapy oceny trafności treściowej Definicja: Trafność treściowa (wewnętrzna) to reprezentatywność danej puli pozycji dla uniwersum pozycji mierzących daną cechę. Precyzyjna definicja cechy Opis aspektów cechy: podwymiarów czy fasad cechy Ocena liczby pozycji w każdym podwymiarze oraz teście jako całości Ocena pozycji w każdym podwymiarze oraz w całym teście przez grupę ekspertów na skalach ocen (trafność treściowa) lub osób badanych (typowość)

3 trafność kryterialna Definicja: Trafność kryterialna to stopień, w jakim test pozwala na przewidywanie określonego kryterium zewnętrznego. trafność diagnostyczna trafność prognostyczna trafność kryterialna trafność kryterialna kryterium jest to zachowanie czy właściwość, o której chcemy wnioskować z wyniku ocenianego testu kryterium jest zewnętrzne w stosunku do testu Przykłady: efektywność pracy zawodowej, stopnie szkolne, diagnoza psychiatryczna czy psychologiczna, oceny sędziów kompetentnych, wyniki innych testów trafność diagnostyczna trafność prognostyczna

4 trafność kryterialna poprawka na nierzetelność kryterium trafność kryterialna dane z metaanalizy Poprawka na nierzetelność kryterium: rkt rs-k = Rtt-k rs-k - skorygowany współczynnik korelacji, rkt - współczynnik korelacji przed skorygowaniem, Rtt-k współczynnik rzetelności kryterium. 1. Testy zdolności korelacje około 0,50 ze wskaźnikami efektywności pracy oraz osiągnięciami szkolnymi (0,70 szkoła podstawowa, 0,50 szkoła średnia oraz 0,30 szkoła wyższa). 2. Skale osobowości korelacje około 0,30 ze wskaźnikami efektywności pracy oraz 0,50 z diagnozą kliniczną (psychiatryczną). trafność kryterialna poprawka na nierzetelność kryterium i testu trafność kryterialna Dane z dwóch metaanaliz trafności kryterialnej skal osobowości i efektywności pracy (w nawiasach korelacje skorygowane na nierzetelność kryterium i/lub skali). Poprawka na nierzetelność kryterium i testu: Skala Mount i Barrick (1991) Tett, Jackson i Rothstein (1991) rkt rs-kt = Rtt-k Rtt-t rs-kt - skorygowany współczynnik korelacji, rkt - współczynnik korelacji przed skorygowaniem, Rtt-k współczynnik rzetelności kryterium, Rtt-t -współczynnik rzetelności testu. Neurotyczność -0,04 (-0,07) -0,15 (-0,22) Ekstrawersja 0,06 (0,10) 0,10 (0,16) Otwartość -0,02 (-0,03) 0,18 (0,27) Sumienność 0,13 (0,23) 0,12 (0,18) Ugodowość 0,04 (0,06) 0,22 (0,33)

5 trafność kryterialna Cechy OCEAN a powodzenie zawodowe (Judge, Higgins, Thoresen i Barrick, 1999). Openness to experience (Otwartość na doświawcenie) Conscientiousness (Sumienność) Extraversion (Ekstrawersja) Agreeableness (Ugodowość) Neuroticism (Neurotyzm) Cechy Pięcioczynnikowego Modelu Osobowości badane w dzieciństwie, zostały odniesione do subiektywnie ocenianego sukcesu zawodowego oraz zobiektywizowanych wskaźników sukcesu zawodowego, badanych w dorosłości - po upływie 50 lat. A N E O C Definicja: Trafność teoretyczna to zgodność treści mierzonej przez test z konstruktem teoretycznym. Związki między: a) cechami temperamentu: reaktywnością emocjonalną i aktywnością, b) cechami osobowości: depresyjnością oraz uległością, c) paleniem tytoniu a zachorowaniem na raka płuca. reaktywność -0,60 aktywność -0,76-0,21-0,24 depresyjność -0,23 uległość -0,51 palenie 0,21 0,56 0,23 RAK PŁUC Metody bazujące na analizie związku pomiędzy konstruktem a zachowaniem: metoda zmian nieprzypadkowych metoda sprawdzania różnic międzygrupowych metoda badania procesu rozwiązania testu Korelacje cech osobowości z diagnozą medyczną (tutaj dla raka płuc) wynosiły ok. 0,20. Podobne wyniki uzyskuje się w innych badaniach. Zawadzki, 2001

6 Metody bazujące na analizie macierzy korelacji pomiędzy testem, a innymi testami przeznaczonymi do badania danego konstruktu metoda badania wewnętrznej struktury testu metoda analizy macierzy korelacji i analizy czynnikowej (eksploracyjnej i konfirmacyjnej) danego testu oraz testów, badających ten sam konstrukt metoda zmian nieprzypadkowych zmiany rozwojowe Postulat lekowy - metoda opracowana w psychiatrii i stosowana przez H. Eysencka. badanie trafności konwergencyjnej i dyskryminacyjnej (zbieżnej i różnicowej) za pomocą analizy macierzy Wielu Cech- Wielu Metod wg Campbella i Fiskego metoda zmian nieprzypadkowych Metody bazujące na analizie związku pomiędzy konstruktem a zachowaniem: metoda zmian nieprzypadkowych metoda sprawdzania różnic międzygrupowych metoda badania procesu rozwiązania testu Wiek a aktywność, badana FCZ-KT (wyniki standaryzowane 7 prób narodowych).

7 metoda zmian nieprzypadkowych zmiany rozwojowe Postulat lekowy - metoda opracowana w psychiatrii i stosowana przez H. Eysencka. Metody bazujące na analizie związku pomiędzy konstruktem a zachowaniem: metoda zmian nieprzypadkowych metoda sprawdzania różnic międzygrupowych metoda badania procesu rozwiązania testu Założenia: Ekstrawersja jest wyznaczana przez poziom pobudzenia korowego (ekstrawertycy wykazują niski poziom pobudzenia) Metody bazujące na analizie związku pomiędzy konstruktem a zachowaniem: metoda zmian nieprzypadkowych metoda sprawdzania różnic międzygrupowych metoda sprawdzania różnic międzygrupowych ocena różnic w wynikach testu, uzyskanych przez różne grupy demograficzne, wyodrębnione w oparciu o teorię metoda badania procesu rozwiązania testu

8 różnice międzygrupowe we wrażliwości i wytrzymałości metoda sprawdzania różnic międzygrupowych Hipotezy: Muzycy wysoki poziom wrażliwości sensorycznej (zdolność specjalna), ale niski poziom wytrzymałości; badania Nyborg a Sportowcy wysoki poziom wytrzymałości (zdolność specjalna), ale niski wrażliwości sensorycznej; Przestępcy (mordercy) wysoki poziom wytrzymałości i niski poziom wrażliwości sensorycznej; różnice międzygrupowe we wrażliwości i wytrzymałości Grupa Wrażliwość sensoryczna Wytrzymałość Przestępcy (mordercy) 13,39 11,18 Sportowcy (zapaśnicy) 13,43 11,18 Artyści (muzycy) 15,68 8,76 Metody bazujące na analizie związku pomiędzy konstruktem a zachowaniem: metoda zmian nieprzypadkowych metoda sprawdzania różnic międzygrupowych metoda badania procesu rozwiązania testu Norma (mężczyźni) 15,00 (3,45) 10,26 (4,78) Nauczycielki 16,67 12,57 Artystki (muzycy) 17,32 6,38 Norma - kobiety 16,23 (2,86) 8,04 (4,58)

9 metoda badania procesu rozwiązania testu obserwacja kolejności wykonywanych czynności analiza elementów zadania sprawiających najwięcej trudności analiza elementów pomijanych analiza popełnianych błędów Analiza czynnikowa eksploracyjna lub konwergencyjna wymiary inteligencji wgląd w procesy odpowiadania na pozycje testu zmiana dotychczasowej koncentracji na analizie samych odpowiedzi Niska Wysoka Analiza czynnikowa Metody bazujące na analizie macierzy korelacji pomiędzy testem, a innymi testami przeznaczonymi do badania danego konstruktu metoda badania wewnętrznej struktury testu metoda analizy macierzy korelacji i analizy czynnikowej (eksploracyjnej i konfirmacyjnej) danego testu oraz testów, badających ten sam konstrukt eksploracyjna lub konwergencyjna wymiary inteligencji Wysokie zdolności matematyczne IV! I! badanie trafności konwergencyjnej i dyskryminacyjnej (zbieżnej i różnicowej) za pomocą analizy macierzy Wielu Cech- Wielu Metod wg Campbella i Fiskego Niskie zdolności werbalne III! Niskie zdolności matematyczne Wysokie zdolności werbalne II!

10 Analiza czynnikowa eksploracyjna lub konwergencyjna Analiza macierzy Wielu Cech - Wielu Metod Aspekt zbieżny trafności (trafność konwergencyjna) wymiary inteligencji Wysokie zdolności matematyczne Wysokie zdolności przestrzenne Aspekt zbieżny i różnicowy trafności Niskie zdolności werbalne Wysokie zdolności werbalne Niskie zdolności przestrzenne Niskie zdolności matematyczne wycofany Analiza czynnikowa eksploracyjna lub konwergencyjna Analiza macierzy Wielu Cech - Wielu Metod Aspekt różnicowy trafności (trafność dywergencyjna) nieśmiały pełen energii rozmowny ekstrawersja Gdy można wykazać niską korelację z innymi testami mierzącymi inne cechy Trafność zbieżna$ Oceny z matematyki" zazdrosny nerwowy Test zdolności matematycznych" kapryśny zrelaksowany neurotyzm Trafność rozbieżna$ WF" drażliwy

11 Analiza macierzy Wielu Cech - Wielu Metod Plan wykładów Aspekt różnicowy trafności (trafność dywergencyjna) Gdy można wykazać niską korelację z innymi testami mierzącymi inne cechy Co wyniki testu mówią nam o samym teście? A. Rzetelność pomiaru testem. Założenie: każda z szeregu cech mierzona jest przy użyciu więcej niż jednej metody. B. Trafność pomiaru testem. C. Właściwości psychometryczne pozycji testowych. W idealnej sytuacji każda cecha powinna być mierzona przy zastosowaniu każdej z metod. Rodzaje trafności" Trafność kryterialna" Trafność treściowa" Trafność teoretyczna" Trafność prognostyczna" Trafność" diagnostyczna" Trafność" zbieżna" Trafność" różnicowa"