Koncepcja metodologii badania. standaryzacyjnego i normalizacyjnego:

Transkrypt

1 Koncepcja metodologii badania standaryzacyjnego i normalizacyjnego: Raport Autor: Magdalena Kaczmarek Warszawa, luty 2015 r. 1

2 Wyjaśnienie używanych skrótów Wprowadzenie Próba badawcza: standaryzacyjna i normalizacyjna założenia ogólne Podstawowe informacje Charakterystyka populacji Ogólna liczbowa charakterystyka próby badawczej z rozbiciem na podstawowe kategorie (populacje) Operat Schemat doboru i wielkość wylosowanej próby Procedura badania założenia ogólne Proces ostatecznej konstrukcji skal Proces oceny rzetelności skal Proces oceny trafności skal Proces normalizacji wyników

3 Wyjaśnienie używanych skrótów CAPI - wspomagany komputerowo wywiad osobisty (formularz elektroniczny) PAPI - niewspomagany komputerowo wywiad osobisty (formularz papierowy) MOS Młodzieżowy Ośrodek Socjoterapii MOW Młodzieżowy Ośrodek Wychowawczy 3

4 1. Wprowadzenie Zgodnie z Wnioskiem o dofinansowanie projektu Quo Vadis? Narzędzia oraz pakiet materiałów metodycznych do diagnozy predyspozycji, zainteresowań zawodowych i uzdolnień przedsiębiorczych uczniów/słuchaczy narzędzie diagnostyczne, które powstaje w ramach projektu ma służyć wspomaganiu rozpoznawania predyspozycji oraz zainteresowań zawodowych uczniów w wieku 13+, a także monitorowaniu ich zmian. Narzędzie to jest wielkoskalową techniką opartą zarówno na samo opisowych odpowiedziach na serie stwierdzeń, jak i na rozwiązywaniu zadań, w tym również quasizadań, opartych na technice symulowanych dylematów decyzyjnych. Z punktu widzenia metodologii technik diagnozy psychologicznej, narzędzie to jest baterią diagnostyczną, zawierającą zarówno skale kwestionariusze, jak i skale testowe, gdzie można mówić o odpowiedziach poprawnych (prawdziwych), jak i niepoprawnych (fałszywych). Skale wchodzące w skład narzędzia mierząc bądź to zainteresowania bądź to kompetencje (definiowane jako realny poziom wiedzy, umiejętności oraz postawę w danym obszarze funkcjonowania) i ich definicje zostały sformułowane przed konstrukcją skal (por. raporty zawierające propozycje puli wskaźników). Taki rodzaj strategii tworzenia narzędzia określa się jako strategię dedukcyjną. Punktem wyjścia jest zatem określona koncepcja i hipoteza badawcza dotycząca, np. weryfikacji podstawowych twierdzeń teorii o istnieniu cech czy weryfikacji twierdzeń na jakiejś 4

5 grupie respondentów (hipotezy uniwersalistyczne), znaczeniu określonych struktur cech, itp. W przypadku strategii dedukcyjnej w procesie konstrukcji narzędzia analiza itemmetryczna jest kluczowym momentem konstrukcji skali w toku konstrukcji narzędzia przeprowadzana jest analiza pozycji poprzez korelację pozycja-skala (inwentarze) oraz wskaźnikiem trudności (testy zdolności). W strategii teoretycznej skale konstruuje się zazwyczaj wykorzystując do tego celu współczynniki mocy dyskryminacyjnej. Moc dyskryminacyjna danej pozycji informuje o tym, w jakim stopniu różnicuje on daną populację pod względem cechy, mierzonej przez test. Moc dyskryminacyjna jest zatem wskaźnikiem tego, w jakim stopniu pozycja mierzy tę cechę, którą mierzy cały test - informuje o tym, jak dobrą miarą tej cechy jest dana pozycja. Duża moc dyskryminacyjna pozycji wskazuje na dużą homogeniczność testu - zazwyczaj wykazuje on dużą rzetelność pomiaru. Rzetelność pomiaru danego testu jest więc uzależniona bezpośrednio od mocy dyskryminacyjnej pozycji. Przy tak wybranej strategii można skonstruować narzędzie, które pozwala na dokładną diagnozę wybranych obszarów funkcjonowania osoby, a skale cechują się dobrą rzetelnością oraz wysoką trafnością teoretyczną (z reguły też dość dobrą trafnością kryterialną; por. Zawadzki, 2006) 1. Teoria jest źródłem formułowania hipotez weryfikowanych w toku analiz walidacyjnych zorientowanych na analizę teoretycznego aspektu trafności 1 Zawadzki, B. (2006). Kwestionariusze osobowości. Strategie i procedura konstruowania. Warszawa: Wyd. Naukowe SCHOLAR. 5

6 wnioskowania. Można tu wskazać na takie techniki walidacji, jak analiza struktury wewnętrznej (konformacyjna analiza struktury, interkorelacje skale), analiza trafności konwergencyjnej (zbieżnej) oraz dywergencyjnej (różnicowej), analiza porównań międzygrupowych czy też metoda zmian nieprzypadkowych. Proces wnioskowania w oparciu o zmierzony wynik zilustrowano na Rycinie 1. Konstrukt psychologiczny (cecha) Nieobserwowalna cecha będąca przedmiotem pomiaru trafność Wynik prawdziwy Prawdziwa wartość mierzonej cechy Rzetelność standardowy błąd pomiaru Wynik otrzymany Wynik otrzymany na podstawie badania testem pomiar TESTY Ryc. 1 Proces wnioskowania psychometrycznego (za: Hornowska, 2001, s ). Tak, jak w przypadku każdego narzędzia psychometrycznego finalna wersja narzędzia powinna charakteryzować się: 2 Hornowska, E. (2001). Testy psychologiczne. Teoria i praktyka. Warszawa: Wyd. Naukowe SCHOLAR 6

7 odpowiednio wysoką rzetelnością, trafnością, obiektywnością, standaryzacją i znormalizowaniem. Kryterium standaryzacji badania testem wiąże się z taką formą opracowania procedury badania testem, by stosowanie go było za każdym razem identyczne, tj. stałe niezależnie od osoby badającej i osoby badanej. Standaryzacja wymaga więc, by test zawierał ścisłą instrukcję, precyzującą zasady zachowania się osoby badającej w trakcie badania (np. zakres je dopuszczalnych zachowań) oraz wymagania stawiane osobie badanej (np. w jaki sposób ma udzielać odpowiedzi na pytania testowe). Standaryzacja wymaga też by instrukcja testowa określała warunki, w jakich badanie ma być przeprowadzane (np. warunki fizyczne - głośność, oświetlenie) oraz przeznaczenie testu - do jakich celów test może być stosowany, a do jakich nie. Standaryzacja ma na celu zminimalizowanie wpływu czynników ubocznych lub zakłócających (zewnętrznych w stosunku do osoby badanej, np. hałasu lub wewnętrznych, np. jej napięcie emocjonalne, zmęczenie) na wyniki testowe. Standaryzacja ma zagwarantować, że w powtarzalnych warunkach (ten sam cel badania, te same warunki badania) osoba badana będzie uzyskiwała te same wyniki. 7

8 Kryterium obiektywności badania testem wiąże się natomiast z taką formą opracowania procedury interpretacji wyników badania testem, by stosowanie jej było za każdym razem identyczne, tj. stałe niezależnie od osoby badającej. Obiektywność wymaga więc, by test zawierał klucz odpowiedzi, precyzujący zasady oceny odpowiedzi osoby badanej oraz zasady przyporządkowywania tym odpowiedziom wyników liczbowych i przekształcania tych wyników na określone wyniki znormalizowane (tj. odnoszenia tych wyników do norm - oceniania jednostki na tle określonej grupy odniesienia). Obiektywność ma na celu zminimalizowanie wpływu osoby badającej na wyniki testowe. Obiektywność ma zagwarantować, że różne osoby badające dokonają identycznej oceny wyników danej osoba badanej. Badanie z użyciem programu komputerowego w dużym stopniu staje się gwarantem spełnienia tego warunku. Kryterium normalizacji wyników badania testem wiąże się natomiast z koniecznością opracowania procedury przekształcania wyników liczbowych, uzyskanych przez osobę badaną w wyniki różnicowe, umożliwiające lokalizację cechy danej osoby na tle reprezentatywnej populacji. W języku technicznym wiąże się to z przeliczaniem tzw. wyników surowych na skale standaryzowane, tj. skale o ustalonej średniej i odchyleniu standardowym, bazujące na rozkładzie normalnym lub prostokątnym. Normy umożliwiają więc interpretację różnicową wyników osoby badanej - ocenę czy i na ile nasilenie cechy u tej osoby odbiega od średniej (przeciętnej) w populacji (a więc czy i jak bardzo osoba ta różni się pod danym względem od innych, 8

9 reprezentatywnych dla niej osób). Normalizacja ma na celu zminimalizowanie błędu związanego z oceną faktycznego nasilenia danej cechy u określonej osoby, a więc błędnej diagnozy psychologicznej. W przypadku omawianego narzędzia proces normalizacji będzie polegał na: transformacji nieliniowej rozkładów w poszczególnych skalach na skalę wyników standardowych z. Na podstawie wyników tak wyrażonych możliwe będzie jakościowe opracowanie wyniku w postaci informacji zwrotnej o nasileniu danej cechy (kompetencji, zainteresowania) na tle grupy rówieśniczej oraz analiza profilu wyników pod kątem dopasowania do zawodów. Kryterium rzetelności pomiaru testem wiąże się z wymogiem takiego opracowania testu (materiału testowego i procedury badania), by maksymalizował on dokładność pomiaru cechy badanej przez test. Kryterium rzetelności pomiaru testem (rzetelności pomiaru, a nie testu) ma dwa aspekty: (a) wiąże się z oczekiwaniem jego stabilności, oznaczającym, że wyniki danej osoby badanej nie będą się zmieniały w czasie -pomiar cechy będzie się charakteryzował stałością czasową, a więc powtarzalnością (powtórny pomiar danej cechy w porównywalnych warunkach powinien prowadzić do uzyskania identycznych wyników); (b) konsystencji (czy inaczej zgodności wewnętrznej) - wiąże się z oczekiwaniem jego precyzji, oznaczającym, że pomiar cechy danej osoby nie jest obciążony błędem, że zmierzono tę cechę z maksymalną dokładnością. 9

10 Rzetelność pomiaru testem często nazywa się też wiarygodnością - oznacza bowiem zaufanie, jakim osoba badająca może obdarzyć wyniki testowe, a więc i w konsekwencji pewność, z jaką może formułować diagnozę psychologiczną. Kryterium rzetelności wymaga więc, by test dawał wyniki dokładne i powtarzalne i może być oszacowana matematycznie. Wymóg rzetelności pomiaru testowego ma na celu zminimalizowanie błędu związanego z oceną faktycznego nasilenia danej cechy u określonej osoby, a więc błędnej diagnozy psychologicznej. Kryterium trafności pomiaru testem wiąże się z wymogiem takiego opracowania testu (materiału testowego i procedury badania), by maksymalizował on stopień, w jakim test mierzy daną cechę. Kryterium trafności pomiaru testowego (trafności pomiaru, a nie testu) ma dwa aspekty: (a) dotyczy tego, co test mierzy i jak dobrze to mierzy - w jakim stopniu (jaka cecha jest mierzona i w jakim stopniu jest mierzona, np. czy mierzone są przy okazji także inne cechy) oraz (b) dotyczy tego, co możemy przewidywać na podstawie wyników testowych (na podstawie cechy, zmierzonej u danego człowieka). Mówiąc inaczej, trafność pomiaru testem stanowi wymóg określający poprawność wniosków, jakie można postawić na podstawie wyników badania testem. Wnioski te mogą dotyczyć przedmiotu pomiaru - cech, jakie wykazuje dany człowiek (trafność teoretyczna pomiaru testem) lub możliwości przewidywania innych zachowań tegoż człowieka na podstawie, zmierzonych u niego danym testem, cech (trafność kryterialna). Wymóg trafności pomiaru testowego ma na celu 10

11 zmaksymalizowanie możliwości interpretacyjnych testu (por. AERA/APA/NCME, 2007) Próba badawcza: standaryzacyjna i normalizacyjna założenia ogólne Zgodnie z Wnioskiem o dofinansowanie projektu Quo Vadis? Narzędzia oraz pakiet materiałów metodycznych do diagnozy predyspozycji, zainteresowań zawodowych i uzdolnień przedsiębiorczych uczniów/słuchaczy narzędzie adresowane jest do różnorodnych grup pod względem wiekowym, w wieku 13 lub więcej lat, w tym osób dorosłych uczących się. Osoby te mają być uczniami różnych typów szkół, w tym gimnazjów oraz różnych typów szkół ponadgimanzjalnych, w tym szkół dla dorosłych. Ponadto adresatami techniki diagnozy są uczniowie ze specjalnymi potrzebami edukacyjnymi, którzy w niniejszym projekcie są zdefiniowani jako wychowankowie Młodzieżowych Ośrodków Socjoterapii (MOS) i Młodzieżowych Ośrodków Wychowawczych (MOW), którzy zostali uznani za niedostosowanych społecznie lub tym zagrożonych. Ze względu na procedurę badania (samobadanie) narzędzie skierowane jest tylko do uczniów mieszczących się w intelektualnej normie. 3 AERA/APA/NCME (2007). Standardy dla testów stosowanych w psychologii i pedagogice. Gdańsk: Gdańskie Wydawnictwo Psychologiczne. 11

12 Pomimo, iż narzędzie adresowane jest do wszystkich osób uczących się w klasach gimnazjalnych lub ponadgimnazjalnych w wieku od 13 do 29 lat, to z grupy badawczej zdecydowano się wyłączyć: 1) ze względu na mały udział w populacji, a zarazem dużą specyfikę uczniów i słuchaczy szkół artystycznych (plastycznych, muzycznych, cyrkowych, baletowych, tańca, szkoły chóralnej), 2) ze względu na mały udział w populacji słuchaczy kolegiów nauczycielskich oraz kolegiów pracowników służb społecznych, a także 3) ze względu na fakt, iż w obecnie ten typ szkół jest w trakcie wygaszania uczniów liceów profilowanych. Ponadto, 4) ze względu na potrzebę dookreślania kryteriów włączania respondentów do próby badawczej oraz niewielki udział osób starszych ograniczono wiek dorosłych uczących się w szkołach średnich uzupełniających lub w szkołach policealnych do 29 lat. W konstrukcji próby nie uwzględniono rozróżnienia szkół ze względu na organ prowadzący szkołę lub placówkę 2.1. Podstawowe informacje Jednostka badania: osoba Sposób doboru próby: kwotowy w odniesieniu do rozróżnienia na cztery kategorie populacji, losowy; warstwowy proporcjonalny w obrębie województw i typów szkół w obrębie każdej populacji z wyjątkiem wychowanków MOS i MOW. Losowo dobrane placówki MOS i MOW i kwotowy ze względu na lokalizację placówki oraz wiek wychowanków. 12

13 Metoda zbierania danych: CAPI, częściowo PAPI dla narzędzi służących ocenie trafności Liczebność próby założonej: Charakterystyka populacji wychowankowie MOS i MOW w wieku lat, z diagnozą niedostosowania społecznego oraz zagrożenia niedostosowaniem społecznym, będący w normie intelektualnej. Rozróżniono następujące typy szkół: nie rozróżnia się. Rozróżniono następujące grupy wiekowe: lat, lat, lat. Uczniowie szkół gimnazjalnych (z wyłączeniem szkół specjalnych) w wieku lat, będący w normie intelektualnej. Rozróżniono następujące typy szkół: gimnazjum. Rozróżniono następujące grupy wiekowe: lat, lat. Uczniowie szkół ponadgimnazjalnych w tym: zasadniczych szkół zawodowych, liceów ogólnokształcących, liceów profilowanych, techników i w wieku lat, będący w normie intelektualnej. Rozróżniono następujące typy szkół: 1) zasadnicza szkoła zawodowa, 2) liceum ogólnokształcące 3) technikum. Rozróżniono następujące grupy wiekowe: lat, lat. Uczniowie i słuchacze szkół ponadgimnazjalnych w tym: liceów ogólnokształcących uzupełniających dla absolwentów zasadniczych szkół zawodowych, techników uzupełniających dla absolwentów zasadniczych szkół zawodowych, szkół policealnych (ponadgimnazjalna), kolegiów nauczycielskich, 13

14 Nauczycielskich Kolegiów Języków Obcych i Kolegiów Pracowników Służb Społecznych w wieku lat, będący w normie intelektualnej. Rozróżniono następujące typy szkół: 1) technika i licea uzupełniające dla absolwentów zasadniczych szkół zawodowych, 2) szkoły policealne. Rozróżniono następujące grupy wiekowe: lat, lat 2.3. Ogólna liczbowa charakterystyka próby badawczej z rozbiciem na podstawowe kategorie (populacje) Ogółem próba badawcza zrealizowana będzie liczyła nie mniej niż 1150 osób. Liczebność w poszczególnych próbach powinna wynieść: wychowankowie MOS i MOW nie mniej niż 150 osób Uczniowie szkół gimnazjalnych w wieku lat nie mniej niż 380 osób, przy czym 30 osób będzie zbadanych dwukrotnie w ostępie 14 dni. Uczniowie szkół ponadgimnazjalnych w wieku lat nie mniej niż 400 osób, przy czym 30 osób będzie zbadanych dwukrotnie w ostępie 14 dni. Uczniowie i słuchacze szkół ponadgimnazjalnych w wieku lat - nie mniej niż 220 osób 2.4 Operat Dane teleadresowe resortu edukacji odnośnie placówek MOS i MOW w poszczególnych województwach 14

15 ( Zestawienie z bazy CIE dotyczące liczby uczniów z podziałem na województwa, typy szkół oraz wiek. ( Poniżej w Tabeli 1. zestawione dane z bazy udostępnianych przez resort oświaty odnośnie udziału poszczególnych wiekowych, typów szkół w podziale na województwa wśród uczniów szkół gimnazjalnych i ponadgimnazjalnych w wieku lat. 15

16 Tabela 1. Liczba uczniów w poszczególnych województwach i w poszczególnych typach szkół i w wieku jak założono w badaniu w roku szkolnym 2013/2014 (SIO ) Rejon/ Gimnazjum Razem Zasadnicza szkoła województwo zawodowa Liceum ogólnokształcące Technikum Szkoły ponad- gimnazjalne 1 razem Liceum i technikum uzupełniające Szkoła policealna Szkoły ponad- gimnazjalne 2 razem Wiek (lata) Dolnośląskie Kujawskopomorskie Lubelskie Lubuskie Łódzkie

17 Małopolskie Mazowieckie Opolskie Podkarpackie Podlaskie Pomorskie Śląskie Świętokrzyskie Warmińsko- Mazurskie Wielkopolskie Zachodniopomorskie Cała Polska

18 2.5. Schemat doboru i wielkość wylosowanej próby A) W przypadku badania wychowanków MOW i MOS z listy zgodnej z danymi, którym dysponuje Ośrodek Rozwoju Edukacji (100 ośrodków MOW, 77 ośrodków MOS w całej Polsce) w porozumieniu z zamawiającym badanie powinna zostać wylosowana próba 24 ośrodków, w których będzie realizowane badanie. Losowanie powinno być podzielone na kwoty z zgodnie z następująca regułą: - 3 MOW i 3 MOS z terenu województw: lubuskiego, zachodniopomorskiego, wielkopolskiego i pomorskiego; - 3 MOW i 3 MOS z terenu województw: kujawsko-pomorskiego, mazowieckiego, warmińsko-mazurskiego i podlaskiego; - 3 MOW i 3 MOS z terenu województw: dolnośląskiego, opolskiego, śląskiego i łódzkiego; - 3 MOW i 3 MOS z terenu województw: małopolskiego, świętokrzyskiego, lubelskiego i podkarpackiego. Badanie wychowanków powinno odbyć się poprzez wylosowane placówki, przy czym spełnione muszą być następujące założenia: - liczba osób badanych w próbie nie może być mniejsza nić 150; - w próbie wychowanków MOW lub MOS nie może być więcej niż 10 osób przebywających w jednej placówce; 18

19 - co najmniej 15 osób musi być wychowankami MOS i co najmniej 15 osób musi być wychowankami MOW z terenów województw: lubuskiego, zachodniopomorskiego, wielkopolskiego lub pomorskiego; - co najmniej 15 osób musi być wychowankami MOS i co najmniej 15 osób musi być wychowankami MOW z terenów województw: kujawsko-pomorskiego, mazowieckiego, warmińsko-mazurskiego lub podlaskiego; - co najmniej 15 osób musi być wychowankami MOS i co najmniej 15 osób musi być wychowankami MOW z terenów województw: dolnośląskiego, opolskiego, śląskiego lub łódzkiego; - co najmniej 15 osób musi być wychowankami MOS i co najmniej 15 osób musi być wychowankami MOW z terenów województw: małopolskiego, świętokrzyskiego, lubelskiego lub podkarpackiego; - co najmniej 20 wychowanków MOS i co najmniej 20 wychowanków MOW musi być w wieku lat; - co najmniej 20 wychowanków MOS i co najmniej 20 wychowanków MOW musi być w wieku lat; - co najmniej 20 wychowanków MOS i co najmniej 20 wychowanków MOW musi być w wieku lat. 19

20 Ponadto w Tabeli 2. zamieszczono minimalne oczekiwane częstości występowania takich charakterystyk osób badanych jak wiek i lokalizacja ośrodka łącznie branych pod uwagę. Tabela 2. Minimalna liczba osób badanych spełniających kryterium wieku oraz lokalizacji ośrodka, w którym przebywa w próbie wychowanków MOW i MOS. Wiek/lokalizacja placówki (województwo) Typ ośrodka lat lat lubuskie, zachodniopomorskie, MOS wielkopolskie lub pomorskie; MOW kujawsko-pomorskie, MOS mazowieckie, warmińskomazurskie lub podlaskie MOW dolnośląskie, opolskie, śląskie lub łódzkie MOS MOW

21 małopolskie, świętokrzyskie, MOS lubelskie lub podkarpackie MOW Zrealizowana próba wychowanków MOS i MOW nie może być mniej liczna 150 osób i musi charakteryzować się proporcjami grup wiekowych oraz lokalizacji ośrodków zgodnym z opisem powyżej. B) Próba uczniów szkół gimnazjalnych w wieku lat licząca nie mniej niż 380 osób (próba zrealizowana) powinna być dobrana losowo w proporcjonalnych do udziału w populacji warstwach opisanych w Tabeli 3. Podstawą konstrukcji próby są następujące założenie: - ogólna liczebność próby nie może być mniejsza niż 380 osób - procentowy udział uczniów w poszczególnych województwach musi odpowiadać opisanemu w populacji uczniów zaprezentowanemu w kolumnie 3 w Tabeli 3, a ewentualne różnice nie mogą przekraczać 1 punktu procentowego. 21

22 Tabela 3. Oczekiwany udział uczniów w poszczególnych grupach wiekowych i w poszczególnych województwach w próbie uczniów gimnazjów w wieku lat (N = 380). Rejon/ województwo Gimnazjum Udział procentowy Udział Szacowana liczba osób badanych procentowy Nr kolumny RAZEM Gimnazjum Wiek (lata) RAZEM Szacowana liczba osób badanych Dolnośląskie 4,20% 2,55% 6,75% 15,94 9,69 25,64 Kujawsko-pomorskie 3,46% 2,11% 5,57% 13,13 8,02 21,15 Lubelskie 3,79% 2,15% 5,94% 14,41 8,16 22,57 Lubuskie 1,62% 1,02% 2,64% 6,16 3,89 10,04 Łódzkie 3,91% 2,24% 6,16% 14,87 8,52 23,40 Małopolskie 6,09% 3,31% 9,40% 23,14 12,58 35,73 Mazowieckie 8,76% 4,93% 13,69% 33,28 18,75 52,03 Opolskie 1,51% 0,91% 2,41% 5,72 3,45 9,17 Podkarpackie 3,98% 2,17% 6,15% 15,13 8,25 23,38 Podlaskie 1,97% 1,14% 3,12% 7,50 4,35 11,85 Pomorskie 3,91% 2,31% 6,23% 14,87 8,80 23,66 22

23 Śląskie 6,85% 4,03% 10,87% 26,03 15,30 41,32 Świętokrzyskie 2,09% 1,23% 3,33% 7,96 4,69 12,64 Warmińsko-Mazurskie 2,44% 1,50% 3,94% 9,26 5,70 14,96 Wielkopolskie 6,05% 3,53% 9,58% 22,97 13,42 36,39 Zachodniopomorskie 2,60% 1,63% 4,23% 9,86 6,20 16,07 Cała Polska 63,22% 36,78% 100,00% 240,24 139,76 380,00 23

24 - procentowy udział uczniów w poszczególnych grupach wiekowych i poszczególnych województwach musi odpowiadać opisanemu w populacji uczniów zaprezentowanemu w kolumnach 1 i 2 w Tabeli 3, a ewentualne różnice nie mogą przekraczać 0,5 punktu procentowego. C) Próba uczniów szkół ponadgimnazjalnych w wieku lat licząca nie mniej niż 400 osób (próba zrealizowana) powinna być dobrana losowo w proporcjonalnych do udziału w populacji warstwach opisanych w Tabeli 4. Podstawą konstrukcji próby są następujące założenie: - ogólna liczebność próby nie może być mniejsza niż 400 osób - procentowy udział uczniów w poszczególnych województwach musi odpowiadać opisanemu w populacji uczniów zaprezentowanemu w kolumnie 7 w Tabeli 4, a ewentualne różnice nie mogą przekraczać 1 punktu procentowego. - procentowy udział uczniów w poszczególnych grupach wiekowych, typach szkół i poszczególnych województwach musi odpowiadać opisanemu w populacji uczniów zaprezentowanemu w kolumnach 1, 2, 3, 4, 5 i 6 w Tabeli 4, a ewentualne różnice nie mogą przekraczać 0,5 punktu procentowego. 24

25 Tabela 4. Oczekiwany udział uczniów w poszczególnych grupach wiekowych, typach szkół średnich i w poszczególnych województwach w próbie uczniów szkół ponadgimnazjalnych w wieku lat (N = 400). Rejon/ województwo Zasadnicza szkoła zawodowa Liceum ogólnokształcące Technikum Szkoły ponad- gimnazjalne 1 razem Zasadnicza szkoła zawodowa Szacowana liczba osób badanych Liceum ogólnokształcące Szacowana liczba osób badanych Technikum Szacowana liczba osób badanych Udział Udział Udział Udział procentowy procentowy procentowy procentowy Nr kolumny Szkoły ponad- gimnazjalne 1 razem Szacowana liczba osób badanych Wiek (lata) Dolnośląskie 0,57% 0,40% 1,79% 1,20% 1,48% 1,29% 6,73% 2,29 1,59 7,14 4,81 5,92 5,17 26,92 Kujawskopomorskie 0,59% 0,40% 1,38% 0,94% 1,21% 1,11% 5,65% 2,37 1,61 5,53 3,78 4,84 4,46 22,58 Lubelskie 0,38% 0,29% 1,93% 1,22% 1,28% 1,04% 6,15% 1,52 1,14 7,74 4,88 5,12 4,18 24,58 Lubuskie 0,24% 0,18% 0,62% 0,42% 0,57% 0,55% 2,58% 0,97 0,73 2,46 1,70 2,26 2,21 10,33 Łódzkie 0,43% 0,31% 1,85% 1,24% 1,27% 1,09% 6,18% 1,73 1,25 7,40 4,94 5,06 4,34 24,73 Małopolskie 0,97% 0,52% 2,50% 1,62% 2,04% 1,81% 9,46% 3,87 2,08 9,99 6,47 8,18 7,24 37,84 Mazowieckie 0,77% 0,53% 4,45% 2,79% 2,48% 2,10% 13,11% 3,07 2,13 17,80 11,14 9,93 8,39 52,46 Opolskie 0,27% 0,17% 0,55% 0,40% 0,57% 0,51% 2,47% 1,10 0,67 2,22 1,58 2,30 2,02 9,88 25

26 Podkarpackie 0,51% 0,31% 1,75% 1,10% 1,44% 1,27% 6,38% 2,03 1,23 7,01 4,38 5,77 5,08 25,51 Podlaskie 0,18% 0,13% 1,02% 0,64% 0,70% 0,65% 3,33% 0,73 0,53 4,08 2,56 2,80 2,61 13,33 Pomorskie 0,65% 0,38% 1,57% 1,07% 1,21% 1,10% 5,98% 2,59 1,50 6,28 4,29 4,83 4,41 23,91 Śląskie 0,91% 0,64% 2,82% 1,94% 2,47% 2,24% 11,02% 3,66 2,57 11,29 7,75 9,89 8,94 44,09 Świętokrzyskie 0,25% 0,17% 0,99% 0,64% 0,80% 0,74% 3,60% 0,99 0,68 3,96 2,58 3,21 2,96 14,38 Warmińsko- Mazurskie 0,37% 0,25% 0,99% 0,69% 0,82% 0,74% 3,86% 1,48 0,98 3,98 2,76 3,29 2,95 15,44 Wielkopolskie 1,13% 0,63% 2,38% 1,62% 1,89% 1,71% 9,37% 4,54 2,52 9,53 6,49 7,56 6,84 37,48 Zachodniopomorskie 0,33% 0,27% 1,12% 0,83% 0,84% 0,75% 4,13% 1,32 1,07 4,47 3,30 3,37 2,99 16,52 Cała Polska 8,57% 5,57% 27,72% 18,36% 21,08% 18,70% 100,00% 34,27 22,29 110,90 73,42 84,32 74,80 400,00 26

27 D) Próba uczniów i słuchaczy szkół ponadgimnazjalnych w wieku lat licząca nie mniej niż 220 osób (próba zrealizowana) powinna być dobrana losowo w proporcjonalnych do udziału w populacji warstwach opisanych w Tabeli 5. Podstawą konstrukcji próby są następujące założenie: - ogólna liczebność próby nie może być mniejsza niż 220 osób - procentowy udział uczniów w poszczególnych województwach musi odpowiadać opisanemu w populacji uczniów zaprezentowanemu w kolumnie5 w Tabeli 5, a ewentualne różnice nie mogą przekraczać 1 punktu procentowego. - procentowy udział uczniów w poszczególnych grupach wiekowych, typach szkół i poszczególnych województwach musi odpowiadać opisanemu w populacji uczniów zaprezentowanemu w kolumnach 1, 2, 3 i 4 w Tabeli 5, a ewentualne różnice nie mogą przekraczać 0,5 punktu procentowego 27

28 Tabela 5. Oczekiwany udział uczniów i słuchaczy w poszczególnych grupach wiekowych, typach szkół i w poszczególnych województwach w próbie uczniów szkół ponadgimnazjalnych w wieku lat (N = ). Rejon/ województwo Liceum i technikum uzupełniające Szkoła policealna Szkoły ponad- gimnazjalne 2 razem Liceum i technikum uzupełniające Szkoła policealna Szkoły ponad- gimnazjalne 2 razem Szacowana Udział Szacowana liczba osób Szacowana liczba osób liczba osób Udział procentowy Udział procentowy procentowy badanych badanych badanych Nr kolumny Wiek (lata) Dolnośląskie 0,24% 0,14% 2,52% 4,06% 6,97% 0, , , , , Kujawsko-pomorskie 0,52% 0,18% 2,18% 3,11% 5,99% 1, , , , , Lubelskie 0,44% 0,15% 3,28% 4,06% 7,93% 0, , , , , Lubuskie 0,07% 0,05% 0,83% 1,02% 1,98% 0, , , , , Łódzkie 0,46% 0,22% 2,74% 3,81% 7,24% 1, , , , ,

29 Małopolskie 0,45% 0,14% 3,29% 4,06% 7,95% 0, , , , , Mazowieckie 0,84% 0,32% 4,50% 5,89% 11,54% 1, , , , , Opolskie 0,12% 0,05% 0,72% 1,01% 1,90% 0, , , , , Podkarpackie 0,30% 0,12% 2,34% 2,37% 5,12% 0, , , , , Podlaskie 0,10% 0,04% 1,77% 2,23% 4,14% 0, , , , , Pomorskie 0,23% 0,12% 2,30% 3,37% 6,02% 0, , , , , Śląskie 0,63% 0,34% 5,21% 7,21% 13,39% 1, , , , , Świętokrzyskie 0,41% 0,20% 1,37% 1,77% 3,75% 0, , , , , Warmińsko-Mazurskie 0,19% 0,09% 1,47% 1,87% 3,62% 0, , , , , Wielkopolskie 0,97% 0,27% 3,50% 4,24% 8,98% 2, , , , , Zachodniopomorskie 0,11% 0,07% 1,53% 1,78% 3,50% 0, , , , , Cała Polska 6,08% 2,51% 39,56% 51,85% 100,00% 13, , , ,

30 3. Procedura badania założenia ogólne Badanie w każdym przypadku będzie miało charakter badania CAPI, a więc wspomaganego komputerowo wywiadu osobistego, którym w każdym przypadku będzie co najmniej opracowywane narzędzie standardowe o nazwie Quo Vadis, a przypadku osób, które będą również wypełniały testy służące ocenie trafności skal narzędzia, będzie zastosowana równocześnie dla tych samych respondentówprocedura badania PAPI, czyli niewspomaganego komputerowo wywiadu typu papier i ołówek. Badanie będzie odbywało się jednokrotnie z wyjątkiem dwóch podgrup po 30 respondentów w każdej wyłonionych z populacji gimnazjalistów oraz uczniów szkół ponadgimnazjalnych w wieku lat, w których badanie będzie miało miejsce dwukrotnie w ostępie 10 dni. W każdej z wyłonionych warstw próby dobór respondentów powinien mieć charakter losowy, a zbadana grupa na poziomie każdej z czterech prób musi spełniać kryteria reprezentatywności względem populacji, z której została wyłoniona ze względu na takie kryteria jak: 1) płeć i 2) lokalizację placówki edukacyjnej przy podziale na wsie, miasta do 10 tys. mieszkańców i miasta powyżej 10 tys. 30

31 Punktem odniesienia przy ocenie reprezentatywności zbadanych prób będą dane zebrane w bazach Systemu Informacji Oświatowej (por. także opracowanie Oświata i wychowanie w roku szkolnym 2013/14, GUS, 2014). Realizator badania powinien zapewnić również reprezentatywny dla populacji wychowanków MOS i reprezentatywny dla wychowanków MOW udział dziewcząt i chłopców w badanych próbach na poziomie całej próby oraz w poszczególnych trzech kategorii wiekowych. Kontakt z respondentami może być nawiązany poprzez placówki edukacyjne. Badanie może odbywać się na ich terenie. Spełnione muszą być jednak następujące założenia: - w próbie wychowanków MOW lub MOS nie może być więcej niż 10 osób przebywających w jednej placówce; - w próbie gimnazjalistów nie może być więcej niż 20 osób uczęszczających do tej samej szkoły, przy czym nie więcej niż 8 do tego samego oddziału; - w próbie uczniów szkół ponadgimnazjalnych w wieku lat nie może być więcej niż 20 osób uczęszczających do tej samej szkoły, przy czym nie więcej niż 8 do tego samego oddziału; - w próbie uczniów szkół i słuchaczy ponadgimnazjalnych w wieku lat nie może być więcej niż 10 osób uczęszczających do tej samej szkoły, przy czym nie więcej niż 5 do tego samego oddziału. 31

32 Ponadto z uwagi na istnienie wersji równoległej testu obie wersje testu muszą zostać użyte w populacjach 1) gimnazjalistów oraz 2) uczniów szkół ponadgimnazjalnych w wieku lat. Udział użycia obu wersji w tych próbach powinien wynieść 50%/50% na poziomie całej próby, 50%/50% na poziomie prób w poszczególnych kategoriach wiekowych (13-14 lat i lat w gimnazjum, lat, lat w szkołach ponadgimanazjalnych) oraz 50%/50% w próbach dziewcząt i chłopców, przy czym dopuszcza się ewentualne odchylenia od tego założenia nie większe niż 2 punkty procentowe. W próbach wychowanków MOS i MOW oraz w próbie dorosłych ze szkół ponadgimanzjalnych powinna być użyta tylko jedna wersja testu dla wszystkich osób badanych. W badaniu powinny zostać zebrane następujące dane na temat każdego uczestnika: Wiek (kategorie: 13, 14, 15, 16, 17, 18, 19, 20 21, 22-23, 24-26, lat) Płeć (kategorie: żeńska, męska, inna) Lokalizacja szkoły (wieś, miasto do 10 tys. mieszkańców, miasto powyżej 10 tys. mieszkańców) Typ szkoły (kategorie: gimnazjum, liceum ogólnokształcące, technikum, zasadnicza szkoła zawodowa, liceum uzupełniające, technikum uzupełniające, szkoła policealna) 32

33 Profil szkoły (kategorie: ogólny, medyczny, rolniczy/spożywczy, techniczny, transportowy /budowlany, ekonomiczny/administracyjny, językowy/humanistyczny, nauczycielski/opiekuńczy, inny) Profil oddziału, gdy profil szkoły ogólny (kategorie: humanistyczny/językowy, matematyczny/ścisły, przyrodniczy, ekonomiczny/administracyjny, inny) 4. Proces ostatecznej konstrukcji skal W procesie ostatecznej konstrukcji skal powinien objąć dwa etapy: 1) Analizę struktury wewnętrznej narzędzia poprzez konfirmacyjną analizę czynnikową. 2) Analizę itemmetryczną poszczególnych pozycji w odniesieniu do skal 3) Analizę podstawowych statystyk opisowych skal z rozbiciem na poszczególne populacje i grypy wiekowe. W odniesieniu do punktu pierwszego (ad. 1) sugerowaną metodą analizy struktury wewnętrznej narzędzia jest modelowanie równań strukturalnych z metodą boostrapingu, przy czym analiza powinna objąć całą próbę badawczą lub wylosowaną z niej odpowiednio liczną próbkę danych. Analizy SEM mogą być prowadzone w odniesieniu do pojedynczych skal lub ich konfiguracjach i nie muszą obejmować wszystkich skal równocześnie. 33

34 W toku analiz itemmetrycznych (ad. 2) należy uwzględnić takie charakterystyki pozycji jak średnia, odchylenie standardowe, moc dyskryminacyjną obliczoną poprzez skorygowaną korelację pozycja-skala oraz w przypadku pozycji ze skal mierzących kompetencje o charakterze zadań lub quasi-zadań współczynniki trudności. Analizy te powinny być prowadzone w podpróbach wiekowych oddzielnie w każdej z trzech badanych populacji (gimnazjaliści w wieku lat; młodzież ucząca się w szkołach ponadgimnazjalnych w wieku lat oraz dorośli uczący się w szkołach ponadgimnazjalnych w wieku lat). Analizy statyczne opisowe dla skal powinny objąć takie charakterystyki skal jak: średnie, odchylenie standardowe, minimum maksimum, skośność i kurtoza. Analizując strukturę wewnętrzną należy także określić interkorekorelacje skal za pomocą parametrycznej statystyki r-persona. Analizy te mogą być prowadzone łącznie w całej próbie badawczej lub w wylosowanej z niej odpowiednio liczną próbce danych. 5. Proces oceny rzetelności skal Tak, jak wspomniano proces oceny rzetelności skal powinien odnieść się do dwóch kwestii: stabilności pomiaru w czasie oraz tzw. konsystencji skal, czyli zgodności wewnętrznej. Ze względu na to, że mierzone konstrukty, tj. kompetencje oraz zainteresowania są względnie stałymi charakterystykami jednostki analiza trwałości w czasie ich pomiaru 34

35 wydaje się sensowna. Poziom kompetencji może się jednak zmieniać wraz z upływem czasu pod wpływem treningu, zatem okres, który będzie dzielił oba pomiary nie powinien być zbyt długi. Dlatego rekomendowanym odstępem czasowym jest 10 dni. Ponadto, chcąc wyeliminować wpływ procesu uczenia się, który zachodzi w trakcie rozwiązywania testu oraz zapamiętywania treści zadań, co czyni drugi pomiar odmiennym od warunków standardowych, należy wykorzystać fakt tworzenia równoległej wersji narzędzia. Podsumowując, przedmiotem analizy tego aspektu rzetelności skal będzie stabilność względna, z pomiarem powtórzonym po 10 dniach. Analiza ta powinna dotyczyć dwóch grup, tj. uczniów gimnazjum oraz uczniów szkół ponagimnazjalnych. Wystarczająca liczebność grupy do oceny stabilności czasowej to 30 osób. Dopuszczalnym jest, aby grupy te były homogeniczne ze względu na typ szkoły. Sprawdzenie stabilności czasowej skal powinno odbyć się w oparciu o korelację obu pomiarów, w miarę możliwości (spełnienie założeń) z użyciem parametrycznej statystyki r-pearsona. Oczekiwana wartość tej korelacji mierzona statystyką r-persona powinna wynieść nie mniej niż 0,6. Ponadto powinna zostać określony współczynnik rzetelności w stosunku do tej metody jej oceny obliczony w oparciu o wzór korelacji wewnątrzklasowej (por. wzór 1) 4. 4 Magnusson, D. (1981). Wprowadzenie do teorii testów. Warszawa: PWN. 35

36 [wzór 1] Drugim aspektem oceny rzetelności skal jest zgodność wewnętrzna skal. W tym przypadku źródłem błędu są wyłącznie różnice w rozumieniu treści zdań/różnice w oddziaływania zadań jako bodźców na badanych oraz zróżnicowanie szczegółowych warunków wewnątrz klasy warunków określanych jako standardowe. Ocena zgodności/stabilności wewnętrznej powinna odbyć się w oparciu o szacowanie zgodności międzypołówkowej, przy czym zgodnie z utartą praktyką, najlepszym sposobem oceny tego aspektu rzetelności dla skal, w których format odpowiedzi pozycji jest więcej niż dwukategorialny jest obliczanie współczynnika alfa Cronbacha (por. wzór 2). 36

37 [wzór 2] Oczekuje się, że wartości oceny zgodności wewnętrznej dla poszczególnych skal nie powinny być niższe niż wartość 0,7. Konstruowane skale są krótkie, oczekiwana wartość rzetelności nie osiągnie więc zapewne wartości wyższych niż 0,85. Ocena rzetelności skal powinna odbyć się w całej badanej grupie osób (lub w odpowiednio licznej wylosowanej z niej próbce) z zachowaniem podziału na kategorie wiekowej. Na podstawie analizy rzetelności w oparciu o ocenę zgodności wewnętrznej dla wszystkich skal w poszczególnych grupach wiekowych powinny zostać obliczone standardowe błędy pomiaru dla poszczególnych skal (por. wzór 3). SEM = So 1 - Rtt gdzie So to odchylenie standardowe w danej próbie, a Rtt - to rzetelność obliczona w danej próbie. Obliczone wartości SEM posłużą następnie do oceny wyników w poszczególnych skalach w kategoriach wyników prawdziwych. [Wzór 3] 37

38 6. Proces oceny trafności skal Proces oceny trafności skal powinien objąć wszystkie istotne elementy oceny trafności wnioskowania na podstawie pomiaru narzędzia. Elementy oceny trafności pomiaru skalami to: Trafność treściowa Trafność kryterialna Trafność teoretyczna Trafność treściowa, która oznacza reprezentatywność danej puli pozycji dla uniwersum pozycji mierzących daną cechę, a więc stopień, w jakim treść pozycji odpowiada zakresowi treści wyznaczonej przez definicję danej cechy, została poddana ocenie na etapie tworzenia narzędzia oraz jego pilotażu. W badaniu standaryzacyjnym i normalizacyjnym jej ocena nie jest więc konieczna. Trafność kryterialna to stopień, w jakim test koreluje z określonym kryterium zewnętrznym. Jest to niezwykle istotny aspekt trafności, gdyż rozstrzyga o rzeczywistej społecznej wartości testu. Niemniej jednak przyjęta dedukcyjna strategia konstrukcji testu Quo Vadis oznacza, że w pierwszej kolejności ocenie zostanie poddany teoretyczny aspekt trafności, a jego ewentualna pozytywna ocena pozwoli na wnioskowanie w kierunku trafności kryterialnej. Trafność kryterialna oceniana jest dwóch aspektach wyróżnionych ze względu na umieszczenie w czasie pomiaru testem oraz pomiaru kryterium. Kiedy oba te pomiary 38

39 mogą być dokonane w tym samym czasie mówimy o trafności diagnostycznej, gdy pomiar testem poprzedza pojawienie się zjawiska będącego kryterium mówimy o trafności prognostycznej. Ten drugi aspekt trafności kryterialnej, choć niezwykle cenny z diagnostycznego pomiaru, wymaga jednak dłuższych prac nad oceną testu, dlatego też w niniejszym procesie standaryzacji nie będzie brany pod uwagę. Trafność kryterialna diagnostyczna w przypadku skal testu Quo Vadis może być oceniona w oparciu o takie kryteria jak rzeczywiste powodzenie w danym zawodzie oraz wybrana już ścieżka edukacyjna. Ocena rzeczywistego powodzenia w danym zawodzie wymagałaby jednak badań obejmujących różne grupy osób pracujących co nie zostało zaplanowane w niniejszym projekcie tworzenia techniki badawczej. Ocena trafności kryterialnej diagnostycznej ograniczy się więc do poszukiwania różnic w wynikach dla poszczególnych skal pomiędzy uczniami różnych typów szkół. Narzędzie Quo Vadis wyróżnia następujące skale: 1. Skala zainteresowań DANE (SZD) 2. Skala zainteresowań IDEE (SZI) 3. Skala zainteresowań LUDZIE (SZL) 4. Skala zainteresowań RZECZY (SZR) 5. Skala Rozumienia Tekstu i Płynności Mowy (SRT-PM). 6. Skala Diament (Nieprzystosowanie społeczne) dla wychowanków MOS i MOW 7. Skala Naukowa (SN) 39

40 8. Skala Orientacji Przestrzennej i Technicznej (SOP-T). 9. Skala Organizacji Informacji (SOI) 10. Skala Empatii i Relacji (SE-R) 11. Skala Wywierania Wpływu i Kierowania (SWW-K) 12. Skala Twórczego Działania (STD) 13. Skala Zręczności Manualnej (SZM) 14. Skala Wytrwałości i Motywacji (SWM) Biorąc pod uwagę typy ścieżek kształcenia i, rozróżniając je na: 1) ogólny, 2) medyczny, 3) rolniczy/spożywczy, 4) techniczny, 5) transportowy/ budowlany, 6) ekonomiczny/administracyjny, 7) językowy/humanistyczny, 8) nauczycielski/opiekuńczy można sformułować następujące oczekiwania: Hipoteza 1a. Medyczny typ kształcenia wiążę się z większymi zainteresowaniami w obszarze IDEE i LUDZIE niż DANE i RZECZY. Hipoteza 1b. Rolniczy/spożywczy typ kształcenia wiążę się z większymi zainteresowaniami w obszarze RZECZY niż IDEE i LUDZIE i DANE. Hipoteza 1c. Techniczny typ kształcenia wiążę się z większymi zainteresowaniami w obszarze RZECZY niż IDEE i LUDZIE i DANE. Hipoteza 1d. Transportowy typ kształcenia wiążę się z większymi zainteresowaniami w obszarze RZECZY i DANE niż IDEE i LUDZIE. 40

41 Hipoteza 1e. Ekonomiczny/administracyjny typ kształcenia wiążę się z większymi zainteresowaniami w obszarze LUDZIE i DANE niż IDEE i RZECZY. Hipoteza 1f. Językowy/humanistyczny typ kształcenia wiążę się z większymi zainteresowaniami w obszarze LUDZIE i IDEE niż DANE i RZECZY. Hipoteza 1g. Nauczycielski/opiekuńczy typ kształcenia wiążę się z większymi zainteresowaniami w obszarze LUDZIE i IDEE niż DANE i RZECZY. W odniesieniu do skal ujmujących kompetencje można oczekiwać, że: Hipoteza 2a. Medyczny typ kształcenia wiążę się z większymi kompetencjami mierzonymi SN i SE-R. Hipoteza 2b. Rolniczy/spożywczy typ kształcenia wiążę się z większymi kompetencjami mierzonymi SN. Hipoteza 2c. Techniczny typ kształcenia wiążę się z większymi kompetencjami mierzonymi SN, SOP-T i SZM. Hipoteza 2d. Transportowy typ kształcenia wiążę się z kompetencjami mierzonymi SOP- T i SZM. Hipoteza 2e. Ekonomiczny/administracyjny typ kształcenia wiążę się z większymi kompetencjami mierzonymi SO-I, SWW-K. Hipoteza 2f. Językowy/humanistyczny typ kształcenia wiążę się z większymi kompetencjami mierzonymi SRT-PM i STD. 41

42 Nauczycielski/opiekuńczy typ kształcenia wiążę się z większymi kompetencjami mierzonymi SE-R i STD. Trafność teoretyczna oznaczająca zgodność treści mierzonej przez test z konstruktem teoretycznym, którego operacjonalizacja była podstawą konstrukcji pozycji wchodzących w skład skali, w przypadku strategii dedukcyjne użytej przy konstrukcji kwestionariusza Quo Vadis jest dominującym aspektem oceny trafności. Szczegółowe definicje skal zostały sformułowane w trakcie wcześniejszych prac nad narzędziem. Biorąc je pod uwagę można ocenić ten aspekt trafności w oparciu o dwie poniższe metody: Ocenę struktury wewnętrznej i interkorelacje skal oraz Badanie trafności konwergencyjnej i dyskryminacyjnej (zbieżnej i rozbieżnej) Ocena struktury wewnętrznej i interkorelacje skal jako wymóg określenia ostatecznej struktury narzędzia opisano już w rozdziale 4. Można jednak dodać, że oczekuje się, że: Hipoteza 3. Struktura uzyskanych danych jest zgodna z teoretycznie sformułowanymi skalami. Hipoteza 4. Interkorelacje pomiędzy skalami są istotne i umiarkowanie silne. Oczekuje się pozytywnych związków zainteresowań z kompetencjami, w tym: Większe zainteresowaniami DANYMI będą wiązać się z wyższymi wynikami w skalach SN i SOI. 42

43 Większe zainteresowanie IDEAMI będzie wiązać się z wyższymi wynikami w skalach SN i STD, SRT-PM. Większe zainteresowanie LUDŹMI będzie wiązać się z wyższymi wynikami w skalach SRT-PM, SE-R i SWW-M. Większe zainteresowanie RZECZAMI będzie wiązać się z wyższymi wynikami w skalach SOP-T i SZM. Badanie trafności konwergencyjnej i dyskryminacyjnej (zbieżnej i rozbieżnej) to element oceny trafności teoretycznej poprzez poszukiwanie związków z innymi (podobnymi lub odmiennymi co do sensu psychologicznego) konstruktami mierzonymi innymi skalami. Oczekuje się, że skale o posobnym znaczeniu i funkcji powinny się ze sobą wiązać istotnie i co najmniej umiarkowanie silnie pozytywne. Również skale mierzące konstrukty niejako znaczeniowo przeciwstawne powinny korelować na poziomie co najmniej umiarkowanym, istotnym statystycznie, choć ujemnie. Natomiast skale mierzące zmienne znaczeniowo odmienne i niezwiązane z skalami poddawanymi ocenie powinny wiązać się ze sobą słabo i na poziomie nieistotnym statystycznie. Do oceny tego aspektu trafności do badania powinny zostać włączone inne techniki diagnostyczne, które osoby badane będą wypełniały oprócz opracowywanego testu Quo Vadis, najlepiej podczas jednej sesji badania, w randomizowanej kolejności. Konieczne jest, aby były to techniki wystandaryzowane o określonych i dobrych parametrach 43

44 dobroci psychometrycznej. Proponuje się włączenie do badań walidacyjnych co najmniej następujących technik 5 : BIP Bochumski Inwentarz Osobowościowych Wyznaczników Pracy. Bochumski Inwentarz Osobowościowych Wyznaczników Pracy przeznaczony jest do pomiaru różnych aspektów osobowościowych ważnych z punktu widzenia efektywnego funkcjonowania zawodowego. Wersja samoopisowa BIP składa się z 220 pozycji, na które badany udziela odpowiedzi na 6-stopniowej skali, oceniając stopień, w jakim każde stwierdzenie odnosi się do niego samego. Pozwala na obliczenie wyników w 14 skalach podstawowych podzielonych na cztery obszary: Orientacja zawodowa (Motywacja osiągnięć, Motywacja władzy, Motywacja przywództwa), Zachowania zawodowe (Sumienność, Elastyczność, Orientacja na działanie), Kompetencje społeczne (Wrażliwość społeczna, Otwartość na relacje, Towarzyskość, Orientacja na zespół, Asertywność), Natura psychologiczna (Stabilność emocjonalna, Praca pod presją, Pewność siebie). Badanie z jego pomocą może być przeprowadzone przez osobę z tytułem magistra psychologii lub profesjonalistę po ukończonym szkoleniu ogólnym oraz szkoleniu z testów HR. Badanie w procedurze PAPI. Minimalna oczekiwana liczba 5 Opisy technik zaczerpnięto z informacji z Katalogu Testów oferowanych przez Pracownię Testów Psychologicznych Polskiego Towarzystwa Psychologicznego aktualnego na dzień 27 lutego 2015 r. 44

45 osób zbadanych: 40 osób z grupy dorosłych uczących się mających 20 lub więcej lat. Inwentarz Osobowości NEO-FFI Kwestionariusz do diagnozy cech osobowości uwzględnionych w popularnym modelu pięcioczynnikowym, określanym jako model Wielkiej Piątki. Pozycje kwestionariusza stanowi 60 twierdzeń o charakterze samoopisowym, których prawdziwość w stosunku do własnej osoby badany ocenia na skali pięciostopniowej. Pozycje te tworzą 5 skal mierzących: neurotyczność, ekstrawersję, otwartość na doświadczenie, ugodowość i sumienność. Badanie z jego pomocą może być przeprowadzone tylko przez osobę z tytułem magistra psychologii. Badanie w procedurze PAPI lub CAPI. Minimalna oczekiwana liczba osób zbadanych: 40 osób z grupy gimnazjalistów mających 15 lub więcej lat, 50 osób z grupy osób ze szkół ponadgimanzjalnych w wieku lat, 40 osób dorosłych ze szkół ponadgimanzjalnych w wieku lat i 30 wychowanków MOS i MOW wieku lat. Wielowymiarowy Kwestionariusz Preferencji WKP Kwestionariusz pozwalający na diagnozę preferencji w zakresie zainteresowań typami czynności oraz warunków pracy. Umożliwia wygenerowanie listy preferowanych i odradzanych zawodów. Opis: Kwestionariusz składa się ze 133 stwierdzeń dotyczących siedmiu grup zainteresowań odnoszących się do typów wykonywanych czynności (Zainteresowań Językowych; Zainteresowań 45

46 Matematyczno-Logicznych; Zainteresowań Praktyczno-Technicznych; Zainteresowań Praktyczno-Estetycznych; Zainteresowań Opiekuńczo- Usługowych; Zainteresowań Kierowniczo-Organizacyjnych; Zainteresowań Biologicznych) oraz preferowanych przez badanego warunków pracy: związanych z planowaniem bądź improwizowaniem, a także wymagających słabo bądź silnie stymulującego środowiska pracy. Osoba badana określa na pięciostopniowej skali, jak bardzo zgadza się, że dane stwierdzenie odnosi się do niej. Badanie z jego pomocą może być przeprowadzone przez osobę z tytułem magistra psychologii, pedagogiki lub doradcę zawodowego (dyplom studiów psychologicznych, pedagogicznych lub zaświadczenie o pracy w charakterze doradcy zawodowego). Badanie w procedurze PAPI lub CAPI. Minimalna oczekiwana liczba osób zbadanych: 50 osób z grupy gimnazjalistów w wieku lat, 50 osób z grupy osób ze szkół ponadgimanzjalnych w wieku lat, 40 osób dorosłych ze szkół ponadgimanzjalnych w wieku lat i 30 wychowanków MOS i MOW wieku lat. PROKOS Profil Kompetencji Społecznych służy do pomiaru kompetencji społecznych i pozwala na ocenę ich poziomu w pięciu zakresach szczegółowych: kompetencji asertywnych, kompetencji kooperacyjnych, kompetencji towarzyskich, zaradności społecznej i kompetencji społecznikowskich; umożliwia tym samym diagnozę profilową. PROKOS składa się z 60 pozycji 46

47 diagnostycznych (dotyczących kompetencji społecznych) i 30 pozycji buforowych (dotyczących umiejętności niespołecznych). Wszystkie pozycje są określeniami czynności lub zadań. Forma pozycji wzorowana jest na kwestionariuszu KKS Anny Matczak, ale ich treść zmieniono tak, by uwzględniały sytuacje i działania typowe dla funkcjonowania społecznego osób dorosłych, zwłaszcza występujące w pracy zawodowej. Badany ocenia, na ile dobrze radzi sobie (lub radziłby sobie) z wymienionymi czynnościami czy zadaniami, posługując się czterostopniową skalą od zdecydowanie dobrze poprzez raczej dobrze i raczej słabo do zdecydowanie źle. Pozycje diagnostyczne składają się na pięć skal, utworzonych na podstawie analizy czynnikowej. Badanie z jego pomocą może być przeprowadzone przez osobę z tytułem magistra psychologii lub innego profesjonalistę po ukończonym szkoleniu ogólnym z psychometrii. Badanie w procedurze PAPI. Minimalna oczekiwana liczba osób zbadanych: 40 osób dorosłych ze szkół ponadgimanzjalnych w wieku lat. DINEMO - Dwuwymiarowy Inwentarz Inteligencji Emocjonalnej Dwuwymiarowy Inwentarz Inteligencji Emocjonalnej przeznaczony jest do pomiaru podstawowych komponentów inteligencji emocjonalnej, takich jak zdolności do pozyskiwania przez jednostkę dostępu do własnych i cudzych emocji, respektowania ich i rozumienie ich funkcji, ocenianych na podstawie tego, jak badany interpretuje różne emocjogenne sytuacje i jak skłonny jest na nie 47