2011 Międzynardwe badanie kmpetencji sób drsłych PIAAC Michał Sitek Anna Maliszewska Warszawa, 16 czerwca 2011 r. Mateusz Żółtak
Plan prezentacji 1. Pmiar kmpetencji w badaniach siągnięć 2. Dświadczenia międzynardwe 3. Pułapki samceny 4. Prezentacja badania PIAAC 5. Narzędzia w badaniu PIAAC Narzędzia ceny bezpśredniej PIAAC Narzędzia ceny niebezpśredniej PIAAC 6. Ptencjał analityczny PIAAC 7. Spsób pmiaru 8. Realizacja badania 9. Pdsumwanie
Pmiar kmpetencji w badaniach siągnięć Kmpetencje - płączenie wiedzy, umiejętnści i pstaw dpwiednich d sytuacji (zalecenie Parlamentu Eurpejskieg i Rady w sprawie kmpetencji kluczwych w uczeniu się przez całe życie) Psiadanie kmpetencji znacza zdlnść (łączneg) wykrzystania wiedzy, umiejętnści i pstaw w knkretnym kntekście, dpwiedni d czekiwań i standardów. W kntekście rynku pracy: c jest ważne, dla właściweg wyknywania daneg zawdu? W kntekście edukacji: c jest ptrzebne d funkcjnwania w drsłym życiu?
Dświadczenia międzynardwe Najważniejsze międzynardwe badania siągnięć (z wyróżnieniem badań, w których uczestniczyła lub będzie uczestniczyć Plska)
Specyfika i graniczenia badań siągnięć - graniczne cele (kreślenie parametrów dla ppulacji, a nie pjedynczych sób) -wąski zakres mierznych kmpetencji - badania prwadzne w dużej skali (np. PISA 2009 bjęła 280 tys. sób) Dbre praktyki: zalety standaryzacji sytuacji testwej precyzyjna definicja mierzneg knstruktu (dziedziny testu) starannie wypracwane zadania testwe - przemyślana zawartść testu wykrzystanie technik statystycznych (np. IRT, matrix sampling) zwiększających rzetelnści pmiaru craz pwszechniejsze wykrzystanie nwych technlgii pwszechny dstęp d zbirów danych i dkumentacji technicznej
Lgika budwy testu: knstrukcja testu z użyciem terii dpwiedzi na pzycje testu (IRT)
Pułapki samceny W badaniach siągnięć zwykle dróżnia się samecenę i przeknania badanych d ich kmpetencji.
Przykład: skala pczucia własnej skutecznści (self-efficacy) w badaniu PISA 2003
350 400 450 500 550 JPN KOR FIN HKG NLD BEL MAC NZL AUS DNK ISL CZE GBR FRA SWE DEU AUT IRL NOR LUX POL LVA ESP CAN USA CHE HUN SVK LIE RUS ITA PRT GRC YUG THA TUR URY MEX BRA IDN TUN -.5 0.5 indeks pczucia własnej skutecznści
Prezentacja badania PIAAC 1. Ppulacja badana: sby w wieku 16-65 2. Minimalna wielkść efektywnej próby dla wszystkich państw: 5 tys. wywiadów efektywna próba dla Plski: 9 132 wywiady, w tym 5 tys. sób w wieku 19-26 3. Termin realizacji badania główneg: sierpień 2011 r. marzec 2012 r. wyniki badania pierwsza płwa 2013 r.
Narzędzia w badaniu PIAAC Ocena umiejętnści rzwiązywania prblemów w śrdwisku nwych technlgii Ocena umiejętnści matematycznych Narzędzia PIAAC Ocena rzumienia tekstu Ocena umiejętnści wykrzystywanych w pracy Kwestinariusz sbwy Ocena składwych umiejętnści czytania
Ocena umiejętnści matematycznych Umiejętnści matematyczne: umiejętnści używania, stswania, interpretwania raz wymieniania infrmacji i kncepcji matematycznych. Zawiera bszar kgnitywny, behawiralny raz kntekst spłeczny Aspekty mdelu ceny umiejętnści matematycznych PIAAC: Medium, frmat i typ teksu: tekst w frmie elektrnicznej lub drukwanej; tabele, wykresy, schematy, wzry, frmuły, brazki, mapy Kntekst dm i rdzina; zdrwie i bezpieczeństw; sprawy bywatelskie i knsumenckie, praca, czas wlny raz edukacja i szklenia Operacje kgnitywne: dstęp i identyfikacja infrmacji w tekście integrwanie i interpretwanie ewaluacja i refleksja kmunikacja
Ocena rzumienia tekstu Rzumienie tekstu: zdlnść zrzumienia i używania infrmacji zawartych w rzmaitych przekazach pisemnych, w spsób umżliwiający siągnięcie wyznacznych celów raz rzwijanie wiedzy i ptencjału. Zawiera bszar kgnitywny, behawiralny raz kntekst spłeczny celwść czynnści Aspekty mdelu rzumienia tekstu w PIAAC Medium, frmat i typ teksu: tekst w frmie elektrnicznej lub drukwanej; ciągły lub nie (tabele, wykresy, schematy); instrukcje, narracje, argumentacje Kntekst dm i rdzina; zdrwie i bezpieczeństw; sprawy bywatelskie i knsumenckie, praca, czas wlny raz edukacja i szklenia Operacje kgnitywne: dstęp i identyfikacja infrmacji w tekście integrwanie i interpretwanie ewaluacja i refleksja kmunikacja
Ocena składwych umiejętnści czytania Składwe umiejętnści czytania: pdstawwe umiejętnści umżliwiające czytanie, takie jak rzpznawanie słów, umiejętnść dekdwania ich znaczenia, znajmść słwnictwa raz biegłść w psługiwaniu się językiem. Inne badania nie wprwadzają rzróżnienia pmiędzy sbami, które nie panwały pdstawwych składwych umiejętnści czytania, a sbami, które panwały technikę czytania, ale nie psiadają zdlnści rzumienia czytaneg tekstu. Składwe będą ceniane nie tylk pprzez pprawnść dpwiedzi, ale też przez czas ich udzielenia.
Ocena umiejętnści rzwiązywania prblemów w śrdwisku nwych technlgii Nie jest t pmiar znajmści bsługi kmputera, a raczej pmiar umiejętnści pznawczych, niezbędnych w dbie spłeczeństwa infrmacyjneg, gdzie najważniejsza staje się umiejętnść zdefiniwania jakie infrmacje są nam ptrzebne, ich krytyczna cena raz ich wykrzystanie d rzwiązywania prblemów. Szczególnie isttne będzie: pzyskiwanie i cena infrmacji kmunikwanie (przekazanie) infrmacji przetwarzanie infrmacji w celu wyknania praktycznych zadań Wszystk w śrdwisku nwych technlgii.
Ocena umiejętnści wykrzystywanych w pracy Jb Requirements Apprach (wymagania miejsca pracy) - mduł ma na celu zbadanie rdzajów i pzimu umiejętnści wykrzystywanych w miejscu pracy, które bejmują rzumienie tekstu raz umiejętnści matematyczne, umiejętnści związane z technlgiami infrmacyjnymi, a także umiejętnści kmunikacji, prezentacji raz pracy w zesple. Umiejętnść uczenia się: umiejętnści pnszenia wiedzy, aktualizwania infrmacji i pmagania innym uczyć się Umiejętnści fizyczne: siła, wytrzymałść, zręcznść Umiejętnści kgnitywne: czytanie ze zrzumieniem, pisanie, liczenie, rzwiązywanie prblemów Umiejętnści interpersnalne: wpływanie na innych, interakcje ze współpracwnikami, interakcje z klientem
Kwestinariusz sbwy Główne bszary (zmienne) kwestinariusza: Pzim wykształcenia i edukacja pzafrmalna, Status na rynku pracy, Zarbki, Stan zdrwia, Zaangażwanie spłeczne i plityczne Wykrzystanie umiejętnści kgnitywnych i niekgnitywnych w życiu cdziennym i w pracy
Przykładwe bszary analiz 1. Identyfikacja mechanizmów zdbywania i utraty umiejętnści w tym również analiza zmiany prfili kwalifikacji w różnych grupach wieku. 2. Analiza dystrybucji i pzimu umiejętnści w spłeczeństwie w tym umiejętnści kgnitywnych z uwzględnieniem grup wyklucznych i analizy składwych umiejętnści czytania. 3. Umiejętnści jak determinanty sytuacji sób młdych na rynku pracy analiza ich przejścia z edukacji d zatrudnienia w dniesieniu d deklarwanych i psiadanych pzimów kmpetencji kgnitywnych i niekgnitywnych.
Przykładwe bszary analiz cd. 4. Zgdnść/rzdźwięk pmiędzy psiadaniem umiejętnści, a wykrzystywaniem ich w pracy. 5. Wykrzystanie umiejętnści w pracy w tym wskazanie luk wykształcenia i kwalifikacji raz identyfikacja barier pdnszenia kwalifikacji. 6. Umiejętnści pracy z kmputerem w dbie spłeczeństwa infrmacyjneg w tym nie tylk częsttliwść krzystania z kmputera, ale i zdlnść jednstek d przetwarzania i kmunikwania infrmacji w śrdwiskach nwych technlgii. 7. Ścieżki edukacyjne raz kształcenia zależnści d plityk państwa i instytucjnalnych uwarunkwań prównanie międzynardwe. 8. ITP
Spsób pmiaru Zalety Wady Kilka rdzajów pmiaru Złżnść metdlgii Rzróżnienie umiejętnści, samceny, mtywacji Różnrdnść dbrze przygtwanych skal Mżliwść prównań międzynardwych Czas trwania wywiadu Brak badania pracdawców Pmiar umiejętnści miękkich nie tak dkładny, jak twardych Łączliwść z wcześniejszymi badaniami międzynardwymi
Realizacja badania Reprezentatywnść Załżenia Narzędzie Próba Realizacja Trafnść Rzetelnść Błędy pmiaru Błędy pkrycia Współczynnik realizacji i zastępstwa Dane Jakiej są jakści? Wniski Wniski Czy uprawnine?
Narzędzie Próba Realizacja badania Błędy pmiaru Błędy pkrycia Kntrla współczynnika realizacji badania (liczba wywiadów zrealizwanych / liczebnść próby) W PIAAC w Plsce wynagrdzenie wyknawcy zależne d współczynnika realizacji Knsrcjum CBOS+OBOP zadeklarwały siągnięcie 68% Zastępwanie a pwiększanie próby Dane Wniski Zastępwanie zaburza lswść próby Pwiększanie próby nie zaburza lswści próby W PIAAC zastępwanie zabrnine we wszystkich krajach
Narzędzie Próba Realizacja badania Kntrla pracy ankieterów Błędy pmiaru Błędy pkrycia Nagrania dźwiękwe wywiadów Dane Kntakt z respndentem Wewnętrzna lub zewnętrzna Odsetek kntrli Wniski W PIAAC Kntrla zewnętrzna 20% zrealizwanych wywiadów kntakt sbisty 3-4 nagrania wywiadów każdeg z ankieterów
Pdsumwanie PIAAC jest przełmwym badaniem kmpetencji sób drsłych, w którym uczestniczą 23 kraje OECD. W badaniu weźmie udział reprezentatywna grupa sób w wieku 16-65 lat. Pierwsze wyniki dstępne będą w 2013 rku. Ocena umiejętnści prwadzna jest zarówn za pmcą narzędzi ceny bezpśredniej jaki i ceny deklaratywnej. Dstarczy szerkieg materiału badawczeg pzwalająceg na wyczerpujące analizy zjawisk w bszarze kapitału ludzkieg. Wspmże prjektwanie efektywnych i skierwanych d grup najbardziej ptrzebujących plityki z zakresu edukacji, rynku pracy raz pmcy spłecznej.
Dziękuję za uwagę.