Organizacja i metodologia badania Ścieżki rozwoju edukacyjnego młodzieży szkoły pogimnazjalne

Transkrypt

1 Organizacja i metodologia badania Ścieżki rozwoju edukacyjnego młodzieży szkoły pogimnazjalne Marek Smulczyk, Akademia Pedagogiki Specjalnej dr Jacek Haman, Uniwersytet Warszawski

2 Agenda: 1. Informacje o badaniu panelowym 2. Metodologia i realizacja badania 3. Narzędzia badawcze 4. Próba i jej realizacja 5. Podsumowanie

3 O projekcie: Rozwój systemu egzaminów zewnętrznych priorytet: Wysoka jakość edukacji, Program Operacyjny Kapitał Ludzki Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) Ścieżki rozwoju edukacyjnego młodzieży szkoły pogimnazjalne ( Dalsza Nauka i Praca, DNiP)

4 O projekcie: Beneficjent: Wykonawca: Czas trwania projektu: czerwiec 2009 lipiec 2013

5 Cele projektu: wykorzystywania wyników egzaminów zewnętrznych do oceny efektywności nauczania pozyskanie danych, umożliwiających budowę modeli opisujących trajektorie edukacyjne uczniów, przy kontroli czynników indywidualnych, rodzinnych i szkolnych wypracowanie różnych metod szacowania EWD badanie trafności wskaźnika EWD

6 Model uwarunkowań osiągnięć szkolnych opracowany na potrzeby badania Dalsza Nauka i Praca Cechy indywidualne ucznia: inteligencja ogólna, kompetencje społeczne, samoocena, poczucie własnej skuteczności, etc. środowisko rodzinne ucznia: pozycja społeczna rodziny, struktura rodziny, kapitał ekonomiczny rodziny środowisko rówieśnicze ucznia: efekt rówieśników środowisko szkolne ucznia: liczba lat nauczania, planowa liczba godzin, efektywnie wykorzystana liczba godzin, nieobecność ucznia w szkole Uprzednie osiągnięcia szkolne i doświadczenia edukacyjne Etapowe osiągnięcia szkolne Końcowe osiągnięcia szkolne czas

7 Specyfika panelu: PISA 2009 opcja narodowa marzec 2009 pierwszy pomiar wiadomości i umiejętności uczniów Badanie panelowe jest kontynuacja badania uczniów którzy wzięli udział w badaniu PISA 2009 opcja narodowa Badanie ma 2 komponenty: ilościowy i jakościowy, badano czynniki szkolne i pozaszkolne

8 Specyfika panelu: Badaniem objęto: uczniów, rodziców, nauczycieli, dyrektorów szkół, personel szkolny, lokalne władze Badanie przeprowadzono na próbie: 100 liceów ogólnokształcących, 60 techników (w tym kilka liceów profilowanych), 40 zasadniczych szkół zawodowych

9 Realizacja badania Etap I pomiar narzędziami PISA marzec 2009 Test PISA, Ankieta ucznia, Ankieta szkoły oraz Ankieta rodziców Etap II Pomiar uwarunkowań indywidualnych jesień 2009 Test Matryc Ravena (TMR), Kwestionariusz Kompetencji Społecznych (KKS), oraz Kwestionariusz Nadziei na Sukces (KNS) Etap III powtórzony pomiar narzędziami PISA oraz pomiar uwarunkowań indywidualnych i kontekstowych kwiecień 2010 Test PISA, Skala Samooceny Roesenberga (RSES), Inwentarz Stanu i Cechy Lęku (STAI) Kwestionariusza Ucznia Ty i Twoi Rówieśnicy, Ankieta Nauczyciela, Kwestionariusza Siatka zajęć

10 Realizacja badania Etap IV badanie jakościowe w liceach ogólnokształcących: październik listopad 2010 wywiady indywidualne (IDI), grupowe (FGI) oraz obserwacja Etap V scalanie danych egzaminacyjnych: czerwiec 2011 wrzesień 2012 Wyniki egzaminów zewnętrznych (sprawdzian szóstoklasisty, egzamin gimnazjalny, matura, egzamin zawodowy)

11 Narzędzia badawcze Pomiar wiadomości i umiejętności uczniów Powtórzony pomiar testem z badania PISA OECD (Programme for International Student Assessment) W badaniu z roku 2009 przetestowane zostały 3 dziedziny wiedzy uczniów: Czytanie i interpretacja (Reading) Matematyka (Mathematics) Rozumowanie w naukach przyrodniczych (Science) Reading: dziedzina główna badania PISA 2009: Wyszukiwanie informacji (access and retrieve) Interpretacja (integrate and interpret) Ocena (reflect and evaluate)

12 Narzędzia badawcze Pomiar czynników indywidualnych Nazwa narzędzia Autor Rzetelność w badaniu Test Matryc Ravena (TMR) J. Raven α = 0,92 Kwestionariusz Kompetencji Społecznych (KKS) A. Matczak α = 0,94 Skala Samooceny (RSES) M. Rosenberg α = 0,83 Kwestionariusz Nadziei na Sukces (KNS) Inwentarza Stanu i Cechy lęku (STAI) C. Snyder α = 0,82 Ch. Spielberger, R L. Gorsuch, R E. Lushene podskala X-1: lęk stan α = 0,87 podskalax-2: lęk cecha α = 0,85

13 Ankieta Ucznia Narzędzia badawcze Pomiar zmiennych kontekstowych Ankieta Rodziców Ankieta Szkoły Kwestionariusz Ucznia Ty i Twoi Rówieśnicy Kwestionariusz Nauczyciela Kwestionariusz Siatka zajęć

14 Badanie jakościowe analiza przypadków w liceach ogólnokształcących Badaniem objęto wylosowanych 30 szkół Konfrontacja danych na temat wskaźnika EWD (uzyskanego z podejścia ilościowego) z danymi pozyskanymi za pomocą technik jakościowych: obserwacji, wywiadów pogłębionych z dyrektorami szkół, nauczycielami, pracownikami administracji, rodzicami, przedstawicielami władz lokalnych oraz wywiadów grupowych z uczniami wywiady indywidualne (Individual In-Depth-Interview; IDI), grupowe (Focus Group Interview; FGI) oraz obserwacja

15 Próba i jej realizacja Jacek Haman Instytut Socjologii Uniwersytetu Warszawskiego

16 Próba Liczba uczniów w populacji docelowej Liczba wylosowanych oddziałów Liczba uczniów wylosowanych do próby Licea Ogólnokształcące Średnie szkoły zawodowe (technika i LP) Zasadnicze szkoły zawodowe Razem Warstwy explicite: typ szkoły Losowanie systematyczne z warstwowaniem implicite (z uwzględnieniem: publiczności szkoły, wielkości miejscowości, wielkości szkoły) Prawdopodobieństwo wylosowania szkoły proporcjonalne do liczby oddziałów Jednostka losowania: szkoła, a ściślej jeden oddział klasy I W przypadku niedostępności szkoły z próby zasadniczej wykorzystanie wylosowanej szkoły zastępczej (w 10 przypadkach) Właściwy udział typów szkół w próbie zapewniony w procedurze ważenia danych

17 Realizacja próby i wymieranie panelu LO Technika i LP ZSZ Razem Wylosowanych % 100% 100% 100% Pomiar I: wiosna 2009 (ON PISA) % 85% 70% 84% Pomiar 2: jesień % 66% 55% 68% Pomiar 3: wiosna Wzięli udział we wszystkich trzech pomiarach 75% 66% 51% 67% % 58% 41% 59%

18 Wymieranie panelu: struktura próby po ważeniu Pomiar I: wiosna 2009 (ON PISA) zgodny z rozkładem populacyjnym LO Technika i LP ZSZ Razem 44,9% 35,8% 19,3% 100,0% Pomiar 2: jesień ,3% 34,5% 19,2% 100,0% Pomiar 3: wiosna ,2% 34,9% 17,9% 100,0% Wzięli udział we wszystkich trzech pomiarach 48,6% 36,0% 15,5% 100,0% Nierównomierność w poziomie realizacji w 2009 w różnych typach szkół korygowana poprzez ważenie Nierównomierność tempa wymierania panelu niekorygowana, ale nie ma znaczącego wpływu na wyniki

19 Wymieranie panelu a poziom kompetencji badanych uczniów Egzamin gimnazjalny, część matematyczno-przyrodnicza LO LP Technikum ZSZ Ogółem Wszyscy (w tym niebiorący udziału w żadnym z etapów DNiP) 32,80 23,61 25,38 17,18 27,52 Wziął udział w ON PISA 32,96 24,21 25,90 17,26 28,22 Wziął udział w pomiarze DNiP ,40 23,73 26,28 17,52 28,83 Wziął udział w DNiP ,37 24,21 26,35 17,53 28,97 Uczestniczył we wszystkich pomiarach 33,44 24,16 26,55 17,66 29,23 Odchylenie standardowe 9,257 8,036 8,321 6,209 10,426 W przypadku innych możliwych do kontrolowania miar kompetencji (egzamin gimnazjalny część humanistyczna oraz dla uczestników ON PISA wyniki testów PISA) związek między poziomem kompetencji a wypadaniem/pozostawaniem w próbie kształtował się podobnie

20 Schemat doboru i wielkość próby a jej efektywność N E se sd Eta 2 typ Eta 2 oddz. SRSeq D eff Wynik testu 2009 z matematyki ,8 3,351 93,6 0,383 0, ,37 Ma w domu: własny pokój ,7% 0,59% 0,402 0,011 0, ,06 Ma w domu: literaturę klasyczną ,3% 0,72% 0,419 0,131 0, ,45 Ma w domu: książki naukowotechniczne Ma w domu: antenę satelitarną lub telewizję kablową ,0% 0,75% 0,400 0,029 0, , ,5% 1,01% 0,441 0,004 0, ,57 N - nominalna wielkość próby (z wyłączeniem osób, które nie udzieliły odpowiedzi na dane pytanie) E - średnia lub odsetek (dane ważone) sd - odchylenie standardowe (dane ważone) se - błąd standardowy oszacowany za pomocą metody Balanced Random Replicates w wariancie Fay a Eta 2 typ - udział wariancji międzygrupowej (między typami szkół) w całkowitej wariancji zmiennej (dane nieważone) Eta 2 oddział - udział wariancji międzyszkolnej (międzyoddziałowej) w całkowitej wariancji zmiennej (dane nieważone) SRSeq wielkość równoważnej prostej próby losowej (prostej niezależnej próby losowej, dla której oszacowanie parametru miałoby taki sam błąd standardowy) D eff efekt schematu doboru próby, proporcja wielkości zastosowanej próby do liczebności równoważnej prostej próby losowej

21 Podsumowanie: dostępność różnorodnych danych (jakościowe i ilościowe) standardy realizacji badania zaczerpnięte z programu OECD: PISA 2009 dostępność bazy danych (

22 Raport z badania sierpień 2013

23 Dziękujemy za uwagę! Marek Smulczyk Jacek Haman