Organizacja i metodologia badania Ścieżki rozwoju edukacyjnego młodzieży szkoły pogimnazjalne Marek Smulczyk, Akademia Pedagogiki Specjalnej dr Jacek Haman, Uniwersytet Warszawski
Agenda: 1. Informacje o badaniu panelowym 2. Metodologia i realizacja badania 3. Narzędzia badawcze 4. Próba i jej realizacja 5. Podsumowanie
O projekcie: Rozwój systemu egzaminów zewnętrznych priorytet: Wysoka jakość edukacji, Program Operacyjny Kapitał Ludzki Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) Ścieżki rozwoju edukacyjnego młodzieży szkoły pogimnazjalne ( Dalsza Nauka i Praca, DNiP)
O projekcie: Beneficjent: Wykonawca: Czas trwania projektu: czerwiec 2009 lipiec 2013
Cele projektu: wykorzystywania wyników egzaminów zewnętrznych do oceny efektywności nauczania pozyskanie danych, umożliwiających budowę modeli opisujących trajektorie edukacyjne uczniów, przy kontroli czynników indywidualnych, rodzinnych i szkolnych wypracowanie różnych metod szacowania EWD badanie trafności wskaźnika EWD
Model uwarunkowań osiągnięć szkolnych opracowany na potrzeby badania Dalsza Nauka i Praca Cechy indywidualne ucznia: inteligencja ogólna, kompetencje społeczne, samoocena, poczucie własnej skuteczności, etc. środowisko rodzinne ucznia: pozycja społeczna rodziny, struktura rodziny, kapitał ekonomiczny rodziny środowisko rówieśnicze ucznia: efekt rówieśników środowisko szkolne ucznia: liczba lat nauczania, planowa liczba godzin, efektywnie wykorzystana liczba godzin, nieobecność ucznia w szkole Uprzednie osiągnięcia szkolne i doświadczenia edukacyjne Etapowe osiągnięcia szkolne Końcowe osiągnięcia szkolne czas
Specyfika panelu: PISA 2009 opcja narodowa marzec 2009 pierwszy pomiar wiadomości i umiejętności uczniów Badanie panelowe jest kontynuacja badania uczniów którzy wzięli udział w badaniu PISA 2009 opcja narodowa Badanie ma 2 komponenty: ilościowy i jakościowy, badano czynniki szkolne i pozaszkolne
Specyfika panelu: Badaniem objęto: uczniów, rodziców, nauczycieli, dyrektorów szkół, personel szkolny, lokalne władze Badanie przeprowadzono na próbie: 100 liceów ogólnokształcących, 60 techników (w tym kilka liceów profilowanych), 40 zasadniczych szkół zawodowych
Realizacja badania Etap I pomiar narzędziami PISA marzec 2009 Test PISA, Ankieta ucznia, Ankieta szkoły oraz Ankieta rodziców Etap II Pomiar uwarunkowań indywidualnych jesień 2009 Test Matryc Ravena (TMR), Kwestionariusz Kompetencji Społecznych (KKS), oraz Kwestionariusz Nadziei na Sukces (KNS) Etap III powtórzony pomiar narzędziami PISA oraz pomiar uwarunkowań indywidualnych i kontekstowych kwiecień 2010 Test PISA, Skala Samooceny Roesenberga (RSES), Inwentarz Stanu i Cechy Lęku (STAI) Kwestionariusza Ucznia Ty i Twoi Rówieśnicy, Ankieta Nauczyciela, Kwestionariusza Siatka zajęć
Realizacja badania Etap IV badanie jakościowe w liceach ogólnokształcących: październik listopad 2010 wywiady indywidualne (IDI), grupowe (FGI) oraz obserwacja Etap V scalanie danych egzaminacyjnych: czerwiec 2011 wrzesień 2012 Wyniki egzaminów zewnętrznych (sprawdzian szóstoklasisty, egzamin gimnazjalny, matura, egzamin zawodowy)
Narzędzia badawcze Pomiar wiadomości i umiejętności uczniów Powtórzony pomiar testem z badania PISA OECD (Programme for International Student Assessment) W badaniu z roku 2009 przetestowane zostały 3 dziedziny wiedzy uczniów: Czytanie i interpretacja (Reading) Matematyka (Mathematics) Rozumowanie w naukach przyrodniczych (Science) Reading: dziedzina główna badania PISA 2009: Wyszukiwanie informacji (access and retrieve) Interpretacja (integrate and interpret) Ocena (reflect and evaluate)
Narzędzia badawcze Pomiar czynników indywidualnych Nazwa narzędzia Autor Rzetelność w badaniu Test Matryc Ravena (TMR) J. Raven α = 0,92 Kwestionariusz Kompetencji Społecznych (KKS) A. Matczak α = 0,94 Skala Samooceny (RSES) M. Rosenberg α = 0,83 Kwestionariusz Nadziei na Sukces (KNS) Inwentarza Stanu i Cechy lęku (STAI) C. Snyder α = 0,82 Ch. Spielberger, R L. Gorsuch, R E. Lushene podskala X-1: lęk stan α = 0,87 podskalax-2: lęk cecha α = 0,85
Ankieta Ucznia Narzędzia badawcze Pomiar zmiennych kontekstowych Ankieta Rodziców Ankieta Szkoły Kwestionariusz Ucznia Ty i Twoi Rówieśnicy Kwestionariusz Nauczyciela Kwestionariusz Siatka zajęć
Badanie jakościowe analiza przypadków w liceach ogólnokształcących Badaniem objęto wylosowanych 30 szkół Konfrontacja danych na temat wskaźnika EWD (uzyskanego z podejścia ilościowego) z danymi pozyskanymi za pomocą technik jakościowych: obserwacji, wywiadów pogłębionych z dyrektorami szkół, nauczycielami, pracownikami administracji, rodzicami, przedstawicielami władz lokalnych oraz wywiadów grupowych z uczniami wywiady indywidualne (Individual In-Depth-Interview; IDI), grupowe (Focus Group Interview; FGI) oraz obserwacja
Próba i jej realizacja Jacek Haman Instytut Socjologii Uniwersytetu Warszawskiego
Próba Liczba uczniów w populacji docelowej Liczba wylosowanych oddziałów Liczba uczniów wylosowanych do próby Licea Ogólnokształcące Średnie szkoły zawodowe (technika i LP) Zasadnicze szkoły zawodowe Razem 223.000 170.500 96.900 500.400 100 60 40 200 3.049 1.698 1.176 5.923 Warstwy explicite: typ szkoły Losowanie systematyczne z warstwowaniem implicite (z uwzględnieniem: publiczności szkoły, wielkości miejscowości, wielkości szkoły) Prawdopodobieństwo wylosowania szkoły proporcjonalne do liczby oddziałów Jednostka losowania: szkoła, a ściślej jeden oddział klasy I W przypadku niedostępności szkoły z próby zasadniczej wykorzystanie wylosowanej szkoły zastępczej (w 10 przypadkach) Właściwy udział typów szkół w próbie zapewniony w procedurze ważenia danych
Realizacja próby i wymieranie panelu LO Technika i LP ZSZ Razem Wylosowanych 3049 1698 1176 5923 100% 100% 100% 100% Pomiar I: wiosna 2009 (ON PISA) 2685 1444 822 4951 88% 85% 70% 84% Pomiar 2: jesień 2009 2272 1126 643 4041 75% 66% 55% 68% Pomiar 3: wiosna 2010 2276 1114 602 3992 Wzięli udział we wszystkich trzech pomiarach 75% 66% 51% 67% 2010 985 479 3474 66% 58% 41% 59%
Wymieranie panelu: struktura próby po ważeniu Pomiar I: wiosna 2009 (ON PISA) zgodny z rozkładem populacyjnym LO Technika i LP ZSZ Razem 44,9% 35,8% 19,3% 100,0% Pomiar 2: jesień 2009 46,3% 34,5% 19,2% 100,0% Pomiar 3: wiosna 2010 47,2% 34,9% 17,9% 100,0% Wzięli udział we wszystkich trzech pomiarach 48,6% 36,0% 15,5% 100,0% Nierównomierność w poziomie realizacji w 2009 w różnych typach szkół korygowana poprzez ważenie Nierównomierność tempa wymierania panelu niekorygowana, ale nie ma znaczącego wpływu na wyniki
Wymieranie panelu a poziom kompetencji badanych uczniów Egzamin gimnazjalny, część matematyczno-przyrodnicza LO LP Technikum ZSZ Ogółem Wszyscy (w tym niebiorący udziału w żadnym z etapów DNiP) 32,80 23,61 25,38 17,18 27,52 Wziął udział w ON PISA 32,96 24,21 25,90 17,26 28,22 Wziął udział w pomiarze DNiP 2009 33,40 23,73 26,28 17,52 28,83 Wziął udział w DNiP 2010 33,37 24,21 26,35 17,53 28,97 Uczestniczył we wszystkich pomiarach 33,44 24,16 26,55 17,66 29,23 Odchylenie standardowe 9,257 8,036 8,321 6,209 10,426 W przypadku innych możliwych do kontrolowania miar kompetencji (egzamin gimnazjalny część humanistyczna oraz dla uczestników ON PISA wyniki testów PISA) związek między poziomem kompetencji a wypadaniem/pozostawaniem w próbie kształtował się podobnie
Schemat doboru i wielkość próby a jej efektywność N E se sd Eta 2 typ Eta 2 oddz. SRSeq D eff Wynik testu 2009 z matematyki 4951 505,8 3,351 93,6 0,383 0,670 781 6,37 Ma w domu: własny pokój 4911 79,7% 0,59% 0,402 0,011 0,058 4642 1,06 Ma w domu: literaturę klasyczną 4911 77,3% 0,72% 0,419 0,131 0,196 3382 1,45 Ma w domu: książki naukowotechniczne Ma w domu: antenę satelitarną lub telewizję kablową 4911 80,0% 0,75% 0,400 0,029 0,088 2867 1,71 4911 73,5% 1,01% 0,441 0,004 0,093 1912 2,57 N - nominalna wielkość próby (z wyłączeniem osób, które nie udzieliły odpowiedzi na dane pytanie) E - średnia lub odsetek (dane ważone) sd - odchylenie standardowe (dane ważone) se - błąd standardowy oszacowany za pomocą metody Balanced Random Replicates w wariancie Fay a Eta 2 typ - udział wariancji międzygrupowej (między typami szkół) w całkowitej wariancji zmiennej (dane nieważone) Eta 2 oddział - udział wariancji międzyszkolnej (międzyoddziałowej) w całkowitej wariancji zmiennej (dane nieważone) SRSeq wielkość równoważnej prostej próby losowej (prostej niezależnej próby losowej, dla której oszacowanie parametru miałoby taki sam błąd standardowy) D eff efekt schematu doboru próby, proporcja wielkości zastosowanej próby do liczebności równoważnej prostej próby losowej
Podsumowanie: dostępność różnorodnych danych (jakościowe i ilościowe) standardy realizacji badania zaczerpnięte z programu OECD: PISA 2009 dostępność bazy danych (www.ifispan.waw.pl)
Raport z badania sierpień 2013
Dziękujemy za uwagę! Marek Smulczyk msmulczyk@ifispan.waw.pl Jacek Haman jhaman@is.uw.edu.pl