Problem trafności metody EWD Artur Pokropek

Transkrypt

1 Problem trafności metody EWD Artur Pokropek Wydział Pedagogiczny UW Instytut Socjologii UW

2 Empiryczna analiza trafności Analiza trafności EWD na podstawie badań: Uczestnicy procesu egzaminacyjnego o egzaminie gimnazjalnym OKE Kraków Próba dobrana losowo 30 szkół, do których łącznie wysłano 2007 kwestionariuszy 1401 obserwacji z 24 szkół, co dało możliwość analizy 70 klas szkolnych Badanie trafności EWD 2006 Próba dobrana celowo A. gimnazja o niskich wynikach surowych i niskiej wartości EWD B. gimnazja o niskich wynikach surowych i wysokiej wartości EWD C. gimnazja o wysokich wynikach surowych i niskiej wartości EWD D. gimnazja o wysokich wynikach surowych i wysokiej wartości EWD Badania ankietowe objęły grupę 1920 uczniów (w 38 szkołach) i ich rodziców. Na ankietę odpowiedziało 1578 rodziców (82%), oraz 1576 uczniów (81%). Ostatecznie analizowanych odpowiedzi: 1098 uczniów (w 26 szkołach) i 843 ich opiekunów.

3 Podstawowe pytania Czy EWD jest związana z zasobami kulturowymi, społecznymi i materialnymi rodziny ucznia? Czy jakość pracy szkoły, w różnych aspektach, jest skorelowana ze wskaźnikiem EWD? Jakie specyficzne, niepożądane formy pracy szkoły skorelowane są z EWD?

4 Uczniowie i ich rodziny

5 Zmienne Zmienne zależne niezależne Edukacyjna wartość dodana (reszty) Część humanistyczna Część matematycznoprzyrodnicza Część humanistyczna Egzamin gimnazjalny Część matematycznoprzyrodnicza Model regresji A (1) B (2) A B A B A B Wskaźnik wykształcenia Rodziców 0,03 0,04 0,06 0,06 0,13 ** 0,12** 0,19** 0,18** Kapitał kulturowy 0,17** 0,17** 0,12** 0,12** 0,33 ** 0,33** 0,27** 0,27** Kapitał ekonomiczny -0,06-0,07* -0,08* -0,08-0,13 ** -0,12** -0,12** -0,10** Zaangażowanie wychowawcze rodziców Poziom zaangażowania wychowawczego rodziców w klasie ucznia 0,00 0,00-0,04-0,04 0,01 0,01-0,02-0,03 0,06-0,05-0,02-0,02-0,02-0,03-0,02-0,03 KSEK 0,08 0,18* 0,06 0,08 0,13 ** 0,06 0,11** -0,01 Średnia wyniku sprawdzianu po szkole podstawowej dla klasy -0,19** -0,04 0,13** 0,22** R 2 skorygowane 0,03 0,06 0,02 0,02 0,17 0,18 0,14 0,18

6 Uczniowie i ich rodziny Wyniki, jakie uzyskano w obydwu badaniach, świadczą o tym, że EWD - w przeciwieństwie do surowych wyników egzaminu gimnazjalnego jest w niewielkim stopniu zależna od czynników związanych ze statusem społeczno-ekonomicznym rodziny ucznia.

7 Praca szkoły

8 Praca szkoły w opiniach rodziców (1) Wskaźnik oceny nauczania Wskaźnik oparty na ocenach opiekunów uczniów oparty jest na ustosunkowaniu respondenta do pytania: Czy zgadza się Pani/Pan z poniższymi stwierdzeniami dotyczącymi obecnej szkoły córki/syna? Nauczyciele sprawiedliwie oceniają uczniów. W szkole kładzie się duży nacisk na wyniki w nauce. Uczniowie znają wymagania nauczycieli. Szkoła uczy samodzielnego zdobywania wiedzy. Szkoła potrafi rozbudzić zainteresowania uczniów. Szkoła dobrze przygotowuje do egzaminu. Szkoła dobrze przegotowuje do przyszłej pracy zawodowej. Szkoła dobrze przygotowuje do dalszej nauki. Szkoła zapewnia pomoc dzieciom, które nie dają sobie rady z nauką. Szkoła zapewnia możliwość rozwoju uczniom zdolnym. Średnia wartość wskaźnika 33 32, , , ,5 29 niskie EWD wysokie EWD niskie EWD wysokie EWD niski wynik egzaminu wysoki wynik egzaminu

9 Praca szkoły w opiniach rodziców (2) Wskaźnik oceny funkcji wychowawczej szkoły Wskaźnik oparty jest na ustosunkowaniu się respondenta do pytania: Czy zgadza się Pani/Pan z poniższymi stwierdzeniami dotyczącymi obecnej szkoły córki/syna? Nauczyciele lubią młodzież. Szkoła uczy systematyczności. Nauczyciele interesują się problemami dzieci. Szkoła uczy odpowiedzialności. Szkoła uczy porządku i przestrzegania zasad. Szkoła stara się pomóc dzieciom z rodzin mniej zamożnych. Średnia wartość wskaźnika 20, , , ,5 niskie EWD wysokie EWD niskie EWD wysokie EWD niski wynik egzaminu wysoki wynik egzaminu

10 Praca szkoły w opiniach uczniów (1) Wskaźnik nauczania do autonomii Wskaźnik został oparty na ustosunkowaniu respondenta do pytań: Jak sądzisz, czy Twoja obecna szkoła pomaga Ci rozwinąć umiejętność samodzielnego myślenia? pomaga Ci rozwinąć umiejętność sprawnego uczenia się? pomaga Ci rozwinąć umiejętność samodzielnego zdobywania informacji? rozbudza Twoje zainteresowania? uczy Cię współdziałać z innymi przy realizowaniu wspólnych zadań? pomaga Ci rozwinąć umiejętność wyrażania własnych myśli i poglądów? Średnia wartość wskaźnika 13,4 13, ,8 12,6 12,4 12, ,8 11,6 niskie EWD wysokie EWD niskie EWD wysokie EWD niski wynik egzaminu wysoki wynik egzaminu

11 Praca szkoły w opiniach uczniów (2) Wskaźnik klimatu wychowawczego Wskaźnik oparty jest na ustosunkowaniu się respondenta do pytań: Czy nauczyciele w Twojej szkole potrafią porozumieć się z uczniami? wytwarzają atmosferę wzajemnego zaufania? zachowują się fair i z wyczuciem w stosunku do uczniów? dyskutują otwarcie z uczniami o problemach i konfliktach? wystawiają uczniom sprawiedliwe oceny? nie faworyzują żadnych uczniów? chętnie odpowiadają na pytania uczniów? zmuszają do intensywnej pracy na lekcji? Średnia wartość wskaźnika 17,6 17,4 17, ,8 16,6 16,4 16,2 16 niskie EWD wysokie EWD niskie EWD wysokie EWD niski wynik egzaminu wysoki wynik egzaminu

12 Praca szkoły inne wyniki Analiza wyników z 2005 r. pokazała, iż dodatkowe, bezpłatne zajęcia odbywające się w szkole pozytywnie wpływają na jej EWD. Z analizy przeprowadzonej w 2006 r. wynika, że grupę szkół o wysokich wynikach egzaminu gimnazjalnego, lecz niskim EWD, charakteryzował wysoki poziom fluktuacji nauczycieli. Duża część wskaźników zbudowanych na opiniach rodziców wskazuje na trafność EWD. Przeważająca cześć wskaźników związanych z oceną pracy szkoły przez uczniów nie pozwala na uznanie EWD za trafny wskaźnik ogólnej jakości nauczania.

13 Specyficzne typy pracy szkoły

14 Specyficzne typy pracy szkoły Wskaźnik korepetycji 0,35 0,3 Wskaźnik został oparty na ustosunkowaniu się respondenta do pytań: Czy bierzesz korepetycje z języka polskiego? Średnia wartość wskaźnika 0,25 0,2 0,15 0,1 z matematyki? 0,05 z biologii? 0 niskie EWD wysokie EWD niskie EWD wysokie EWD z chemii? niski wynik egzaminu wysoki wynik egzaminu z fizyki? z innych przedmiotów?

15 Specyficzne typy pracy szkoły (2) Wskaźnik nauczania pod testy 17 16,5 Wskaźnik ten został oparty na ustosunkowaniu się respondenta do pytania: Czy w tym roku szkolnym na lekcjach w szkole rozwiązywałaś(łeś) całe testy lub wybrane zadania podobne do egzaminacyjnych? Średnia wartość wskaźnika 16 15, , ,5 13 niskie EWD wysokie EWD niskie EWD wysokie EWD niski wynik egzaminu wysoki wynik egzaminu

16 Podsumowanie (1) Badania nad trafnością metody EWD w odniesieniu do gimnazjów wykazały, że miary efektywności nauczania wykorzystujące metodę EWD są zdecydowanie słabiej w stosunku do nieprzetworzonych wyników egzaminów powiązane z uwarunkowaniami środowiskowymi pracy szkoły. Kontrola wpływu czynników środowiskowych pozwala traktować EWD jako zdecydowanie lepszą miarę efektywności nauczania.

17 Podsumowanie (2) Brak mocnych argumentów na rzecz prawomocności uogólniania znaczenia wskaźnika EWD na całość procesu dydaktycznego. Badania wskazały, że istnieją znaczące korelacje EWD z niezależnymi miarami jakości nauczania, ale pokazały również, że wiele empirycznych wskaźników jakości opartych na opiniach i ocenach uczniów i rodziców nie potwierdza jednoznacznie przewagi miar EWD nad surowymi wynikami egzaminów. Dopóki dalsze badania nie dostarczą mocnych przesłanek dla takich uogólnień, należy wskaźniki EWD interpretować jako miarę efektywności nauczania w zakresie sprawdzanym na egzaminach zewnętrznych.

18 Dziękuję za uwagę Artur Pokropek