Kontekstowe modele efektywności nauczania po I etapie edukacyjnym

Transkrypt

1 Kontekstowe modele efektywności nauczania po I etapie edukacyjnym Aleksandra Jasińska (a.jasinska@ibe.edu.pl) Instytut Badań Edukacyjnych ul. Górczewska Warszawa Czy dobrze uczymy? Metody oceny efektywności nauczania w szkołach podstawowych Warszawa,

2

3 Dane Badanie podłużne w szkołach podstawowych Projekt Badania dotyczące metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) realizowany obecnie przez Instytut Badań Edukacyjnych Ogólnopolska, losowa próba 180 szkół (312 oddziałów) Badanie rozpoczęte w roku szkolnym 2009/10 w I klasach SP POMIARY I klasa płeć wiek SES (wykształcenie rodziców, status społeczny, zasoby materialne rodziny) aspiracje rodziców struktura rodziny inteligencja początek IV klasy osiągnięcia szkolne: test umiejętności czytania, świadomości językowej i umiejętności matematycznych

4 Jak liczbowo ująć zróżnicowanie międzyszkolne? Zróżnicowanie 0% 50% międzyszkolne Przykład zaczerpnięty z: Dolata (2013)

5 Zróżnicowanie międzyszkolne wyników nauczania po I etapie kształcenia 100% 90% 8,6% 11,8% 10,5% 80% 70% 60% 50% 40% 30% 20% 10% 91,4% 88,2% 89,5% zróżnicowanie międzyszkolne zróżnicowanie wewnątrzszkolne 0% test umiejętności czytania test świadomości językowej test umiejętności matematycznych

6 Zróżnicowanie międzyszkolne wyników nauczania po I etapie kształcenia umiejętności matematyczne

7 średni wynik w teście Zróżnicowanie międzyszkolne wyników nauczania po I etapie kształcenia umiejętności matematyczne

8 Czy wynik w teście osiągnięć jest dobrą miarą efektywności nauczania? Czy oznacza to, że szkoły, które osiągnęły średnio wyższe wyniki uczyły efektywniej niż te, które uzyskały słabsze rezultaty w testach? Niekoniecznie. Wyniki w testach osiągnięć zależą bowiem również od takich cech uczniów, czy środowiska lokalnego, na które szkoła nie ma wpływu. Gdyby wszystkie szkoły w Polsce pracowały z uczniami o takich samych cechach mających znaczenie dla ich osiągnięć oraz w takim samym otoczeniu społecznym, to wyniki testów osiągnięć faktycznie mogłyby być dobrą miarą efektywności nauczania. Każda szkoła miałaby bowiem taką samą szansę na osiągnięcie wysokich wyników. Czy tak jednak jest?

9 Zróżnicowanie międzyszkolne cech uczniów mających znaczenie dla osiągnięć szkolnych wiek inteligencja wykształcenie rodziców HSIOPS HISEI zasobność rodziny aspiracje rodziców 3,2% 19,2% 20,7% 13,8% 20,4% 15,1% 11,5% 0% 50% 100% wariancja międzyszkolna wariancja wewnątrzszkolna

10 Zróżnicowanie międzyszkolne cech uczniów mających znaczenie dla osiągnięć szkolnych Szkole, która jest zlokalizowana w bardziej sprzyjającym środowisku łatwiej będzie wypracować wysokie wyniki w testach osiągnięć, niż takiej, która pracuje w trudniejszych warunkach. > Dlatego, by ocenić wkład szkoły w wyniki uczniów (efektywność nauczania), powinniśmy porównywać ze sobą szkoły pracujące z podobnymi uczniami.

11 Idea szacowania kontekstowych wskaźników efektywności nauczania Średni wynik testu w szkole X Wskaźnik efektywności nauczania Średni wynik testu w szkołach statystycznie podobnych do szkoły X ze względu na cechy uczniów mające znaczenie dla osiągnięć szkolnych.

12 Idea szacowania kontekstowych wskaźników efektywności nauczania 110

13 Idea szacowania kontekstowych wskaźników efektywności nauczania

14 Idea szacowania kontekstowych wskaźników efektywności nauczania

15 Idea szacowania kontekstowych wskaźników efektywności nauczania

16 Jakie cechy uczniów, opisujące kontekst pracy szkoły, możemy brać pod uwagę? 1) Tradycyjne modele edukacyjnej wartości dodanej: uprzednie osiągnięcia szkolne (ewentualnie dodatkowe zmienne kontekstowe) 2) Wszystkie mające znaczenie dla osiągnięć szkolnych, dostępne w przeprowadzonym badaniu (wyczerpujący model efektywności nauczania) 3) Tylko łatwo mierzalne, ale równocześnie wystarczająco dobrze opisujące kontekst pracy szkoły

17 Jakie cechy uczniów, opisujące kontekst pracy szkoły, możemy brać pod uwagę? 1) Tradycyjne modele edukacyjnej wartości dodanej: uprzednie osiągnięcia szkolne (ewentualnie dodatkowe zmienne kontekstowe) 2) Wszystkie mające znaczenie dla osiągnięć szkolnych, dostępne w przeprowadzonym badaniu (wyczerpujący model efektywności nauczania) 3) Tylko łatwo mierzalne, ale równocześnie wystarczająco dobrze opisujące kontekst pracy szkoły

18 Jakie cechy uczniów, opisujące kontekst pracy szkoły, wzięto pod uwagę? Status rodziny pochodzenia ucznia Wykształcenie rodziców Liczba książek Aspiracje rodziców względem wykształcenia ich dzieci Wiek ucznia (wraz z informacją, czy jest on uczniem z głównego rocznika, czy jest starszy lub młodszy) Płeć ucznia Średnie wykształcenie rodziców uczniów w szkole

19 Idea szacowania kontekstowych wskaźników efektywności nauczania Średni wynik testu w szkole X Wskaźnik efektywności nauczania Średni wynik testu w szkołach statystycznie podobnych do szkoły X ze względu na: płeć i wiek uczniów wykształcenie rodziców aspiracje rodziców liczbę książek średni poziom wykształcenia rodziców uczniów w szkole

20 Jakie wskaźniki? Umiejętność czytania Kontekstowe wskaźniki efektywności nauczania Świadomość językowa Umiejętności matematyczne

21 Model wyczerpujący, a przez nas wykorzystany Model kontekstowy wyczerpujący Status rodziny pochodzenia ucznia Wykształcenie rodziców Prestiż zawodu Zasobność materialna rodziny Aspiracje rodziców Wiek ucznia Płeć ucznia Inteligencja Struktura rodziny Średnie wykształcenie rodziców uczniów w szkole Średnia inteligencja uczniów w szkole Model kontekstowy uproszczony Status rodziny pochodzenia ucznia Wykształcenie rodziców Liczba książek Aspiracje rodziców Wiek ucznia Płeć ucznia Średnie wykształcenie rodziców uczniów w szkole

22 Współczynnik korelacji 0,3 0,25 0,2 0,15 0,1 0,05 0 Korelacja = 1 0 0,05 0,1 0,15 0,2 0,25 0,3

23 Współczynnik korelacji 1,2 1 0,8 0,6 0,4 0,2 0 Korelacja = 0 0 0,2 0,4 0,6 0,8 1 1,2

24 model kontekstowy uproszczony Model wyczerpujący, a przez nas wykorzystany Korelacja = 0,96 model kontekstowy wyczerpujący

25 model kontekstowy uproszczony Model wyczerpujący, a przez nas wykorzystany Korelacja = 0,97 model kontekstowy wyczerpujący

26 model kontekstowy uproszczony Model wyczerpujący, a przez nas wykorzystany Korelacja = 0,95 model kontekstowy wyczerpujący

27 Wskaźnik efektywności nauczania jest miarą względną, pokazującą czy dana szkoła osiąga wyższe, czy niższe wyniki niż inne placówki pracujące z podobnymi uczniami. Nie mówi ona jednak, jaki jest poziom wiedzy uczniów.

28 Dwa podejścia do wskaźników ewaluacyjnych 1. Wskaźniki bezwzględne: Co uczniowie umieją (lub nie)? Czy opanowali wymagane wiadomości i umiejętności? Nominalnie można oczekiwać, że wszyscy przekroczą zakładany próg Wskaźniki efektywności nauczania 2. Wskaźniki względne. Jak uczniowie wypadają na tle innych, podobnych do nich uczniów? Punktem odniesienia jest analizowana grupa. Zawsze znajdziemy lepszych i gorszych. Nie mamy jednak informacji o zmianie w średnim poziomie wyników.

29 Jeśli wskaźniki efektywności nauczania nie mówią, czego uczniowie się nauczyli, to do czego mogą być przydatne? Stwarzają możliwość wyróżnienia szkół pracujących szczególnie efektywnie i szczególnie nieefektywnie: identyfikacja na tej podstawie dobrych i złych praktyk nagradzanie wysokoefektywnych (zachęta) kierowanie pomocy do niskoefektywnych Stwarzają możliwość oceny skuteczności stosowanych przez szkołę praktyk edukacyjnych

30 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania? O ile średnio punktów więcej/mniej uzyskali uczniowie szkoły, w porównaniu do szkół statystycznie podobnych

31 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania? O ile średnio punktów więcej/mniej uzyskali uczniowie szkoły, w porównaniu do szkół statystycznie podobnych

32 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania? O ile średnio punktów więcej/mniej uzyskali uczniowie szkoły, w porównaniu do szkół statystycznie podobnych

33 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

34 średnia efektywność nauczania Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

35 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

36 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

37 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

38 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

39 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

40 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

41 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

42 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

43 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

44 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

45 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

46 Jak komunikujemy kontekstowe wskaźniki efektywności nauczania?

47 Zależność od statusu rodziny ucznia (średnie wykształcenie rodziców)

48 Warunki dla wyliczania takich wskaźników dla I etapu edukacyjnego Dobry pomiar osiągnięć szkolnych po III klasie szkoły podstawowej. Badanie na reprezentatywnej próbie szkół, którego wyniki posłużyłyby do wyliczenia modeli i ustalenia punktu odniesienia do porównań dla innych szkół. Dla pozostałych szkół pomiar dobrowolny. Dane o uczniach (cechy kontekstowe) zbierane i przechowywane przez szkoły oraz dołączane do wyników pomiarów osiągnięć szkolnych. Zebrane przez szkołę dane mogłyby być wprowadzane do specjalnie przygotowanej aplikacji, w której zaimplementowano uprzednio modele efektywności nauczania, wyliczone na podstawie danych z badania na reprezentatywnej próbie. Szkoły mogłyby analizować efektywność nauczania w szkole lub dla dowolnych grup uczniów, bez wysyłania danych do jednostki zarządzającej tym procesem.

49 Źródło: Dziękuję za uwagę. Instytut Badań Edukacyjnych ul. Górczewska 8, Warszawa tel.: (22) ,