EDUKACYJNA WARTOŚĆ DODANA -nowe spojrzenie na wyniki egzaminów zewnętrznych w gimnazjach Jolanta Gołaszewska Na podstawie materiałów opracowanych przez Zespół EWD www.ewd.edu.pl
Co to jest metoda edukacyjnej wartości dodanej? Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. Wkład ten nazywamy Edukacyjną Wartością Dodaną. EWD jest miarą efektywności nauczania w danej szkole. R. Dolata
Dlaczego wyniki egzaminów końcowych nie są wystarczającą miarą efektywności nauczania? Wyniki egzaminacyjne uczniów zależą od trzech grup czynników: indywidualnych, takich jak zdolności, uprzednie osiągnięcia szkolne; społecznych, takich jak kapitał kulturowy i społeczny rodziny, wpływ grupy rówieśniczej; szkolnych, takich jak kwalifikacje i zaangażowanie nauczycieli, metody nauczania, warunki nauczania. R. Dolata
Dlaczego wyniki egzaminów końcowych nie są wystarczającą miarą efektywności nauczania? Wykres 1. Czynniki wpływające na wyniki egzaminu a ocena efektywności nauczania R. Dolata
Skutki wykorzystania nieprzetworzonych wyników egzaminów jako miary efektywności nauczania Fałszywe sygnały efektywności np. informacja tylko o wyniku w wysokim staninie może uśpić czujność szkoły. Wysokie wyniki nie zawsze oznaczają, że szkoła ma wysoką efektywność nauczania i odwrotnie. Zachęta do kontroli wejścia ocenianie tylko na podstawie wyniku zewnętrznego może zachęcić do selekcji uczniów. Szkoła osiągająca wysokie wyniki, co roku przyjmuje tylko dobrych uczniów, spija śmietankę. Różnicowanie się, w założeniu jednolitego, powszechnego systemu oświaty publicznej szkoły różnicują się, biorąc pod uwagę wyniki na wyjściu. R. Dolata
Skutki wykorzystania nieprzetworzonych wyników egzaminów jako miary efektywności nauczania GIMNAZJUM A GHU Wykres 2. Wyniki szkoły w standardowej skali dziewięciostopniowej (staninowej) www.oke.lomza.com
Skutki wykorzystania nieprzetworzonych wyników egzaminów jako miary efektywności nauczania GIMNAZJUM A GHU GHU Wykres 3. Edukacyjna wartość dodana 2009 (z 95 % przedziałem ufności) www.oke.lomza.com Wykres 4. Pozycja szkoły ze względu na trzyletnie wskaźniki wyniku końcowego iedukacyjnej wartości dodanej. Wskaźniki obliczone na podstawie wyników egzaminacyjnych z lat 2007-2009 www.cke.scholaris.pl
Skutki wykorzystania nieprzetworzonych wyników egzaminów jako miary efektywności nauczania GIMNAZJUM B GHU Wykres 5. Wyniki szkoły w standardowej skali dziewięciostopniowej (staninowej) www.oke.lomza.com
Skutki wykorzystania nieprzetworzonych wyników egzaminów jako miary efektywności nauczania GIMNAZJUM B GHU GHU Wykres 6. Edukacyjna wartość dodana 2009 (z 95 % przedziałem ufności) www.oke.lomza.com Wykres 7. Pozycja szkoły ze względu na trzyletnie wskaźniki wyniku końcowego iedukacyjnej wartości dodanej. Wskaźniki obliczone na podstawie wyników egzaminacyjnych z lat 2007-2009 www.cke.scholaris.pl
Metoda edukacyjnej wartości dodanej - idea ogólna Zasoby dane Zasoby wypracowane Końcowy poziom osiągnięć R. Dolata
Metoda edukacyjnej wartości dodanej - idea ogólna Wyniki na sprawdzianie trzyletni okres nauczania wkład gimnazjum w wynik końcowy Wyniki egzaminu gimnazjalnego R. Dolata
Prosty model EWD: reszty z równania regresji krzywa regresji (linia przewidywanego wyniku) A B Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 pkt Wykres 8.Zależność między wynikami na sprawdzianie 2002 a wynikami tych samych uczniów 3 lata później na egzaminie gimnazjalnym w części matematyczno-przyrodniczej R. Dolata
Reszta z równania regresji to różnica między realnym wynikiem ucznia na egzaminie gimnazjalnym a wartością oczekiwaną obliczoną na podstawie wyniku na sprawdzianie i wartości zmiennych kontrolnych płci i dysleksji. Wskaźnik EWD obliczamy uśredniając reszty dla danej szkoły(lub innej analizowanej grupy uczniów). Średnia reszt wynosi dla wszystkich uczniów w kraju zero. Wskaźnik EWD ma wartość względną. R. Dolata
Relacja między wynikami egzaminacyjnymi a edukacyjną wartością dodaną GMP=26,45, stanin - wysoki EWD =-2,95, stanin - niski, 12 centyl GH=34,97, stanin - wyżej średni EWD =-2,59, stanin - niski, 14 centyl Wykres 9. Wynik egzaminu a edukacyjna wartość dodana dla przykładowego gimnazjum R. Dolata
Precyzja szacowania edukacyjnej wartości dodanej Wykres 10. EWD i 95 % przedziały ufności. Porównanie Gimnazjum 1. i 2. R. Dolata
Dlaczego wskaźnik trzyletni? Jest szacowany (i rysowany) na podstawie trzyletniej puli wyników. Jest mniej podatny na jednorazowe statystyczne kaprysy. Uwzględnia wyniki egzaminu gimnazjalnego i EWD dla gimnazjum. Uwzględnia niepewność pomiarową zarówno dla EWD jak i dla wyniku końcowego. Wyniki przedstawione są na skali znormalizowanej o średniej 100 i odchyleniu standardowym 15. EWD przedstawione jest na skali znormalizowanej o średniej 0 i odchyleniu standardowym 5.
Elipsy dla populacji szkół EWD -10-5 0 5 10 8 0 90 1 00 1 10 1 20 Eg za min gi mn azj al ny (G H) Artur Pokropek, Interpretacja trzyletnich wskaźników EWD, 2009
Normalizacja i standaryzacja Egzamin 1 Egzamin 2 Egzamin 3 Wyniki pierwotne Artur Pokropek, Interpretacja trzyletnich wskaźników EWD, 2009
Normalizacja i standaryzacja Egzamin 1 Egzamin 2 Egzamin 3 Wyniki pierwotne Wyniki znormalizowane Artur Pokropek, Interpretacja trzyletnich wskaźników EWD, 2009
Normalizacja i standaryzacja Egzamin 1 Egzamin 2 Egzamin 3 Wyniki pierwotne Wyniki znormalizowane Wyniki po przejściach Artur Pokropek, Interpretacja trzyletnich wskaźników EWD, 2009
Elipsy dla populacji szkół 5 10 90% szkół EWD -10-5 0 50% szkół 8 0 90 1 00 1 10 1 20 Eg za min gi mn azj al ny (G H) Artur Pokropek, Interpretacja trzyletnich wskaźników EWD, 2009
Pozycja szkoły ze względu na trzyletnie wskaźniki wyniku końcowego i edukacyjnej wartości dodanej Gimnazjum X, część humanistyczna www.cke.scholaris.pl
Przestrzeń wyników SZKOŁY WSPIERAJĄCE gimnazja o niskich wynikach egzaminacyjnych ale wysokiej efektywności SZKOŁY SUKCESU gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania SZKOŁY NEUTRALNE gimnazja, w których notujemy zarówno średni poziom wyników egzaminacyjnych, jak i przeciętną w skali kraju efektywność. SZKOŁY WYMAGAJĄCE POMOCY gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania SZKOŁY NIEWYKORZYSTANYCH MOŻLIWOŚCI gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania Artur Pokropek, Interpretacja trzyletnich wskaźników EWD, 2009
Gimnazjum A część matematyczno-przyrodnicza Gimnazjum B część matematyczno-przyrodnicza www.cke.scholaris.pl
Gimnazjum C część matematyczno-przyrodnicza Gimnazjum D część matematyczno-przyrodnicza www.cke.scholaris.pl
Gimnazjum E część humanistyczna Gimnazjum E część matematyczno-przyrodnicza www.cke.scholaris.pl
Gimnazjum F część matematyczno-przyrodnicza Gimnazjum G część matematyczno-przyrodnicza www.cke.scholaris.pl
Pojawia się wykres, pod wykresem komentarz: W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brakuje ponad 10% danych. Może to być wynikiem problemów z połączeniem wyniku gimnazjalnego ze sprawdzianem lub dużą liczbą uczniów drugorocznych w szkole. W związku z tym wyznaczenie pozycji szkoły na wykresie może być mniej precyzyjne. Brak wykresu, pojawia się tylko komentarz: W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej dla tego gimnazjum wykryliśmy znaczące niespójności. Są one prawdopodobnie wynikiem niedoskonałości procedury łączenia danych lub przekłamań w kodzie egzaminacyjnym szkoły. Ze względu na możliwość złego oszacowania wartości wskaźników dla szkoły nie publikujemy wykresu. Sukcesywnie będziemy wszystkie przypadki niespójności wyjaśniać i po poprawieniu bazy publikować wyniki. Brak wykresu, pojawia się tylko komentarz: W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brak danych dla tego gimnazjum. Artur Pokropek, Interpretacja trzyletnich wskaźników EWD, 2009
Gimnazjum im. Adama Mickiewicza w Stawiskach Polowa 26 Stawiski, 18-520 Stawiski Część humanistyczna Pozycja szkoły ze względu na trzyletnie wskaźniki wyniku końcowego iedukacyjnej wartości dodanej Wskaźniki obliczone na podstawie wyników egzaminacyjnych z lat 2007-2009 2006-2008 www.cke.scholaris.pl
Gimnazjum im. Adama Mickiewicza w Stawiskach Polowa 26 Stawiski, 18-520 Stawiski Część matematyczno-przyrodnicza Pozycja szkoły ze względu na trzyletnie wskaźniki wyniku końcowego iedukacyjnej wartości dodanej Wskaźniki obliczone na podstawie wyników egzaminacyjnych z lat 2007-2009 2006-2008 www.cke.scholaris.pl
Podsumowanie Wykresy EWD powinny być jednym z narzędzi dostępnych dla osób zaangażowanych w poznanie sytuacji szkoły. Wykresy trzyletniego EWD nie przekazują całej wiedzy o pracy szkoły. Pokazują jedynie jej efektywność i osiągnięcia mierzone egzaminami zewnętrznymi. EWD jest wartościowym wskaźnikiem dla wewnątrzszkolnej oceny i planowania działań podejmowanych przez szkołę w celu podniesienia jakości kształcenia. F. Kulon, P. Majkut, Interpretacja trzyletnich wskaźników Edukacyjnej Wartości Dodanej, 2009
Bibliografia: R. Dolata, Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie wyników egzaminów zewnętrznych, CKE, Warszawa 2007. R. Dolata,Edukacyjna wartość dodana, czyli jak wykorzystywać wyniki egzaminów zewnętrznych do oceny efektywności nauczania, www.ewd.edu.pl R. Dolata, ABC edukacyjnej wartości dodanej, www.ewd.edu.pl F. Kulon, P. Majkut, Interpretacja trzyletnich wskaźników Edukacyjnej Wartości dodanej, OKE w Krakowie, 2009. M. Jakubowski, A. Pokropek, Badając egzaminy. Podejście ilościowe w badaniach edukacyjnych, CKE, Warszawa 2009. A. Pokropek, Interpretacja trzyletnich wskaźników EWD, www.ewd.edu.pl E. Stożek, Wykorzystanie metody EWD w ewaluacji zewnętrznej, www.ewd.edu.pl
Dziękuję za uwagę!