Statystyczną ideę szacowania wskaźników EWD dobrze ilustrują dwa poniższe wykresy:

Transkrypt

1 1 Metoda EWD (edukacyjna wartość dodana) to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. By można ją zastosować, potrzebujemy wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie. Wskaźniki EWD należy traktować jako ważną informację zwrotną dla szkoły, wspierającą podejmowanie decyzji o kierunkach jej rozwoju. na początku nauki w danej szkole i na jej zakończenie. Polski system egzaminacyjny dostarcza danych do wyliczania EWD dla gimnazjów (sprawdzian w klasie VI szkoły podstawowej jako miara na wejściu, egzamin gimnazjalny jako miara na wyjściu). Od 2006 roku zespół EWD udostępnia gimnazjom tzw. kalkulator EWD pozwalający placówkom prowadzić analizy EWD w ramach ewaluacji wewnątrzszkolnej, obecnie jest to kalkulator EWD 100. Wskaźnik EWD dla szkoły mówi o tym, na ile wysokie/niskie wyniki egzaminu końcowego uzyskali jego absolwenci w porównaniu do uczniów w całej Polsce o analogicznych wynikach na sprawdzianie. Wskaźnik ma charakter względny, czyli służy do porównywania szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia EWD wskazuje na ponadprzeciętną efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność. Statystyczną ideę szacowania wskaźników EWD dobrze ilustrują dwa poniższe wykresy: To tak zwane wykresy rozrzutu. na obu widzimy zależność statystyczną między wynikiem na sprawdzianie w klasie VI szkoły podstawowej (oś pozioma) a wynikami egzaminu gimnazjalnego trzy lata później (oś pionowa)..

2 Małe punkciki to graficznie przedstawione wyniki ponad 400 tysięcy gimnazjalistów zdających egzamin. Linia (zwana linią regresji) pokazuje zależność statystyczną między wynikami na sprawdzanie i egzaminie gimnazjalnym w skali całego kraju. Na tak sporządzone wykresy naniesiono dodatkowe, kolorowe punkty symbolizujące wyniki dla dwóch wybranych do analizy szkół. Na wykresie po lewej stronie punkty czerwone, to wyniki uczniów w szkole A, punkty zielone to wyniki w szkole B. Gdyby skupić uwagę tylko na wynikach końcowych, bez wahania można powiedzieć, że szkoła B uczy lepiej. Średnia arytmetyczna wyników egzaminu gimnazjalnego w tej szkole to około 36 punktów, średnia w szkole to zaledwie 22 punkty. Ale należy zwrócić uwagę, że szkoła B pracowała z uczniami o bardzo wysokich wynikach na sprawdzianie, szkoła A miała uczniów o znacznie niższym poziomie uprzednich osiągnięć. Jak to wziąć pod uwagę w ocenie pracy szkoły? Wystarczy odnieść wyniki na egzaminie gimnazjalnym do średnich rezultatów uzyskiwanych w kraju przez uczniów o danej liczbie punktów na sprawdzianie trzy lata wcześniej. Te punkty odniesienia wskazuje linia regresji. Zarówno wyniki szkoły A, jak i szkoły B lokują się powyżej tej linii. Oznacza to, że obie uczą bardziej efektywnie, niż przeciętne gimnazjum w kraju, uczniowie mają w obu szkołach szansę na ten sam postęp. Choć pod względem wyników końcowych szkoły dzieliła przepaść, to pod innym ważnym a z punktu widzenia ewaluacji szkoły ważniejszym względem są takie same. W obu notujemy dodatnią edukacyjną wartość dodaną. Na wykres po prawej stronie naniesiono wyniki dwóch innych szkół, na czerwono gimnazjum C, na zielono gimnazjum D. i znów ze względu na wyniki końcowe, jedna szkoła (C) jest wyraźnie gorsza od drugiej (D). Ale analiza EWD wskazuje, że to szkoła C (czerwone kropki) efektywniej naucza. Wyniki uczniów w tej szkole lokują się powyżej linii statystycznie przewidywanego wyniku. Natomiast wyniki w szkole D są poniżej tej linii, co oznacza efektywność nauczania poniżej przeciętnej dla kraju (mówimy wtedy o ujemnym EWD) Korzystanie z wyników z różnych edycji egzaminów zewnętrznych rodzi znaczący problem. Surowe wyniki egzaminów nie są porównywalne między kolejnymi edycjami egzaminu. Przed przystąpieniem do analiz efektywności nauczania musimy więc je sprowadzić do porównywalnej postaci. W pierwszej fazie wyniki każdej edycji egzaminu są tak przekształcane, by ich rozkłady maksymalnie zbliżyły się do rozkładu normalnego (normalizacja). W drugim kroku znormalizowane wyniki egzaminacyjne w każdym roku przeliczane są na wspólną skalę, tak by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe wyniosło 15 punktów (standaryzacja). Zakładany rozkład wyników egzaminacyjnych po normalizacji i standaryzacji wygląda następująco: 2

3 3 Zwróćmy uwagę, że dzięki standaryzacji wyniki można łatwo interpretować ilościowo. Wiadomo, że 100 to zawsze wynik średni w kraju, 115 to wynik przewyższający przeciętną krajową o jedno odchylenie standardowe, dodatkowo z własności rozkładu normalnego wiadomo, że wynik wyższy od 115 uzyskało w kraju około 16% zdających. Znormalizowana i wystandaryzowana skala wyników uczniowskich służy zarówno do prezentacji wyniku egzaminacyjnego danego gimnazjum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku EWD skala ma swój środek w punkcie 0. Wynik EWD równy np. 5 pkt, oznacza, że przeciętny uczeń tego gimnazjum otrzymał na egzaminie gimnazjalnym o 5 punktów więcej, niż by to wynikało z jego rezultatu na sprawdzianie po szkole podstawowej. Od trzylatki wyniki sprawdzianu i egzaminu gimnazjalnego są skalowane za pomocą nowoczesnej techniki pomiarowej IRT. Pozwala to na bardziej efektywne szacowanie poziomu umiejętności uczniów na podstawie surowych wyników egzaminacyjnych. Ta nowa procedura skalowania nie zmienia interpretacji prezentowanych wyników. Wynik egzaminacyjny i wskaźnik EWD to miary komplementarne, łącznie dają pełniejszą informację o szkole. Konsekwencją tego, że uwzględniamy zarówno wynik egzaminacyjny jak i wskaźnik EWD jest sposób pokazywania wyniku szkoły pozycja szkoły prezentowana jest w układzie współrzędnych. Oś pozioma oznacza średni trzyletni wynik egzaminacyjny szkoły, a oś pionowa symbolizuje trzyletnią EWD szkoły. Wyniki te są analizowane i przedstawiane na rożnych wykresach, które w obrazowy sposób je prezentują. Jedną z możliwości interpretacji jest umieszczenie danych pozycji gimnazjum w układzie współrzędnych w postaci dwóch elips. Mniejsza z nich, ciemnoszara, wskazuje obszar, w którym mieści się 50% gimnazjów. Druga elipsa, jasno szara, wyznacza obszar, w którym mieści się 90% gimnazjów. Środkiem symetrii tych elips jest punkt (100;0). By uwzględnić statystyczną niepewność szacowania wskaźników pozycja szkoły prezentowana jest nie tylko jako punkt, ale też jako obszar w kształcie elipsy. Wielkość elipsy, czyli niepewność szacowania wskaźników dla szkoły, zależy przede wszystkim od liczby informacji. Im większą liczbą wyników egzaminacyjnych dysponujemy, tym mniejsza niepewność i mniejsza elipsa. Opis położenia elipsy (szkoły) w układzie współrzędnych (wynik egzaminu, EWD) może ułatwić wyróżnienie pięciu punktów odniesienia.

4 4 Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność. Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania. Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej efektywności. Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania. Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania. Powyższe punkty odniesienia opatrzone umownymi nazwami mają pomóc w interpretacji, a nie kategoryzacji szkół. Oprócz typów głównych można zaobserwować również typy pośrednie: szkoły o przeciętnych wynikach i niskiej/wysokiej EWD oraz szkoły o przeciętnej efektywności (EWD) i niskich/wysokich wynikach egzaminacyjnych. w tych przypadkach elipsy szkół leżą na osi pionowej lub poziomej, odpowiednio. Pozycja zielonej elipsy na wykresie wskazuje, że mamy do czynienia ze szkołą neutralną będziemy nazywać gimnazja, których pozycja w układzie współrzędnych bliska jest punktowi (100;0). Szkoły neutralne, to najliczniejsza kategoria gimnazjów. Dzieje się tak dlatego, że zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmuje wartości bliskie lub niezbyt odległe od średniej. Dla naszej szkoły zostały opracowane wyniki sprawdzianu i egzaminów gimnazjalnych od 2009 roku. Dane te zaprezentowane są na różnych, wybranych losowo wykresach. Jednak jak wynika z wcześniejszego komentarza wynik końcowy jest istotny przy ocenie, ale bardzo ważną rolę odgrywają również uprzednie osiągnięcia, czyli potencjał, dlatego będą przedstawiane na początku.

5 5 Wyniki egzaminu na wykresach rozrzutu, rozkład reszt: Na wykresie rozrzutu wyników przedstawiona jest łączna informacja o wyniku na sprawdzianie oraz na egzaminie gimnazjalnym. Kropka obrazuje pojedynczego ucznia. Na wykresie pokazana jest również linia przewidywanego wyniku dla danego roku chłopców bez dysleksji. Odległość punktu (wyniku ucznia) od linii przewidywanego wyniku nazywamy resztą. EWD jest średnią reszt wszystkich uczniów w grupie. Ten rodzaj wykresu pozwala ocenić, na ile rozkład reszt dla danej grupy uczniów różni się od krajowego, normalnego rozkładu. Pionowa przerywana linia pokazuje średnią reszt, czyli wartość wskaźnika EWD dla danej grupy uczniów.

6 Wyniki egzaminu na wykresach rozrzutu: 6

7 Podstawowy wykres wykorzystywany przy analizach z wykorzystaniem wskaźników EWD. EWD dla danej grupy uczniów jest komunikowane wraz z przedziałem ufności, który obrazuje niepewność pomiarową. Dla oddziałów klasowych stosuje się 90% przedziały ufności, dla szkół 95%. Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie EWD dla grup uczniowskich: dwie grupy istotnie różnią się ze względu na wskaźniki EWD, jeśli przedziały ufności są rozłączne. 7

8 8 Wyniki egzaminu - rozkład reszt: Określając szkołę należy wziąć pod uwagę nie tylko wyniki egzaminu, ale też jaki potencjał uczniów jest na wejście. Biorąc to pod uwagę można zauważyć, że w roku 2014r. wyniki egzaminu i trzy lata wcześniej sprawdzianu pokazują iż potencjał młodzieży został odpowiednio wykorzystany. Uczniowie z najwyższą średnią na sprawdzianie, tj.87% oraz 75% osiągnęli na egzaminie wyniki odpowiednio88% oraz 79%. Natomiast uczeń z najmniejszym potencjałem 23% na sprawdzianie osiągnął wynik31% na egzaminie. WSKAŹNIKI EWD DLA SZKOŁY Część humanistyczna Pozycja szkoły ze względu na wskaźniki wyniku końcowego i edukacyjnej wartości dodanej. 95% powierzchnia ufności dla łącznego oszacowania wskaźników. Dane za lata górna granica prz. ufności 3,8 3,8 4,6 EWD - część humanistyczna oszacowanie punktowe 1,4 1,3 2,2 dolna granica prz. ufności -0,9-1,1-0,2 górna granica prz. ufności 103,1 101,6 102,7 oszacowanie punktowe 99,2 97,5 98,9 dolna granica prz. ufności 95,3 93,5 95,1

9 9 1. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat Liczba zdających, których wyniki uwzględniono w analizie: Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat Liczba zdających, których wyniki uwzględniono w analizie: Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat Liczba zdających, których wyniki uwzględniono w analizie: 80. Część matematyczno-przyrodnicza Pozycja szkoły ze względu na wskaźniki wyniku końcowego i edukacyjnej wartości dodanej. 95% powierzchnia ufności dla łącznego oszacowania wskaźników. EWD - część matematycznoprzyrodnicza Dane za lata górna granica prz. ufności oszacowanie punktowe dolna granica prz. ufności górna granica prz. ufności oszacowanie punktowe dolna granica prz. ufności 0,0 1,0 1,8-2,2-1,3-0,4-4,5-3,6-2,7 98,7 98,6 99,8 94,9 94,8 96,0 91,0 90,9 92,3

10 10 1. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat Liczba zdających, których wyniki uwzględniono w analizie: Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat Liczba zdających, których wyniki uwzględniono w analizie: Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat Liczba zdających, których wyniki uwzględniono w analizie: 80. Wyniki egzaminu gimnazjalnego na tle gminy, powiatu i Polski: Publiczne Gimnazjum w Zespole Szkół im. Jana Pawła II w Korytnicy gmina Trojanów (powiat garwoliński, województwo mazowieckie) powiat garwoliński (województwo mazowieckie) Polska

11 11