PUBLICZNA SZKOŁA PODSTAWOWA NR 7 IM. MIKOŁAJA KOPERNIKA W ZIELONEJ GÓRZE EWD NA PODSTAWIE WYNIKÓW TESTU OBUT 2012 ORAZ SPRAWDZIANU 2015 Opracowanie: Agnieszka Konieczna Listopad 2015
Wstęp 1 Ocena pracy szkoły ze względu na wyniki nauczania z punktu widzenia zarządzania jest bardzo ważna. Dokonanie takiej oceny, czy szerzej ewaluacji pracy szkoły, wymaga specjalnego komunikowania wyników form sprawdzających. Tradycyjnie stosowane porównywanie szkół ze względu na średnie wyniki sprawdzianów szóstoklasistów nie najlepiej nadaje się do tego zadania. Szkoła, która pracuje z bardzo dobrymi uczniami ma większe szanse na uzyskanie wysokiego średniego wyniku. Szkoła pracująca w trudniejszym środowisku, nawet przy bardzo dobrej pracy, nie ma szans na uzyskanie wysokiego wyniku średniego. Na średni wynik sprawdzianu wpływa również liczba uczniów laureatów konkursów przedmiotowych, którzy są zwolnieni z tej formy sprawdzającej, jedocześnie wnosząc maksymalną ilość punktów do ogólnej sumy zdobytych na sprawdzianie. Szkoła z większą liczbą uczniów ma statystycznie wyższą szansę pozyskania laureatów. Ponadto nie znając liczby uczniów w szkole łatwo jest niewielkim różnicom w średnich przydać zbyt duże znaczenie. Średni wynik nie pokazuje również zróżnicowania wyników w szkole, słabo informuje o procesach edukacyjnych w niej zachodzących. W przypadku małych szkół średni wynik jest bardzo podatny na pojedyncze nietypowe wyniki: wyjątkowo wysokie lub wyjątkowo niskie. W przypadku porównania wyników między latami dodatkowym problemem jest nieporównywalność wyników ze względu na różną trudność arkuszy testowych w kolejnych edycjach sprawdzianu. W celu zapewnienia porównywalności wyników w polskim systemie egzaminów zewnętrznych przyjęto komunikować wyniki w skali standardowej dziewiątki, czyli w skali staninowej. W przypadku sprawdzianu osobno budowana jest skala staninowa wyników uczniowskich oraz skala staninowa wyników szkół. Śledzenie pozycji szkoły na skali staninowej w kolejnych latach pozwala ocenić, czy efekty kształcenia w szkole się zmieniają. Należy przy tym jednak pamiętać, że skala staninowa jest mało wrażliwa na niewielkie zmiany, zatem najczęściej będziemy obserwować ustabilizowaną pozycję szkoły na tej skali. Dużo lepszym wskaźnikiem do oceny pracy szkół niż średni wynik jest edukacyjna wartość dodana (EWD). EWD w szkole podstawowej to sposób komunikowania wyników sprawdzianu szóstoklasisty, który uwzględnia potencjał uczniów na wejściu zmierzony na zakończenie pierwszego etapu kształcenia. W bieżącym roku szkolnym możliwe było po raz pierwszy uzyskanie wskaźników EWD dla 1 Opracowano na potrzeby analizy EWD w styczniu 2015 Strona 2 z 15
szkół podstawowych w oparciu o pomiar umiejętności trzecioklasistów przeprowadzony w maju 2011 w ramach projektu OBUT Ogólnopolskie Badanie Umiejętności Trzecioklasistów. Efektywność kształcenia można rozumieć dwojako z jednej strony jako najlepszy stosunek odpowiednio zdefiniowanych efektów do wkładu finansowego, a z drugiej jako jak najlepsze wykorzystanie posiadanych zasobów na wejściu. Wskaźniki EWD są pomocne przy ocenie efektywności nauczania w tym drugim kontekście, przy czym jako zasoby na wejściu rozumie się głównie potencjał uczniowski. Taka perspektywa zakłada, niejako a priori, że w obrębie tej samej placówki na przestrzeni badanego okresu występuje finansowanie na podobnych zasadach, zatem elementem różnicującym efektywność nauczania szkoły są jej zasoby wewnętrzne, m.in. potencjał uczniów w momencie ukończenia pierwszego etapu edukacyjnego, kadra nauczycielska, właśnie w takim węższym ujęciu, czyli efektywności nauczania mierzoną wskaźnikami edukacyjnej wartości dodanej. Różnicę osiągniętego na sprawdzianie wyniku ucznia od jego wyniku przewidywanego nazywamy resztą. EWD jest średnią reszt wszystkich uczniów w grupie. Na podstawie wartości wskaźnika EWD tworzy się pięć modelowych typów szkół: 1. Szkoły neutralne. Szkoły, w których notujemy zarówno średni w skali kraju poziom wyników badania OBUT oraz sprawdzianu, jak i przeciętną efektywność uczniowie osiągają wyniki sprawdzianu na poziomie średniej krajowej, a wartość EWD jest bliska 0 szkoła ani dzieci nie zmarnowała, ani wiele nie rozwinęła. 2. Szkoły sukcesu. Szkoły o wysokich wynikach form sprawdzających i wysokiej efektywności nauczania uczniowie osiągają wysokie wyniki sprawdzianu, a wartość EWD jest dodatnia (im więcej tym lepiej) do drugiego etapu kształcenia przyszli dobrzy uczniowie, a szkoła nie zmarnowała ich zdolności, lecz je rozwinęła. 3. Szkoły wspierające. Szkoły o niskich wynikach, ale wysokiej efektywności uczniowie słabo piszą sprawdzian, ale ich wyniki są i tak lepsze niż wyniki badania OBUT EWD powyżej 0 (szkoła do drugiego etapu kształcenia dostaje słabych uczniów, ale czegoś ich nauczyła). 4. Szkoły wymagające pomocy. Szkoły o niskich wynikach i niskiej efektywności nauczania uczniowie słabo piszą sprawdzian (do drugiego etapu kształcenia przyszli uczniowie słabi), a szkoła niewiele ich nauczyła wartość EWD poniżej 0. Strona 3 z 15
5. Szkoły niewykorzystanych możliwości. Szkoły o wysokich wynikach sprawdzianu oraz niskiej efektywności nauczania uczniowie piszą wyżej niż średnia krajowa do drugiego etapu kształcenia przyszli względnie dobrzy uczniowie, ale szkoła nie poprawiła ich osiągnięć z pierwszego etapu wartość EWD poniżej 0. Przeprowadzenie testów OBUT w III klasie, poza diagnozą osiągnięć szkolnych na końcu I etapu edukacyjnego, stworzyło po raz pierwszy w naszej szkole okazję do określenia efektywności nauczania w drugim etapie edukacyjnym. Po trzech latach wyniki testu w III klasie połączone zostały z wynikami sprawdzianu w kwietniu 2014, co dało możliwość określenia jak duży postęp w stosunku do innych szkół w Polsce uczynili uczniowie podczas nauki w klasach IV-VI. W analizie tego typu wykorzystano metodę statystyczną zwaną edukacyjną wartością dodaną EWD. Ten niezwykle cenny instrument statystyczny analizy wyników egzaminacyjnych do tej pory mógł być używany tylko przez gimnazja i szkoły maturalne. Warunkiem wiarygodności zarówno diagnozy osiągnięć w klasie III, jak i określenia efektywności nauczania w klasach IV-VI, jest bezwzględne przestrzeganie zasad przeprowadzania testów i kodowania wykonania zadań. Osiągnięcia uczniów w klasie III zostały określone adekwatnie, co dało rzetelność w oszacowaniu postępów, jakie uczynili uczniowie w trzech kolejnych latach nauki w naszej szkole. Wskaźniki EWD, niezwykle ważna dla szkoły informacja, pozwala identyfikować słabe i mocne strony nauczania i tym samym racjonalnie planować działania zmierzające do jego doskonalenia. Strona 4 z 15
I. Wynik przewidywany to wynik wyznaczony z modelu edukacyjnej wartości dodanej dla grupy uczniów o tym samym wyniku OBUT z uwzględnieniem poprawek na płeć i dysleksję. Porównanie rozkładu wyników przewidywanych i wyników rzeczywistych pokazuje wkład szkoły w zmianę (w stosunku do przewidywania) wyniku egzaminacyjnego przeciętnego ucznia w szkole. Na jednym wykresie można porównać tylko jedną grupę uczniów, nie jest też możliwe porównanie pomiędzy latami. Pionowe przerywane linie na wykresach odpowiadają średniej w rozkładzie wyników. Różnica średniej w rozkładzie wyników rzeczywistych i średniej w rozkładzie wyników przewidywanych jest równa wskaźnikowi EWD dla rozpatrywanej grupy uczniów. Wyniki przedstawiono skali 100/15, wg której 100 punktów to średnia krajowa, a odchylenie standardowe wynosi 15 punktów. Wartość 58 na wykresach to liczba badanych uczniów z rocznika 2015. Wynik przewidywany szkoły: 101,62 (102,32 w 2014) Wynik rzeczywisty szkoły: 106,6 (108,31 w 2014) Średni wynik przewidywany dla szkoły Strona 5 z 15
Średni wynik rzeczywisty dla szkoły Wynik wskazuje, że szkoła uzyskała wynik o 4,98 wyższy niż przewidywany na podstawie wyniku badania OBUT 2012. Poniżej znajdują się wykresy dla poszczególnych klas. Wyniki przewidywane dla klasy A Strona 6 z 15
Wyniki przewidywane dla klasy B Wyniki przewidywane dla klasy C Strona 7 z 15
II. Podstawowy wykres wykorzystywany przy analizach z wykorzystaniem wskaźników EWD. EWD dla danej grupy uczniów jest komunikowane wraz z przedziałem ufności 90%, który obrazuje niepewność pomiarową. Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie EWD dla grup uczniowskich: dwie grupy istotnie różnią się ze względu na wskaźniki EWD, jeśli przedziały ufności są rozłączne. Wskaźnik EWD dla szkoły: 5,0±1,8 (90%) Przedziałem ufności to przedział, który z zadanym z góry prawdopodobieństwem zawiera prawdziwą wartość EWD. Wskaźnik EWD dla szkoły Strona 8 z 15
Wskaźnik EWD dla szkoły i poszczególnych klas III. Średnie wyniki egzaminacyjne dla grup uczniów są prezentowane wraz z przedziałami ufności 90%. Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie średnich wyników dla grup uczniów: dwie grupy statystycznie istotnie różnią się ze względu na wyniki egzaminacyjne, jeśli przedziały ufności są rozłączne. Średni wynik 100 oznacza średni wynik egzaminu w kraju. Średni wynik szkoły: 106,6±2,4 (90%) Średni wynik szkoły Strona 9 z 15
Średni wynik szkoły i poszczególnych klas IV. Rozkład wyników wyrażonych na skali 100/15 pozwala ocenić, w jaki sposób wyniki uczniów różnią się od rozkładu normalnego o średniej 100 i odchyleniu standardowym 15. Można prześledzić rozkład wyników uczniowskich na wejściu (OBUT) oraz na wyjściu (wyniki na sprawdzianie). Prześledzenie zmian w rozkładach wyników w czasie pozwoli wnioskować o zmianach w naborze na wejściu. Śledzenie zmian w czasie w rozkładach wyników sprawdzianu po VI klasie pozwoli ocenić nie tylko zmiany w średnim wyniku, ale również zmiany w zróżnicowaniu wyników uczniowskich. Rozkład wyników szkoły badania OBUT na tle rozkładu krajowego Strona 10 z 15
Rozkład wyników szkoły na sprawdzianie na tle rozkładu krajowego Rozkład wyników szkoły oraz poszczególnych klas badania OBUT na tle rozkładu krajowego Strona 11 z 15
Rozkład wyników szkoły oraz poszczególnych klas na sprawdzianie na tle rozkładu krajowego V. Uprzednie osiągnięcia uczniów po I etapie edukacyjnym określamy na podstawie wyników testu OBUT. Osiągnięcia niskie wyniki poniżej 88,75 na skali 100/15; osiągnięcia wysokie wyniki powyżej 111,25 na skali 100/15. Osiągnięcia średnie wyniki w przedziale od 88,75 do 111,25 na standardowej skali 100/15. Wykres skumulowany kolumnowy pozwala określić procentowy udział uczniów o określonych uprzednich osiągnięciach w analizowanej grupie uczniowskiej. Osiągnięcia uczniów szkoły na podstawie wyników testu OBUT Strona 12 z 15
Osiągnięcia uczniów szkoły oraz poszczególnych klas na podstawie wyników testu OBUT VI. Na wykresie rozrzutu wyników przedstawiona jest łączna informacja o wyniku OBUT oraz wyniku na sprawdzianie. Kropka obrazuje pojedynczego ucznia. Na wykresie pokazana jest również linia przewidywanego wyniku dla danego roku (dla chłopców bez dysleksji). Odległość punktu (wyniku ucznia) od linii przewidywanego wyniku nazywamy resztą. EWD jest średnią reszt wszystkich uczniów w grupie. Wykres rozrzutu wyników dla wszystkich uczniów (opis wskazuje na wynik ucznia z kodem A23, który daje najwyższą resztę) Strona 13 z 15
VII. Ten rodzaj wykresu pozwala ocenić, na ile rozkład reszt dla danej grupy uczniów różni się od krajowego, normalnego rozkładu. Pionowa przerywana linia pokazuje średnią reszt, czyli wartość wskaźnika EWD dla danej grupy uczniów. Rozkład reszt dla wyników szkoły oraz poszczególnych klas (na wykresie wyróżniona najwyższa reszta: 5,9) VIII. Tabele zestawiające różne wskaźniki liczbowe dotyczące wyników egzaminacyjnych (średnia, mediana) oraz EWD. Średnia wyniku OBUT oraz wyniku sprawdzianu Wskaźnik EWD w zestawieniu z wynikiem OBUT oraz wynikiem sprawdzianu Strona 14 z 15
IX. WNIOSKI Podstawową zaletą wskaźnika EWD jest to, że zdecydowanie więcej nam powie o pracy szkoły niż tylko średni wynik z egzaminu w danym roku. Dla rocznika 2015 wskaźnik wynosi 5,0±1,8 90% (dla ubiegłego rocznika 0 6,0±1,7) co plasuje niezmiennie szkołę wśród placówek określanych mianem szkoły sukcesu nasi uczniowie osiągają wysokie wyniki sprawdzianu, a wartość EWD jest dodatnia do IV klasy przyszli dobrzy uczniowie, ale szkoła nie zmarnowała ich zdolności, lecz je rozwinęła. Wskaźnik EWD może być bardzo pomocny rodzicom w chwili podejmowania decyzji o wyborze szkoły podstawowej. Pozwala szybko wyrobić sobie opinię o naszej placówce i jej pracy, przynajmniej w jednym, ale bardzo istotnym obszarze przygotowaniu uczniów do sprawdzianu szóstoklasistów. Opracowano na podstawie: E. Stożek, Wykorzystanie wyników egzaminów zewnętrznych i EWD do oceny potrzeb szkół, Uniwersytet Warszawski Kalkulator EWD http://www.matematyka.wroc.pl/ciekawieomatematyce/edukacyjna-wartosc-dodana Strona 15 z 15