dr Maria Sasin Poliechnika Koszalińska Teraźniejszość i przyszłość oceniania szkolnego Rzeelność komunikowania wyników egzaminów zewnęrznych w oparciu o meodę endencji rozwojowej próba oceny Wprowadzenie Coraz częściej w celu analizowania efeków nauczania na podsawie wyników egzaminów zewnęrznych sosuje się wiele różnych meod saysycznych. Sosuje się je do porównywania wyników ucznia z wynikami całej grupy (klasy, wszyskich uczniów w szkole), średnich wyników osiąganych przez uczniów poszczególnych szkół, a nawe do oceny jakości pracy szkoły. Jako przykład wykorzysywania różnych meod saysycznych w szkolnicwie można przyoczyć fragmen wyników diagnozy Analiza, inerpreacja i wykorzysanie wyników egzaminów zewnęrznych przez dyrekorów szkół podsawowych i gimnazjów opublikowanej w 2008 r. na sronie inerneowej Kuraorium Oświay w Szczecinie (s. 4-6): W 77 szkołach (84,44%) dokonuje się analizy ławości esu oraz najwyższego i najniższego wyniku uzyskanego przez uczniów, zaś w 74,44% szkół (67) analizuje się wyniki pod względem średniej punków uzyskanych przez uczniów. Rady pedagogiczne 59 szkół (65,55%) zaineresowane są poznaniem mediany, czyli wyniku środkowego, 57 szkół (63,33) rozsępu różnicy pomiędzy wynikami skrajnymi, zaś 51 szkół (56,66%) modalnej, czyli wyniku najczęsszego dla danej szkoły. [ ] 79 dyrekorów szkół (87,77%) swierdziło, że określają i porównują średnie wyniki szkoły w 9-sopniowej skali saninowej. 77 dyrekorów (85,55%) dokonuje wraz z radami pedagogicznymi inerpreacji endencji rozwojowej szkoły na przesrzeni la 2002-2007. Jedną z meod sosowanych do oceny posępu lub regresu w procesie nauczania w danej szkole jes meoda endencji rozwojowej (rendu). Według OKE w Poznaniu, propagującej ę meodę, umożliwia ona inerpreowanie wyników egzaminów zewnęrznych w odniesieniu do wyników całej populacji (wojewódzwa, okręgu, kraju) lub wyników innych szkół na przesrzeni określonej liczby la oraz wnioskowanie o wzroście, spadku lub braku isonych zmian w zakresie osiągnięć szkoły. Okręgowa Komisja Egzaminacyjna w Poznaniu informuje, że w zdecydowanej większości endencja rozwojowa szkoły zosała przyjęa bardzo pozyywnie przez dyrekorów i nauczycieli jako bezsronna ocena pracy szkoły. Prawie pełną akcepację meoda a znalazła wśród organów prowadzących. Częso korzysają z niej również pracownicy organów nadzorujących, np. w woj. zachodniopomorskim wprowadzono obligaoryjnie endencję rozwojową do analizy jakości pracy szkół (Tendencje rozwojowe szkoły, s.1). 289
290 XVI Konferencja Diagnosyki Edukacyjnej, Toruń 2010 Wobec ak dużej popularności meody wyodrębniania rendu waro zwrócić uwagę na fak, że wnioski będące wynikiem zasosowania ej meody mogą być nieuprawnione (błędne i niejednokronie krzywdzące), jeśli nie zasosowano jej w sposób prawidłowy. Celem niniejszego arykułu jes ukazanie niebezpieczeńsw wynikających z błędnej lub niepełnej analizy endencji rozwojowej średnich wyników szkół. Jes o próba oceny rzeelności komunikowania wyników egzaminów zewnęrznych (sprawdzianów, egzaminów gimnazjalnych lub mauralnych) dokonywanego w oparciu o endencję rozwojową. Bliższej przykładowej analizie poddano wykresy endencji rozwojowej średnich wyników egzaminu gimnazjalnego uczniów koszalińskich gimnazjów. Aproksymacja funkcji rendu meodą analiyczną W podręczniku M. Sobczyka (2008, s. 331) czyamy: Tendencją rozwojową (rendem) nazywamy powolne, regularne i sysemayczne zmiany określonego zjawiska, obserwowane w dosaecznie długim przedziale czasu i będące rezulaem działania przyczyn głównych. Dodakowo auor zaznacza, iż uważa się, że do wyodrębniania rendu powinien być wykorzysywany co najmniej 10- leni okres. Niewąpliwie, im dłuższy okres badamy, ym zaobserwowana endencja rozwojowa będzie pewniejsza, a wyciągane wnioski bardziej precyzyjne. W podręczniku M. Piłaowskiej (2007, s. 138) można znaleźć podobną definicję: Trend jes o pewna ogólna endencja rozwojowa zjawiska w dłuższym okresie, kszałująca się pod wpływem silnych i rwałych (głównych) przyczyn. Zaznaczenie w przyoczonych definicjach roli przyczyn głównych wynika z faku, że na rozwój zjawiska w czasie wpływają między innymi wahania przypadkowe, rozumiane jako nieregularne wahania zakłócające przebieg zjawiska w czasie. Przeważnie wahania przypadkowe są wynikiem działania różnych przyczyn ubocznych. Między innymi właśnie z powodu isnienia czynników zakłócających obserwację rendu cyowani przeze mnie auorzy wskazują na porzebę obserwacji zjawiska w dłuższym czasie. Naomias o, jak długi czas powinien być uwzględniony, zależy od rozrzuu (zróżnicowania) danych empirycznych charakeryzujących analizowane zjawisko. Uwzględnienie odpowiednio długiego czasu pozwoli wyodrębnić endencję rozwojową, o ile ona rzeczywiście isnieje. Do wyodrębniania endencji rozwojowej z szeregów czasowych przeważnie wykorzysuje się meodę analiyczną, kóra polega na dopasowaniu określonej funkcji maemaycznej do całego szeregu czasowego (Sobczyk 2008, s. 335-336). Do najczęściej sosowanych funkcji endencji rozwojowej należy liniowa funkcja rendu posaci: Y = a 0 + a 1 + x, (1) gdzie: Y - zmienna zależna mierząca poziom badanego zjawiska w okresie, - zmienna czasowa, a,a 0 1- nieznane paramery srukuralne funkcji rendu, x - składnik losowy.
Teraźniejszość i przyszłość oceniania szkolnego Na podsawie empirycznego szeregu czasowego wyznacza się aproksymacyjną liniową funkcję rendu: y ˆ = a0 + a1 + z (2) gdzie: ŷ - eoreyczne warości rendu w okresie wynikające z danej funkcji (leżące na wyznaczonej linii rendu); a 0 - esymaor parameru a 0 liniowej funkcji rendu, określający poziom zjawiska w okresie = 0; a 1 - esymaor parameru a 1 (współczynnika rendu), wyrażający średni przyros warości badanego zjawiska z okresu na okres; z - składnik reszowy. Warości a 0 i a 1 liniowej funkcji rendu są ocenami nieznanych paramerów a 0 i a 1, szacowanymi klasyczną meodą najmniejszych kwadraów na podsawie szeregu danych empirycznych, rakowanych jako próbę losową. Zachodzi konieczność oceny isoności oszacowanego współczynnika kierunkowego rendu (Sobczyk, s. 342). W ym celu weryfikuje się hipoezę zerową, mówiącą o ym, że a 1 = 0, wobec hipoezy alernaywnej, że a 1 0 (współczynnik rendu isonie różni się od zera), sosując es posaci: n a, 1 2 2 e = n (3) s( z ) = 1 gdzie (przy pozosałych oznaczeniach określonych przy formule (2)): n - liczba analizowanych okresów, s( z ) - odchylenie sandardowe składnika reszowego, - średnia arymeyczna warości zmiennej czasowej. Saysyka (3) charakeryzuje się rozkładem -Sudena. Posępowanie decyzyjne przy weryfikacji hipoezy zerowej jes analogiczne jak w przypadku badania isoności współczynnika regresji liniowej. Odbywa się ono przy obranym przez badacza poziomie isoności α, oznaczającym prawdopodobieńswo odrzucenia prawdziwej hipoezy zerowej. Jak wiadomo, najczęściej przyjmowaną warością poziomu isoności jes 0,05, jednak w niekórych badaniach dopuszczalny jes również poziom isoności równy 0,1. Do weryfikacji hipoez saysycznych (szczególnie w przypadku sosowania odpowiednich programów kompuerowych) wykorzysywane jes również prawdopodobieńswo esowe p, będące najosrzejszym (najmniejszy) poziomem isoności, przy kórym możemy odrzucić hipoezę zerową. Jeśli p jes mniejsze od założonego przez badacza poziomu isoności, hipoezę zerową odrzucamy. Odrzucenie hipoezy zerowej, mówiącej o ym, że współczynnik rendu jes równy zero, oznacza, że oszacowany współczynnik rendu jes isony saysycznie i isnieje wyodrębniana przez nas endencja rozwojowa. 291
XVI Konferencja Diagnosyki Edukacyjnej, Toruń 2010 W kolejnych eapach weryfikacji oszacowanej funkcji rendu należy sprawdzić losowość odchyleń reszowych z oraz wykluczyć isnienie auokorelacji składnika losowego (Sobczyk, s. 343) 1. Dopiero na podsawie prawidłowo zweryfikowanego równania rendu można osaecznie swierdzić, czy isnieje endencja rozwojowa oraz jaki ma charaker (endencja rosnąca, endencja malejąca). Pominięcie weryfikacji saysycznej rendu może oznaczać wyciąganie nieuprawnionych wniosków oraz, w przypadku niekórych badań, głoszenie opinii krzywdzących. Saysyczna analiza równań charakeryzujących endencję rozwojową koszalińskich gimnazjów w laach 2002 2009 W prakyce komunikowanie wyników egzaminów zewnęrznych meodą endencji rozwojowej odbywa się poprzez dopasowanie linii rendu do sandaryzowanych średnich wyników uczniów danej szkoły w analizowanych laach. Informację ę określa się jako endencję rozwojową szkoły, choć w rzeczywisości są o średnie wyniki osiągnięe przez uczniów ej szkoły w pewnym okresie czasu. Publikuje się ylko wykresy z dopasowaną linią rendu bez analiycznej posaci równania i bez weryfikacji (badania saysycznej isoności) jego paramerów, a w szczególności współczynnika rendu. Uzupełnienie ych informacji może rzucać nowe świało na ema dynamiki średnich wyników osiąganych przez uczniów na egzaminach zewnęrznych, co ilusrują abele 1. i 2. Przedsawiają one charakerysykę endencji rozwojowej średnich wyników egzaminów gimnazjalnych osiąganych przez uczniów koszalińskich gimnazjów w oparciu o wzrokową ocenę rendu oraz jego saysyczną weryfikację. Szkoły zosały określone symbolicznie kolejnymi lierami alfabeu bez jakiegokolwiek związku z numeracją sosowaną w ich nazwach. Niekóre gimnazja zosały pominięe z powodu znacznego braku danych, wynikającego z krószego okresu ich funkcjonowania. Należy jednak zauważyć, że wykresy ych gimnazjów zosały opublikowane w bardzo mylący sposób. Oóż braki danych zosały zasąpione zerem i do ak zmodyfikowanych danych dopasowano endencję rozwojową (Rys. 1.). Tabela 1. Ocena endencji rozwojowej średnich wyników osiąganych przez uczniów koszalińskich gimnazjów w części humanisycznej egzaminu w laach 2002 2009 Gimnazjum Ocena wzrokowa Współczynnik rendu a 1 Warość esu Prawdopodobieńswo esowe p Wniosek A Duży spadek -0,0783-1,5790 0,1653 Brak rendu B Duży spadek -0,1367-4,2670 0,0053 C Lekki wzros 0,0098 1,0270 0,3438 Brak rendu D Lekki wzros 0,0219 0,5194 0,6221 Brak rendu 1 Opis odpowiednich esów weryfikujących losowość oraz auokorelację resz można znaleźć w każdym podręczniku ekonomerii, np. Borkowski, Dudek, Szczesny, 2003, rozdział 5. 292
Teraźniejszość i przyszłość oceniania szkolnego E Lekki spadek -0,0205-0,5419 0,6074 Brak rendu F Lekki wzros 0,0152 0,6267 0,5540 Brak rendu G Duży spadek -0,0436-0,8319 0,4434 Brak rendu H Duży spadek -0,0706-2,6710 0,0370 I Lekki spadek -0,310-0,9612 0,3736 Brak rendu J Wzros 0,0311 2,2840 0,0625 K Minimalny spadek wzrosowa -0,0046-0,1920 0,8541 Brak rendu L Duży spadek -0,0261-1,5560 0,1707 Brak rendu M Minimalny wzros 0,0020 0,0377 0,9712 Brak rendu Źródło: Opracowanie własne na podsawie: www.oke.poznan.pl Tabela 2. Ocena endencji rozwojowej średnich wyników osiąganych przez uczniów koszalińskich gimnazjów w części maemayczno-przyrodniczej egzaminu w laach 2002 2009 Gimnazjum Ocena wzrokowa Współczynnik rendu a 1 Warość esu Prawdopodobieńswo esowe p Wniosek A Spadek -0,0338-1,1080 0,3104 Brak rendu B Duży spadek -0,0992-5,5260 0,0015 C Lekki wzros 0,0114 0,7016 0,5092 Brak rendu D Duży wzros 0,0545 1,3990 0,2113 Brak rendu E Duży spadek -0,0544-1,9710 0,0962 F Wzros 0,0270 1,5130 0,1811 Brak rendu G Duży spadek 0,0171 0,7380 0,4937 Brak rendu H Duży spadek -0,1009-2,5420 0,0439 I Lekki wzros 0,0199 0,4948 0,6383 Brak rendu J Duży wzros 0,0557 5,7120 0,0012 K Mini-malny wzros wzrosowa 0,0023 0,0954 0,9271 Brak rendu L Duży spadek -0,0444-3,3730 0,0150 M Spadek -0,0323 0,1902 0,1902 Brak rendu Źródło: Opracowanie własne na podsawie: www.oke.poznan.pl 293
XVI Konferencja Diagnosyki Edukacyjnej, Toruń 2010 Źródło: www.oke.poznan.pl Rys. 1. Ilusracja prezenacji endencji rozwojowej dla gimnazjum, w kórym odbyły się dwie edyc je egzaminu W przeciwieńswie do oceny wzrokowej ylko w przypadku rzech gimnazjów swierdzono isoną saysycznie endencję rozwojową wyników egzaminu w części humanisycznej. W przypadku pozosałych gimnazjów uwzględnionych w abeli (77%) nie swierdzono isnienia rendu. Nieco inne wyniki uzyskano w przypadku części maemayczno-przyrodniczej w 8 gimnazjach (62%) nie swierdzono isonej saysycznie endencji rozwojowej. Wśród rendów o isonych saysycznie współczynnikach kierunkowych nie swierdzono isnienia auokorelacji resz 2. Naomias szereg okazał się zby króki do badania losowości resz. Źródło: www.oke.poznan.pl Rys. 2. Prezenacja endencji rozwojowej dla gimnazjum L Na zakończenie rozważań, doyczących saysycznej analizy równań charakeryzujących endencję rozwojową koszalińskich gimnazjów, waro przyoczyć osani przykład komunikowania wyników egzaminu (Rys. 2.). Tym razem 2 Swierdzenie isnienia auokorelacji resz oznaczałoby, że warości saysyki -Sudena dosarczają fałszywych informacji (Borkowski i inni, 2003, s. 93). 294
Teraźniejszość i przyszłość oceniania szkolnego przedsawiono informacje doyczące gimnazjum L, w kórym swierdzono isoną saysycznie endencję spadkową w przypadku części maemaycznoprzyrodniczej oraz brak isonej saysycznie endencji rozwojowej w przypadku części humanisycznej Jeśli nie EWD, o co? Pyanie w podyule posawione jes rochę przewronie. Zgodnie z emayką arykułu należałoby zapyać: jeśli nie meoda endencji rozwojowej, o co? Ale odpowiedź (przynajmniej dla gimnazjów) byłaby oczywisa: edukacyjna warość dodana. EWD wydaje się dobrym uzupełnieniem wyników surowych egzaminów, wnoszącym nową informację, jednak na poziomie wiedzy, kórą dysponujemy, nie powinna być ona używana, jako samodzielny wskaźnik pracy szkoły. Używając edukacyjnej warości dodanej do oceny szkół, należy zawsze brać pod uwagę koneks wyników egzaminów (Prokopek, 2007, s. 139). Chociaż EWD, jako meoda komunikowania egzaminów zewnęrznych, nie jes bez wad (Dolaa, 2007), o jes ona na razie najlepszą propozycją w ym zakresie. Również w kwesii właściwego publikowania wyników w formie graficznej oparzonej swoisą insrukcją obsługi. Niesey, wykorzysanie EWD możliwe jes obecnie ylko dla gimnazjów. W akim razie należy wrócić do pyania przyoczonego w podyule i szukać odpowiedzi w doychczasowej prakyce. Wyniki innych egzaminów niż egzaminy gimnazjalne komunikuje się najczęściej w formie średnich wyników procenowych, średnich sandaryzowanych umożliwiających porównywania wyników z różnych la, w formie skali saninowej lub współczynnika ławości. Ponieważ w przypadku maury oraz egzaminów powierdzających kwalifikacje zawodowe skala saninowa okazała się za króka, pojawiła się propozycja wyrażania ych wyników w znormalizowanej skali sandardowej o średniej 500 i odchyleniu sandardowym 100 zw. skali akademickiej (Szaleniec, 2007). Szczegółową propozycję komunikowania wyników egzaminów mauralnych, wynikającą między innymi z dużego zróżnicowania egzaminów pod względem liczby zdających, przedsawia również M.K. Szmigel (2005), sugerując, żeby posługiwać się w ym celu nasępującymi wskaźnikami: procenowy udział uczniów, kórzy zdali egzamin, wraz z liczbą uczniów, kórzy przysąpili do egzaminu, średni procenowy wynik z poszczególnych przedmioów, sanin szkoły na wyjściu, wyliczony jako średnia ważona indywidualnych wyników uczniów w skali saninowej z przedmioów na poziomie podsawowym, średni wynik uczniów w szkole wyliczony na podsawie sumy wszyskich wyników procenowych uczniów przez liczbę egzaminów zdawanych w szkole. Odnośnie komunikowania wyników egzaminów zewnęrznych pochodzących z dłuższego czasu, proponuję zaniechanie nanoszenia linii rendu na wykres ukazujący dynamikę średnich wyników uzyskiwanych przez uczniów. Dobrą prakyką będzie pozosawienie inerpreacji ych wykresów czyelnikowi. 295
296 XVI Konferencja Diagnosyki Edukacyjnej, Toruń 2010 Informując opinię publiczną o wynikach egzaminów zewnęrznych w formie wykresów ukazujących ich dynamikę, należałoby unikać swierdzenia, że prezenujemy dynamikę osiągnięć szkoły. Trakowanie średniego wyniku (sandaryzowanego), sanowiącego podsawę meody rendu jako miary efekywności nauczania, jes błędne. Ponieważ wyniki zależą również od czynników, kóre są poza konrolą szkoły, używanie nieprzeworzonych wyników jako miary efekywności musi prowadzić do nieadekwanych ocen (Dolaa, 2007, s. 168). W przypadku wykorzysania meody endencji rozwojowej do komunikowania wyników egzaminów zewnęrznych, należałoby dochować wszelkiej saranności, przeprowadzając saysyczną weryfikację paramerów oszacowanego rendu, jak również wymagane esy sprawdzające właściwości resz. Nasępnie należałoby wnioskować o endencji wyników uczniów ylko na podsawie akich rendów, kóre spełniają wszelkie wymogi pełnej weryfikacji saysycznej (ekonomerycznej). Na koniec, wzorem komunikowania meodą edukacyjnej warości dodanej, należałoby poinformować czyelników w sposób w miarę przysępny, o właściwościach ej meody i zasadach prawidłowego sosowania. Również o ym, że rezulay szkoły zależą nie ylko od wysiłku szkoły, ale na przykład w dużej mierze od składu zespołu uczniowskiego. Może się przecież zdarzyć, że np. endencja ( o ile ma miejsce w sensie jej isoności saysycznej) może być wynikiem wyłącznie endencji zmian srukury zespołu uczniowskiego w nasępswie działania zasad rynku edukacyjnego. Szkoły orzymują szczegółowe wyniki egzaminów zewnęrznych swoich uczniów i mają możliwość dokonania ich wszechsronnej analizy. Dobrze, jeśli nauczyciele lub dyrekorzy ych szkół posiadają do ego odpowiednie kompeencje, aby na podsawie przeprowadzonej analizy wyciągać właściwe wnioski. Możliwe, że w wyborze odpowiednich meod wzorują się oni na doychczasowej prakyce diagnosyków wykonujących podobne analizy, w ym specjalisów CKE, OKE i kuraoriów oświay. Należy zaroszczyć się o o, by czerpali dobre wskazówki z ych źródeł. Tym bardziej, iż analiza wyników egzaminów zewnęrznych powinna sanowić jedno ze źródeł informacji, na podsawie kórych szkoła dokonuje szczegółowej diagnozy, a w konsekwencji podejmuje decyzję o ym, jakie zadania chce realizować i jakie umieścić w programie rozwoju szkoły (Jas, Łysak, 2009, s. 44). Podsumowanie W rosce o właściwe i rzeelne komunikowanie wyników egzaminów zewnęrznych w oparciu o popularną w środowisku szkolnym oraz wśród organów prowadzących i nadzorujących szkoły meodę endencji rozwojowej należy zwrócić uwagę na konieczność korzysania z ej meody w sposób prawidłowy. Wiąże się o z weryfikacją odpowiednich hipoez i przeprowadzeniem sosownych esów saysycznych. W przeciwnym razie należałby zaniechać nanoszenia linii rendu na wykres ukazujący dynamikę średnich wyników uzyskiwanych przez uczniów na egzaminie zewnęrznym. Prezenując wyniki egzaminów zewnęrznych w formie wykresów ukazujących ich dynamikę waro bardzo wyraźnie zaznaczyć, że nie należy ich inerpreować jako charakerysykę osiągnięć szkoły, ponieważ średnie wyniki osiągane
Teraźniejszość i przyszłość oceniania szkolnego przez uczniów zależą również od czynników, kóre są poza konrolą szkoły. Nawe gdybyśmy wykazali isnienie saysycznie isonej endencji rozwojowej, doyczyłaby ona średnich wyników uczniów, a nie jakości pracy szkoły. Niedochowanie właściwej saranności w komunikowaniu wyników egzaminów zewnęrznych w oparciu o meodę endencji rozwojowej niesie więc za sobą przynajmniej dwa niebezpieczeńswa: analizę rendu, kórego isnienie nie zosało udowodnione, oraz ocenę jakości pracy szkoły w oparciu o miarę, kóra samodzielnie jakości pracy szkoły nie mierzy. Bibliografia: 1. Borkowski B., Dudek H., Szczesny W., Ekonomeria. Wybrane zagadnienia, Wydawnicwo Naukowe PWN, Warszawa 2003. 2. Dolaa R., Kryyczna analiza meody edukacyjnej warości dodanej, Egzamin, Biuleyn badawczy 14/2007, Cenralna Komisja Egzaminacyjna w Warszawie 2007. 3. Jas M., Łysak K., Jak budować programy rozwojowe szkół, by edukacja była skueczna, przyjazna i nowoczesna?, Deparamen Funduszy Srukuralnych MEN 2009, www.efs.men.gov.pl. 4. Piłaowska M., Repeyorium ze saysyki, Wydawnicwo Naukowe PWN, Warszawa 2007. 5. Prokopek A., Trafność wskaźnika edukacyjnej warości dodanej dla szkół gimnazjalnych, Egzamin, Biuleyn badawczy 14/2007, Cenralna Komisja Egzaminacyjna w Warszawie 2007. 6. Sobczyk M., Saysyka, Wydawnicwo Naukowe PWN, Warszawa 2008. 7. Szaleniec H., Refleksja na ema rozwoju sysemu egzaminacyjnego, XIII Konferencja Diagnosyki Edukacyjnej 2007, www.pde.org. 8. Szmigel M. K., O rudnościach i odpowiedzialności za komunikowanie wyników egzaminu mauralnego, XI Konferencja Diagnosyki Edukacyjnej 2005, www. pde.org. 9. Tendencje rozwojowe szkoły, Kara informacyjna badania związanego z sysemem egzaminowania zewnęrznego przeprowadzonego w erminie grudzień 2005 wrzesień 2007, www.oke.poznan.pl. 10. Zajączkowska K., Analiza, inerpreacja i wykorzysanie wyników egzaminów zewnęrznych przez dyrekorów szkół podsawowych i gimnazjów, 2008, www.kuraorium.szczecin.pl. 297