Wyniki egzaminów, sprawdzianów i badań. przeprowadzonych w pabianickich szkołach. w roku 2009

Urząd Miejski w Pabianicach Wydział Edukacji, Kultury i Zdrowia Wyniki egzaminów, sprawdzianów i badań przeprowadzonych w pabianickich szkołach w roku 2009 Opracowanie: Mirosław Niepsuj Pabianice, listopad 2009 r. ~ 1 ~

1. Wprowadzenie 2. Badanie w klasach III szkół podstawowych 3. Sprawdzian w klasie VI szkoły podstawowej 4. Egzamin gimnazjalny 5. Edukacyjna Wartość Dodana 6. Pabianicka Wartość Dodana (PWD) 7. Podsumowanie 1. Wprowadzenie W roku 2009 przeprowadzono w kwietniu i maju dwa zewnętrzne sprawdziany umiejętności uczniów organizowane przez Centralną Komisję Egzaminacyjną. W szkołach podstawowych przeprowadzono sprawdzian w klasie VI w zakresie wybranych umiejętności, a w gimnazjach przeprowadzono egzamin gimnazjalny w klasie trzeciej, gdzie badano umiejętności w części humanistycznej i matematyczno przyrodniczej. Przedstawione niżej wyniki zestawiono z wynikami średnimi uczniów z województwa łódzkiego i całej Polski w celu porównania wyników. Dodatkowo w ubiegłym roku szkolnym Wydział Edukacji, Kultury i Zdrowia zorganizował i przeprowadził dwa dodatkowe badania uczniów szkół podstawowych, którymi objęto wszystkich uczniów kończących klasę trzecią oraz wszystkich uczniów rozpoczynających edukację na początku klasy pierwszej. Dane z egzaminów zewnętrznych uzyskane ze szkół posłużyły do wykonania wyliczeń wartości średnich i procentowych w zakresach badanych parametrów. Po wykonaniu zbiorczych zestawień najistotniejsze wskaźniki zostały przedstawione w formie wykresów. Wyniki dwóch dodatkowych badań zostały opracowane na wynikach własnych Wydziału EKZ. Uzyskanie wyniku powyżej 70% jest przyjęte, jako kryterium opanowanie danej umiejętności. Wynik testu w granicach 50% - 70% oznacza, że czynność jest opanowana w stopniu umiarkowanym. Natomiast wynik poniżej 50% oznacza, iż oceniana umiejętność nie jest przyswojona w stopniu zadowalającym. ~ 2 ~

2. Badanie w klasach III szkół podstawowych Dokonując analizy wyników sprawdzianów w klasie VI szkoły podstawowej i egzaminów gimnazjalnych napotkaliśmy szereg zjawisk, które trudno jest interpretować dysponując jedynie wynikiem testu na koniec szkoły. Podjęliśmy działania sprawdzające również poziom przyswojenia umiejętności i wiedzy w połowie kształcenia w szkole podstawowej. Sprawdzian po klasie trzeciej daje nam informację o poziomie kształcenia w nauczaniu zintegrowanym oraz dane niezbędne do mierzenia wartości dodanej na koniec klasy szóstej. Dla zdiagnozowania poziomu nauczania i oceny poziomu umiejętności po zakończeniu nauczania zintegrowanego postanowiono przeprowadzić sprawdzian na koniec III klasy szkoły podstawowej. Egzamin zaprojektował i przeprowadził Wydział EKZ na wzór sprawdzianu organizowanego przez Centralną Komisję Egzaminacyjną. Test został przygotowany w oparciu o obowiązujące podstawy programowe, a skala jego trudności została określona na poziomie zbliżonym do sprawdzianu w klasie VI z uwzględnieniem programu nauczania w klasach I III. Test obejmował badanie tych samych umiejętności. Zachowano również zbliżoną punktację za opanowanie poszczególnych umiejętności i całości sprawdzianu. Taka konstrukcja testu pozwalała na porównanie wyników obu tych sprawdzianów. Autorem testu była Pani mgr Marzenna Majchrzak zastępca dyrektora Szkoły Podstawowej nr 3 Przeprowadzony test miał charakter sprawdzianu zewnętrznego. Został przeprowadzony w szkołach przez egzaminatorów zatrudnionych w innych placówkach. Testy z całego miasta sprawdzono w Wydziale EKZ z pomocą dwóch doświadczonych pedagogów. Wszystkie te działania przeprowadzono w celu uzyskania obiektywnych wyników, które są reprezentatywne dla całej populacji. Test tej samej treści był pisany przez wszystkich obecnych uczniów w tym samym czasie. W sprawdzianie wzięło udział 539 uczniów z 570, co stanowi 95% liczby uczniów klas IV. Wyniki zostały opracowane przez Wydział EKZ dla wszystkich szkół. Takie działanie ma na celu wsparcie i pomoc poszczególnym szkołom w ocenie wyników i wypracowanie wniosków do dalszej pracy. Badanie przeprowadzono w maju 2009 r., było to już trzecie badanie. Po raz pierwszy całą populację dzieci przebadano w 2007 r. Poniżej przedstawiono zbiorcze wyniki. ~ 3 ~

~ 4 ~

Po raz pierwszy dokonano również pilotażowo badania z zakresu umiejętności z języka angielskiego po trzyletniej nauce. Na podstawie pytań z testu dokonano również oceny umiejętności z zakresu języka polskiego i matematyki. Te dwa podstawowe przedmioty, teraz już obowiązkowe na maturze maja ogromne znaczenie jako podstawa do przyjmowania treści z innych przedmiotów. Z testów gimnazjalnych znane są nam problemy dzieci z tym przedmiotem. Chcieliśmy sprawdzić, gdzie i na jakim poziomie edukacji problemy się rodzą. ~ 5 ~

Z przedstawionych diagramów jasno wynika, że o ile nauczanie języka polskiego przebiega dobrze i bardzo dobrze w klasach I III, to nauczanie matematyki jest generalnie na niskim poziomie i to we wszystkich szkołach. Widać wyraźnie, że późniejsze problemy uczniów na koniec klasy VI i gimnazjum swoją przyczynę mają w niedostatecznej edukacji w klasach najmłodszych. W związku z tak postawioną diagnozą, należy w pilnym trybie dokonać dostosowania treści programowych w nauczaniu zintegrowanym na korzyść wzmożonego kształcenia umiejętności związanych z matematyką. Bez takiej poprawki nie mamy szans na poprawę w przyszłych latach wyników uczniów. ~ 6 ~

Niżej zestawiono wyniki porównawcze z trzech lat, w których przeprowadzono badanie. Podsumowując, wyniki poszczególnych szkół różnią się znacząco. Mniej więcej te wyniki mają odzwierciedlenie w wynikach klas VI. Zwraca uwagę duża rozbieżność wyników w poszczególnych szkołach w ciągu ostatnich trzech lat. Trudno z zewnątrz wyjaśnić słaby tegoroczny wynik uczniów SP-1 po dwóch latach dobrych wyników. Podobne, dość krańcowe dysproporcje wystąpiły w SP-5. Zjawiska te winny być przedmiotem gruntownej analizy wewnątrzszkolnej. ~ 7 ~

3. Sprawdzian w klasie VI szkoły podstawowej W przeprowadzonym sprawdzianie uczniowie pabianickich szkół podstawowych osiągnęli wyniki przedstawione poniżej w formie diagramów. ~ 8 ~

Podsumowanie sprawdzianu Z przedstawionych wyżej wyników uzyskanych przez uczniów za opanowanie poszczególnych umiejętności zsumowano wyniki punktowe i z postaci średnich arytmetycznych dla poszczególnych szkół przeliczono na wartości procentowe (40 punktów = 100%). Końcowe wyniki sprawdzianów zostały zobrazowane na wykresach poniżej. ~ 9 ~

Zestawiono również wyniki sprawdzianów od czasu ich wprowadzenia. W ciągu ostatnich ośmiu lat wyniki pabianickich uczniów są niezmiennie wyższe od średniej krajowej i średniej województwa łódzkiego. Przez cały okres badania nasze wyniki są lepsze w granicach 2 3%. Jest to pozytywne zjawisko, ale jesteśmy przekonani że to nie koniec możliwości pabianickiej edukacji. Liczymy, że systematyczne badanie efektów kształcenia pozwoli nam w przyszłości wyeliminować słabe strony pabianickiego szkolnictwa i w efekcie podnieść jeszcze wyniki nauczania. Jesteśmy przekonani że w pracy pabianickich szkół podstawowych tkwią jeszcze duże rezerwy. ~ 10 ~

4. Egzamin gimnazjalny Niżej przedstawiam wyniki uzyskane przez naszych gimnazjalistów w porównaniu z wynikami w województwie łódzkim i całym krajem. Podsumowanie testu humanistycznego Połączony wynik obu badanych wyżej umiejętności po zsumowaniu daje nam obraz opanowania umiejętności z zakresu przedmiotów humanistycznych, który przedstawiony jest poniżej. ~ 11 ~

Wyniki naszych gimnazjów w części humanistycznej plasują nas blisko średniej krajowej. Gimnazjum 1 i 3 troszkę powyżej, a Gimnazjum 2 nieznacznie poniżej. Wszystkie wyniki plasują się powyżej poziomu koniecznego. Przedmioty matematyczno przyrodnicze ~ 12 ~

Podsumowanie testu matematyczno - przyrodniczego Podsumowanie łącznego wyniku 4 umiejętności z zakresu przedmiotów matematyczno przyrodniczych obrazuje zestawienie poniżej. Wyniki tej części egzaminu są podobne jak w części humanistycznej z tą różnicą, że umiejętności są na znacznie niższym poziomie, blisko granicy poziomu koniecznego. Nie jest to mocna strona polskiej oświaty. Łączny wynik egzaminu gimnazjalnego Podsumowanie wyniku testu humanistycznego i matematyczno przyrodniczego obrazuje poniższe zestawienie. ~ 13 ~

Wyniki pabianickich gimnazjów są średnio wyższe od średniej krajowej, z tym że Gimnazjum nr 1 i 3 mają wyniki wyższe od tej średniej, a Gimnazjum nr 2 niższe W 2009 r. w czasie egzaminu gimnazjalnego po raz pierwszy badano poziom opanowania umiejętności z języków obcych. Ocenie poddano: I odbiór tekstu słuchanego; II odbiór tekstu czytanego; III reagowanie językowe. ~ 14 ~

Należy zwrócić uwagę na ogólnie dobre przygotowanie z języków obcych. Jest to niewątpliwie mocna strona pabianickich gimnazjów. Do pełniejszego zobrazowania osiągnięć pabianickich gimnazjalistów zobrazowano wyniki od 2002 roku w porównaniu ze wynikami średnimi w województwie łódzkim Z zestawienia wieloletniego wynika, że dwa gimnazja 1 i 3 mają wyniki w ciągu całych ośmiu lat wyższe od średniej krajowej, a Gimnazjum nr 2 w całym okresie niższe. Nie widać tu, żadnej tendencji zmiany. W celu określenia efektywności nauczania w gimnazjum dokonano porównania wyniku egzaminu gimnazjalnego do wyniku sprawdzianu po klasie VI. Każdemu gimnazjaliście przyporządkowano jego wynik wcześniejszy, a różnica pokazuje efektywność nauczania w poszczególnych szkołach. Wynik dodatni wskazuje, że uczniowie lepiej zdali egzamin gimnazjalny niż sprawdzian. Wynik ujemny świadczy, że egzamin gimnazjalne uczniowie zdali słabiej. To znaczy również że uczniowie nie wykorzystali swojego potencjału i efektywność nauczania jest niska. Oczywiście wpływ na tę różnice ma wskaźnik trudności obu egzaminów, ale na to już nie mamy wpływu bo są to egzaminy zewnętrzne. Należy ten wynik rozpatrywać w kontekście porównawczym i różnice pomiędzy szkołami dają nam pewien obraz efektywności nauczania i zmian tego parametru w poszczególnych latach. ~ 15 ~

Z wieloletniego zestawienia różnic w poziomie umiejętności po egzaminie gimnazjalnym w stosunku do egzaminu po klasie VI możemy dostrzec pozytywną tendencję w Gim nr 2, gdzie z roku na rok rośnie efektywność nauczania. Odwrotna tendencja zarysowała się w Gim nr 3, gdzie efektywność nauczania wyraźnie maleje i jest to bardzo niepokojąca tendencja. Świadczy to o niepełnym wykorzystywaniu potencjału uczących się tu uczniów i mimo wyniku ponad średnią krajową, biorąc pod uwagę duże możliwości uczniów, wyniki nie są satysfakcjonujące. Poniższe zestawienia obrazuje wyniki klas i różnicę w osiąganych wynikach po trzech latach edukacji w gimnazjum w podziale na oddziały. Można zaobserwować duże zróżnicowanie wyników w poszczególnych klasach. W tym zestawieniu najlepszą efektywność osiągnęły klasy 3c i 3d z G-2 i 3i z G-3. Te klasy osiągnęły najbardziej zbliżony wynik do egzaminu po klasie VI, co świadczy o najwyższej efektywności nauczania w tych oddziałach i wartość dodana jest tu najwyższa. Zupełnie inaczej jest w klasie 3b z G-3. Możemy tutaj zaobserwować najwyższą zniżkę wyników w porównaniu do ~ 16 ~

sprawdzianu. Blisko 20% spadek umiejętności po trzech latach nauki wymaga uszczegółowionej analizy w szkole i znalezienia przyczyn tak słabej efektywności. Trudno jest znaleźć korelację pomiędzy zaprezentowanymi powyżej dwoma zestawieniami. 5. Edukacyjna Wartość Dodana (EWD) Według materiałów publikowanych na stronach internetowych CKE wskaźnik EWD dla gimnazjum mówi o tym, na ile wysokie/niskie wyniki egzaminu gimnazjalnego uzyskali uczniowie w porównaniu do gimnazjów w całej Polsce (ok. 7000) o danym poziomie zasobów na wejściu. Wskaźnik ma charakter względny, czyli służy do porównywania szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia EWD wskazuje na ponadprzeciętną efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność. 1. Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność. 2. Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania. 3. Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej efektywności. 4. Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania. 5. Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania. Wyliczenia i zobrazowanie EWD zaczerpnięto ze strony internetowej cke.scholaris.pl ~ 17 ~

2006-2008 G-1 test humanistyczny G-1 - test matematyczno przyrodniczy G-2 test humanistyczny ~ 18 ~

G-2 - test matematyczno przyrodniczy G-3 test humanistyczny ~ 19 ~

G-3 - test matematyczno przyrodniczy Należy zauważyć, że wskaźnik EWD jest wartością względną i odnosi pozycję badanego gimnazjum do wszystkich gimnazjów w Polsce. Wskaźniki zostały tak dobrane, aby znaleźć odzwierciedlenie pozycji badanego gimnazjum w stosunku do 50% szkół lub 90%. Niejasna ~ 20 ~

jest metoda wyliczenia EWD, bo nie publikuje się wzoru wyliczeń, a jedynie gotowe arkusze przeliczeniowe i tym samym trudno odnieść się do wyniku i go przeanalizować. Miara ta nie uwzględnia rzeczywistego poziomu kształcenia i nie pozwala na ocenę efektywności. Porównanie rzeczywistych wyników do wyników EWD pokazuje, że wskaźniki EWD są znacznie wyższe i korzystniejsze dla szkół niż to jest w rzeczywistości. Wadą tego sposobu wyliczania EWD jest możliwość zmierzenia tylko gimnazjum, nie mamy żadnych propozycji objęcia takim badaniem szkół podstawowych. Przydatność tej metody jest więc bardzo ograniczona. W naszym mieście, gdzie badania wyników są dokonywane od kilku lat jest to metodologia mało przydatna i możemy ją stosować jako uzupełnienie do istniejących już analiz. Inne słabe stron EWD to porównanie jednej szkoły do wyników ok. 3500 gimnazjów w Polsce. Jest to bardzo mało precyzyjne porównanie. Skomplikowana metoda obliczeń i brak dostępności do formuł nie pozwala w odpowiedzialny sposób komentować uzyskane wyniki. Wartości na osiach są wskaźnikowe i nie wiadomo jakie to są jednostki. Są również zalety tej metodologii. Najważniejsza z nich to wprowadzenie do świadomości środowiska oświatowego pojęcia wartości dodanej i możliwość zastosowania jej do pomiaru efektywności nauczania. Ogromnym atutem tej metody jest sposób prezentacji wyników, czytelny, łatwy do interpretacji. Potrzebujemy uniwersalnych instrumentów badania wyników na wszystkich poziomach kształcenia i dodatkowo łatwych do zastosowania. Powinny być zrozumiałe dla uczniów nauczycieli i rodziców. Dotychasowa nasza metodologia badania wyników edukacyjnych pozwala na ocenę wyników, jak i wartości dodanej, ale tylko w kontekście naszego miasta. Mamy również możliwość porównania wyników naszych szkół do średnich krajowych. Nie jest najistotniejszą informacją, gdzie jesteśmy w stosunku do innych szkół, ale jak efektywnie kształcimy dzieci, co one potrafią i wiedzą. EWD może tu spełniać swoją rolę. ale tylko w odniesieniu do gimnazjów. Zdaniem autora podstawą w rzetelnym badaniu i ocenie winny być dane bezwzględne. Stosowanie tylko wartości względnych oddala nas od prawidłowej oceny zjawiska, utrudnia interpretację wyników i często dochodzi do zniekształcenia wyników. 6. Pabianicka Wartość Dodana (PWD) Autor ma świadomość, że zastosowane do tej pory w tym i w poprzednich opracowaniach sposoby prezentacji wyników nie są doskonałe, najczęściej polegały one na interpretacji bezwzględnych wyników. Trudności pojawiały się, gdy zachodziła konieczność interpretowania więcej niż jednego parametru. Zaistniała pilna potrzeba dopracowania stosowanej metodologii, tym bardziej, że w roku przyszłym będziemy dysponowali materiałem pozwalającym na wyliczenie wartości dodanej w szkołach podstawowych w klasach IV-VI, a w roku następnym również w klasach I-III, czyli na wszystkich etapach edukacyjnych. Obecnie nie opublikowano jeszcze metody wyliczania wartości dodanej dla szkół podstawowych. Sądzę, że wynik prac zespołów badawczych zajmujących się tą problematyką może być dyskusyjny. Zespoły te, pomimo wielu lat pracy, mają ogromne problemy żeby zdefiniować tę wartość, a przyczyna tych problemów tkwi w braku wartości wejścia, podstawowej, niezbędnej danej do wyliczenia wartości dodanej. Wszelkie próby zastąpienia tej danej w postaci współczynnika społecznego nie mogą dać satysfakcjonujących i mierzalnych wyników. W Pabianicach od przyszłego roku już będziemy pozbawieni tego ~ 21 ~

zasadniczego ograniczenia, gdyż będziemy dysponować wynikami wejścia i wyjścia dzięki testom które przeprowadzamy w klasach pierwszych i trzecich już od trzech lat. Tak więc dalsze oczekiwanie na opracowanie stosownej metodologii nie ma sensu. Zaistniała więc konieczność opracowania własnej, oryginalnej metody badania wartości dodanej w celu zastosowania jej do badania wyników w Pabianicach na wszystkich poziomach edukacyjnych. Wynik tych prac i przemyśleń przedstawiono poniżej. Na początek chciałbym Państwu przedstawić założenia i konstrukcję Pabianickiej Wartości Dodanej (nazwanej tak dla odróżnienia od EWD). Sposób zobrazowania wyników zaczerpnięto bez zmian z opracowań CKE. Jest to przyjazny i przejrzysty sposób prezentacji wyników pozwalający na równoczesne analizę dwóch czynników wyniku egzaminu i wartości dodanej. Zmianie całkowitej poddano sposób wyliczenia i zobrazowania wartości. Przede wszystkim różnica polega na stosowaniu wartości bezwzględnych, a więc na osi poziomej wynik egzaminu jest rzeczywistym wynikiem gimnazjum, a nie współczynnikiem. Punkt przecięcia został wyznaczony na podstawie średniej wyników egzaminu gimnazjalnego obliczonej dla całego kraju. PWD jest różnicą pomiędzy realnym wynikiem egzaminu gimnazjalnego, a sprawdzianem po klasie VI. Wynik dodatni oznacza poprawę wyniku uczniów, co jest jednoznaczne z wysoką efektywnością szkoły, a wynik ujemny pokazuje niewykorzystanie potencjału dzieci, a tym samym niską efektywność nauczania. Metoda wyliczenia PWD jest więc bardzo prosta i do wykonania przez każdego nauczyciela bez specjalistycznego przygotowania. Takie też było założenie autora, aby metoda była przyjazna, a wyniki łatwe do analizy. Tak więc w tej metodzie nie porównujemy naszego ~ 22 ~

gimnazjum do rozległego zbioru 50% innych gimnazjów w Polsce, ale do jednego średniego, przeciętnego. Z przedstawionego zobrazowania łatwo można stwierdzić, że wszystkie trzy nasze gimnazja niestety uczą mało efektywnie o wiele gorzej niż ma to przeciętnie miejsce w kraju. Pocieszający jest fakt że dwa z nich maja wynik egzaminu wyższy od średniej ogólnopolskiej. Metoda ta jest uniwersalnym narzędziem badania poziomu kształcenia. Można dzięki jej zastosowaniu badać różne zbiorowości dzieci, np. klasy, wybrane grupy dzieci, albo nawet pojedyncze dziecko. Można zbadać wszystkie dzieci w klasie i zaobserwować, które z nich ma dobre wyniki, ale o wiele cenniejszą informacja jest postęp dziecka w stosunku do swoich możliwości określonym wynikiem wejścia. Dzięki tej metodzie można osiągnąć tę samą wiedzę co w EWD poszerzoną np. poprzez zmianę punktu odniesienia. Możemy sobie przyjąć dowolny punkt odniesienia. Może to być średnia szkolna, miejska lub klasowa. Przykładem na możliwości tej metody jest zobrazowanie wszystkich klas gimnazjalnych do średniej miejskiej zaprezentowane poniżej Analizę tego zestawienia pozostawiam już Państwu. 7. Podsumowanie ~ 23 ~

Zwraca uwagę w ocenie wyników przedstawionych egzaminów, że lepiej wypadły sprawdziany w szkole podstawowej niż w gimnazjum. Ta tendencja utrzymuje się już niezmiennie od kilku lat. Wyniki naszych szkół są wyższe od średnich krajowych i wojewódzkich, jednak nie możemy być do końca usatysfakcjonowani. W naszych szkołach istnieją jeszcze duże rezerwy w jakości kształcenia. Stwierdzone braki w opanowaniu poszczególnych umiejętności są szczegółowo analizowane. Praca ta jest już w niektórych placówkach bardzo widoczna. W gimnazjach znaczącej zmiany nie zaobserwowano. Liczymy, że pogłębiona diagnoza oraz dodatkowe sprawdziany dadzą lepszy, dokładniejszy obraz pabianickiej edukacji i analiza wieloletnich wyników pozwoli na eliminacje słabych stron pabianickiej edukacji. Zwraca również uwagę prawidłowość, którą można zaobserwować na zestawieniach wyników. Umiejętności, które nie są opanowane na poziomie przedszkola nie są również opanowane na koniec gimnazjum (przykład pisanie). Świadczy to o nieskuteczności zajęć wyrównawczych lub o złym ich realizowaniu. Wyniki potwierdzają również ogromne znaczenie edukacji przedszkolnej i wczesnoszkolnej dla późniejszego rozwoju dziecka i pełnego rozwinięcia jego potencjalnych możliwości. ~ 24 ~