Jak analizuje się wyniki egzaminów zewnętrznych w polskich szkołach? Raport z wyników ewaluacji zewnętrznej

Transkrypt

1 Agata Ligęza, Justyna Franczak Jak analizuje się wyniki egzaminów zewnętrznych w polskich szkołach? Raport z wyników ewaluacji zewnętrznej W roku szkolnym 2011/12 połowa szkół, w których odbyła się ewaluacja zewnętrzna spełniała wymaganie na poziomie wysokim, tylko 11 z nich w Polsce (1%) nie spełniło tego wymagania. Analiza wyników sprawdzianu i egzaminów zewnętrznych jest standardem pracy nauczycieli. Szkoły prowadzą analizę różnymi metodami, jednak dominują metody ilościowe. Do najczęściej wykorzystywanych miar statystycznych należą łatwość zadań i średni wynik szkoły. Mały odsetek szkół (39%) uwzględnia w swoich analizach czynniki kontekstowe. Stosunkowo rzadko wykorzystywana jest jeszcze edukacyjna wartość dodana. Trzyletnie i dwuletnie wskaźniki EWD analizuje 16% badanych gimnazjów i szkół ponadgimnazjalnych, a wskaźniki jednorocznej EWD 25% gimnazjów. Szkoły wyznaczają sobie różnorodne cele analiz, dotyczące wielu obszarów pracy nauczycieli. Można tym celom przypisać funkcję informacyjną, diagnostyczną, motywującą i korekcyjną. Służą poprawie jakości pracy szkoły. Większość z nich formułowana jest ogólnie, przyjmuje brzmienie opisu charakterystyki wymagania. Badania wskazują na powszechną znajomość wśród nauczycieli wniosków z analiz egzaminów i sprawdzianu.. Przeważają wnioski w postaci konkretnych rekomendacji i działań. Najwięcej z nich dotyczy jakości procesu nauczania. Nie wszystkie podawane przez respondentów wnioski mają związek z analizą wyników sprawdzianu i egzaminów zewnętrznych. W badanej próbie widoczna jest tendencja do oceniania większości wdrażanych wniosków jako przyczyniających się do poprawy efektów kształcenia. Wprowadzenie Wyniki egzaminów zewnętrznych są dla szkół ważną informacją zwrotną. Pozwalają stwierdzić, w jakim stopniu ich uczniowie opanowali wymagania edukacyjne. Pokazują osiągnięcia szkoły na tle wyników innych szkół. Są jedną z miar pozwalających wnioskować o jakości pracy szkoły. Dlatego ważna w wymaganiu jest celowa i wieloaspektowa analiza. Wybór sposobu i zakresu badania wpływa na rodzaj możliwych do wyciągnięcia wniosków. Porównując wyniki szkoły z tłem, zestawiając podstawowe miary statystyczne, możemy wnioskować o pozycji wyniku szkoły. Wnioski o jakości pracy szkoły uzyskujemy, stosując metody jakościowe i analizę kontekstową. Rozporządzenie daje szkołom autonomię w doborze adekwatnych dla niej metod, ilościowych i jakościowych. Kluczową sprawą nie jest jednak sama analiza, 1

2 a wykorzystanie wniosków, stąd już na poziomie podstawowym wymaga się od szkół ich wdrażania. Działania zaplanowane i prowadzone na postawie wniosków z analizy powinny prowadzić do wzrostu efektów kształcenia. Aby to ocenić, konieczne jest monitorowanie skuteczności wdrażanych działań. Warto też zastanowić się, jak w szkołach rozumieć wzrost efektów kształcenia. Trudno wyznaczać tu szkołom uniwersalne wskaźniki, gdyż w każdej z nich kryterium sukcesu będzie inne, zależne od wielu czynników. Możemy przyglądać się tym efektom szeroko, patrząc na ogólny wynik szkoły, np. pozycję szkoły w skali staninowej, wynik edukacyjnej wartości dodanej lub badać postęp w zakresie jednej konkretnej umiejętności. W poniższym opracowaniu przedstawimy kto i w jaki sposób prowadzi w szkołach analizę wyników sprawdzianu i egzaminów zewnętrznych. Zaprezentujemy częstość stosowanych metod. Przyjrzymy się wnioskom i działaniom podejmowanym na ich podstawie. Opracowanie powstało na podstawie analizy wyników ewaluacji zewnętrznej szkół przeprowadzonej w roku szkolnym 2011/2012. Analiza danych według poziomów spełniania wymagań Analizując rozkład procentowy poziomów spełniania wymagań w szkołach podstawowych oraz w grupie gimnazjów i szkół ponadgimnazjalnych, nie zaobserwowano znaczących różnic. Niemal połowa szkół osiąga poziom wysoki ( 48% gimnazjów oraz szkół ponadgimnazjalnych, 45% szkół podstawowych). W co trzeciej szkole wizytatorzy oceniają go jako średni ( 30% gimnazjów i szkół ponadgimnazjalnych, 34% szkół podstawowych). O poziomie C najczęściej decydowało kryterium: wdrażane wnioski przyczyniają się do wzrostu efektów kształcenia. Tylko jeden procent szkół w każdej z tych grup spełnia wymaganie na poziomie niskim ( E ). Poniżej, na wykresie przedstawiono zbiorczy rozkład procentowy dla wszystkich typów badanych szkół (n=1991). 2

3 Procentowy rozkład poziomów spełniania wymagania w szkołach 1% 9% 11% poziom A poziom B 32% 47% poziom C poziom D poziom E Źródło: dane ewaluacji zewnętrznej w okresie od r. do r. Analiza wymagania Czy szkoły analizują wyniki sprawdzianu i egzaminów zewnętrznych? Wszystkie badane szkoły, bez względu na osiągany poziom spełniania wymagania, analizują wyniki sprawdzianu i egzaminów zewnętrznych. Powszechna jest znajomość wniosków z analizy, 88% nauczycieli podaje, że zna wszystkie wnioski z analizy, 7%, że ma taką wiedzę tylko w zakresie, który go dotyczy. Czy zna Pan/Pani wnioski z analizy wyników sprawdzianu/ egzaminów zewnętrzych z poprzedniego roku szkolnego? 1% 1% 3% 7% 1. tak, otrzymałem/- am pełną informację tak, mam informację w zakresie, który mnie bezpośrednio dotyczy tak, ale mam za mało informacji na ten temat 88% nie znam brak odpowiedzi Źródło: dane ewaluacji zewnętrznej w okresie od r. do r. 3

4 W jaki sposób w szkole prowadzone są analizy wyników egzaminów zewnętrznych? Na podstawie danych można stwierdzić, że szkoły wypracowały sobie własne sposoby pracy z wynikami sprawdzianu i egzaminów zewnętrznych. Najczęściej zajmują się tym zespoły przedmiotowe lub powołane właśnie do tego celu (72 % badanych placówek). Zdarzają się sytuacje, że zespół powołany do analizy przygotowuje wstępne opracowanie, natomiast w zespołach przedmiotowych odbywa się szczegółowe badanie. W co czwartej badanej szkole sposób analizy jest inny- każdy nauczyciel indywidualnie analizuje wyniki ze swojego przedmiotu. Rzadko (6% szkół) analiza wyników to zadanie jednej osoby, np. kierownika praktyk, lidera zespołu przedmiotowego, osoby odpowiedzialniej za raport, wychowawcy klasy. Niezależnie od wybranego przez szkoły modelu analizy, w ponad połowie z nich kolejnym etapem jest prezentacja wyników i wniosków oraz dyskusja na zebraniu rady pedagogicznej Praktyką budzącą wątpliwość, wskazywaną przez 7% badanych szkół, jest analiza surowych wyników egzaminu otrzymanych z okręgowych komisji egzaminacyjnych tylko na posiedzeniu rady pedagogicznej. W pojedynczych szkołach (3%) pojawiają się przykłady dobrych praktyk włączania do wstępnej analizy zadań egzaminacyjnych uczniów, a dwie szkoły deklarują analizę wyników z udziałem rodziców. W czterech z nich pojawiła się informacja, że nauczyciele wykorzystują do badania programy Okręgowych Komisji Egzaminacyjnych lub innych instytucji zewnętrznych. 66% dyrektorów deklaruje, że w szkole analizuje się wyniki egzaminu na poziomie pojedynczego ucznia i zespołów klasowych. Niewielki odsetek (3,5%) bada wyniki tylko na poziomie pojedynczego ucznia, a jeszcze mniejsza grupa (2,5%) tylko na poziomie zespołów klasowych. 14% dyrektorów w odpowiedzi wskazuje na inne strategie. Taka sama grupa nie udziela odpowiedzi na to pytanie. Warto zaznaczyć, że w grupie szkół gimnazjalnych i ponadgimnazjalnych jest to co czwarty dyrektor. 4

5 W jaki sposób analizują Państwo wyniki sprawdzianu/egzaminów zewnętrzych? Dyrektorzy szkół podstawowych Dyrektorzy szkół gimnazjalnych i ponadgimnazjalnych 0 analiza na poziomie wyników pojedynczych uczniów analiza na poziomie zespołów klasowych w szkole łączy się wymienione powyżej strategie inne brak odpowiedzi Źródło: dane ewaluacji zewnętrznej w okresie od r. do r. W jakim celu analizuje się w szkołach wyniki sprawdzianu i egzaminów zewnętrznych? W literaturze odnajdujemy różne klasyfikacje celów szkolnych analiz wyników sprawdzianu i egzaminów zewnętrznych. Zespół badawczy EWD 1 proponuje podział na cele ogólne (opisują finalne efekty i rezultaty), szczegółowe (opisują efekty bezpośrednie) i operacyjne (nazywają konkretne działania podjęte w wyniku analizy). Cele analiz możemy też podzielić ze względu na ich funkcje w życiu szkoły: informacyjną, diagnostyczną, prognostyczną, wartościującą, motywującą i korekcyjną 2. Najczęściej wskazywanym w badanych szkołach celem ogólnym jest poprawa efektów kształcenia i wyników egzaminów. Mówi o nim 84% dyrektorów szkół. Prawie 1 Wykorzystanie wskaźników EWD w ewaluacji zewnętrznej. Materiały pomocnicze dla wizytatorów. Opracowanie Zofia Lisiecka, Ewa Stożek, Maria Krystyna Szmigel, Zespół Badawczy EWD, CKE Warszawa 2010, str J. Misztal, Analiza wyników egzaminów zewnętrznych jako warunek jakościowego rozwoju ucznia, nauczyciela i szkoły [w:] Jakość edukacji. Różnorodne perspektywy, Wydawnictwo Uniwersytetu Jagiellońskiego, Kraków 2012, str

6 połowa badanych (48%) formułuje ten cel dość szeroko jako poprawę jakości pracy szkoły (zapis z charakterystyki wymagania). Dla 17% szkół istotny jest rozwój uczniów i ich lepsze przygotowanie do kolejnego etapu kształcenia, a w co dziesiątej analiza ma służyć rozwojowi nauczycieli. Pojedyncze szkoły chcą osiągnąć ważny cel spełniający funkcję motywacyjnąbudzenie współodpowiedzialności wśród nauczycieli za wyniki pracy (2%). W tak samo licznej grupie analiza ma służyć zwiększeniu szans uczniów w naborze do wybranej szkoły ponadgimnazjalnej/uczelni. Nauczyciele stawiają sobie różnorodne cele szczegółowe. Najczęściej chcą wyznaczyć obszary pracy do poprawy, czyli słabe strony kształcenia (60%) oraz określić mocne strony (43%). Analiza w 34% szkół ma pomóc wyciągnąć wnioski do dalszej pracy z uczniem. 27% chce wykorzystać ją do oceny efektywności podjętych wcześniej działań oraz stosowanych form i metod pracy. 18% szkół traktuje badanie jako możliwość określania poziomu spełniania wymagań opisanych w podstawie programowej. Dla 11% ważne jest uzyskanie informacji o poziomie wiedzy poszczególnych uczniów i zespołów klasowych. 15% szkół chce również ustalić przyczyny niepowodzeń w trakcie analizy kontekstowej. Są takie, w których analiza wskaźników statystycznych służy porównaniom szkoły z szerszym tłem (15%) oraz z własnymi wynikami w kolejnych latach (4%). 8% badanych szkół wykorzystuje ją do ustalenia zbieżności z wynikami oceniania wewnątrzszkolnego. Niektóre szkoły formułują cele dotyczące obszaru zarządzania. Pojawią się wśród nich: - określenie potrzeb szkoły w ramach wewnątrzszkolnego doskonalenia nauczycieli (15%), - ocena jakości pracy nauczycieli (6%), - ocena efektywności pracy dyrektora (1%). Wśród najczęściej wskazywanych przez nauczycieli celów operacyjnych pojawiły się takie, które służą modyfikacji metod i form nauczania (39%) i działań organizacyjnych (np. wprowadzaniu dodatkowych zajęć, zmian w szkolnym planie nauczania (31%). Zgodnie z prezentowaną klasyfikacją pełnią więc funkcję korekcyjną. Niewielki odsetek szkół wśród celów korekcyjnych wyróżnia również planowanie nadzoru pedagogicznego (5%), modyfikację szkolnego systemu oceniania, wzmocnienie korelacji międzyprzedmiotowych, planowanie doskonalenia nauczycieli, uzupełnienie wyposażenia szkoły w odpowiednie pomoce dydaktyczne (po 2%). Rzadziej wśród celów operacyjnych pojawiają się te o funkcji motywującej. Zaliczymy do nich w badanych szkołach: 6

7 - pomoc uczniom o specjalnych potrzebach edukacyjnych, np. pomoc w pokonywaniu trudności w nauce, indywidualizację pracy z uczniem zdolnym, mobilizowanie uczniów do pracy (17%), - budowanie partnerstwa z rodzicami, np. w zakresie uświadamiania dzieciom potrzeby systematycznej nauki, budowania motywacji (9%), - promowanie wartości uczenia się wśród uczniów (8%), - wykorzystanie wyników analizy dla promocji szkoły i budowania jej prestiżu (4%), - doskonalenie pracy wychowawczej, np. w zakresie uświadamiania roli wszechstronnego rozwoju (3%), - doradztwo w wyborze szkoły i kierunku dalszej nauki (1%). W raportach odnajdujemy również cele spełniające funkcję informacyjnądostarczenie informacji o wynikach rodzicom (12% szkół) oraz uczniom (8%). Naszą uwagę zwrócił nietuzinkowy cel- jedna z dwustu badanych szkół przeprowadza analizę, aby przekazać wnioski nauczycielom kolejnego etapu kształcenia. Można uznać to za dobrą praktykę. Warto zwrócić uwagę, że zdarzają się jednostkowe sytuacje, w których szkoły podają cele, nie mające związku z meritum analizy wyników. Jako przykłady można tu wskazać: doskonalenie dokumentacji szkolnej, sprawdzenie procedury egzaminacyjnej przez uczniów czy tworzenie raportu. Jakimi metodami prowadzona jest analiza wyników? Analiza ilościowa W badanych szkołach wyniki sprawdzianu i egzaminów zewnętrznych analizowane są z wykorzystaniem różnorodnych metod. Dominują wśród nich metody ilościowe. W opracowaniu przyjęto klasyfikację metod przedstawioną w tabeli 3. Parametry statystyczne służące do analizy zadań Parametry statystyczne służące do analizy wyników testowania Sposoby porządkowania i grupowania wyników testowania 3 Wykorzystanie wskaźników EWD w ewaluacji zewnętrznej. Materiały pomocnicze dla wizytatorów. Opracowanie Zofia Lisiecka, Ewa Stożek, Maria Krystyna Szmigel, str. 20 7

8 i testu Analiza zadania/testu Ustalenie miar położenia Ustalenie miar rozproszenia Porządkowanie i grupowanie zaobserwowanych wartości zmiennych (tu: wyników testowania uczniów) łatwość trudność wariancja zadania moc różnicująca średnia arytmetyczna modalna mediana kwartyle rozstęp wariancja testu odchylenie standardowe rozkład punktowy rozkład liczebności rozkład staninowy rozkład centylowy rozkładwyników na skali o śr. 100 i odch. st.15 Przykłady parametrów statystycznych wykorzystywanych w analizie i prezentacji wyników osiągnięć edukacyjnych. Z wywiadu z nauczycielami i badania dokumentacji wynika, że w celu uporządkowania i grupowania wyników testowania prawie połowa badanych szkół (45%) przygląda się rozkładowi wyników na skali staninowej. Śledzi się również rozkład liczebności. Nauczyciele robią to, uwzględniając liczbę uczniów: - uzyskujących wyniki poniżej i powyżej średniej województwa (1%) oraz szkoły (2%), - uzyskujących wyniki niskie, wysokie, średnie (7%), - z wynikiem najwyższym i najniższym (8%). Na podstawie analizy dokumentów można stwierdzić, że rzadziej (9%) analizuje się rozkład punktowy. Z miar położenia najczęściej wykorzystywana jest średnia arytmetyczna szkoły. Odnajdujemy ją w raportach połowy szkół, mówi o tym także 33% nauczycieli. Rzadziej wykorzystuje się średnią klas (widzimy ją w dokumentacji 20% szkół, mówi o tym także 12% nauczycieli w wywiadzie). Z badania dokumentacji wynika, że w 22% szkół oprócz surowego wyniku analizuje się również jego położenie na skali staninowej. Szkoły biorą pod uwagę również takie wskaźniki jak modalna i mediana. Potwierdza to badanie dokumentacji 27% szkół i wywiady z nauczycielami 13% badanych szkół. Z danych wynika, że szkoły wykorzystują dwie miary rozproszenia- rozstęp oraz odchylenie standardowe. Zdecydowanie częściej analizuje się rozstęp - pokazuje to analiza dokumentacji 32% szkół oraz 15% wywiadów z nauczycielami. Odchylenie standardowe 8

9 pojawia się w tych źródłach odpowiednio w 9% dokumentacji i 2% wywiadów. W szkołach nie analizuje się takich miar jak kwartyle oraz wariancja testu. Spośród parametrów statystycznych służących analizie zadań i testu wykorzystywana jest łatwość. Szkoły analizują łatwość arkusza, standardu, zadania (także w odniesieniu do konkretnych przedmiotów), umiejętności i czynności. Z danych wynika, że najczęściej wykorzystywana jest łatwość zadania (63% wywiadów, 47% badanej dokumentacji), łatwość umiejętności (45% wywiadów, 39% dokumentacji) i łatwość standardu (42% wywiadów, 48% dokumentacji). Dane z 12% wywiadów z nauczycielami potwierdzają, że zadania poddawane są również analizie jakościowej. Dotyczy ona zestawiania łatwości zadania z jego typem. Analiza dokumentacji pokazuje również, że w szkołach poszukuje się przyczyn trudności poszczególnych zadań. Nie dzieje się to jednak często, odnajdujemy te przykłady w 6% badanych szkół. Trzy czwarte szkół porównuje wskazane wyżej parametry statystyczne z tłem, czyli z wynikami kraju, województwa, powiatu lub gminy. Warto zauważyć, że nawet połowa szkół nie analizuje swoich wyników na przestrzeni lat. Próby określenia tendencji rozwojowej udokumentowano w 40% badanych szkół i odnotowano w 30% wywiadów z nauczycielami. Z powyższej analizy wynika, że do najczęściej wykorzystywanych w szkołach miar statystycznych należą łatwość zadania oraz średni wynik szkoły. O ile wnioskowanie na podstawie łatwości zadania nie budzi dużych kontrowersji, o tyle należy zachować ostrożność, posługując się średnią arytmetyczną. Nieuprawnione jest porównywanie średniego wyniku testu w kolejnych latach z uwagi na niejednakową trudność arkusza. Nie powinno się również porównywać średniego wyniku do średnich wyników krajowych - takie zestawienia mogą być obarczone dużym błędem. W raportach z ewaluacji zewnętrznej można odnaleźć przykłady, które świadczą, że nauczyciele nie są świadomi tych zagrożeń. Analiza jakościowa Wartościowa analiza wyników sprawdzianu i egzaminów zewnętrznych nie powinna ograniczać się do zestawiania i porównywania wskaźników ilościowych udostępnianych szkołom przez CKE i OKE. Słusznie pisze Klemens Stróżyński 4, że o jakości pracy szkoły może świadczyć wykorzystanie możliwości, jakie w danej szkole istnieją. Zatem wynik 4 K. Stróżyński, Wykorzystanie wyników egzaminów zewnętrznych [W:] Biuletyn Badawczy CKE nr 4/2005 Wykorzystanie wyników egzaminów przez szkoły 9

10 egzaminacyjny powinien być odniesiony do tej właśnie szkoły, a nie do czegokolwiek innego. Dlatego dobrą praktyką powinien być celowy i świadomy dobór wskaźników egzaminacyjnych najwartościowszych z punktu widzenia danej szkoły. W toku analizy raportów z ewaluacji zewnętrznej nasuwa się pytanie, na ile szkoły i wizytatorzy potrafią określić moment przejścia od analizy ilościowej do jakościowej. W danych te same miary pojawiają się zarówno jako przykłady badań ilościowych, jak i jakościowych. Wśród sposobów analizy jakościowej są przykłady, które trudno jednoznacznie zinterpretować. Należą do nich porównania wyników egzaminów zewnętrznych z klasyfikacją końcoworoczną (dane z prawie jednej trzeciej szkół), wynikami egzaminów próbnych (13% placówek) i diagnoz na wejściu (także w szkołach podstawowych). W opracowaniach ekspertów, obok opinii o braku prostej porównywalności oceniania zewnętrznego i wewnątrzszkolnego pojawiają się przykłady sposobów dokonywania takich porównań. pojawiają się zarówno opinie o braku prostej porównywalności między wynikiem egzaminu a oceną szkolną 5, jak i przedstawiane są konkretne wzory i sposoby wykonania takich analiz 6. Niewiele jeszcze szkół analizuje edukacyjną wartość dodaną. Ze 116 przebadanych gimnazjów i szkół ponadgimnazjalnych trzyletnie i dwuletnie wskaźniki EWD analizuje 16%. Natomiast możliwe do obliczenia w gimnazjum jednoroczne EWD śledzi 17 spośród 67 gimnazjów. W szkołach ponadgimnazjalnych pojawiają się miary specyficzne dla tego poziomu. Niemal wszystkie szkoły (40 z 49) analizują zdawalność egzaminu z uwzględnieniem przedmiotów, zawodów i części (ustnej, pisemnej, praktycznej). Co czwarta z nich porównuje zdawalność swoich uczniów z tłem - krajem, województwem, powiatem czy gminą. Niemal połowa (21 z 49) śledzi liczbę uczniów przystępujących do egzaminu maturalnego z poszczególnych przedmiotów. Sześć z badanych szkół porównuje liczbę uczniów deklarujących przystąpienie do egzaminu z faktyczną liczbą zdających. Pojedyncze określają także liczbę uczniów ponownie przystępujących do egzaminów, otrzymujących dyplom oraz porównują liczbę przystępujących z liczbą otrzymujących dyplom. Mały odsetek szkół (39%) uwzględnia w swoich analizach czynniki kontekstowe. Najczęściej bierze się pod uwagę czynniki uczniowskie, a najrzadziej pedagogiczne. Z analizy dokumentacji wynika, że wśród czynników uczniowskich są: 5 J. Misztal,, Analiza wyników egzaminów zewnętrznych jako warunek jakościowego rozwoju ucznia, nauczyciela i szkoły, str R. Janicka, Przykładowa analiza wyników egzaminu zewnętrznego ( sprawdzian, egzamin gimnazjalny), OKE Kraków 2009, str

11 - uczniowie z opinią z poradni pedagogiczno- psychologicznej (po 16%), - frekwencja (10%), - potencjał uczniów (9%). Pojedyncze wskazania dotyczą motywacji uczniów, zainteresowań, cech osobowościowych, płci, odrabiania prac domowych oraz udziału w zajęciach dodatkowych, konkursach, zawodach. Marginalnie analizuje się w szkołach czynniki środowiskowe i pedagogiczne. Wśród środowiskowych pojawiły się dojazdy, miejsce zamieszkania (miasto/ wieś), wykształcenie i zamożność rodziców, sytuacja rodzinna, współpraca rodziców ze szkołą, warunki do nauki oraz środowisko rówieśnicze. Z czynników pedagogicznych wymieniano metody pracy nauczycieli, realizowane w szkole programy, organizację zajęć lekcyjnych i pozalekcyjnych, wykształcenie kadry, sposób oceniania, absencję nauczycieli, nauczyciela przedmiotu. Jakie wnioski z analizy wdrażają szkoły? Szkoły mogą w różny sposób formułować wnioski. Część z nich może przybierać postać uogólnienia i wartościowania danych, inne będą w formie rekomendacji, czyli konkretnych propozycji zmian w pracy szkoły. Mogą dotyczyć także różnych kwestii, np. efektów kształcenia, procesu nauczania i wychowania, przyczyn porażek i sukcesów uczniów czy zarządzania szkołą. Pytanie zadawane szkołom w trakcie ewaluacji: Proszę podać przykłady wdrożonych wniosków pochodzących z analiz egzaminów dostarcza informacji o wnioskach o charakterze rekomendacyjnym, często formułowanych w postaci konkretnych działań. Ze względu na przedmiot możemy je podzielić na kilka grup 7. Są wśród nich takie, które dotyczą: organizacji procesu kształcenia, jakości procesu nauczania, wewnętrznego systemu oceniania, jakości procesu uczenia się, organizacji wewnątrzszkolnego doskonalenia nauczycieli, wyposażenia szkoły, jakości zarządzania. Najwięcej wniosków formułowanych przez badane szkoły dotyczy jakości procesu nauczania. 76% szkół chce zwiększyć liczbę ćwiczeń doskonalących trudne umiejętności. 64% szkół modyfikuje metody i formy pracy z uczniem pod kątem ich różnorodności, indywidualizacji nauczania, atrakcyjności oraz skuteczności w przygotowaniu do egzaminów. 37% szkół wdraża wnioski służące doskonaleniu umiejętności rozwiązywania różnych typów zadań oraz pracy z arkuszem. 48% podaje we wnioskach monitorowanie efektów nauczania, wskazując na bieżący monitoring poziomu opanowania standardów egzaminacyjnych, 7 J. Misztal, Analiza wyników egzaminów zewnętrznych jako warunek jakościowego rozwoju ucznia, nauczyciela i szkoły, str

12 organizację egzaminów próbnych i diagnoz przedmiotowych. 4% szkół ujmuje we wnioskach konieczność systematycznego powtarzania wiadomości. W 9% szkół formułuje się rekomendacje dotyczące wzmocnienia korelacji międzyprzedmiotowej. Z zakresu organizacji procesu kształcenia szkoły podają najczęściej przykłady wniosków dotyczące zwiększenia liczby różnych zajęć: - pozalekcyjnych, w tym fakultatywnych i przygotowujących do sprawdzianu i egzaminów zewnętrznych (48%), - obowiązkowych z przedmiotów objętych egzaminem (15%), - dla uczniów ze specjalnymi potrzebami edukacyjnymi, w tym logopedycznych, rewalidacyjnych, rozwijających zainteresowania (4%). Pojawiają się również propozycje zmian w organizacji zajęć ( 6%). Są to korekty w planie lekcji i modyfikacje podziałów na grupy językowe. Nauczyciele niskie wyniki upatrują jako efekt spadającej motywacji uczniów do nauki. Większość wdrożonych wniosków dotyczących jakości procesu uczenia się mówi o współpracy z rodzicami. Widzimy ją na dwóch poziomach: budowania partnerstwa, którego efektem ma być większa motywacja dzieci do nauki (17%) oraz systematycznego informowania o postępach i frekwencji uczniów (7%). 17% szkół wdraża wnioski, które służą budowaniu przez nauczycieli większej motywacji uczniów. 14% z nich skupia się na procesie uczenia się, np. organizowaniu zajęć wychowawczych o motywowaniu, zachęcaniu do samokształcenia oraz udziału w zajęciach dodatkowych. 3% dotyczy bezpośrednio egzaminu zewnętrznego, np. zachęcania do rozwiązywania każdego zadania egzaminacyjnego, przekonywania uczniów do zdawania egzaminu maturalnegona poziomie rozszerzonym. Nauczyciele (6%) chcą poprawić jakość uczenia się uczniów przybliżając im techniki skutecznego uczenia się, sposoby reagowania na stres oraz zasady gospodarowania czasem. Efektem analizy kontekstowej jest wdrażanie wniosków mających na celu poprawę frekwencji uczniów na zajęciach lekcyjnych i pozalekcyjnych (5%). Niewielki procent szkół (8%) wnioskuje na podstawie analizy o konieczności uzupełnienia wyposażenia szkoły w celu kształcenia konkretnych umiejętności. Tak samo liczna grupa wdraża wnioski związane z wewnątrzszkolnym doskonaleniem nauczycieli. Wśród kursów wymienianych przez dyrektorów pojawiły się zarówno takie, które dotyczą bezpośrednio egzaminów zewnętrznych, np. Jak wykorzystywać wyniki egzaminów w pracy szkoły, szkolenia dla egzaminatorów, jak również te, które służą doskonaleniu procesu kształcenia, np. Jak motywować uczniów do nauki, Jak aktywizować uczniów. Wnioski dotyczące 12

13 wewnętrznego systemu oceniania pojawiają się w 2% szkół. Są rekomendacjami związanymi z wdrożeniem zasad oceniania stosowanych na egzaminie do oceniania wewnątrzszkolnego, z systematyczną kontrolą osiągnięć uczniów i stosowaniem elementów oceniania kształtującego. Znikomy procent szkół wykorzystuje analizę do zmian w procesie zarządzania. 3% z nich sprawdza wdrażanie wniosków z analiz w czasie hospitacji, 2% szkół dokonuje ewaluacji szkolnych zestawów podręczników i programów oraz monitoruje realizację podstawy programowej. Jeszcze mniejsza grupa szkół (1%) we wnioskach zobowiązuje się do efektywnego wykorzystywania zastępstw. Wśród prezentowanych w raportach wnioskach z analizy egzaminów zewnętrznych dostrzegamy wiele takich, które nie są wnioskami z analizy. Cześć z nich to opis sposobu badania wyników, inne dotyczą obowiązkowych, wynikających z przepisów prawnych zadań dyrektora i nauczycieli, np. uwzględnianie na lekcjach zaleceń z opinii PPP, sprawdzanie obecności uczniów na lekcji, obowiązek opracowania lektur szkolnych przed egzaminem, dostosowanie warunków egzaminacyjnych do potrzeb ucznia z opinią PPP. Przykładami wniosków, które też budzą wątpliwość są np. testowanie dziennika elektronicznego, organizacja wigilii dla mieszkańców miasta, dnia motoryzacji, zapewnienie bezpłatnego transportu na zajęcia sportowe, współpraca z parafią czy powołanie koła liturgicznego. Nasuwa się pytanie jakiego typu analiza prowadziła do wyciągnięcia powyższych wniosków. Trudno również uznać za prawidłowe wnioski z analizy egzaminów działania: ustalenie 80- punktowego progu przyjęć uczniów do klasy pierwszej oraz wpisywanie stopnia z egzaminu próbnego jako oceny cząstkowej. Które z wdrożonych wniosków przyczyniają się do wzrostu efektów kształcenia? W badanej próbie widoczna jest tendencja do przypisywania wszystkim wdrożonym wnioskom wartości skutecznych działań. Podczas analizy danych większości szkół powtórzyły się jako efektywne działania wszystkie wskazane wcześniej przez dyrektorów i nauczycieli rekomendacje. Z danych wynika więc, że w wielu szkołach nie bada się skuteczności wdrażanych działań. Do postawienia takiej hipotezy skłania także zbieżność tej 13

14 sytuacji z wynikami analizy opisanymi wyżej - przypomnijmy sobie, że tylko co trzecia szkoła jako cel analiz stawia sobie ocenę skuteczności działań podjętych na jej podstawie. Poniżej przedstawimy działania przyczyniające się do wzrostu efektów kształcenia, które respondenci wskazywali najczęściej. Są to zwiększenie liczby ćwiczeń doskonalących trudne umiejętności (76% nauczycieli i 63% dyrektorów) oraz liczby godzin zajęć pozalekcyjnych, w tym fakultatywnych i przygotowujących do sprawdzianu i egzaminów zewnętrznych (67% nauczycieli i 74% dyrektorów). Podobnie często podaje się również modyfikacje metod i form pracy z uczniem (51% nauczycieli i 68% dyrektorów), a także indywidualizację nauczania, w tym pracę z uczniem zdolnym i słabym (77% nauczycieli i 68% dyrektorów). Badani docenili przydatność organizowania próbnych egzaminów (36% nauczycieli i 42% dyrektorów), monitoringu poziomu opanowania standardów egzaminacyjnych (17% nauczycieli i dyrektorów), ćwiczenia z uczniami różnych typów zadań egzaminacyjnych (25% nauczycieli i 16% dyrektorów) oraz pracy z arkuszem egzaminacyjnym (20% nauczycieli i 17% dyrektorów). Nauczyciele i dyrektorzy uważają, że wzrost efektów kształcenia następuje również poprzez udział uczniów w konkursach (20% nauczycieli i 27% dyrektorów) oraz działania nauczycieli motywujące uczniów do nauki (14% nauczycieli i 27% dyrektorów). Godne podkreślenia jest to, że w co piątej szkole dostrzega skuteczność współpracy nauczycieli służącej korelacji międzyprzedmiotowej. Za ważne badani uznają również budowanie partnerstwa z rodzicami, którego efektem jest większa motywacja dzieci do nauki (15% nauczycieli i 16% dyrektorów). Nauczyciele i dyrektorzy widzą wpływ udziału w szkoleniach (nauczyciele 9%, dyrektorzy 13%). Rekomendacje 1. Warto byłoby zwracać w szkołach większą uwagę na dobór wskaźników statystycznych wykorzystywanych w analizie wyników sprawdzianu i egzaminów zewnętrznych. Powinien być użyteczny i adekwatny do postawionych celów analiz. Dostarczać odpowiedzi nie tylko na pytania ile?, w jakim stopniu?, ale również jak? i dlaczego? - wzmocnić analizę jakościową. Zasadne byłoby stosowanie w większym zakresie analiz EWD w gimnazjach i szkołach ponadgimnazjalnych. 2. Monitorowanie działań podjętych na podstawie wniosków z analiz ułatwiłoby nauczycielom ocenę ich skuteczności i pomogłoby w dobrym planowaniu pracy z uczniem. 14

15 Bibliografia 1. Brożek A., Szkolna analiza wyników sprawdzianu i egzaminu zewnętrznego [W:] Biuletyn Badawczy CKE nr 4/2005 Wykorzystanie wyników egzaminów przez szkoły. 2. Janicka R., Przykładowa analiza wyników egzaminu zewnętrznego ( sprawdzian, egzamin gimnazjalny), OKE Kraków 2009, str Misztal J., Analiza wyników egzaminów zewnętrznych jako warunek jakościowego rozwoju ucznia, nauczyciela i szkoły [w:] Jakość edukacji. Różnorodne perspektywy, Wydawnictwo Uniwersytetu Jagiellońskiego, Kraków. 4. Wykorzystanie wskaźników EWD w ewaluacji zewnętrznej. Materiały pomocnicze dla wizytatorów. Opracowanie Zofia Lisiecka, Ewa Stożek, Maria Krystyna Szmigel, Zespół Badawczy EWD, CKE Warszawa 2010, str Stróżyński K., Wykorzystanie wyników egzaminów zewnętrznych [W:] Biuletyn Badawczy CKE nr 4/2005 Wykorzystanie wyników egzaminów przez szkoły. 15