Analiza, interpretacja i wykorzystanie wyników sprawdzianu do podnoszenia jakości pracy szkoły Etap 1. Analiza zakresu treści sprawdzianu Do przeprowadzenia analizy wyników sprawdzianu cały zespół nauczycielski powinien się odpowiednio przygotować. Zacząć należy od dokładnego zapoznania się z zakresem treści sprawdzianu, czyli szczegółowego zbadania, jakie umiejętności zostały poddane sprawdzeniu. Na tym, a także na następnym etapie prac niewskazane jest posługiwanie się wynikami osiągniętymi przez naszych uczniów. Nie są tu do niczego potrzebne, a na pewno mogą odwracać uwagę od istoty rzeczy. W celu przeanalizowania zakresu treści sprawdzianu powinniśmy się posłużyć kartoteką zestawu zadań. Podano w niej w kolejnych kolumnach: - numery zadań w teście, - nazwy czynności sprawdzonych za pomocą tych zadań, - numery standardów wymagań, do których dane czynności należą, - liczby punktów do uzyskania za dane czynności, - łatwość zadań, - łatwość czynności - formy zadań (WW wyboru wielokrotnego, KO krótkiej odpowiedzi, RO rozszerzonej odpowiedzi). Tabela 1. Kartoteka zestawu zadań Pory roku (S-A1-021) Nr Sprawdzona czynność ucznia Nr Liczba Łatwość Łatwość Forma zad. Uczeń: stand. pkt zadania czynności zadania 1. odczytuje informację z tekstu popularnonaukowego 1.1 1 0,94 0,94 WW 2. rozpoznaje rodzaje kątów 3.6 1 0,74 0,74 WW 3. rozumie informację z tekstu popularnonaukowego 1.1 1 0,71 0,71 WW 4. przyporządkowuje ważne odkrycie jego twórcy 3.3 1 0,91 0,91 WW 5. rozumie tekst mitu 1.1 1 0,72 0,72 WW 6. rozumie tekst mitu 1.1 1 0,47 0,47 WW 7. wskazuje źródło informacji 4.1 1 0,95 0,95 WW 8. rozumie tekst utworu poetyckiego 1.1 1 0,87 0,87 WW 9. rozumie tekst utworu poetyckiego 1.1 1 0,89 0,89 WW 10. rozumie tekst utworu poetyckiego 1.1 1 0,64 0,64 WW 11. wskazuje słownik zgodnie z jego przeznaczeniem 4.1 1 0,75 0,75 WW 12. wykorzystuje w sytuacji praktycznej znajomość kierunków geograficznych na mapie 5.5 1 0,82 0,82 WW 13. wykonuje obliczenia dotyczące czasu 5.3 1 0,45 0,45 WW 14. szacuje upływ czasu, posługując się 5.5 1 0,41 0,41 WW 1
kalendarzem 15. wykonuje obliczenia dotyczące pieniędzy 5.3 1 0,62 0,62 WW 16. wykonuje obliczenia dotyczące masy 5.3 1 0,46 0,46 WW 17. odczytuje dane z wykresu, 1.4 1 0,92 0,92 WW 18. odczytuje dane z wykresu, 1.4 1 0,83 0,83 WW 19. odczytuje dane z wykresu, 1.4 1 0,92 0,92 WW 20. wykonuje obliczenia dotyczące temperatury 5.3 1 0,79 0,79 WW 21. pisze notatkę w formie tabeli, 2.1 2 0,94 0,94 KO 22. umieszcza lata w odpowiednim przedziale czasowym - określa wiek 3.1 1 0,74 0,74 KO I. ustala sposób rozwiązywania zadania dotyczącego obliczania objętości 3.8 2 0,63 23. II. wykonuje obliczenia dotyczące pola i objętości 5.3 2 0,55 0,52 RO III. podaje odpowiedź z uwzględnieniem otrzymanego wyniku 3.9 1 0,46 24. wskazuje sposoby przystosowania się zwierząt do środowiska 3.6 2 0,88 0,88 KO I. poprawnie adresuje kartkę pocztową 1 0,79 II. zachowuje formę kartki pocztowej (zwrot do adresata, podpis nadawcy) 2.1 1 0,75 III. redaguje treść kartki zgodnie z 0,87 2 poleceniem IV. celowo stosuje środki językowe 1 0,94 25. V. przestrzega norm językowych 2 0,56 0,75 VI. przestrzega norm ortograficznych RO (ó-u, rz-ż, ch-h, wielka litera w nazwach własnych i nazwach 2.3 2 0,84 grzecznościowych, nie z czasownikami, przymiotnikami, przysłówkami)* VII. przestrzega norm 0,53 1 interpunkcyjnych* *W przypadku uczniów ze specyficznymi trudnościami w uczeniu się: VI. buduje tekst komunikatywny (mimo błędów w zapisie) VII. buduje tekst logicznie uporządkowany Teraz kartoteka zostanie rozbita na pięć tabel według kategorii umiejętności (czytanie, pisanie... itd.). Wewnątrz każdej z tych tabel grupujemy zadania sprawdzające te same umiejętności (rozumienie tekstu popularnonaukowego, rozumienie mitu... itd.). Dokładne przeanalizowanie tych tabel pozwoli nam stwierdzić, jakie umiejętności zostały sprawdzone, którymi zadaniami je sprawdzono oraz ile uczeń mógł uzyskać punktów za każdą z umiejętności. 2
Tabela 2. Czytanie (maks. 10 pkt) Nazwa sprawdzonej umiejętności Numery zadań Pkt maks. Łatwość - kraj Rozumienie tekstu popularnonaukowego 1, 3 2 0,82 Rozumienie mitu 5, 6 2 0,60 Rozumienie utworu poetyckiego 8, 9, 10 3 0,80 Odczytywanie danych z wykresu 17, 18, 19 3 0,89 Tabela 3. Pisanie (maks. 12 pkt) Nazwa sprawdzonej umiejętności Numery zadań Pkt maks. Łatwość - kraj Sporządzanie notatki w formie tabeli 21 2 0,94 Redagowanie i adresowanie kartki pocztowej z 25 10 0,75 zachowaniem norm poprawnościowych Tabela 4. Rozumowanie (maks. 8 pkt) Nazwa sprawdzonej umiejętności Numery zadań Pkt maks. Łatwość- kraj Rozpoznawanie rodzajów kątów 2 1 0,74 Wskazywanie twórców najważniejszych odkryć naukowych 4 1 0,91 Umieszczanie dat w przedziałach czasowych 22 1 0,74 Ustalanie sposobu rozwiązywania zadania związanego z obliczaniem objętości 23 (kryt. I) 2 0,63 Odnoszenie wyników obliczeń do warunków zadania 23 (kryt. III) 1 0,46 Określanie sposobów przystosowania zwierząt do środowiska 24 2 0,88 Tabela 5. Korzystanie z informacji (maks. 2 pkt) Nazwa sprawdzonej umiejętności Numery zadań Pkt maks. Łatwość - kraj Wskazywanie źródeł informacji 7 1 0,95 Korzystanie ze słowników zgodnie z ich przeznaczeniem 11 1 0,75 Tabela 6. Wykorzystywanie wiedzy w praktyce (maks. 8 pkt) Nazwa sprawdzonej umiejętności Numery zadań Pkt maks. Łatwość - kraj Wykorzystywanie znajomości kierunków geograficznych w sytuacji praktycznej 12 1 0,82 Szacowanie upływu czasu 14 1 0,41 Wykonywanie obliczeń dotyczących czasu, 13, 15, 16, 20, pieniędzy, masy, temperatury, pola i objętości 23 (kryt. II) 6 0,57 3
W ostatniej kolumnie każdej z tabel dodatkowo zamieszczono krajowe współczynniki łatwości dla poszczególnych umiejętności. Na tym etapie analizy należy je pominąć wrócimy do nich w odpowiednim czasie. Etap 2. Przyporządkowanie treści sprawdzianu treściom zajęć edukacyjnych Jeśli już dokładnie wiemy, jakich umiejętności sprawdzian dotyczył, powinniśmy określić, na których zajęciach edukacyjnych prowadzonych w danym oddziale szkolnym, te umiejętności były czy też miały być nauczane. W tym celu nieodzowne jest przeprowadzenie ukierunkowanej analizy szkolnego zestawu programów nauczania. Efektem takiej analizy powinno być sporządzenie pięciu tabel, w których znajdzie się wykaz zajęć edukacyjnych przyporządkowanych odpowiednim umiejętnościom objętym sprawdzianem. Na przykład dla umiejętności wchodzących w zakres czytania tabela ta może wyglądać w sposób następujący: Tabela 7. Czytanie Nazwa umiejętności Numery zadań Zajęcia edukacyjne* wszystkie przedmioty Rozumienie tekstu 1, 3 popularnonaukowego i ścieżki edukacyjne Rozumienie mitu 5, 6 j. polski, edukacja czytelnicza Rozumienie utworu poetyckiego 8, 9, 10 j. polski, edukacja czytelnicza Odczytywanie danych z wykresu 17, 18, 19 matematyka, historia, przyroda, technika *Wykaz zajęć edukacyjnych podano oczywiście w sposób przykładowy. W konkretnych szkołach mogą w tym zakresie występować pewne różnice. Podobne tabele należy sporządzić dla umiejętności z zakresu pisania, rozumowania, korzystania z informacji i wykorzystywania wiedzy w praktyce. Praktyczne będzie zrobienie tych tabel na dużych arkuszach papieru (na dalszych etapach analizy będą one rozbudowywane). Etap 3. Analiza wyników oddziałowych Jeśli w szkole jest więcej niż jeden oddział klasy szóstej, dla każdego z nich analizę wyników należy przeprowadzić osobno. Każdorazowo taką analizę powinni przeprowadzać wszyscy nauczyciele prowadzący zajęcia edukacyjne, które na poprzednim etapie analizy zostały przypisane umiejętnościom sprawdzonym na sprawdzianie (tabela 7). Szkoły otrzymały wyniki w postaci tabel, w których podano wskaźniki łatwości uzyskane przez dany oddział za poszczególne zadania lub, w wypadku zadań otwartych wielopunktowych za poszczególne czynności. Przykład takiego zestawienia przedstawiono poniżej. 4
Tabela 8. Łatwość zadań Łatwość zadań (czynności) 1 2 3 4 5 6 7 8 9 10... 25 VI 25 VII Kl. VI a 0,96 0,72 0,72 0,92 0,76 0,48 0,92 0,88 0,92 0,68... 0,84 0,52 Kl. VI b 0,64 0,68 0,48 0,88 0,60 0,32 0,68 0,48 0,56 0,40... 0,80 0,48.......................................... Kraj 0,94 0,74 0,71 0,91 0,72 0,47 0,95 0,87 0,89 0,64... 0,84 0,53 Łatwość obliczyliśmy, dzieląc liczbę punktów uzyskanych przez liczbę punktów możliwych do uzyskania. Na przykład: załóżmy, że w klasie VI b sprawdzian pisało 25 uczniów. Za zadanie pierwsze uczeń mógł uzyskać maksymalnie 1 punkt, zatem wszyscy piszący mogli uzyskać maksymalnie 25 punktów, a uzyskali 16, stąd wskaźnik łatwości tego zadania dla klasy VI b wynosi 0,64 (16:25 = 0,64). Uwaga! Łatwość może przybierać wartości w przedziale od 0 do 1. Im zadanie okazało się łatwiejsze dla naszych uczniów, tym współczynnik będzie bliższy 1, co oznacza, że uczniowie danego oddziału lepiej opanowali daną umiejętność. Łatwość możemy również wyrazić w procentach, mnożąc współczynnik przez 100, np. 0,64 x 100 = 64%. Wróćmy teraz do tabeli 7 i na podstawie współczynników łatwości poszczególnych zadań (tabela 8) wyliczmy dla klasy VI b średnią łatwość wyszczególnionych w niej umiejętności. Tabela 9. Czytanie łatwość umiejętności Nazwa umiejętności Rozumienie tekstu popularnonaukowego Numery zadań 1, 3 Rozumienie mitu 5, 6 Rozumienie utworu poetyckiego Odczytywanie danych z wykresu 8, 9, 10 17, 18, 19 Zajęcia edukacyjne wszystkie przedmioty i ścieżki edukacyjne j. polski, edukacja czytelnicza j. polski, edukacja czytelnicza matematyka, historia, przyroda, technika Łatwość Łatwość Łatwość kraj VI a VI b 0,82 0,84 0,56 0,60 0,62 0,46 0,80 0,83 0,48 0,89 Przykład obliczenia łatwości umiejętności: Umiejętność czytania ze zrozumieniem tekstu popularnonaukowego zbadano za pomocą zadań nr 1 i 3. Sprawdzamy w tabeli 8 łatwość tych zadań dla klasy VI a (odpowiednio 0,96 i 0,72) oraz dla klasy VI b (odpowiednio 0,64 i 0,48). Obliczamy średnią łatwość umiejętności, dodając łatwości zadań i dzieląc sumę przez ich liczbę: 5
- dla klasy VI a: 0,96 + 0,72 = 1,68 1,68 : 2 = 0,84 - dla klasy VI b: 0,64 + 0,48 = 1,12 1,12 : 2 = 0,56 W taki sam sposób obliczamy łatwość pozostałych umiejętności wymienionych w tabelach 2, 3, 4, 5, 6. Ułatwimy sobie zadanie i znacznie przyspieszymy pracę, jeśli podzielimy zespół na 4 5 grup. Po zakończeniu obliczeń przystępujemy do przeglądu współczynników łatwości uzyskanych przez poszczególne klasy w danych umiejętnościach. Przykład: Widzimy, że klasa VI a za rozumienie tekstu popularnonaukowego uzyskała 84% punktów możliwych do zdobycia, czyli możemy przyjąć, iż uczniowie tej klasy mniej więcej w takim stopniu opanowali tę kluczową umiejętność. Jest to wynik dobry i nieco wyższy od przeciętnego krajowego (82%). Za tę samą umiejętność klasa VI b uzyskała 56% punktów jest to wynik słaby i znacznie niższy od średniego krajowego. Podobne różnice między klasami zauważamy w opanowaniu umiejętności czytania mitu i tekstu poetyckiego. Ponadto zauważamy, że wyniki klasy VI a są zbliżone do przeciętnych krajowych, a wyniki klasy VI b znacznie od nich słabsze. W podobny sposób analizujemy współczynniki łatwości wyliczone dla pozostałych umiejętności. Oczywiście, jeśli w szkole był tylko jeden oddział klasy szóstej wyniki odnosimy tylko do wymagań egzaminacyjnych i do przeciętnych wyników krajowych. Etap 4. Kontekstowa interpretacja wyników oddziałowych Wyniki sprawdzianu należy traktować jako jeden ze wskaźników osiągnięć uczniów. Trzeba przy tym pamiętać, że choć wyniki te przewyższają oceny szkolne obiektywizmem (co czyni je porównywalnymi), to jednak ustępują im znacznie pod względem zakresu informacji. Egzamin trwa godzinę lub dwie i obejmuje ograniczony wymaganiami egzaminacyjnymi zakres treści, nauczyciel ocenia ucznia w ciągu całego roku szkolnego z pełnego zakresu treści przewidzianej programem kształcenia. Analizując wyniki, zawsze staramy się dla nich znaleźć jakieś miejsce na skali porządkowej. Na przykład gdy widzimy, że uczniowie klasy VI b za odczytanie tekstu popularnonaukowego uzyskali na sprawdzianie 56% punktów możliwych do uzyskania przy 82% uzyskanych przez wszystkich szóstoklasistów, niemal natychmiast uznajemy, iż jest to wynik niski. Oczywiście od razu nasuwa się pytanie o jego przyczynę. Poszukując właściwego wyjaśnienia przyczyn takich czy innych wyników, powinniśmy przeprowadzić ich kontekstową interpretację, czyli przeanalizować czynniki, które w znaczący sposób mogły wpłynąć na poziom osiągnięć uczniów. Zaczniemy od podziału tych czynników na trzy grupy: 1) czynniki indywidualne (uczniowskie) np. inteligencja, uzdolnienia kierunkowe, sprawność psychoruchowa, stan zdrowia, aspiracje, motywacje, zainteresowania, uczestnictwo w kulturze, czas przeznaczony na pracę domową, nieobecność uczniów na zajęciach; 6
2) czynniki środowiskowe np. wykształcenie rodziców, status społeczno-ekonomiczny rodziny, funkcjonowanie systemu rodzinnego, warunki pracy domowej, stosunek rodziców do nauki, współdziałanie rodziców ze szkołą, książki i gazety w domu, środowisko rówieśnicze, tradycje społeczności lokalnej; 3) czynniki pedagogiczne (szkolne) np. model i program szkoły, liczba uczniów w klasie, zasoby materialne szkoły, rozkład zajęć, organizacja lekcji i pracy domowej ucznia, wykształcenie i doświadczenie nauczycieli, przygotowanie się nauczycieli do zajęć, nieobecność nauczycieli zastępstwa, współpraca między nauczycielami, metody nauczania i sprawdzania osiągnięć, doskonalenie zawodowe, stosunek nauczycieli do uczniów, podręczniki i programy nauczania, organizacja zajęć pozalekcyjnych. Uwaga! Pełniejszą listę czynników kontekstowych wraz z omówieniem ich wpływu na osiągnięcia uczniów można znaleźć w materiałach samokształceniowych programu pn. Ocenianie w Nowej Szkole (moduł IV, str.3-24), opracowanych przez M. Grondasa i J. Żmijskiego, dostępnych na stronie internetowej CKE http://www.cke.edu.pl/images/stories/ocenianie/calosc.pdf Analizując wpływ czynników kontekstowych na wyniki sprawdzianu, powinniśmy uwzględnić następujące uwarunkowania: - wpływu większości czynników kontekstowych na osiągnięcia uczniów w normalnych warunkach nie da się precyzyjnie zmierzyć, nasze analizy będą zatem polegać na przybliżonym szacowaniu, - szacując wpływ na osiągnięcia oddziałów (klas szkolnych) czynników kontekstowych z grupy 1 i 2, nie możemy naruszać dóbr osobistych uczniów i ich rodziców, - szczególną uwagę należy poświęcić czynnikom z grupy 3, ponieważ za ich wpływ na osiągnięcia uczniów jesteśmy odpowiedzialni w największym stopniu. Mając powyższe na uwadze, przystępujemy do analizy, w trakcie której w zespole nauczycielskim można wypełniać np. tabelę indywidualnych właściwości uczniów. Tabela 10. Czynniki indywidualne - klasa VI b (fragment) Lp. Czynnik Niżej przeciętny Przeciętny Wyżej przeciętny 1. inteligencja X 2. aspiracje X 3. motywacja do nauki X 4. czas przeznaczony na pracę domową X 5............. 7
Jak widać, nasze szacunki odnoszą się do całego oddziału i polegają na przyporządkowaniu danego czynnika do jednego z trzech bardzo ogólnie ujętych przedziałów (niżej przeciętny, przeciętny, wyżej przeciętny). Zakładamy przy tym, iż jeśli dany czynnik szacujemy jako niżej przeciętny, jego wpływ na wyniki może być ujemny; wpływ czynnika określonego jako wyżej przeciętny powinien być dodatni. To założenie będzie miało szczególne znaczenie w trakcie porównywania wyników naszych uczniów z wynikami krajowymi (przeciętnymi). Następnie możemy oszacować wartość w zakresie czynników środowiskowych. Tabela 11. Czynniki środowiskowe klasa VI b (fragment) Lp. Czynnik Niżej przeciętny Przeciętny Wyżej przeciętny 1. wykształcenie rodziców X 2. status społeczno-ekonomiczny rodzin X 3. warunki pracy domowej X 4. współpraca rodziców ze szkołą X 5............. Jak widać, wszystkie kontekstowe czynniki indywidualne oraz środowiskowe oszacowaliśmy dla klasy VI b jako przeciętne. To oznacza, że nie powinny one mieć istotnego wpływu dodatniego ani ujemnego na wyniki uczniów tej klasy. A jednak wyniki te w zakresie niektórych umiejętności znacząco się różnią od wyników krajowych, czyli przeciętnych. Przypomnijmy, że za odczytywanie tekstu popularnonaukowego nasi uczniowie otrzymali 56% punktów, podczas gdy przeciętny wynik krajowy w tym zakresie to 82% punktów. Podobnie niskie wyniki uczniowie klasy VI b uzyskali za czytanie tekstów innego rodzaju. Przyczyn takiego stanu rzeczy powinniśmy upatrywać w oddziaływaniu czynników kontekstowych z grupy trzeciej (czynniki pedagogiczne). Szukając uzasadnienia dla niskich wyników w zakresie czytania, trzeba skierować uwagę na zajęcia edukacyjne, na których ta umiejętność powinna być kształtowana. Wracamy zatem do tabeli 9 i sprawdzamy, na jakich zajęciach edukacyjnych omawiane umiejętności były (miały być) kształtowane. W kolejnym kroku przeprowadzamy krytyczną analizę czynników, które mogły wpłynąć na niskie wyniki sprawdzianu w klasie VI b, np.: - szkolnego zestawu programów nauczania, - planu i rozkładu zajęć, - organizacji zajęć lekcyjnych i pracy domowej uczniów, - stosowanych podręczników i pomocy dydaktycznych, - kompetencji zawodowych nauczycieli, - stosunku nauczycieli do uczniów i prowadzonych zajęć, - współpracy między nauczycielami kształtujących te same lub podobne umiejętności, - nieobecności nauczycieli i organizacji zastępstw, - organizacji zajęć pozalekcyjnych, 8
Ważne! Rzetelną analizę wpływu czynników pedagogicznych (szkolnych) na osiągnięcia uczniów można przeprowadzić tylko w atmosferze szczerości i otwartości, dlatego dyrektor powinien upewnić jej uczestników, że będzie ona prowadzić do podnoszenia jakości pracy szkoły, a nie do wyciągnięcia konsekwencji wobec tych nauczycieli, którzy popełnili jakieś błędy. Etap 5. Formułowanie wniosków dotyczących korekty szkolnego systemu dydaktycznego Wyniki sprawdzianu są jednym ze wskaźników efektywności kształcenia, a ich analiza i kontekstowa interpretacja składnikiem ewaluacji szkolnego systemu dydaktycznego, na który składają się także nauczycielskie systemy kształcenia. Ewaluacja powinna wskazywać kierunek zmian pozytywnych elementów tego systemu, więc powinniśmy się zastanowić, czy wyniki sprawdzianu nie wskazują, że konieczne jest wprowadzenie jakichś zmian np. w obszarach: - szkolnego zestawu programów nauczania, - planowania i projektowania pracy dydaktycznej, - organizacji zajęć lekcyjnych i pracy domowej uczniów, - stosowanych podręczników i pomocy dydaktycznych, - kompetencji zawodowych nauczycieli, - umiejętności samooceny i gotowości jej dokonywania, - doskonalenia zawodowego, - stosunku nauczycieli do uczniów i prowadzonych zajęć, - sposobów motywowania uczniów do uczenia się, - współpracy między nauczycielami kształtujących te same lub podobne umiejętności, - nieobecności nauczycieli i organizacji zastępstw, - organizacji zajęć pozalekcyjnych. Bardzo ważne! Należy stanowczo przestrzec przed pochopnym wykorzystywaniem wyników sprawdzianu, bez rozpoznania kontekstów kształcenia, do oceny jakości pracy szkół i nauczycieli. Materiał opracowano w Wydziale Sprawdzianów dla Uczniów Szkół Podstawowych w Centralnej Komisji Egzaminacyjnej 9