Analiza wyników egzaminów zewnętrznych

Transkrypt

1 Analiza wyników egzaminów zewnętrznych Opracowała Janina Janosz

2 Edukacyjna wartość dodana, czyli jak wykorzystywać wyniki egzaminów zewnętrznych do oceny efektywności nauczania Wprowadzony w 2002 roku system egzaminów zewnętrznych dostarcza obiektywnych danych o osiągnięciach szkolnych. Dane te mogą być wykorzystywane do oceny efektywności nauczania. Jednak by oceny efektywności nauczania formułowane na podstawie wyników egzaminów były adekwatne, należy uwzględnić fakt, że osiągnięcia szkolne ucznia nie zależą tylko od jakości pracy szkoły.

3 Edukacyjna wartość dodana, czyli jak wykorzystywać wyniki egzaminów zewnętrznych do oceny efektywności nauczania Wynik egzaminu jest uwarunkowany trzema grupami czynników: 1. indywidualnych, takich jak zdolności i uprzednie osiągnięcia szkolne, 2. społecznych, takich jak kapitał kulturowy i społeczny rodziny czy wpływ grupy rówieśniczej, 3. szkolnych, takich jak kwalifikacje i zaangażowanie nauczycieli, metody nauczania czy warunki nauczania.

4 Wykres 1. Czynniki wpływające na wyniki egzaminu a ocena efektywności nauczania

5 Rozbudowane rozumienie edukacyjnej wartości dodanej Metodą, która pozwala tak przetworzyć wyniki egzaminów, by wyeliminować, a w każdym razie znacząco ograniczyć wpływ czynników indywidualnych i społecznych, jest edukacyjna wartość dodana. Metoda edukacyjnej wartości dodanej (EWD) pozwala w znacznym stopniu "oczyszczać" wynik egzaminacyjny z wpływu czynników indywidualnych i środowiskowych, na które szkoła nie ma skutecznego wpływu.

6 Rozbudowane rozumienie edukacyjnej wartości dodanej Pojęcie EWD wywodzi się z ekonomii, gdzie - w pewnym uproszczeniu - wartość dodana to tyle co, przyrost wartości dóbr w wyniku danego procesu produkcyjnego. Analogicznie edukacyjną wartość dodaną można zdefiniować jako przyrost wiedzy uczniów w wyniku danego procesu edukacyjnego Zasoby indywidualne uczniów: dotychczasowe osiągnięcia szkolne, kapitał kulturowy, ekonomiczny i społeczny rodziny ucznia.

7 Rozbudowane rozumienie edukacyjnej wartości dodanej Zasoby grupowe: osiągnięcia szkolne rówieśników, ich kapitał kulturowy, ekonomiczny i społeczny, cechy kultury szkoły determinowane jej składem społecznym. Zasoby instytucjonalne: nakłady finansowe, infrastruktura. Zasoby wypracowane to całość praktyk edukacyjnych - wychowawczych i dydaktycznych - składających się na kulturę pedagogiczną szkoły. Zasoby dane Zasoby wypracowane Końcowy poziom osiągnięć

8 Po co nam edukacyjna wartość dodana? 1. Wyparcie z przestrzeni publicznej wyników surowych jako jedynej miary jakości nauczania. 2. Łagodzenie negatywnych skutków konkurencji między szkołami, czyli przeciwdziałanie selekcji na progu szkoły i efektowi zwanemu "spijaniem śmietanki". 3. Zmniejszenie poczucia ciągłej frustracji dobrych nauczycieli pracujących w trudnych środowiskach oraz "odcięcie" słabych nauczycieli od obronnej interpretacji niepowodzeń typu "ale z kim ja muszę pracować".

9 Ogólną logikę szacowania EWD dla gimnazjów pokazuje poniższy schemat postępowania: Na podstawie wyniku ucznia na sprawdzianie szacujemy wynik przewidywany na egzaminie gimnazjalnym. Obliczamy różnicę - tzw. resztę - między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. Obliczamy średnią reszt, czyli EWD dla szkoły. Szacujemy przedział ufności dla EWD.

10 Wynik przewidywany Wynik przewidywany na egzaminie gimnazjalnym uczniów na podstawie ich wyników ze sprawdzianu szacujemy metodą regresji. Jest to typowa metoda stosowana w statystyce do oceny zależności między zmiennymi (w tym przypadku wynikami egzaminu gimnazjalnego oraz sprawdzianu), którą można ująć w postaci funkcji. Analiza taka jest możliwa, gdy dla każdego ucznia mamy informacje zarówno o wyniku sprawdzianu jak i wyniku egzaminu.

11 Wynik przewidywany Zależność między wynikami na sprawdzianie 2002 a wynikami tych samych uczniów 3 lata później na egzaminie gimnazjalnym w części matematycznoprzyrodniczej

12 Reszty Reszta w języku statystyki oznacza różnicę między wartością faktyczną a wartością przewidywaną na podstawie równania regresji. W metodzie EWD reszta to różnica między realnym wynikiem ucznia na egzaminie gimnazjalnym a wartością oczekiwaną obliczoną na podstawie wyniku na sprawdzianie i wartości zmiennych kontrolnych - płci i dysleksji. Na wartość reszty wpływają rożne czynniki. Mogą to być: - czynniki motywacyjne - wzrost motywacji w porównaniu z końcem szkoły podstawowej może dać relatywnie wyższy wynik, - czynniki środowiskowe - poprawa sytuacji materialnej rodziny pozwala na większe inwestycje w edukację dziecka,

13 Reszty - czynniki biologiczne - zmienne tempo dojrzewania i rozwoju umysłowego, czynniki sytuacyjne czy losowe - lepsze samopoczucie w trakcie pisania testu, więcej szczęścia w wskazywaniu poprawnych odpowiedzi w zadaniach zamkniętych. Dla nas jednak najważniejszy jest czynnik związany z efektywnością nauczania - za część wartości wskaźnika resztowego odpowiada szkoła i jej efektywność nauczania. Ponieważ reszta jest wartością nieprecyzyjną, nie należy jej wykorzystywać jako indywidualnej miary edukacyjnych postępów ucznia w gimnazjum. Reszty należy używać jedynie do analizowania EWD szkoły lub innej badanej grupy.

14 Wskaźnik edukacyjnej wartości dodanej EWD obliczamy uśredniając reszty dla danej szkoły (lub innej analizowanej grupy uczniów np. klasy, grupy uczniów dojeżdżających i niedojeżdżających itp.). Średnią tę interpretujemy jako miarę efektywności nauczania w danej szkole lub grupie uczniów.

15 Wskaźnik edukacyjnej wartości dodanej Warto jeszcze raz podkreślić, że EWD szkoły szacujemy na podstawie reszt wszystkich uczniów danej szkoły. Przykładowo, niektórzy z nich mogą mieć reszty ujemne, jednak jeśli większość ma reszty dodatnie, to EWD szkoły będzie także dodatnia. Obrazowo, jeśli większość uczniów będzie leżeć nad linią regresji, to szkoła ma dodatnią EWD (większość uczniów uzyskuje wyniki wyższe niż oczekiwane dla przeciętnego ucznia w Polsce o podobnym wyniku ze sprawdzianu). Im dalej nad krzywą leży większość uczniów szkoły, tym wyższa jej EWD. Jeśli większość leży pod krzywą, to EWD będzie ujemna (większość uczniów uzyskała wyniki poniżej oczekiwanego).

16 Wskaźnik edukacyjnej wartości dodanej Trzeba pamiętać, że średnia reszt wynosi dla wszystkich uczniów w kraju zero. EWD jest więc miarą względną - część szkół będzie miała dodatnią EWD i podobna liczba - ujemną EWD. Miara ta pozwala na porównanie szkół między sobą w skali kraju.

17 Wskaźnik edukacyjnej wartości dodanej EWD można wyrażać w skali staninowej i centylowej. Przypomnijmy, skala staninowa to: Skala 9-stopniowa. Kolejne stopnie skali to - pierwszy stanin to przedział obejmujący 4% najniższych wyników, - drugi stanin to przedział obejmujący 7% kolejnych wyników, - trzeci stanin to przedział obejmujący 12% kolejnych wyników, - czwarty stanin to przedział obejmujący 17% kolejnych wyników,

18 Wskaźnik edukacyjnej wartości dodanej - piąty stanin to przedział obejmujący 20% kolejnych wyników, - szósty stanin to przedział obejmujący 17% kolejnych wyników, - siódmy stanin to przedział obejmujący 12% kolejnych wyników, - ósmy stanin to przedział obejmujący 7% kolejnych wyników, - dziewiąty stanin to przedział obejmujący 4% najwyższych wyników. Na przykład, wynik w staninie 8.(tzw. bardzo wysokim) oznacza, że 4% szkół uzyskało wynik wyższy, 7% - porównywalny, a 89% - wynik niższy.

19 Skala centylowa Skala 99-stopniowa. Pozycja centylowa mówi o tym, jaki procent szkół ma wynik niższy, niż uzyskany przez tę szkołę. Na przykład, 45 centyl oznacza, że 45% szkół uzyskało wynik niższy. Na przykładzie wybranej szkoły zobaczmy, jak może wyglądać

20 Relacja między wynikami egzaminacyjnymi a edukacyjną wartością dodaną. GMP=26,45, stanin wysoki GH=34,97, stanin - wyżej średni EWD =-2,95, stanin - niski, 12 centyl EWD =-2,59, stanin - niski, 14 centyl Wykres 4. Wynik egzaminu a edukacyjna wartość dodana dla przykładowego gimnazjum

21 Statystyczne narzędzie zwane przedziałem ufności Przedział ufności - jest to przedział, który z określonym prawdopodobieństwem zawiera prawdziwą wartość interesującego nas parametru. Przedział ufności mówi nam, że dany parametr (w naszym przypadku EWD) z określonym prawdopodobieństwem mieści się między wyznaczonymi wartościami. W wypadku EWD szacowanie przedziału ufności jest konieczne, ponieważ określanie tej wartości obarczone jest dwojakim błędem.

22 Statystyczne narzędzie zwane przedziałem ufności Po pierwsze, błędem pomiaru na sprawdzianie i egzaminie gimnazjalnym. Po drugie, błędem próbkowania - absolwenci danego rocznika są tylko próbą uczniów szkoły, na podstawie której wypowiadamy się o efektywności nauczania w danym gimnazjum, która jest cechą charakteryzującą szkołę w dłuższej perspektywie czasowej. Zauważmy przy okazji, że ocena jakości pracy szkoły - w różnych jej aspektach, bo przecież EWD to tylko jeden ze wskaźników tej jakości - wymaga wieloletniej perspektywy

23 Oszacowania EWD wraz z przedziałami ufności dla dwóch przykładowych gimnazjów.

24 Oszacowania EWD wraz z przedziałami ufności dla dwóch przykładowych gimnazjów. Poprawna interpretacja jest następująca: w części humanistycznej obydwa gimnazja charakteryzuje podobna efektywność nauczania (to samo EWD więc i przedziały ufności się pokrywają). W części matematyczno-przyrodniczej Gimnazjum 1 ma wyższą EWD niż Gimnazjum 2. Co więcej przedziały ufności tych dwóch szkół nie "zazębiają się" - nie mają wspólnej części, a to świadczy, że w pełni uprawiony statystycznie sposób można wnioskować, że efektywność nauczania w obszarze sprawdzanym przez egzamin matematyczno-przyrodniczy w tych dwóch szkołach jest różna. Jeśli EWD byłyby różne, ale przedziały ufności częściowo by się pokrywały, to takie wnioskowanie byłoby obarczone dużym ryzykiem popełnienia błędu.

25 Jak odczytywać wykresy? Ze względu na niepewność statystyczną szacowania wskaźników położenie szkoły przedstawiane jest za pomocą elipsy. Wielkość elipsy graficznie przedstawia stopień tej niepewności. Opis położenia szkoły (elipsy) w układzie współrzędnych (wynik egzaminu, EWD) może ułatwić wyróżnienie kilku punktów odniesienia. Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników, jak i przeciętną efektywność. Szkoły o wysokich wynikach i wysokiej efektywności mierzonej EWD. Szkoły o wysokich wynikach i niskiej efektywności mierzonej EWD. Szkoły o niskich wynikach i wysokiej efektywności mierzonej EWD. Szkoły o niskich wynikach i niskiej efektywności mierzonej EWD.

26 Jak odczytywać wykresy? Oprócz typów głównych można zaobserwować również typy pośrednie: szkoły o przeciętnych wynikach i niskiej/wysokiej EWD oraz szkoły o przeciętnej efektywności (EWD) i niskich/wysokich wynikach. W tych przypadkach elipsy szkół leżą na osi pionowej lub poziomej, odpowiednio By ułatwić statystyczną interpretację pozycji szkoły, w układzie współrzędnych wyrysowano dwie szare elipsy (warstwice). Mniejsza z nich, ciemnoszara, wskazuje obszar, w którym mieści się 50% LO lub techników w całym kraju. Druga elipsa, jasno szara, wyznacza obszar, w którym mieści się 90% szkół danego typu w skali Polski. Środkiem symetrii tych elips jest punkt (100;0).

27 Przykład 1.

28 Jak odczytywać wykresy? Pozycja zielonej elipsy na wykresie wskazuje, że mamy do czynienia ze szkołą, która ze względu na ewaluacyjne wskaźniki egzaminacyjne jest blisko pozycji zwanej przez nas umownie neutralną. Szkoła znajdująca się blisko punktu środkowego układu współrzędnych, to placówka w skali kraju statystycznie przeciętna. Szkoły neutralne, to w skali kraju najliczniejsza kategoria liceów (techników). Dzieje się tak dlatego, że zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmuje wartości bliskie lub niezbyt odległe od średniej.

29 Jak odczytywać wykresy? Elipsa jest niezbyt duża, co oznacza, że pewność szacowania pozycji szkoły jest dość wysoka, wynika to przede wszystkim ze sporej liczby zdajacych w 2010 roku (n=145). Na wykresie przerywaną linią zaznaczono lokalny układ odniesienia. W tym wypadku wybrano powiat, w którym znajduje się analizowane gimnazjum. W powiecie tym przeciętny wynik egzaminacyjny wynosi 101,2, średnia EWD 0,5. Dodatkowy, poza krajowym, układ odniesienia pozwala na uzupełniające interpretacje pozycji szkoły na wykresie.

30 Przykład 2.

31 Jak odczytywać wykresy? Co różni LO B i C? Wyniki końcowe. Obszary ufności dla tych liceów są na wymiarze wyniku maturalnego z matematyki oddalone o około 14 punktów, czyli o prawie jedno odchylenie standardowe w skali wyników indywidualnych uczniów! Co natomiast je łączy? Ponadprzeciętna efektywność nauczania mierzona wskaźnikiem EWD. Możemy tak powiedzieć, bo obszary ufności dla obu szkół znajdują się ponad linią poziomą oznaczającą zerową wartość EWD (oś pozioma), a środki symetrii elips leżą na tej samej wysokości (EWD mat wynosi około 4 w skali indywidualnych wyników z matematyki). Dotychczasowe sposoby analizowania wyników egzaminacyjnych uwzględniające tylko wyniki końcowe nie pozwoliłyby dostrzec, że te placówki coś łączy. Wprowadzenie wymiaru EWD pozwoliło dojrzeć coś, co było przed okiem obserwatora nieuzbrojonego w odpowiednie instrumenty statystyczne ukryte.

32 Przykład 3.

33 Jak odczytywać wykresy? LO D i E łączy ponadprzeciętny wynik końcowy matury z języka polskiego. Możemy tak powiedzieć, ponieważ obszary ufności znajdują się w całości powyżej wyniku przeciętnego. Położenie elips wskazuje, że wynik ten wynosi około 106. Co natomiast różni te licea? Efektywność nauczania. Obszary ufności dla tych gimnazjów są na wymiarze EWD oddalone o około 15 punktów! Dotychczasowe sposoby analizowania wyników egzaminacyjnych skoncentrowane na średniej wyników końcowych nie pozwoliłyby dostrzec, że te placówki coś może różnić. Wprowadzenie wymiaru EWD pozwoliło dojrzeć coś, co było niewidoczne przykładowe licea dramatycznie różnią się efektywnością nauczania mierzoną EWD.

34 ANALIZA ILOŚCIOWA I JAKOŚCIOWA WYNIKÓW EGZAMINÓW Do ustalenia miar tendencji centralnej stosuje się następujące miary: Zdawalność egzaminu - szkoła może porównać wskaźnik zdawalności matury w szkole na tle zdawalności w kraju i województwie. Porównań można dokonać również w obrębie poszczególnych przedmiotów.

35 ANALIZA ILOŚCIOWA I JAKOŚCIOWA WYNIKÓW EGZAMINÓW średnia arytmetyczna suma wyników uczniów podzielona przez liczbę badanych (uczniów); Szkoła wyniki swoich uczniów może porównać ze średnimi wynikami województwa lub kraju, tzn. odpowiedzieć na pytanie, jaki procent uczniów szkoły uzyskało wynik wyższy, a jaki niższy od przeciętnego wyniku w kraju i województwie z danego przedmiotu w poziomie podstawowym lub rozszerzonym. Analizując średni procent punktów uzyskanych z pisemnego egzaminu z poszczególnych przedmiotów w kraju i województwie każdy maturzysta może poznać pozycję uzyskanego wyniku na tle wyników innych zdających. Może również sprawdzić czy uzyskany wynik jest wyższy (niższy) od średniej w kraju i województwie.

36 ANALIZA ILOŚCIOWA I JAKOŚCIOWA WYNIKÓW EGZAMINÓW Skale staninowe tworzone są dla wyników krajowych i wojewódzkich (może być region OKE, ale też i szkoła) z poszczególnych przedmiotów można, więc dokonać porównań dla obu tych skal. Daje to możliwość ustalenia pozycji wyników szkoły na tle wyników krajowych lub wojewódzkich. Również każdy z maturzystów może sprawdzić gdzie w/w skali mieści się jego wynik oraz określić, jaki procent uczniów uzyskało wynik zbliżony, wyższy lub niższy.

37 ANALIZA ILOŚCIOWA I JAKOŚCIOWA WYNIKÓW EGZAMINÓW Staniny Procenty Opis wyniku ucznia 1 4 najniższy 2 7 bardzo niski 3 12 niski 4 17 niżej średni 5 20 średni 6 17 wyżej średni 7 12 wysoki 8 7 bardzo wysoki 9 4 najwyższy

38 ANALIZA ILOŚCIOWA I JAKOŚCIOWA WYNIKÓW EGZAMINÓW Obliczenie frakcji opuszczeń f każdego zadania testu, dla każdej z wersji A i B testu oddzielnie, liczba uczniów, którzy opuścili zadanie f = liczba uczniów biorących udział w testowaniu Interpretacja frakcji opuszczeń jest następująca ; 0 < f < 1, przy czym f > 0,15 jest sygnałem, że zadanie jest nieczytelne dla ucznia (może zawierać błąd redakcyjny lub rzeczowy albo jest bardzo trudne).

39 ANALIZA ILOŚCIOWA I JAKOŚCIOWA WYNIKÓW EGZAMINÓW Obliczenie współczynników łatwości p" każdego z zadań w obu wersjach testu, suma punktów uzyskanych przez badanych za rozwiązanie danego zadania p = maksymalna liczba punktów, jaką badani mogli uzyskać za to zadanie Interpretacja współczynnika łatwości jest następująca: 0 < p < 1, przy czym wartość zero oznacza, że żaden z uczniów nie rozwiązał danego zadania, zaś p=1 oznacz, że wszyscy testowani rozwiązali dane zadanie poprawnie.

40 ANALIZA ILOŚCIOWA I JAKOŚCIOWA WYNIKÓW EGZAMINÓW Wartość współczynnika łatwości Interpretacja zadania 0,00-0,19 0,20-0,49 0,50-0,69 0,70-0,89 0,90-1,00 bardzo trudne trudne umiarkowanie trudne łatwe bardzo łatwe Zadania reprezentujące treść podstawową powinny być łatwe i bardzo łatwe dla badanych, reprezentujące treść rozszerzającą umiarkowanie trudne, zaś reprezentujące wymagania na bardzo dobry - trudne a nawet bardzo trudne. Zadania bardzo trudne powinny być odpowiednio oznaczone.

41 Analiza i interpretacja wyników Analiza i interpretacja wyników sprawdzianu powinna uwzględniać kontekst: Wpływ czynników indywidualnych (np. inteligencja, stan zdrowia, motywacje, zainteresowania, czas przeznaczony na pracę domową, nieobecność ucznia na zajęciach); Wpływ czynników środowiskowych (np. wykształcenie rodziców, status społeczno ekonomiczny rodziny, funkcjonowanie systemu rodzinnego, warunki pracy domowej, stosunek rodziców do nauki, współdziałanie rodziców ze szkołą, środowisko rówieśnicze);

42 Analiza i interpretacja wyników pływ czynników pedagogicznych np. model i program szkoły, liczba uczniów w klasie, zasoby materialne szkoły, rozkład zajęć, organizacja lekcji i pracy domowej, wykształcenie i doświadczenie nauczycieli, nieobecność nauczycieli zastępstwa, współpraca między nauczycielami, metody nauczania i sprawdzania osiągnięć, doskonalenie zawodowe, stosunek nauczycieli do uczniów, podręczniki i programy nauczania, organizacja zajęć pozalekcyjnych).

43 Analiza i interpretacja wyników Analizując i interpretując wyniki egzaminu szkoła powinna szukać odpowiedzi na następujące pytania: Jakie wyniki egzaminu osiągnęliśmy jako szkoła? Jak radzili sobie z zadaniami egzaminacyjnymi uczniowie? (Które zadania okazały się łatwe, a które trudne dla naszych uczniów?) Jakie są mocne strony procesu nauczania - uczenia się w naszej szkole, a jakie słabe?

44 Analiza i interpretacja wyników Co złożyło się na uzyskany przez szkołę wynik? Jakie są uwarunkowania sukcesów, a jakie przyczyny niepowodzeń uczniów i szkoły? Jakie są zależności pomiędzy szkolnymi ocenami uczniów a wynikami egzaminu zewnętrznego? Co sprzyja, a co przeszkadza wprowadzaniu zmian podnoszących jakość procesu nauczania?

45 Wnioski z egzaminu mogą wpływać na: szkolny zestaw programów nauczania; planowanie i projektowanie pracy dydaktycznej; organizację zajęć lekcyjnych i pracy domowej uczniów; stosowanie podręczników i pomocy dydaktycznych; kompetencje zawodowe nauczycieli; doskonalenie zawodowe; sposoby motywowania uczniów do uczenia się; współpracę nauczycieli kształtujących te same lub podobne umiejętności; nieobecności nauczycieli i organizacja zastępstw; organizację zajęć pozalekcyjnych.