Porównywalne między latami wyniki egzaminacyjne

Porównywalne między latami wyniki egzaminacyjne ZESPÓŁ ANALIZ OSIĄGNIĘĆ UCZNIÓW Instytut Badań Edukacyjnych Henryk Szaleniec, Bartosz Kondratek

Plan prezentacji 1.Po co nam zrównywanie wyników pomiędzy latami? 2.W jaki sposób przeprowadzono zrównanie. 3.Porównywalne między latami wyniki sprawdzianu. 4.Komunikowanie wyników porównywalnych między latami (PWE).

WYNIKI EGZAMINÓW ZALEŻĄ OD WIELU CZYNNIKÓW

Wynik egzaminu w złożony sposób zależy od wielu czynników. Między innymi zależy od: 1 poziomu umiejętności zdającego w zakresie badanym na egzaminie, 2 3 4 5 samooceny i poziomu motywacji poszczególnych uczniów, indywidualnych różnic w szybkości pracy zdających, przestrzegania procedur przeprowadzenia egzaminu w tym aspekty etyczne (problem odpisywania), zmiany z dnia na dzień w predyspozycji zdających do pisania egzaminu.

Wynik egzaminu w złożony sposób zależy od wielu czynników. Między innymi zależy od: 6 7 8 sposobu, w jaki zadania są prezentowane w arkuszach egzaminacyjnych, sposobu, w jaki rozwiązania zadań są punktowane przez egzaminatorów zewnętrznych, trudności poszczególnych zadań wchodzących w skład arkusza egzaminacyjnego. Pierwszych pięć źródeł zróżnicowania wyników generalnie zależy od ucznia. Trzy ostatnie od cech egzaminu, które najogólniej moglibyśmy nazwać trudnością egzaminu.

Trudność arkuszy egzaminacyjnych w kolejnych latach Gdyby trudność arkuszy egzaminacyjnych w kolejnych latach była identyczna, to na podstawie wyników egzaminacyjnych można byłoby wnioskować o tym, jak zmienia się w czasie poziom umiejętności uczniów w zakresie sprawdzanym na egzaminie (sprawdzianie). Jest to przypadek idealny i w praktyce, nawet przy bardzo wyrafinowanych procedurach tworzenia arkuszy egzaminacyjnych, rzadko się zdarza.

Trudność arkuszy egzaminacyjnych w kolejnych latach Porównywalność wyników między latami można jednak osiągnąć kontrolując trudność arkusza egzaminacyjnego (procedury zrównywania wyników). Zarówno dojrzałe systemy testowania jak i większość nowopowstałych systemów, wprowadzają do konstrukcji testów mechanizmy pozwalające na zrównywanie wyników.

Przykłady zrównywania wyników egzaminacyjnych w innych krajach Metody zrównywania najwcześniej rozwinęły się w USA SAT (Scholastic Assessment Test) - Od 1941 roku każda nowa wersja testu zawiera około 20% pytań z poprzedniej edycji. Wyniki kolejnych edycji zrównywane są z poprzedniego roku do roku kolejnego. Średnią skali ustalono na 500 dla roku 1941 (w 1995 skala została ponownie wycentrowana tak, by rokiem bazowym był rok 1995 o średniej wyników 500). Do zrównywania używa się klasycznych metod zrównywania liniowego i ekwicentylowego.

Przykłady zrównywania wyników egzaminacyjnych w innych krajach ACT (American College Testing) jest drugim (po SAT) najpopularniejszym w USA testem mierzącym osiągnięcia szkolne uczniów po szkole średniej. Aby przeprowadzić zrównanie dwóch testów z różnych lat, w przypadku ACT spośród wszystkich uczniów losowana jest reprezentatywna próba (jako próba zrównująca). Uczniowie należący do wylosowanej próby obok aktualnej edycji testu rozwiązują też nowe zadania, wcześniej nie publikowanych arkuszy egzaminacyjnych.

Przykłady zrównywania wyników egzaminacyjnych w innych krajach Sesja/ populacja Zadania testowe 1 Test A sekcja zrów. 2 Test B sekcja zrów. 3 test C sekcja zrów.

Przykłady zrównywania wyników egzaminacyjnych w innych krajach Plan z nierównoważnymi grupami i wewnętrzną kotwicą Plan z równoważnymi grupami i zewnętrzną kotwicą Stosowana teoria USA SAT ACT KTT Kanada EQAO (Ontario) IRT Izrael PET IRT Australia NAPLAN IRT Szwecja SweSAT SweSAT KTT; IRT Węgry Test z matematyki i interpretacji tekstu IRT Więcej na ten temat- Pokropek A. Zrównywanie wyników egzaminacyjnych w kontekście międzynarodowym. http://www.ptde.org/file.php/1/archiwum/xvii_kde/pedeefy/pokropek_2.pdf

Pierwsze próby zrównywania w Polsce Pierwsze próby zrównywania wyników egzaminacyjnych w Polsce podjęto w 2004 roku dla sprawdzianu z zastosowaniem kotwicy zewnętrznej na próbie uczniów z populacji o rok młodszej (uczniowie V klas).

DLACZEGO PODJĘLIŚMY SIĘ BADAŃ POZWALAJĄCYCH NA PORÓWNYWANIE WYNIKÓW EGZAMINU POMIĘDZY LATAMI?

Wyniki obserwowane egzamin gimnazjalny 2002-2011 część humanistyczna 35 średni wynik egzaminu humanistycznego na skali oryginalnej (0-50 pkt.) 34 33 32 31 30 29 28 27 26 25 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 średni wynik egzaminu humanistycznego na skali oryginalnej

Wyniki obserwowane egzamin gimnazjalny 2002-2011 część matematyczno-przyrodnicza 30 średni wynik egzaminu matematyczno-przyrodniczego na skali oryginalnej (0-50 pkt.) 29 28 27 26 25 24 23 22 21 20 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 średni wynik egzaminu matematyczno-przyrodniczego na skali oryginalnej

Wyniki obserwowane sprawdzian 2002-2013 30 średni wynik sprawdzianu na skali oryginalnej (0-40 pkt.) 29 28 27 26 25 24 23 22 21 20 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 średni wynik sprawdzianu na skali oryginalnej

CZTERY ETAPY STUDIUM ZRÓWNUJĄCEGO WYNIKI

Cztery etapy studium zrównującego wyniki egzaminów

W JAKI SPOSÓB PRZEPROWADZONO ZRÓWNANIE WYNIKÓW EGZAMINU POMIĘDZY LATAMI?

Przykład: zadanie 14 z GMP 2005 oraz z GMP 2008 Łatwość w badaniach 2011: 62,6% Łatwość w badaniach 2011: 64,6% Łatwość na egzaminie 2008: 66,3% Łatwość na egzaminie 2005: 62,2% Czy zadanie z piramidą wieku jest łatwiejsze od zadania z objętością? Czy uczniowie w 2008 roku mieli wyższy poziom badanych umiejętności niż uczniowie z 2005?

67 66 66,3 65 64,6 64 63 62 62,6 62,2 egzamin badania w 2012 roku 61 60 zadanie z piramidą wieku (egzamin 2005) zadanie z objętością (egzamin 2008)

Dane z sesji zrównujących 2012 Dane egzaminacyjne Źródło danych Źródło danych Populacja Próba N obs. (szac.) N obs. (szac.) Plan zrównywania Test lub zbiór zadań T T 04 T 05 T 06 T 07 T 08 T 09 T 10 T 11 T 12 T 13 T 14 Dodatkowe zadania kotwiczące 02 T 03 R A R R A A R A R A T 04 T 04 T 05 T 05 T 06 T 06 T 11 T R A R A R A R A R A R A R A T 13 T 08 T 08 T 09 T 09 T 10 T 10 T 11 T 11 T 12 T 12 T 13 T 13 T 14 T 14 C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 02 T 02 T 03 T 03 Legenda uczniowie nie rozwiązują żadnego zadania uczniowie rozwiązują wszystkie zadania uczniowie rozwiązują wszystkie zadania na sesji egzaminacyjnej część uczniów rozwiązuje wszystkie zadania na sesji zrównującej uczniowie rozwiązują podzbiór zadań część uczniów rozwiązuje podzbiór zadań na sesji zrównującej P 02 5 10 5 P 03 5 10 5 P 04 5 10 5 P 05 5 10 5 P 06 5 10 5 P 07 5 10 5 P 08 5 10 5 P 09 5 10 5 P 10 4 10 5 P 11 4 10 5 P 12 4 10 5 P 13 4 10 5 P 14 4 10 5 P 11 12 1 S 12 11 800 P 12 2 S 12 800 P 12 3 S 12 800 P 12 4 S 12 800 P 12 5 S 12 800 P 12 6 S 12 800 P 12 2 S 11 800 P 12 8 S 12 800 P 12 9 S 12 800 P 12 10 S 12 800 P 12 11 S 12 800 2013 P 13 S 13 1600 2043 P 14 S 14 1600 2015 P 15 S 15 1600

Potencjalne zmienne zakłócające Zaprezentowany plan zrównywania jest podatny na wpływ dwóch potencjalnie zakłócających zmiennych. Motywacja uczniów uczniowie biorący udział w sesji zrównującej nie rozwiązują zadań w warunkach testu doniosłego. Ujawnienie zadań uczniowie biorący udział w sesji zrównującej mogli mieć wcześniej styczność z zadaniami wcześniejszych egzaminów ćwicząc swoje umiejętności na upublicznionych arkuszach egzaminacyjnych z lat wcześniejszych.

Populacja Plan zrównywania sprawdzian Test lub zbiór zadań T 02 T 03 T 04 T 05 T 06 T 07 T 08 T 09 T 10 T 11 T 12 T 13 T 14 Dodatkowe zadania kotwiczące R A R A R A R A R A T 02 T 02 T 03 T 03 T 04 T 04 T 05 T 05 T 06 T 06 T 11 T R A R A R A R A R 13 T 08 T 08 T 09 T 09 T 10 T 10 T 11 T A R A R A 11 T 12 T 12 T 13 T 13 T 14 T 14 C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 P 02 P 03 Legenda uczniowie nie rozwiązują żadnego zadania uczniowie rozwiązują wszystkie zadania część uczniów rozwiązuje wszystkie zadania na sesji zrównującej część uczniów rozwiązuje podzbiór zadań na sesji zrównującej P 04 P 05 P 06 P 07 P 08 P 09 P 10 P 11 P 12 P 13 P 14 Zrównywanie bez roku bieżącego Jawność zadań Obniżona motywacja Obniżona motywacja

PORÓWNYWALNE POMIĘDZY LATAMI WYNIKI EGZAMINÓW

Wyniki na sprawdzianie przed i po zrównaniu (wyniki obserwowane sprawdzian 2002-2011) 30 29 28 27 26 25 24 23 22 21 20 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 średni wynik sprawdzianu na skali oryginalnej średni wynik sprawdzianu na skali 2004

Wynik Przeliczenie wyników na skalę egzaminu z roku 2004 z egzaminu 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 0 0 0 0 0 1 0 0 0 1 0 1 1 0 1 1 2 1 1 1 1 1 2 1 1 2 1 3 1 1 2 2 2 3 2 1 3 2 4 2 2 3 3 2 4 2 2 4 3 5 3 3 5 4 3 5 3 3 5 3 7 4 4 6 6 5 6 4 4 6 4 8 5 5 7 7 6 7 4 4 7 5 9 6 6 9 8 7 8 5 5 8 6 10 7 7 10 10 8 9 6 6 9 7 11 8 9 11 11 9 10 6 6 10 8 12 9 10 13 12 10 11 7 7 11 9 13 10 11 14 14 12 12 8 8 12 10 14 11 12 15 15 13 13 9 9 13 11 15 12 13 16 16 14 14 9 10 14 12 16 13 14 17 17 15 15 10 11 15 13 17 14 15 18 18 16 16 11 12 16 14 18 15 15 19 19 17 17 12 13 17 14 19 16 16 20 20 18 18 13 13 18 15 20 17 17 21 21 19 19 14 14 19 16 21 18 18 22 21 20 20 14 15 20 17 22 19 19 23 22 21 21 15 16 21 18 23 20 20 24 23 22 22 16 17 22 19 23 21 21 25 24 23 23 17 18 23 20 24 22 22 26 25 24 24 18 19 24 20 25 22 23 27 26 25 25 19 20 25 21 26 23 24 28 27 26 26 20 21 26 22 27 24 24 29 27 27 27 21 22 27 23 28 25 25 30 28 28 28 22 23 28 24 28 26 27 31 29 29 29 23 24 29 25 29 27 28 32 30 30 30 25 25 30 26 30 28 29 33 31 31 31 26 27 31 27 31 29 30 34 32 33 32 27 28 32 28 32 30 31 35 34 34 33 28 29 33 29 33 32 32 36 35 35 34 30 31 34 31 34 33 34 37 36 36 35 31 33 35 32 35 34 35 37 37 37 36 33 34 36 34 36 36 36 38 38 38 37 35 36 37 36 37 37 37 39 38 39 38 37 37 38 37 38 38 38 39 39 39 39 38 39 39 39 39 39 39 40 40 40 40 40 40 40 40 40 40 40 40 40 40

Wynik sprawdzianu Przeliczenie wyników na skalę sprawdzianu z roku 2004 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 25 19 20 25 21 26 23 24 28 27 26 26 20 21 26 22 27 24 24 29 27 27 27 21 22 27 23 28 25 25 30 28 28 Rok bazowy (referencyjny)

110 Zrównane wyniki egzaminacyjne sprawdzianu w skali o średniej 100 i odchyleniu standardowym 15 zakotwiczonej w 2004 roku) 105 100 95 90 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 minimum przedz. ufności średnia maks. przedz. ufności

CZY DŁUGOOKRESOWE WAHANIA WYNIKÓW SPRAWDZIANU I EGZAMINU GIMNAZJALNEGO MOGĄ MIEĆ TĘ SAMĄ PRZYCZYNĘ?

2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 Zestawienie porównywalnych wyników: egzamin gimnazjalny oraz sprawdzian (skala 100,15) 110 108 106 104 102 100 98 96 94 92 90 SPRAWDZIAN GIMNAZJUM M-P

2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 Zestawienie porównywalnych wyników: egzamin gimnazjalny oraz sprawdzian (skala 100,15) 110 108 106 104 102 100 98 96 94 92 90 SPRAWDZIAN GIMNAZJUM M-P

W JAKI SPOSÓB KOMUNIKOWANE SĄ PORÓWNYWALNE WYNIKI POMIĘDZY LATAMI SERWIS PWE

Podsumowanie Analizy podłużne wyników sprawdzianu w wieloletnim przedziale czasowym jako swego rodzaju monitorowanie wyników egzaminów są w naszym kraju możliwe i wydają się niezbędne. Istotne jest, aby odróżniać fluktuacje trudności zadań tworzących kolejne arkusze egzaminacyjne od wahań poziomu osiągnięć uczniów i od długofalowych trendów skuteczności edukacyjnej.

Podsumowanie Porównywalne wyniki egzaminacyjne wyrażone w skali roku przyjętego za bazowy (referencyjny dla sprawdzianu 2004 rok) pozwalają na: lepsze niż dotychczas monitorowanie wyników egzaminacyjnych, analizę zmian rezultatów egzaminacyjnych w czasie dla kraju, województw, powiatów, gmin, etc.

Podsumowanie Interpretując porównywalne wyniki pomiędzy latami należy mieć na uwadze, że są one rezultatem projektu badawczego, którego celem jest między innymi doskonalenie metodologii zrównywania.

http://www.edukacja.ibe.edu.pl/pl/archiwum/31-2012/nr-3-119-2012 Dziękujemy za uwagę Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Instytut Badań Edukacyjnych ul. Górczewska 8, 01-180 Warszawa tel.: (22) 241 71 00, e-mail: ibe@ibe.edu.pl