Porównywalne między latami wyniki egzaminacyjne

Transkrypt

1 Porównywalne między latami wyniki egzaminacyjne ZESPÓŁ ANALIZ OSIĄGNIĘĆ UCZNIÓW Instytut Badań Edukacyjnych Henryk Szaleniec, Bartosz Kondratek

2 Plan prezentacji 1.Po co nam zrównywanie wyników pomiędzy latami? 2.W jaki sposób przeprowadzono zrównanie. 3.Porównywalne między latami wyniki sprawdzianu. 4.Komunikowanie wyników porównywalnych między latami (PWE).

3 WYNIKI EGZAMINÓW ZALEŻĄ OD WIELU CZYNNIKÓW

4 Wynik egzaminu w złożony sposób zależy od wielu czynników. Między innymi zależy od: 1 poziomu umiejętności zdającego w zakresie badanym na egzaminie, samooceny i poziomu motywacji poszczególnych uczniów, indywidualnych różnic w szybkości pracy zdających, przestrzegania procedur przeprowadzenia egzaminu w tym aspekty etyczne (problem odpisywania), zmiany z dnia na dzień w predyspozycji zdających do pisania egzaminu.

5 Wynik egzaminu w złożony sposób zależy od wielu czynników. Między innymi zależy od: sposobu, w jaki zadania są prezentowane w arkuszach egzaminacyjnych, sposobu, w jaki rozwiązania zadań są punktowane przez egzaminatorów zewnętrznych, trudności poszczególnych zadań wchodzących w skład arkusza egzaminacyjnego. Pierwszych pięć źródeł zróżnicowania wyników generalnie zależy od ucznia. Trzy ostatnie od cech egzaminu, które najogólniej moglibyśmy nazwać trudnością egzaminu.

6 Trudność arkuszy egzaminacyjnych w kolejnych latach Gdyby trudność arkuszy egzaminacyjnych w kolejnych latach była identyczna, to na podstawie wyników egzaminacyjnych można byłoby wnioskować o tym, jak zmienia się w czasie poziom umiejętności uczniów w zakresie sprawdzanym na egzaminie (sprawdzianie). Jest to przypadek idealny i w praktyce, nawet przy bardzo wyrafinowanych procedurach tworzenia arkuszy egzaminacyjnych, rzadko się zdarza.

7 Trudność arkuszy egzaminacyjnych w kolejnych latach Porównywalność wyników między latami można jednak osiągnąć kontrolując trudność arkusza egzaminacyjnego (procedury zrównywania wyników). Zarówno dojrzałe systemy testowania jak i większość nowopowstałych systemów, wprowadzają do konstrukcji testów mechanizmy pozwalające na zrównywanie wyników.

8 Przykłady zrównywania wyników egzaminacyjnych w innych krajach Metody zrównywania najwcześniej rozwinęły się w USA SAT (Scholastic Assessment Test) - Od 1941 roku każda nowa wersja testu zawiera około 20% pytań z poprzedniej edycji. Wyniki kolejnych edycji zrównywane są z poprzedniego roku do roku kolejnego. Średnią skali ustalono na 500 dla roku 1941 (w 1995 skala została ponownie wycentrowana tak, by rokiem bazowym był rok 1995 o średniej wyników 500). Do zrównywania używa się klasycznych metod zrównywania liniowego i ekwicentylowego.

9 Przykłady zrównywania wyników egzaminacyjnych w innych krajach ACT (American College Testing) jest drugim (po SAT) najpopularniejszym w USA testem mierzącym osiągnięcia szkolne uczniów po szkole średniej. Aby przeprowadzić zrównanie dwóch testów z różnych lat, w przypadku ACT spośród wszystkich uczniów losowana jest reprezentatywna próba (jako próba zrównująca). Uczniowie należący do wylosowanej próby obok aktualnej edycji testu rozwiązują też nowe zadania, wcześniej nie publikowanych arkuszy egzaminacyjnych.

10 Przykłady zrównywania wyników egzaminacyjnych w innych krajach Sesja/ populacja Zadania testowe 1 Test A sekcja zrów. 2 Test B sekcja zrów. 3 test C sekcja zrów.

11 Przykłady zrównywania wyników egzaminacyjnych w innych krajach Plan z nierównoważnymi grupami i wewnętrzną kotwicą Plan z równoważnymi grupami i zewnętrzną kotwicą Stosowana teoria USA SAT ACT KTT Kanada EQAO (Ontario) IRT Izrael PET IRT Australia NAPLAN IRT Szwecja SweSAT SweSAT KTT; IRT Węgry Test z matematyki i interpretacji tekstu IRT Więcej na ten temat- Pokropek A. Zrównywanie wyników egzaminacyjnych w kontekście międzynarodowym.

12 Pierwsze próby zrównywania w Polsce Pierwsze próby zrównywania wyników egzaminacyjnych w Polsce podjęto w 2004 roku dla sprawdzianu z zastosowaniem kotwicy zewnętrznej na próbie uczniów z populacji o rok młodszej (uczniowie V klas).

13 DLACZEGO PODJĘLIŚMY SIĘ BADAŃ POZWALAJĄCYCH NA PORÓWNYWANIE WYNIKÓW EGZAMINU POMIĘDZY LATAMI?

14 Wyniki obserwowane egzamin gimnazjalny część humanistyczna 35 średni wynik egzaminu humanistycznego na skali oryginalnej (0-50 pkt.) średni wynik egzaminu humanistycznego na skali oryginalnej

15 Wyniki obserwowane egzamin gimnazjalny część matematyczno-przyrodnicza 30 średni wynik egzaminu matematyczno-przyrodniczego na skali oryginalnej (0-50 pkt.) średni wynik egzaminu matematyczno-przyrodniczego na skali oryginalnej

16 Wyniki obserwowane sprawdzian średni wynik sprawdzianu na skali oryginalnej (0-40 pkt.) średni wynik sprawdzianu na skali oryginalnej

17 CZTERY ETAPY STUDIUM ZRÓWNUJĄCEGO WYNIKI

18 Cztery etapy studium zrównującego wyniki egzaminów

19 W JAKI SPOSÓB PRZEPROWADZONO ZRÓWNANIE WYNIKÓW EGZAMINU POMIĘDZY LATAMI?

20 Przykład: zadanie 14 z GMP 2005 oraz z GMP 2008 Łatwość w badaniach 2011: 62,6% Łatwość w badaniach 2011: 64,6% Łatwość na egzaminie 2008: 66,3% Łatwość na egzaminie 2005: 62,2% Czy zadanie z piramidą wieku jest łatwiejsze od zadania z objętością? Czy uczniowie w 2008 roku mieli wyższy poziom badanych umiejętności niż uczniowie z 2005?

21 , , ,6 62,2 egzamin badania w 2012 roku zadanie z piramidą wieku (egzamin 2005) zadanie z objętością (egzamin 2008)

22 Dane z sesji zrównujących 2012 Dane egzaminacyjne Źródło danych Źródło danych Populacja Próba N obs. (szac.) N obs. (szac.) Plan zrównywania Test lub zbiór zadań T T 04 T 05 T 06 T 07 T 08 T 09 T 10 T 11 T 12 T 13 T 14 Dodatkowe zadania kotwiczące 02 T 03 R A R R A A R A R A T 04 T 04 T 05 T 05 T 06 T 06 T 11 T R A R A R A R A R A R A R A T 13 T 08 T 08 T 09 T 09 T 10 T 10 T 11 T 11 T 12 T 12 T 13 T 13 T 14 T 14 C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 02 T 02 T 03 T 03 Legenda uczniowie nie rozwiązują żadnego zadania uczniowie rozwiązują wszystkie zadania uczniowie rozwiązują wszystkie zadania na sesji egzaminacyjnej część uczniów rozwiązuje wszystkie zadania na sesji zrównującej uczniowie rozwiązują podzbiór zadań część uczniów rozwiązuje podzbiór zadań na sesji zrównującej P P P P P P P P P P P P P P S P 12 2 S P 12 3 S P 12 4 S P 12 5 S P 12 6 S P 12 2 S P 12 8 S P 12 9 S P S P S P 13 S P 14 S P 15 S

23 Potencjalne zmienne zakłócające Zaprezentowany plan zrównywania jest podatny na wpływ dwóch potencjalnie zakłócających zmiennych. Motywacja uczniów uczniowie biorący udział w sesji zrównującej nie rozwiązują zadań w warunkach testu doniosłego. Ujawnienie zadań uczniowie biorący udział w sesji zrównującej mogli mieć wcześniej styczność z zadaniami wcześniejszych egzaminów ćwicząc swoje umiejętności na upublicznionych arkuszach egzaminacyjnych z lat wcześniejszych.

24 Populacja Plan zrównywania sprawdzian Test lub zbiór zadań T 02 T 03 T 04 T 05 T 06 T 07 T 08 T 09 T 10 T 11 T 12 T 13 T 14 Dodatkowe zadania kotwiczące R A R A R A R A R A T 02 T 02 T 03 T 03 T 04 T 04 T 05 T 05 T 06 T 06 T 11 T R A R A R A R A R 13 T 08 T 08 T 09 T 09 T 10 T 10 T 11 T A R A R A 11 T 12 T 12 T 13 T 13 T 14 T 14 C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 P 02 P 03 Legenda uczniowie nie rozwiązują żadnego zadania uczniowie rozwiązują wszystkie zadania część uczniów rozwiązuje wszystkie zadania na sesji zrównującej część uczniów rozwiązuje podzbiór zadań na sesji zrównującej P 04 P 05 P 06 P 07 P 08 P 09 P 10 P 11 P 12 P 13 P 14 Zrównywanie bez roku bieżącego Jawność zadań Obniżona motywacja Obniżona motywacja

25 PORÓWNYWALNE POMIĘDZY LATAMI WYNIKI EGZAMINÓW

26 Wyniki na sprawdzianie przed i po zrównaniu (wyniki obserwowane sprawdzian ) średni wynik sprawdzianu na skali oryginalnej średni wynik sprawdzianu na skali 2004

27 Wynik Przeliczenie wyników na skalę egzaminu z roku 2004 z egzaminu

28 Wynik sprawdzianu Przeliczenie wyników na skalę sprawdzianu z roku Rok bazowy (referencyjny)

29 110 Zrównane wyniki egzaminacyjne sprawdzianu w skali o średniej 100 i odchyleniu standardowym 15 zakotwiczonej w 2004 roku) minimum przedz. ufności średnia maks. przedz. ufności

30 CZY DŁUGOOKRESOWE WAHANIA WYNIKÓW SPRAWDZIANU I EGZAMINU GIMNAZJALNEGO MOGĄ MIEĆ TĘ SAMĄ PRZYCZYNĘ?

31 Zestawienie porównywalnych wyników: egzamin gimnazjalny oraz sprawdzian (skala 100,15) SPRAWDZIAN GIMNAZJUM M-P

32 Zestawienie porównywalnych wyników: egzamin gimnazjalny oraz sprawdzian (skala 100,15) SPRAWDZIAN GIMNAZJUM M-P

33 W JAKI SPOSÓB KOMUNIKOWANE SĄ PORÓWNYWALNE WYNIKI POMIĘDZY LATAMI SERWIS PWE

34

35

36

37

38

39

40

41

42

43

44 Podsumowanie Analizy podłużne wyników sprawdzianu w wieloletnim przedziale czasowym jako swego rodzaju monitorowanie wyników egzaminów są w naszym kraju możliwe i wydają się niezbędne. Istotne jest, aby odróżniać fluktuacje trudności zadań tworzących kolejne arkusze egzaminacyjne od wahań poziomu osiągnięć uczniów i od długofalowych trendów skuteczności edukacyjnej.

45 Podsumowanie Porównywalne wyniki egzaminacyjne wyrażone w skali roku przyjętego za bazowy (referencyjny dla sprawdzianu 2004 rok) pozwalają na: lepsze niż dotychczas monitorowanie wyników egzaminacyjnych, analizę zmian rezultatów egzaminacyjnych w czasie dla kraju, województw, powiatów, gmin, etc.

46 Podsumowanie Interpretując porównywalne wyniki pomiędzy latami należy mieć na uwadze, że są one rezultatem projektu badawczego, którego celem jest między innymi doskonalenie metodologii zrównywania.

47 Dziękujemy za uwagę Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Instytut Badań Edukacyjnych ul. Górczewska 8, Warszawa tel.: (22) , ibe@ibe.edu.pl