Porównywalne między latami wyniki egzaminacyjne

Transkrypt

1 Porównywalne między latami wyniki egzaminacyjne ZESPÓŁ ANALIZ OSIĄGNIĘĆ UCZNIÓW Instytut Badań Edukacyjnych

2 Plan prezentacji 1. Zrównywanie wyników egzaminacyjnych w innych krajach 2. Po co nam zrównywanie wyników pomiędzy latami 3. Cztery etapy studium zrównującego 4. W jaki sposób przeprowadzono zrównanie 5. Porównywalne między latami wyniki egzaminu gimnazjalnego i sprawdzianu 6. Komunikowanie wyników porównywalnych między latami (PWE) 7. Podsumowanie

3 Zarówno dojrzałe systemy testowania jak i większość nowopowstałych systemów, wprowadzają do konstrukcji testów mechanizmy pozwalające na zrównywanie wyników.

4 Przykłady zrównywania wyników egzaminacyjnych w innych krajach Metody zrównywania najwcześniej rozwinęły się w USA SAT (Scholastic Assessment Test) - Od 1941 roku każda nowa wersja testu zawiera około 20% pytań z poprzedniej edycji. Wyniki kolejnych edycji zrównywane są z poprzedniego roku do roku kolejnego. Średnią skali ustalono na 500 dla roku 1941 (w 1995 skala została ponownie wycentrowana tak, by rokiem bazowym był rok 1995 o średniej 500). Do zrównywania używa się klasycznych metod zrównywania liniowego i ekwicentylowego.

5 Przykłady zrównywania wyników egzaminacyjnych w innych krajach ACT jest drugim (po SAT) najpopularniejszym w USA testem mierzącym osiągnięcia szkolne uczniów po szkole średniej. Aby przeprowadzić zrównanie dwóch testów z różnych lat, w przypadku ACT spośród wszystkich uczniów losowana jest reprezentatywna próba (jako próba zrównująca). Uczniowie należący do wylosowanej próby obok aktualnej edycji testu rozwiązują też nowe zadania, wcześniej nie publikowanych arkuszy egzaminacyjnych.

6 Przykłady zrównywania wyników egzaminacyjnych w innych krajach Zrównywanie za pomocą planu nierównoważonych grup z testem kotwiczącym Sesja/ populacja Zadania testowe 1 Test A sekcja zrów. 2 Test B sekcja zrów. 3 test C sekcja zrów.

7 Przykłady zrównywania wyników egzaminacyjnych w innych krajach Zrównywanie za pomocą planu zewnętrznej kotwicy z równoważnymi grupami Sesja/populacja Zadania testowe 1 Test A 2 Test B Próba zrównująca Test A Test B test C 3 test C

8 Przykłady zrównywania wyników egzaminacyjnych w innych krajach Plan z nierównoważnymi grupami i wewnętrzną kotwicą Plan z równoważnymi grupami i zewnętrzną kotwicą Stosowana teoria USA SAT ACT KTT Kanada EQAO (Ontario) IRT Izrael PET IRT Australia NAPLAN IRT Szwecja SweSAT SweSAT KTT; IRT Węgry Test z matematyki i interpretacji tekstu IRT Więcej na ten temat- Pokropek A. Zrównywanie wyników egzaminacyjnych w kontekście międzynarodowym.

9 Pierwsze próby zrównywania w Polsce Pierwsze próby zrównywania wyników egzaminacyjnych w Polsce podjęto w 2004 roku dla sprawdzianu z zastosowaniem kotwicy zewnętrznej na próbie uczniów z populacji o rok młodszej (uczniowie V klas). Niemierko B. Zrównanie wyników sprawdzianu 2005 do wyników sprawdzianu Metoda ekwicentylowa. Biuletyn badawczy CKE 10/2007, Zrównywanie wyników egzaminów. Smolik M. Zrównanie wyników sprawdzianu 2004 i sprawdzianu 2005 do wyników 2003 z wykorzystaniem modelu Rascha, Biuletyn badawczy CKE 10/2007, Zrównywanie wyników egzaminów. Szaleniec H. Zrównanie wyników sprawdzianu w latach z wykorzystaniem probabilistycznej teorii zadania.

10 DLACZEGO PODJĘLIŚMY SIĘ BADAŃ POZWALAJĄCYCH NA PORÓWNYWANIE WYNIKÓW EGZAMINU POMIĘDZY LATAMI?

11 Wyniki obserwowane egzamin gimnazjalny część humanistyczna 35 średni wynik egzaminu humanistycznego na skali oryginalnej (0-50 pkt.) średni wynik egzaminu humanistycznego na skali oryginalnej

12 Wyniki obserwowane egzamin gimnazjalny część matematyczno-przyrodnicza 30 średni wynik egzaminu matematyczno-przyrodniczego na skali oryginalnej (0-50 pkt.) średni wynik egzaminu matematyczno-przyrodniczego na skali oryginalnej

13 Wyniki obserwowane sprawdzian średni wynik sprawdzianu na skali oryginalnej (0-40 pkt.) średni wynik sprawdzianu na skali oryginalnej

14 100 Wyniki obserwowane matura i (poziom podstawowy) średni wynik egzaminu na skali oryginalnej (0-100 procent maksymalnej liczby pkt.) język polski język angielski matematyka Podane liczby oznaczają procent zdawalności w sesji majowej

15 CZTERY ETAPY STUDIUM ZRÓWNUJĄCEGO WYNIKI

16 Cztery etapy studium zrównującego wyniki egzaminów

17

18

19

20 W JAKI SPOSÓB PRZEPROWADZONO ZRÓWNANIE WYNIKÓW EGZAMINU POMIĘDZY LATAMI?

21 Przykład: zadanie 14 z GMP 2005 oraz z GMP 2008 Łatwość w badaniach 2011: 62,6% Łatwość w badaniach 2011: 64,6% Łatwość na egzaminie 2008: 66,3% Łatwość na egzaminie 2005: 62,2% Czy zadanie z piramidą wieku jest łatwiejsze od zadania z objętością? Czy uczniowie w 2008 roku mieli wyższy poziom badanych umiejętności niż uczniowie z 2005?

22 Przykład: zadanie 14 z GMP 2005 oraz z GMP 2008 Łatwość w badaniach 2011: 62,6% Łatwość w badaniach 2011: 64,6% Łatwość na egzaminie 2008: 66,3% Łatwość na egzaminie 2005: 62,2% Dane zebrane w przeprowadzonych w 2011 roku badaniach sugerują, że to zadanie z objętością jest łatwiejsze od zadania z piramidą wieku. Jest to przesłanka do wnioskowania o wyższym poziomie umiejętności uczniów zdających egzamin w 2008 roku od uczniów zdających w 2005 roku.

23 Dane z sesji zrównujących 2011 Dane egzaminacyjne Źródło danych Źródło danych Populacja Próba N obs. (szac.) N obs. (szac.) Plan zrównywania egzamin gimnazjalny Test lub zbiór zadań T T 04 T 05 T 06 T 07 T 08 T 09 T 10 T 11 T 12 T 13 T 14 Dodatkowe zadania kotwiczące 02 T 03 R A R R A A R A R A T 04 T 04 T 05 T 05 T 06 T 06 T 11 T R A R A R A R A R A R A R A T 13 T 08 T 08 T 09 T 09 T 10 T 10 T 11 T 11 T 12 T 12 T 13 T 13 T 14 T 14 C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 02 T 02 T 03 T 03 Legenda uczniowie nie rozwiązują żadnego zadania uczniowie rozwiązują wszystkie zadania uczniowie rozwiązują wszystkie zadania na sesji egzaminacyjnej część uczniów rozwiązuje wszystkie zadania na sesji zrównującej uczniowie rozwiązują podzbiór zadań część uczniów rozwiązuje podzbiór zadań na sesji zrównującej P P P P P P P P P P P P P P 11 1 S P 11 2 S P 11 3 S P 11 4 S P 11 5 S P 11 6 S P 11 7 S P 11 8 S P 11 9 S P S P S P 12 S P 13 S P 14 S

24 Potencjalne zmienne zakłócające Zaprezentowany plan zrównywania jest podatny na wpływ dwóch potencjalnie zakłócających zmiennych. Motywacja uczniów uczniowie biorący udział w sesji zrównującej nie rozwiązują zadań w warunkach testu doniosłego. Ujawnienie zadań uczniowie biorący udział w sesji zrównującej mogli mieć wcześniej styczność z zadaniami wcześniejszych egzaminów ćwicząc swoje umiejętności na upublicznionych arkuszach egzaminacyjnych z lat wcześniejszych.

25 Populacja Plan zrównywania egzamin gimnazjalny Test lub zbiór zadań T 02 T 03 T 04 T 05 T 06 T 07 T 08 T 09 T 10 T 11 T 12 T 13 T 14 Dodatkowe zadania kotwiczące R A R A R A R A R A T 02 T 02 T 03 T 03 T 04 T 04 T 05 T 05 T 06 T 06 T 11 T R A R A R A R A R 13 T 08 T 08 T 09 T 09 T 10 T 10 T 11 T A R A R A 11 T 12 T 12 T 13 T 13 T 14 T 14 C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 P 02 P 03 Legenda uczniowie nie rozwiązują żadnego zadania uczniowie rozwiązują wszystkie zadania część uczniów rozwiązuje wszystkie zadania na sesji zrównującej część uczniów rozwiązuje podzbiór zadań na sesji zrównującej P 04 P 05 P 06 P 07 P 08 P 09 P 10 P 11 P 12 P 13 P 14 Zrównywanie bez roku bieżącego Jawność zadań Obniżona motywacja Obniżona motywacja

26 PORÓWNYWALNE POMIĘDZY LATAMI WYNIKI EGZAMINÓW

27 Porównywalne wyniki obserwowane egzamin gimnazjalny część humanistyczna średni wynik egzaminu humanistycznego na skali oryginalnej średni wynik egzaminu humanistycznego na skali 2003

28 Porównywalne wyniki obserwowane egzamin gimnazjalny część matematyczno-przyrodnicza średni wynik egzaminu matematyczno-przyrodniczego na skali oryginalnej średni wynik egzaminu matematyczno-przyrodniczego na skali 2003

29 Porównywalne wyniki obserwowane sprawdzian średni wynik sprawdzianu na skali oryginalnej średni wynik sprawdzianu na skali 2004

30 Porównywalne wyniki na skali zmiennej ukrytej θ - egzamin gimnazjalny oraz sprawdzian Sprawdzian Egzamin gimnazjalny część matematyczno-przyrodnicza Egzamin gimnazjalny część humanistyczna

31 Część humanistyczna Część matematycznoprzyrodnicza Porównywalne wyniki egzaminu gimnazjalnego w zestawieniu z badaniem PISA % CI Egzamin 95% CI 95% CI PISA 95% CI % CI Egzamin 95% CI 95% CI PISA 95% CI

32 CZY DŁUGOOKRESOWE WAHANIA WYNIKÓW SPRAWDZIANU I EGZAMINU GIMNAZJALNEGO MOGĄ MIEĆ TĘ SAMĄ PRZYCZYNĘ?

33 Zestawienie porównywalnych wyników: egzamin gimnazjalny oraz sprawdzian (skala 100,15) SPRAWDZIAN GIMNAZJUM M-P

34 Zestawienie porównywalnych wyników: egzamin gimnazjalny oraz sprawdzian (skala 100,15) SPRAWDZIAN GIMNAZJUM M-P

35 W JAKI SPOSÓB KOMUNIKOWANE SĄ PORÓWNYWALNE WYNIKI POMIĘDZY LATAMI SERWIS PWE

36

37

38

39

40

41

42 Podsumowanie Analizy podłużne wyników egzaminu w wieloletnim przedziale czasowym jako swego rodzaju monitorowanie egzaminów są w naszym kraju możliwe i wydają się niezbędne. Istotne jest, aby odróżniać fluktuacje trudności zadań tworzących kolejne arkusze egzaminacyjne od wahań poziomu osiągnięć uczniów i od długofalowych trendów skuteczności edukacyjnej.

43 Podsumowanie Porównywalne wyniki egzaminacyjne wyrażone w skali roku przyjętego za bazowy (referencyjny) pozwalają na: lepsze niż dotychczas monitorowanie wyników egzaminacyjnych, analizę zmian rezultatów egzaminacyjnych w czasie dla kraju, województw, powiatów, gmin, etc., bardziej sprawiedliwy system rekrutacyjny.

44 Podsumowanie Warto rozważyć różne rozwiązania zrównywania wyników egzaminacyjnych: badania zrównujące bezpośrednio przed lub po egzaminie, wprowadzenie wewnętrznego kotwiczenia arkuszy egzaminacyjnych stosowanych podczas sesji egzaminacyjnych. Interpretując porównywalne wyniki pomiędzy latami należy mieć na uwadze, że są one rezultatem projektu badawczego, którego celem jest między innymi doskonalenie metodologii zrównywania.