Wykorzystanie danych egzaminacyjnych w ewaluacji szkół. materiały Pracowni EWD

Transkrypt

1 Wykorzystanie danych egzaminacyjnych w ewaluacji szkół materiały Pracowni EWD

2 Funkcje systemu egzaminacyjnego ocena osiągnięć szkolnych uczniów w świetle wymagań programowych (funkcja selekcyjna) diagnoza osiągnięć szkolnych uczniów monitorowanie procesów edukacyjnych w skali kraju ewaluacja i autoewaluacja szkół ze względu na efektywność nauczania

3 Wzmocnienie ewaluacyjnej funkcji egzaminów zewnętrznych dostępność wykorzystanie /szkoły, nadzór pedagogiczny, organy prowadzące/ danych metod narzędzi Umiejętności interpretacyjne i analityczne Przekonanie o przydatności i użyteczności Procedury decyzyjne Wysoki poziom refleksji nad efektami pracy

4 Co to jest EWD? EWD jest jedną z metod statystycznych analizowania wyników egzaminacyjnych. Efektem zastosowania metody są wskaźniki EWD. Wskaźnik EWD jest miarą efektywności nauczania w danej szkole w zakresie sprawdzanym egzaminami zewnętrznymi. Wskaźniki EWD są jednym ze sposobów komunikowania wyników egzaminacyjnych.

5 Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce 2005 Pierwszy rocznik gimnazjalistów, dla których był dostępny zarówno wynik sprawdzianu w klasie VI jak i egzaminu gimnazjalnego Pierwsze próby wykorzystania prostych modeli EWD do analizy wyników egzaminacyjnych Powołanie przy CKE zespołu badawczego ds. rozwoju metody EWD (pierwszy projekt EFS, ) 2006 Pierwsza edycja Kalkulatora EWD dla gimnazjów (arkusz Excela, prosty model analizy Kaskadowe szkolenie dyrektorów gimnazjów

6 Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce, cd Kolejne edycje Kalkulatora EWD Testowanie bardziej złożonych, doskonalszych statystycznie modeli szacowania EWD Uruchomienie przy CKE kolejnego zespołu projektowego ds. rozwoju metody EWD (EFS, ) 2008 Powstaje strona Z czasem strona przeradza się w portal wiedzy nt. wykorzystania wyników egzaminacyjnych do ewaluacji pracy szkół Pierwsza Wiosenna Szkoła EWD Pierwsza polska monografia naukowa poświęcona metodzie EWD 2009 Opracowanie aplikacji komputerowej Kalkulator EWD Plus samodzielnego programu do analiz wyników egzaminacyjnych dla gimnazjów Pierwsze upublicznienie na stronie projektu trzyletnich wskaźników egzaminacyjnych dla gimnazjów; nowatorska metoda prezentacji wyników Rozpoczynają się trzy badania podłużne mające dostarczyć informacji potrzebnych do rozwoju metody EWD

7 Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce, cd 2010 Upublicznienie jednorocznych wskaźników ewaluacyjnych dla LO i techników w zakresie matematyki i polskiego Doskonalenie modeli szacowania EWD dla trzyletnich wskaźników gimnazjalnych 2011 Stworzenie spójnej bazy szkół, uporządkowanie baz wyników egzaminacyjnych Upublicznienie dwuletnich wskaźników ewaluacyjnych dla LO i techników w zakresie przedmiotów humanistycznych, matematycznoprzyrodniczych i oddzielnie matematyki 2012 Opracowanie aplikacji komputerowej Kalkulator EWD nowej wersji programu do analiz wyników egzaminacyjnych Upublicznienie trzyletnich wskaźników ewaluacyjnych dla LO i techników w zakresie przedmiotów humanistycznych, matematyczno-przyrodniczych i oddzielnie polskiego i matematyki

8 Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce, cd 2013 Kalkulator EWD 100 może już analizować wyniki matury z matematyki Doskonalenie Kalkulatora EWD 100, aktualizacja 2013 Kolejne edycje wskaźników trzyletnich dla gimnazjów i szkół maturalnych Raporty podsumowujące wyniki badań i doświadczenia z modelowania Projekt EWD bis

9 Idea edukacyjnej wartości dodanej Wyniki egzaminacyjne Wyniki końcowe Wkład szkoły w końcowe wyniki egzaminacyjne Nauka w szkole Zasoby na wejściu Efekty pracy

10 EWD wskaźniki relatywne Wskaźniki EWD zdają sprawę ze względnych postępów uczniów czy nauczyli się mniej, czy więcej niż inni, podobni uczniowie Wskaźniki EWD nie mierzą ile wiedzy posiadł uczeń przechodząc przez dany etap edukacji (do tego konieczne byłoby wykorzystanie wyników egzaminów zrównanych pionowo) W skali kraju średnia EWD z definicji jest równa zero. Nie zmienia się ona między latami (zero) Na podstawie samych wskaźników EWD nie można się dowiedzieć, jaki jest poziom umiejętności absolwentów danej szkoły

11 Jeśli wskaźniki EWD nie mówią, czego uczniowie się nauczyli, to do czego mogą być przydatne EWD stwarza możliwość wyróżnienia instytucji edukacyjnych pracujących szczególnie efektywnie i szczególnie nieefektywnie: identyfikacja na tej podstawie efektywnych i niefektywnych praktyk nagradzanie wysokoefektywnych (zachęta) kierowanie pomocy do niskoefektywnych Używane wskaźniki ukierunkowane nie tyle na ocenę tego, co umieją uczniowie, ale jak instytucje edukacyjne (szkoły, nauczyciele) różnią się między sobą co do efektywności pracy

12 STATYSTYCZNY MODEL EWD PIERWSZE PRZYBLIŻENIE

13

14 pojęcie: KRZYWA REGRESJI (linia przewidywanego wyniku)

15 pojęcie: WYNIK PRZEWIDYWANY pojęcie: KRZYWA REGRESJI (linia przewidywanego wyniku)

16 pojęcie: WYNIK UZYSKANY pojęcie: WYNIK PRZEWIDYWANY pojęcie: KRZYWA REGRESJI (linia przewidywanego wyniku)

17 pojęcie: WYNIK UZYSKANY pojęcie: RESZTA pojęcie: WYNIK PRZEWIDYWANY pojęcie: KRZYWA REGRESJI (linia przewidywanego wyniku)

18 Która szkoła lepiej pracuje?

19 Która szkoła lepiej pracuje?

20 Która szkoła lepiej pracuje?

21 Zmienne kontrolne w modelach EWD Linię przewidywanego wyniku można wyznaczać nie tylko na podstawie wyników wcześniejszych egzaminów. W polskich modelach EWD wyznaczamy ją np. oddzielnie dla uczniów o standardowej długości toku kształcenia oraz uczniów, których tok kształcenia uległ wydłużeniu o 1 rok. W polskich modelach EWD do wyznaczania przewidywanych (oczekiwanych) wyników używamy też informacji o: płci; posiadaniu zaświadczenia o dysleksji (nieco inne zasady pisania egzaminów). Oznacza to, że uczniowie o wydłużonym toku kształcenia są porównywani do innych uczniów o wydłużonym toku kształcenia.

22 Skalowanie wyników egzaminów gimnazjalnych

23 Przedstawianie wyników egzaminów na skali 100;15 Na potrzeby wyliczania wskaźników EWD wyniki egzaminów gimnazjalnych przeliczamy na skale standaryzowaną 100;15: Na skali znormalizowanej średnie wyniki w skali kraju są dla każdego roku równe 100, a ich odchylenie standardowe 15. Zapewnia to podstawową (względną) porównywalność wyników między latami. Pozwala w ten sam sposób przedstawić wynik zdającego w porównaniu do innych zdających w tym samym roku.

24 Normalizacja i standaryzacja Test 1 Test 2 Test 3 Wyniki pierwotne Wyniki znormalizowane Wyniki po przejściach

25 Normalizacja metoda ekwicentylowa

26 Skalowanie wyników maturalnych

27 Skalowanie wyników maturalnych Id Zad 1 Zad 2 Zad 3 Zad 4 Zad 5 Zad 6 Zad 7 Zad 8 Zad Wyliczając wskaźniki nie posługujemy się po prostu sumą punktów z egzaminu, lecz znając odpowiedzi na poszczególne pytania skalujemy wyniki uczniów (dwuparametryczny model IRT)

28 Skalowanie wyników maturalnych Wynik egzaminu zależy od trudności egzaminu oraz od populacji zdających ten egzamin Problem wybieralności Trudność egzaminu Model selekcji IRT

29 Skale wyniku egzaminu maturalnego skale umiejętności Matematyka Umiejętności matematyczne Przedmioty mat.-przyr. Umiejętności matematyczno-przyrodnicze J. polski Przedmioty hum. Umiejętności polonistyczne Umiejętności humanistyczne

30 Standaryzacja wg typu szkoły Uczniowie techników Uczniowie liceów ogólnokształcących Średni wynik dla T Średni wynik dla LO 100 dla techników 100 dla liceów

31 Czym dysponujemy wskaźniki EWD

32 CZYM DYSPONUJEMY Obecnie wskaźniki EWD są obliczane dla gimnazjów, liceów ogólnokształcących i techników. Dla każdego z tych typów szkół dysponujemy wskaźnikami jednorocznymi, które szkoła może wyliczyć sama, oraz wskaźnikami trzyletnimi, które są dostępne publicznie na stronach internetowych projektu EWD.

33 CZYM DYSPONUJEMY - GIMNAZJUM EWD jednoroczne w gimnazjum to: wskaźnik dla całej części humanistycznej wskaźniki dla całej części matematycznoprzyrodniczej istnieje możliwość wyliczenia wskaźników dla poszczególnych zakresu egzaminu gimnazjalnego (język polski, historia i wos, matematyka, przedmioty przyrodnicze) możliwość wykorzystania w ewaluacji wewnętrznej dodawanie własnych zmiennych Do liczenia EWD jednorocznego wykorzystuje się Kalkulator EWD 100, który można pobrać ze strony

34 CZYM DYSPONUJEMY - GIMNAZJUM EWD trzyletnie w gimnazjum to: wskaźnik dla całej części humanistycznej wskaźniki dla całej części matematyczno-przyrodniczej wskaźniki dla poszczególnych zakresów egzaminu gimnazjalnego (język polski, historia i wos, matematyka, przedmioty przyrodnicze) wskaźniki są publicznie dostępne można analizować ich dynamikę EWD trzyletnie dla gimnazjów jest dostępne na stronie

35 CZYM DYSPONUJEMY LICEA I TECHNIKA EWD jednoroczne w liceach i technikach to wskaźniki dla matematyki pisanej na poziomie podstawowym. Możliwość wykorzystania w ewaluacji wewnętrznej dodawanie własnych zmiennych. UWAGA: Modele, na podstawie których liczone jest EWD dla liceów i techników różnią się, dlatego nieuprawnione są porównania między tymi typami szkół. Do liczenia EWD jednorocznego wykorzystuje się Kalkulator EWD 100, który można pobrać ze strony

36 CZYM DYSPONUJEMY LICEA I TECHNIKA EWD trzyletnie liceach i technikach: wskaźnik dla przedmiotów humanistycznych wskaźniki dla przedmiotów matematycznoprzyrodniczych wskaźniki dla języka polskiego wskaźniki dla matematyki przy wykresach zawarta jest informacja o liczbie uczniów, przystępujących do danego przedmiotu maturalnego UWAGA: Modele, na podstawie których liczone jest EWD dla liceów i techników różnią się, dlatego nieuprawnione są porównania między tymi typami szkół EWD trzyletnie dla liceów i techników jest ogólnie dostępne na stronie

37 Wskaźniki jednoroczne i trzyletnie - podsumowanie wskaźniki jednoroczne obliczane na podstawie wyników jednego rocznika absolwentów dla bardzo małych szkół nie mogą być sensownie wyliczone mogą podlegać dużym wahaniom z roku na rok pozwalają przyjrzeć się szczegółom pracy szkoły dostępne tylko dla dyrektorów szkół (lub za ich pośrednictwem) wymagają uzyskania wyników egzaminacyjnych z OKE możliwość prowadzenia wielu rodzajów analiz w Kalkulatorze EWD analizy głównie w ramach jednej szkoły wskaźniki trzyletnie wyliczane na podstawie wyników trzech kolejnych roczników absolwentów mogą zostać opublikowane także dla bardzo małych szkół (więcej) dosyć stabilne pozwalają na bardziej ogólną ocenę pracy szkoły powszechnie dostępne tylko ściśle określony zestaw wskaźników udostępniany na stronie internetowej łatwe porównanie między szkołami

38 INTERPRETACJA WSKAŹNIKÓW EWD RUCHOME WSKAŹNIKI TRZYLETNIE

39 Wskaźniki trzyletnie

40 LO A Przykładowa prezentacja wskaźników

41 Przykładowa prezentacja wskaźników LO A Oś EWD Pozycja szkoły Oś wyniku końcowego

42 Przykładowa prezentacja wskaźników LO A Dodatkowy układ odniesienia

43 Przykładowa prezentacja wskaźników LO A 90% szkół w kraju 50% szkół w kraju

44 LO Z Interpretacje przykłady

45 Szkoły o wysokiej efektywności

46 Szkoły o wysokich wynikach

47 Szkoły o niskiej efektywności

48 Szkoły o niskich wynikach

49 Dziękujemy za uwagę! Instytut Badań Edukacyjnych ul. Górczewska 8, Warszawa tel.: (22) ,