PROGRAM OPERACYJNY KAPITAŁ LUDZKI Priorytet III, Działanie 3.2 Rozwój systemu egzaminów zewnętrznych

Transkrypt

1 Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego PROGRAM OPERACYJNY KAPITAŁ LUDZKI Priorytet III, Działanie 3.2 Rozwój systemu egzaminów zewnętrznych

2 EWD jako sposób komunikowania wyników egzaminacyjnych Wstęp do zajęć na Śląskiej Szkole EWD kwiecień 2012

3 Zespół EWD działający przy CKE Projekt na lata : Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej Koordynator merytoryczny: dr hab. Roman Dolata, Wydział Pedagogiczny UW, Instytut Badań Edukacyjnych Asystent koordynatora merytorycznego: Cezary Kacprzak, filozof Członkowie zespołu: Anna Hawrot, Instytut Badań Edukacyjnych Aleksandra Jasińska, Instytut Badań Edukacyjnych Anna Rappe, Okręgowa Komisja Egzaminacyjna w Krakowie dr Ewa Stożek, Okręgowa Komisja Egzaminacyjna w Łodzi dr Krystyna Szmigel, Okręgowa Komisja Egzaminacyjna w Krakowie Przemysław Majkut, Okręgowa Komisja Egzaminacyjna w Krakowie dr Artur Pokropek, Instytut Badań Edukacyjnych Tomasz Żółtak, IFiS PAN Stali współpracownicy: Ewa Kędracka, Ośrodek Edukacji Informatycznej i Zastosowania Komputerów w Warszawie Zofia Lisiecka, Centralna Komisja Egzaminacyjna w Warszawie dr Iwona Pecyna, Okręgowa Komisja Egzaminacyjna w Łodzi dr Maciej Jakubowski, Wydział Nauk Ekonomicznych UW. OECD, Directorate for Education, Indicators and Analysis Division, Programme for International Student Assessment Filip Kulon, Instytut Badań Edukacyjnych dr Marek Piotrowski, Kolegium Nauczycielskie, Warszawa

4 Główne przesłanie projektu Jedną z kluczowych funkcji krajowych systemów egzaminacyjnych jest ewaluacja pracy szkół. Projekt rozwija dostosowaną do polskich realiów metodologię EWD pozwalającą we właściwy sposób wykorzystywać wyniki egzaminacyjne w ewaluacji wewnętrznej i zewnętrznej szkół.

5 Dla kogo jest EWD? Dla nadzoru pedagogicznego Dla dyrektorów szkół i nauczycieli Dla organów prowadzących szkoły

6

7 Odwiedziny strony ewd.edu.pl

8 ewaluacja szkół ze względu na wyniki nauczania Jak komunikować wyniki egzaminacyjne, żeby były one przydatne do oceny pracy szkoły? Konsekwencje używania średniego wyniku egzaminu maturalnego do oceny szkoły przecenianie małych różnic w wyniku nie uwzględnianie liczebności, ani rozproszenia wyników fałszywy sygnał o efektywności nauczania (nie uwzględnia zasobów na wejściu)

9 Idea edukacyjnej wartości dodanej Wyniki egzaminacyjne Wyniki końcowe wkład szkoły w końcowe wyniki egzaminacyjne Zasoby na wejściu Nauka w szkole Efekty pracy

10 Co to jest EWD? EWD jest jedną z metod statystycznych analizowania wyników egzaminacyjnych. Efektem zastosowania metody są wskaźniki EWD. Wskaźnik EWD jest miarą efektywności nauczania w danej szkole w zakresie sprawdzanym egzaminami zewnętrznymi. Wskaźniki EWD są jednym ze sposobów komunikowania wyników egzaminacyjnych.

11 Modele statystyczne szacowania EWD Modele szacowania EWD mogą być różne, w zależności od zastosowanej metody statystycznej, ale wszystkie oparte są na logice prognozy wyniku egzaminu końcowego model reszt z równania regresji model efektów stałych dla szkół model efektów losowych dla szkół model z losowym nachyleniem linii regresji model z uwzględnieniem błędu pomiaru inne techniki oparte na logice prognozy wyniku egzaminu końcowego np. sieci neuronowe Wartość metody EWD w większym stopniu zależy od ilości i jakości danych niż od wyboru mniej czy bardziej wyrafinowanego modelu szacowania EWD

12 Idea obliczania EWD na przykładzie prostego modelu gimnazjalnego (model reszt z równania regresji) linia przewidywanego wyniku A B Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 pkt

13 Rozkład reszt i EWD szkoły

14 EWD szkoły Rozkład wyników przewidywanych i jego średnia 25 Skala wyniku końcowego

15 EWD szkoły Rozkład wyników przewidywanych i jego średnia Rozkład wyników faktycznie uzyskanych i jego średnia Skala wyniku końcowego

16 EWD szkoły Rozkład wyników przewidywanych i jego średnia EWD = 5 Rozkład wyników faktycznie uzyskanych i jego średnia Skala wyniku końcowego

17 Ważne... EWD jest miarą względną. EWD dla całej populacji wynosi zero. Prawdopodobieństwo uzyskania dodatniej lub ujemnej EWD jest takie samo dla każdej szkoły, niezależnie od wyników uczniów na sprawdzianie. EWD jest cechą szkoły EWD dodatnie oznacza, że szkoła pracuje ponadprzeciętnie. Niepewność pomiarowa przedział ufności

18 Która szkoła lepiej naucza?

19 Która szkoła lepiej naucza?

20 Która szkoła lepiej naucza?

21 Tak bywa najczęściej

22 Łączna prezentacja wyniku egzaminacyjnego i EWD

23 Łączna prezentacja wyniku egzaminacyjnego i EWD Pozycja szkoły

24 Łączna prezentacja wyniku egzaminacyjnego i EWD Skala wyniku końcowego

25 Łączna prezentacja wyniku egzaminacyjnego i EWD Warstwica 50%

26 Łączna prezentacja wyniku egzaminacyjnego i EWD Warstwica 90%

27 Jakimi narzędziami analizy dysponujemy? Jednoroczne wskaźniki EWD Trzyletnie wskaźniki EWD Kalkulator EWD Plus gimnazjum.ewd.edu.pl

28 Możliwości narzędzia Kalkulator EWD Plus Rysowanie pięciu typów wykresów Wykonywanie analiz z podziałem na grupy (według klas, potencjału, płci, dysleksji lub dodatkowych kryteriów określonych przez użytkownika) Obliczanie wskaźników EWD za 2007, 2008, 2009, 2010 oraz 2011 rok

29 Możliwości narzędzia gimnazjum.ewd.edu.pl Można obserwować elipsy szkoły w stosunku do różnych układów odniesienia: kraj, województwo, powiat, gmina Można śledzić dynamikę zmian trzyletnich wskaźników EWD (na jednym wykresie!) Można porównać szkołę ze względu na trzyletni wskaźnik EWD z innymi, wybranymi celowo, szkołami (w tym z gimnazjami w gminie)

30 Możliwości narzędzia gimnazjum.ewd.edu.pl wskaźniki dla różnych lat średnia dla: województwa powiatu gminy moduł Analizy porównawcze porównywanie wskaźników dla różnych szkół

31 Możliwości narzędzia matura.ewd.edu.pl Można obserwować elipsy szkoły w stosunku do różnych układów odniesienia: kraj, województwo, powiat, gmina Można porównać szkołę ze względu trzy wskaźniki EWD z innymi, wybranymi celowo, szkołami (na jednym wykresie) Można porównać szkoły ze względu na wybieralność przedmiotów maturalnych

32 Jakimi narzędziami analizy dysponujemy? Dwuletnie wskaźniki EWD dla liceów ogólnokształcących matura.ewd.edu.pl

33 Jakimi narzędziami analizy dysponujemy? Dwuletnie wskaźniki EWD dla techników matura.ewd.edu.pl

34 Celem naszych dwudniowych zajęć jest zapoznanie Państwa z możliwościami narzędzi analitycznych, które udostępnia Zespół EWD oraz przedstawienie sposobów wykorzystania metody EWD w ewaluacji pracy szkół.

35 CELE KONFERENCJI Zapoznanie z nowościami wynikającymi z bieżących prac Zespołu ds. EWD i planami na przyszłość. Zaproponowanie sposobów wykorzystania EWD w ewaluacji wewnętrznej szkoły. Wskazanie możliwości przygotowania się do ewaluacji zewnętrznej.

36 Jak jest? Co zrobić, żeby było tak jak powinno być? Jak powinno być? Dlaczego nie jest tak jak powinno być?

37 Sprawy organizacyjne pracujemy w 5 grupach G1a Zosia Lisiecka G1b Krysia Szmigel G2a Ewa Stożek G2b Anna Rappe M Przemysław Majkut

38 Życzę efektywnych dni szkoleniowych!