ANALIZA I INTERPRETACJA EWD KALKULATOR EWD 100

Transkrypt

1 ANALIZA I INTERPRETACJA EWD KALKULATOR EWD 100 1

2 Analiza ilościowa egzaminu zewnętrznego 1. wynik minimalny 2. wynik maksymalny 3. rozstęp wyników 4. wynik średni 5. łatwość zadania (umiejętności, testu) 6. modalna (dominanta) 7. mediana 8. skala staninowa 2

3 Przesłanki wzrostu zainteresowania EWD w oświacie 1. Edukacyjna rywalizacja między państwami. 2. Mierzenie osiągnięć uczniów na podstawie wymiernych wskaźników (jakość kształcenia). 3. Wprowadzenie do oświaty elementów rynku (konkurencja o ucznia). 4. Wzrost tendencji do oceny wydawania pieniędzy budżetowych. 5. Tworzenie i doskonalenie systemów zewnętrznej ewaluacji oświaty (egzaminy zewnętrzne) 3

4 Ogólna idea edukacyjnej wartości dodanej Ogólna idea edukacyjnej wartości dodanej wyróżnia dwa podstawowe rozumienia: 1.prostego rozumienia edukacyjnej wartości dodanej (Dolata 2005) a. typ - wskaźniki bezwzględne wymagają aby pomiar osiągnięć na różnych etapach kształcenia był wykonywany za pomocą tych samych skal pomiarowych b. typ - wskaźniki względne - nie są dokonywane na ujednoliconych skalach (przyjmujemy, że wyniki są miarą potencjału edukacyjnego) 2. rozbudowanego rozumienia edukacyjnej wartości dodanej (wprowadzenie zasobów szkoły).

5 Rozbudowane rozumienie edukacyjnej wartości dodanej Zasoby dane Zasoby wypracowane Końcowy poziom osiągnięć szkolnych

6 Lista składników zasobów danych i wypracowanych Zasoby dane 1. Zasoby indywidualne uczniów: dotychczasowe osiągnięcia szkolne, kapitał kulturowy, ekonomiczny i społeczny rodziny ucznia. 2. Zasoby grupowe: osiągnięcia szkolne rówieśników, ich kapitał kulturowy, ekonomiczny i społeczny, cechy kultury szkoły determinowane jej składem społecznym. 3. Zasoby instytucjonalne: nakłady finansowe, infrastruktura Zasoby wypracowane to całość praktyk edukacyjnych wychowawczych i dydaktycznych składających się na kulturę pedagogiczną szkoły

7 Po co EWD?

8 SŁOWNICZEK POJĘĆ UŻYWANYCH W EWD

9 Błąd pomiaru Każdy pomiar obarczony jest błędem. W pomiarze dydaktycznym błąd pomiaru wynika z: 1. dyspozycji ucznia, 2. zgadywania w zadaniach zamkniętych, 3. pracy egzaminatora zadania otwarte, 4. ściągania, 5. przypadkowości doboru zadań.

10 Estymacja Metoda statystyczna wyznaczania parametru np. średnia, odchylenie standardowe itp..w EWD: 1. średnia z reszty równania regresji dla szkoły, którą nazywamy edukacyjną wartością dodaną (estymacja punktowa), 2. granica przedziałów ufności (estymacja przedziałowa).

11 Błąd próbowania Estymacja EWD jest obarczona błędem ponieważ uczniowie danego rocznika stanowią tylko część uczniów szkoły, na podstawie których wypowiadamy się o efektach nauczania.

12 Korelacja Powiązanie dwóch zmiennych za pomocą wyników sprawdzianu możemy w dużym stopniu przewidzieć wyniki egzaminu gimnazjalnego. Współczynnik korelacji może przyjmować wartości od -1 do 1. Znak oznacza kierunek zależności, wartość bezwzględna siłę powiązań.

13 Przedział ufności Przedział, który z określonym współczynnikiem ufności zawiera prawdziwą wartość interesującego nas parametru. EWD dla szkoły przyjmujemy 95% współczynnik ufności dla klasy, grupy uczniów 90%

14 Przedziału ufności dla EWD danej szkoły zależy od trzech czynników: 1) im bardziej zróżnicowane wartości reszt, czyli indywidualne wskaźniki postępu, tym szerszy przedział ufności, 2) im mniej uczniów przystępuje do egzaminu, tym szerszy przedział ufności, 3) im bardziej nam zależy na pewności, że faktyczna wartość EWD znajdzie się w wyznaczonym przedziale ufności, tym szerszy musimy wyznaczyć przedział. 14

15 Regresja Metoda statystyczna określająca zależność między zmienną zależną (wynik egzaminu gimnazjalnego) a zmienną niezależną (wynik sprawdzianu). W statystyce najczęściej analizujemy współczynnik regresji, w EWD najwięcej uwagi poświęcamy wartościom przewidywanym i resztom.

16 Wartość odstająca Wartość znacznie odbiegająca od pozostałych wartości w próbie np. w grupie 60 osobowej wartość reszty 58 uczniów mieści się w przedziale (-10 do 10), wyniki 2 osób to 20,1 i -18,6. Te dwa wyniki uznajemy za odstające.

17 Reszta W modelu EWD różnica między wynikiem uzyskanym przez ucznia na egzaminie gimnazjalnym a wynikiem przewidywanym uzyskanym z równania regresji. Ponieważ reszta obarczona jest błędem pomiaru na sprawdzianie i egzaminie nie należy wykorzystywać jej jako miary postępu ucznia tylko większej grupy (szkoły, klasy).

18 Współczynnik ufności Prawdopodobieństwo, że oszacowany przedział ufności będzie zawierał prawdziwą wartość parametru.

19 Definicja wartości dodanej Wartość dodaną szkoły można zdefiniować jako przeciętną wzrostu wiedzy uczniów do niej uczęszczających w danym okresie czasu Wartość dodaną nauczyciela można zdefiniować jako miarę wpływu jego pracy na wzrost wiedzy podlegających mu uczniów,

20 Edukacyjną wartość dodaną 1. Wyparcie z przestrzeni publicznej wyników surowych jako jedynej miary jakości nauczania. 2. Łagodzenie negatywnych skutków konkurencji między szkołami, czyli przeciwdziałanie selekcji na progu szkoły i efektowi zwanemu "spijaniem śmietanki". 3. Zmniejszenie poczucia ciągłej frustracji dobrych nauczycieli pracujących w trudnych środowiskach oraz "odcięcie" słabych nauczycieli od obronnej interpretacji niepowodzeń typu "ale z kim ja muszę pracować".

21 Jak liczymy EWD 1. Na podstawie wyniku ucznia na sprawdzianie szacujemy wynik przewidywany na egzaminie gimnazjalnym. 2. Obliczamy różnicę - tzw. resztę - między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. 3. Obliczamy średnią reszt, czyli EWD dla szkoły. 4. Szacujemy przedział ufności dla EWD.

22 Od.1. krzywa regresji

23 Od. 2. Reszty

24 Od.3 Średnią reszt, czyli EWD EWD to średnia różnic między wynikiem uzyskanym a przewidywanym dla każdego ucznia EWD j 1 n j y i yˆ i

25 Wskaźnik edukacyjnej wartości dodanej EWD można wyrażać w skali : 1. staninowej 9-stopniowej 2. Centylowej 99-stopniowej Pozycja centylowa mówi o tym, jaki procent szkół ma wynik niższy, niż uzyskany przez tę szkołę. Na przykład, 45 centyl oznacza, że 45% szkół uzyskało wynik niższy.

26 Wynik egzaminu a edukacyjna wartość dodana dla przykładowego gimnazjum GMP=26,45, stanin - wysoki GH=34,97, stanin - wyżej średni EWD GMP =-2,95, stanin - niski, 12 centyl EWD GH =-2,59, stanin - niski, 14 centyl

27 Od. 4 Jak oszacować błąd pomiaru? Przedział ufności - jest to przedział, który z określonym prawdopodobieństwem zawiera prawdziwą wartość interesującego nas parametru W przypadku szacowania EWD dla szkoły przyjmujemy 95% poziom ufności (podobnie jak w większości badań naukowych), a dla klas lub innych grup uczniów porównywanych w obrębie jednej szkoły można przyjąć niższy poziom ufności np. 90%

28 EWD z 95%przedziałem ufności

29 Zastosowanie edukacyjnej wartości dodanej do analiz wewnątrzszkolnych 1. Analiza rozkładu reszt. 2. Analiza EWD dla klas lub nauczycieli. 3. Analiza efektu płci. 4. EWD w grupach uczniów o różnym potencjale edukacyjnym. 5. EWD w grupach uczniów dojeżdżających do szkoły. 6. EWD w grupach uczniów objętych zajęciami wyrównawczymi. 7. EWD w grupach uczniów pochodzących z różnych szkół podstawowych

30 Porównanie dwóch wskaźników zbudowanych na wynikach egzaminów zewnętrznych Lp. Średni wynik egzaminacyjny Wskaźniki EWD 1. pokazuje poziom osiągnięć uczniów w zakresie sprawdzanym egzaminem zewnętrznym pokazuje efektywność nauczania w zakresie sprawdzanym egzaminem zewnętrznym 2. średnie wyniki szkół publikowane są lokalnie przez okręgowe komisje egzaminacyjne 3. wysoki/niski wynik egzaminacyjny może być zarówno efektem pracy szkoły, jak i konsekwencją potencjału uczniowskiego w szkole 4. bezpośrednie porównywanie ze sobą szkół ze względu na średni wynik (nie uwzględniając liczebności i zróżnicowania wyników) prowadzi do przekłamań 5. porównywanie wyników między latami jest możliwe jedynie poprzez porównanie pozycji szkoły na skali staninowej trzyletnie wskaźniki EWD publikowane są dla wszystkich gimnazjów w jednej aplikacji internetowej daje informację zwrotną o wkładzie szkoły w wynik egzaminacyjny niezależnie od potencjału uczniowskiego w szkole porównywanie ze sobą szkół jest możliwe poprzez komunikowanie wskaźników EWD wraz z przedziałami ufności trzyletnie wskaźniki EWD komunikowane są na skali standardowej setki, co daje możliwość bardziej precyzyjnego śledzenia zmian wskaźników w czasie 30

31 Efektywność nauczania w szkole Jednym z pierwszych kroków w analizie wyników szkoły powinno być zestawienie wskaźników EWD z surowymi wynikami egzaminacyjnymi, ponieważ każda z tych informacji z osobna nie można interpretować jako w pełni opisującą efektywność nauczania w szkole. 31

32 Co można powiedzieć o tych szkołach 32

33 33

34 34

35 35

36 Efektywność nauczania w zakresie przedmiotów humanistycznych i matematyczno-przyrodniczych Oprócz zestawiania wyników surowych ze wskaźnikami EWD warto przeanalizować również wskaźniki EWD w przedziałach ufności i porównać efektywność w zakresie przedmiotów humanistycznych i matematycznoprzyrodniczych 36

37 Gimnazjum uzyskuje przeciętna efektywność w zakresie GH, jak i w zakresie GMP. Szerszy przedział ufności dla EWD GMP wskazuje na większe zróżnicowanie reszt w części matematyczno-przyrodniczej egzaminu, co wyraźnie obrazują rozkłady reszt. 37

38 Gimnazjum uzyskuje ponadprzeciętna efektywność w zakresie przedmiotów matematyczno-przyrodniczych i niżej przeciętna efektywność w zakresie przedmiotów humanistycznych. Nauczyciele tłumacza taką sytuacje większą przewidywalnością egzaminu gimnazjalnego w części matematyczno-przyrodniczej, niż w części humanistycznej. Takie tłumaczenie jednakże bardziej kojarzy sie z uczeniem pod egzamin niż z uczeniem do egzaminu 38

39 Zestawienie EWD dla szkoły w kolejnych latach 39

40 40

41 Czy szkoły pracujące w różnych środowiskach mogą mieć takie same EWD? 41

42 Kalkulator EWD 100 wersja

43 Nowości w wersji wrzesień 2013 Modele gimnazjalne dla roku 2013 Możliwość eksportu danych do pliku.csv Możliwość tworzenia nowych analiz z już istniejących analiz Możliwość doimportowania danych do już istniejącego projektu Pomoc kontekstowa w postaci odnośników do stron informacyjnych dotyczących poszczególnych analiz Możliwość przeciągnięcia analizy z aplikacji bezpośrednio do otwartego dokumentu typu Word albo PowerPoint Aplikacja pomaga weryfikować poprawność importu Kombinacja przycisków Ctrl+S zapisuje projekt Automatyczny zapis projektu wraz z możliwością odzyskania pracy przy nagłym zamknięciu się aplikacji w dowolnym momencie korzystania z aplikacji Nowy wykres krzywych przewidywanego wyniku 43

44 Możliwość rysowania różnych krzywych przewidywanego wyniku na wykresie rozrzutu Możliwość zmiany skali wykresu korzystając z kombinacji przycisku Ctrl i kółka myszy Przybliżanie wykresów jest możliwe za pomocą kółka myszy lub poprzez wciśnięcie lewego przycisku Ctrl wraz z zaznaczeniem części wykresu Możliwość wybrania skróconych opisów serii danych w analizach Możliwość włączania/wyłączania filtrów dodanych do analizy Możliwość edycji stworzonych filtrów Możliwość łączenia filtrów zależnością lub Możliwość zmiany kolejności wskaźników w tabeli Dodanie wskaźnika MMA-P procentowego w tabeli Możliwość ręcznego wykonania aktualizacji Możliwość otwarcia projektu z listy Ostatnio otwarte projekty 44

45 Przechowywanie danych Dane przechowywane są w kalkulatorze w określonej strukturze: podstawową jednostką jest szkoła, która dzieli się na roczniki, a te z kolei na klasy. Analizy można wykonywać na każdym z tych zbiorów osobno. Można też łączyć między sobą klasy, roczniki. Można również wyodrębnić różne grupy uczniów według ich cech. Cechami ucznia są: kod ucznia, płeć, dysleksja, potencjał na wejściu określany na podstawie wyniku na sprawdzianie oraz cechy zadane przez użytkownika 45

46 46

47 ANALIZA Wykres rozrzutu Wskaźnik EWD Średni wynik Potencjał edukacyjny Rozkład reszt. Wyniki przewidywalne Rozkład wyników Tabele Krzywe przewidywanego wyniku 47

48 Przykłady wykresów 48

49 49

50 50

51 51

52 52

53 53

54 54

55 55

56 56

57 57

58 Wskaźniki trzyletni EWD

59 Szkoła neutralna

60 Szkoła wspierająca

61 Szkoła sukcesu

62 Szkoła wymagająca pomocy

63 Szkoła niewykorzystanych możliwości

64 Najczęściej popełniane błędy 64

65 Złe powiązanie rocznika

66 66

67 Zalecana literatura Dolata R. (2007). Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie egzaminów zewnętrznych. Centralna Komisja Egzaminacyjna. Goldstein H. (1999). Multilevel Statistical Models (poprawione wydanie II dostępne na: Jakubowski M. (2007). Czy wydatki na gimnazja są efektywne? Gospodarka Narodowa 11/12/2007. Jakubowski M. (2008a). Implementing value-added models of school assessment. European University Institute RSCAS 2008/06 working paper. Jakubowski M. (2008b). Decentralization and teaching quality (wersja robocza dostępna na: Jakubowski M. (2008c). Wpływ rzetelności pomiaru umiejętności uczniów na edukacyjną wartość dodaną. Opole: Opublikowane w materiałach pokonferencyjnych XIV Krajowej Konferencji Diagnostyki Edukacyjnej. Jakubowski M. (2008d). Zastosowanie modeli EWD do ewaluacji polityki edukacyjnej. Opole: Opublikowane w materiałach pokonferencyjnych XIV Krajowej Konferencji Diagnostyki Edukacyjnej. de Leeuw J. (2005). Centering in Multilevel Models. W: Everitt B., Howell D. (red.). Encyclopedia of Statistics in Behavioral Science. Wiley & Sons. Publikacje na stronach EWD 67