EDUKACYJNA WARTOŚĆ DODANA I WYKORZYSTANIE JEJ WYNIKÓW

Transkrypt

1 EDUKACYJNA WARTOŚĆ DODANA I WYKORZYSTANIE JEJ WYNIKÓW

2 Definicje podstawowych wskaźników statystycznych Do opisu wyników surowych (w punktach, w skali procentowej) stosuje się następujące wskaźniki statystyczne: wynik minimalny najniższy wynik uzyskany przez uczniów w badanej grupie wynik maksymalny najwyższy wynik uzyskany przez uczniów w badanej grupie rozstęp wyników różnica między maksymalnym i minimalnym wynikiem

3 Definicje podstawowych wskaźników statystycznych wynik średni, który obliczamy następująco: wynik średni = suma punktów uzyskanych przez uczniów z liczba uczniów zestawu zadań (Średni wynik, żeby był wiarygodny, musi być wyliczony z odpowiednio dużego zbioru wyników. Im większy zbiór wyników, tym bardziej godny zaufania jest wynik średni. Natomiast im mniejszy zbiór, tym większy udział przypadku w powstawaniu wyniku średniego. Może się wówczas zdarzyć, że wynik żadnego ucznia nie jest zbliżony do wyniku średniego (dzieje się tak, kiedy wyniki uczniów znacznie różnią się między sobą i nie skupiają wokół średniej).

4 Definicje podstawowych wskaźników statystycznych modalna (dominanta) wynik najczęściej występujący w badanej grupie, w zestawie danych może występować więcej niż jedna wartość modalna przykład: w zestawie danych: 20,20, 21,22,24,24,24,26,28 mamy jedną wartość modalną, jest to 24; w zestawie danych: 20, 20, 20, 21, 22, 24, 24,24,26,28 mamy dwie modalne, są to 20 i 24

5 Definicje podstawowych wskaźników statystycznych mediana wynik środkowy w badanej grupie, poniżej i powyżej którego znajduje się po około 50% wyników - aby wyznaczyć medianę, dane muszą być uporządkowane (rosnąco lub malejąco) przykład: w zestawie danych: 1,2,3,4,5,6,7,8,9 (nieparzysta liczba wyników) medianą jest wartość 5; w zestawie danych: 1,2,3,4,5,6,7,8,9,10 (parzysta liczna wyników) aby wyznaczyć medianę, należy obliczyć średnią arytmetyczną dwóch środkowych wyników, a więc 5+6=11, 11:2 =5,5 medianą w tym zestawie danych jest więc 5.5.

6 Definicje podstawowych wskaźników statystycznych odchylenie standardowe (miara rozrzutu wyników), które obliczamy następująco: odchylenie standardowe = suma kwadratów odchyleń od wyniku liczba uczniów średniego Informację tę wykorzystujemy dla określenia stopnia skupienia wyników wokół wyniku średniego i interpretujemy w następujący sposób: Przykład: Przyjmujemy, że średni wynik uczniów na sprawdzianie wynosi 20,5 punktów a odchylenie standardowe - 6,5. Oznacza, że około 70% wyników uczniów uzyskało wyniki w przedziale od 14,0 do 27,0 punktów. Granice tego przedziału obliczamy, odejmując od wyniku średniego i dodając do wyniku średniego wartość odchylenia standardowego ( 20,5 6,5) i (20,5 +6,5).

7 Definicje podstawowych wskaźników statystycznych łatwość = łatwość zadania (umiejętności/czynności) obliczamy następująco: Suma punktów uzyskanych przez uczniów za zadanie (umiejętność/czynność) Suma punktów możliwych do uzyskania za to zadanie (umiejętność/czynność) łatwość zestawu zadań obliczamy następująco: łatwość = Suma punktów uzyskanych przez uczniów z zestawu zadań Suma punktów możliwych do uzyskania za ten zastaw przez wszystkich uczniów Wartość wskaźnika łatwości zadania lub zestawu zadań można wykorzystać do interpretacji trudności testu, podtestów czy zadań. Do interpretacji zastosowano poniższą tabelę.

8 Definicje podstawowych wskaźników statystycznych Tabela 1. Wartość wskaźnika łatwości i jego interpretacja Wartość wskaźnika łatwości Interpretacja 0,00 0,19 bardzo trudny 0,20 0,49 trudny 0,50 0,69 umiarkowanie trudny 0,70 0,89 łatwy 0,90 1,00 bardzo łatwy Wnioskując pośrednio o osiągnięciach uczniów na podstawie rozwiązanych zadań, mówimy o bardzo dobrze opanowanej wiedzy lub umiejętnościach, dobrze, umiarkowanie dobrze, słabo lub bardzo słabo opanowanych.

9 Definicje podstawowych wskaźników statystycznych Punkty skumulowane Określenie punkty skumulowane związane jest bezpośrednio z pojęciem łatwości. Porządkując zadania w kolejności od najłatwiejszych do najtrudniejszych, pod każdym z nich wpisujemy przyporządkowaną mu liczbę punktów. Jeżeli teraz kolejne punkty do siebie dodamy, otrzymamy liczbę punktów skumulowanych. Przykład: Numer zadania liczba punktów za zadanie Punkty skumulowane Interpretacja statystyczny uczeń, który w teście zdobył 11 punktów, najprawdopodobniej rozwiązał zadania 3,4,9,1 oraz 21.

10 2. Definicje wybranych skal znormalizowanych 2.1. Dziewięciostopniowa skala staninowa Jedną ze znormalizowanych skal standardowych, którą posługuje się system egzaminów zewnętrznych jest dziewięciostopniowa skala staninowa zwana standardową dziewiątką. Została ona opracowana na podstawie rozkładu normalnego wyników poprzez uporządkowanie wyników surowych od wyniku najniższego do najwyższego. Wyróżniono 9 przedziałów wyników, które kolejno zawierają 4% wyników najniższych, 7% wyników bardzo niskich, 12% wyników niskich, 17% wyników niżej średnich, 20% wyników średnich oraz analogicznie w górę 17% wyników wyżej średnich, 12% wyników wysokich, 7% wyników bardzo wysokich i 4% wyników najwyższych.

11 2. Definicje wybranych skal znormalizowanych Przedziały te ponumerowano od 1. do 9. i nazwano staninami (stopnie skali). Średnia dla tej skali wynosi 5 a odchylenie standardowe - 2 (dokładnie 1,96). Siedem wewnętrznych staninów (od 2. do 8.) ma jednakową długość, równą połowie odchylenia standardowego. Dwa skrajne staniny, pierwszy i dziewiąty, nie mogą być unormowane, gdyż muszą sięgać z jednej strony minimum, a z drugiej - maksimum skali wyników surowych (rysunek 1). 25% 20% 17% 20% 17% 15% 12% 12% 10% 7% 7% 5% 4% 4% 0% Stopnie skali (numer stanina) Rysunek 1. Znormalizowany rozkład wyników na skali staninowej

12 2. Definicje wybranych skal znormalizowanych 2.2. Skala pięciostopniowa Inną znormalizowaną skalą standardową jest skala pięciostopniowa, którą stosuje się do mniejszych zbiorów wyników. W systemie egzaminów zewnętrznych stosuję się ją do kartograficznego przedstawienia terytorialnego zróżnicowania wyników w gminach i powiatach. Została ona opracowana podobnie jak skala staninowa, czyli na podstawie rozkładu normalnego wyników, poprzez uporządkowanie surowych wyników od najniższego do najwyższego. Wyróżniono 5 przedziałów wyników, które kolejno zawierają: 7% wyników niskich, 24% wyników niżej średnich, 38% wyników średnich, 24% wyników wyżej średnich i 7% wyników wysokich.

13 2. Definicje wybranych skal znormalizowanych W kolejnych stopniach (od 1.do 5.) mieszczą się coraz wyższe wyniki. Średnia w skali pięciostopniowej wynosi 3., a odchylenie standardowe - 1 (rysunek 2.). 40% 35% 30% 25% 20% 15% 10% 5% 0% 38% 24% 24% 7% 7% Stopnie skali (numer stanina) Rysunek 2. Znormalizowany rozkład na skali pięciostopniowej

14 2. Definicje wybranych skal znormalizowanych 2.3 Skala centylowa To skala pozycyjna wyników uporządkowanych rosnąco - aby ustalić wartości centyli, porządkujemy wyniki od najniższych do najwyższych, dzielimy ich zbiór na 100 równych części, a następnie określamy położenie granic między tymi częściami na skali wyników i oznaczamy je jako centyle C1, C2, C3, C4, C5,... C99. Liczba centyli wynosi dziewięćdziesiąt dziewięć. Numer kolejny najbliższego centyla stanowi rangę centylową danego wyniku testowania, to jest procent wyników niższych od danego. Np. wynik ucznia w 45 centylu oznacza, że 44% uczniów uzyskało wynik niższy od tego ucznia.

15 2.3. Statystyczna interpretacja wyników (zdających lub szkół) na skali staninowej) Na podstawie wyniku zdającego wyrażonego np. w punktach lub procentach (egzamin maturalny) lub średniego wyniku dla szkoły należy odczytać w tabeli, któremu stopniowi skali standardowej dziewiątki on odpowiada. Np. wynik sprawdzianu w klasach szóstych w roku szkolnym 2004/2005 wynoszący 34 punkty odpowiada szóstemu stopniowi tej skali (kolumna 6). Oznacza to, że wynik podobny do wyniku tego ucznia (przedział od 33 do 35 punktów patrz kolumna 6) uzyskało 17% uczniów klas szóstych w Polsce (kolumna 2). Wynik tego ucznia jest wyższy od wyniku 60% uczniów. Patrz kolumna 2. (4%+ 7%+12%+17%+20%).

16 2.3. Statystyczna interpretacja wyników (zdających lub szkół) na skali staninowej) Tabela 2. Skale staninowe dla uczniów ustalone przez CKE w poszczególnych latach Stopień skali W % (Stanin) populacji Wynik 2002/ / / najniższy bardzo niski niski niżej średni średni wyżej średni wysoki bardzo wysoki najwyższy

17 2.3. Statystyczna interpretacja wyników (zdających lub szkół) na skali staninowej) Tabela 3. Skale staninowe dla szkół ustalone przez CKE w poszczególnych latach Stopień skali W % (Stanin) populacji Wynik 2002/ / / najniższy 7,7-23,1 2,0-19,6 11,0-23,7 2 7 bardzo niski 23,2-24,9 19,7 21,4 23,8-25, niski 25,0-26,3 21,5-22,9 25,7-27, niżej średni 26,4-27,6 23,0-24,3 27,1-28, średni 27,7-28,9 24,4-25,7 28,5-29, wyżej średni 29,0-30,1 25,8-27,2 29,8-31, wysoki 30,2-31,3 27,3-28,9 31,1-32,3 8 7 bardzo wysoki 31,4 32,8 29,0-31,2 32,4-33,8 9 4 najwyższy 32,9-39,0 31,3-39,5 33,9-39,2

18 2.4. Statystyczna interpretacja wyników (gmin, powiatów) w skali pięciostopniowej Na podstawie średniego wyniku uczniów jednej gminy lub powiatu wyrażonego np. w punktach lub procentach (egzamin maturalny) należy odczytać w tabeli 3, 4 lub 5 (w zależności od rodzaju egzaminu), któremu stopniowi skali pięciostopniowej on odpowiada (kolumna 1). Przykład: Średni wynik sprawdzianu w klasach szóstych w roku szkolnym 2004/2005 dla uczniów jednej z gmin równy 29,00 punktów odpowiada 3 stopniowi tej skali, czyli oznacza wynik średni (zarówno dla gminy, jak i powiatu). Oznacza to, że wynik podobny do wyniku uczniów tej gminy czy powiatu uzyskało 38% gmin trzech województw Okręgowej Komisji Egzaminacyjnej w Krakowie (czyli gmin w trzech województwach: lubelskim, małopolskim i podkarpackim gmin ogółem). Wynik uczniów tego powiatu jest wyższy od wyniku 31% powiatów w Polsce. Tyle samo powiatów (31%) ma wynik wyższy niż dla powiatu z wynikiem średnim (7%+24% = 31% - kolumna 2 w tabelach 3, 4, 5).

19 2.4. Statystyczna interpretacja wyników (gmin, powiatów) w skali pięciostopniowej Skala standardowej piątki jest wykorzystywana do przedstawienia terytorialnego zróżnicowania wyników sprawdzianu i egzaminów gimnazjalnych. Tabela 4. Skala pięciostopniowa (dla gmin, powiatów) ustalone przez OKE Krakó i CKE na podstawie wyników sprawdzianu w klasach VI Stopień skali (Stanin) W % populacji Wynik Dla gmin OKE Kraków* w roku 2004/2005 Dla powiatów w roku 2004/ niski 24,5 26,7 26,4 27, niżej średni 26,8 28,2 27,7 28, średni 28,3 29,8 28,5 29, wyżej średni 29,9 31,2 29,5 30,7 5 7 wysoki 31,3 32,8 30,8 33,0 * CKE nie podaje danych w tej skali dla gmin

20 2.4. Statystyczna interpretacja wyników (gmin, powiatów) w skali pięciostopniowej Tabela 5. Skala pięciostopniowa (dla gmin, powiatów) ustalone przez OKE Kraków i CKE na podstawie wyników egzaminu gimnazjalnego z części humanistycznej Dla gmin OKE W % Wynik Kraków* populacji w roku 2004/2005 Dla powiatów w skali kraju w roku 2004/ niski 27,0 29,9 22,1 23,8 Stopień skali (Stanin) 2 24 niżej średni 30, 1 32,0 23,9 25, średni 32,1 33,6 25,4 27, wyżej średni 33,7 35,2 27,3 29,1 5 7 wysoki 35,3 37,64 29,2 32,6 * CKE nie podaje danych w tej skali dla gmin

21 2.4. Statystyczna interpretacja wyników (gmin, powiatów) w skali pięciostopniowej Tabela 6. Skala pięciostopniowa (dla gmin, powiatów) ustalone przez OKE Kraków i CKE na podstawie wyników egzaminu gimnazjalnego z części matematycznoprzyrodniczej Dla gmin W % Wynik OKE Kraków* populacji w roku 2004/2005 Dla powiatów w skali kraju w roku 2004/ niski 16,9 20,3 20,2 21,5 Stopień skali (Stanin) 2 24 niżej średni 20,4 22,5 21,6 22, średni 22,6 24,6 22,9 24, wyżej średni 24,7 26,5 24,7 27,0 5 7 wysoki 26,6 32,4 27,1 29,9 * CKE nie podaje danych w tej skali dla gmin

22 3.1. Graficzne rozkłady liczebności wyników Rozkłady wyników w postaci graficznej stosuje się do prezentacji surowych wyników dla dużych populacji. Można je przedstawiać miedzy innymi wykresem słupkowym (histogramem). Na osi poziomej umieszczony jest wynik (punktowy lub procentowy) albo przedział wyników. Na osi pionowej podany jest procent lub liczba jednostek, które uzyskały dany wynik. Na rysunku 5. przedstawiono przykłady najbardziej typowych rozkładów wyników zdających.

23 3.1. Graficzne rozkłady liczebności wyników Rozkład wyników zbliżony do normalnego. Rozkład taki może oznaczać: zadania w teście dobrze reprezentowały zróżnicowany poziom wiedzy i umiejętności uczniów, w teście były zadania zarówno dla uczniów bardzo słabych, dobrych jak i bardzo dobrych, maksymalnych wyników jest niewiele, co może oznaczać także,

24 Liczba punktów 3.1. Graficzne rozkłady liczebności wyników Liczba zdających Rozkład ujemnie skośny (lewoskośny). Rozkład taki może oznaczać, że: badana grupa uczniów osiąga wysokie wyniki, zestaw zadań był zbyt łatwy, test miał głównie zadanie sprawdzające a nie różnicujące, taki test nie nadaje się na konkurs ani do selekcji uczniów np. na studia.

25 Liczba zdających 3.1. Graficzne rozkłady liczebności wyników Liczba punktów Rozkład dwumodalny, (lekko prawoskośny). Rozkład taki może oznaczać, że: badana grupa uczniów osiąga częściej słabsze wyniki niż wysokie, zestaw zadań był średnio trudny, przy pomocy zastosowanego testu badana grupa uczniów została wyraźnie zróżnicowana na dwie grupy np. tych, którzy przechodzą do dalszego etapu konkursu i tych, którzy nie przechodzą.

26 3.2. Tabelaryczne rozkłady liczebności wyników Rozkład wyników w postaci tabelarycznej stanowi zestawienie, które obejmuje wynik surowy (liczbę lub procent punktów) oraz liczbę zdających (liczebność) i/lub procent zdających, którzy dany wynik uzyskali. Przykład tabelarycznego rozkładu wyników przedstawiono w tabeli 2. W postaci tabelarycznej można także przedstawić łatwość zadań w podtestach np. według standardów, rozkłady wyników w szkołach wyrażonych w skalach znormalizowanych, np. w staninach (tabela 7).

27 3.2. Tabelaryczne rozkłady liczebności wyników Tabela taka pozwala na porównanie wyników kształcenia w kilku szkołach działających w podobnych uwarunkowaniach społeczno-ekonomicznych. Wyniki uzyskane w szkołach w zakresie czytania, pisania itd. różnią się. Najważniejsze, aby uświadomić sobie, w którym zakresie jesteśmy - jako nauczyciele skuteczniejsi, a na co musimy zwrócić szczególną uwagę podczas pracy z uczniami.

28 Liczba uczniów Średnia Dominanta Mediana Czytanie Pisanie Rozumowanie Rozstęp Korzystanie z informacji Wykorzystanie wiedzy w praktyce 3.2. Tabelaryczne rozkłady liczebności wyników Tabela 7. Zestawienie wyników sprawdzianu dla kilku szkół (np. w jednej gminie) Miary tendencji centralnej Łatwość umiejętności według kategorii Procentowy udział uczniów z wynikiem końcowym według skali standardowej dziewiątki (1-9) Szkoła Naj niżs zy Bardzo niski Niski Niżej średni Średni Wyżej średni Wyso ki Bardzo wysoki Najwyższy Wyniki uczniów w przedziałach odpowiadających skali staninowej Dla populacji proporcje te są stałe (teoretycznie) i wynikają z własności skali standardowej dziewiątki (jak na prawo) 4% 7% 12% 17% 20% 17% 12% 7% 4% , ,5 29,77,69,77,83, , ,85,79,82,92, ,5 30,63,70,64,71, , ,82,79,78,92, , ,82,79,82 1, , ,82,74,71,83,

29 3.2. Tabelaryczne rozkłady liczebności wyników Warto zwrócić uwagę na fakt, że posługiwanie się wynikiem średnim bez znajomości innych danych może być bardzo zawodne (szkoła nr.5). W tej szkole nie ma uczniów, których wynik byłby zbliżony do wyniku średniego w populacji (4 i 5 stopień skali standardowej dziewiątki). Wyraźnie w tej szkole występują dwie grupy uczniów z wynikami niskimi i bardzo niskimi oraz wynikami wyżej średnimi, wysokimi i bardzo wysokimi.

30 Co oznacza wynik egzaminu i jak interpretować wyniki uczniów i szkoły?

31 Zadanie 1. W tym zadaniu wyciągniesz wnioski wynikające z porównania podstawowych danych Analiza 1 Analiza 2014

32 Zadanie 2. W tym zadaniu ćwiczymy umiejętność wykorzystania danych dotyczących łatwości zadań i wyciągania wniosków z porównania ich z danymi OKE. Analiza 2

33 Zadanie 3. Wykonując to zadanie, sprawdzisz jaki jest rozkład wyników uczniów twojej szkoły na skali staninowej i porównasz go z rozkładem wyników w OKE. Analiza 3

34 Zadanie 4. To ćwiczenie pomoże ci odpowiedzieć na pytanie, które zadanie dla uczniów twojej szkoły było łatwiejsze lub trudniejsze w porównaniu z wynikami innych szkół, a w rezultacie, które z umiejętności ćwiczonych na poszczególnych przedmiotach wypadły gorzej, które lepiej. Analiza 4

35 Zadanie 5. Zadanie pozwoli ustalić, które ze sprawdzanych czynności zostały najsłabiej opanowane przez uczniów w poszczególnych klasach twojej szkoły. Analiza 5

36 Zadanie 6. Wykonując zadanie 6., ustalisz mocne i słabsze strony kształcenia w twojej szkole Analiza 6

37 EDUKACYJNA WARTOŚĆ DODANA I WYKORZYSTANIE JEJ WYNIKÓW

38 Latem 2009 Centralna Komisja Edukacyjna zaprezentowała tzw. wskaźniki EWD. Dla większości środowiska oświatowego pojęcie to jest dość trudne do zrozumienia. Można powiedzieć, że wprowadza swego rodzaju rewolucję w postrzeganiu wyników egzaminacyjnych polskich gimnazjów. Okazuje się bowiem, że szkoły mające wysokie średnie wyniki punktowe wcale nie muszą zaliczać się do kategorii szkół sukcesu. Wręcz przeciwnie, mogą być w grupie szkół niewykorzystanych możliwości. A takie określenie nie wpływa korzystnie na wizerunek szkoły w środowisku. Może mieć miejsce również sytuacja w pewnym sensie przeciwna. Szkoła mająca relatywnie niskie wyniki nauczania może zyskać miano szkoły wspierającej. A to już ma zupełnie inny wydźwięk.

39 Czym zatem jest EWD? Niniejszy artykuł ma na celu wyjaśnienie tego pojęcia, które w najbliższym czasie będzie nabierało coraz większego znaczenia. Zacznijmy od definicji encyklopedycznej pojęcia wartość dodana. Otóż Wartość dodana, to przyrost wartości dóbr w wyniku danego procesu produkcji, różnica między utargiem całkowitym przedsiębiorstwa a kosztem zakupu materiałów, energii i usług zewnętrznych. (Encyklopedia PWN)

40 Analogicznie edukacyjną wartość dodaną można zdefiniować jako przyrost wiedzy uczniów w wyniku danego procesu edukacyjnego. Innymi słowy, EWD to rzeczywisty wpływ szkoły na rozwój edukacyjny ucznia. Wpływ wolny od czynników indywidualnych (zdolności ucznia, uprzednie osiągnięcia szkolne) i społecznych (wpływ rodziny, grupy rówieśniczej, środowiska). Liczy się tylko proces edukacyjny: kwalifikacje i zaangażowanie nauczycieli, metody nauczania i warunki nauczania.

41 4. Metoda edukacyjnej wartości dodanej (EWD) Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. Wkład ten nazywamy edukacyjną wartością dodaną. EWD jest miarą efektywności nauczania w danej szkole. EWD dla jednego rocznika nazywa się EWD jednorocznym.

42 4.1. Trzyletnie wskaźniki EWD Od 2009 roku zespół EWD udostępnia trzyletnie wskaźniki egzaminacyjne dla gimnazjów. Są one pomyślane jako źródło informacji o gimnazjach do analizy wyników w szkole i w ewaluacji zewnętrznej. W syntetyczny, graficzny sposób charakteryzują gimnazja ze względu na wyniki egzaminacyjne oraz efektywność nauczania.

43 4.2. EWD Maturalne Wskaźniki egzaminacyjne wyliczone oddzielnie dla liceów i techników na podstawie wyników egzaminu maturalnego w 2010 r. z języka polskiego i matematyki. Trwają prace nad rozbudowaniem EWD maturalnego o kolejne przedmioty maturalne.

44 4.3. Kalkulator EWD Plus Kalkulator EWD to specjalnie przygotowany program komputerowy pozwalający obliczyć edukacyjną wartość dodaną dla gimnazjum na podstawie wyników egzaminu gimnazjalnego i sprawdzianu. Dane uzyskane w ten sposób możemy wykorzystać do analizy jednorocznego EWD i porównań jednorocznych wskaźników EWD w kolejnych latach. Do roku 2011 kalkulator EWD przygotowywany był w oparciu o arkusz kalkulacyjny.

45 4.3. Kalkulator EWD Plus 4.4. Najważniejsze możliwości Kalkulatora EWD Plus Rysowanie pięciu typów wykresów: wykresy rozrzutu, wykresy z przedziałami ufności, rozkłady reszt, rozkłady staninowe wyników uczniowskich na sprawdzianie i egzaminie gimnazjalnym; skumulowane rozkłady staninowe wyników uczniowskich na sprawdzianie i egzaminie gimnazjalnym; Wykonywanie analiz z podziałem na grupy (według klas, potencjału, płci, dysleksji lub dodatkowych kryteriów określonych przez użytkownika);

46 4.3. Kalkulator EWD Plus Najważniejsze możliwości Kalkulatora EWD Plus Tworzenie tabel z wynikami analiz; Obliczanie wskaźników EWD za 2007, 2008, 2009, 2010 oraz 2011 rok; Import danych z arkuszy MS Excel oraz plików CSV (w tym import z klasycznych kalkulatorów EWD); Tworzenie raportów w formacie DOC lub PDF.

47 4.4.Kalkulator EWD 100 Kalkulator EWD 100 to narzędzie statystyczne służące do analizy wyników egzaminacyjnych z zastosowaniem metody edukacyjnej wartości dodanej (EWD) w gimnazjach. Kalkulator EWD 100 jest rozszerzeniem i bezpośrednim następcą Kalkulatora EWD Plus. Podstawowa zmian polega na zastosowaniu skali 100/15, zarówno w przypadku wyników na sprawdzianie, jak i na wyników egzaminu gimnazjalnego. Konsekwencją zastosowania skali 100/15 jest możliwość porównania wyników między latami oraz uwzględnienia w modelach uczniów o wydłużonym toku kształcenia.

48 4.4.Kalkulator EWD 100 Możliwości kalkulatora EWD 100: Skala 100/15. Wyniki i analizy są przedstawiane na standardowej skali, o średnim wyniku 100 i odchyleniu standardowym 15. Obsługa nowej formuły egzaminu gimnazjalnego. W Kalkulatorze EWD 100 można wyliczyć wskaźniki, odpowiadające czterem arkuszom gimnazjalnym: GH-P, GH-H, GM-M, GM-P oraz wskaźniki złożone dla części humanistycznej (GH) oraz matematyczno-przyrodniczej (GMP). Złożone wskaźniki pozwalają porównywać wyniki z wcześniejszymi rocznikami (2010 i 2011). o Nowa struktura danych. Dane importowane do Kalkulatora są dzielone na szkoły, roczniki i klasy; dzięki temu można przeprowadzać bardziej elastyczny podział na grupy uczniowskie (grupowanie, filtry, dodatkowe cechy zdefiniowane przez użytkownika).

49 4.4.Kalkulator EWD 100 o Model jednorocznej EWD uwzględniający uczniów drugorocznych. W kalkulatorze zaimplementowane są modele jednorocznej EWD na skali 100/15 za lata 2010, 2011, 2012 uwzględniające uczniów drugorocznych. Porównywanie między latami. Nowy Kalkulator pozwala na porównywanie danych między różnymi latami, z jednej bądź kilku szkół. Nowe rodzaje wykresów Oprócz analiz znanych z poprzedniego Kalkulatora, dostępne są dwa nowe wykresy: Rozkład wyników oraz Rozkład potencjałów. Szczegółowe informacje i krótki kurs obsługi kalkulatora znajduje się na stronie

50 4.6. Strona EWD Specjalnie przygotowana przez zespół EWD strona internetowa zawierająca niezbędne informacje na temat edukacyjnej wartości dodanej. Główne komponenty strony to: Kalkulator EWD Plus Wskaźniki trzyletnie Gimnazjum Wskaźniki jednoroczne - Matura Na stronie można znaleźć publikacje dotyczące EWD oraz podstawowe informacje dotyczące zastosowań: dla dyrektorów i nauczycieli, dla nadzoru pedagogicznego oraz dla organów prowadzących.

51 DLACZEGO EWD? Edukacyjna wartość dodana (EWD) to sposób analizy wyników, który interesuje szczególnie: gimnazja, ale w najbliższym czasie będą z niego szerzej korzystać również szkoły ponadgimnazjalne. Każdy nauczyciel, niezależnie od typu szkoły, w której aktualnie pracuje, powinien poznać tę metodę pomiaru efektywności nauczania. Nauczyciele szkół podstawowych dzięki EWD mogą zaobserwować wyniki i kierunki rozwoju szkół najczęściej wybieranych przez absolwentów Każdy rodzic będzie z pewnościązainteresowany poznaniem tego typu danych, dotyczących szkoły, którą wybiera jego dziecko.

52 Jak jest sens zajmowania się EWD? Istnieje co najmniej kilka argumentów. 1. Zmniejszy się znaczenie surowych wyników jako jedynej miary jakości nauczania. 2. Złagodzi się negatywne skutki konkurencji między szkołami, między innymi skutki efektu zwanego spijaniem śmietanki. (Mamy bardzo dobrych uczniów po SP, więc nie przeszkadzając im się rozwijać, osiągniemy wysokie wyniki po G.) 3. Zmniejszy się poczucie ciągłej frustracji nauczycieli pracujących z zaangażowaniem w środowiskach trudnych oraz pozbawi się argumentów nauczycieli, którzy unikają pracy, ponieważ, jak twierdzą, i tak nikogo niczego nie nauczą. Warto obejrzeć film:

53 Mini słownik EWD Korelacja Powiązanie dwóch zmiennych. Mówiąc, że "wyniki sprawdzianu silnie korelują z wynikami egzaminu gimnazjalnego" mamy na myśli, że za pomocą wyników sprawdzianu można w dużym stopniu przewidzieć wynik egzaminu gimnazjalnego. Korelacja dodatnia tych wyników oznacza, że w większości przypadków wraz ze wzrostem wyników sprawdzianu wzrastają wyniki egzaminu gimnazjalnego. Współczynnik korelacji może przyjmować wartości od -1 do 1. Znak oznacza kierunek zależności, wartość bezwzględna - siłę powiązania między zmiennymi.

54 Mini słownik EWD Przedział ufności dla EWD Przedział ufności, to przedział, który z określonym współczynnikiem ufności zawiera prawdziwą wartość interesującego nas parametru.

55 Mini słownik EWD Regresja Metoda statystyczna określenia zależności między zmienną zależną (inaczej: zwaną zmienną objaśnianą), a zmiennymi niezależnymi (inaczej: zmiennymi objaśniającymi). Posługując się równaniem regresji można przewidywać - w sensie statystycznym - wartości zmiennej zależnej na podstawie wartości zmiennych niezależnych.

56 Mini słownik EWD Reszta W modelach EWD: różnica między uzyskanym przez ucznia wynikiem na egzaminie gimnazjalnym a wynikiem przewidywanym na podstawie równania regresji.

57 Mini słownik EWD Wartość przewidywana (wynik przewidywany) Wartość przewidywana - w metodzie regresji, zastosowanej przy ocenie EWD, jest to wartość zmiennej zależnej (wyniku egzaminu gimnazjalnego) przewidywana na podstawie równania regresji oszacowanego dla całej populacji uczniów w Polsce.

58 Mini słownik EWD Współczynnik ufności Prawdopodobieństwo, że oszacowany przedział ufności będzie zawierał prawdziwą wartość parametru.

59 Mini słownik EWD Zmienne kontrolne w równaniu regresji W metodzie EWD zmienne uwzględnione w równaniu regresji w celu lepszego określenie wyniku przewidywanego na egzaminie gimnazjalnym. Mogą to być to takie zmienne jak: płeć ucznia, dysleksja.

60 Mini słownik EWD Wartość EWD może być dodatnia, równa zeru lub ujemna. EWD dodatnia może świadczyć o ponadprzeciętnej jakości nauczania w danej szkole. Ujemna wartość świadczy o jakości poniżej przeciętnej. Należy jeszcze dodać, że EWD dla całego kraju zawsze wynosi zero. EWD jest miarą względną. Pozwala więc na porównywanie szkół między sobą w skali kraju i w danym roku. EWD jest wyrażana w punktach egzaminacyjnych i może być umieszczona w skali staninowej lub w centylowej.

61 Wskaźniki trzyletnie CKE W lipcu 2009 zostały opublikowane trzyletnie wskaźniki EWD dla polskich gimnazjów. Są one pomyślane jako źródło informacji o gimnazjach, przydatne w ewaluacji zewnętrznej. W syntetyczny, graficzny sposób charakteryzują one gimnazja ze względu na wyniki egzaminacyjne oraz efektywność nauczania. Publikacja charakterystyk gimnazjów i szkół ponadgimnazjalnych ma charakter pilotażowy. Zestawiając ze sobą wyniki egzaminu oraz dane EWD w przeciągu trzech lat, otrzymujemy pełniejszy obraz szkoły. Dzięki takiemu ujęciu możemy wyróżnić 5 głównych typów szkół.

62

63 5 głównych typów szkół 1. Szkoły neutralne. Szkoły, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność. 2. Szkoły sukcesu. Szkoły o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania. 3. Szkoły wspierające. Szkoły o niskich wynikach egzaminacyjnych, ale wysokiej efektywności. 4. Szkoły wymagające pomocy. Szkoły o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania. 5. Szkoły niewykorzystanych możliwości. Szkoły o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania.

64

65 Dla ewaluacji szkół kluczowy jest trend czasowy. Wyciągając wnioski w gimnazjach, bierzmy pod uwagę wszystkie dostępne wskaźniki. W szkołach ponadgimnazjalnych poczekajmy z oceną na wyniki z kolejnych lat. Ważne! Wskaźniki trzyletnie EWD w gimnazjach są dostępne tylko w dwóch odsłonach: HUMANISTYCZNEJ i MATEMATYCZNO PRZYRODNICZEJ. (W EWD jednorocznym jest aż 6 wskaźników).w szkołach ponadgimnazjalnych mamy wskaźniki z przedmiotów humanistycznych i języka polskiego oraz z przedmiotów matematycznoprzyrodniczych i matematyki. Kalkulator EWD 100 obsługuje tylko matematykę.

66 CEL ZADANIA Zadania pierwsze i drugie pokażą ci zasadniczą różnicę między wynikiem surowym a edukacyjną wartością dodaną. Analiza 1 Analiza EWD

67 Kalkulator EWD100 Program do pobrania: Szybki start Analizy Instrukcja obsługi Zobacz >>

68 Kalkulator EWD zadanie gim. Wykonaj polecenia poniższej instrukcji. 1. Stwórz nowy projekt pod nazwą Zadanie praktyczne nr 2. Wczytaj do KEWD100 zawartość pliku Szkoła_2_2013 (Wykorzystaj funkcję Importuj dane ). 2. Dokonaj analizy potencjału uczniów, z podziałem na klasy. Która z klas była najmocniejsza na wejściu? Zapisz wnioski w polu notatek. 3. Przygotuj analizę przedziałów ufności. Wybierz całą szkołę, ustaw egzamin na EWD GM M. Grupowanie według klas.która klasa wypadła najsłabiej z matematyki? Która najlepiej? Jakie inne wnioski możesz wyciągnąć z porównania wyników klas? Zapisz wnioski w polu notatek. 4. Dodaj analizę Wykres rozrzutu. Ustaw egzamin GM M, grupowanie według klas. Wskaż wartości odstające, czyli znacząco odbiegające od reszty wartości. Co możesz powiedzieć o rozmieszczeniu wyników klasy A i B? Zapisz odpowiedź w polu notatek. 5. Dodaj analizę Rozkład reszt. Ustaw egzamin GM-M, grupowanie według klas. Powędruj kursorem po wykresie. W której klasie największa grupa uczniów miała reszty wokół 0? Zapisz odpowiedź w polu notatek. 6. Dodaj analizę Rozkład wyników. Ustaw egzamin GM-M. Sprawdź wyniki uczniów klasy C.Jak wypadli uczniowie tej klasy w stosunku do oczekiwań? Zapisz odpowiedź w polu notatek. Dodaj tabelkę. Jako wskaźniki wybierz średnie dotyczące egzaminu z matematyki. (średni wynik punktowy, procentowy i w skali 100/15). 7. Efekty swojej pracy zapisz w pliku Zadanie praktyczne nr 2.ewdx

69 Kalkulator EWD zadanie sz. pon. 1. Pobierz pliki z danymi szkoły testowej na swój pulpit. 2. Uruchom KEWD Utwórz projekt o nazwie Matura_Matematyka. 4. Importuj zawartość wszystkich czterech plików do KEWD100. (Wybierz opcję LICEUM!) 5. Zbadaj potencjał edukacyjny uczniów według kolejnych roczników. (Przeciągnij kod szkoły w obszar roboczy programu). Zapisz wnioski w polu notatek. 6. Przygotuj wykres rozrzutu dla kolejnych roczników. Zapisz wnioski w polu notatek. 7. Dodaj analizy Średnie wyniki. Czy jest widoczny postęp? Zapisz wnioski w polu notatek. 8. Dodaj analizy Wskaźniki EWD. Czy jest widoczny postęp? Zapisz wnioski w polu notatek. 9. Wykonaj analizę według własnej koncepcji dla klas A. Załóżmy, że uczy tam ten sam nauczyciel. Czy widać efekty jego pracy? Zapisz wnioski w polu notatek pod analizą Wskaźniki EWD klas A. 10.Zapisz wyniki swojej pracy w pliku matura_matematyka.ewdx.

70 EWD i co dalej??

71 EWD i co dalej?? Program naprawczy Wnioski do dalszej efektywnej pracy Sprawozdanie dla rodziców

72 4.Podsumowanie Wiedza na temat osiągnięć uczniów jest ściśle związana z nauczycielami, dlatego nie może powstawać bez ich udziału. Najczęściej jest to wiedza wychowawców, dyrektora czy też nauczycieli uczących poszczególnych przedmiotów. Dopiero współdziałanie w zespołach nauczycielskich (przedmiotowych, między przedmiotowych, problemowych, zespołach wychowawców itp.), współpraca w całej Radzie Pedagogicznej, może doprowadzić do tego, aby informacja o osiągnięciach uczniów, którzy ukończyli już szkołę, jak i tych, którzy dopiero ją ukończą, była pełna.

73 4.Podsumowanie Materiały gromadzone w szkołach dotyczące sprawdzianu/ egzaminów z ostatnich lat i wiedza o poziomie umiejętności uczniów, poddane analizie nauczycieli, stanowią bogaty materiał do planowania dalszej pracy. Polecamy obejrzenie filmu:

74 Podsumowanie Analiza wyników w szkole nie może zakończyć się opisem wykresów. Trzeba zainicjować dyskusję w radzie pedagogicznej, zadać sobie pytania wyjaśniające przyczyny, zastanowić się, czy uzyskane wyniki nas satysfakcjonują, jaki poziom zamierzamy osiągnąć, co i w jaki sposób chcielibyśmy zmienić w pierwszej kolejności, itp.