MATERIAŁY SZKOLENIOWE

Transkrypt

1 Strona1 MATERIAŁY SZKOLENIOWE Części: 26, 27, 28 Wykorzystanie EWD w ewaluacji wewnętrznej szkoły B i a ł y s t o k Projekt

2 Strona2 I. Spis treści I. Koncepcja EWD Słownik EWD Błąd pomiaru... 5 Błąd próbkowania... 5 Estymacja... 5 Korelacja... 5 Przedział ufności dla EWD... 6 Regresja... 6 Reszta... 7 Skala centylowa... 7 Skala staninowa... 7 Wartość przewidywana (wynik przewidywany)... 8 Wartość odstająca... 8 Współczynnik ufności... 9 Zmienne kontrolne w równaniu regresji Skala 100/ Znaczenie wskaźników edukacyjnej wartości dodanej dla szkoły Korzyści z analizowania trzyletnich wskaźników egzaminacyjnych dla gimnazjów, a) b) c) Dlaczego wskaźniki trzyletnie? Jakie dane wykorzystywane są do szacowania wskaźników? Na jakiej skali prezentowane są wyniki? Szkoły neutralne Szkoły sukcesu Szkoły wspierające Szkoły wymagające pomocy Szkoły niewykorzystanych możliwości Rozkład wyników Jak odczytywać wykresy? Porównuje wyniki własnej placówki z wynikami innych szkół, Projekt

3 Strona3 II. Przeprowadzanie analiz z wykorzystaniem Kalkulatora EWD Plus oraz Kalkulatora EWD Możliwości Kalkulatora EWD Plus i EWD a) b) c) d) Kalkulator EWD Plus Najważniejsze możliwości Kalkulatora EWD Plus Jak przygotować dane do kalkulatora? Kalkulator EWD Przygotowanie i wczytanie danych do Kalkulatora EWD 100, a) b) c) d) e) Przygotowanie danych Wczytywanie danych Wykonywanie analiz Przykłady wykresów Zapis projektów III. Analiza planowanych i podejmowanych przez szkołę działań skierowanych na jej rozwój, pod kątem wykorzystania informacji uzyskanych w wyniku analiz z wykorzystaniem kalkulatora EWD Użyteczności wskaźników EWD w ewaluacji wewnętrznej szkoły Czynnikach efektywności nauczania Projektowanie analiz wewnątrzszkolnych z wykorzystaniem EWD IV. Wskaźniki EWD a monitorowanie Monitorowanie wewnątrzszkolnego systemu oceniania. Czy wszyscy nauczyciele jednakowo stosują wymagania? V. Podsumowanie VI. Literatura VII. Strony internetowe: Projekt

4 Strona4 I. Koncepcja EWD. Termin edukacyjna wartość dodana oznacza zarówno metodę, jak i wskaźnik liczbowy wyliczony zgodnie z tą metodą. Metody EWD to metody statystyczne (najczęściej wykorzystywane są modele regresji liniowej lub modele wielopoziomowe) pozwalające na podstawie zasobów na wejściu (np. wynik na egzaminie poprzedniego etapu kształcenia, informacja o zasobach materialnych szkoły, środowisku, nakładach na szkołę) oraz wyjściu (np. wynik na egzaminie końcowym dla danego etapu kształcenia), oszacować efektywność nauczania, czyli wkład danej szkoły w końcowy poziom wiedzy uczniów na danym etapie kształcenia. Rysunek 1 Model ideowy szacowania wskaźników EWD dla szkół 1. Słownik EWD. Błąd pomiaru Błąd próbkowania Estymacja Korelacja Przedział ufności dla EWD Regresja Reszta Skala centylowa Projekt

5 Strona5 Skala staninowa Wartość przewidywana Wartość odstająca Współczynnik ufności Zmienne kontrolne w równaniu regresji Błąd pomiaru Każdy pomiar obarczony jest błędem. W przypadku pomiaru osiągnięć szkolnych błąd pomiaru wynika z działania takich czynników jak: dyspozycja ucznia w danym dniu, zgadywanie odpowiedzi w zadaniach zamkniętych, efekt egzaminatora w zadaniach otwartych, ściąganie, przypadkowość w doborze zadań testowych. Błąd próbkowania Estymacja EWD jest obarczona błędem, ponieważ absolwenci danego rocznika są tylko próbą uczniów szkoły, na podstawie której wypowiadamy się o efektywności nauczania w danym gimnazjum Estymacja Metoda statystyczna wyznaczania interesującego nas parametru (np. średnia, odchylenie standardowe) na podstawie skończonego zbioru obserwacji. W przypadku EWD estymujemy średnią z reszt równania regresji dla danej placówki, którą następnie nazywamy edukacyjną wartością dodaną danej szkoły (to przykład estymacji punktowej). Estymujemy także granice przedziałów ufności EWD wykorzystując fakt, że rozkład średniej z próby jest zbliżony do normalnego (to przykład estymacji przedziałowej). Korelacja Powiązanie dwóch zmiennych. Mówiąc, że "wyniki sprawdzianu silnie korelują z wynikami egzaminu gimnazjalnego" mamy na myśli, że za pomocą wyników sprawdzianu można w dużym stopniu przewidzieć wynik egzaminu gimnazjalnego. Korelacja dodatnia tych wyników oznacza, że w większości przypadków wraz ze wzrostem wyników sprawdzianu wzrastają wyniki egzaminu gimnazjalnego. Współczynnik korelacji może przyjmować wartości od -1 do 1. Znak oznacza Projekt

6 Strona6 kierunek zależności, wartość bezwzględna - siłę powiązania między zmiennymi. Przedział ufności dla EWD Estymacja punktowa EWD obarczona jest dwojakim błędem: po pierwsze, błędem pomiaru na sprawdzianie i egzaminie gimnazjalnym; po drugie, błędem próbkowania. To powoduje konieczność wyznaczenia przedziału ufności oszacowanej wartości EWD dla analizowanej grupy uczniów. Przedział ufności, to przedział, który z określonym współczynnikiem ufności zawiera prawdziwą wartość interesującego nas parametru. Wyznaczone dla EWD przedziały ufności możemy traktować jako regułę decyzyjną. Jeżeli chcemy w sposób odpowiedzialny formułować na podstawie EWD oceny typu szkoła A lepiej uczy w zakresie sprawdzanym przez egzamin gimnazjalnym od szkoły B, to warto wiedzieć, jakie jest ryzyko popełnienia błędu. Przedziały ufności pozwalają nam to ryzyku oszacować. Jeżeli wyznaczymy 95% przedziały ufności EWD dla porównywanych szkół i przedziały te są rozłączne, to ryzyko sformułowania nietrafnej oceny jest niewielkie. Gdy przedziały częściowo pokrywają się, formułowanie oceny staje się bardziej ryzykowna - należy się od niej powstrzymać. W przypadku EWD szkoły przyjmujemy 95% współczynnik ufności, a dla klas lub innych grup uczniów porównywanych w obrębie jednej szkoły można przyjąć niższy współczynnik ufności np. 90%. Przyjęcie niższego współczynnika ufności dla tych grup związane jest z mniej dotkliwymi konsekwencjami sformułowania nietrafnej oceny. Należy pamiętać, że w pewnych przypadkach większe ryzyko wiąże się z niedocenianiem różnicy niż jej przecenieniem. Gdy oceniamy szkoły i za oceną idą decyzje ważne dla szkoły, przede wszystkim należy wystrzegać się ocen pochopnych. Ale gdy analiza wykaże na przykład, że w danej szkole relatywnie gorzej nauczani są uczniowie słabsi, być może warto podejmować działania, nawet gdy diagnozy nie możemy być pewni. Regresja Metoda statystyczna określenia zależności między zmienną zależną (inaczej: zwaną zmienną objaśnianą), a zmiennymi niezależnymi (inaczej: zmiennymi objaśniającymi). Posługując się równaniem regresji można przewidywać - w sensie Projekt

7 Strona7 statystycznym - wartości zmiennej zależnej na podstawie wartości zmiennych niezależnych. W modelach EWD zmienną zależną jest wynik egzaminu gimnazjalnego, a zmiennymi niezależnymi są wyniki sprawdzianu oraz oznaczenia dla płci i dysleksji uczniów (por. zmienne kontrolne). Najczęściej w metodzie regresji analizujemy współczynniki równania regresji, jednak w przypadku EWD najwięcej uwagi poświęcamy wartościom przewidywanym oraz tzw. resztom, a więc różnicom między wartością przewidywaną przez równanie regresji a wartością rzeczywistą. Reszta W modelach EWD: różnica między uzyskanym przez ucznia wynikiem na egzaminie gimnazjalnym a wynikiem przewidywanym na podstawie równania regresji. Ponieważ reszta jest wartością nieprecyzyjną (obarczoną zarówno błędem pomiaru na sprawdzianie jak i błędem pomiaru na egzaminie gimnazjalnym) nie należy jej wykorzystywać jako indywidualnej miary postępu ucznia w czasie nauki w gimnazjum. Reszty należy używać jedynie do analizowania EWD szkoły lub innej badanej grupy. Skala centylowa Skala pozycyjna wyników uporządkowanych rosnąco; aby ustalić wartości centyli, porządkujemy wyniki od najniższych do najwyższych, dzielimy ich zbiór na 100 równych części, a następnie określamy położenie granic między tymi częściami na skali wyników i oznaczamy je jako centyle C1, C2, C3, C4, C5,... C99. Liczba centyli wynosi dziewięćdziesiąt dziewięć. Numer kolejny najbliższego centyla stanowi rangę centylową danego wyniku testowania, to jest procent wyników niższych od danego. Np. wynik szkoły w 45 centylu oznacza, że 44% szkół uzyskało wynik niższy od tej szkoły. W kalkulatorze EWD w skali centylowej podawany jest przedział ufności dla EWD szkół (dokładniej rangi centylowe odpowiadające krańcom przedziału ufności). Skala staninowa (od ang. standard nine), standardowa dziewiątka - dziewięciostopniowa znormalizowana skala wyników. Kolejne stopnie tej skali zawierają odpowiednio 4%, Projekt

8 Strona8 7%, 12%, 17%, 20%, 17%, 12%, 7%, 4% wyników uporządkowanych rosnąco. Skala pozwala pozycjonować wynik ucznia (wynik szkoły, np. średni wynik lub EWD) i porównywać z wynikami innych uczniów (szkół). Kolejne stopnie skali przyjęto nazywać: najniższy, bardzo niski, niski, niżej średni, średni, wyżej średni, wysoki, bardzo wysoki, najwyższy. Np. wynik szkoły w staninie 8. (bardzo wysokim) oznacza, że 4% szkół uzyskało wynik wyższy, 7% - porównywalny, a 89% - wynik niższy iż ta szkoła. Rysunek 2 Skala staninowa Wartość przewidywana (wynik przewidywany) Wartość przewidywana - w metodzie regresji, zastosowanej przy ocenie EWD, jest to wartość zmiennej zależnej (wyniku egzaminu gimnazjalnego) przewidywana na podstawie równania regresji oszacowanego dla całej populacji uczniów w Polsce. Wartość odstająca wartość znacząco odbiegająca od pozostałych wartości w próbie. W metodzie EWD chodzi o wartości reszt drastycznie różniące się od pozostałych wartości reszt w szkole. Na przykład, w 56 osobowym gimnazjum wartości reszt 54 uczniów mieszczą się w przedziale (-10 ; +10). Wyniki dwu pozostałych to +19,5 oraz -21,1. Te wartości uznamy za odstające, bo znacznie Projekt

9 Strona9 różnią się od pozostałych. Można przypuszczać, że wartości odstające są wynikiem działania czynników losowych, więc wskazane jest minimalizowanie ich wpływu na szacowanie EWD szkoły. Współczynnik ufności Prawdopodobieństwo, że oszacowany przedział ufności będzie zawierał prawdziwą wartość parametru. Zmienne kontrolne w równaniu regresji w metodzie EWD zmienne uwzględnione w równaniu regresji w celu lepszego określenie wyniku przewidywanego na egzaminie gimnazjalnym. Mogą to być to takie zmienne jak: płeć ucznia, dysleksja Skala 100/15 Skala 100/15 jest standardową skalą o średniej 100 i odchyleniu standardowym 15. W przypadku informowania o wynikach egzaminacyjnych kluczowe są dwie sprawy: 1) możliwość określenia wartości indywidualnego wyniku 2) możliwość dokonania porównań między latami. W pierwszym przypadku można porównywać wynik ze średnim wynikiem w populacji zdających i określać wartość indywidualnego wyniku jako odległość od średniej. W drugim przypadku ważny jest kształt rozkładu - wyniki można porównywać między latami, jeśli kształty rozkładów z kolejnych lat są podobne. Spełnienie tych dwóch warunków osiąga poprzez normalizację wyników (sprowadzenie rozkładu do rozkładu normalnego), a następnie standaryzację, to jest ustalenie wartości średniej i odchylenia standardowego. Przykładem takiej skali jest dziewięciostopniowa skala staninowa, którą dotychczas powszechnie używano do komunikowania wyników egzaminacyjnych w Polsce. Skala staninowa jest jednak zbyt krótka, aby móc precyzyjne określać wartość wyniku, dlatego proponujemy korzystać ze skali 100/15. W tej skali prezentowane są trzyletnie wyniki egzaminacyjne i EWD (gimnazjum.ewd.edu.pl), teraz również jednoroczne wskaźniki EWD można wyliczać w skali 100/15. Wyniki egzaminacyjne uzyskane przez uczniów na egzaminie gimnazjalnym w 2011 roku i ich przekształcona postać na skali 100/15: Projekt

10 Strona10 Rysunek 3 Porównanie skal Projekt

11 Strona11 Miarą odległości od średniej (100) jest odchylenie standardowe. Typowe wyniki egzaminacyjne znajdują się w odległości jednego odchylenia od średniej. Wyniki powyżej jednego odchylenia standardowe to wyniki wysokie, poniżej jednego odchylenia standardowego - wyniki niskie. Wyniki w odległości większej niż dwa odchylenia standardowe są wynikami wyjątkowymi: wyjątkowo wysokimi lub wyjątkowo niskimi. Odległości na skali 100/15 i odpowiadające im odsetki wyników: Rysunek 4 Odległości na skali 100/15 i odpowiadające im odsetki wyników 3. Znaczenie wskaźników edukacyjnej wartości dodanej dla szkoły. 1. Wskaźniki liczone dla jednego rocznika uczniów pozwalają ocenić, jak skutecznie zdołano w szkole wykorzystać potencjał uczniowski (w porównaniu ze szkołą o podobnych zasobach uczniowskich). Ich interpretacja powinna zmierzać do tego, by w swojej szkole rozpoznać, jakie czynniki wewnątrzszkolne i jak wpływają na efektywność nauczania w zakresie sprawdzanym na egzaminach zewnętrznych. 2. Wskaźników EWD można użyć do określenia stanu lub śledzenia zachodzących zmian w każdym z obszarów wskazanych w rozporządzeniu o nadzorze pedagogicznym. Ewaluacja prowadzona przez samą szkołę w celu poprawy swojego funkcjonowania to najważniejszy obszar wykorzystania wyników egzaminacyjnych, a tym samym i metody edukacyjnej wartości dodanej. Beneficjentami skutecznej autoewaluacji stają się uczniowie, którzy mają szansę uczyć się w skuteczniej nauczających szkołach 3. Wskaźniki EWD wzbogacają repertuar miar jakości pracy szkoły i powinny być traktowane jako dopełniające wobec nich. Projekt

12 Strona12 4. Metoda EWD może być z powodzeniem stosowana do ewaluacji wewnątrzszkolnej. EWD pozwala analizować takie problemy jak: efektywność nauczania w poszczególnych klasach, skutki segregacyjnych metod dzielenia uczniów na oddziały, problemy równości szans edukacyjnych różnych grup uczniów, ocena skuteczności różnych działań zmierzających do podniesienia jakości nauczania. Mimo wymienionych powyżej zalet, metoda EWD ma swoje problemy: 5. Posługiwanie się pojęciem efektywności opartym na metodzie nie dostarcza informacji, jakie praktyki edukacyjne za tę efektywność odpowiadają. Efektywność to wysokie wyniki w testach, wysokie wyniki w testach to efektywność. Co zmienić w swoim działaniu, by podnieść swą efektywność? To pytanie pozostaje bez odpowiedzi. 6. EWD jak i inne metody szacowania wartości dodanej - opiera się na założeniu, że nie ma interakcji między kapitałem kulturowym ucznia a skutecznością różnych sposobów nauczania. Jeżeli coś jest dobre dla ucznia X, dobre będzie dla wszystkich uczniów; jeżeli coś przynosi owoce w danej klasie to będzie efektywne dla wszystkich klas. Założenie to jest w najwyższym stopniu wątpliwe. Istnieje wiele dowodów na rzecz hipotezy zgodności kulturowej, która mówi, że nauczanie szkolne jest najbardziej efektywne wtedy, gdy metody oddziaływania stosowane przez nauczyciela są zgodne z wzorcami uczenia się znanymi dziecku z doświadczeń kulturowych Podsumowując należy stwierdzić, iż metoda EWD jest niejako z definicji trafną miarą efektywności nauczania przy pewnym bardzo ważnym zastrzeżeniu - efektywności nauczania w zakresie sprawdzanym przez egzaminy zewnętrzne. Świadomość tego ograniczenia skłania do próby korekty nazwy metody. Czy nie bardziej trafny byłby termin egzaminacyjna wartość dodana? Przy obecnym stanie wiedzy o polskiej aplikacji EWD to zasadna ostrożność. Należy podkreślać, że EWD to miara o ograniczonej wartości i jest tylko sposobem lepszego - co nie znaczy doskonałego - wykorzystania wyników egzaminacyjnych. Projekt

13 Strona13 4. Korzyści z analizowania trzyletnich wskaźników egzaminacyjnych dla gimnazjów, a) Dlaczego wskaźniki trzyletnie? W szacowaniu wskaźników wykorzystujemy wyniki z trzech kolejnych lat. Dlatego mówimy o wskaźnikach trzyletnich. Sposób liczenia trzyletnich wskaźników dobrze pokazuje poniższy wykres. Rysunek 5 Sposób liczenia trzyletnich wskaźników Co roku odrzucane są dane z najstarszego uprzednio uwzględnionego rocznika, a dodawane są wyniki aktualne. Obliczanie trzyletnich wskaźników uzasadnione jest z kilku powodów. Najważniejszy to fakt, że wyniki egzaminacyjne obarczone są niepewnością pomiarową. Im większą pulą danych dysponujemy, tym mniejszy wpływ tej niepewności na szacowanie wskaźników dla szkoły. Używając wyników z trzech kolejnych lat, zyskujemy trzy razy więcej danych, a duża ilość informacji oznacza większą precyzję szacowania. Ewaluacja szkoły nie jest dzięki temu uzależniona od chwilowych zmian, jednorazowych statystycznych kaprysów zwiększających lub zmniejszających wartość wskaźników. Jednak wskaźniki trzyletnie mają też swoją wadę - są mniej wrażliwe na realne zmiany dokonujące się w krótkim czasie. Dlatego szkoła nie powinna poprzestawać na analizie wskaźników wieloletnich i w ramach analiz wewnątrzszkolnych powinna obliczać za pomocą Kalkulatora EWD (patrz: miary jednoroczne. b) Jakie dane wykorzystywane są do szacowania wskaźników? Do szacowania wskaźników wykorzystujemy wyniki testów egzaminacyjnych w wersji standardowej dla uczniów zdających w terminie głównym. do 2011 roku w analizach nie uwzględniano wyników uczniów drugorocznych. Od trzylatki Projekt

14 Strona do szacowania EWD używa się również wyników uczniów o przedłużonym o rok cyklu kształcenia. Włączenie tych uczniów jest możliwe ponieważ opracowano specjalny sposób szacowania EWD uwzględniający specyfikę tej kategorii uczniów. c) Na jakiej skali prezentowane są wyniki? Korzystanie z wyników z różnych edycji egzaminów zewnętrznych rodzi znaczący problem. Surowe wyniki egzaminów nie są porównywalne między kolejnymi edycjami egzaminu. Przed przystąpieniem do analiz efektywności nauczania musimy więc je sprowadzić do porównywalnej postaci. W pierwszej fazie wyniki każdej edycji egzaminu tak przekształcono, by ich rozkłady maksymalnie zbliżyły się do rozkładu normalnego (normalizacja). W drugim kroku znormalizowane wyniki egzaminacyjne w każdym roku przeliczono na wspólną skalę, tak by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe wyniosło 15 punktów (standaryzacja). Zakładany rozkład wyników egzaminacyjnych po normalizacji i standaryzacji wygląda następująco: Rysunek 6 Rozkład normalny Zwróćmy uwagę, że dzięki standaryzacji wyniki można łatwo interpretować ilościowo. Wiadomo, że 100 to zawsze wynik średni w kraju, 115 to wynik przewyższający przeciętną krajową o jedno odchylenie standardowe, dodatkowo wiemy z własności rozkładu normalnego, że wynik wyższy od 115 uzyskało w kraju Projekt

15 Strona15 około 16% zdających. Zastosowana procedura umożliwia wykorzystywanie w ewaluacji szkół wyników z różnych lat. Znormalizowana i wystandaryzowana skala wyników uczniowskich służy zarówno do prezentacji wyniku egzaminacyjnego danego gimnazjum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku EWD skala ma swój środek w punkcie 0. Wynik EWD równy np. 5 pkt, oznacza, że przeciętny uczeń tego gimnazjum otrzymał na egzaminie gimnazjalnym o 5 punktów więcej, niż by to wynikało z jego rezultatu na sprawdzianie po szkole podstawowej. Od trzylatki wyniki sprawdzianu i egzaminu gimnazjalnego są skalowane za pomocą nowoczesnej techniki pomiarowej IRT. Pozwala to na bardziej efektywne szacowanie poziomu umiejętności uczniów na podstawie surowych wyników egzaminacyjnych. Ta nowa procedura skalowania nie zmienia interpretacji prezentowanych wyników. Dlaczego w ewaluacji szkoły należy uwzględniać zarówno wynik egzaminacyjny jak i wskaźnik EWD? Wynik egzaminacyjny i wskaźnik EWD to miary komplementarne, łącznie dają pełniejszą informację o szkole. Konsekwencją tego, że uwzględniamy zarówno wynik egzaminacyjny jak i wskaźnik EWD jest sposób pokazywania wyniku szkoły pozycja szkoły prezentowana jest w układzie współrzędnych. Oś pozioma oznacza średni trzyletni wynik egzaminacyjny szkoły, a oś pionowa symbolizuje trzyletnią EWD szkoły. By uwzględnić statystyczną niepewność szacowania wskaźników pozycja szkoły prezentowana jest nie jako punkt, a jako obszar w kształcie elipsy. Jak już wspominaliśmy wyniki wszelkich pomiarów, też testów egzaminacyjnych, cechuje niepewność pomiarowa. Lokując gimnazjum na wykresie należy wziąć to pod uwagę. Robimy to wyznaczając dla każdego gimnazjum obszar, w którym z 95% pewnością znajduje się gimnazjum ze względu na dwa interesujące nas wskaźniki: wynik egzaminu i EWD. Rezygnacja z dokładnego (tzw. punktowego) szacowania interesujących nas wartości nie jest wynikiem asekuranctwa, czy statystycznej bojaźliwości, jest normalną procedurą statystyczną stosowaną wszędzie tam, gdzie na podstawie wartości szacunkowych musimy formułować odpowiedzialne oceny. Projekt

16 Strona16 Wielkość elipsy, czyli niepewność szacowania wskaźników dla szkoły, zależy przede wszystkim od liczby informacji. Im większą liczbą wyników egzaminacyjnych dysponujemy, tym mniejsza niepewność i mniejsza elipsa. Opis położenia elipsy (szkoły) w układzie współrzędnych (wynik egzaminu, EWD) może ułatwić wyróżnienie pięciu punktów odniesienia. Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność. Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania. Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej efektywności. Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania. Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania. Powyższe punkty odniesienia opatrzone umownymi nazwami mają pomóc w interpretacji, a nie kategoryzacji szkół. Oprócz typów głównych można zaobserwować również typy pośrednie: szkoły o przeciętnych wynikach i niskiej/wysokiej EWD oraz szkoły o przeciętnej efektywności (EWD) i niskich/wysokich wynikach egzaminacyjnych. w tych przypadkach elipsy szkół leżą na osi pionowej lub poziomej, odpowiednio. 5. Rozkład wyników Rozkład wyników wyrażonych na skali 100/15 pozwala ocenić, w jaki sposób wyniki uczniów różnią się od rozkładu normalnego. W przypadku wyników egzaminu gimnazjalnego dodatkowo wyrysowywany jest rozkład wyników przewidywanych. Różnica średniej w rozkładzie wyników rzeczywistych i średniej w rozkładzie wyników przewidywanych jest równa wskaźnikowi EWD dla rozpatrywanej grupy uczniów. Dla określenia kategorii gimnazjum dla poszczególnych części przyjęto następujące założenia: Projekt

17 Strona17 1.Szkoła neutralna EWD = 0 wynik egzaminu = 100; 2.Szkoła sukcesu EWD > 0 wynik egzaminu > 100; 3.Szkoła wspierająca EWD > 0 wynik egzaminu 100; 4.Szkoła wymagająca pomocy -EWD 0 wynik egzaminu < 100; 5.Szkoła niewykorzystanych możliwości -EWD 0 wynik egzaminu > 100 Rysunek 7 Określenie kategorii gimnazjum dla poszczególnych części 6. Jak odczytywać wykresy? By ułatwić statystyczną interpretację pozycji szkoły, w układzie współrzędnych wyrysowano dwie elipsy. Mniejsza z nich, ciemnoszara, wskazuje obszar, w którym mieści się 50% gimnazjów. Druga elipsa, jasno szara, wyznacza obszar, w którym mieści się 90% gimnazjów. Środkiem symetrii tych elips jest punkt (100;0). Przykład 1. Gimnazjum A. Część matematyczno-przyrodnicza Pozycja zielonej elipsy na wykresie wskazuje, że mamy do czynienia ze szkołą neutralną (część matematyczno-przyrodnicza egzaminu). Tak będziemy nazywać gimnazja, których pozycja w układzie współrzędnych bliska jest punktowi Projekt

18 Strona18 (100;0). Jeżeli obszar ufności (zielona elipsa) zawiera punkt (100;0), mamy do czynienia z tego typu szkołą. Szkoła neutralna, to placówka statystycznie przeciętna. Chcąc jednak uniknąć określeń przeciętna, średnia, proponujemy dla szkół o średniej wyników egzaminacyjnych zbliżonej do średniej krajowej i wskaźniku EWD bliskiemu zero nazwę szkoła neutralna. Szkoły neutralne, to najliczniejsza kategoria gimnazjów. Dzieje się tak dlatego, że zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmuje wartości bliskie lub niezbyt odległe od średniej. Przykład 2. Gimnazjum B i C. Część matematyczno-przyrodnicza Co różni Gimnazjum B i C? Wyniki końcowe. Średnie dla tych gimnazjów są na wymiarze wyniku egzaminacyjnego oddalone o około 10 punktów (2/3 odchylenia standardowego). Co natomiast je łączy? Ponadprzeciętna efektywność nauczania mierzona wskaźnikiem EWD. Możemy tak powiedzieć, bo obszary ufności dla obu szkół znajdują się ponad linią poziomą oznaczającą zerową wartość EWD (oś pozioma). Dotychczasowe sposoby analizowania wyników egzaminacyjnych Projekt

19 Strona19 ulokowałyby te szkoły w odległych staninach i nie przyszłoby nam do głowy, że te placówki coś może łączyć. Wprowadzenie wymiaru EWD pozwoliło dojrzeć coś, co było przed okiem obserwatora nieuzbrojonego w odpowiednie instrumenty statystyczne ukryte. 7. Porównuje wyniki własnej placówki z wynikami innych szkół, Porównania możemy dokonać na stronie wpisując nazwy szkół które chcemy w wyszukiwarce. Rysunek 8 Zrzut ekrany strony do porównywania wyników EWD własnej placówki z wynikami innych szkół. Projekt

20 Strona20 II. Przeprowadzanie analiz z wykorzystaniem Kalkulatora EWD Plus oraz Kalkulatora EWD Możliwości Kalkulatora EWD Plus i EWD 100 a) Kalkulator EWD Plus Kalkulator EWD Plus jest propozycją Zespołu EWD dla osób, które wykonują wewnątrzszkolne analizy wyników egzaminacyjnych z zastosowaniem metody edukacyjnej wartości dodanej. Kalkulator jest samodzielnym programem, który należy zainstalować na swoim komputerze. Rysunek 9 Zrzut ekrany Kalkulatora EWD Plus b) Najważniejsze możliwości Kalkulatora EWD Plus Rysowanie pięciu typów wykresów: o o o o o wykresy rozrzutu, wykresy z przedziałami ufności, rozkłady reszt, rozkłady staninowe wyników uczniowskich na sprawdzianie i egzaminie gimnazjalnym; skumulowane rozkłady staninowe wyników uczniowskich na sprawdzianie i egzaminie gimnazjalnym; Wykonywanie analiz z podziałem na grupy (według klas, potencjału, płci, dysleksji lub dodatkowych kryteriów określonych przez użytkownika); Projekt

21 Strona21 Tworzenie tabel z wynikami analiz; Obliczanie wskaźników EWD za 2007, 2008, 2009, 2010 oraz 2011 rok; Import danych z arkuszy MS Excel oraz plików CSV (w tym import z klasycznych kalkulatorów EWD); Tworzenie raportów w formacie DOC lub PDF. c) Jak przygotować dane do kalkulatora? Najlepiej jest przygotować dane do wklejenia do kalkulatora w osobnym skoroszycie Excela. Dla każdego ucznia, który rozwiązywał zadania arkusza standardowego w głównym terminie na sprawdzianie i na egzaminie gimnazjalnym potrzebna jest: informacja o płci (dziewczynka -1, chłopiec - 0) informacja o tym, czy korzystał z dostosowań dla dyslektyków na sprawdzianie (jeśli tak wpisujemy 1, jeśli nie - wpisujemy 0) informacja o tym, czy korzystał z dostosowań dla dyslektyków na egzaminie gimnazjalnym (jeśli tak wpisujemy 1, jeśli nie - wpisujemy 0) jego wynik na sprawdzianie (od 1 do 40 pkt) jego wynik na egzaminie gimnazjalnym w części GH oraz GMP (od 0 do50 pkt) Rysunek 10 Zrzut ekrany dane do kalkulatora W obliczeniach EWD nie uwzględniamy: uczniów, którzy rozwiązywali zadania z arkuszy dostosowanych A4, A5, A6, A7, A8 uczniów drugorocznych Projekt

22 Strona22 d) Kalkulator EWD 100 Skala 100/15. Wyniki i analizy są przedstawiane na standardowej skali, o średnim wyniku 100 i odchyleniu standardowym 15. Obsługa nowej formuły egzaminu gimnazjalnego. W Kalkulatorze EWD 100 można wyliczyć wskaźniki, odpowiadające czterem arkuszom gimnazjalnym: GH-P, GH-H, GM-M, GM-P oraz wskaźniki złożone dla części humanistycznej (GH) oraz matematyczno-przyrodniczej (GMP). Złożone wskaźniki pozwalają porównywać wyniki z wcześniejszymi rocznikami (2009, 2010 i 2011). o o Nowa struktura danych. Dane importowane do Kalkulatora są dzielone na szkoły, roczniki i klasy; dzięki temu można przeprowadzać bardziej elastyczny podział na grupy uczniowskie (grupowanie, filtry, dodatkowe cechy zdefiniowane przez użytkownika). Model jednorocznej EWD uwzględniający uczniów drugorocznych. W kalkulatorze zaimplementowane są modele jednorocznej EWD dla gimnazjów na skali 100/15 za lata 2009, 2010, 2011, 2012, 2013 uwzględniające uczniów drugorocznych. Porównywanie między latami. Kalkulator pozwala na porównywanie danych między różnymi latami, z jednej bądź kilku szkół. Nowe rodzaje wykresów Oprócz analiz znanych z poprzedniego Kalkulatora, dostępne są nowe wykresy: Rozkład wyników, Rozkład wyników przewidywanych oraz Rozkład potencjałów, a od wersji 1.2 także Średnie wyniki oraz Krzywe przewidywanego wyniku Od wersji moduł maturalny Możliwe jest analizowanie wyników maturalnych z matematyki (poziom podstawowy). Zaimplementowane są modele jednorocznej EWD na skali 100/15 za lata 2010, 2011, 2012 uwzględniające uczniów drugorocznych. Kalkulator EWD 100 jest rozszerzeniem i bezpośrednim następcą Kalkulatora EWD Plus. Podstawowa zmiana polega na zastosowaniu skali 100/15, zarówno w przypadku wyników na sprawdzianie, jak i na wyników egzaminu gimnazjalnego. Konsekwencją zastosowania skali 100/15 jest możliwość Projekt

23 Strona23 porównania wyników między latami oraz uwzględnienia w modelach uczniów o wydłużonym toku kształcenia. W module maturalnym również zastosowano skalę 100/15, na której przedstawiono wyniki egzaminu gimnazjalnego w części matematyczno-przyrodniczej oraz wyniki z matematyki maturalnej (poziom podstawowy). 2. Przygotowanie i wczytanie danych do Kalkulatora EWD 100, a) Przygotowanie danych Dane do kalkulatora EWD 100 z danymi z egzaminu gimnazjalnego od roku 2012 najlepiej przygotować w następującym formacie: Rysunek 11 Zrzut ekrany szablon danych do kalkulatora Pliki z danymi z roku 2010 i 2011 roku będą różniły się jedynie kolumnami z wynikami egzaminu gimnazjalnego: zamiast czterech kolumn z danymi będą dwie kolumny: z wynikami GH (części humanistycznej) oraz GMP (części matematycznoprzyrodniczej). Ważne! Proszę zwrócić uwagę na oznaczenia części matematyczno-przyrodniczej egzaminu gimnazjalnego. Należy rozróżnić zapis GM-P (część matematycznoprzyrodnicza z zakresu przedmiotów przyrodniczych od 2012 roku) oraz zapis GMP (część matematyczno-przyrodnicza wg formuły do 2012 roku, a od roku połączone wyniki GM-M oraz GM-P). Dane do kalkulatora EWD 100 z danymi z egzaminu maturalnego od 2010 roku najlepiej przygotować w następującym formacie: Projekt