Autorzy: Krystyna Szmigel Ewa Stożek Wydawca: Instytut Badań Edukacyjnych ul. Górczewska 8 01-180 Warszawa tel. (22) 241 71 00; www.ibe.edu.pl Materiały opracowana w ramach projektu systemowego: Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej, współfinansowanego przez Unię Europejską ze środków Europejskiego Funduszu Społecznego, realizowanego przez Instytut Badań Edukacyjnych. 2
Spis Treści 1. Wprowadzenie...4 2. Dostępne narzędzia...6 2.1. Skala wyników maturalnych... 6 2.2. Graficzna prezentacja trzyletnich maturalnych wskaźników EWD... 7 2.3. Odczytywanie informacji z wykresów... 8 2.4. Kalkulator EWD 100... 11 3. Przykłady opisu efektów kształcenia... 12 3.1. Liceum ogólnokształcące K... 12 3.2. Technikum H... 15 3.3. Oczekiwane efekty kształcenia... 18 3.4. Koncepcja pracy szkoły... 19 4. Efektywność nauczania matematyki... 20 4.1. Wyrównywanie szans... 24 4.2. Zróżnicowana efektywność nauczania w klasach... 24 4.3. Efektywność nauczania matematyki w klasie autorskiej... 26 4.4. Zmiany w naborze do szkoły a efektywność nauczania... 27 5. Co można analizować w szkole?... 28 6. Literatura... 28
1. Wprowadzenie Metoda edukacyjnej wartości dodanej w Polsce jest rozwijana od 2006 roku, głównie dla szkół gimnazjalnych. Na wczesnym etapie rozwoju metody podejmowano również próby opracowania modelu EWD dla szkół kończących się maturą (Dolata, Pokropek, 2007; Pokropek 2008), ale problem ten nastręczał wiele problemów: duża ilość i różnorodność egzaminów (na różnych poziomach trudności), możliwość swobodnego wyboru przedmiotów (oraz ich poziomów trudności) zdawanych na maturze, różne typy szkół prowadzące do tego samego egzaminu. Dopiero wraz ze zmianą formuły egzaminu maturalnego w 2010 roku, kiedy to wszyscy maturzyści obowiązkowo zdają na poziomie podstawowym egzamin z języka polskiego i matematyki stało się możliwe opracowanie odpowiedniego modelu edukacyjnej wartości dodanej. Dzięki temu, że istnieje część egzaminu zdawana obwiązkowo przez wszystkich istnieje możliwość zastosowania teorii odpowiedzi na zadanie testowe do skalowania wyników egzaminacyjnych i budowania złożonych wskaźników EWD. Początkowo, w 2010 roku, były to tylko wskaźniki dla matematyki i języka polskiego, w 2011 po raz pierwszy zostały opublikowane złożone dwuletnie wskaźniki EWD humanistyczny i matematycznoprzyrodniczy. EWD humanistyczne obejmuje język polski, historię i wiedzę o społeczeństwie, natomiast EWD matematyczno-przyrodnicze obejmuje matematykę, fizykę, chemię, biologię, geografię oraz informatykę. W 2012 roku opublikowano trzyletnie maturalne wskaźniki EWD, tym samym osiągając założoną postać wskaźników. Obecnie publikowane są na stronie http://matura.ewd.edu.pl cztery trzyletnie wskaźniki EWD: polonistyczny, matematyczny, humanistyczny i matematyczno-przyrodniczy. W 2013 roku zostaną opublikowane wskaźniki za kolejny trzyletni okres, obejmujące lata 2011-2013, co pozwoli śledzić zmiany w efektywności nauczania. W 2013 roku został przygotowany Kalkulator EWD 100, który umożliwia analizowanie wyników egzaminacyjnych i EWD dla matematyki zdawanej obowiązkowo na poziomie podstawowym w podziale na klasy i inne, także zdefiniowane przez użytkownika, grupy uczniowskie. To kolejne narzędzie udostępniane szkołom poszerza możliwości zastosowania analiz opartych na EWD do ewaluacji wewnątrzszkolnej. W Kalkulatrze zaimplementowano jednoroczne modele EWD dla lat 2010, 2011, 2012. Jesienią 2013 roku Kalkulator zostanie poszerzony o modele obejmujące rok 2013. W tym opracowaniu nie koncentrujemy uwagi na tym, w jaki sposób powatawał model EWD i jakich, bardzo zaawansowanych metod statystycznych użyto do jego opracowania (Żółtak, 2013). Nasza uwaga będzie skoncentrowana na sposobach wykorzystania dostępnych wskaźników i narzędzi do prowadzonych w szkole analiz wyników egzaminacyjnych. Pokażemy i opiszemy wiele przykładów, analiza których może posłużyć inspiracją do wykonania podobnych analiz w swojej szkole. 4
Co warto przeczytać przed analizowaniem przykładów opisanych w tej broszurze szkoleniowej: 1. Broszura informacyjna Maturalne wskaźniki edukacyjnej wartości dodanej http://ewd.edu.pl/aktualnosci/ewd-matura.pdf 2. Opisy trzyletnich wskaźników EWD na stronie http://matura.ewd.edu.pl 3. Opisy kalkulatora EWD 100 na stronie http://ewd.edu.pl/kewd100 4. E. Stożek, Maturalne wskaźniki EWD w pytaniach i odpowiedziach. Dyrektor Szkoły 2(201)/2011, s. 37-43, http://ewd.edu.pl/downloads/publikacje/ds_02_2011.pdf 5. A.Rappe, Wykorzystanie informacji o wynikach egzaminacyjnych w pracy nadzoru pedagogicznego, ze szczególnym uwzględnieniem EWD (2012) s.20-29 http://ewd.edu.pl/materialy-szkoleniowe/broszura_ewal_v1.pdf 5
2. Dostępne narzędzia 2.1. Skala wyników maturalnych Konstrukcję złożonych wskaźników EWD poprzedza procedura skalowania wyników z uwzględnieniem trudności poszczególnych zadań i zbudowanie nowych skal: skali wyniku maturalnego humanistycznego (skali umiejętności humanistycznych) oraz skali wyniku maturalnego matematyczno-przyrodniczego (skali umiejętności przyrodniczych), skali wyniku maturalnego z języka polskiego (skali umiejętności polonistycznych) oraz skali wyniku maturalnego z matematyki (skali umiejętności matematycznych). Wyniki maturalne przedstawiono na standaryzowanych skalach o średniej 100 i odchyleniu standardowym 15. Przy modelowaniu maturalnych wskaźników EWD jako miary wyników na wejściu wykorzystywane są wyskalowane wyniki części humanistycznej egzaminu gimnazjalnego dla wskaźników polonistycznego i humanistycznego, oraz wyskalowane wyniki części matematyczno-przyrodniczej egzaminu gimnazjalnego dla wskaźników matematycznego i matematyczno-przyrodniczego. Skalowanie wyników przeprowadzoane jest na zbiorze wszystkich wyników egzaminacyjnych, natomiast standaryzacja wyników jest osobno przeprowadzona dla zbioru wyników maturzystów liceów ogólnokształcących i osobno dla zbioru wyników maturzystów w technikach. Podobnie modelowanie wskaźników EWD przeprowadzono oddzielnie dla zbioru wyników maturzystów liceów ogólnokształcących i techników, co oznacza, że nieuprawnione jest porównywanie wyników między tymi typami szkół. Uwzględniani są przy tym zarówno uczniowie, o standardowym toku kształcenia (trzyletnim w przypadku LO i czteroletnim w przypadku techników), jak również uczniowie, których tok kształcenia uległ wydłużeniu o jeden rok. Przykład Rysunek 1. Średnie wyniki z matematyki, poziom podstawowy (MMA-P) w 2012 roku w różnych typach szkół. Źródło: Raport CKE Osiągnięcia maturzystów w 2012 roku, s.72 Na rysunku 1. przedstawiono średnie wyniki z egzaminu maturalnego z matemtyki na poziomie podstawowym wg typów szkół. Zwraca uwagę duża dysproporcja między uczniami liceów ogólnokształcących a maturzystami ze szkół innych typów. Mając to na uwadze oraz pamiętając o tym, że wyniki są przedstawiane na skali standardoweje 100/15 dla LO i dla techników osobno, lepiej możemy zrozumieć dane zawarte w tabeli nr 1. Niższy wynik procentowy w Technikum S niż w LO B jest bardzo wysokim osiągnięciem na tle wyników innych techników jest znacząco wyższy od średniego wyniku maturzystów techników w kraju, choć tylko nieznacznie jest wyższy od średniego wyniku absolwentów liceów. Średni wynik z matematyki na poziomie podstawowym w Technikum S jest wyższy o 0,87 odchylenia standardowego od średniej krajowej dla techników. Wysoki wynik 6
osiągnięty przez absolwentów LO B w 2012 roku też jest wyższy od średniego wyniku w kraju dla liceów ogólnokształcących, ale o 0,67 odchylenia standardowego od średniej. Tabela 1. Średnie wyniki z matematyki, poziom podstawowy (MMA-P) w 2012 roku dwóch szkół LO B oraz Technikum S. 2.2. Graficzna prezentacja trzyletnich maturalnych wskaźników EWD Dla prezentacji trzyletnich wskaźników maturalnych EWD przyjęto formę graficzną: na jednym wykresie pokazano jednocześnie wyniki egzaminacyjne oraz EWD. Szkołę reprezentuje elipsa (obszar ufności), wielkość której zależy od liczby uczniów w szkole i zróżnicowania wyników. Elipsę szkoły należy traktować jako obszar ufności, czyli obszar w którym z 95% prawdopodobieństwem znajduje się prawdziwy wynik/ewd szkoły. Im więcej uczniów przystąpiło w szkole do egzaminu maturalnego, a ich wyniki bliższe są średniego wyniku szkoły, tym mniejsza elipsa. Dwie środkowe (szare) elipsy, których środkiem symetrii jest początek układu współrzędnych, zwane warstwicami, wskazują obszary, w których koncentruje się odpowiednio około 50% i około 90% średnich wyników szkół. Innymi słowy warstwice określają obszar najbardziej typowych wyników. Uzupełnieniem graficznej prezentacji wyniku egzaminacyjnego i EWD są tabele, w których podano informację o liczbie osób, które przystąpiły w szkole do egzaminu maturalnego w latach 2010-2012 wraz ze strukturą wyboru przedmiotów i poziomów egzaminów. Rysunek 2. Graficzna prezentacja trzyletnich wskaźników EWD 7
2.3. Odczytywanie informacji z wykresów Odczytując informacje o szkole na podstawie graficznej prezentacji wskaźników EWD (rys. 2) warto wziąć pod uwagę: zakres czasowy danych, położenie elipsy w ćwiartce/ćwiartkach wykresu względem osi EWD/osi wyniku maturalnego względem warstwic ( szarych elips) względem początku układu współrzędnych wielkość elipsy i liczbę zdających, zróżnicowanie wskaźników pomiędzy częściami egzaminu, lokalne układy odniesienia (np.powiat) Położenie elipsy w układzie współrzędnych można scharakteryzować odległością (mierzoną np. w odchyleniach standardowych) jej środka symetrii od osi. Im bardziej w prawo przesunięta elipsa, tym wyższy wynik końcowy uzyskała szkoła. Im bardziej elipsa przesunięta do góry, tym większa efektywność nauczania w zakresie danego przedmiotu charakteryzuje szkołę. Ale istotna jest nie tylko odległość od środka układu współrzędnych ważne jest usytuowanie szkoły względem innych szkół, co pozwala ocenić na ile wynik tej szkoły jest typowy. Warstwice (dwie duże szare elipsy w środku układu współrzędnych) pokazują właśnie typowe położenie innych szkół. Elipsa na Rysunku 3. ilustruje szkołę o wyniku egzaminacyjnym z matematyki wyższym niż średni wynik (o około 0,5 odchylenia standardowego) w kraju oraz przeciętnym EWD (elipsa przecina oś poziomą). Średni wynik szkoły mieści się w grupie 90% szkół (większa warstwica) o typowych wynikach. Do egzaminu maturalnego w tej szkole przystąpiło w trzech kolejnych edycjach egaminu 57 uczniów, jest to zatem niewielka szkoła, w której do egzaminu maturalnego co roku przystępuje jeden oddział klasowy. Rysunek 3. Położenie elipsy szkoły w układzie współrzędnych 8
Rysunek 4. Nietypowe położenie elipsy szkoły w układzie współrzędnych Położenie przykładowej szkoły, przedstawionej na rysunku 4. jest nietypowe: elipsa szkoły leży poza obszarem warstwicy 90% (czyli należy do 10% szkół o nietypowych wynikach). Nietypowym dla tej szkoły jest duża wartość EWD przy wyniku maturalnym wyższym o 0,17 odchylenia standardowego od średniego wyniku maturzystów dla danego typu szkoły. Tak duża wartość EWD byłaby bardziej typowa statystycznie dla szkoły o wyniku końcowym powyżej jednego odchylenia standardowego od średniej. W przypadku tej szkoły wysokie EWD pokazuje wyjątkowo efektywną pracę szkoły w zakresie nauczania matematyki. Rysunek 5. Przedziałowe oszacowanie dla EWD i wyniku egzaminacyjnego W przypadku wyniku egzaminacyjnego i EWD możemy mówić o oszacowaniach punktowych (środek symetrii elipsy) oraz oszacowaniach przedziałowych (rzut elipsy na osie). Bardziej precyzyjne i ważniejsze ze względu na porównywanie szkół między sobą jest oszacowanie przedziałowe. Podany przykład elipsy na rysunku 5. odpowiada pozycji szkoły o wysokich wynikach maturalnych i wysokiej efektywności mierzonej EWD (prawa górna ćwiartka) z języka polskiego. Średni wynik z języka polskiego jest wyższy od wyniku krajowego o 0,8 odchylenia standardowego (12 pkt. na skali standardowej 100/15), a efektywność nauczania wyższa niż w szkołach, które na wejściu rozpoczęły pracę z podobną pod względem potencjału grupą uczniów o 0,43 odchylenia standardowgo (6,5 punktów ma skali standardowej o średniej 0 i odchyleniu standardowym 15). Jednak uwzględniając stopień niepewności statystycznej szacowania wskaźników należałoby powiedzieć, że wynik egzaminacyjny znajduje się w przedziale (110pkt;114,5pkt), a wartość edukacyjnej wartości dodanej lokuje się w przedziale od 5 do 8 punktów. Porównując rysunki 4. i 5. warto zwrócić uwagę na kształt warstwic dla języka polskiego oraz matematyki. Zarówno kąt nachylenia wielkiej osi, jak i jej długość są różne. Inny jest bowiem rozkład wyników i EWD między szkołami ze względu na przedmiot: większe zróżnicowanie wyników obserwujemy w przypadku matematyki. 9
Rysunek 6. Przykłady położenia elips w układzie współrzędnych przedmioty matemtyczno-przyrodnicze a) średni wynik egzaminacyjny, ponadprzeciętna efektywność nauczania mierzona EWD b) niżej średniego wynik egzaminacyjny, ponadprzeciętna efektywność nauczania mierzona EWD c) średni wynik egzaminacyjny, niżej przeciętna efektywność nauczania mierzona EWD d) wysoki wynik egzaminacyjny, wysoka efektywność nauczania mierzona EWD Rysunki 6. i 7. pokazują przykłady różnych pozycji elipsy reprezentującej wyniki szkoły. Elipsa niebieska narysunku 7a ilustruje szkołę o niskich wynikach maturalnych i niskiej efektywności mierzonej EWD (lewa dolna ćwiartka) w zakresie przedmiotów humanistycznych: języka polskiego, historii i wiedzy o społeczeństwie. Wynik egzaminacyjny jest niższy o 10 punktów (2/3 odchylenia standardowego) od wyniku średniego w kraju. Wskaźnik EWD mieści się w przedziale od około 7 do 3. Przeciętny maturzysta w tej szkole uzyskał na egzaminie maturalnym wynik prawie o 5 punktów niższy na skali przedmiotów humanistycznych niż by to wynikało z jego uprzednich osiągnięć na egzaminie gimnazjalnym w części humanistycznej. Przeanalizowanie poszczególnych przykładów zostawiamy jako ćwiczenie dla czytelnika. 10
Rysunek 7. Przykłady położenia elips w układzie współrzędnych przedmioty matemtyczno-przyrodnicze a) niższy od średniego wynik egzaminacyjny, niska efektywność nauczaniamierzona EWD b) ponadprzeciętny wynik egzaminacyjny, przeciętna efektywność nauczania mierzona EWD c) ponadprzeciętny wynik egzaminacyjny, niska efektywność nauczania mierzona EWD d) niższy od średniego wynik egzaminacyjny, przeciętna efektywność nauczania mierzona EWD 2.4. Kalkulator EWD 100 Kalkulator EWD 100 jest narzędziem umożliwiającym prowadzenie analiz wyników egzaminacyjnych z wykorzystaniem metody edukacyjnej wartości dodanej. Od wersji 1.1.3 można w kalkulatorze analizować również wyniki egzaminu maturalnego z matematyki (poziom podstawowy) od 2010 roku. Wyniki i analizy przedstawiane są na standardowej skali, o średnim wyniku 100 i odchyleniu standardowym 15. Do kalkulatora zostały zaimplementowane modele jednorocznej EWD dla matematyki (poziom podstawowy) za lata 2010, 2011, 2012, uwzględniające uczniów drugorocznych. Możliwe jest porównywanie danych między różnymi latami, z jednej bądź kilku szkół. W kalkualatorze dostępne są różne formy wykresów, m.in. o wykres rozrzutu pozwala na jednym wykresie zobaczyć wynik ucznia na egzaminie gimnazjalnym w części matematyczno-przyrodniczej i na egzaminie maturalnym z matematyki. Krzywa przewidywanego wyniku, wyrysowana dla całej populacji zdających, odpowiada określonemu rocznikowi. o wykres EWD z przedziałami ufności pozwala porównać ze względu na EWD różne grupy uczniów. Podział na grupy można wykonać poprzez grupowanie oraz filtry. 11
o rozkłady potencjałów pozwalają porównywać między sobą grupy uczniów ze względu na potencjał uczniowski na wejściu ustalony na podstawie wyników na egzaminie poprzedniego etapu kształcenia. o rozkład wyników przewidywanych i rzeczywiście uzyskanych jest inną formą ilustracji pojęcia edukacyjnej wartości dodanej i pokazuje o ile punktów szkole udało się przesunąć przeciętnego ucznia w stosunku do wyniku przewidywanego. o rozkłady reszt pozwalają m.in. porównać zróżnicowanie reszt w szkole z rozkładem krajowym. Uzupełnieniem prowadzonych analiz są tabele, które udostępniają wiele wskaźników liczbowych, dotyczących zarówno EWD jak i wyników egzaminu maturalnego z matematyki (poziom podstawowy). Kalkulator EWD 100 można pobrać ze strony http://ewd.edu.pl/kewd100/pobierz 3. Przykłady opisu efektów kształcenia 3.1. Liceum ogólnokształcące K Liceum K. jest jednym z pięciu liceów ogólnokształcących w powiecie K. Na podstawie wyboru przedmiotów maturalnych trudno określić, jaki jest profil tego liceum. Do egzaminu maturalnego w latach 2010-2012 przystąpiło łącznie 356 uczniów, z czego tylko 37 dodatkowo wybrało egzamin z języka polskiego na poziomie rozszerzonym. Prawie co czwarty uczeń wybrał dodatkowo wiedzę o społeczeństwie, a 7% zdających wybrało historię. Oba te przedmioty część uczniów zdawała na poziomie podstawowym, a część na rozszerzonym. Tabela 2. Przedmioty zdawane na egzaminie maturalnym w Liceum K przedmioty humanistyczne przedmiot łącznie poziom rozszerzony j.polski 356 37 historia 24 15 WOS 85 56 Rysunek 8. Efekty kształcenia w zakresie przedmiotów humanistycznych Wyniki egzaminów maturalnych z przedmiotów humanistycznych należy ocenić jako nieco wyższe niż przeciętne przy ponadprzeciętnej efektywności. Położenie elipsy dla wskaźnika z języka polskiego pokrywa się z położeniem w układzie współrzędnych wskaźnika humanistycznego. 12
Tabela 3. Przedmioty zdawane na egzaminie maturalnym w liceum K przedmioty matematycznoprzyrodnicze przedmiot łącznie poziom rozszerzony matematyka 356 97 biologia 65 48 chemia 16 14 fizyka 2 1 geografia 97 59 informatyka 1 0 Wskaźniki egzaminacyjne dla przedmiotów matematyczno-przyrodniczych są ściśle związane z wynikami z matematyki. W tej grupie przedmiotów uczniowie zdający maturę najczęściej wybierali geografię (27%) i biologię (18%). Znacznie rzadziej wybierali chemię (4%) i sporadycznie fizykę i informatykę. Rysunek 9. Efekty kształcenia w zakresie przedmiotów matemtyczno-przyrodniczych Wyniki egzaminów maturalnych z przedmiotów matematyczno-przyrodniczych i matematyki należy ocenić jako przeciętne przy efektywności nieco wyższej od przeciętnej. Elipsa szkoły ulokowana jest nieco powyżej środka układu współrzędnych, w obrębie ciemno szarej elipsy (warstwicy), w której występuje najliczniejsza w kraju grupa liceów. Rysunek 10. Licea ogólnokształcące w powiecie K. Przedmioty humanistyczne. Liceum K fioletowa elipsa 13
Poniżej przedstawiono liczbę zdających i strukturę wyboru przedmiotów obowiązkowych (język polski) i dodatkowych wybieranych przez uczniów (historia i wiedza o społeczeństwie na obu poziomach oraz język polski na poziomie rozszerzonym). Tabela 4. Przedmioty zdawane na egzaminie maturalnym w liceach powiatu K przedmioty humanistyczne elipsa niebieska elipsa żółta elipsa zielona elipsa bordowa przedmiot łącznie poziom rozszerzony łącznie poziom rozszerzony łącznie poziom rozszerzony łącznie poziom rozszerzony j.polski 111 8 108 14 391 45 312 99 historia 3 0 5 2 22 14 30 29 WOS 23 17 13 4 75 31 62 62 Analizowane liceum (fioletowa elipsa) należy do grupy 3 największych liceów w powiecie. W ciągu trzech lat do egzaminu maturalnego w każdej ze szkół przystąpiło od 301 do 356 uczniów. Oprócz nich istnieją dwa mniejsze licea (elipsy większe niebieska i żółta), w których liczba uczniów, która przystąpiła do egzaminu maturalnego wynosi 111 i 108 odpowiednio. Szkoły znacznie różnią się wynikami egzaminacyjnymi. Różnica wyniku egzaminacyjnego z języka polskiego odpowiada jednemu odchyleniu standardowemu (wahając się od 98 do 112 punktów) w skali 100/15. Trzy licea mają zbliżone wyniki egzaminacyjne do wartości średniej krajowej i przeciętne EWD. Dwa pozostałe znacznie różnią się efektywnością (-5 i +7). Liceum o bordowej elipsie odpowiada typowi szkoły z wysokimi wynikami i wysokim EWD (prawa górna ćwiartka), a liceum o niebieskiej elipsie odpada typowi szkoły o niskich wynikach maturalnych i niskiej efektywności mierzonej EWD (lewa dolna ćwiartka).wyniki pozostałych przedmiotów humanistycznych (historii i wos-u nie mają wpływu na zmianę pozycji liceów względem siebie i zmianę wyników egzaminu maturalnego i EWD). Rysunek 11. Licea ogólnokształcące w powiecie K. Przedmioty matematyczno-przyrodnicze. Liceum K fioletowa elipsa Poniżej przedstawiono strukturę wyboru przedmiotów dodatkowych i matematyki na poziomie podstawowym (jako przedmiotu obowiązkowego). Matematyka na poziomie rozszerzonym jest także jednym z przedmiotów do wyboru przez uczniów. Na wykresach przedstawiono pięć liceów, tworzących na układzie współrzędnych 3 skupienia wyników. Jedno reprezentują dwa licea o niskich wynikach i niskiej efektywności (dolna lewa ćwiartka elipsy żółta i niebieska). Drugie skupienie obejmuje dwa, których wyniki zbliżone są do wyników średnich i przeciętnej lub nieco wyższej efektywności. W tej grupie znajduje się analizowane liceum, które w obu obszarach czyli, wyniku egzaminacyjnym i EWD ma nieco lepsze wyniki. Piąte z kolei 14
liceum podobnie jak w obszarze języka polskiego i przedmiotów humanistycznych uzyskuje zdecydowanie wyższe wyniki egzaminacyjne niż średnie w kraju o 12 punktów w skali 100/15 i dodatnie EWD (+3 punkty). Analiza porównawcza obu wskaźników (matematycznego i matematyczno-przyrodniczego) wykazuje duży stopień podobieństwa z zauważalną drobną różnicą efektywności dla liceum reprezentowanego przez zieloną elipsę. Efektywność nauczania matematyki jest przeciętna, a przedmiotów matematyczno-przyrodniczych nieco niższa. Tabela 5. Przedmioty zdawane na egzaminie maturalnym w liceach powiatu K przedmioty matematycznoprzyrodnicze elipsa niebieska elipsa żółta elipsa zielona elipsa bordowa przedmiot łącznie poziom rozszerzony łącznie poziom rozszerzony łącznie poziom rozszerzony łącznie poziom rozszerzony matematyka 111 0 108 10 391 71 312 103 biologia 15 7 26 14 100 47 74 66 chemia 0 0 7 2 32 31 59 58 fizyka 0 0 1 1 14 11 18 18 geografia 22 13 44 6 107 61 57 56 informatyka 0 0 2 1 2 1 0 0 W czterech z pięciu liceów uczniowie najczęściej wybierali wśród przedmiotów dodatkowych geografię, a w jednym biologię. Uczniowie liceów zdawali 5 różnych przedmiotów dodatkowych decydując się na ich zdawanie zarówno na poziomie podstawowym jak i rozszerzonym. Częstość wyboru dodatkowych przedmiotów przez uczniów jest większa w szkołach, które uzyskały wyższe wyniki egzaminacyjne i wyższą efektywność. Strukturę wyboru przedmiotów maturalnych w liceach przedstawiono w tabeli 3 i 5. Zauważmy przy tej okazji, że przystępowanie maturzystów w danej szkole do egzaminów z dużej liczby przedmiotów, jak również do egzaminów na poziomie rozszerzonym, nie wpływa bezpośrednio na oszacowanie ewaluacyjnych wskaźników egzaminacyjnych. Faktycznie obserwujemy, że szkoły, w których maturzyści ambitnie wybierają egzaminy, wypadają statystycznie lepiej. Jednak dzieje się tak nie dlatego, że sam ambitny wybór zwiększa szanse na wysoki wynik, a dlatego, że przyczyną takich wyborów jest statystycznie wyższy poziom umiejętności zdających. Jeżeli jednak, za wyborem poziomu rozszerzonego nie idzie wysoki poziom umiejętności, to nie przekłada się to na wyższe wyniki egzaminacyjne. 3.2. Technikum H Technikum w mieście powiatowym B. Technikum kształci w zawodach: technik hotelarstwa, technik ekonomista, technik żywienia i usług gastronomicznych. W rankingu prowadzonym przez Perspektywy szkoła znajduje się wśród 150 najlepszych szkół w Polsce. Na rysunku 12. zestawiono informacje o czterech trzyletnich wskaźnikach egzaminacyjnych i EWD. Wskaźniki, których obrazem graficznym są elipsy zostały wyliczone na podstawie połączonych wyników egzaminów gimnazjalnychi maturalnych, dla 426 uczniów, którzy przystąpili w szkole do egzaminu maturalnego w latach 2010-2012. 15
Rysunek 12. Efekty kształcenia w Technikum H. Technikum H. to szkoła o wysokich wynikach maturalnych i wysokiej efektywności mierzonej EWD. Szczególnie wysoka efektywność nauczania występuje w zakresie przedmiotów matematycznoprzyrodniczych, w tym przede wszystkim matematyki. Elipsy ilustrujące wyniki szkoły leżą poza obszarem 90% typowych wyników. Średni wynik egzaminu maturalnego za lata 2010-2012 jest wyższy od wyniku krajowego niemal o jedno odchylenie standardowe (15 pkt. na skali 100/15), a EWD aż o 11 pkt. Tabele na rysunku 12. pokazują strukturę wyboru przedmiotów i poziomów egzaminów zdawanych przez uczniów. Wynika z nich, że poza przedmiotami obowiązkowymi uczniowie zdawali 5 innych 16
przedmiotów z grupy przedmiotów do wyboru. Najczęściej wybierali geografię i wiedzę o społeczeństwie. Kilku uczniów zdawało egzaminy na poziomie rozszerzonym. Analiza porównawcza wyników szkół w powiecie z przedmiotów humanistycznych i języka polskiego wykazuje, że analizowane technikum (elipsa żółta) uzyskuje najwyższe wyniki egzaminacyjne. Równie wysoką efektywność nauczania mierzoną EWD uzyskano jeszcze jedno technikum w powiecie, które na rysunku 13. Reprezentuje fioletowa elips ( 292 uczniów). Natomiast z zakresu przedmiotów matematyczno-przyrodniczych i matematyki nie znajduje konkurencji w powiecie uzyskując zdecydowanie najwyższe wyniki egzaminacyjne i efektywność nauczania. Rysunek 13. Efekty kształcenia w technikach powiatu B. 17
3.3. Oczekiwane efekty kształcenia Tabela 6. zawiera informację o wybieralności przedmiotów maturalnych w trzech liceach ogólnokształcących tej samej wielkości. Na podstawie wybieralności przedmiotów przyrodniczych na maturze spróbujmy określić ich specyfikę. Liceum X to szkoła o wyraźnym profilu matematycznofizycznym: do egzaminu maturalnego z matematyki i fizyki przystępują niemal wszyscy uczniowie na poziomie rozszerzonym. Oferta edukacyjna w Liceum Y jest szersza są klasy matematycznofizyczne, ale jednocześnie są też klasy biologiczno-chemiczne. Uczniowie wybierający na maturze jako przedmiot dodatkowy biologię, chemię czy geografię wybierają je głównie na poziomie rozszerzonym. Inaczej jest w przypadku Liceum Z tu grupa uczniów, wybierających przedmioty dodatkowe jest dużo mniejsza, wybór zdawania przedmiotu dodatkowego na poziomie rozszerzonym jest raczej rzadkością. Tabela 6. Wybieralność przedmiotów matematyczno-przyrodniczych w trzech liceach Liceum X Liceum Y Liceum Z przedmiot łącznie poziom rozszerzony łącznie poziom rozszerzony łącznie poziom rozszerzony matematyka 176 175 176 59 176 18 biologia 5 5 67 50 52 12 chemia 52 52 46 39 23 3 fizyka 124 124 42 2 14 0 geografia 1 0 28 24 46 8 informatyka 0 0 0 0 1 0 Uczniowie tych szkół różnią się wyraźnie ze względu na planowaną dalszą ścieżkę edukacyjną. Maturzyści Liceum X będą ubiegać się o miejsca na studiach technicznych, ale nie na studiach medycznych. W przypadku Liceum Y dla części uczniów możliwe są różne dalsze ścieżki edukacyjne. Dla wielu uczniów w Liceum Z ważne jest przede wszystkim uzyskanie świadectwa dojrzałości, a na dalszym planie studiowanie na wymagającej uczelni wyższej. Oferta Liceum Y jest dość typowa dla tzw. liceów z tradycjami w mniejszych miejscowościach, gdzie mniejsza liczba kandydatów do liceum wymusza szeroką ofertę edukacyjną. Oferta Liceum X, wąska specjalizacja, jest możliwa tylko w dużym mieście tylko tam bowiem może się znaleźć odpowiednio dużo kandydatów, zainteresowanych taką ofertą. Natomiast Liceum Z wyraźnie pracuje z młodzieżą o mniejszych aspiracjach i jak należy się domyślać o słabszym potencjale edukacyjnym. Jakie powinny być efekty kształcenia w tych szkołach? Czy w każdej z nich można uzyskać równie wysokie wyniki egzaminacyjne? Wysoka specjalizacja (zapewne związana z większą liczbą godzin) powinna przełożyć się na wysoki wynik. Temu wynikowi powinna towarzyszyć dodatnia EWD, która potwierdzałaby fakt wykorzystania potencjału uczniowskiego na wejściu. Niższy wynik egzaminacyjny w Liceum Y nie dziwiłby, ale oczekiwalibyśmy również wysokiej efektywności. W Liceum Z celem mógłby być średni wynik egzaminacyjny przy dodatniej EWD. Rysunek 14. ilustruje faktycznie uzyskane efekty kształcenia w tych szkołach. 18
Rysunek 14. Efekty kształcenia w Liceum X (fioletowa elipsa), Liceum Y (różowa elipsa), Liceum Z (żółta elipsa). Efekty kształcenia w Liceum X i Y są zgodne z naszymi oczekiwaniami: obie szkoły uzyskały podobną, wysoką EWD oraz wysokie, ponadprzeciętne wyniki egzaminacyjne, choć w Liceum X są one zdecydowanie wyższe (ponad jedno odchylenie standardowe od średniej w kraju). Liceum Z uzyskało wyniki poniżej naszych oczekiwań, ale ważne jest, że pracowano w tej szkole na miarę możliwości jej uczniów wskaźnik EWD jest zerowy, a to znaczy, że wynik poniżej średniej jest efektem słabego naboru do szkoły, a nie słabej pracy nauczycieli. Czy ta szkoła mogłaby uzyskiwać średnie wyniki maturalne? Wydaje się być to realistycznym celem dla tej szkoły, a droga do jego osiągnięcia wiedzie zapewne przez efektywniejsze nauczanie matematyki (to matematyka ma największy wkład w pozycję szkoły na osi egzaminu maturalnego matematyczno-przyrodniczego). 3.4. Koncepcja pracy szkoły Na przykładzie Liceum P przedyskutujmy problem zróżnicowania wyników w zakresie przedmiotów humanistycznych i matematyczno-przyrodniczych. W przypadku szkół ponadgimnazjalnych duże różnice w efektywności nauczania w zakresie przedmiotów humanistycznych i matematycznoprzyrodniczych nie muszą być niepokojącym sygnałem. W szkołach nastawionych na nauczanie w zakresie przedmiotów ścisłych często można obserwować słabsze wyniki w części humanistycznej. Wartość maturalnego wskaźnika EWD humanistycznego głównie zależy od wyników z języka polskiego, który jest egzaminem obowiązkowym. Większość uczelni wyższych w procesie rekrutacyjnym nie uwzględnia wyników z języka polskiego, dlatego też często uczniowie w swoich strategiach egzaminacyjnych podchodzą minimalistycznie do tego przedmiotu celem jest przekroczenie progu zaliczeniowego, a nie uzyskanie wysokiego wyniku. Jest to dość zrozumiała strategia, która jednak nie powinna prowadzić do skrajnych sytuacji. W poniższej Tabela 7 przedstawiono wybieralność przedmiotów maturalnych w Liceum P. tej szkole głównie wybierane są przedmioty matematyczno-przyrodnicze niemal 100% uczniów przystępuje do rozszerzonej matemtyki, a 67% uczniów zdaje fizykę na poziomie rozszerzonym. Praktycznie nie 19
sąwybierane na maturze przedmioty humanistyczne, wszyscy przystępujądo obowiązkowego egzaminu z języka polskiego na poziomie podstawowym. Jakich efektów kształcenia można oczekiwać w tego typu szkole w zakresie języka polskiego? Tabela 7. Wybierane przedmioty maturalne w Liceum P. przedmiot łącznie poziom rozszerzony j.polski 253 5 historia 2 2 matematyka 253 251 biologia 13 13 chemia 75 74 fizyka 170 170 geografia 4 3 Rysunek 15. przedstawia wyniki Liceum P: są to ponadprzeciętne średnie wyniki egzaminacyjne przy dodatnim EWD w obszarze przedmiotów matematyczno-przyrodniczych i poniżej przeciętnej wyniki maturalne z języka polskiego przy bardzo niskiej efektywności ich nauczania (EWD ujemne). Tak duża różnica w efektach kształcenia w tych dwóch obszarach może niepokoić, ale może też być rezultatem świadomie przyjętej koncepcji pracy szkoły (a w konsekwencji strategii egzaminacyjnych uczniów), ukierunkowanej na rozwój w zakresie przedmiotów ścisłych. W każdym przypadku ta sytuacja powinna stać się przedmiotem namysłu rady pedagogicznej. Rysunek 15. Czy efektywność nauczania języka polskiego w Liceum P. powinna niepokoić? 4. Efektywność nauczania matematyki Korzystając z kalkulatora EWD 100 możemy analizować efektywność nauczania matematyki w szkole według klas, potencjału uczniowskiego, płci itp. Mamy możliwość przeprowadzenia analizy jednorocznej za lata 2010, 2011, 2012 po to by sprawdzić, czy zauważone tendencje w jednym roku mają charakter stabilny. Prowadzenie analiz jednorocznych może pomóc szybciej zareagować na pogarszające się wyniki i umożliwi podjęcie efektywniejszych działań i współpracę całego zespołu nauczycieli matematyki. Poniżej przedstawiono na wykresach rezultaty analiz jednorocznych z 20
wykorzystaniem kalkulatora EWD 100 dla Technikum H (Rysunek 12). Dla każdego rocznika przedstawimy cztery typowe wykresy: wykres rozrzutu dla szkoły, który pozwala zobaczyć jak wielu uczniów uzyskało wyniki powyżej linii przewidywanego wyniku wykres EWD z przedziałami ufności dla klas, który pozwala porównać ze względu na efektywność nauczania wyniki w klasach rozkład wyników przewidywanych z modelu EWD wraz z rozkładem wyników faktycznie uzyskanych, co pozwala zobaczyć punktowy wkład szkoły w wynik przeciętnego ucznia wykres przedstawiający potencjał edukacyjny uczniów z podziałem na klasy, co pozwala ocenić jakimi zasobami uczniowskimi na wejściu dysponowały klasy. Rysunek 16. Efektywność nauczania matematyki w Technikum H. 2010 rok Prawie wszyscy uczniowie w szkole, w 2010 roku, uzyskali w efekcie czteroletniej pracy w technikum wyniki wyższe niż ich rówieśnicy, którzy na egzaminie gimnazjalnym mieli podobny do nich rezultat egzaminu z części matematyczno-przyrodniczej. Wykresy ilustrujące EWD według klas potwierdzają wysoką (dodatnią) efektywność nauczania we wszystkich klasach. Wyliczone wartości średnie wraz z przedziałami ufności znajdują się ponad poziomą linią ilustrująca przeciętną efektywność, dla których wartość EWD wynosi zero. 21
Warto zauważyć, że wysoką wyrównaną efektywność uzyskano we wszystkich klasach mimo, że w momencie rozpoczęcia nauki w klasie pierwszej występowały różnice w potencjale uczniów między klasami. Procentowy udział uczniów z potencjałem wysokim był najwyższy w klasie A, B i F i stanowił prawie 50% uczniów w klasie, podczas gdy w pozostałych klasach był 3-4 krotnie mniejszy. W klasach F i G nie było uczniów o potencjale niskim a najwięcej ich rozpoczęło naukę w klasie C. Rysunek 17. Efektywność nauczania matematyki w Technikum H. 2011 rok W roku 2011 zauważyć możemy większe zróżnicowanie efektywności nauczania między klasami przy nieco mniejszym zróżnicowaniu potencjału uczniów między klasami na wejściu. Różnice efektywności między niektórymi klasami są istotne statystycznie, p czym świadcczą rozłączne przedziały ufności. Klasy A i B mają wyraźnie najwyższą efektywność. Kolejną grupę o podobnej efektywności tworzą klasy C, E, F. Przeciętną efektywność uzyskała klasa D. Rok 2012 przynosi w dalszym ciągu wysoką efektywność nauczania we wszystkich klasach. Nie jest ona jednak tak wyrównana jak w roku 2010. Warto zwrócić uwagę, że podobną efektywność uzyskują klasy, w których nie było uczniów z potencjałem niskim np. klasa A, jak i klasy D, E, F - gdzie ich udział jest największy. Daje się zauważyć wyraźną różnicę efektywności nauczania między klasą A i B, które na wejściu nie miały grupy uczniów z wynikami niskimi, a różniły się tylko procentowym udziałem uczniów o potencjale wysokim. Nauczyciele zauważyli, że niektórzy z nich uzyskują przez trzy lata potwierdzenie większej efektywności nauczania niż inni i postanowili w większym niż dotychczas zakresie podjąć współpracę między sobą. 22
Rysunek 18. Efektywność nauczania matematyki w Technikum H. 2012 rok Nauczyciele technikum są usatysfakcjonowani uzyskanymi wynikami. Włożyli sporo pracy, aby uzyskać taki rezultat. W mieście znajduje się 11 szkół maturalnych. Dojazd do wojewódzkiego miasta akademickiego, z szeroką ofertą edukacyjną, które jest położone w odległości zaledwie 30 km nie stanowi dużego problemu dla uczniów z lepiej sytuowanych rodzin. Zatem konkurencja dla szkoły jest duża. Źródeł sukcesu nauczyciele nie upatrują w wysokich aspiracjach i możliwości wsparcia płatnymi korepetycjami uczniów przez rodziców, a w aktywności dyrekcji i wysokich wymaganiach co do jakości pracy, które obowiązują wszystkich pracowników. Technikum jako jedyna szkoła maturalna w powiecie (na 11 dużych szkół licealnych i techników) zdecydowała się na udział w projekcie finansowanym przez EFS Matematyka jakiej nie znasz - poszerz własne horyzonty. Projekt realizowany był przez 3 lata przez Młodzieżowe Uniwersytety Matematyczne (m.in. Uniwersytet Rzeszowski, Uniwersytet Jagielloński). W ramach projektu uczniowie w każdym poziomie klasy mieli po 49 godzin matematyki dodatkowo. Zajęcia odpłatnie prowadzili nauczyciele tej szkoły. Raz w miesiącu na wykład przyjeżdżał nauczyciel akademicki z UJ, który uzgadniał z nauczycielami temat wykładu, a każdy wykład ilustrował ciekawymi przykładami zadań. 23
4.1. Wyrównywanie szans Poniższy rysunek przedstawia wyniki liceum ogólnokształcącego z matematyki. Widzimy, że duża grupa uczniów tej szkoły (66% zdających), przystępuje do egzaminu maturalnego z matemtyki na poziomie rozszerzonym, zapewne traktując ten egzamin jako egzamin wstępny na studia. Wynikiszkoły są bardzo wysokie, blisko jednego odchylenia standardowego od średniej, ale efektywność nauczania mierzona EWD to tylko około 3 punktów. Czy to dużo, czy mało? Nie można jednoznacznie odpowiedzieć na to pytanie. Jednak trzyletnia analiza wyników wg potencjału uczniowskiego na wejściu pokazuje przestrzeń do rozwoju: w grupie uczniów o wysokim potencjale efektywność nauczania jest tylko przeciętna, przy wysokiej efektywności nauczania matematyki w przypadku uczniów o średnim potencjale edukacyjnym na wejściu. Warto się przyjrzeć temu problemowi bliżej, planując inne badania/analizy w szkole. Rysunek 19. Czy wszyscy uczniowie uzyskują wyniki na miarę swoich możliwości? 4.2. Zróżnicowana efektywność nauczania w klasach Trzyletni wskaźnik egzaminacyjny (Rysunek 20) pokazuje bardzo niską efektywność nauczania matemtyki w Liceum G, co przekłada się na poniżej średnie wyniki egzaminacyjne. Uwzględniając fakt, że matematyki na poziomie podstawowym jest egzaminem obowiązkowym, zapewne nie jest to zadawalający szkołę wynik. Warto przeanalizować sprawę dokładniej, być może powinna ona stać sięprzedmiotem ewaluacji wewnętrznej w szkole. Rysunek 20. Niska efektywność nauczania w liceum G 24
Rysunek 21. Zróżnicowanie efektywności nauczania matematyki w klasach Prześledźmy efektywność nauczania w kolejnych latach w podziale na klasy. W 2010 roku tylko w dwóch klasach odnotowano przeciętną efektywność nauczania matematyki, w pozostałych klasach EWD było ujemne. W 2011 roku różnice między klasami były jeszcze większe. W klasie B uzyskano ponadprzeciętną efektywność, ale w klasie A, E, G uzyskano wyjątkowo niską, ujemną EWD. Czym różniły się te klasy? W jakich klasach udaje się uzyskiwać odpowiednio wysokie wyniki, zapewniające przynajmniej przeciętną efektywność? W 2012 roku ponownie obserwujemy duże różnice w efektywności nauczania matemtyki między klasami. Tym razem już w trzech klasach daje się zaobserwować przeciętne i ponadprzeciętne EWD. Jakie z działań podejmowanych w szkole powodują, że w niektórych klasach wyniki się poprawiają? Cz wyniki te są przypadkowe, czy są rezultatem świadomie podejmowanych działań? 25
4.3. Efektywność nauczania matematyki w klasie autorskiej W liceum ogólnokształcącym M prowadzone jest nauczanie matematyki według autorskiego programu. Realizujący ten program nnauczyciel zawsze otrzymuje klasę A. Do klasy przyjmowani są uczniowie o wysokich i bardzo wysokich wynikach na egzaminie gimnazjalnym. Wyniki uzyskiwane przez maturzystów w tej klasie są bardzo wysokie i najwyższe w szkole. W jaki sposób można śledzić efektywność programu autorskiego? Można do tego celu wykorzystać m.in. wskaźniki EWD. Na rysunku 22. Pokazaono EWD matematyczne dla klasy A w kolejnych latach: EWD jest bardzo wysokie, ale daje się zauważyć tendencję malejącą. Dlaczego tak się dzieje i co może być tego przyczyną jest wartościowym pytaniem, które może pomóc doskonalić sam program. Rysunek 22. Efekty nauczania matematyki w kalsie autorskiej. 26
4.4. Zmiany w naborze do szkoły a efektywność nauczania Niż demograficzny powoduje, że dla utrzymania status quo szkoły ponadgimnazjalne gotowe są obniżać progi selekcyjne. W rezultacie do szkkły trafiają słabsi uczniowie, ale szkoła nie dość szybko reaguje odpowiednimi zmianami w sposobie pracy z nimi, w dobieraniu innych metod pracy czy nawet modyfikowaniu wewnątrzszkolnych systemów oceniania. W rezultacie następuje pogorszenie się wyników, w tym przede wszystkim efektywności nauczania. Na rysunku 23. Mamy przykład szkoły, dla której daje się zuwazyć różnice w naborze do szkoły między 2007 a 2009 rokiem (odpowiednio maturzyści 2010 i 2012 roku). W 2012 roku pojawiła się w szkole grupa uczniów o wynikach z egzaminu gimnazjalnego poniżej średniej krajowej. Uczniowie ci zostali przyjęci głównie do klasy F (pomarańczowe kropki na wykresie rozrzutu), w której odnotowano bardzo niską, ujemną, EWD matematyczną. W 2012 roku zróżnicowanie efektywności nauczania matematyki między klasami jest bardzo duże, o owinno niepokoić tym bardziej, że w 2010 podobnych różnic nie obserwowano. Rysunek 23. Jakie mogą być konsekwencje zmiany w naborze do szkoły? 27
5. Co można analizować w szkole? W prezentacjach wskaźników EWD jest wiele informacji, które można w szkole analizować. Można poddać analizie wybieralność przedmiotów maturalnych i adekwatność oferty edukacyjnej szkoły. Można analizować wyniki egzaminacyjne i EWD oraz ich odpowiedniość do koncepcji pracy szkoły i realizacji zamierzonych planów. Można śledzić zmiany w czasie na przykładie jednorocznych wksąxników EWD matemtycznej. Porównując grupy znacząco różniące się efektywnością nauczania można formułować hipotezy dotyczące specyficznych dla szkoły czynników efektywności kształcenia. Niepokojące obserwacje płynące z analiz wyników mogą być impulsem do dalszych pogłębionych analiz, prowadzonych w szkole w ramach ewaluacji wewnętrznej. Porównując szkołę z innymi szkołami, o podobnych cechach, możemy uzupełniać analizy o brakujące czynniki kontekstowe. Warto śledzić miejsce swojej szkoły wśród szkół konkurujących o tego samego ucznia: może pozwoli to wypracować atrakcyjniejszą ofertę edukacyjną. 6. Literatura Dolata, R. (red.) (2007) Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie wyników egzaminów zewnętrznych. Warszawa, wyd. CKE Dolata, R., Pokropek A, (2007). Analiza metod szacowania edukacyjnej wartości dodanej dla szkół kończących się maturą, [w:] Dolata, R (red) Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie wyników egzaminów zewnętrznych (s. 67-123) Warszawa, wyd. CKE. http://ewd.edu.pl/downloads/publikacje/ewd%20ksiazka%202008.pdf dostęp 30.06. 2013 Pokropek, A. (2008) Metody obliczania edukacyjnej wartości dodanej dla szkół kończących się egzaminem maturalnym, w: red. B. Niemierko, M.K.Szmigel, Uczenie się i egzamin w oczach nauczyciela, Materiały XIV Konferencji Diagnostyki Edukacyjnej, Opole 26-28.09.2008, Polskie Towarzystwo Diagnostyki Edukacyjnej, 2008, s.237-247, http://ewd.edu.pl/downloads/opole/pokropek.pdf - dostęp 30.06. 2013 Rappe, A. Wykorzystanie informacji o wynikach egzaminacyjnych w pracy nadzoru pedagogicznego, ze szczególnym uwzględnieniem EWD (wersja 1.2), 2012 http://ewd.edu.pl/materialyszkoleniowe/broszura_ewal_v1.pdf, [dostęp 30.06.2013] Stożek, E. (2011) Maturalne wskaźniki EWD w pytaniach i odpowiedziach. Dyrektor Szkoły 2(201)/2011, s. 37-43. http://ewd.edu.pl/downloads/publikacje/ds_02_2011.pdf [dostęp 10.08.2012] Żółtak, T. (2013). EWD jako sposób badania efektywności szkół [W:] M. Karwowski (red.), Ścieżki rozwoju edukacyjnego młodzieży szkoły pogimnazjalne. Warszawa: Wydawnictwo Instytutu Filozofii i Sicjologii PAN (w druku) 28