Wykorzystanie EWD. ponadgimnazjalnych

Transkrypt

1 Seminarium Wykorzystanie EWD w szkołach ponadgimnazjalnych kończ czących cych się maturą OPRACOWANIE: KONSULTANCI RODN WOM KATOWICE i BIELSKO BIAŁA

2 Tematyka seminarium 1.Idea EWD. 2.Dotychczasowe doświadczenia na przykładzie gimnazjum. 3.EWD w szkole ponadgimnazjalnej (wprowadzenie). 4.Wykorzystanie platformy EWD w pracy szkoły ponadgimnazjalnej.

3 ROZPORZĄDZENIE MINISTRA EDUKACJI NARODOWEJ z dnia 7 października 2009 r. w sprawie nadzoru pedagogicznego 6. Formami nadzoru pedagogicznego są: s 1) ewaluacja; 2) kontrola; 3) wspomaganie.

4 Dyrektor szkoły y lub placówki publicznej we współpracy pracy z innymi nauczycielami zajmującymi stanowiska kierownicze, w ramach sprawowanego nadzoru pedagogicznego: 1) organizuje ewaluację wewnętrzn trzną i wykorzystuje jej wyniki do doskonalenia jakości pracy szkoły y lub placówki; 2) kontroluje przestrzeganie przez nauczycieli przepisów prawa dotyczących cych działalno alności dydaktycznej, wychowawczej i opiekuńczej oraz innej działalno alności statutowej szkół i placówek; 3) wspomaga nauczycieli w realizacji ich zadań,, w szczególno lności przez: organizowanie szkoleń i narad, motywowanie do doskonalenia i rozwoju zawodowego, przedstawianie nauczycielom wniosków w wynikających z nadzoru pedagogicznego.

5

6 1. IDEA EDUKACYJNEJ WARTOŚCI DODANEJ Wykorzystano materiały zespołu badawczego przy CKE kierowanego przez dr. hab. Romana Dolatę (Wydział Pedagogiczny Uniwersytetu Warszawskiego

7 Koncepcja edukacyjnej wartości dodanej Warto ustalić,, w jakich warunkach przebiegało o uczenie się i nauczanie, czyli przeanalizować czynniki, które w znaczący cy sposób b mogły y wpłyn ynąć na poziom ich osiągni gnięć. Wynik sprawdzianu/egzaminu uwarunkowany jest trzema grupami czynników: indywidualnymi - uczniowskimi, środowiskowymi, pedagogicznymi szkolnymi. Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

8 Wynik egzaminu a efektywność nauczania Wynik egzaminu Gimnazjum A Wynik egzaminu Gimnazjum B efektywność nauczania w Gimnazjum A efektywność nauczania w Gimnazjum B zdolności środowisko społeczne nauczanie Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

9 Metoda edukacyjnej wartości dodanej - idea ogólna Zasoby na wejściu wkład szkoły w wynik końcowy Wyniki egzaminu końcowego Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

10 Idea liczenia EWD Gimnazjum A GH 2009 =38,1 GH 2009 Sprawdzian 2006 Grupa uczniów o wyniku 30 pkt Trzy lata nauki w gimnazjum Kraj GH 2009 =35,1 GH 2009 Gimnazjum B GH 2009 =32,1 GH 2009 Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

11 Wynik przewidywany Wynik przewidywany wynik szacowany na podstawie zależno ności między wynikami sprawdzianu a egzaminu gimnazjalnego dla wszystkich trzecioklasistów w w kraju. Zależno ność tę będziemy nazywać regresją Wynik przewidywany można rozumieć jako uśredniony u wynik na egzaminie gimnazjalnym grupy uczniów w o tym samym wyniku na sprawdzianie Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

12 Wynik przewidywany krzywa regresji (linia przewidywanego wyniku) Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 pkt Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

13 Reszty krzywa regresji (linia przewidywanego wyniku) Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 pkt Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

14 Definicja edukacyjnej wartości dodanej TECHNICZNA: Przeciętna dla danej szkoły różnica między wynikami rzeczywistymi a oczekiwanymi jej uczniów. INTERPRETACYJNA: Miara wpływu szkoły y na wzrost wiedzy uczniów. Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

15 Intuicja szacowania EWD Jeśli większość uczniów danej szkoły uzyskała wynik wyższy niż oczekiwany to prawdopodobnie świadczy to o jej ponadprzeciętnie wysokiej jakości nauczania Jeśli większość uczniów uzyskała wynik niższy niż oczekiwany, to szkoła ta prawdopodobnie uczy słabiej niż inne. Taka miara jest zawsze miarą względną! Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

16 W polskiej metodzie szacowania EWD: Dodatkowa informacja o uczniu (zmienne kontrolne) płeć dysleksja Uśrednienie reszt (miara tendencji centralnej dla reszt) średnia Określenie wiarygodności statystycznej przedział ufności dla średniej (przedział, w którym z prawdopodobieństwem 95% znajduje się EWD) Prezentacja EWD skala staninowa skala centylowa Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

17 Różnica między wynikiem surowym a EWD Dwie informacje w kontekście analiz szkolnych egzamin gimnazjalny, jako wskaźnik poziomu umiejętności, EWD, jako wskaźnik jakości kształcenia. Czy warto rozpatrywać je jednocześnie? Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

18 EWD przedział ufności Wskaźnik EWD jak każdy wynik pomiaru jest obarczony błędem: pomiaru na sprawdzianie i egzaminie gimnazjalnym, próbkowania absolwenci danego rocznika są tylko próbą uczniów szkoły, na podstawie której wypowiadamy się o efektywności nauczania w danym gimnazjum, która jest cechą charakteryzującą szkołę w dłuższej perspektywie czasowej. Przedział ufności: przedział, który z określonym prawdopodobieństwem zawiera prawdziwą wartość interesującego nas parametru, mówi nam, że dany parametr (EWD) z określonym prawdopodobieństwem mieści się między wyznaczonymi wartościami. Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

19 Przedział ufności Długość przedziału ufności zależy od: zróżnicowania wyników w szkole (różnicowania reszt); im większe zróżnicowanie, tym większy przedział ufności, wyznaczenie EWD jest mniej precyzyjne, liczby uczniów w szkole; im mniejsza liczba uczniów, tym większy przedział ufności, wyznaczenie EWD jest mniej precyzyjne. Jeżeli przyjmiemy 95% przedziały ufności EWD dla porównywanych szkół i będą one rozłączne, to ryzyko sformułowania błędnej oceny jest poniżej 5%. Jeżeli przedziały ufności będą się częściowo pokrywały, to sformułowanie takiej oceny jest ryzykowne i należy się przed nią powstrzymać. Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

20 Analiza pracy szkoły y w oparciu o EWD Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

21 TRZYLETNIE WSKAŹNIKI EWD Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

22 Elipsy dla szkoły y i dla populacji EWD Egzamin gimnazjalny (GH) Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

23 Szkoła wspierająca. Gimnazja o niskich wynikach egzaminacyjnych ale wysokiej efektywności. Przestrzeń wyników Szkoła neutralna. Gimnazja, w których notujemy zarówno średni poziom wyników egzaminacyjnych, jak i przeciętną w skali kraju efektywność. Szkoła sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania. Szkoła wymagająca pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania. Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Szkoła niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania.

24 2. DOTYCHCZASOWE DOŚWIADCZENIA NA PRZYKŁADZIE GIMNAZJUM

25 Wykorzystanie EWD do analizy pracy szkoły i opracowania propozycji rekomendacji lub planu działań naprawczych a) Analiza trzyletnich wskaźników EWD. b) Opracowanie raportu z wykorzystaniem kalkulatora EWD plus. c) Opracowanie działań naprawczych wynikających z analizy EWD.

26 Wykorzystanie EWD do analizy pracy szkoły i opracowania propozycji rekomendacji / planu działań naprawczych. a) Analiza trzyletnich wskaźników EWD

27

28

29 POSZUKUJĄC C PRZYCZYN PRZEDSTAWIONEGO PRZEZ TRZYLETNI WSKAŹNIK EWD WYNIKU, SZKOŁY DOKONUJĄ ANALIZY EWD W POSZCZEGÓLNYCH LATACH SZKOLNYCH

30

31 Wykorzystanie EWD do analizy pracy szkoły i opracowania propozycji rekomendacji / planu działań naprawczych b) Opracowanie raportu z wykorzystaniem kalkulatora EWD plus RAPORT pdf

32 Wykorzystanie EWD do analizy pracy szkoły i opracowania propozycji rekomendacji / planu działań naprawczych c) Opracowanie działań naprawczych wynikających z analizy EWD

33 Analiza czynników pedagogicznych szkolnych mogących mieć wpływ na wyniki EWD CZYNNIKI PEDAGOGICZNE: a) czynniki na które może mieć wpływ organ prowadzący, b) czynniki pedagogiczne szkolne (nauczycielskie). CZYNNIK +/- CZYNNIK +/- Staż, wiek, płeć nauczycieli (doświadczenie nauczycieli) Szkolny zestaw programów nauczania Kompetencje nauczycieli Wyposażenie dydaktyczne szkoły Przekonania wychowawcze, postawy i oczekiwania nauczycieli Stosowane podręczniki Stosunek nauczycieli do uczniów Plan i rozkład zajęć Współdziałanie nauczycieli (wspólne cele i zadania szkoły) Organizacja zajęć szkolnych Szkolny system oceniania Organizacja zajęć pozalekcyjnych Wykształcenie i doskonalenie nauczycieli Nieobecności nauczycieli i organizacja zajęć Przygotowywanie się nauczycieli do zajęć Szkolny zestaw programów nauczania Pracowitość nauczycieli Organizacja pracy domowej Stosunek nauczycieli do prowadzonych zajęć Nieobecności nauczycieli - zastępstwa Współpraca między nauczycielami Organizacja lekcji......

34 Analiza czynników pedagogicznych szkolnych mogących mieć wpływ na wyniki EWD Czynniki pedagogicznych, które mogły mieć pozytywny wypływ na takie wyniki (mocne strony) Czynniki pedagogicznych, które mogły mieć negatywny wypływ na takie wyniki (słabe strony - problemy)

35 Na podstawie dokonanych analiz sformułowane owane zostają mocne strony szkoły y i problemy szkoły. Następnie w szkole projektuje się działania ania doskonalące mocne strony i osłabiaj abiające problemy. MOCNE STRONY SZKOŁY Działania doskonalące Jak? Gdzie? Kiedy? Kto? Jak sprawdzimy skuteczność działań? PROBLEMY Działania osłabiające Jak? Gdzie? Kiedy? Kto? Jak sprawdzimy skuteczność działań?

36 3. EDUKACYJNA WARTOŚĆ 3. DODANA W SZKOŁACH MATURALNYCH Wprowadzenie przygotowane na podstawie materiałów zespołu EWD opublikowanych na stronie:

37 Funkcje egzaminów szkolnych Ocenianie osiągnięć uczniów w świetle wymagań podstawy programowej. Ewaluacja wyników i efektywności nauczania w szkole: wskaźnik opisujący wyniki średnia wyników egzaminu, Wskaźnik opisujący efektywność edukacyjna wartość dodana (EWD). Uczeń System edukacji

38 Zaleta: jedna liczba opisuje rezultat szkoły. Wady: Średni wynik zalety i wady znaczna utrata danych, niepewność wnioskowania. Średni wynik = 5

39 Metoda EWD, to zestaw technik statystycznych pozwalających oszacować wkład szkoły w końcowe wyniki egzaminacyjne.

40 EWD a jakość edukacji Edukacja to więcej niż nauczanie. Jakość to więcej niż efektywność. JAKOŚĆ NAUCZANIA = (WARTOŚĆ CELÓW) W) (EFEKTYWNOŚĆ W ICH OSIĄGANIU)

41 EWD zastosowania Doskonalenie nauczania (ewaluacja wewnętrzna). Rozliczanie i wspieranie rozwoju szkół (ewaluacja zewnętrzna). Informacja przydatna przy wyborze szkoły (rodzice i uczniowie).

42 Dlaczego stosujemy EWD? Metoda EWD pozwala uwzględnić różnicowanie szkół ze względu na zasoby na wejściu. Najlepszą, dostępną miarą tych zasobów są wyniki egzaminu gimnazjalnego. Wyniki egzaminu gimnazjalnego: niosą informację o poziomie osiągnięć uczniów, uwzględniają uwarunkowania osiągnięć gimnazjalnych podobne do uwarunkowań wyników maturalnych (środowisko rodzinne, poziom zdolności, motywację szkolną).

43 Ogólna charakterystyka EWD Metoda EWD służy do porównywania szkół lub wybranych grup uczniów. W skali kraju wskaźnik EWD jest równy zero. Wskaźniki EWD są szacowane oddzielnie dla liceów i oddzielnie dla techników (nie można ich porównywać!).

44 Jakie dane są wykorzystane w szacowaniu EWD? Wyniki egzaminu maturalnego z języka polskiego i matematyki na poziomie podstawowym i rozszerzonych (maj 2010). Wyniki egzaminu gimnazjalnego w części humanistycznej oraz matematyczno-przyrodniczej arkusz standardowy (kwiecień 2007).

45 Wskaźników EWD pewnych szkół nie będzie. Natomiast możemy przeczytać, że

46

47

48 Sposób prezentacji danych

49 Statystyczne właściwości wskaźników Wynik egzaminu przedstawiony jest na skali znormalizowanej: - o wyniku średnim 100, - i odchyleniu standardowym 15. Wskaźnik EWD przedstawiony jest na skali znormalizowanej: - o wyniku średnim 0,

50 Jak powstaje skala wyniku maturalnego (egzaminacyjnego)?

51 Jak powstaje skala wyniku EWD?

52 Jakie znaczenie mają naniesione na wykresie warstwice? 50 % 90 %

53 29 maturzystów Od czego zależy wielkość elipsy dla szkoły? 391 maturzystów 1. Ilość maturzystów (im mniej tym większa) 2. Rozrzut wyników maturzystów (im większy tym większa)

54 Punkty odniesienia dla analizy położenia szkoły 1. Szkoły neutralne. 2. Szkoły o wysokich wynikach maturalnych i wysokiej efektywności (mierzonej EWD). 3. Szkoły o wysokich wynikach maturalnych i niskiej efektywności (mierzonej EWD). 4. Szkoły o niskich wynikach maturalnych i wysokiej efektywności (mierzonej EWD). 5. Szkoły o niskich wynikach maturalnych i niskiej efektywności (mierzonej EWD).

55 W jednej szkole... Język polski Matematyka

56 W jednej szkole... Język polski Matematyka

57 Porównanie kilku szkół j. polski

58 Porównanie kilku szkół matematyka

59 4. Wykorzystanie platformy EWD w pracy szkoły ponadgimnazjalnej

60 Ograniczony zakres w porównaniu do możliwości jakie ma gimnazjum. Na razie dominacja wykorzystania dla celów ewaluacji zewnętrznej. Skłania do stawiania pytań, na które tylko szkoła może podjąć próbę odpowiedzi. Weryfikacja zasadności pytań i odpowiedzi możliwa w kolejnych latach.

61 Na stronie w lutym br. ukazała się informacja

62 Platforma dostępna pod adresem: lub uruchamiamy

63 Tytułowa strona platformy maturalnego EWD

64 Radzimy przeczytać!

65 Wyszukiwanie szkoły Krok 1. otwórz wyszukiwarkę

66 Wyszukiwanie szkoły Krok 2. wybieramy rodzaj szkoły

67 bo matura w technikum jest po czterech latach

68 Wyszukiwanie szkoły Krok 3. wybieramy właściwe województwo

69 Wyszukiwanie szkoły Krok 4. wybieramy właściwe miasto lub powiat, a potem gminę

70 Wyszukiwanie szkoły Krok 5. wybieramy z listy poszukiwaną szkołę

71 Typowa szkoła może skorzystać z kilku ciekawych funkcji platformy. 1. Łączna prezentacja wyników egzaminacyjnych i EWD (dla j. pol. i mat.)

72 2. Zmiana układu odniesienia (kontekstu) z krajowego na wojewódzki, powiatowy (miejski) lub gminy

73 3. Możliwość porównania wyników egzaminacyjnych i EWD szkoły z innymi szkołami tego samego typu

74 Jak można skomentować taką szkołę?

75 A jak można skomentować taką szkołę?

76 Jak można skomentować szkoły oddzielnie i porównując je? Wykresy różnych szkół z j. polskiego

77 Wykresy różnych szkół z j. polskiego i matematyki (z wykorzystaniem możliwości modułu porównawczego) Jak można skomentować porównanie tych szkół?

78 Wykresy różnych szkół z matematyki Moduł porównawczy ułatwi nam porównanie.

79 Jak można skomentować takie porównanie?

80 Wykres obok już znamy. Zobaczmy jeszcze wykresy tych samych szkół z j. polskiego? Na jaki komentarz możemy sobie teraz pozwolić?

81 Zobaczmy jeszcze wyniki naszych szkół w innym kontekście... z krajowego przejdziemy na wojewódzki. Czy do dotychczasowych komentarzy możemy teraz jeszcze coś dodać?

82 Polecamy: Autor: dr Henryk Szaleniec Tytuł: Zanim twoi uczniowie zasiądą do matury Wydawnictwo: WSiP, W-wa 2005 r.

83

84 Dyrektor Szkoły nr 12/2009 r. Akademia Zarządzania EWD w ręku dyrektora szkoły dr Ewa Stożek

85 Dyrektor Szkoły nr 10 / 2010 r. Analiza wyników egzaminów zewnętrznych Wiesław Włodarski

86 Dyrektor Szkoły nr 2 / 2011 r. Akademia Zarządzania Maturalne wskaźniki EWD w pytaniach i odpowiedziach dr Ewa Stożek

87 Zamiast podsumowania proponujemy kilka cytatów z ostatniego, polecanego tekstu dr Ewy Stożek.

88

89

90

91 DZIĘKUJEMY ZA UWAGĘ!