Ogólna idea edukacyjnej wartości dodanej i metody jej szacowania. Roman Dolata, Wydział Pedagogiczny UW

Transkrypt

1 Ogólna idea edukacyjnej wartości dodanej i metody jej szacowania Roman Dolata, Wydział Pedagogiczny UW dolata@poczta.onet.pl

2 Grupa edukacyjnej wartości dodanej W latach Centralna Komisja Egzaminacyjna realizowała projekt Badania dotyczące wyników egzaminów zewnętrznych współfinansowany przez Europejski Fundusz Społeczny w ramach Sektorowego Programu Operacyjnego Rozwoju Zasobów Ludzkich W ramach projektu działał zespół ds. komunikowania wyników egzaminów zewnętrznych. Koordynatorem merytorycznym zespołu był dr Roman Dolata (Wydział Pedagogiczny UW). Zadaniem zespołu było opracowanie metod wykorzystania wyników egzaminów zewnętrznych do oceny efektywności nauczania w poszczególnych szkołach.

3 Grupa edukacyjnej wartości dodanej (2) Z pełnego składu zespołu ds. komunikowania wyników egzaminów zewnętrznych (27 osób) wyłoniły się dwie grupy zadaniowe. Roboczo zostały one nazwane grupą obliczeniową EWD oraz grupą badania trafności EWD. Grupa obliczeniowa EWD działała w składzie: Anna Rappe (OKE Kraków), Ewa Stożek (OKE Łódź), dr hab. Michał Federowicz (Instytut Filozofii i Socjologii PAN), dr Maciej Jakubowski (Wydział Nauk Ekonomicznych Uniwersytetu Warszawskiego), Łukasz Mazur (matematyk) oraz Artur Pokropek (absolwent Wydziału Pedagogicznego oraz student Instytutu Socjologii Uniwersytetu Warszawskiego). Grupa badania trafności opracowała projekt walidacji metody EWD. Pracowała w składzie dr Krystyna Szmigel (OKE Kraków), dr Jacek Haman (Instytut Socjologii UW), Arleta Poręba-Konopczyńska (OKE Wrocław) oraz Jolanta Czarnotta-Mączyńska (CKE). Analizę wyników wykonał Artur Pokropek.

4 W poszukiwaniu miar efektywności pracy szkoły wynik egzaminu szkoły A wynik egzaminu szkoły B efektywność nauczania w szkole A efektywność nauczania w szkole B zdolności środowisko społeczne nauczanie

5 W poszukiwaniu miar efektywności pracy szkoły (2) Pojęcie edukacyjnej wartości dodanej pojawiło się w połowie lat 70 jako krytyczna kontynuacja idei rozliczalności szkół (school accountability). EWD jest instrumentem polityki oświatowej. Pionierzy EWD - USA (Tennessee) i Anglia:» W USA pionierskie badania nad EWD prowadził Eric Hanushek (70 ); rozpowszechnił i na szeroką skalę zastosował w edukacji tę metodę Bill Sanders.» W Anglii bezpośrednim bodźcem do wprowadzenia wartości dodanej była reforma edukacyjna z roku 1988, która wprowadzała narodowy system egzaminacyjny oraz system oceny nauczycieli.

6 Edukacyjna wartość dodana: idea ogólna Znaczenie w ekonomii: Przyrost wartości dóbr w wyniku danego procesu produkcyjnego Znaczenie pedagogiczne: Przyrost wiedzy uczniów w wyniku danego procesu edukacyjnego

7 Definicje Edukacyjna wartość dodana (EWD) to wkład szkoły w osiągnięcia uczniów (opanowanie celów kształcenia). Wkład ten szacowany jest przy kontroli pozaszkolnych czynników wpływających na osiągnięcia szkolne. Modele szacowania EWD to klasa metod statystycznych pozwalających szacować wkład szkoły w osiągnięcia uczniów.

8 Prosta koncepcja EWD: przyrost wiedzy Poziom początkowy wiedzy Nauczanie w danej szkole Poziom końcowy wiedzy

9 Złożona koncepcja EWD: wykorzystanie zasobów Zasoby na wejściu Efektywność nauczania Poziom końcowy wiedzy

10 Zasoby na wejściu Zasoby indywidualne uczniów - Dotychczasowe osiągnięcia szkolne ucznia - Kapitał kulturowy i ekonomiczny Zasoby grupowe - Dotychczasowe osiągnięcia szkolne rówieśników - Kapitał kulturowy i ekonomiczny rówieśników Zasoby instytucjonalne - Nakłady finansowe - Infrastruktura

11 Model szacowania EWD dla gimnazjów Model reszt z równania regresji Etapy szacowania EWD -ustalenie kształtu związku między wynikiem na sprawdzianie a egzaminem gimnazjalnym -ustalenie wartości przewidywanych -obliczanie reszt - szacowanie punktowe EWD - szacowanie przedziałowe EWD

12 Wynik przewidywany krzywa regresji (linia przewidywanego wyniku) Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 pkt

13 Reszty z równania regresji Reszta w języku statystyki oznacza różnicę między wartością faktyczną a wartością przewidywaną na podstawie równania regresji. W metodzie EWD reszta to różnica między realnym wynikiem ucznia na egzaminie gimnazjalnym a wartością oczekiwaną obliczoną na podstawie wyniku na sprawdzianie i wartości zmiennych kontrolnych płci i dysleksji.

14 Jak interpretować wartość reszty? Reszty (2) Na wartość reszty wpływają rożne czynniki: - czynniki motywacyjne wzrost motywacji w porównaniu z końcem szkoły podstawowej może dać relatywnie wyższy wynik, - czynniki środowiskowe poprawa sytuacji materialnej rodziny pozwala na większe inwestycje w edukację dziecka, - czynniki biologiczne zmienne tempo dojrzewania i rozwoju umysłowego, - czynniki sytuacyjne czy losowe - lepsze samopoczucie w trakcie pisania testu, więcej szczęścia w wskazywaniu poprawnych odpowiedzi w zadaniach zamkniętych. Dla nas jednak najważniejszy jest czynnik związany z wkładem szkoły za część wartości wskaźnika resztowego odpowiada efektywność nauczania.

15 Reszty (3) Ponieważ reszta jest wartością nieprecyzyjną, nie należy jej wykorzystywać jako indywidualnej miary edukacyjnych postępów ucznia w gimnazjum. Reszty należy używać jedynie do analizowania EWD szkoły lub innej badanej grupy.

16 Szacowanie punktowe EWD EWD obliczamy uśredniając reszty dla danej szkoły. Średnią tę interpretujemy jako miarę efektywności nauczania w danej szkole lub grupie uczniów. Trzeba pamiętać, że średnia reszt wynosi dla wszystkich uczniów w kraju zero. EWD jest więc miarą względną część szkół będzie miała dodatnią EWD i podobna liczba - ujemną EWD. Miara ta pozwala na porównanie szkół między sobą w skali kraju.

17 EWD w skali staninowej EWD można wyrażać w skali staninowej. Przypomnijmy, skala staninowa to skala 9-stopniowa. Kolejne stopnie skali to: - pierwszy stanin to przedział obejmujący 4% najniższych wyników, - drugi stanin to przedział obejmujący 7% kolejnych wyników, - trzeci stanin to przedział obejmujący 12% kolejnych wyników, - czwarty stanin to przedział obejmujący 17% kolejnych wyników, - piąty stanin to przedział obejmujący 20% kolejnych wyników, - szósty stanin to przedział obejmujący 17% kolejnych wyników, - siódmy stanin to przedział obejmujący 12% kolejnych wyników, - ósmy stanin to przedział obejmujący 7% kolejnych wyników, - dziewiąty stanin to przedział obejmujący 4% najwyższych wyników. Na przykład, wynik w staninie 8.(tzw. bardzo wysokim) oznacza, że 4% szkół uzyskało wynik wyższy, 7% - porównywalny, a 89% - wynik niższy.

18 Szacowanie przedziałowe EWD Wskaźnik EWD jak każdy wynik pomiaru jest obarczony błędem. W wypadku EWD szacowanie przedziału ufności jest konieczne, ponieważ EWD obarczone jest jest dwojakim błędem. Po pierwsze, błędem pomiaru na sprawdzianie i egzaminie gimnazjalnym. Po drugie, błędem próbkowania absolwenci danego rocznika są tylko próbą uczniów szkoły, na podstawie której wypowiadamy się o efektywności nauczania w danym gimnazjum, która jest cechą charakteryzującą szkołę w dłuższej perspektywie czasowej. Przedział ufności jest to przedział, który z określonym prawdopodobieństwem zawiera prawdziwą wartość interesującego nas parametru. Przedział ufności mówi nam, że dany parametr (w naszym przypadku EWD) z określonym prawdopodobieństwem mieści się między wyznaczonymi wartościami. Zauważmy przy okazji, że ocena jakości pracy szkoły w różnych jej aspektach, bo przecież EWD to tylko jeden ze wskaźników tej jakości wymaga wieloletniej perspektywy. Kto formułuje oceny na podstawie pojedynczego pomiaru, analizy jednego rocznika, postępuje nieodpowiedzialnie.

19 Przedział ufności dla EWD 4,00 EWD i 95% przedziały ufności Porównanie Gimnazjum 1 i 2 3,06 2,00 0,00-2,00 2,16 1,27 0,56 0,78 GH1-0,69 GH2 GMP1 GMP2-1,23-1,23-1,28-1,77-3,02-3,34-4,00

20 Przedział ufności jako reguła decyzyjna Wyznaczone dla EWD przedziały ufności możemy traktować jako regułę decyzyjną. Jeżeli chcemy w sposób odpowiedzialny formułować na podstawie EWD oceny typu szkoła A lepiej uczy w zakresie sprawdzanym przez egzamin gimnazjalnym od szkoły B, to warto wiedzieć, jakie jest ryzyko popełnienia błędu. Przydziały ufności pozwalają nam to ryzyku oszacować. Jeżeli wyznaczymy 95% przedziały ufności EWD dla porównywanych szkół i przedziały te są rozłączne, to ryzyko sformułowania nietrafnej oceny jest niewielkie poniżej 5%. Gdy przedziały częściowo pokrywają się, formułowanie oceny staje się bardziej ryzykowane. Jeżeli ocena jest doniosła i brzemienna w skutki należy się od niej powstrzymać.

21 Wynik surowy egzaminu a EWD Rozrzut wyników GMP Rozrzut wyników GH GMP GH sprawdzian 2002 sprawdzian 2002 GMP=26,45, stanin - wysoki GH=34,97, stanin - wyżej średni EWD =-2,95, stanin - niski EWD =-2,59, stanin niski

22 Więcej informacji o edukacyjnej wartości dodanej oraz polskiej metodzie szacowania EWD możecie Państwo znaleźć na stronach internetowych CKE W Biuletynie badawczym Egzamin nr 8