Poziom umiejętności Elżbieta Ostaficzuk II. Ewaluacja formatywna w projekcie Połowa drogi - wieloaspektowa anagnoza umiejętności matematycznych Strach przed lataniem i głód doświadczeń. Wstyd przed mówieniem sobie nie wiem Ogromna siła wyobrażeń Już teraz wiem Że upadamy wtedy, gdy nasze życie przestaje być codziennym zdumieniem. Myslowitz, Happiness is easy, 2006 Od roku 2003/2004 w kolejnych pięciu edycjach projektu diagnostycznego W połowie drogi badaniami diagnostycznymi objęto łącznie 37115. uczniów szkół warszawskich oraz dzięki patronatowi Mazowieckiego Samorządowego Centrum Doskonalenia Nauczycieli - w kwietniu 2008 w sprawdzianie uczestniczyło również 2855. uczniów ze szkół płockich i radomskich. Przykładowo, refleksje z badań 2007/2008 zilustrowano na rys. 3. Rysunek 3. Poziom kompetencji A M R uczniów badanych sprawdzianem W połowie drogi 2008 100% 90% 80% 70% 60% 50% 40% A M R 30% 20% 10% 0% I. II. III. IV. V. VI. VII. VIII. IX. Staniny 1
W roku szkolnym 2008/2009 Mazowiecki Kurator Oświaty objął patronatem projekt edukacyjny W połowie drogi Realizowany od roku 2008/2009 pod patronatem MKO projekt edukacyjny W połowie drogi obejmował: Badanie rozwoju umiejętności matematycznych uczniów szkół ponadgimnazjalnych realizowane w cyklu dwuletnim: Testem matematycznym Po gimnazjum diagnozującym umiejętności matematyczne uczniów na początku nauki w klasach pierwszych w szkołach ponadgimnazjalnych. Testem matematycznym W połowie drogi... diagnozującym umiejętności matematyczne uczniów klas drugich w szkołach ponadgimnazjalnych. Oba testy były konstruowane zgodnie z obowiązującą Podstawą programową oraz standardami wymagań egzaminacyjnych. Standaryzowane zadania obejmowały treści podstawowe i ponadpodstawowe oraz badały kompetencje matematyczne, określone na podstawie wielokryterialnej struktury rozwiązania zadania: A oznaczające analizę zadania, M - dobór metody, R poprawność rachunkową oraz poprawność przekształceń. Wprowadzono kodowanie błędów uczniowskich i również na tej podstawie diagnozowano umiejętności matematyczne. Testy były oferowane wraz z aplikacją wykorzystującą metody statystyczne w arkuszu kalkulacyjnym EXCEL. Nauczyciele otrzymywali w ten sposób równocześnie narzędzia do diagnozy umiejętności matematycznych uczniów ze swojej szkoły. Ewaluację formatywną systemu kształcenia oraz podsumowanie efektów kształcenia w postaci edukacyjnej wartości dodanej. Diagnozę umiejętności matematycznych uczniów uzupełniono także w 2009 r. analizą błędów popełnianych przez uczniów. Zastosowano opis błędów: d nieznajomość definicji, pojęcia, obiektu; w nieznajomość własności, reguły, twierdzenia; p pomyłki w obliczeniach i przekształceniach; k kilka błędów typu d, w lub p. Sprawdzianem W połowie drogi 2009 badano umiejętności matematyczne 21339 mazowieckich uczniów klas drugich ponadgimnazjalnych. Diagnoza umiejętności objęła również frakcję opuszczeń zadań przedstawioną na rys. 4 uzupełniono analizą błędów zilustrowaną na rys. 5. 2
liczba uczniów (%) Rysunek 4. Frakcja opuszczeń całych zadań sprawdzianu W połowie drogi... 2009 18 16 14 12 10 8 6 4 2 0 1 1 1 "W połowie drogi... 2009" - frakcja opuszczeń całych zadań 2 1 1 12 3 0 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 numery zadań 2 6 16 Rysunek 5. Poziom błędów popełnionych przez uczniów badanych sprawdzianem W połowie drogi... 2009 "W połowie drogi... 2009" 100,0% 90,0% 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% 59,3% 36,0% 16,1% 4,7% k d w p rodzaje błędów 3
Zespół Realizatorów Projektu Edukacyjnego Połowa drogi... został powołany aktem prawnym: z dnia 25 lutego 2010 r. ZARZĄDZENIE Nr 25 Mazowieckiego Kuratora Oświaty Projekt Połowa drogi... od 2011 r. jest realizowany pod patronatem: Umiejętności matematyczne uczniów klas drugich ponadgimnazjalnych wiosną 2011 r. diagnozowano na podstawie wyników sprawdzianu Połowa drogi 2011. W zależności od poziomu nauczania matematyki opracowano dwa modele diagnostyczne dla poziomu podstawowego i rozszerzonego. Ilustrację danych przedstawiono w tab. 5. Tabela 5. Uczestnicy badania umiejętności matematycznych sprawdzianem Połowa drogi 2011 Region Mazowsza Ciechanów Mińsk Maz. Ostrołęka Płock Radom Siedlce Warszawa Model podstawowy (tygodniowo 2-3 godz. matematyki) 1046 25 291 1085 1261 670 3356 Model rozszerzony (tygodniowo 4-7 godz. matematyki) 467 22 209 338 382 313 1571 Liczba uczniów ogółem: 7734 * 3302 ** * W badaniu nie uwzględniono zerowych wyników, które osiągnęło 445 uczniów. ** W badaniu nie uwzględniono zerowych wyników, które osiągnęło 21 uczniów. 4
Umiejętności matematyczne uczniów analizowano również według wymagań ogólnych określonych w podstawie programowej: I. Wykorzystanie i tworzenie informacji II. Wykorzystanie i interpretowanie reprezentacji III. Modelowanie matematyczne IV. Użycie i tworzenie strategii V. Rozumowanie i argumentacja Rysunki 6. i 7. Umiejętności matematyczne określone wymaganiami I V podstawy programowej oraz kategoriami A M R badane sprawdzianem Połowa drogi... 2011 poziom rozszerzony 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0,55 0,50 0,45 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0,00 Współczynnik łatwości I II III IV V Staniny I II III IV V VI VII VIII IX 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0,55 0,50 0,45 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0,00 Współczynnik łatwości A R M Staniny I II III IV V VI VII VIII IX Rys. 6. Rys. 7. 5
Chcemy siać i przewidywać, w którą stronę, Poniesie wiatr i w ziemię rzuci siew, Szacować, kto i gdzie pozbiera plony, W dożynki czyj radosny huknie śpiew. Zbigniew Preisner, Hymn Projekt edukacyjny Połowa drogi w roku szkolnego 2011/2012 objął badaniami diagnostycznymi umiejętności: matematyczne polonistyczne. Działalność diagnostyczna i ewaluacyjna w projekcie Połowa drogi w tak szerokim zakresie była możliwa dzięki wykorzystaniu w kontaktach z nauczycielami połączeń automatycznych, za pomocą Internetu. Na stronie projektu: www.polowadrogi.mscdn.pl nauczyciele za pomocą specjalnych formularzy: zgłaszali chęć uczestnictwa w badaniach umiejętności uczniów, po przeprowadzonym sprawdzianie wpisywali wyniki swoich uczniów, dzięki czemu: po zakończeniu wpisywania wyników otrzymywali klasowy raport diagnostyczny, a po zakończeniu danego etapu badań diagnostycznych otrzymywali regionalne i kontekstowe raporty ewaluacyjne. 6
W projekcie Połowa drogi w roku 2011/2012 przeprowadzano testy umiejętności z języka polskiego i z matematyki. Wyniki osiągnięte w badaniu przez każdego ucznia były podstawą wskazania, jaki etap rozwoju umiejętności uczeń już osiągnął i jakie umiejętności powinien następnie rozwijać 1. 1 Elżbieta Ostaficzuk, Alina Komorowska, Już Połowa drogi, a jeszcze tyle chcę osiągnąć, s. 223 i nast.; XVII TATRZAŃSKIE SYMPOZJUM NAUKOWE EDUKACJA JUTRA, KSZTAŁCENIE I WYCHOWANIE, Zakopane 2011 Elżbieta Ostaficzuk, Alina Komorowska -Ewaluacja opisowa osiągnięć uczniów szkół ponadgimnazjalnych z matematyki i z języka polskiego, s. 298 i nast.; XVII Konferencja Diagnostyki Edukacyjnej, EWALUACJA A KIEROWANIE SZKOŁĄ, Kraków 2011 Monika Jonczak, Elżbieta Ostaficzuk, Grażyna Śleszyńska, Innowacyjna_matematyka_norma_czy_oksymoron.pl, s. 31, NAUCZANIE I UCZENIE SIĘ. MERITUM Nr 1(24) 2012 Elżbieta Ostaficzuk, Grażyna Śleszyńska - Diagnoza umiejętności matematycznych - drogowskaz do indywidualnego rozwoju uczniów, s. 514 i nast. PRZEDMIOTY ŚCISŁE, XVIII Konferencja Diagnostyki Edukacyjnej, Wrocław 2012 Elżbieta Ostaficzuk, Grażyna Śleszyńska Ocenianie orientujące drogowskazem do matematycznego samokształcenia. XXII KRAJOWA KONFERENCJA STOWARZYSZENIA NAUCZYCIELI MATEMATYKI CO NOWEGO W NAUCZANIU MATEMATYKI?, Łódź 2013 7
Badanie doskonale wpisuje się w założenia oceniania określonego przez profesora B. Niemierkę jako orientujące 2. Połowa drogi przyjęła zatem charakter okresowego przeglądu osiągnięć. Powstała możliwość powiązania wyników sprawdzianu z obserwacją pracy uczniów w określonym czasie, i podejmowania decyzji programowych oraz metodycznych w odniesieniu do klasy, szkoły, a nawet regionu, nie wykluczając też samodzielnego monitorowania rozwoju. Interaktywny moduł systemu wskazywania kierunku rozwoju indywidualnego jest przedstawiony na rys. 8. Rysunek 8. System wskazywania kierunku rozwoju indywidualnego w projekcie Połowa drogi Uczeń rozwiązuje zadania testu Nauczyciel ocenia rozwiązania przedstawione przez Ucznia Prezentacja treści zadania Przykład poprawnego rozwiązania zadania Rozwiązanie Ucznia niepoprawne Rozwiązanie Ucznia poprawne Wskazówki umożliwiające poprawne rozwiązanie Rozwiązanie Ucznia niepoprawne Prezentacja umiejętności wstępnych Zadania i przykłady rozwiązań - ilustracja umiejętności wstępnych Zadania z etapu wstępnego - rozwiązywane przez Ucznia Prezentacja umiejętności z wyższego poziomu wymagań Zadania i przykłady rozwiązań - ilustracja umiejętności z wyższego poziomu wymagań Zadania z etapu wyższego - rozwiązywane przez Ucznia Uczeń dysponuje umiejętnościami wyższego poziomu 2 Z. Spalińska, A. Przybyszewska, Bieg na orientację rozmowa z Bolesławem Niemierką [w:] 45 minut, Toruński Przegląd Oświatowy, grudzień 2010, nr 4(62), s.4. 8
Badanie umiejętności matematycznych w projekcie Połowa drogi jest dwuetapowe uczniowie klas pierwszych we wrześniu piszą sprawdzian Potęga matematyki aby później w klasie drugiej napisać kolejny sprawdzian Matematyka do potęgi P albo Matematyka do potęgi R. Udział w projekcie Połowa drogi wyposaża nauczycieli matematyki w informacje o poziomie badanych kompetencji kluczowych w odniesieniu do klasy i poszczególnych uczniów, daje także możliwość wykorzystania informacji zwrotnych do modyfikowania autorskich planów dydaktycznych oraz badania rozwoju umiejętności matematycznych uczniów poprzez wyznaczenie wskaźnika edukacyjnej wartości dodanej 3. Oszacowano wskaźniki EWD 2012 wyznaczając metodą najmniejszych kwadratów równanie regresji 4 liniowej, uwzględniając wyniki sprawdzianu Po gimnazjum 2010 jako dane wejściowe i wyniki sprawdzianu Matematyka do potęgi P 2012 jako dane wyjściowe oraz metodą najmniejszych kwadratów wyznaczono równanie regresji logarytmicznej, uwzględniając wyniki sprawdzianu Po gimnazjum 2010 jako dane wejściowe i wyniki sprawdzianu Matematyka do potęgi R 2012 jako dane wyjściowe. To znaczy, w zależności od poziomu nauczania matematyki opracowano dwa modele regresji dla poziomu podstawowego i rozszerzonego. Modele wyznaczono na podstawie par wyników uzyskanych przez 1018 (na poziomie podstawowym) oraz 407 (na poziomie rozszerzonym) uczniów mazowieckich szkół. Ilustrację przewidywań wynikających z regresji przedstawiono na rys. 9. i 10. 3 Elżbieta Ostaficzuk, Grażyna Śleszyńska Edukacyjna Wartość Dodana w projekcie Połowa drogi 2010-2012, s.11 i nast. OŚWIATA MAZOWIECKA Nr 12/2012/01/2013 4 Zygmunta Barańska, 1999, Podstawy metod statystycznych dla psychologów. Wydawnictwo Uniwersytetu Gdańskiego, Gdańsk, s. 221 i nast. 9
Rysunek 9. Regresja liniowa w modelu podstawowym EWD 2012 Źródło: opracowanie własne 10
Sprawdzian Matematyka do potęgi R'2012 Rysunek 10. Regresja logarytmiczna w modelu rozszerzonym EWD 2012 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10111213141516171819202122232425 Sprawdzian z matematyki'2010 Źródło: opracowanie własne 11
Do interpretowania wartości wskaźników EWD 2012 (dla wyników wyznaczonych modelem podstawowym i rozszerzonym) dla każdej klasy wyznaczono 95% przedział ufności. Rysunek 11. Przedziały ufności wskaźników EWD w klasach (zakodowanych jako 4318; 4320; 4322) przykładowego liceum (kod 940) - poziom podstawowy * 7,00 6,00 5,00 4,00 3,00 2,00 1,00 0,00-1,00-2,00-3,00-4,00-5,00 Przedziały ufności (940) wskaźników EWD'2012 - matematyka poziom podstawowy 5,02 Źródło: opracowanie własne -0,25 4318; 29 4320; 17 4322; 23-2,61 *Przedziały ufności opisano kodem klasy i liczbą uczniów, np. w klasie 4318 badano wyniki 29 uczniów. 12
Rysunek 12. Przedziały ufności wskaźników EWD w klasach (zakodowanych jako 3797; 3799; 3800; 3802) przykładowego liceum (kod 876) - poziom rozszerzony * 8,50 8,00 7,50 7,00 6,50 6,00 5,50 5,00 4,50 4,00 3,50 3,00 2,50 2,00 1,50 1,00 0,50 0,00-0,50-1,00-1,50-2,00-2,50-3,00-3,50 Przedziały ufności szkolnych (876) wskaźników EWD'2012 - matematyka poziom rozszerzony 5,03 4,88-0,52 3797; 29 3799; 27 3800; 29 3802; 14-1,40 Źródło: opracowanie własne *Przedziały ufności opisano kodem klasy i liczbą uczniów, np. w klasie 3797 badano wyniki 29 uczniów. 13
Matematyka do potęgi R 2011-2012 Rysunek 13. Dwuletnie wyniki sprawdzianu Matematyka do potęgi R w projekcie Połowa drogi 2011-2012 w skali 100-15 Dwuletnie wyniki w projekcie Połowa drogi... 2011-2012, N=923 160,00 y = 56,355ln(x) - 166,9 145,00 130,00 115,00 100,00 55,00 70,00 85,00 100,00 115,00 130,00 145,00 160,00 85,00 70,00 55,00 Potęga matematyki 2009-2010 14
Wskaźnik ewd Rysunek 14. Dwuletni wskaźnik EWD w projekcie Połowa drogi 2012 w zakresie matematyki na poziomie rozszerzonym Dwuletni wskaźnik EWD w projekcie Połowa drogi... 2012, N=923 45 30 15 0 55 70 85 100 115 130 145 160-15 -30-45 Matematyka do potęgi R 2011-2012 15
Matematyka do potęgi R 2011-2012 Rysunek 15. Przykładowy rozrzut dwuletnich wyników ze sprawdzianu Matematyka do potęgi R w projekcie Połowa drogi 2011-2012 I Liceum Przykładowe w S. Dwuletnie wyniki w projekcie Połowa drogi... 2011-2012, N=244 160 145 130 115 100 55 70 85 100 115 130 145 160 85 70 55 Potęga matematyki 2009-2010 16
Wskaźnik ewd Rysunek 16. Przykładowy rozkład dwuletnich wskaźników EWD w projekcie Połowa drogi 2012 w zakresie matematyki na poziomie rozszerzonym I Liceum Przykładowe w S. Dwuletni wskaźnik EWD 2011-2012, N=244 45 30 15 0 55 70 85 100 115 130 145 160-15 -30-45 Matematyka do potęgi R 2011-2012 17