Czy udział szkoły w projekcie innowacyjnym może wpłynąć na wyniki egzaminacyjne uczniów?

Transkrypt

1 Czy udział szkoły w projekcie innowacyjnym może wpłynąć na wyniki egzaminacyjne uczniów? Henryk Szaleniec Bartosz Kondratek IBE, Zespół Analiz Osiągnięć Uczniów

2 Zagadnienia 1. Dlaczego na jesiennej szkole EWD rozmawiamy o przykładowym projekcie innowacyjnym w szkołach? 2. Dlaczego kompetencje kluczowe i ich rozwijanie znalazły się w obrębie zainteresowań w projekcie e-akademia Przyszłości*? 3. Co zrobiono dla szkoły i w szkole - jakie były działania? 4. Czy działania w projekcie wpłynęły na wyniki egzaminacyjne? *Projekt realizowany przez WSIP i COMBIDATA w latach

3 Dlaczego rozmawiamy o przykładowym projekcie na szkole EWD? 1. Wiele szkół uczestniczy w różnych projektach, co może (choć nie musi) mieć odzwierciedlenie w wynikach egzaminacyjnych a więc i w EWD szacowanym z wykorzystaniem wyników egzaminacyjnych. 2. Rezultaty wprowadzenia zmiany (innowacji) niekoniecznie widoczne są bezpośrednio w trakcie realizacji projektu lub bezpośrednio po jego zakończeniu.

4 CZTERY POZIOMY EWALUACJI Adaptacja modelu Donalda Kirkpatricka

5 Reakcja na innowację Odczucia i reakcje uczestników procesu uczenia się. Opinie uczniów na temat procesu uczenia się nowym sposobem, w nowych warunkach wynikających z udziału w projekcie. Uczenie się Jakie kompetencje oraz postawy osiągali uczniowie w procesie uczenia się podczas uczestniczenia w projekcie? Diagnoza sumująca na zakończenie kolejnych lat edukacji. Zmiany zachowań Jakie zmiany zaszły w sposobie zachowań uczniów w wyniku uczestniczenia w projekcie? Jakie zmiany zaszły w sposobie zachowań nauczycieli. Rezultaty, zmiany w szkole Wpływ innowacji na osiągnięcia końcowe uczniów, na środowisko edukacyjne szkoły wyniki egzaminu.

6 Dlaczego kompetencje kluczowe były osią projektu? Parlament Europejski i Rada Unii Europejskiej zaleciła państwom członkowskim, działania prowadzące do rozwijania kompetencji kluczowych. 2. Od 2009 w gimnazjum wdrażana jest nowa podstawa programowa. 3. Poszukiwanie rozwiązań synergetycznych: nowa podstawa programowa i wykorzystanie szerszego wachlarza rozwiązań dydaktycznych oraz technologicznych.

7 Trzy rozwiązania wdrażania zaleceń Parlamentu Europejskiego i Rady Unii Europejskiej 1. Budowanie krajowych strategii edukacyjnych uwzględniających rozwijanie kompetencji kluczowych na wszystkich poziomach edukacyjnych. 2. Inne inicjatywy w tej dziedzinie nie wymagające krajowych strategii. 3. Rozwiązania mieszane.

8 BE fr BE de BE nl BG CZ DK DE EE IE EL ES FR IT CY LV LT LU HU MT NL AT PL PT RO SI SK FI SE UK ENG UK WLS UK NIR UK SCT IS NO HR TR Występowanie krajowych strategii promujących rozwijanie kompetencji kluczowych Źródło: Euridice Report 2011/2012 s. 14 Język ojczysty (czytanie) Matematyka Nauki ścisłe i przyrodnicze Języki obce Kompetencje informatyczne Kompetencje społeczne i obywatelskie Inicjatywność i przedsiębiorczość Strategia krajowa Brak krajowej strategii, ale istnieją szeroko zakrojone inicjatywy kształcenia kompetencji kluczowych

9 Próba szkół uczestniczących w projekcie Do projektu zgłosiły się szkoły spełniające warunki konieczne do wprowadzenia innowacji metodyczno-organizacyjnej. Limity wprowadzone dla województw były proporcjonalne do liczby szkół. Zgłosiło się prawie tysiąc szkół. Do projektu zakwalifikowano 200 placówek prowadząc losowanie dla każdego województwa spośród szkół spełniających warunki.

10 Co zrobiono? Główne działania w projekcie e-akademia 1. Wsparcie dla uczniów potrzebujących pomocy na starcie. 2. Jednostki e-learningowe dostępne wszystkim uczniom i nauczycielom szkół uczestniczących w e-akademii Przyszłości. 3. Lokalne szkolne grupy projektowe. 4. Wirtualne koła dla uczniów utalentowanych w zakresie przedmiotów matematyczno-przyrodniczych. 5. Diagnoza wstępna i sumująca na zakończenie każdego roku

11

12 Projekt e-akademia dodatkowe działania 1. Wyposażenie szkół w tablice interaktywne. 2. Wyposażenie nauczycieli w notebooki. 3. Szkolenie stacjonarne nauczycieli, komunikacja z wykorzystaniem platformy.

13 Dostęp do 168 jednostek e-learningowych 1. po 21 z biologii, fizyki, chemii, geografii i języka angielskiego, 2. po 12 z informatyki i WOS, z matematyki, 4. 6 jednostek ponadprzedmiotowych kształtujących kompetencje uczenia się.

14 Diagnozy - plan baterii testów wiążący treści przedmiotowe z kompetencjami kluczowymi Test/kompetencje kluczowe Matematyka Przedmioty przyrodnicze Język angielski Porozumiewanie się w języku ojczystym 2. Porozumiewanie się w językach obcych 3. Matematyczne i podstawowe kompetencje naukowotechniczne 4. Kompetencje informatyczne 5. Umiejętność uczenia się 6. Kompetencje społeczne i obywatelskie 7. Inicjatywność i przedsiębiorczość 8. Świadomość i ekspresja kulturalna

15 Szkolne Grupy Wyrównawcze 60 godzin pracy z uczniami na starcie w I klasie gimnazjum Stworzenie uczniom pierwszych klas gimnazjum, którzy otrzymali najniższe wyniki ze sprawdzianu w szóstej klasie szkoły i podczas diagnozy wstępnej, dobrych warunków do osiągania sukcesów edukacyjnych na miarę swoich możliwości oraz do nabywania przez nich kompetencji kluczowych.

16 Wirtualne koła naukowe uczniów uzdolnionych

17 DLACZEGO SPODZIEWALIŚMY SIĘ WPŁYWU PROJEKTU NA WYNIKI EGZAMINACYJNE SZKÓŁ NIE TYLKO W 2013 ROKU?

18 Model oddziaływań projektu

19 Zasoby szkoły środowisko edukacyjne Umiejętności i postawy nauczycieli Model oddziaływań projektu

20 PROBLEM BADAWCZY Czy prowadzona w ramach projektu innowacja w zakresie środowiska edukacyjnego znalazła odzwierciedlenie w wynikach egzaminu gimnazjalnego w latach następujących po przystąpieniu szkoły do projektu ( )?

21 PROBLEM BADAWCZY Porównanie wyników egzaminacyjnych uczniów szkół uczestniczących w projekcie z wynikami szkół z grupy kontrolnej przeprowadzono z wykorzystaniem technik quasi-eksperymentalnych. Spośród 200 szkół uczestniczących w projekcie do analiz porównawczych z grupą kontrolną wybrano szkoły, których identyfikator znajdował się we wszystkich bazach danych z egzaminu gimnazjalnego w latach Ograniczyło to grupę szkół wybranych do porównania ze względu na wyniki egzaminacyjne do 195.

22 Schemat badania z wiązanym parami doborem szkół Konstrukcja grupy kontrolnej Analiza różnic między grupą szkół uczestniczących w projekcie, a grupą szkół kontrolnych

23 Dobór grupy kontrolnej Dla każdej z 195 szkół w projekcie szukano szkoły kierując się podobieństwem na następującym zestawie zmiennych 1) wielkość miejscowości, przyjmująca cztery wartości: wieś, miasto do 20 tys. mieszkańców, miasto od 20 tys. do 100 tys. mieszkańców, miasto powyżej 100 tys. mieszkańców ; 2) typ szkoły, przyjmujący dwie wartości: szkoła publiczna, szkoła niepubliczna ; 3) wielkość szkoły, wyrażona w liczbie uczniów zdających daną część egzaminu gimnazjalnego w 2010 roku; 4) średni wynik uczniów szkoły obliczony na podstawie dopasowanego do danych gimnazjalnych modelu IRT (Item Response Theory).

24 Wykresy rozproszenia dla par szkół (szkoła w projekcieszkoła z grupy kontrolnej)

25 Wykresy rozproszenia dla par szkół (szkoła w projekcieszkoła z grupy kontrolnej)

26 Średnie wyników egzaminu gimnazjalnego w 2010 roku część matematyczno-przyrodnicza (dla populacji śr = 0 a odchylenie standardowe sd=1). Wielkość miejscowości Grupa kontrolna średnia N uczniów N szkół (pub.) Szkoły w projekcie średnia N uczniów N szkół (pub.) wieś -0, (42) -0, (42) m. do 20 tys. -0, (45) -0, (45) m. powyżej 20 tys. do 100 tys. 0, (44) 0, (44) m. powyżej 100 tys. 0, (53) 0, (53) ogólnie 0, (184) 0, (184)

27 Średnie wyników egzaminu gimnazjalnego w 2010 roku część humanistyczna (dla populacji śr = 0 a odchylenie standardowe sd=1). Wielkość miejscowości wieś m. do 20 tys. m. powyżej 20 tys. do 100 tys. m. powyżej 100 tys. ogólnie Grupa kontrolna średnia N uczniów N szkół (pub.) Szkoły w projekcie średnia N uczniów N szkół (pub.) -0, (42) -0, (42) -0, (45) -0, (45) 0, (44) 0, (44) 0, (53) 0, (53) 0, (184) 0, (184)

28 ANALIZY RÓŻNIC WYNIKÓW 1. Analiza została przeprowadzona na wskaźnikach uczniowskich umiejętności skonstruowanych na podstawie dopasowania do danych gimnazjalnych modelu IRT (item response theory). 2. Wykorzystano parametry IRT dla zadań egzaminacyjnych oszacowane po dopasowaniu modelu do danych z całej populacji uczniów zdających egzamin w danym roku. 3. Dla każdego ucznia z analizowanych dwóch grup wygenerowano komplet 10 plausible values (PV). 4. Analiza istotności statystycznej różnic została przeprowadzona z wykorzystaniem trójpoziomowego modelu regresji liniowej, drugi poziom uwzględniał skupienie uczniów w szkołach, trzeci poziom uwzględniał wiązanie szkół w pary.

29 średni wynik uczniów Porównanie wyników grupy projektowej i kontrolnej Część matematyczno-przyrodnicza 0,140 0,120 0,100 0,080 0,060 0,110 0,104 0,103 0,107 0,071 0,068 0,119 0,081 0,040 0,020 0, edycja egzaminu szkoły z grupy kontrolnej szkoły biorące udział w projekcie

30 średni wynik uczniów Część humanistyczna 0,140 0,120 0,119 0,114 0,123 0,119 0,100 0,080 0,060 0,113 0,086 0,111 0,088 0,040 0,020 0, edycja egzaminu szkoły z grupy kontrolnej szkoły biorące udział w projekcie

31 Oszacowanie efektu związanego z przynależnością uczniów do grupy szkół (projektowa kontrolna) w trójpoziomowym modelu regresji liniowej zmienna zależna efekt SE z p 95% przedział ufności dolna granica górna granica gmp_2010 0,002 0,009 0,173 0,863-0,016 0,019 gmp_2011 0,026 0,018 1,413 0,158-0,010 0,062 gmp_2012 0,035 0,017 2,000 0,045 0,001 0,069 gmp_2013 0,032 0,021 1,524 0,127-0,009 0,072 gh_2010-0,001 0,010-0,055 0,956-0,019 0,018 gh_2011 0,011 0,020 0,570 0,569-0,028 0,051 gh_2012-0,001 0,019-0,040 0,968-0,037 0,036 gh_2013 0,013 0,021 0,611 0,541-0,028 0,054

32 Oszacowanie efektu związanego z przynależnością uczniów do grupy szkół (projektowa kontrolna) wraz z 95% przedziałem ufności 0,1 0,08 0,06 0,04 0,02 0-0, ,04-0,06-0,08-0,1 Część matematyczno-przyrodnicza egzaminu gimnazjalnego różnica wyników na korzyść szkół uczestniczących w projekcie 95% przedział ufności

33 Oszacowanie efektu związanego z przynależnością uczniów do grupy szkół (projektowa kontrolna) wraz z 95% przedziałem ufności 0,1 Część humanistyczna egzaminu gimnazjalnego 0,08 0,06 0,04 0,02 0-0, ,04-0,06-0,08-0,1 różnica wyników na korzyść szkół uczestniczących w projekcie 95% przedział ufności

34 PODSUMOWANIE 1. W części matematyczno-przyrodniczej uczniowie szkół uczestniczących w projekcie uzyskiwali we wszystkich latach wyniki wyższe od uczniów z kontrolnej grupy szkół i różnica utrzymywała się na względnie stałym poziomie (od +0,26 do +0,35). 2. W części humanistycznej natomiast wyższe wyniki w modelu regresji trójpoziomowej w grupie szkół projektowych pojawiły się jedynie w latach 2011 oraz 2013, w roku 2012 wyniki są praktycznie rzecz biorąc identyczne z tymi z 2010, gdy nie było żadnych różnic między grupami.

35 PODSUMOWANIE 1. Spośród wszystkich zaobserwowanych różnic jedynie efekt dla części matematyczno-przyrodniczej w 2012 roku przekroczył próg istotności statystycznej przy bezkierunkowej hipotezie alternatywnej względem hipotezy o braku różnic między grupami. 2. Analiza różnic została przeprowadzona niezależnie dla lat , czyli nie została uwzględniona informacja o powtarzanym charakterze pomiaru umiejętności w tych samych szkołach. Uwzględnienie tej informacji zmniejszyłoby wariancję błędu i prawdopodobnie więcej z omawianych różnic okazałoby się istotnych statystycznie.

36 PODSUMOWANIE 5. Podjęta przez autorów próba porównania wyników egzaminacyjnych uczniów szkół uczestniczących w projekcie z wynikami szkół z grupy kontrolnej z wykorzystaniem schematu badania z zastosowaniem technik quasi-eksperymantalnych otwiera nowe możliwości śledzenia w czasie rezultatów projektu. 6. Warto mieć na uwadze, że efekty innowacji wprowadzanych w szkole zwykle słabo poddają się pomiarowi szczególnie, że zwykle są obserwowalne dopiero po odpowiednio długim czasie od zakończenia projektu, kiedy to główni beneficjenci uczniowie już opuścili szkołę. 7. Wynik egzaminacyjny, który był zmienną zależną w porównywaniu szkół jest tylko jednym z wielu wskaźników osiągnięć uczniów opuszczających szkołę. Jest on tylko jednym z wielu możliwych do zaobserwowania i nieobserwowalnych efektów uczenia się oraz efektów projektu.

37 Jeżeli jedynym narzędziem, jakie masz, jest młotek, to wszystko traktujesz jakby to były gwoździe.» Abraham Maslow, lecture to Graduate Psychology Club, Brandeis University, Spring 1966

38 Dziękujemy za uwagę Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Instytut Badań Edukacyjnych ul. Górczewska 8, Warszawa tel.: (22) , ibe@ibe.edu.pl