RAPORT. I części badania kluczowych kompetencji edukacyjnych w ramach projektu Lekcja nieograniczonych możliwości

Transkrypt

1 Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR Firma jest Placówką Kształcenia Ustawicznego wpisaną do ewidencji szkół i placówek niepublicznych prowadzonej przez Prezydenta Miasta Torunia pod nr 379. Firma prowadzi Oficynę Wydawniczą TUTOR. RAPORT z przeprowadzonej we wrześniu 2014 r. I części badania kluczowych kompetencji edukacyjnych w ramach projektu Lekcja nieograniczonych możliwości przygotowany dla Wydziału Edukacji Urzędu Miasta Rybnika

2 Wyniki ogólne Średnie wyniki z podziałem na klasy i kompetencje zebrano w Zestawieniu 1. oraz przedstawiono w postaci wykresów słupkowych. Uzyskany średni wynik w pierwszej części badania ze wszystkich kompetencji kluczowych w ramach projektu Lekcja nieograniczonych możliwości to 56%. Średni wynik uzyskiwany w trakcie ogólnopolskiego sprawdzianu na koniec klasy szóstej wynosi ok., tak więc ten wynik można uznać za satysfakcjonujący. Dodatkowe okoliczności mogące wpływać na wynik w I części badania kompetencji kluczowych w ramach projektu Lekcja nieograniczonych możliwości to: termin ich przeprowadzenia wrzesień, początek roku szkolnego uczniowie nie zdążyli jeszcze odświeżyć swoich szkolnych umiejętności i wiedzy; czasowo długa, testowa, interdyscyplinarna forma sprawdzianu; nowe typy pytań testowych, z którymi większość uczniów mogła spotkać się po raz pierwszy. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 1

3 Zestawienie 1. Uzyskany średni wynik w pierwszej części badania ze wszystkich kompetencji to 56%. Klasa Liczba uczniów Klasa III 788 Klasa IV 1013 Klasa V 946 ŚREDNI WYNIK Cały test Język polski Matematyka Język angielski 57% 62% 57% 51% 55% 55% 52% 58% 56% 70% 56% 43% Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 2

4 Średnie wyniki z poszczególnych kompetencji dla klas III, IV i V 80% 70% 50% 40% 30% 20% 10% 0% Wyniki średnie dla klas III 62% 57% 57% 51% Całość Język polski Matematyka Język angielski Wyniki średnie dla klas IV Wyniki średnie dla klas V 80% 70% 50% 40% 55% 55% 52% 58% 80% 70% 50% 40% 56% 70% 56% 43% 30% 30% 20% 20% 10% 10% 0% Całość Język polski Matematyka Język angielski 0% Całość Język polski Matematyka Język angielski Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 3

5 Omówienie wyników Wyniki uzyskiwane w zakresie kompetencji z języka polskiego były o kilka punktów procentowych wyższe od wyników uzyskiwanych z kompetencji matematyczno-przyrodniczych. Taka zależność jest obserwowana w trakcie ogólnopolskiego sprawdzianu na koniec szkoły podstawowej, a także w trakcie egzaminów gimnazjalnych. Wyniki uzyskiwane z kompetencji z zakresu języka angielskiego były średnio niższe, ale też bardziej zróżnicowane. Może to wynikać z różnych programów nauczania języka obcego w poszczególnych szkołach (zróżnicowane zestawy podręczników). Drugim powodem wpływającym na średni wynik było pozostawianie przez uczniów wielu pytań w tej części bez odpowiedzi. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 4

6 Karta odpowiedzi Slajd 6. prezentuje kartę odpowiedzi wykorzystywaną podczas badania kompetencji. Arkusz diagnostyczny zawierał pytania o różnej konstrukcji były także nowe formy pytań, które mają się pojawić na sprawdzianie dla uczniów kończących szkołę podstawową w roku Był to dodatkowy atut tego badania kompetencji edukacyjnych uczniowie dzięki temu poznają strukturę nowych pytań oraz nabiorą wprawy w rozwiązywaniu zadań w trakcie interdyscyplinarnego sprawdzianu. W rezultacie będą lepiej przygotowani do sprawdzianów zewnętrznych. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 5

7 Karta odpowiedzi do arkusza dla klasy piątej Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 6

8 100% 80% 40% 20% 0% Całość Język polski Matematyka Język angielski Chłopcy 56% 61% 57% 51% Dziewczęta 57% 63% 58% 52% 100% 80% 40% 20% 0% Całość Język polski Matematyka Język angielski Chłopcy 54% 53% 51% 58% Dziewczęta 56% 58% 53% 59% 100% 80% 40% 20% 0% Całość Język polski Matematyka Język angielski Chłopcy 54% 67% 55% 41% Dziewczęta 59% 73% 57% 46% Klasy III Chłopcy Dziewczęta Klasy IV Chłopcy Dziewczęta Klasy V Chłopcy Dziewczęta Rozkład wyników dziewcząt i chłopców z podziałem na poszczególne klasy Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 7

9 Rozkład wyników dziewcząt i chłopców Wyniki uzyskiwane przez dziewczęta były we wszystkich klasach i w zakresie wszystkich kompetencji wyższe niż wyniki chłopców. W klasach trzecich była to różnica 1 pkt procentowego, w klasach czwartych średnio 2 pkt procentowych, a w klasach piątych 2 pkt procentowych w przypadku przedmiotów matematyczno- -przyrodniczych i aż 5 pkt w zakresie pozostałych kompetencji. W trakcie ogólnopolskiego sprawdzianu na koniec szkoły podstawowej średnia wyników dziewcząt jest wyższa ogólnie o niecałe 2 punkty procentowe (wykres slajd 7.). Badania kompetencji kluczowych w ramach projektu Lekcja nieograniczonych możliwości wykazały dużo wyższą ogólną różnicę rzędu 4 pkt procentowych w dodatku wzrastającą w kolejnych klasach. Dla porównania, średni wynik dziewcząt z ogólnopolskiego egzaminu gimnazjalnego jest wyższy o około 1 pkt procentowy w zakresie przedmiotów humanistycznych, natomiast wyniki z przedmiotów matematyczno-przyrodniczych są porównywalne. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 8

10 Rozkład wyników dziewcząt i chłopców ze sprawdzianu na koniec szkoły podstawowej w 2014 r. (sprawozdanie CKE) Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 9

11 Wyniki w poszczególnych klasach Kolejne slajdy 11., 12. i 13. pokazują, jakie średnie wyniki uzyskali uczniowie klas trzecich, czwartych i piątych z poszczególnych szkół. Niektóre ponadprzeciętne wyniki uzyskane przez uczniów, zwłaszcza w klasach trzecich, mogą wskazywać, że nie we wszystkich szkołach uczniowie rozwiązywali zadania z arkuszy w tych samych warunkach. Prawdopodobnie na wysoki wynik wpływ miała nadmierna pomoc opiekuna lub nauczyciela. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 10

12 100% Wykres SC3. Średnie wyniki klas III dla poszczególnych szkół test Jesienny pociąg 90% 80% 76% 70% 50% 72% 48% 51% 54% 59% 55% 52% 49% 51% 54% 47% 69% 52% 54% 59% 64% 40% 41% 30% 20% 10% 0% SP1 SP2 SP3 SP5 SP11 SP12 SP13 SP16 SP20 SP21 SP22 SP24 SP26 SP27 SP28 SP29 SP34 SP35 SP37 Średnia szkoły Średnia wszystkich uczniów Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 11

13 100% Wykres SC4. Średnie wyniki klas IV dla poszczególnych szkół test Lis i kruk 90% 80% 70% 50% 57% 58% 52% 62% 54% 53% 57% 52% 50% 52% 57% 51% 48% 50% 62% 53% 53% 50% 40% 30% 20% 10% 0% SP1 SP2 SP3 SP5 SP11 SP12 SP13 SP16 SP20 SP21 SP22 SP24 SP26 SP27 SP28 SP29 SP34 SP35 SP37 Średnia szkoły Średnia wszystkich uczniów Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 12

14 100% Wykres SC5. Średnie wyniki klas V dla poszczególnych szkół test Hejnał mariacki 90% 80% 70% 50% 58% 53% 54% 55% 62% 59% 56% 59% 53% 54% 53% 56% 58% 55% 57% 56% 51% 40% 30% 20% 10% 0% SP1 SP2 SP3 SP5 SP11 SP12 SP13 SP16 SP20 SP21 SP22 SP24 SP26 SP27 SP28 SP29 SP34 SP35 SP37 Średnia szkoły Średnia wszystkich uczniów Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 13

15 Wyniki dla poszczególnych szkół, klas i uczniów Dyrektorzy szkół otrzymali pełne sprawozdania zawierające wyniki przedstawione w postaci tabel i zestawień odrębnie dla każdej szkoły, dla każdej klasy i dla każdego ucznia. Wyniki są wyrażone w procentach uzyskanych punktów z podziałem na: 1. wynik ogólny, 2. wynik z kompetencji w zakresie języka polskiego, 3. wynik z kompetencji w zakresie przedmiotów matematyczno-przyrodniczych, 4. wynik z kompetencji w zakresie języka angielskiego. Listy uczniów zawierają cztery wyniki wyrażone w punktach i w procentach w odniesieniu do wyniku maksymalnego (100%) i do średniego uzyskanego przez wszystkich uczniów z danego poziomu (ta wartość może być wyższa lub niższa od 100%). Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 14

16 Klasy III % 11-20% 21-30% 31-40% 41-50% % 71-80% 81-90% % Liczba uczniów Klasy IV % 11-20% 21-30% 31-40% 41-50% % 71-80% 81-90% % Liczba uczniów Klasy V % 11-20% 21-30% 31-40% 41-50% % 71-80% 81-90% % Liczba uczniów Rozkład wyników uczniów Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 15

17 Analiza statystyczna wyników testowania oraz zadań testowych Na wykresach (slajd 15.) przedstawiono rozkłady wyników testowania dla poszczególnych klas. Wykres dla klas III posiada asymetrię lewostronną, co może wiązać się z wysoką łatwością zadań testowych lub z zawyżeniem liczby dobrych odpowiedzi poprzez pomoc nauczyciela w trakcie rozwiązywania testu. Podobną asymetrię wykazuje rozkład uzyskany dla wyników uczniów z klas czwartych. Rozkład wyników uzyskanych przez uczniów klas V wykazuje asymetrię prawostronną. W tym przypadku może to wskazywać na większą trudność zadań. Asymetrie rozkładów w przypadku klas IV i V można wyjaśnić wynikami uzyskanymi w zakresie kompetencji z języka angielskiego w przypadku klas czwartych pytania okazały się statystycznie łatwe, a w przypadku testu dla klas piątych statystycznie trudne. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 16

18 Rozkład wyników z egzaminu maturalnego z języka polskiego w 2014 r. (sprawozdanie CKE) Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 17

19 Pytania zamknięte stosowane podczas wielu testów, także tego, mają sporo wad. Należy zawsze brać pod uwagę fakt, że zadania zamknięte nie sprawdzają umiejętności formułowania wypowiedzi, zdolności do logicznego i spójnego rozumowania oraz nie pokazują drogi dojścia do prawidłowej odpowiedzi. Zaletą jest natomiast obiektywna ocena wyniku. W przypadku zadań otwartych wpływ osób oceniających jest duży. Widać to na wykresach rozkładów wyników testowania, w których istnieje wynik graniczny zaliczający dany egzamin. Na wykresie przedstawiono rozkład wyników testowania, opublikowany przez CKE, przedstawiający wyniki uzyskiwane przez maturzystów z egzaminu maturalnego z języka polskiego. Uczniowie zdają maturę, jeżeli uzyskają 30%. Widać to wyraźnie na wykresie. Duża zapaść wyników przed barierą 30% i eksplozja wyników zaliczających. Część pytań maturalnych to pytania otwarte i ich ocena jest w pewnej części subiektywną oceną egzaminatora. Widać, że egzaminatorzy zawyżają punktację, aby umożliwić zdanie matury. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 18

20 Łatwość zadań i ich moc różnicująca Załączone wykresy A3, A4 i A5 przedstawiają dwa najważniejsze parametry statystyczne służące do analizy zadań testowych łatwość zadania i jego moc różnicującą. Nauczyciele będą mogli na podstawie tych danych szczegółowo przeanalizować zadania z arkuszy i w przyszłości wykorzystać zdobytą wiedzę do konstruowania podobnych pytań testowych. Prezentowane dane wskazują, że wszystkie pytania były poprawnie skonstruowane i dobrze różnicujące. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 19

21 Wartość % Wykres A3. Ocena stopnia łatwości pytań (I) i ich mocy różnicującej (II) w teście dla klas III Jesienny pociąg 100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% Numer pytania I - Łatwość 81% 45% 77% 61% 63% 87% 63% 66% 50% 43% 68% 56% 70% 38% 50% 68% 78% 73% 65% 55% 56% 52% 45% 55% 51% 40% 53% 74% 34% 67% 27% 54% 61% 72% 28% 52% 57% 66% 49% 59% 22% II - Moc różnicująca 0,45 0,34 0,49 0,74 0,83 0,45 0,52 0,61 0,77 0,65 0,69 0,45 0,63 0,55 0,82 0,80 0,60 0,60 0,73 0,85 0,93 0,96 0,67 0,66 0,86 0,90 0,70 0,46 0,77 0,13 0,76 0,47 0,83 0,70 0,88 0,48 0,76 0,77 0,89 0,94 0,62 0,26 I - Łatwość II - Moc różnicująca Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 20

22 Wartość % Wykres A4. Ocena stopnia łatwości pytań (I) i ich mocy różnicującej (II) w teście dla klas IV Lis i kruk 100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% Numer pytania I - Łatwość 63% 64% 61% 77% 69% 58% 63% 50% 33% 36% 58% 54% 27% 63% 55% 58% 38% 29% 69% 30% 69% 49% 48% 72% 76% 68% 30% 16% 62% 47% 63% 64% 42% 64% 75% 72% 53% 56% 72% 74% 48% 48% 39% 56% II - Moc różnicująca 0,44 0,53 0,42 0,42 0,73 0,77 0,52 0,56 0,39 0,42 0,77 0,56 0,11 0,66 0,55 0,56 0,47 0,55 0,60 0,40 0,78 0,50 0,76 0,67 0,60 0,68 0,34 0,20 0,63 0,79 0,78 0,82 0,92 0,62 0,74 0,62 0,48 0,52 0,69 0,82 0,82 0,44 0,91 0,25 0,75 I - Łatwość II - Moc różnicująca Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 21

23 Wartość % Wykres A5. Ocena stopnia łatwości pytań (I) i ich mocy różnicującej (II) w teście dla klas V Hejnał mariacki 100% 90% 80% 70% 50% 40% 30% 20% 10% 0% Numer pytania I - Łatwość 43% 86% 82% 73% 93% 86% 58% 84% 78% 72% 67% 30% 53% 81% 58% 76% 72% 92% 68% 40% 53% 68% 65% 70% 76% 55% 34% 21% 29% 72% 44% 37% 49% 16% 43% 39% 53% 36% 28% 52% 47% 18% 41% 54% 43% 75% 28% 72% II - Moc różnicująca 0,42 0,39 0,53 0,34 0,19 0,40 0,80 0,46 0,21 0,67 0,60 0,32 0,44 0,23 0,34 0,39 0,34 0,22 0,38 0,45 0,40 0,70 0,75 0,81 0,60 0,91 0,58 0,15 0,24 0,53 0,78 0,56 0,75 0,32 0,40 0,59 0,68 0,54 0,33 0,73 0,18 0,16 0,36 0,80 0,61 0,58 0,64 0,63 I - Łatwość II - Moc różnicująca Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 22

24 Rekomendacje i wnioski ogólne wynikające z analizy wyników Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 23

25 W sprawozdaniu z badań znajduje się rozdział zawierający rekomendacje i wnioski. Przedstawiono w nim zagadnienia, na które naszym zdaniem można by zwrócić uwagę w trakcie zajęć szkolnych i pozaszkolnych, uzupełniających i poszerzających wiedzę uczniów. Chociaż w bardzo wielu zadaniach testowych większość uczniów udzieliła prawidłowych odpowiedzi, niemniej powtórzenie i utrwalenie sprawdzanych zagadnień spowoduje, że grupa ta będzie znacznie większa, a tym samym wzrosną też kompetencje kluczowe uczniów. Działania długofalowe, jakie proponujemy, to: 1) lekcje kreatywnego myślenia w klasach I-III (mogą być także realizowane w klasach IV-VI), 2) interdyscyplinarne lekcje pomostowe w klasach, 3) konkursy interdyscyplinarne o charakterze międzyszkolnej ligi zadaniowej. Szczegółowe działania w tym zakresie przedstawiliśmy w sprawozdaniu. Należy w każdym przypadku pamiętać, że najważniejszym ogniwem w procesie nauczania jest nauczyciel i przy doborze osób mających realizować proponowane dodatkowe zajęcia warto zwrócić szczególną uwagę na kwalifikacje, kompetencje oraz zaangażowanie nauczyciela prowadzącego zajęcia. Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 24

26 Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR Firma jest Placówką Kształcenia Ustawicznego wpisaną do ewidencji szkół i placówek niepublicznych prowadzonej przez Prezydenta Miasta Torunia pod nr 379. Firma prowadzi Oficynę Wydawniczą TUTOR. Badania realizuje zespół w składzie: Kierownik zespołu dr inż. Zdzisław Głowacki Sekretarz mgr Małgorzata Szmidt Analiza informatyczna mgr inż. Rafał Lis Merytoryczne opracowanie testów: mgr Iwona Cieślak koordynator grupy mgr Elżbieta Hasse mgr Agnieszka Rzeszotarska mgr Lucyna Rezmer Dziękuję za uwagę! Ośrodek Badania Kompetencji Edukacyjnych Studium Oświatowe TUTOR 25