XIII Konferencja Diagnostyki Edukacyjnej Uczenie się i egzamin w oczach uczniów. Łomża, 5-7.1.27 Krzysztof Jurek Okręgowa Komisja Egzaminacyjna w Łodzi Wprowadzenie` Zadanie rozrywające na egzaminie maturalnym z historii Myśl, która doprowadziła do napisania tego tekstu narodziła się w ubiegłym roku, podczas powrotu z konferencji w Lublinie. Zainspirowali mnie koledzy z tej samej OKE: Ewa Stożek i Henryk Dąbrowski, którzy na XII Konferencji Diagnostyki Edukacyjnej przedstawili referat poświęcony idei zadania rozrywającego. Właściwie mogę zaryzykować stwierdzenie, że moje badania nad zadaniami z historii są próbą (jak się wydaje udaną) wprowadzenia w życie ich koncepcji; sprawdzenia, czy można ją zastosować do egzaminu z przedmiotu o całkowicie innym niż matematyka charakterze. Zadanie rozrywające to w najprostszym rozumieniu taki rodzaj zadania, które dzieli zdających na dwie całkowicie różne grupy, zdecydowanie różniące się od siebie uzyskanymi wynikami. W rozkładach wyników egzaminacyjnych widać, że tego rodzaju zadanie znacząco wpływa na wynik egzaminu. Nazwa tego zadania (zadanie rozrywające ) wzięła się właśnie z jego szczególnej właściwości, bowiem zadanie to wręcz rozrywa grupę piszących. Można zaryzykować stwierdzenie, że jest to zadanie różnicujące w najwyższym, maksymalnym stopniu. Przedmiotem moich badań stały się wyniki uzyskane przez maturzystów z Arkusza I (podstawowego) podczas egzaminu z historii z roku 26. Egzamin ten w zasięgu działania Okręgowej Komisji Egzaminacyjnej w Łodzi (dwa województwa łódzkie i świętokrzyskie) zdawało 6616 osób. Z grupy tej zostały usunięte wyniki 5 osób, które uzyskały wynik punktów z całego Arkusza, bowiem wynik ten nie ma żadnego znaczenia dla analiz.
Sposób wyodrębnienia zadań rozrywających Analizując wyniki Arkusza I z Matury 26, wziąłem pod uwagę rozkład łatwości wszystkich zadań tego Arkusza w poszczególnych staninach. Kolejny stanin można bowiem tratować jako określony poziom umiejętności ucznia, a łatwość zadania jako prawdopodobieństwo udzielenia poprawnej odpowiedzi. Wyniki na histogramie powinny w związku z tym układać się w wyraźnie zróżnicowanych i kolejno rosnących słupkach. Na tej podstawie wyodrębniłem grupę zadań, które można podejrzewać, że będą zadaniami rozrywającymi. Drugim etapem analizy było wykorzystanie programu SPSS, dzięki któremu uzyskałem krzywe charakterystyczne zadań, a wraz z nimi wyliczone parametry charakteryzujące te zadania. Aby zadanie mogło zostać zaliczone do grupy zadań rozrywających, parametry opisujące krzywą charakterystyczną winny zawierać się w przedziałach: parametr a (określający kąt nachylenia stycznej do wykresu w punkcie przegięcia) większy od 1, natomiast parametr b (punkt przegięcia) bliski, czyli w środku skali. Po przeprowadzeniu tych działań uzyskałem dane, z których wynika, że rolę zadań rozrywających w analizowanym arkuszu spełniają dwa zadania: 15B oraz 2. Poniżej przedstawione zostały łatwości w poszczególnych staninach dla obu zadań oraz ich krzywe charakterystyczne wraz z parametrami. Zadanie 15B Łatwość 1,9,8,7,6,5,4,3,2,1 1 2 3 4 5 6 7 8 9 Staniny Zadanie 2 Łatwość 1,9,8,7,6,5,4,3,2,1 1 2 3 4 5 6 7 8 9 Staniny
1,8,6 a = 1,12 b =,39 c =,4,2-2 -1,5-1 -,5,5 1 1,5 2 Krzywa charakterystyczna zadania 15B wraz z parametrami 1,8,6 a = 1,13 b =,35 c =,1,4,2-2 -1,5-1 -,5,5 1 1,5 2 Krzywa charakterystyczna zadanie 2 wraz z parametrami Analiza wyników zadań Analiza wyników uzyskanych przez maturzystów rozwiązujących Arkusz pozwoliła określić klasyczne (w znaczeniu odwołujące się do klasycznej teorii testu) wskaźniki obu zadań. Zostały one przedstawione w tabeli wraz z wynikami zbiorczymi całego Arkusza. Wskaźnik Zadanie 15B. Zadanie 2. Cały Arkusz,54 Łatwo ść (um iarkowanie trudne) Moc różnicująca,46 (trudne),43,65 (umiarkowanie różnicujące) (dobrze różnicujące),5 (um iarkowanie trudny) -
Z tabeli wynika, że oba zadania należy zakwalifikować do kategorii niezbyt trudnych (wskaźnik łatwości oscylujący w okolicach,5) i różnicujących. Jednocześnie należy zau ważyć, że w całym Arkuszu znalazły się zadania z niższym wskaźnikiem łatwości (a więc trudniejsze) i z wyższą mocą różnicującą. Dalsza analiza wyników uzyskanych przez maturzystów pozwoliła na postawienie pytania o różnicę między grupą maturzystów, która uzyskała z poszczególnego, analizowanego zadania punktów, a tą, która uzyskała 1 punkt (zadanie 15B) lub 2 punkty (zadanie 2.). Na zamieszczonych niżej dwóch wykresach przedstawione zostały dwie grupy maturzystów różniące się między sobą wynikiem uzyskanym z zadania 15B i 2. Szczególnie interesujący jest wykres do zadania 2. Widać na nim wyraźnie, w jaki sposób zadanie to podzieliło, a więc zróżnicowało grupę piszących. Potwierdza się informacja o jego wysokiej mocy różnicującej. 14 Rozkład wyników Arkusza I 12 1 ć Liczebnoś 8 6 4 2 1 2 3 4 5 6 7 8 9 1 Ilość punktów Wyniki maturzystów, którzy otrzymali pkt za zadanie 15B Wyniki maturzystów, którzy otrzymali 1 pkt za zadanie 15B
Rozkład wyników Arkusza I Liczebność 14 12 1 8 6 4 2 1 2 3 4 5 6 7 8 9 1 Ilość punktów Wyniki maturzystów, którzy otrzymali pkt za zadanie 2 Wyniki maturzystów, którzy otrzymali 1 pkt za zadanie 2 Wyniki maturzystów, którzy otrzymali 2 pkt za zadanie 2 Aby zbadać skumulowany efekt nałożenia się na siebie wyników obu zad ań, przeanalizowałem wyniki uzyskane przez maturzystów, którzy w ogóle nie uzyskali punktów za oba zadania, oraz tych, którzy uzyskali maksymalną ilość punktów z obu zadań. Można wiec powiedzieć, że obie grupy maturzystów różniły trzy punkty (jeden punkt za zadanie 15B i dwa punkty za zadanie 2.). Oto wynik tej analizy przedstawiony w postaci wykresu. Liczebnoś ć 1 9 8 7 6 5 4 3 2 1 Wyniki Arkusza I 1 2 3 4 5 6 7 8 9 1 Ilość punktów Uczniowie, którzy otrzymali pkt za oba zadania Uczniowie, którzy uzyskali 3 pkt za oba zadania Okazało się, że oba zadania łącznie w drastyczny sposób podzieliły populac ję. Potwierdzona została w ten sposób ich rola jako zadań
rozrywających. Warto zauważyć, że grupa piszących, którzy uzyskali maksymalną ilość punktów z obu zadań rozpoczyna się dopiero od 35 punktów, a więc maturzyści ci nie uzyskali wyniku niższego. Natomiast maturzyści z drugiej grupy (zero za oba zadania) nie uzyskali wyniku wyższego niż 74 punkty. Obie grupy okazały się prawie identyczne pod względem liczebności 1573 osób ( za oba zadania) oraz 1479 (maksymalna ilość punktów). Zwracam uwagę, że nie stanowią one łącznie sumy wszystkich piszących, gdyż odrzucone zostały stany pośrednie (wyniki wyższe od oraz niższe od 3 za oba zadania). Analiza treści zadań Oba analizowane zadania na pierwszy rzut oka nie wydają się zbyt trudne. Zadanie 15B stanowi drugą część zadania 15., w którym maturzysta na podstawie tabeli zawierającej informacje o władcach Rzeczypospolitej w XVII wieku (imię, lata panowania, imię żony, dynastia/rodzina i kraj pochodzenia żony) w części B miał wykonać następujące polecenie: Tabela zawiera informacje o decyzjach matrymonialnych polskich władców w latach 1587-1673). Określ, co ze względu na polską politykę europejską tego okresu było najważniejszym uwarunkowaniem tych decyzji matrymonialnych. Zdania 15B jest zadaniem punktowanym -1, w którym punkt przyznawany jest za poprawne sformułowanie wniosku. Zadanie 2. brzmi: Wśród wymienionych wydarzeń we Francji w latach 1789-1799 wskaż to, które chronologicznie jest pierwsze i to, które jest chronologicznie ostatnie. W tabeli obok wydarzenia pierwszego wpisz literę A, obok ostatniego B. Poniżej zamieszczona została tabela z następującymi wydarzeniami: śmierć Dantona; likwidacja monarchii ogłoszenie republiki; przewrót thermidoriański obalenie Robespierre a; śmierć Ludwika XVI; przekształcenie Stanów Generalnych w Zgromadzenie Narodowe; obalenie Dyrektoriatu przewrót 18 brumaire a. Zadanie punktowano -2, czyli za poprawne zaznaczenie (przyporządkowanie) jednej daty można było uzyskać 1 punkt. W obu wypadkach są to zadania z drugiego obszaru standardu wymagań egzaminacyjnych. W zadaniu 15B badano umiejętność objaśniania najważniejszej przyczyny (czyli uwarunkowania) zjawiska, natomiast w zadaniu 2. umiejętność chronologicznego uporządkowania wydarzeń. Oznacza to, że zadaniami rozrywającymi są zadania odwołujące się do podstawowych, by nie rzec elementarnych, umiejętności historycznych. Natomiast w obu zadaniach czynnikiem istotnie utrudniającym maturzyście poprawne ich rozwiązanie jest wiedza, a właściwie jej brak. Szczególnie widać to w zadaniu 2., gdzie dla poprawnego rozwiązania niezbędna jest znajomość wydarzeń Rewolucji Francuskiej.
Przypuszczenia Kończąc rozważania na temat zadań rozrywających na egzaminie maturalnym z historii, chciałbym się podzielić pewnymi przypuszczeniami. Świadomie używam określenia przypuszczenia, a nie hipotezy, gdyż zapewne jesteśmy dopiero na początku pewnej drogi i na stawianie hipotez jest jeszcze chyba zbyt wcześnie. Pierwszym przypuszczeniem jest możliwość wystąpienia zjawiska synergii zadań, które wspólnie generują efekt rozerwania. Pod pojęciem synergia rozumiem tutaj wspólne działanie obu zadań, które w ten sposób wzmacniają swój efekt. Analiza zadań zawartych w Arkuszu wykazała istnienie takiego zjawiska. Jednak jego potwierdzeniem mogą być dopiero badania nad kolejnymi egzaminami. Drugie przypuszczenie dotyczy przyczyny powstawania efektu rozerwania w odniesieniu do niektórych zadań. Tutaj można zaryzykować stwierdzenie, że efekt ten jest możliwy przy zadaniach opartych na czystej wiedzy przedmiotowej. Jednak nie wszystkie zadania wiedzowe (co widać w analizowanym Arkuszu) tworzą efekt rozerwania. Oznacza to, że muszą one spełniać także i inne warunki. Stąd też wynika postulat dalszych badań w tym kierunku. Pytaniem, nad którym warto się też zastanowić, jest pytanie o praktyczne wykorzystanie zadań rozrywających. Wydaje się, że moglibyśmy uzyskać dzięki temu bardzo użyteczne narzędzie dodatkowego różnicowania grupy zdających. Warto sobie uświadomić, że gdybyśmy zamiast Arkusza I z historii na Maturze 26 dali egzaminowanym do rozwiązania tylko dwa zadania: 15B i 2., to z góry moglibyśmy określić, kto uzyska co najmniej 35 punktów. Oczywiście, zdaję sobie sprawę z tego, że powyższe stwierdzenie jest prowokacyjne i dokładnie tak winno być rozumiane. Jednak z drugiej strony coś w tym jest. Właśnie to coś wymaga dalszego badania.