III ZADANIA EGZAMINACYJNE I ICH OCENIANIE Po zajęciach uczestnik: zna stosowane podczas budowy arkuszy egzaminacyjnych taksonomie celów kształcenia, operacjonalizuje cele kształcenia, zna treść zapisów zawartych w podstawach programowych, standardach wymagań egzaminacyjnych oraz informatorach bądź syllabusach, właściwych dla danego typu egzaminu, analizuje polecenia zawarte w zadaniach pisemnych oraz w tematach i zestawach zadań na egzamin wewnętrzny bądź praktyczny, przyporządkowuje zadania odpowiednim standardom wymagań egzaminacyjnych oraz zapisom w podstawach programowych, rozróżnia rodzaje, formy i typy pisemnych zadań testowych ze szczególnym uwzględnieniem zadań otwartych oraz ocenia ich poprawność, rozumie zasady konstruowania wszystkich rodzajów i form zadań, posługuje się pojęciami: taksonomia celów kształcenia, operacjonalizacja celów, zadanie egzaminacyjne, podstawa programowa, standardy wymagań egzaminacyjnych, informator/syllabus, forma, rodzaj, typ i odmiana zadania egzaminacyjnego, arkusz egzaminacyjny, plan ogólny oraz kartoteka (plan szczegółowy) testu egzaminacyjnego, model oceniania, klucz/schemat poprawnej odpowiedzi, klucz/schemat punktowania zadań, kryteria oceniania, trafność, rzetelność, obiektywizm, tworzy modele oceniania zadań (tj. schematy poprawnych odpowiedzi, schematy punktowania, kryteria oceniania zadań RO), posługuje się przygotowanymi przez CKE modelami oceniania zadań egzaminacyjnych, zna cechy dobrego zadania, testu egzaminacyjnego i egzaminu, *konstruuje zestawy tematów i zadań do części wewnętrznej egzaminu maturalnego, *formułuje pytania kierowane do ucznia podczas wewnętrznej części egzaminu maturalnego. * Dotyczy szkolenia kandydatów na egzaminatorów egzaminu maturalnego z języka polskiego, języków mniejszości narodowych oraz języków obcych. 23
PSYCHOMOTORYCZNE CELE KSZTAŁCENIA (ujęcie taksonomiczne wg B. Niemierki) POZNAWCZE WYCHOWAWCZE (praktyczne) (intelektualne) (motywacyjne - emocjonalne) POZIOM KATEGORIA POZIOM KATEGORIA POZIOM KATEGORIA I. DZIAŁANIA A. Naśladowanie A. Zapamiętywanie wiadomości I. WIADOMOŚCI I. DZIAŁANIA A. Uczestnictwo w działaniu B. Odtwarzanie działania B. Zrozumienie wiadomości (wyjaśnianie) B. Podejmowanie działania II. UMIEJĘTNOŚCI C. Sprawność działania w stałych warunkach (typowych) II. UMIEJĘTNOŚCI C. Stosowanie wiadomości w sytuacjach typowych II. POSTAWY C. Nastawienie na działanie D. Sprawność działania w zmiennych warunkach D. Stosowanie wiadomości w sytuacjach problemowych D. System działań (internalizacja wartości) 24
Taksonomia celów nauczania ABC (B. Niemierki) Źródło: D. Sołtys, M. K. Szmigel, Doskonalenie kompetencji nauczyciela w zakresie diagnozy edukacyjnej, Kraków 1997 Kategorie taksonomiczne Zakres Niezbędne czynności ucznia Cele nauczania wyrażone wieloznacznie przy użyciu czas. operacyjnych Poziom I. Wiadomości Kategoria A: Zapamiętywanie wiadomości Wiadomości mogą dotyczyć terminologii, faktów, praw i teorii naukowych, konwencji i klasyfikacji, kryteriów oceny, zasad działania, procedur i algorytmów, metodologii badań. Wiadomości są zapamiętywane, jeżeli uczeń jest w stanie odszukać je w pamięci, sprawdzić kompletność i ewentualnie uzupełnić, przedstawić w formie ustnej lub pisemnej albo też wykorzystać w praktycznym działaniu. Na szczególną uwagę zasługują wiadomości dotyczące sposobów działania (rozpoznawania sytuacji, formułowania planu działania, modyfikacji działania stosownie do okoliczności). Uczeń powinien nam powiedzieć lub pokazać, jak to zrobić, ale niekoniecznie musi umieć wykonać tę czynność. wiedzieć nazwać... zdefiniować... wymienić... zidentyfikować, wyliczyć......... Kategoria B: Zrozumienie wiadomości Obejmuje elementarny poziom zrozumienia wiadomości, w zakresie uznanym za niezbędny na danym szczeblu nauczania przedmiotu. Tłumaczenie polega na przedstawieniu swoimi słowami lub w innej formie niż były podane (słownej, symbolicznej, graficznej, ruchowej). Interpretacja polega na syntetycznym ujęciu (streszczeniu) danych wiadomości i porównaniu ich z innymi wiadomościami. rozumieć streścić... wyjaśnić... zilustrować... rozróżnić......... Ekstrapolacja polega na przedłużeniu zjawiska lub ciągu wydarzeń na inne sytuacje, równoległe lub przyszłe. Informacja, która ulega przetworzeniu w czynnościach kategorii rozumienia, może być pamiętana przez ucznia lub dostarczona na poczekaniu. 25
Poziom II. Umiejętności Kategoria C: Zastosowanie wiadomości w sytuacjach typowych Kategoria D: Zastosowanie wiadomości w sytuacjach problemowych Zastosowanie wiadomości jest to osiągnięcie wyniku o bezpośrednim lub potencjalnym znaczeniu praktycznym, oparte na prawidłowym zrozumieniu sytuacji, dostępnych danych, zasad i procedur działania oraz rodzaju oczekiwanego rozwiązania. Skuteczność czynności wyraża się tu trafnością i dokładnością wyniku. Najwyższa kategoria celów nauczania obejmuje złożone procesy umysłowe służące znalezieniu potrzebnego rozwiązania. Tu są wykorzystywane wiadomości z różnych dziedzin, a rozwiązanie jest w pewnym sensie twórcze. Na zastosowanie wiadomości w sytuacjach problemowych składają się trzy główne rodzaje czynności: analiza, synteza, ocena. W złożonej czynności zastosowania wiadomości w sytuacjach problemowych mieści się jedna lub więcej czynności zastosowania wiadomości. Sytuacja, w której czynność jest wykonywana, nie powinna odbiegać od sytuacji, w jakiej czynność była ćwiczona. Także wzór czynności opanowany w toku ćwiczeń nie powinien ulegać zbyt daleko idącym modyfikacjom. Nie znaczy to jednak, że zastosowanie wiadomości może ograniczać się do odtwarzania wzoru z pamięci. Czynności całkowicie nawykowe należą do najniższej kategorii celów nauczania zapamiętywania wiadomości. 1.Analiza polegająca na wyróżnieniu elementów i związków między elementami jakiegoś stanu rzeczy lub jakiejś wypowiedzi oraz na odtworzeniu struktury tej całości. 2.Synteza polegająca na zbudowaniu modelu przeanalizowanej całości, w ujęciu jej właściwości w oryginalnie ustrukturyzowanej całości. 3.Ocena polegająca na wartościowaniu stanu rzeczy i wyniku działań przez porównanie ich z odpowiednimi modelami oraz przez odwołanie się do właściwych kryteriów teoretycznych. kształtować rozwiązać... skonstruować... zastosować... porównać... sklasyfikować.. narysować... scharakteryzować zmierzyć... wybrać sposób. kreślić... zaprojektować.. wykreślić... rozumieć dowieść... przewidzieć... zanalizować... wykryć... ocenić... zaproponować.. zaplanować...... Formułując cele egzaminu musimy być świadomi tego, co ma robić zdający, oraz kiedy jego działanie uznamy za osiągnięcie celu. Cele ogólne wyrażają kierunek dążeń pedagogicznych. Operacjonalizacja celów szczegółowych to formułowanie ich w postaci obserwowanych zmian i mierzalnych zachowań. Cel operacyjny to jasno wyrażone zamierzone osiągnięcie ucznia. W toku operacjonalizacji cel ogólny ulega: sprecyzowaniu, uszczegółowieniu, konkretyzacji, odarciu z otoczki emocjonalnej (literackości), upodmiotowieniu. Cechy celu operacyjnego: odpowiedni, jednoznaczny, wykonalny, obserwowalny, mierzalny, upodmiotowiony, komunikatywny, określony czasem. 26
ELEMENTY OPERACYJNEGO CELU KSZTAŁCENIA (wg Roberta Magera, Preparing instructional objectives, 1962) CELE OPERACYJNE 1. ZACHOWANIE UCZNIA 2. WARUNKI SKŁADNIK OPIS SKŁADNIKA PRZYKŁADY 1A. DZIAŁANIE (CZYNNOŚĆ) 1B. TREŚĆ CZYNNOŚCI 3. KRYTERIUM OSIĄGNIĘCIA (ilościowe lub jakościowe) opis zadania, które uczeń wykona lub jakie działanie ucznia nauczyciel uzna za dowód (wskaźnik) osiągnięcia celu; wyrażane jest za pomocą czasownika operacyjnego wyraża przedmiot, temat lub materiał, w stosunku do których działanie ma być wykonane opisanie okoliczności, w jakich działanie ma mieć miejsce ucznia lub w jakich będzie ono obserwowane (mogą to być dane, ograniczenia, zastrzeżenia) akceptowany poziom wykonania czynności (lub najniższy próg uznany za wystarczający) wypisze wskaże wymieni właściwości związków, w których występuje wiązanie jonowe pasma górskie w Karpatach przyczyny wybuchu II wojny światowej z pamięci na mapie fizycznej Polski na podstawie tekstu źródłowego trzy wszystkie dwie najistotniejsze 1. Uczeń wypisze z pamięci trzy właściwości związków, w których występuje wiązanie jonowe. 2. Uczeń wskaże na mapie fizycznej Polski wszystkie pasma górskie w Karpatach. 3. Uczeń wymieni dwie najistotniejsze przyczyny wybuchu II wojny światowej wskazane w tekście źródłowym. 27
PROCEDURY TWORZENIA ZADAŃ EGZAMINACYJNYCH podstawa programowa program nauczania standardy wymagań egzaminacyjnych wewnątrzszkolne wymagania edukacyjne koncepcja egzaminu wewnątrzszkolny system oceniania plan arkusza egzaminacyjnego arkusz egzaminacyjny zadania egzaminacyjne wyniki sprawdzianu / egzaminu 28
OD PODSTAWY PROGRAMOWEJ DO ZADANIA EGZAMINACYJNEGO (na przykładzie egzaminu gimnazjalnego część humanistyczna) PODSTAWA PROGRAMOWA UMIEJĘTNOŚĆ PONADPRZEDMIOTOWA Skuteczne porozumiewanie się w różnych sytuacjach, prezentacja własnego punktu widzenia (...), poprawne posługiwanie się językiem ojczystym OSIĄGNIĘCIA UCZNIA Budowanie wypowiedzi (...) pisanych zgodnie z intencją i okolicznościami (w związku z sytuacjami życiowymi i lekturą) STANDARDY WYMAGAŃ EGZAMINACYJNYCH EGZAMIN GIMNAZJALNY CZĘŚĆ HUMANISTYCZNA Uczeń: II. 1) buduje wypowiedzi poprawne pod względem językowym i stylistycznym w następujących formach: (...) zaproszenie (...), 3) tworzy teksty o charakterze informacyjnym lub perswazyjnym, dostosowane do sytuacji komunikacyjnej (...). INFORMATOR KOMENTARZ DLA UCZNIA Aby napisać tekst w określonej formie, powinieneś znać jej cechy gatunkowe. Powinieneś również przekazywać myśli w sposób jasny i zrozumiały (...). Pisząc tekst, w którym zamierzasz głównie przekazać informacje, powinieneś skupić się na faktach. Tworząc tekst perswazyjny, tzn. taki, w którym starasz się kogoś do czegoś nakłonić, przekonać lub coś wytłumaczyć, możesz celowo dobierać, porządkować i oceniać informacje. (...) W zależności od tego, do kogo kierujesz swój tekst, możesz wypowiadać się językiem potocznym lub literackim. Napisz zaproszenie na ucztę w zamku. PRZYKŁADOWE ZADANIE Z INFORMATORA 29
OD PODSTAWY PROGRAMOWEJ DO ZADANIA EGZAMINACYJNEGO (na przykładzie egzaminu gimnazjalnego część matematyczno-przyrodnicza) PODSTAWA PROGRAMOWA UMIEJĘTNOŚĆ PONADPRZEDMIOTOWA Rozwiązywanie problemów w twórczy sposób OSIĄGNIĘCIA UCZNIA Przeprowadzanie nieskomplikowanych rozumowań matematycznych. STANDARDY WYMAGAŃ EGZAMINACYJNYCH EGZAMIN GIMNAZJALNY - CZĘŚĆ MATEMATYCZNO-PRZYRODNICZA Uczeń: IV. 2) analizuje sytuację problemową: a) dostrzega i formułuje problem, b) określa wartości dane i szukane (określa cel), IV. 3) tworzy modele sytuacji problemowej: a) wyróżnia istotne wielkości i cechy sytuacji problemowej, b) zapisuje je w terminach nauk matematyczno-przyrodniczych, c) potrafi umiejscowić sytuacje dotyczące środowiska przyrodniczego w szerszym kontekście społecznym, IV. 4) tworzy i realizuje plan rozwiązania: a) rozwiązuje równania i nierówności stanowiące model problemu, b) układa i wykonuje procedury osiągania celu, IV. 5) opracowuje wyniki: a) ocenia wyniki, b) interpretuje wyniki, c) przedstawia wyniki. INFORMATOR KOMENTARZ DLA UCZNIA W trakcie nauki w gimnazjum powinieneś zdobyć taki zasób wiedzy, który umożliwi Ci analizowanie i rozwiązywanie nietypowych zadań problemowych. Mając do dyspozycji opis sytuacji problemowej, musisz wyróżniać w nim istotne wielkości, a w szczególności wielkości dane i szukane. (...) Umiesz tworzyć model teoretyczny sytuacji problemowej, zapisując go w postaci równania (...). Potrafisz formułować wnioski i opracowywać wyniki oraz przedstawiać je w czytelnej formie. PRZYKŁADOWE ZADANIE Z INFORMATORA Przyrodnicy muszą kupić 49 namiotów. Mają na ten cel 14000 zł. W sklepie znajdują się namioty w dwóch gatunkach. Namioty pierwszego gatunku kosztują 350 zł za sztukę, zaś drugiego gatunku 250 zł. Jaką największą liczbę namiotów pierwszego gatunku mogą kupić przyrodnicy? 30
OD PODSTAWY PROGRAMOWEJ DO ZADANIA EGZAMINACYJNEGO (na przykładzie egzaminu maturalnego z chemii) PODSTAWA PROGRAMOWA Cele edukacyjne Zadania szkoły Treści Osiągnięcia 3. 1. 5. 2. STANDARD 4a OPIS WYMAGAŃ Z SYLLABUSA Zdający potrafi: uzasadniać związki przyczynowo-skutkowe pomiędzy prezentowanymi faktami ZADANIE Przyjrzyj się uważnie rysunkowi i wyjaśnij, dlaczego wilgotny papierek uniwersalny trzymany nad stężonym roztworem wody amoniakalnej zmieni barwę szybciej niż trzymany nad stężonym roztworem kwasu solnego. 31
RODZAJE I FORMY ZADAŃ EGZAMINACYJNYCH Podczas konstruowania egzaminów zewnętrznych ich autorzy zastosują następujące zadania (typologia używana przez B. Niemierkę; objaśnienie skrótów na następnej stronie): Zadania lp. Rodzaj egzaminu pisemne ustne praktyczne zamknięte otwarte 1. Sprawdzian w VI klasie szkoły WW, D, PF L, KO, RO podstawowej 2. Sprawdzian w VI klasie szkoły WW, D, PF L, KO, RO podstawowej dla uczniów z trudnościami w uczeniu się 3. Sprawdzian w VI klasie szkoły WW, D, PF L, KO, RO podstawowej dla uczniów niesłyszących i słabo słyszących 4. Egzamin gimnazjalny część WW, D, PF L, KO, RO humanistyczna 5. Egzamin gimnazjalny dla uczniów z WW, D, PF L, KO, RO trudnościami w uczeniu się część humanistyczna 6. Egzamin gimnazjalny dla uczniów WW, D, PF L, KO, RO niesłyszących i słabo słyszących cz. humanistyczna 7. Egzamin gimnazjalny część matematyczno-przyrodnicza WW, D, PF L, KO, RO 8. Egzamin gimnazjalny dla uczniów z WW, D, PF L, KO, RO trudnościami w uczeniu się część matematyczno-przyrodnicza 9. Egzamin gimnazjalny dla uczniów niesłyszących WW, D, PF L, KO, RO i słabo słyszących część matematyczno-przyrodnicza 10. Język polski WW, D KO, RO 11. Język angielski WW, D, PF L, KO, RO 12. Język niemiecki WW, D, PF L, KO, RO 13. Język rosyjski WW, D, PF L, KO, RO 14. Język francuski WW, D, PF L, KO, RO 15. Język hiszpański WW, D, PF L, KO, RO 16. Język włoski WW, D, PF L, KO, RO 17. Język słowacki WW, D, PF L, KO, RO 18. Język białoruski WW KO, RO 19. Język litewski WW KO, RO 20. Język ukraiński WW KO, RO 21. Języki klasyczne... WW, D RO 22. Matematyka KO, RO 23. Fizyka z astronomią WW KO, RO 24. Informatyka KO, RO 25. Biologia WW, D L, KO, RO 26. Geografia WW, D L, KO, RO 27. Chemia WW, D L, KO, RO 28. Historia PF, WW, D L, KO, RO 29. Filozofia PF, WW, D L, KO, RO 30. Historia sztuki PF, WW, D L, KO, RO 31. Historia muzyki PF, WW, D L, KO, RO 32. Wiedza o społeczeństwie PF, WW, D L, KO, RO 33. Wiedza o tańcu WW, D L, KO, RO 34. Egzaminy potwierdzające kwalifikacje zawodowe WW próba pracy 32
TYPOLOGIA PISEMNYCH ZADAŃ TESTOWYCH (wg Bolesława Niemierki) Zadania Przydatność do sprawdzania czynności z kategorii taksonomicznych Rodzaj Forma Typ A B C D Otwarte 1. Rozszerzonej odpowiedzi RO 2. Krótkiej odpowiedzi KO 3. Z luką L 4. Na dobieranie D Orientacyjny czas rozwiązywania w minutach Czynności słowne (R 1) Czynności na symbolach (R 2) + + + + + 15-20 Odpowiedź pojedyncza (KO 1) Wyliczanie (KO 2) + + + + + + + 3 Uzupełnianie (L 1) Korekta (L 2) Przyporządkowanie (D 1) Klasyfikacja (D 2) Uporządkowanie (D 3) + + - - 1 + + - - 1-2 Zamknięte 5. Wielokrotnego wyboru WW 6. Prawda-fałsz PF Jedna odpowiedź prawdziwa (WW 1) Jedna odpowiedź fałszywa (WW 2) Najlepsza odpowiedź (WW 3) Zmienna liczba prawidłowych odpowiedzi (WW 4) Wybór alternatywny (PF 1) Wybór skalowany (PF 2) - + + + + + 1,5 - + + - + 0,5 33
ELEMENTY WYSTĘPUJĄCE W ZADANIU EGZAMINACYJNYM (na przykładzie zadania egzaminacyjnego z chemii) Materiał wprowadzający Wstęp Polecenie (pytanie lub zdanie rozkazujące) Ograniczenia odpowiedzi Odpowiedź Schemat (model) odpowiedzi Zadania otwarte Zadania zamknięte Materiał, do którego odnosi się polecenie, przedstawiony w formie tekstu, rysunku, wykresu itp., np.: Jedną z metod wykorzystywana do oznaczania ilości SO 2 zawartego w powietrzu jest pochłanianie dwutlenku siarki w roztworze manganianu (VII) potasu. Informacja bezpośrednio poprzedzająca polecenie, np.: Zachodzi wówczas reakcja opisana równaniem: KMnO 4 + SO 2 +H 2 O K 2 SO 4 +MnSO 4 +H 2 SO 4 Najważniejsza część zadania zapisana z użyciem czasowników operacyjnych, np.: Jak zmieniła się barwa roztworu podczas przebiegu reakcji? Informacje podane w celu uniknięcia niepożądanych interpretacji, np. podaj dwa sposoby np. wybierz dwie poprawne odpowiedzi w przykładowym zadaniu: brak występuje w zadaniach wielokrotnego wyboru (np. B), ukryta pomiędzy odpowiedziami niepoprawnymi, np. A, C, D (tzw. dystraktorami), nie występuje np.: A. z bezbarwnej na fioletową B. z fioletowej na bezbarwną C. z fioletowej na zieloną D. z zielonej na brunatny osad Zawierająca modelową/e odpowiedź/dzi instrukcja dla oceniającego * Prawidłowa odpowiedź, np. B, wskazana jest bezpośrednio w zadaniu * nie występuje bezpośrednio w trzonie zadania; dołącza się ją do pakietu egzaminacyjnego; podczas przeprowadzania egzaminu pozostaje tylko do użytku egzaminatora 34
ZALETY I WADY ZADAŃ TESTOWYCH OTWARTYCH I ZAMKNIĘTYCH (wg B. Niemierki, 1977) ZZAAMKKNNI IIĘĘTTYYCCHH ZZAALLEETTYY ZZAADDAAŃŃ OTTWAARRTTYYCCHH 1. Szeroki zakres zastosowań. 2. Obiektywne punktowanie wyników. 3. Sprawność pomiarowa. 4. Wdrażanie do podejmowania decyzji. o Mogą obejmować większy zakres materiału. o Udzielanie odpowiedzi zajmuje mało czasu. o Łatwa konstrukcja klucza punktowania. o Punktowanie zadań zajmuje mało czasu i jest obiektywne (zadania może sprawdzać czytnik). o Prostsza analiza wyników. 1. Zadowalająca reprezentatywność zbioru zadań. 2. Wysoki obiektywizm punktowania. 3. Niepodatność na zgadywanie odpowiedzi. 4. Łatwość konstrukcji. o Sprawdzają kreatywność zdającego. o Pozwalają na samodzielność pracy i swobodę wypowiedzi. o Wymagają poprawnego stosowania zwrotów i wyrażeń typowych dla danego przedmiotu. W AADDYY ZZAADDAAŃŃ ZZAAMKKNNI IIĘĘTTYYCCHH 1. Niemożność tworzenia syntez przez uczniów. 2. Fałszywy obraz świata i wiedzy ludzkiej jako zamkniętych systemów o stałych czytelnych prawidłowościach. 3. Przewaga form zadań nad treścią kształcenia. 4. Większy niż w przypadku zadań otwartych błąd pomiaru. 5. Trudność konstruowania zadań. OTTWAARRTTYYCCHH 1. Poszatkowanie treści kształcenia. 2. Ciążenie ku niskim kategoriom celów kształcenia. 3. Niepełny obiektywizm punktowania. o Można sprawdzać tylko ograniczony zestaw umiejętności. o Stwarzają możliwość zgadywania poprawnej odpowiedzi. o Trudność w konstruowaniu poprawnych i wartościowych zadań o wyższej taksonomii. o Obejmują mniejszy zakres treści kształcenia. o Trudność w jednoznacznym konstruowaniu poleceń. o Trudność w obiektywnej ocenie zadań. o Udzielanie odpowiedzi zajmuje dużo czasu. o Czasochłonność procesu sprawdzania i oceniania. o Trudna konstrukcja modelu oceniania. o Czasochłonna analiza. o Trudna interpretacja wyników. 35
PIĘĆ ZALECEŃ PRAKTYCZNYCH DLA KONSTRUKTORÓW ZADAŃ (B. Niemierko,1977) 1. Budując zadania, kieruj się własnym planem testu, a nie przykładami zadań innych testów. 2. Budując zadania, wczuwaj się w sytuację ucznia rozwiązującego to zadanie, a nie w sytuację nauczyciela, który realizuje obowiązujący program kształcenia wg podręcznika. 3. Najpierw zajmij się treścią zadania (sprawdzaną czynnością), a potem jego formą. 4. Staraj się, by tekst zadań był jasny i zwięzły, maksymalnie uproszczony i oczyszczony ze zbędnych słów i symboli. 5. Stosuj w miarę możności język ucznia, gdyż poziom ścisłości języka powinien odpowiadać szczeblowi kształcenia ucznia, a nie szczeblowi wykształcenia nauczyciela. LISTA GŁUPICH BŁĘDÓW W KONSTRUKCJI ZADAŃ (wg Jima Pophama, 1978) 1. Niejasne polecenia. 2. Wieloznaczne wyrażenie. 3. Niezamierzone podpowiedzi. 4. Skomplikowana składnia. 5. Trudne słownictwo. 36
WPŁYW STOSOWANIA KRYTERIÓW NA OCENY Oceny prac pisemnych z języka polskiego bez zastosowania i z zastosowaniem schematu punktowania - tabela B. Niemierki [w:] Ewaluacja Nowej Matury, Zbiór studiów teoretycznych i empirycznych pod redakcją Bolesława Niemierki, Wrocław 1999 s. 54 Uczeń Ocena nauczyci A. Bez zastosowania schematu punktowania B. Z zastosowaniem schematu punktowania Oceniający (sędzia) ela I II III IV V VI VII VIII IX Średnia Od. st. Oceniający (sędzia) I II III IV V VI VII VIII IX Średnia Od. st. 3 4 5 3 5 3 3 4 5 3,9 0,93 2 4 5 3 4 3 3 4 5 3,7 1,00 2 2 2 1 3 1 3 1 2 3 3 2,1 0,93 2 3 3 1 2 1 2 2 1 1,9 0,78 3 1 1 1 1 1 1 1 1 1 1 1,0 0,00 1 1 1 1 1 1 1 1 1 1,0 0,00 4 3 4 3 3 4 2 4 2 4 4 3,3 0,87 3 4 3 3 3 5 2 4 4 3,4 0,88 5 2 2 1 2 2 3 2 1 1 1 1,7 0,71 3 3 1 2 2 1 1 1 1 1,7 0,87 6 3 2 3 2 3 4 2 2 3 3 2,9 0,78 3 4 4 3 3 2 2 3 3 3,0 0,71 7* 4 4 3 4 4 3 1 2 2 5 3,1 1,27 4 3 4 4 3 1 2 3 5 3,2 1,20 8 4 3 3 3 3 3 2 4 3 3 3,0 0,50 2 4 3 3 4 1 3 3 2 2,8 0,97 9 5 3 2 2 3 1 3 4 3 3 2,7 0,87 2 3 2 3 1 3 3 3 3 2,6 0,73 10 5 3 4 4 3 3 3 3 5 4 3,6 0,73 4 4 4 3 3 4 3 5 4 3,8 0,67 11 3 5 5 4 3 4 5 3 4 4 4,1 0,78 4 4 4 4 5 5 3 5 4 4,2 0,67 12 3 4 4 3 3 4 4 3 2 4 3,4 0,73 2 4 4 3 3 4 3 3 2 3,2 0,67 13 3 5 5 5 4 5 5 4 4 4 4,6 0,53 5 4 5 4 5 5 4 4 3 4,4 0,53 14 2 3 1 3 1 2 1 3 2 3 2,1 0,93 2 3 3 2 2 2 2 2 2 2,2 0,44 Śred. 3,21 3,1 2,9 3,3 2,7 3,1 2,6 2,6 2,9 3,4 2,96 0,78 2,8 3,4 3,3 2,8 2,9 2,7 2,4 3,1 3,0 2,94 0,72 Odch. st. 1,25 1,2 1,5 1,1 1,1 1,3 1,4 1,0 1,2 1,2 1,17 x 1,1 0,8 1,3 1,0 1,3 1,6 0,8 1,3 1,4 1,20 x *przypadek krytyczny szczególnej niezgodności ocen (w obydwu badaniach) 37
PRZYGOTOWANIE SCHEMATÓW POPRAWNYCH ODPOWIEDZI I SCHEMATÓW PUNKTOWANIA ZADAŃ OTWARTYCH przeczytaj zadanie rozwiąż je przygotuj poprawną i pełną, wzorcową odpowiedź ustal ogólne i szczegółowe zasady punktowania zadania przygotuj przykłady: - inaczej sformułowanych poprawnych odpowiedzi (ze standaryzacji) - przykłady niepełnych odpowiedzi z przydzieloną im punktacją - przykłady złych odpowiedzi (jeśli zachodzi taka potrzeba, gdyż wielu uczniów je wskazywało) 38
Przykład: 39
PODSTAWOWE POJĘCIA POMIAROWODYDAKTYCZNE, używane podczas prowadzenia bloku tematycznego ZADANIA EGZAMINACYJNE I ICH OCENIANIE (opracowano na podstawie prac Bolesława Niemierki i in.) CELE KSZTAŁCENIA cele kształcenia zaprojektowane wyniki procesu dydaktycznego wyrażone opanowaniem przez uczniów określonych wiadomości, umiejętności i kompetencji; planowane efekty kształcenia cele operacyjne - cele nauczania wyrażone w postaci jasno określonych czynności uczniów; cele tak określone ułatwiają planowanie nauczania, komunikowanie się z uczniami, organizację kształcenia oraz sprawdzanie i ocenianie osiągnięć uczniów taksonomia celów nauczania - schemat hierarchicznej klasyfikacji celów nauczania dziedziny poznawczej (intelektualnej), wychowawczej (emocjonalnej) i psychomotorycznej (praktycznej); powszechnie znana jest w Polsce taksonomia prof. B. Niemierki (1975); pierwszą taksonomię opracował zespół pod kierunkiem B. Blooma w 1956 r.; stosowanie taksonomii powinno ułatwić ochronę nauczania i sprawdzania osiągnięć przed encyklopedyzmem EGZAMINOWANIE egzaminowanie - wyodrębniony w kształceniu proces sumującego sprawdzania, punktowania i oceniania osiągnięć uczniów egzamin doniosły - egzamin o dużej wartości dla systemu oświatowego i społeczeństwa, w którym znaczenie informacji o poziomie osiągnięć uczniów jest większe niż znaczenie komentarza dydaktycznego egzamin powszedni - sprawdzanie i ocenianie osiągnięć uczniów, w którym znaczenie komentarza dydaktycznego jest większe niż znaczenie informacji o wyniku kształcenia egzamin zewnętrzny egzamin dokonywany przez egzaminatorów instytucji zewnętrznej (okręgowej komisji egzaminacyjnej) plan (siatka) egzaminu - tabelaryczne, graficzne lub opisowe zestawienie wskazujące, jakie zadania mają być skonstruowane do egzaminu (zastosowane w arkuszu egzaminacyjnym); wyznacza konstruowanie zadań i ułatwia odczytanie struktury i treści egzaminu wynik egzaminu - symbol (zwykle liczba) przedstawiający poziom osiągnięć egzaminowanego (testowanego) ucznia; rozróżniamy surowe i pochodne wyniki egzaminowania (testowania); indywidualne wyniki egzaminowania zewnętrznego prowadzonego od roku 2002 przedstawiane będą jako suma punktów ZADANIA EGZAMINACYJNE BUDOWA ZADAŃ dystraktory - błędne odpowiedzi w zadaniach wielokrotnego wyboru poprawność redakcyjna zadania - ujęcie formy zadania stosownie do jego treści (sprawdzanych czynności) oraz norm językowych poprawność dydaktyczna zadania - zgodność zadania z cechami wartościowego procesu kształcenia; obejmuje: poprawność rzeczową, poprawność redakcyjną i odpowiednią trudność poprawność merytoryczna (rzeczowa) zadań - zgodność zadania ze stanem wiedzy naukowej w danej dziedzinie w ujęciu właściwym dla określonego szczebla kształcenia poziomu rozwoju uczniów zadanie egzaminacyjne - najmniejsza, względnie niezależna i osobno punktowana część testu egzaminacyjnego, wymagająca od badanego udzielenia samodzielnej odpowiedzi; obejmuje opis wybranej sytuacji, pytanie lub polecenie i ewentualnie gotowe odpowiedzi do wyboru lub wskazówki ukierunkowujące pracę ucznia 40
zadanie krótkiej odpowiedzi - wymaga od ucznia udzielenia zwięzłej odpowiedzi w postaci jednego słowa, liczby, symbolu, zdania (lub najczęściej kilku zdań), wyrażenia matematycznego, zapisu prostej reakcji chemicznej, prostego rysunku, wyliczenia elementów, korekty itp. zadanie praktyczne - zadanie wymagające od ucznia celowego oddziałania na otaczający świat materialny; zadanie sprawdzające proces działania praktycznego i jego wytwór (produkt) zadanie rozszerzonej odpowiedzi - wymaga od ucznia rozwiniętej, wieloelementowej i odpowiednio uporządkowanej odpowiedzi w postaci słownej, złożonych wyrażeń matematyczno-fizycznych, reakcji chemicznych, schematów, procesów itp. zadanie wielokrotnego wyboru - wymaga od ucznia wybrania jednej lub więcej odpowiedzi spośród kilku podanych w zadaniu; zadanie składa się z trzonu i odpowiedzi (zwykle 3-5); trzon zawiera opis sytuacji (słownych lub graficznych) oraz pytanie, polecenie lub niedokończone zdanie; odpowiedziami mogą być wyrazy, zdania, zwroty, wyrażenia matematyczne, symbole fizyko-chemiczne, rysunki itp.; zob. też: dystraktory ANALIZA I INTERPRETACJA ZADAŃ analiza ilościowa zadań egzaminacyjnych - obliczenie i interpretacja wskaźników statystycznych wyników poszczególnych zadań uzyskanych w egzaminie próbnym lub właściwym; analiza ta obejmuje zwykle obliczenie i interpretację: frakcji opuszczeń zadań, wskaźników łatwości (lub trudności) zadań, mocy różnicujących analiza zadań - wartościowanie zadań ze względu na ich przydatność do określonego egzaminu (testu); obejmuje procedury jakościowe i ilościowe MODELE OCENIANIA ZADAŃ klucz punktowania zadań zestawienie wzorcowych, jedynie poprawnych odpowiedzi oraz zasad (norm) ułatwiających punktowanie zadań; stosuje się dla zadań: wielokrotnego wyboru (WW), na dobieranie (D), typu prawda-fałsz (P-F) oraz krótkiej odpowiedzi (KO) i z luką (L); w zadaniach WW jest to wykaz poprawnych odpowiedzi w zadaniach, np. A, C, B, A, D, ; w zadaniach otwartych może zawierać: nr zadania, wzorcową odpowiedź, zasady przydzielania punktów, odpowiedzi zaliczane oraz przykłady zadań (ze standaryzacji), które nie mogą być zaliczone, np.: Nr Forma Klucz Przykłady Kryteria i/lub normy zad. zadania poprawnych odpowiedzi odpowiedzi wykonania zadania błędnych Punktacja 1. WW B. A, C, D - 0 p./1 p. 2. L Rzeczpospolita Polska (także: RP, Rzeczpospolita, III Rzeczpospolita) PRL - 0 p./1 p. 3. D poprawne połączenie nazw miast z charakterystycznymi dla nich symbolami: Warszawa syrenka Kraków smok wawelski Poznań koziołki Poznań Neptun poprawne utworzenie trzech par 0 p./1 p. 4. PF nie tak - 0 p./1 p. 5. KO smoki, syreny, potwory, chimery, centaury, gryfy, diabły, mantykory 0 p./1 p. wybranie z tekstu nazw zwierząt występujących w przyrodzie, np. małpy, ryby, krowy wskazanie przynajmniej sześciu literackich określeń zwierząt, pod warunkiem, że nie wymieniono przykładu błędnego schemat punktowania zadań - wykaz oczekiwanych właściwości wytworu, procesu lub procesu i wytworu działania ucznia wraz ze skalami ocen cząstkowych tych właściwości; stosowane w zadaniach praktycznych i złożonych (holistycznych) zadaniach poznawczych typu RO, np. w egzaminach państwowych; przykłady łatwo znaleźć w informatorach dla uczniów szkoły podstawowej lub gimnazjum oraz w syllabusach maturalnych 41
kryteria oceny zadań praktycznych - grupy właściwości procesu i wytworu działania praktycznego podlegających ocenie: czas wykonania, dokładność, ilość wytworu, zużycie materiałów i energii, estetyka, sprawność działania, postawa, braki, bezpieczeństwo itp. kryteria oceny holistycznych zadań egzaminacyjnych - umowne, jakościowe wymiary złożonych odpowiedzi uczniów, względnie niezależne aspekty ocenianych prac uczniów; powinny wyczerpywać ustalony zakres treści w zadaniu; kryteria (zwykle kilka do kilkunastu) mogą być równorzędne lub różnić się wagą kryterialne ocenianie - stosowanie wyróżnionych kryteriów jakościowych w sprawdzaniu i ocenianiu odpowiedzi uczniów WŁAŚCIWOŚCI POMIAROWE ZADAŃ łatwość zadania - stosunek (frakcja) punktów zdobytych przez badanych do ogółu punktów możliwych do zdobycia za zadanie; w zadaniach punktowanych 0-1 stosunek sumy zdobytych punktów za zadanie do liczby badanych; oznaczana p. moc różnicująca zadania - zdolność zadania do odróżniania uczniów o wyższych i niższych osiągnięciach uzyskanych w egzaminie; główny wskaźnik rzetelności zadania; podstawowy wskaźnik przydatności zadania do egzaminu (testu) różnicującego; pomocniczy w egzaminach sprawdzających do wykrywania błędów w konstrukcji i stosowności zadań stosowność zadania - trafność doboru jego treści (sprawdzanych czynności), zgodność ze standardami wymagań egzaminacyjnych, planem egzaminu i kartoteką testu egzaminacyjnego; zgodność wykonywanej czynności w czasie rozwiązywania zadania z czynnością (lub dziedziną czynności) przewidzianą do sprawdzania w planie egzaminu SKALE PUNKTOWANIA ZADAŃ skala wyników egzaminu - uporządkowany zbiór symboli (liczb) przedstawiających wyniki egzaminu (skala pomiarowa) skale cząstkowe w ocenianiu kryterialnym - zazwyczaj kilkupunktowe (0-3, 0-10 itp.) skale stosowane w każdym z wyróżnionych kryteriów oceniania holistycznego; gdy kryteria są równorzędne, skale te bywają jednakowe, a gdy się różnią wagami, najlepszy jest układ samoważący, polegający na dobraniu skal o długości proporcjonalnej do ustalonych wag skala łączna w ocenianiu wielokryterialnym suma punktów ze wszystkich skal cząstkowych (wszystkich kryteriów) oceniania zadań holistycznych (rozszerzonej odpowiedzi) ARKUSZ EGZAMINACYJNY arkusz egzaminacyjny test egzaminacyjny wraz ze skierowaną do ucznia instrukcją jego wypełnienia oraz kartami odpowiedzi, po zakończeniu egzaminowania sprawdzanymi przez egzaminatorów zewnętrznych układ fabularny zadań - powiązanie kilku lub wszystkich zadań w arkuszu egzaminacyjnym (teście) w opowieść ułatwiającą zrozumienie kolejnych sytuacji, redukującą znużenie, wzmacniającą motywację, pogłębiającą dotarcie (zrozumienie) do sprawdzanej czynności; tak zbudowane są arkusze egzaminacyjne dla przeprowadzenia sprawdzianu i egzaminów gimnazjalnych wiązki zadań - kilka zadań, połączonych tematycznie w grupy podporządkowane wspólnej sytuacji zadaniowej 42