KRZYWA INFORMACYJNA ZADAŃ JAKO NARZĘDZIE W KONSTRUOWANIU ARKUSZA EGZAMINACYJNEGO

Transkrypt

1 dr Hnryk Szalnic Okręgwa Kmisja Egzaminacyjna w Krakwi KRZYWA INFORMACYJNA ZADAŃ JAKO NARZĘDZIE W KONSTRUOWANIU ARKUSZA EGZAMINACYJNEGO Autr przntuj trię wyniku zadania tstwg ( Itm rspns thry - IRT) jak mtdę wybru zadań d arkusza gzaminacyjng. Atutm trii IRT jst nizalżnść paramtrów siągnięć uczniów d paramtrów zadań raz nizalżnść paramtrów zadań d próby gzaminwanych uczniów. Oznacza t. ż bazująca na IRT analiza zadań, p ich próbnym zastswaniu, mż pmóc wykryć ustrki zadań, któr mgłyby ujawnić się dpir na gzaminach właściwych. Daj t ramę d budwania arkuszy, przy pmcy których prcyzja szacwania siągnięć byłaby dstswana d danj ppulacji uczniów. Jdnym z kluczwych zadań kręgwych kmisji gzaminacyjnych jst przygtwani wyskij jakści arkuszy gzaminacyjnych. Knstruwani arkusza gzaminacyjng zgdni z klasyczną trią tstu, bjmuj między innymi wybór zadań zgdni z pżądanymi ich w łaściwściami pmiarwymi, takimi jak trafnść wwnętrzna, trudnść i mc różnicująca. Pzim trudnści zdtrminwany jst zwykl pprzz cl arkusza gzaminacyjng i przwidywany rzkład badanj umijętnści w gzaminwanj ppulacji. Jżli chdzi mc różnicującą, t gnralni w gzaminach, których wynik wykrzystywany jst jak jdn z czynników slkcyjnych d szkły wyższg szczbla, bardzij pżądan są zadania, któr pzwalają silnij zróżnicwać uczniów z wzglądu na pzim badanj umijętnści niż zadania słab różnicując. Obliczn na pdstawi próby standaryzacyjnj charaktrystyki zadań zgdni z klasyczną trią tstu ni są inwariantami (ni są nizminnikami, gdy wybirzmy inną próbę trzymamy inn wartści) w ppulacji, w którj pzim badanj umijętnści zminia się i t w szrkim zakrsi. Tak więc, sukcs właściwg dbru zadań d arkusza zalży d tg, w jakim stpniu próba standaryzacyjna arkusza gzaminacyjng jst pdbna d ppulacji pd względm badanj umijętnści. W praktyc rzadk udaj się zapwnić taki warunki, aby grupa uczniów, na którj standaryzujmy arkusz gzaminacyjn, była pdbna d ppulacji, w którj przprwadzany jst gzamin. Jżli próba standaryzacyjna ni najlpij rprzntuj ppulację, t krśln na nij paramtry zadań będą dalki d tg, jaki późnij trzymamy pdczas gzaminu. W takim przypadku mamy mał prawdpdbiństw, aby arkusz gzaminacyjny, wykrzystujący taką tchnikę wybru zadań, miał zamirzn i krśln na tapi planwania gzaminu w łasnści. Inny aspkt tg samg prblmu t czas przprwadzania standaryzacji arkusza gzaminacyjng. Jżli badania standaryzacyjn zadań przprwadzimy na przykład w wrzśniu, a gzamin jst w maju, t musimy pamiętać tym, ż pzim umijętnści przwidzianych na gzamin jst cał kim inny w ppulacji i próbi standaryzacyjnj. Pdbni wygląda sytuacja, gdy tstujmy zadania w krsi ssji gzaminacyjnj, al na ppulacji rk młdszych uczniów. 100

2 Innym prblmm, który trudn przzwyciężyć, jst fakt, ż paramtry zadań, taki jak mc różnicująca i ich łatwść, szacwan zgdni z klasyczną trią tstu, zalżą isttni d charaktrystyk innych zadań, któr stanwiły arkusz gzaminacyjny. W knskwncji, dyspnując zadaniami pisanymi zgdni z klasyczną trią tstu, trudn jst stwrzyć bank zadań, który byłby pżądanym zaplczm dla autrów arkuszy gzaminacyjnych. Paramtry zadań przkazanych d banku są krśln na pdstawi ich zastswania w kntkści innych zadań, któr twrzyty arkusz gzaminacyjny. Zadania t w innym arkuszu będą miały prawdpdbni inn paramtry. Kljny aspkt tg samg prblmu wiąż się z tym, ż d naszg banku zadań, którym psługują się autrzy arkuszy gzaminacyjnych, trafiają czasm zadania, któr byty zastswan w tstach wykrzystywanych d innych clów niż gzamin, który planujmy przprwadzić. Mżmy się spdziwać, ż krśln na pdstawi tych zastswań paramtry zadań będą znaczni dbigać d tych, któr przyjmą zadania pdczas gzaminu. Dalszy prblm wiąż się z zapwninim pżądanj rztlnści dla arkusza gzaminacyjng. Na pdstawi paramtrów zadań, krślnych tylk z zastswanim klasycznj trii tstu, ni mżmy przwidzić stpnia prcyzji szacwania umijętnści mirznj arkuszm gzaminacyjnym przd jg zastswanim. Mając d dyspzycji kilka arkuszy d wybru, ni jstśmy w stani krślić, który z nich pzwli na dkładnijszy pmiar siągnięć gzaminwanych uczniów. W budwanym d kilku lat plskim systmi gzaminacyjnym ni dyspnujmy jszcz prfsjnalni pracwanymi bankami zadań, np. takimi, jakimi dyspnują wyższ uczlni mdyczn. Najczęścij d każdg gzaminu autrzy próbują twrzyć nw autrski zadania, których paramtry mgą być tylk intuicyjni przwidywan. Z wzglądu na knicznść zachwania nijawnści zadań nimżliwa jst takż standaryzacja zadań na rprzntacyjnych lswych próbach. Rzwijająca się d pół wiku tria dpwidzi na zadania tstw (ang. Itm rspns thjy - IRT), która w statnich latach ciszy się craz większym zaintrswanim knstruktrów tstów, zdaj się frwać skutcznijsz mtdy wybru zadań d arkusza gzaminacyjng niż ma t mijsc w przypadku klasycznj trii. PODSTAWOWE ZAŁOŻENIE IRT U pdstaw trii dpwidzi na zadani tstw lżą trzy załżnia: 1. wymiarach przstrzni badanj cchy (cch ) za pmcą zadań twrzących tst, 2. lkalnj nizalżnści zadań, 3. krzywj charaktrystycznj zadania tstwg. Zgdni z pirwszym załżnim, trzymany na gzamini wynik mż być wyjaśniny lub przwidziany na pdstawi szrgu czynników nazywanych cchą lub ukrytą cchą- w naszym przypadku są t umijętnści gzaminwang ucznia. W skróci mżna pwidzić, ż pirwsz załżni jst spłnin, gdy dpwidzi ucznia zalżą jdyni d pjdynczj lub złżnj cchy ucznia ( umijętnści badanj arkuszm gzaminacyjnym). W praktyc wymaga t wyspcyfikwania wszystkich umijętnści, d których zalży pwdzni w rzwiązaniu dang zadania. Załżni drugi, dtycząc lkalnj nizalżnści zadań, jst spłnin, gdy dpwidzi ucznia na wybran zadani ni zalżą d jg dpwidzi na inn zadania. Załżni t wydaj się nizgdn z naszą pmiarwą intuicją, gdyż zadania mirząc tę samą umijętnść będą krlwały z sbą. Załżni t gnralni ni jst spłnin, gdy np. pzim rzwiązania zadania bgatj fabul badającg umijętnści matmatyczn zalży isttni d umijętnści czytania tkstu a rzkład tj umijętnści ni jst znany w ppulacji. Uczniwi wyskich umijętnściach matmatycznych, al kipsk czytający, słab rz- 101

3 wiążą taki zadania. Wyniki tych zadań będą z sbą skrlwan, gdyż mirzą tę samą cchę. która ni jst wyszczgólnina w przstrzni badanych umijętnści. Trzci załżni dtyczy związku pmiędzy jakścią rzwiązania zadnia przz gzaminwang a umijętnściami knicznymi d siągnięcia sukcsu. Związk tn mż być pisany mntniczni rsnącą funkcją nazywaną funkcją charaktrystyczną zadania (ang. itm charactristic curv - ICC). Zgdni z funkcją charaktrystyczną zadania, wraz z wzrstm pzimu umijętnści gzaminwang rśni prawdpdbiństw pprawnj dpwidzi na zadani. Rysunk 1 przdstawia funkcję charaktrystyczną zadania wraz z mpirycznym rzkładm statystycznym badanj umijętnści dla sidmiu grup gzaminwanych wzrastającym pzimi umijętnści. Wybór liczby grup nalży d przprwadzającg analizę i zalży najczęścij d wilkści ppulacji i przdział u zminnści pzimu umijętnści gzaminwanych. Dscriptr fr Itm r Lcatin = r 1 Slp Mc 0?5 różnicująca (a; CL 3 in a> c-j 1 I c <v 05 TD O O? ra CL Trudnść zadania (h) -t- 1 i -f- I Pzim umijętnści (ị Rysunk 1. Krzywa charaktrystyczna zadania. Sidm punktów na wykrsi t wynik śrdni dla uczniów nalżących d pszczgólnych grup Na si pinwj przdstawin jst prawdpdbiństw sukcsu uczniów rzwiązujących t zadani. Oś pzima wykrsu przdstawia jdnczśni pzim umijętnści ( 0) i trudnść zadania (b). Pzim umijętnści i trudnść zadań mgą przyjmwać zarówn ujmn, jak i ddatni wartści. Trtyczni pzim umijętnści mż się rzciągać d - niskńcznści d ^niskńcznści. W praktyc pzim badanych umijętnści zwykl miści się w przdzial d -3 d +3. Pdbni jst, jżli chdzi trudnść zadań. Zadania trudnści -3 t zadania bardz łatw. Zadania, dla których paramtr trudnści przyjmuj wartść b=+3, są zadaniami bardz trudnymi. Zwykl trudnść zadań jst tak skalwana, aby śrdnia była równa 0 a dchylni standardw 1. Tak więc, zadania dla których paramtr b (trudnść) ma wartść 0 są zadaniami śrdnij trudnści. Jak mżna zauważyć na rysunku 1, gzaminwani wyższym pzimi umijętnści badanj zadanim mają wyższ prawdpdbiństw pprawnj dpwidzi niż uczniwi niższym pzimi umijętnści nizalżni, d którj grupy nalżą. Zalżnść ta ni jst zalżnścią prstliniwą. Przdstawia ją krzywa lgistyczna kształtm przypminająca litrę S. Istnij wil mdli w ramach trii dpwidzi na zadani tstw ( IRT), różniących się matmatycznym przdstawinim funkcji charaktrystycznj zadania czy liczbą paramtrów twrzących mdl. Każdy z mdli stsuj jdn lub więcj paramtrów pisujących zadani raz jdn lub więcj paramtrów pisujących gzaminwang. Analizy + 1 i 2 H 3 102

4 prwadzn w Okręgwj Kmisji Egzaminacyjnj z zastswanim prgramu kmputrwg Rumm wykrzystują trójparamtryczny mdl lgistyczny sfrmułwany p raz pirwszy przz A. Bimbauma. Zgdni z mdlm prawdpdbiństw udzilnia pprawnj dpwidzi na zadani gzaminacyjn przz ucznia pzimi umijętnści 0 mż być przdstawin funkcją lgistyczną: gdzi: _ <-M ^,(0 ) = c, + 1-5, ) _ l + b- paramtr trudnści zadania, a- mc różnicująca, c- współczynnik zgadywania dpwidzi, D- stała skalwania równa 1,7, - pdstawa lgarytmów naturalnych, 0 - pzim badanj cchy (umijętnści). Jszcz raz pdkrślmy, ż inaczj niż w klasycznj trii pmiaru trudnść zadań wyrażna jst w tj samj skali, c pzim badanj umijętnści i mż przyjmwać wartści zarówn ujmn jak i ddatni. Pirwszym krkim analizy nizalżni d wybrang mdlu jst szacwani paramtrów zadania (a,b,c). Wybrany d analizy mdl mż być użyty lub ni d zastswania względm zbiru danych mpirycznych. Oznacza t, ż mdl mż niwłaściwi przwidywać i wyjaśniać wyniki gzaminu. Dlatg jdnym z najważnijszych krków pdczas stswania trii analizy zadania tstwg d cny wyników gzaminów jst szacwani, czy wybraliśmy właściwy mdl i czy w gól mżmy zastswać 1RT d analizy naszych danych. Prcdury szacwania czy dan mpiryczn spłniają wymagania dang mdlu, zwykl są intgralną częścią prgramów kmputrwych umżliwiających praktyczni stswani IRT. Kidy mdl właściwi pisuj dan mpiryczn, uzyskujmy pis szrgu isttnych cch pjdynczych zadań, jak i gzaminwanych uczniów, któr są pżądan dla pmiaru dydaktyczng. Jżli arkusz gzaminacyjny zstał trafni przygtwany d dang gzaminu raz gdy wyniki gzaminu spłniają załżnia wybrang mdlu, t p pirwsz, szacwany pzim umijętnści gzaminwang jst nizalżny d zastswang arkusza gzaminacyjng raz szacwan paramtry zadania są nizalżn d grupy gzaminwanych danym arkuszm gzaminacyjnym. Innymi słwy pzim umijętnści szacwany na pdstawi różnych zbirów zadań mirzących tę samą umijętnść jst w granicach błędu pmiarwg taki sam. P drugi, paramtry zadania szacwan na pstawi różnych grup gzaminwanych są taki sam w granicach błędu związang z wybrm próby. Mżmy więc pwidzić, ż dla IRT paramtry pisując zadani, jak i paramtry pisując pzim siągnięć ucznia są inwariantm (nizminnikim). Nizalżnść paramtrów siągnięć gzaminwang d paramtrów zastswanych zadań raz nizalżnść paramtrów zadań d wybru próby gzaminwanych uczniów jst krnnym atutm trii dpwidzi na zadani tstw. Ta nizalżnść siągana jst pprzz wykrzystani infrmacji zadaniach d szacwania pzimu siągnięć uczniów, a takż pprzz symultaniczn wykrzystani infrmacji siągnięciach uczniów d szacwania paramtrów zadań. Najbardzij bicującą dzidziną trii dpwidzi na zadani tstw (IRT) d praktyczng wykrzystania przz kręgw kmisj gzaminacyjn wydaj się mżliwść slkcji zadań d arkusza gzaminacyjng w zalżnści d ilści infrmacji, jaką dan zadani dstarcza d szacwania pzimu badanj umijętnści w różnych przdziałach skali. Tak Oh 103

5 więc, dyspnując dstępm d banku zadań stwrznym na bazi IRT, mżna zbudwać arkusz zadanj charaktrystyc funkcji infrmacyjnj. INFORMACJA, JAKIEJ MOŻE DOSTARCZYĆ ZADANIE EGZAMINACYJNE Kidy mówimy, ż dyspnujmy infrmacją, t mamy na myśli, iż wimy cś szczgólng danym bikci lub na dany tmat. Mówimy, ż wimy bardzij lub mnij dkładni, jaki umijętnści psiada uczń i jaki zadania z danj dzidziny sprawią mu trudnść, a jaki - ni. Tn jakściwy aspkt infrmacji ma klsaln znaczni w pmiarz dydaktycznym i stanwi szrki pl dcikań gzaminatrów zatrudninych w kręgwych kmisjach gzaminacyjnych. W tym artykul szczgólny nacisk chciałbym płżyć jdnak na ilściwy aspkt infrmacji. Zajmimy się pszukiwanim dpwidzi na pytani, jak zmirzyć ilść infrmacji dstarczanj, np. przz pszczgóln zadania arkusza gzaminacyjng i jak wykrzystać tę widzę d twrznia lpszych arkuszy gzaminacyjnych. Pdstawy ilściwj trii infrmacji stwrzy! C. Shannn już w 1948 rku. Za punkt wyjścia d sfrmułwania miary infrmacji przyjął miarę nipwnści. Jżli ptrafimy zapisać ilściw nipwnść jakimś wydarzniu, t trzymani kmunikatu tym wydarzniu zmnijsza naszą nipwnść nim. Mżna więc pwidzić, ż ilść infrmacji / zawarta w kmunikaci K jakimś zdarzniu Z równa jst różnicy pmiędzy pczątkwą nipwnścią na tmat zdarznia Z, a nipwnścią, jaka nadal pzstaj p nadjściu kmunikatu K. Odniśmy t d dzidziny, którą zajmujmy się w Okręgwj Kmisji Egzaminacyjnj. Kmunikatm jst rzwiązani przz ucznia zadania zawartg w arkuszu gzaminacyjnym. Nipwnść pczątkwa t załżny lub dmnimany stan umijętnści ucznia z dzidziny, którj dtyczy pmiar. Nipwnść kńcwa t nipwnść, która nadal pzstaj p sprawdzniu raz cni zadania i rzwiązywang przz ucznia na gzamini. Bardzij frmalni tę myśl mżmy zapisać następując: I(Z K) = H(Z)- H(Z K) (2), gdzi H(Z) znacza pirwtną (pczątkwą) nipwnść dtyczącą zdarznia Z. Natmiast H(Z K) jst nipwnścią, jaka pzstaj nadal mim dbrania kmunikatu K. Twrząc arkusz gzaminacyjny, wimy gólni, dla jakich uczniów g twrzymy. Wimy, jaki rdzaj dukacji mają za sbą, jak zróżnicwani są uczniwi w badanj ppulacji, al ni wimy, jaki pzim umijętnści z danj dzidziny psiada każdy z nich. Czyli nipwnść H(Z), t przdgzaminacyjna nipwnść dtycząca wyników uczniów, których czka ssja gzaminacyjna. P gzamini znamy wyniki uczniów. Znamy wynik każdg ucznia, który przystąpi ł d gzaminu. Nipwnść zmalała, chciaż nadal istnij na pzimi H(Z \ K). Różnica pmiędzy nipwnścią c d umijętnści ucznia przd aktm rzwiązania zadania i p trzymaniu wyniku cny rzwiązania tg zadania stanwi ilść infrmacji I(Z K), jaką dstarczył t zadani pzimi umijętnści gzaminwang. C. Shannn załżył, ż miara nipwnści dtycząca zdarznia wiąż się z prawdpdbiństwm tg zdarznia P(Z), frmu łując trzy następując pstulaty: 1. Nipwnść zdarznia wynsi 0 H( Z)=0, jżli prawdpdbiństw dang zdarznia (stan) wynsi 1 P(Z )=1. 2. Im mnijsz prawdpdbiństw dang zdarznia czy stanu, tym większa jg nipwnść. Jżli P(Zj )< P(Z? ) t H(Zj )> H (Z: ). 3. Jżli zdarzni Z jst złżnim dwóch nizalżnych zdarzń Za i Z *, t nipwnść takig zdarznia jst równa sumi nipwnści zdarzń składwych. 104

6 Na pdstawi tych pstulatów mżna przyjąć, ż matmatyczna frmula pisująca nipwnść przyjmuj następującą pstać: H(Z) = - lgp(z) (3) D rzstrzygnięcia zstała nam kwstia jdnstk nipwnści. Jdnstki t będą zalżały d pdstawy lgarytmu, jaką przyjmimy w równaniu. Jżli przyjmimy lgarytmy przy pdstawi 2, będzimy mili d czyninia z znaną pwszchni jdnstką bit, która jst skrótm d angilskij nazwy binary infrmatin unit. Jżli d dfiniwania infrmacji skrzystamy z lgarytmów dzisiętnych, t będzimy mówić ditach infrmacji ( <digital infrmatin unit), jżli natmiast psłużymy się lgarytmami naturalnymi, t infrmacj wyrażać będzimy w nitach ( natural infrmatin unit ). W statystyc i w psychmtrii pjęci infrmacji ma pdbny zakrs smantyczny. F.A. Fishr dfiniuj infrmację jak dwrtnść prcyzji, z jaką szacwany jst jakiś paramtr. Tak więc, jżli dany paramtr mżmy z dużą dkładnścią szacwać, t wimy więcj wartści tg paramtru niż w przypadku mnij dkładng szacwania. Statystyczni, dkładnść, z jaką dany paramtr jst szacwany, jst miarą zminnści w tczniu tg paramtru. Stąd, miarą prcyzji szacwania jst wariancja stymatra, który mżmy znaczyć a 2. Ilść infrmacji pzimi siągnięć będzimy znaczać pprzz /. Tak więc mżmy zapisać równani: 7(0 ) = \ (4) O Zadanim kręgwj kmisji gzaminacyjnj jst szacwani, najdkładnij jak t tylk jst mżliw, umijętnści ucznia badang arkuszm gzaminacyjnym. Badana umijętnść ni jst bsrwwalna bzpśrdni. Z tg pwdu częst nazywamy ją zminną nibsrwwalną bzpśrdni. Bzpśrdni bsrwujmy zapisy rzwiązań zadań gzaminacyjnych, przy których dana umijętnść w większym lub mnijszym stpniu by ła kniczna. Jak już wczśnij wspminan, paramtr, rprzntujący umijętnść, znaczamy grcką litrą 0 Paramtr tn chcmy z jak największą prcyzją krślić. Wilkść, która pisuj, czyli przybliża wartść badanj umijętnści 0 na pdstawi wyników gzaminu nazywana jst stymatrm danj umijętnści. Oznaczymy ją 0 ~ (thta z daszkim ). Jak widać z równania (4), ilść infrmacji dla danj wartści umijętnści 0 jst równa dwrtnści wariancji błędu szacwania badanj cchy (umijętnści). Równani (4) mżmy zapisać takż w pstaci: SE{6 ) =-4= V7(6 ) SE( 0) znacza błąd standardwy szacwania. (4a) Jżli ilść dstarcznj przz zadania infrmacji dla dang pzimu umijętnści 0 jst du ża, znaczy t, ż prawdziwa wartść umijętnści ucznia mż być szacwana z dużą prcyzją ( mały błąd standardwy szacwania). Oznacza t takż, ż wszystki stymatry umijętnści dang ucznia będą bardz blisk jg prawdziwg pzimu umijętnści. Jżli ilść infrmacji dstarczana przz wynik gzaminwania jst mała, t stymatry rzrzucn są dsyć dalk wkół prawdziwj wartści mirznj. Krzystając z przdstawing w dalszj części tkstu równania ( 7 lub 8) mżmy szacwać ilść infrmacji, jaką dstarcza dan zadani w całym zakrsi umijętnści pcząwszy d -«> d + (w praktyc jst t najczęścij przdział d-3 d +3). Pniważ pzim umijętnści jst 105

7 zminną ciągłą, takż infrmacja, jaką dstarcza zadani, będzi wilkścią ciągłą. Rysunk 2. ilustruj funkcj infrmacyjn dla zadań wybranych z matmatyczn-przyrdniczg arkusza gzaminacyjng zastswang w wisnnj ssji gzaminacyjnj r tu E L: u ^ Z28 Z30 z26 Z Pzim umijętnści ( 6) Rysunk 2. Funkcj infrmacyjn cztrch zadań wybranych z matmatyczn-przyrdniczg arkusza gimnazjalng Jak mżna dczytać z rysunku, każd z zadań dstarcza maksimum infrmacji dla inng pzimu umijętnści. Wszystki cztry zadania t zadani twart. Za zadani 28 gzaminwany mógł maksymalni trzymać 2 punkty a za pzstał trzy zadania 3 punkty. Zadania t różnią się trudnścią b, mcą różnicującą a raz ilścią infrmacji, którą mgą dstarczyć d pmiaru umijętnści uczniów różnym pzimi siągnięć. Paramtr)' pszczgólnych zadań przdstawin są w tabli 1. Zadani Tabla 1. Paramtry' wybranych zadań z matmatyczn-przyrdniczg arkusza gimnazjalng Paramtr)' Paramtry zadań zgdni zadań zgdni z Maksymalna IRT z klasyczny tria tstu liczba punktów za Maksimum Trudnść Mc zadani różnicująca Łatwść funkcji (lgits) infrmacyjnj ( P) Mc różnicująca ( rrb ) ,934 1,32 2,24 0,53 0, ,576 0,74 0,95 0,95 0, ,54 2,24 0,58 0, ,142 2,25 0,22 0,60 Analizując rysunk 2 widzimy, ż funkcj infrmacyjn dla zadań mają swj maksimum dla pzimu umijętnści dpwiadającmu trudnści zadania. W gólnym przypadku dla mdlu trójparamtryczng pzim umijętnści, dla którg przypada maksimum infrmacji 0 OTflT wyraża się wzrm: = b,+- J - ln[0,5(l +,/f + l8c / )] (5) uai Jżli paramtr zgadywania c, równy jst 0, t 0 mav = b{, czyli tak, jak t ma mijsc w przypadku analizwanych zadań. 106

8 Dla zadania 26. pzim trudnści wynsi +0,934 lgits ( lcatin = +0,934). Maksimum funkcji infrmacyjnj wynsi 2,24. I(0 iiiat =+O,934) = 2,24 (6) Jżli ddalamy się d lkalizacji +0,934 w lw lub w praw, t bsrwujmy spadk wartści funkcji infrmacyjnj. W przdzial umijętnści +O,2<0<+ 1,8 wartść funkcji infrmacyjnj jst większa d 1. W tym przdzial, jak mżmy bliczyć, pzim umijętnści mirzny tym zadanim mż być szacwany z stsunkw dużą prcyzją. Pza tym przdziałm prcyzja szacwania pzimu umijętnści uczniów szybk malj. Tak więc, funkcja infrmacyjna mówi nam, jak dk ładni mż być szacwany krślny pzim umijętnści badanych danym zadanim. Jżli pzim umijętnści ucznia pkrywa się z pzimm trudnści zadania lub niznaczni d nig dbiga, t szacwani umijętnści ucznia badanj tym zadanim jst najbardzij prcyzyjn. Wart tutaj pamiętać, ż funkcja infrmacyjna ni zalży d rzkładu wyników uczniów badanych tym zadanim, a jdyni d paramtrów charaktryzujących dan zadani takich, jak jg trudnść i mc różnicująca czy paramtr zgadywania dpwidzi. Przyjrzyjmy się traz funkcji infrmacyjnj zadania 28. Za zadani t gzaminwany mógł trzymać maksymalni 2 punkty. Jst t zadani łatw pzimi trudnści -1,576 i mcy różnicującj 0,74. Zadani t najwięcj infrmacji dstarcza uczniach, dla których pzim umijętnści lkalizuj się na skali w punkci 0 = -1,576 lgits, a więc w bszarz gdzi funkcja infrmacyjna zadania 26 przyjmuj wartść bliską 0 ( pr. rysunk 2 ). Zadani punktwan d 0 d 2 i mcy różnicującj 0,74 dstarcza znaczni mnij infrmacji w punkci swjg maksimum niż pprzdni zadani I(0 mat =-1,576) = 0,95. Na pdstawi przanalizwang przykładu mżmy pdsumwać pirwszą część rzważań. 1. P pirwsz, dkładnść szacwania mirznj cchy 0 przz dan zadani isttni zalży d ilści infnnacji, jakij n dstarcza. 2. P drugi, jżli paramtr zgadywania równy jst 0, każd zadani najwięcj infrmacji (maksimum funkcji infrmacyjnj /(Oj. ) dstarcza dla wartści skali umijętnści dkładni dpwiadającj trudnści dang zadania. 3. P trzci, im bardzij smukły jst kształt graficzng przdstawinia funkcji infrmacyjnj, tym węższy zakrs umijętnści mż być prcyzyjn szacwany na pdstawi tg zadania. 4. P czwart, im więcj punktów surwych mógł uzyskać uczń za dan zadani raz im większa jst jg mc różnicująca, tym większa jst maksymalna wartść funkcji infrmacyjnj dang zadania. Zanim przjdzimy d matmatyczng pisu funkcji infrmacyjnj zadania, rzważmy jszcz przykłady dwóch zadań z maturalng arkusza gzaminu z ggrafii, za których rzwiązani uczń mógł uzyskać maksymalni p 3 punkty. 107

9 10021 Dscriptr fr Itm 21 Lcatin = Rsidual = Chi Sq Prh = E x P ct 30 -r 2.0 Maximum lnlimaiin= 2.25 Slp 1:-a d S c Q f 0 0-4* 0 1 Prsn Lcatin (lgits ) Rysunk 3. Krzywa charaktrystyczna zadania 21 raz jg funkcja infrmacyjna. Trudnść zadania wynsi +0,172 a gólna mc różnicująca 1, Dscriptr fr Itm 24 Lcatin = Rsidual = Chi Sq Prób = r, Maximum lrififiisiin= 25 Slp 0 5& E K P c t d 2.0 S c 1 0 f Pnn Lcatin (lgits) Rysunk 4. Krzywa charaktrystyczna zadania 24 raz jg funkcja infrmacyjna.trudnść zadania wynsi + 1,170 a gólna mc różnicująca 0,56 Zadania t mają pdbn funkcj infrmacyjn, al w dminny spsób różnicują uczniów. Z przdstawinj na rysunku 3 charaktrystyki zadania mżna dczytać, ż zadani 21 silni różnicuj uczniów. Paramtr krślający mc różnicującą a=1,28. Natmiast zadani 24. wil słabij różnicuj uczniów (a=0,56). Zwróćmy jdnak uwagę, ż zadani 21 silni różnicuj uczniów pzimi umijętnści rzciągających się na skali d-0,8 d +0,8. Pza tym bszarm zadani t różnicuj bardz słab. Inaczj jst w przypadku zadania 24, któr, ma małą mc różnicującą (slp = 0,54), al z taką mcą różnicuj n uczniów w szrkim bszarz skali umijętnści d -1 d +2. W całym tym bszarz krzywa charaktrystyczna zadania 24 z dbrym przybliżnim przypmina linię prstą. Mamy tu d czyninia z pwnym paradksm. Zadani dużym współczynniku mcy różnicującj różnicuj w wąskim zakrsi pzimu badanj cchy (w naszym przypadku umijętnści ggraficznych). Paradks tn nazywany jst bandwidth paradx. Mż się więc kazać, ż zadani wyskim wskaźniku mcy różnicującj różnicuj uczniów w bszarz skali, który z punktu widznia zadań gzaminu jst mał przydatny. Fakt tn musimy brać pd uwagę, kidy klkcjnujmy zadania d arkusza gzaminacyjng. W wilu wypadkach kniczny będzi kmprmis pmiędzy zadaniami dużj 108

10 mcy różnicującj, al w wąskim przdzial skali umijętnści, a zadaniami niższym wskaźniku mcy, al za t w bardz szrkim przdzial skali. JAK FUNKCJA INFORMACYJNA ZADANIA ZALEŻY OD INNYCH JEGO PARAME- TRÓW? Związk pmiędzy wartścią infrmacyjną zadania a innymi jg paramtrami mż być pisany z różnych prspktyw. Mżna przyjąć, ż jst t stsunk mcy różnicującj zadania w punkci, w którym krzywa charaktrystyczna zadania dpwiada jg trudnści (slp) d przwidywang trtyczni błędu pmiaru umijętnści w tym punkci (czyli w punkci dpwiadającym trudnści zadania). Matmatyczni (za Hambltn i Swaminathan ) funkcja infrmacyjna zadania /, za rzwiązani którg gzaminwany mż uzyskać 0 lub 1 mż być pisana w następujący spsób: / / (0) = Pj (8) 2 (7 ), gdzi: /,(9) - funkcja infrmacyjną zadania /, Pi (0 ) pirwsza pchdna (nachylni) krzywj charaktrystycznj zadania w punkci skali umijętnści dpwiadającym trudnści zadania, Pi( d) - prawdpdbiństw sukcsu w zadaniu /, Oi=l- Pfi)- prawdpdbiństw błędnj dpwidzi w zadaniu i. W trójparamtrycznym lgistycznym mdlu, uwzględniającym zgadywani równani przyjmuj pstać: /,.( ) = DV,-. fi -cj [c, + c, 0, '' 1 ][l + ' (0 _(, ) ] Znając paramtry zadania mżna bliczyć wartści funkcji infrmacyjnj dla intrsującg nas przdział u pzimu umijętnści 0. FUNKCJA INFORMACYJNA ARKUSZA EGZAMINACYJNEGO Arkusz gzaminacyjny jst zbirm clw przygtwanych d tg gzaminu zadań. Zadania pwinny być dbiran tak, aby arkusz gzaminacyjny psiadał pżądan właściwści pmiarw. Innymi słwy chdzi t, aby za jg pmcą mżna by ł szacwać umijętnści uczniów z danj dzidziny z dstatczną prcyzją. Jżli znamy funkcj infrmacyjn zadań twrzących arkusz gzaminacyjny, t stsunkw łatw mżmy szacwać funkcję infrmacyjną całg arkusza, gdyż jst na prstą sumą funkcji infrmacyjnych pszczgólnych zadań. Matmatyczni mżmy t wyrazić w następujący spsób: /(6 ) = /,(6 ) (9), / = 1 gdzi: 7(0) - znacza ilść infrmacji dstarczanj przz tst uczniu pzimi umijętnści 9, 7 / (0)- krśla ilść infrmacji dstarczanj przz zadani i uczniu, którg pzim umijętnści wynsi 0 N jst liczbą zadań, z których składa się arkusz gzaminacyjny. (8) 109

11 Maksymalna wartść funkcji infrmacyjnj tstu jst isttni większa niż pjdynczg zadania. Tak więc, za pmcą całg arkusza mżna znaczni prcyzyjnij szacwać pzim umijętnści uczniów, niż t ma mijsc w przypadku pjdynczg zadania. Idalny arkusz gzaminacyjny pwinin mić krzywą infrmacyjną, która jst linią prstą równlgłą d si umijętnści (si 0). Wtdy prcyzja szacwania umijętnści uczniów byłaby jdnakw wyska dla całg przdziału umijętnści charaktrystyczng dla danj ppulacji. Arkusz gzaminacyjn stswan w trakci próbnych i w łaściwych gzaminów w rku szklnym 2001/2002 ni były budwan z wykrzystanim widzy funkcji infrmacyjnj zadań. Arkusz budwan by ły najczęścij z ryginalnych autrskich zadań niznanych charaktrystykach funkcji infrmacyjnj, gdyż bcni w twrznym systmi gzaminacyjnym ni dyspnujmy bankami zadań z szacwanymi i wyskalwanymi paramtrami. Analizy przprwadzn w Okręgwj Kmisji Egzaminacyjnj w Krakwi p ssji gzaminacyjnj dstarczy ły bgatg matriał u na tmat funkcji infrmacyjnych wszystkich zastswanych arkuszy. Rysunki 5 i 6 ilustrują kszta łty funkcji infrmacyjnj matmatycznprzyrdniczg arkusza gimnazjalng zbudwang z 36 zadań i arkusza maturalng z ggrafii złżng z 52 zadań. Funkcj infrmacyjn tych arkuszy zstały trzyman z wykrzystanim prgramu kmputrwg RUMM i wyników gimnazjalistów i 819 maturzystów zdających gzamin z ggrafii w szkłach w bszarz działania krakwskij Okręgwj Kmisji Egzaminacyjnj. PERSONS F r q u n c y ITEMS F r n _ r 10 iṙfuuntn = 2 63 Prsn-Itm Lcatin Distributin (Gruping St t Intrval Lngth f 0 50 making 20 Grups) jn '.iti nt~i crtrria nr. Ttal / i.* WN V /. * N * '' 0 - * / j \\ v W \. % 'X YA f r S s // / -1 : 3 5 A. W. Ilan SD [11G533 ] C Lcciin (lgits) Rysunk 5. Funkcja infrmacyjna matmatyczn-przyrdniczg arkusza gzaminacyjng zastswang w ssji wisnnj

12 F r q u n c y PERSONS 300- Maximum.nfrrṙitin = 76 2 " H 0 ITEMS 0 F r c? 5-3 i J 15 _ = MixirT-.iti.r. <Lcc*in= (J 20 / \ -r - 2 S /. * Prsn-Itm Lcatin Distributin (Gruping St t Intrval Lngth f 0.50 making 16 Grups) V / s / y // AN 'X 7 #/ ' y / V vv M, z 0- V/. >> A y /zi 1. // /mm /. N. Nn SD Ttal 1019 J Lcatin(lgis) Rysunk 6. Funkcja infrmacyjna maturalng arkusza gzaminacyjng z ggrafii zastswang w ssji wisnnj 2002 Jak mżna dczytać z rysunku 6, gzamin przprwadzny z zastswanim arkusza ggraficzng najwięcj infrmacji dstarczał siągnięciach uczniów, których wyniki plasują ich na skali w punkci 0.20 i w jg bzpśrdnim sąsidztwi. Wartści skali równj 0,20 lgits dpwiada wynik surwy równy prawi 52 punkty. Dla tj wartści skali wynik ucznia jst szacwany z największą mżliwą w tym gzamini prcyzją. Błąd standardwy wyniku ucznia w tym punkci skali wynsi 0,194. Mżmy więc przyjąć dla ucznia, który uzyskał surwy wynik 52 punkty, ż w skali lgits jg wynik prawdziwy zawira się w przdzial 0 = 0,200 ± 2*0,194. i i j E O Cl 5 ~ 06 r - 5 ć 5 «8 Q 4 M.51 n D 2 u 2 < - * 1 m Lict pu+lćwzarparrin Rysunk 7. Zminiająca się wartść błędu standardwg szacwania wyniku w zalżnści d płżnia na skali rzultatów gzaminu. Widczn niwilki minimum dpwiada wynikwi 52 punkty lub 0,20 lgits w skali pzimu umijętnści 1 1 1

13 W gzamini maturalnym z ggrafii najważnijszy byl wynik 40 punktów (-0,28 lgits ), gdyż uzyskani 40 i więcj punktów dcydwał zdaniu gzaminu maturalng. W tym gzamini wynik surwy 40 punktów jst szacwany tż z dbrą prcyzją s=0,200, chciaż jst na mnijsza niż dla wyniku 52 punkty. Knstruując arkusz d przyszłych gzaminów wart zadbać, aby dstarczał n mżliwści maksymalnj prcyzji szacwania wyniku w punktach skali dpwiadających pdjmwaniu dcyzji lsach zdającg. TWORZENIE ARKUSZA Z WYKORZYSTANIEM SZACOWANIA FUNKCJI INFORMACYJNEJ Przyjmijmy, ż twrzymy nwy arkusz gzaminacyjny na pzim maturalny z zadań znanych paramtrach. Mżmy j tak dbrać, aby krzywa infrmacyjna arkusza gzaminacyjng miała pżądany kształt, np. taki jak na zamiszcznym pniżj rysunku c U 30 rse 25 fc 20 c 15 c 10 5 a 0 d u5 Rysunk 8. Planwany kształ t funkcji infrmacyjnj maturalng arkusza gzaminacyjng z przdmitu d wybru Krzystając z dświadczń ssji gzaminacyjnj z 2002 r. przyjmijmy, ż chcmy zbudwać arkusz gzaminacyjny z ggrafii pdbnj charaktrystyc. Maksimum planwanj funkcji infrmacyjnj przypada dla pzycji skali 0 = 0,19, pniważ tj pzycji skali dpwiada wynik surwy równy 40 punktów. Zgdni z bwiązującymi przpisami był t wynik graniczny zdania gzaminu maturalng z przdmitów d wybru w ssji wisnnj w 2002 r. Dlatg tż arkusz gzaminacyjny pwinin pzwlić na szacwani w tym bszarz pzimu umijętnści z mżliwi najwyższą prcyzją. Zakładając, ż pzim badanj umijętnści w ppulacji zdających ni ulga gwałtwnym wahanim, mżna przyjąć, ż umijętnści mirzn arkuszm gzaminacyjnym z ggrafii w ppulacji gzaminwanych równiż będą się rzciągać d-1 d +3 lgits. Następny krk t wybór zadań. Wybór zadań ni tylk zgdni z planm z wzglądu na mirzn siągnięcia, al takż z uwzględninim ich funkcji infrmacyjnych tak, aby arkusz zapwnił pżądany kształt krzywj infrmacyjnj całg arkusza. Dla gzaminu gimnazjalng ni ma prgu znaczającg zdani gzaminu. Planwany kształt funkcji infrmacyjnj mógłby wyglądać pdbni jak dla ggrafii tylk bz widczng maksimum. Na zakńczni spróbujmy zbudwać tst złżny z cztrch analizwanych zadań, których paramtry pisan zstały w tabli 1. Dla tych zadań graficzn przdstawini ich funkcji infrmacyjnych przdstawin na rysunku 2. Mżmy traz zbaczyć, jak wygląda funkcja infrmacyjna takig cztrzadaniwg tstu. 112

14 PERSONS jr F r q u n c y ITEMS F r 1 - mfamwfin =? 96 I MaxirTiUm mflctin= U 1'G _ ± Prsn-Itm Lcatin Distributin (Gruping St t Intrval Lngth f 0 50 making 20 Grups) I/, i Z3 i \ / /// v, k--. N iv -. \' ' ' ; \ X v -\ v:\ r / //, VO vv - i r 25 3% H. Ilan SD -T-ci I418 B53-} Or-S^ 1 <jj,. lfi % 12 6% 0 4% 4.2% 0.0% G Lcatin(lgits) 0 0% 25 0% SO 0% Rysunk 9. Przdstawini funkcji infrmacyjnj dla tstu złżng z cztrch zadań: 26, 28, 30 i 35 Dkładając kljn zadania mżmy śldzić, jak zminia się graficzn przdstawini funkcji infrmacyjnj aż siągnimy kształt zbliżny d zaplanwang. PODSUMOWANIE Przprwadzn p raz pirwszy w Plsc w maswj skali gzaminy zwnętrzn dstarczyły szrgu przsłank d dsknalnia arkuszy gzaminacyjnych. Praca nad arkuszami mż być bcni wspmagana zarówn przz klasyczną trię pmiaru dydaktyczng, jak i trię dpwidzi na zadani tstw IRT. Bazująca na IRT skrupulatna analiza zadań p ich próbnym zastswaniu mż pmóc wykluczyć ukryt ustrki zadań, któr mgłyby ujawnić się dpir na gzaminach właściwych. Uwzględnini w pracach nad arkuszm widzy funkcji infrmacyjnj zadań daj szans na zbudwani arkuszy, za pmcą których prcyzja szacwania wyników byłaby taka sama w całym przdzial umijętnści d najniższych d najwyższych, a więc dla całj ppulacji uczniów. Wart już dzisiaj rzpcząć budwę banku zadań stsując IRT, aby w przyszłści dyspnwać paramtrami zadań, któr są nizalżn d arkusza gzaminacyjng, w którym były zastswan i d rzkładu umijętnści w ppulacji, w którj zastswany był arkusz. Pnadt, trudnść zadań i pzim umijętnści gzaminwanych uczniów badany tymi zadaniami mż być krślany w tj samj skali, c daj mżliwść slkcji zadań najbardzij użytcznych d dang gzaminu. Jdnak zadania pchdząc z różnych arkuszy gzaminacyjnych przd przkazanim d banku wymagają skalwania, aby mżna był prównywać ich paramtry. Jdna z najppularnijszych mtd skalwania pira się na zadaniach ktwiczących. Mż już dziś wart zadbać t, aby arkusz przygtwywan na ssję gzaminacyjną w 2003 rku zawirały zadania ktwicząc stanwiąc pmst pmiędzy arkuszami stswanymi pprzz kljn lata. Hmyk Szalnic 113

15 LITERATURA Hambltn R.K., Swaminathan H., Rgrs H.J., Fundamntals f Itm Rspns Thr,. Sag Publicatins, Inc. Lndn Hmwska E., Tsty psychlgiczn. Tria i praktyka, Wydawnictw Naukw Schlar, Warszawa B.Nimirk, M. K. Szmigl [rd], Tria i praktyka cniania zwnętrzng. IV gólnplska knfrncja z cyklu Diagnstyka Edukacyjna", Pandit, Kraków Szalnic H., Zastswani trii analizy zadania tstwg (IRT) w prcsi cniania zwnętrzng, [w:] Szalnic H., Szmigl M. K., Egzaminy zwnętrzn. Pdnszni kmptncji nauczycili ir zakrsi cniania zwnętrzng. Wydawnictw Zamiast Krptycji, Kraków Szalnic H., Prbabilistyczn mdl wyniku zadania tstwg, [w:] Ocniani szkln knmika i plityka światwa prbabilistyczn mdl pmiaru, Skrypt nr 3 dla uczstników III Pdyplmwg Studium Ewaluacji Dydaktycznj na Uniwrsytci Gdańskim, Międzywydziałw Studium Pdaggiczn Uniwrsyttu Gdańskig. Gdańsk Wright B. D., Mk M., Rasch mdls vrviw, Jurnal f Applid Masurmnt Cnstructing Variabls 1,