WYKORZYSTANIE PROBABILISTYCZNYCH MODELI ZADANIA TESTOWEGO DO ZRÓWNYWANIA WYNIKÓW SPRAWDZIANU I BUDOWANIA BANKU ZA'$

Transkrypt

1 HENRYK SZALENIEC OKE Kraków WYKORZYSTANIE PROBABILISTYCZNYCH MODELI ZADANIA TESTOWEGO DO ZRÓWNYWANIA WYNIKÓW SPRAWDZIANU I BUDOWANIA BANKU ZA'$ :VWS -HGQ\P]FHOyZZSURZDG]HQLDHJ]DPLQyZ]HZQWU]Q\FKE\áRRF]HNLZDQLH *H LFKZ\QLNLEGSU]\GDWQHGROHG]HQLD]PLDQHGXNDF\jQ\FKZVNDOLFDáHJR kraju i QDSU]HVWU]HQLZLHOXODW6WDW\VW\F]QHZVND(QLNLZ\QLNyZXF]QLyZZ\Ua- *RQH Z VNDOL SXQNWyZ VXURZ\FK OLF]ED SXQNWyZ ]D FDá\ WHVW X]\VNDQ\FK Soprzez zastosowanie tych arkuszy w poszczególnych lawdfk PRJ ]PLHQLDü VL z SRZRGXZDKDSR]LRPXEDGDQHMFechy w populacji. Z drugiej strony, wyniki X]\VNDQH ]D SRPRFUy*Q\FK DUNXV]\ HJ]DPLQDF\MQ\FK ]Eudowanych nawet QDMEDUG]LHMSRUyZQ\ZDOQLHMDNWRMHVWPR*OLZHGREDGDQLDW\FKVDP\FKXPLHMt- QRFL V Uy*QH FKRFLD* SRPLDU E\á SU]HSURZDG]RQ\ GOD WHM VDPHM SRSXODFML 2]QDF]DWR*HZ\QLNLGZyFKUy*Q\FKWHVWyZQLHVEH]SRUHGQLRSRUyZQywalne. :]JOGQH]PLDQ\ SR]LRPX RVLJQLü XF]QLyZ Z ZRMHZyG]WZDFK SRZLatach gminach i V]NRáDFKDQDZHWLNODVDFKQDXFzanych w tej samej szkole przez Uy*Q\FK QDXF]\FLHOLVVWRVXQNRZRáDWZRSRUyZQywalne w standardowej skali staninowej. W VNDOL QRUPRZDQHM FRURF]QLH GOD ND*GHJR HJ]DPLQX QD NUDMRZHM SRSXODFMLXF]QLyZSLV]F\FKGDQ\HJ]DPLQ]DSHZQLDMFXNáDGRGQLHVLHQLDGDM- F\ND*GHJRURNXUHGQLGODNUDMXUyZQVWDQLQyZ1LHVWHW\QLHPR*QDZWHQ VSRVyEGRNRQDüSRUyZQDSoGáX*Q\FKSRPLG]\NROHMQ\PLODWDPLGODFDáHJR NUDMXJG\*UHGQLZ\QLNGODFDáHMSRSXODFMLND*Gego roku jest taki sam i wynosi 5 staninów. Aby wynikigzyfkhj]dplqyzprjá\e\üvwrvrzdqh]dplhqqlhgrzqloskowania o RVLJQLFLDFK NROHMQ\FK SRSXODFML XF]QLyZ PXVLP\ GRNRQDü NDOLbrowania arkuszy zastosowanych w kolejnych latach, czyli takiego wyjustowania QDU]G]LSRPLDUXDE\PR*QDE\áRSRZLHG]LHü*HX]\VNDQH]DLFKSRPRFZ\Qi-

2 104 Henryk Szaleniec ki egzaminów z Uy*Q\FKODWVUyZQRZD*QH1LHVWHW\ZSRPLDU]HG\GDNW\F]Q\P QLHG\VSRQXMHP\SXQNWDPLVWDá\PLGODVNDOLMDNWRPDPLHMVFHZSU]\SDGNXSomiaru temperatury. EmSLU\F]QD VNDOD WHPSHUDWXU\ &HOVMXV]D ]RVWDáD RNUHORQD SU]H]SU]\MFLH o C dla temperatury topnienia lodu i 100 o C dla temperatury wrze- QLDZRG\SRGFLQLHQLHP1P 2 6NDOD)DKUHQKHLWD]DVWRVRZDQDZDngielskim czy amerykavnlp V\VWHPLH PLDU WH* MHVW RSDUWD QD GZyFK SXQNWDFK VWDá\FKDOH o F odpowiadawhpshudwxu]hplhv]dqlq\qlhjx]vdopldnlhpd 100 o F WHPSHUDWXU]HQRUPDOQHMOXG]NLHJRFLDáD6áXFKDMFZ.UDNRZLHSURJQR]\So- JRG\]:DV]\QJWRQXPXVLP\GRNRQDüSU]HOLF]HQLDQDSRGVWDZLHSU]HSURZDG]o- QHJRNLHG\]UyZQDQLDDQJequating) odczytów temperdwxu\zlhg]f*h o C to 32 o F, a 100 o C to 212 o )'ZDWHUPRPHWU\MHGHQ]HVNDO&HOVMXV]DDGUXJL]H VNDO)DKUHQKHLWDWRWDNMDNGZDUy*ne arkusze sprawdzianu z 2003 i 2005 r. z WUy*QLF*HGODSR]LRPXXPLHMWQRFLQLHPR*HP\RNUHOLüSXQNWyZVWDá\FK MDNZSU]\SDGNXSRPLDUXWHPSHUDWXU\'ODWHJRWH*]UyZQ\ZDQLDPXVLP\GRNo- Q\ZDü ]D ND*G\P UD]HP JG\ ]EXGXMHP\ QRZH QDU]G]LH SRPLDUX kolejny DUNXV] HJ]DPLQDF\MQ\ Z\NRU]\VWXMF DOER ZVSyOQH ]DGDQLD GOD GZyFK VSUDw- G]LDQyZ ]DGDQLD NRWZLF]FH DOER SUyE XF]QLyZ UR]ZL]XMF\FK GRGDWNRZ\ WHVW]DZLHUDMF\UHSUH]HQWDFM]DGD]RE\GZXWestów. 0LVOHY\SRGNUHOD 1 *HSURFHV]UyZQ\ZDQLDZ\QLNyZHJ]DPLQXMHVWFLOH ]ZL]DQ\] SURFHVHPWZRU]HQLDDUNXV]\HJ]DPLQDF\MQ\FK-H*HOL]UyZQDQLHGobrze funkcjonumh WR QDMF]FLHM GODWHJR *H SU]HVWU]HJDQR SURFHGXU\ GREUHJR NRQVWUXRZDQLDQDU]G]LHJ]DPLQDF\MQ\FK:DUXQNLHPNRQLHF]Q\PGRSU]HSUo- ZDG]HQLD SURFHVX ]UyZQ\ZDQLD Z\QLNyZ GZyFK HJ]DPLQyZ QLH]DOH*QLH RG wybranej metody, jest to, aby zastosowane na egzamindfkqdu]g]lde\á\]exgo- ZDQHGRSRPLDUXWHJRVDPHJR]DNUHVXXPLHMWQRFLL ZHGáXJW\FKVDP\FKVSHFy- ILNDFML VWDW\VW\F]Q\FK RSLVXMF\FK FKDUDNWHU\VW\NL WHVWX OLFzED L IRUPD ]DGD ádwzrü PRF Uy*QLFXMFD]DGD U]HWHOQRü RGFK\OHQLH VWDQGDUGRZH: SU]y- SDGNXHJ]DPLQyZ]HZQWU]Q\FKZDUXQHNWHQMHVWVSHáQLRQ\MH*HOL]HVSRá\DXWRr- VNLH DUNXV]\ HJ]DPLQDF\MQ\FK SRV]F]HJyOQ\FK RNUJRZ\FK NRPLVML HJ]DPLQD- F\MQ\FKZSHáQLSU]HVWU]HJDMXVWDOH&HQWUDlnej Komisji Egzaminacyjnej. W ogólnych zarysach ustalenia C.(SR]ZDODMQDX]\VNDQLHQDU]G]LPLe- U]F\FKWHQVDP]DNUHVXPLHMWQRFLZSRGREQ\VSRVyE1LHREHMPXMRQHMHGQDN WDNLFK SDUDPHWUyZ VWDW\VW\F]Q\FK MDN PRF Uy*QLFuMFD ]DGD ádwzrfl ]DGD i RGFK\OHQLHVWDQGDUGRZHGODFDáHJRWHVWX: SU]\V]áRFLZDUWRUR]ZD*\üX]XSHá- QLHQLH XVWDOH RJyOQRSROVNLFK UywQLH*Z zakresie wspomnianych parametrów VWDW\VW\F]Q\FKDUNXV]D=DGDQLHWRE\áRE\]QDF]QLHáDWZLHMV]HJG\E\QDV]V\stem egzaminów zezqwu]q\fk G\VSRQRZDá RGSRZLHGQLR ]DVREQ\P EDQNLHP ]DGD GOD ND*GHJR HJ]DPLQX%DQNX QLH GD VL MHGQDN XWZRU]\ü W\ONR SRSU]H] ]JURPDG]HQLH ]DGD L VNDWDORJRZDQLH LFK ZHGáXJ SRPLarowych parametrów. 3DUDPHWU\]DGDWDNLHMDNPRFUy*QLFXMFDLWUXGQRüPXV]E\üZ\NDOLEURZDQH ZWHMVDPHMSU]HG]LDáRZHMVNDOL]XVWalonym punktem Ä LMHGQRVWNSRPLDURZ 1 Mislevy R.J., Linking educational assessments: Concepts, issues, methods, and prospects, ETS Policy Information Center, Princeton, NJ 1992.

3 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników ZRU]HQLHEDQNX]DGDWRGUXJLHRERNOHG]HQLDWUHQGyZ]PLDQRVLJQLü w populacji zadanie, do którego konieczne jest zrównywania arkuszy egzaminacyjnych. :SUDNW\FHSRPLDURZHMVWRVRZDQHVQDMF]FLHMWU]\VWDW\VW\Fzne metody ]UyZQ\ZDQLDPHWRGDOLQLRZDPHWRGDUHGQLFKLPHWRGDHNZLFHQW\ORZDED]XMce na klasycznej teorii pomiaru, oraz szereg metod z wykorzystaniem probabilistycznej teorii wyniku zadania (Item Response Theory,57.D*GDPR*HE\ü ]DVWRVRZDQDGODUy*Q\FKSODQyZHNVSHU\PHQWDOQ\FKSRZL]DQLD]HVREDUNXV]\ egzaminacyjnych. Od trzech lat metoda ekwicentylowa z powodzeniem jest sto- VRZDQD SU]H] :\G]LDá 6SUDZG]LDQyZ &.( L SURI %ROHVáDZD 1LHPLHUN GR ]UyZQ\ZDQLDZ\QLNyZVSUDZG]LDQXZNROHMQ\FKODWDFKSU]\MPXMF za rok bazowy :\QLNLSURZDG]RQ\FKDQDOL]SR]ZROLá\]DXZD*\ü]DU\VoZXMF\VL RG U WUHQG Z]URVWX SR]LRPX RVLJQLü NROHMQ\FK URF]QLNyZ V]yVWRNODVi- VWyZVSRZRGRZDQ\SUDZGRSRGREQLHHIHNWHP]ZURWQ\PHJ]DPLQyZ]HZQWUznych. Równolegle z analizami prowadzonymi z wykorzystaniem metody ekwicen- W\ORZHMSRF]ZV]\RGUSURZDG]RQHVSUyE\]DVWRVRZDQLDGR]UyZQ\Za- QLDDUNXV]\PHWRGED]XMF\FKQDSUREDELOLVW\F]QHMWHRULLZ\QLNX]DGDQLD0HWo- G\WHRGZLHOXODWVV]HURNRVWRVoZDQHQDZLHFLHZ invw\wxfmdfksurzdg]f\fk EDGDQLD SRUyZQDZF]H L HJ]DPLQ\ ]HZQWU]QH : GDOV]HM F]FL WHJR DUW\NXáX VSUyEXMHP\ SU]HGVWDZLü GRZLDGF]HQLD X]\VNDQH SRGF]DV ]UyZQ\ZDQLD Z\Qików sprawdzianu 2004 i 2005 r. do rezultatów zarejestrowanych w 2003 r. 1. Krótkie wprowadzenie do probabilistycznej teorii zadania 3RHJ]DPLQLHG\VSRQXMHP\GODND*GHJRXF]QLDRNUHORQOLF]ESXQNWyZ NWyUHWHQX]\VNDá]DUR]ZL]DQLH]DGD]DZDUW\FKZDUNXV]XHJ]DPLQDF\jnym. 7OLF]ESXQNWyZQD]\ZDP\WH*]DREVHUZRZDQOLF]ESXQNWyZLMHVt ona naj- F]FLHMSRGVWDZZV]HONLFKDQDOL]ZNODV\F]QHMWHRULLSRPLDUXG\GDNW\F]QHJR *G\E\P\PLHOLPR*OLZRüSowtórzenia wiele razy tego samego testu dla danej RVRE\ZWDNLVSRVyEDE\Z\NOXF]\üHIHNW]DSDPLWDQLDUR]ZL]DWRRWU]\Pa- OLE\P\V]HUHJZ\QLNyZNWyUHPLDá\E\UR]NáDGQRUPDOQ\%\áE\WRLQG\ZLGXDl- Q\RJUDQLF]RQ\GRGDQHMRVRE\UR]NáDGZ\QLNyZ]WHVWXUHGQLDDU\WPHW\F]QD z tego prywatnegour]nádgxsxqnwyzqd]\zdqdmhvwz klasycznej teorii testu wynikiem prawdziwym. Wynik prawdziwy nie jest obserwowalny - MHVW SRMFLHP VWDW\VW\F]Q\PLQLHPDQLFZVSyOQHJR]SRMFLHPOLF]E\SXQNWyZNWyUDU]HF]y- ZLFLH RNUHOD Z\QLN GDQHJR XF]QLD :\QLN ]DREVHUZRZDQ\ WR MHGQD SUyED losowa z WDNLHJRUR]NáDGX5y*QLFDSRPLG]\Z\QLNLHP]DREVHUZRZDQ\PD wynikiem prawdziwym na]\zdvleághpsrpldux 2 Niemierko B., Zrównywanie wyników sprawdzianu 2004 do wyników sprawdzianu 2003, [w:] B. Niemierko, H. Szaleniec (red.), 'LDJQRVW\NDHGXNDF\MQD6WDQGDUG\Z\PDJDLQRUP\Westowe w diagnostyce edukacyjnej.udnyz WHQ*H Zrównywanie wyników sprawdzianu 2005 do wyników sprawdzianu 2003UDSRUWSU]HVáDQ\GR&.(

4 106 Henryk Szaleniec -H*HOL%HDWDL5RPHNX]\VNDOLUy*QHZ\QLNLZVSUDZG]LDQLHUQS i SNWWRQLHZLHP\F]\WDUy*QLFDSRFKRG]L]Uy*QLF\ZSR]LRPLHLFKXPLHMt- QRFLF]\WH*MHM(UyGáHPMHVWEáGSRPLDUX=PLHQQRüZ\QLNyZZFDáHMSRSXOa- FML SLV]F\FK WHVW MHVW VXPZDULDQFMLZ\Qików prawdziwych poszczególnych uczniów i ZDULDQFMLEáGyZSRPLarowych. war(x) = war(t) + war(e) gdzie: X ]PLHQQDR]QDF]DMFDZ\QLN]DREVHUZRZDQ\ZZ\QLNXWestowania, T E zmienna oznac]dmfdz\qlnsudzg]lz\ ]PLHQQDR]QDF]DMFDEáGSRPLDUX Stosunek wariancji wyniku prawdziwego war(t) do wariancji wyników za- REVHUZRZDQ\FKOLF]E\SXQNWyZZDU;GHILQLXMHU]HWHOQRüZ\QLNyZWHVWRZania. 2F]\ZLFLHQLHGDVLRV]DFRZDüU]HWHOQRFL]IRUPXá\GHILQLF\MQHM,VWQLHMHV]HUHJ PHWRGV]DFRZDQLDU]HWHOQRFLZ\QLNyZWHVWRZDQLDDOHZW\PDUW\NXOHQLHEG]Le- P\VLQLPL]DMPRZDü:\QLN]DREVHUZRZDQ\OLF]EDSXQNWyZZ\QLNSUDZG]iwy i U]HWHOQRü WRSRGVWDZRZHSRMFLDNODV\F]QHMWHRULLSRPLaru dydaktycznego. :SUREDELOLVW\F]QHMWHRULLZ\QLNX]DGDQLDFHQWUDOQ\PSRMFLHPMHVWQLHRbserwowalna cecha, która jest przedmiotem pomiaru (ang. latent variable). W SRPLDU]H G\GDNW\F]Q\P PR*H WR E\ü SRMHG\QF]D XPLHMtQRü OXE ]HVSyá XPLHMWQRFL &HFKD NWyUD ]PLHQLD VL Z VSRVyE FLJá\ RG PLQXV GR SOXV QLe- VNRF]RQRFLL PR*HE\üSU]HGVWDZLRQDQDRVLOLF]EU]HF]\ZLVW\FK:SUDNW\FH QDMF]FLHM MHVW WR SU]HG]LDá RG - GR 3XQNW Ä QD WHM SU]HG]LDáRZHM VNDOL Z\ELHUDQ\MHVWQDMF]FLHMZVSRVyEDUELWUDOQ\WDNDE\RGSRZLDGDáUHGQLHMWUXd- QRFLWHVWX&HOHPSRPLDUXMHVWXV]HUHJRZDQLHRVyEQDMEDUG]LHMSUHF\]\MQLHMDN WRMHVWPR*OLZH]HZ]JOGXQDZ\Uy*QLRQFHFK1DU]G]LHPGRWHJRXV]HUHJo- ZDQLDV]DGDQLDWHVWRZH3R]LRPWHMFHFK\WRNRQNUHWQ\SXQNWQa osi liczb rze- F]\ZLVW\FK:]GáX*WHMVDPHMRVLPR*QDXV]HUHJRZDü]DGDQLD]HZ]JOGXQDLFK poziom trudnofl Krzywa charakterystyczna zadania w modelu deterministycznym Krzywa charakterystyczna zadania w modelu probabilistycznym 5\V=DOH*QRüSUDZGRSRGRELHVWZDRGSRZLHG]LQD]DGDQLHRWUXGQoFL RGSRZLDGDMFHMSXQNWRZLQDVNDOLZ]DOH*QRFLRGSR]LRPXXPLeMWQRFLXF]QLD (w deterministycznym i probabilistycznym modelu odpowiedzi na zadanie)

5 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników : NODV\F]QHM WHRULL SRPLDUX SUDZGRSRGRELHVWZR SRSUawnej odpowiedzi QD]DGDQLHPR*QDRSLVDü]DSRPRFGHWHUPLQLVW\F]QHJRPRGHOX-H*HOLSR]LRP XPLHMWQRFL5RPNDMHVWQL*V]\RGSR]LRPXWUXGQRFL]adania (por. rys. 1. i 2.), WRSUDZGRSRGRELHVWZRUR]ZL]DQLD]DGDQLDSU]H]WHVWRZDQHJRZ\QRVL1DWomiast, jh*holsr]lrpxplhmwqrfl%hdw\mhvwz\*v]\rgwuxgqrfl]dgdqld]dvwosowanego do pomiaru, to prawdopogrelhvwzrsrsudzqhmrgsrzlhg]lz\qrvl :PRGHOXSUREDELOLVW\F]Q\PSUDZGRSRGRELHVWZRSRSUDZQHMRGSRZLHG]L QD]DGDQLH]PLHQLDVLZVSRVyEFLJá\RG dla bardzo niskiego poziomu umie- MWQRFLGRGODEDUG]RZ\VRNLHJRSU]\MPXMFZDUWRüGODSR]LRPXXPLe- MWQRFLUyZQHMWUXGQRFL]DGDQLD2]QDF]DWRPLQ*HLVWQLHMHSHZQHSUDZGRSo- GRELHVWZRL*XF]HREDUG]RQLVNLPSR]LRPLHXPLHMWQRFLEDGDQHM przez zada- QLHUR]ZL*HMHSRSUDZQLH7DNVDPRQLHMHVWQLHSUDZGRSRGREQH*HXF]HRZysokim poziomie bagdqhmxplhmwqrflqlheg]lhsrwudilájrur]zl]dü 3RGZDOLQ\REHFQLHVWRVRZDQHMWHRULL,57VWZRU]\OLQLH]DOH*QLH*HRUJ5DVFK oraz Fred Lord. Georg RDVFKUR]ZLQáPDWHPDW\F]Q\PRGHOSRPLDUXED]XMFQD SUREDELOLVW\F]QHMUHODFMLSRPLG]\WUXGQRFL]DGania i poziomem cechy badanej tym zadaniem. Model Rascha w QDMSURVWV]\PSU]\SDGNXRGQRVLVLGRRNUHOHQLD ZDUXQNRZHJRSUDZGRSRGRELHVWZDSR]\W\ZQHMRGSRZiedzi na zadanie punkto- ZDQHMDNRIXQNFMLUy*QLF\SRPLG]\WUXGQRFL]DGDQLDDSR]LRPHPXPLHMt- QRFL GaQHJR XF]QLD 3UDZGRSRGRELHVWZR XG]LHOHQLD SRSUDZQHM RGSRZLHG]L i uzyskania 1 punktu przez ucznia n na zadanie ipr*hp\z\ud]lüpdwematycznie za poprfuyzqania (1). P ni [ I n - b i ) (1) 5yZQDQLHPR*HE\üGRNáDGQLHMSU]HGVWDZLRQH]DSRPRFIXQNFMLORJistycznej w QDVWSuMFHMSRVWDFL 3 QL [ QL = H θ Q L θ Q EL = θ E Q L, (2) + H gdzie: P ni SUDZGRSRGRELHVWZR *H GDQ\ XF]H X]\VND SXQNW ]D ]DGDQLH ÄL punktowane 0;1, x ni wynik punktowy ucznia n za zadanie i, b i SDUDPHWUWUXGQRFL]DGDQLDi, θ n SR]LRPXPLHMWQRFLXF]QLDn, e = 2,7183 odstawa logarytmów naturalnych. Punkt wyjfldgrvwzru]hqldpldu\sr]lrpxxplhmwqrflzprghox5dvfkd jest taki sam jak w klasycznej teorii pomiaru. Jest to obliczenie proporcji popraw- Q\FK RGSRZLHG]L QD ]DGDQLD Z WHFLH XG]LHORQ\FK SU]H] GDQHJR XF]QLD SU]\ punktowaniu 0;1 ádwzrüwhvwxgodxcznia) i proporcji poprawnych odpowiedzi QD GDQH ]DGDQLH XG]LHORQ\FK SU]H] ZV]\VWNLFK XF]QLyZ F]\OL ádwzrü GDQHJR zadania. Wyniki surozhzwhflhwzru]fhw\onrvndosru]gnrzv]duyzqr E

6 108 Henryk Szaleniec warunkiem koqlhf]q\pmdnz\vwduf]dmf\pgrrv]dfrzdqldsr]lrpx badanej umiemwqrfl θ n i WUXGQRFL ]DGDQLD E i. 5y*QLFD SRPLG]\ WUXGQRFL ]DGDQLD a SR]LRPHPXPLHMWQRFLRVRE\UR]ZL]XMFHM]DGDQLHMHVWSRGVWDZGRRV]DFo- ZDQLDSUDZGRSRGRELHVWZDUR]ZL]DQLDWHJR]DGDQLDSU]H]GDQRVRE/RJLND modelu jest stosunkrzrsurvwd'odzv]\vwnlfkur]zl]umf\fk]dgdqldzlnv]h MHVWSUDZGRSRGRELHVWZRRVLJQLFLDVXNFHVXSU]\UR]ZL]\ZDQLXáDWZ\FK]DGD QL*ZSU]\SDGNXUR]ZL]\ZDQLD]DGDWUXGQLHMV]\FK3LHUZV]\PNURNLHPRV]a- FRZDQLD SR]LRPX XPLHMWQRFL RVRE\ n jest przekv]wdáfhqlh SURSRUFML SRSUDwnych odpowiedzi w SUDZGRSRGRELHVWZRVXNFHVXNWyUHMHVWV]DFRZDQHSRSU]H] obliczenie ilorazu proporcji poprawnych odpowiedzi p GR SURSRUFML EáGQ\FK odpowiedzi (1-p). Logarytm naturalny z tego ilorazu stanowi w najprostszym prz\sdgnxrv]dfrzdqlhxplhmwqrflgdqhmrvre\'rnáddnie taka sama procedura SRZWDU]DQDMHVWGODRV]DFRZDQLDWUXGQRFL]DGD'ODGDQHJR]DGDQLDi obliczamy logarytm naturalny ilorazu proporcji poprawnych odpowiedzi na dane zadanie przez wszystkie osoby rozwl]xmfhrud]sursrufmleágq\fkrgsrzlhg]lrvyeurz- ZL]XMF\FKWR]DGDQLH1aVWSQLHWUXGQRü]DGDQLDb i LSR]LRPXPLHMWQRFLGDQHM osoby n ORNRZDQHVQDZVSyOQHMVNDOLLZ\UD*DQHZ jednostkach logarytmu naturalnego z SURSRUFMLQD]\ZDQ\FKORJLWUHGQLDZDUWRüORJLWSU]\MPRZDQDMHVWDUEi- WUDOQLHMDNR'RGDWQLHZDUWRFLORJLWR]QDF]DMSR]LRPEDGDQHMFHFK\ (np. umie- MWQRFLPDWHPaW\F]Q\FKEDGDQ\FKZVSUDZG]LDQLHZ\*V]\RGUHGQLHMD ujemne ZDUWRFL QL*V]\ 3U]HGVWDZLRQ\SRZ\*HMRSLVGRW\F]\PRGHOX5DVFKDNWyU\]DNáDGDMHGQa- NRZGODZV]\VWNLFK]DGDPRFUy*QLFXMFUyZQ7UXGQRü]DGDQLDMHVWMedynym szacozdq\psdudphwuhpgod]dgd 3U]HDQDOL]XMP\ WU]\ SU]\NáDG\ REOLF]DQLD SUDZGRSRGRELHVWZD SRSUDZQHM RGSRZLHG]LQD]DGDQLHRWUXGQRFLE i = 0 logit dla Romka i Beaty (rys. 2.), dla NWyU\FK]QDP\SR]LRPXPLHMWQoFLEDGDQ\FKGDQ\PWHVWHP 3U]\NáDG 5\V3U]\NáDGORNDOL]DFMLQDRVLXPLHMWQRFLSR]\FMLXF]QLyZ ]HZ]JOGXQDSo]LRPXPLHMWQRFLL]DGDQLD]HZ]JOGXQDMHJRWUXGQRü Dla %HDW\ SR]LRP XPLHMWQRFL θ n ORJLW-H*HOL SR]LRP XPLHMWQRFL Beaty jest o ORJLWZ\*V]\RGWUXGQRFL]DGDQLDWRUy*QLFDSRPLG]\SR]LRPHP XPLHMtQRFL L WUXGQRFL ]DGDQLD Z\UD*RQD Z jednostkach logit wyniesie 1 (rys. 3RGVWDZLDMFWHZDUWRFi do równania (2) otrzymujemy:

7 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników P (1 0) 1 e 2,7183 ( xni = 1/ n (1), bi (0)) = = (1 0) , e = 0,73 ni θ (3) 2WU]\PDQ\ Z\QLN LQIRUPXMH QDV*H SUDZGRSRGRELHVWZR X]\VNDQLD SNW SU]H]%HDWZ\QRVL:DUWRSRGNUHOLü*HSRPLPRL*SR]LRPXPLHMWQRFL %HDW\MHVWZ\*V]\RGWUXGQRFL]DGDQLDWRLstnieje prawdosrgrelhvwzruyzqh *HX]\VNDRQD]DWR]DGDQLHSNW-H*HOLWHQPRGHOLGHDOQLHSU]ystaje do QDV]HJRSRPLDUXWRXF]QLyZRWDNLPSR]LRPLHXPLHMWQRFLMDN%HDWDX]yska za to zadanie 0 pkt. 3U]\NáDG 5R]ZD*P\XF]QLDNWyUHJRSR]LRPXPLHMWQRFLMHVWUyZQ\WUXGQRFL]DGania, czyli θ n - b i.d*gdolf]edsrgqlhvlrqdgrsrwjlgdmhz\qln (0 0) e 0 2,7183 P ( 1/ (0), (0)) 1 ni xni = θ n bi = = 0 = = 0,50 ( 0 0) 1+ 2, (4) 1+ e 2EOLF]RQHSUDZGRSRGRELHVWZRSRSUDZQHMRGSRZLHG]LGODWDNLHJRXF]QLD wyniesie 0,5. W idealnym przypadku tylko 50% takich uczniów uzyska za to zadanie 1 pkt. 3U]\NáDG 5R]ZD*P\ MHV]F]H MHGHQ SU]\SDGHN RGSRZLDGDMF\ QD U\V SR]\FML 5RPNDNWyUHJRSR]LRPXPLHMWQRFLMHVWRORJLWQL*V]\RGWUXGQRFL]DGania (θ n - b i = -1). ( 1 0) e 1 2,7183 0,3679 Pn i ( xni = 1/ θ n ( 1), bi (0)) = = 1 = = 0,27 ( 1 0) 1+ 2, , e Dla5RPND]JRGQLH]DQDOL]RZDQ\PPRGHOHPSUDZGRSRGRELHVWZRSRSUDZQHM odpowiedzi na to zadanie wynosi tylko 0,27. 2EOLF]HQLD]DVWRVRZDQHZSU]\NáDGDFKE\á\VWRVXQNRZRáDWZHJG\*]QaOLP\ trudqrü ]DGDQLD L SR]LRP XPLHMWQRFL ZV]\VWNLFK WU]HFK XF]QLyZ 2V]acowanie WUXGQRFLZV]\VWNLFK]DGDZWHFLHLXPLHMWQRFLZV]\VWNLFKXF]QLyZMHVW]áR*onym i zaawansowanym matematycznie zadaniem, wymajdmf\pvshfmdolvw\f]qhjr oprogramowania komputerowego. 0RGHOHZ\NRU]\VWXMFHZLFHMQL*MHGHQSDUDPHWU W praktyce pomiarowej stosowanych jest wiele modeli w ramach teorii RGSRZLHG]LQD]DGDQLHWHVWRZH,57Uy*QLF\FKVLPDWHPDW\F]Q\PSU]HGVWa- ZLHQLHP IXQNFML FKDUDNWHU\VW\F]QHM]DGDQLD F]\ OLF]E SDUDPHWUyZ WZRU]F\FK

8 110 Henryk Szaleniec PRGHO.D*G\] PRGHOLVWRVXMHMHGHQOXEZLFHMSaraPHWUyZRSLVXMF\FK]DGDQLH RUD]MHGHQOXEZLFHMSDUDPHWUyZRSLVXMF\FKHJ]DPLQRZDQHJR3LHUZV]HSUyE\ analiz prowadzoqhe\á\z Polskim Systemie Egzaminacyjnym z zastosowaniem takich programów komputerowych, jak RUMM (Andrich-Australian Council for Education), MULTILOG (Multiple, Categorical Item Analysis and Test Scoring USA) i OPLM (One Parameter Logistic Model, opracowany w CITO przez N.D. Verhelsta, C.A.W. Glasa i H.H.F.M. Vertralen). Oprogramowanie to wykorzystuje jedno-, dwu- lub trójparametryczny model logivw\f]q\virupxárzdq\sr raz pierwszy przez A. Birnbauma. W opisie modelu matematycznego parametry VR]QDF]DQHPDá\PLOLWHUDPLDEF=JRGQLH]PRGHOHPSUDZGRSRGRELHVWZR udzielenia poprawnej odpowiedzi na zadanie egzaminacyjne przez ucznia o poziomiexplhmwqrflθ PR*HE\üSU]HGVWDZLRQHIXQNFMORJLVW\FzQ P 1+ e (1 c ) i ni ( θ n, bi ) = ci + Da i ( θ b i ) (5) gdzie: b i SDUDPHWUWUXGQRFL]DGDQLD a i PRFUy*QLFXMFD c i ZVSyáF]\QQLN]JDGywania odpowiedzi, D VWDáDVNDORZDQLDUyZQD e podstawa logarytmów naturalnych, θ n # SR]LRPEDGDQHMFHFK\XPLHMWQRFL Rys. 3 Krzywa charakterystyczna zadania wielokrotnego wyboru z XZ]JOGQLHQLHP wszystkich trzech parametrów a, b, c. Charakterystyka uzyskana z wykorzystaniem programu MultiLog dla jednego z zagdvsudzg]ldqx -HV]F]HUD]SRGNUHOP\*HZPRGHODFKED]XMF\FKQDSUREDELOLVW\F]QHMWHorii zadaqldlqdf]hmql*znodv\f]qhmwhrullsrplduxwuxgqrü]dgdz\ud*rqdmhvw w tej samej skali co poziopedgdqhmxplhmwqrfllpr*hsu]\mprzdüzduwrfl zarówqr XMHPQH MDN GRGDWQLH 2F]\ZLFLH SRQLHZD* VNDOD MHVW SU]HG]LDáRZD ]DZV]H PR*QD M SU]HNV]WDáFLü EH] XV]F]HUENX GOD SRPLDUX WDN DE\ SR]LRP umiemwqrfle\áz\ud*dq\w\onrzduwrfldplgrgdwqlpl

9 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników PLHUZV]\P NURNLHP DQDOL]\ QLH]DOH*QLH RG Z\EUDQHJR PRGHOX MHVW RV]Dcowanie parametrów zadania (a, b, c). :\EUDQ\ GR DQDOL]\ PRGHO PR*H E\ü VWRVRZQ\ OXE QLH GR ]DVWosowania Z]JOGHP]ELRUXGDQ\FKHPSLU\F]Q\FK2]QDF]DWR*HPRGHOPR*HQLHZáDFiwie przewlg\zdü L Z\MDQLDü Z\QLNL HJ]DPLQX'ODWHJR MHGQ\P] QDMZD*QLHjszych kroków podczas stosowania teorii analizy zadania testowego do oceny wyników egzaplqyz MHVW RV]DFRZDQLH F]\ Z\EUDOLP\ ZáDFLZ\ PRGHO L F]\ w RJyOHPR*HP\]DVWRVRZDü,57GRDQDOL]\QDV]\ch danych. Procedury szaco- ZDQLD F]\ GDQH HPSLU\F]QH VSHáQLDM Z\PDJDQLD GDQHJR PRGHOX ]Z\NOH V LQWHJUDOQ F]FL SURJUDPyZ NRPSXWHURZ\FK XPR*OLZLDMF\FK SUDNW\F]QLH stosowanie IRT..LHG\PRGHOZáDFLZLHRSLVXMHGDQHHPSLU\F]QHX]\VNXMHP\RSLVV]HUHgu LVWRWQ\FK FHFK SRMHG\QF]\FK ]DGD MDN L HJ]DPLQRZDQ\FK XF]QLyZ NWyUH V SR*GDQHGODSRPLDUXG\GDNW\F]QHJR-H*HOLDUNXV]HJ]DPLQDF\MQ\]RVWDáWUDIQLH SU]\JRWRZDQ\GRGDQHJRHJ]DPLQXRUD]JG\Z\QLNLHJ]DPLQXVSHáQLDM]DáR*enia wybranego modelu, to, SRSLHUZV]HRV]DFRZDQ\SR]LRPXPLHMWQRFLHJ]a- PLQRZDQHJR MHVW QLH]DOH*Q\ RG ]DVWRVRZDQHJR DUNXV]D HJ]DPLQDF\MQHJR RUD] RV]DFRZDQHSDUDPHWU\]DGDQLDVQLH]DOH*QHRGJUXS\HJ]DPLQRZDQ\FKGDQ\P arkuszem egzaminaf\mq\p,qq\plvárz\sr]lrpxplhmwqrflrvzacowany na SRGVWDZLHUy*Q\FK]ELRUyZ]DGDPLHU]F\FKWVDPXPLHMWQRüMHVWZJUDQi- FDFKEáGXSRPLDURZHJRWDNLVDP3RGUXJLHSDUDPHWU\]DGDQLDRV]DFRZDQHQD SRVWDZLHUy*Q\FKJUXSHJ]DPLQRZDQ\FKVWDNLHVDPHZJUDQLFDFKEáGX]ZLzanego z wyborem puye\0r*hp\zlfsrzlhg]lhü*hgod,57sdudphwu\rslsumfh]dgdqlhmdnlsdudphwu\rslvxmfhsr]lrprvljqlüxf]qldvlqzduldqwhp QLH]PLHQQLNLHP1LH]DOH*QRüSDUDPHWUyZRVLJQLüHJ]DPLQRZDQHJRRGSa- UDPHWUyZ]DVWRVRZDQ\FK]DGDRUD]QLH]aOH*QRüSDUDPHWUyZ]DGDRGZ\ERUX próby egzaminowanych uczniów jest koronnym atutem teorii odpowiedzi na za- GDQLH WHVWRZH 7D QLH]DOH*QRü RVLJDQD MHVW SRSU]H] Z\NRU]\VWDQLH LQIRUPDFML o zadaniach do oszacozdqldsr]lrpxrvljqlüxf]qlyzl poprzez symultaniczne wykorzystanie informacji o RVLJQLFLDFKXF]QLyZGRRV]DFRZDQLDSDUDPHWUyZ zagd 0HWRG\V]DFRZDQLDSDUDPHWUyZ]DGD 3URFHGXU\V]DFRZDQLDSDUDPHWUyZ]DGDVVWRVXQNRZR]áR*RQHLZ\PDJa- M]DDZDQVRZDQHJRRSURJUDPRZDQLDNRPSXWHURZHJR1RUPDQ'9HUKHOVW wy- Uy*QLD F]WHU\ PHWRG\ OH*FH X podstaw analiz z wykorzystaniem modeli IRT 3. Pierwsza z metod, nazwana w skrócie ML PDNVLPXP SUDZGRSRGRELHVWZD (ang. Maximum LikelihoodSROHJDQDWDNLPZ\ERU]HSDUDPHWUyZ]DGDWUXd- QRFLL PRF\Uy*QLFuMFHM*HGDQHHPSLU\F]QHX]\VNDQH]WHVWXVZDUWRFLDPL 3 Verhelst N.D., Manual for relating Language Examinations to CEF, 2005.

10 112 Henryk Szaleniec zadanie 2. 7DE&]VWRüRGSRZLHG]LQD]DGDQLD zadanie razem w zadaniu (2 pkt za test) 80 (1 pkt za test) 30 (1 pkt za test) 120 (0 pkt za test) Razem w zadaniu QDMEDUG]LHMSUDZGRSRGREQ\PLMDNWRMHVWW\ONRPR*OLZH-DNRüRV]DFRZDQLDW PHWRGSDUDPHWUyZ]DGDLVWRWQLH]DOH*\RGZLHONRFLSUyE\XF]QLyZ.ROHMQPHWRGMHVWPDNVLPXPáF]QHJRSUDZGRSRGRELHVWZD JML (ang. Joint Maximum Likelihood). : WHM PHWRG]LH V]DFRZDQH VáFznie parametry ]DGDL SR]LRPXPLHMWQRFLXF]QLyZ-H*HOLSU]\MPLHP\PRGHO5DVFKDZNWórym wszystnlh]dgdqldpdmwdnlvdpsdudphwuprf\uy*qlfxmfhmwrqsgod XF]QLyZUR]ZL]XMF\FK]DGDV]DFRZDQHEG]LHáF]QLHSDUDPHWUyZWUXd- QRFL]DGDL SDUDPHWUyZSR]LRPyZXPLHMWQRFL:UD]]HZ]URVWHPSUyE\ V]\ENRURQLHOLF]EDSDUDPHWUyZNRQLHF]Q\FKGRRV]DFRZDQLD Trzecia metoda to PDNVLPXP SUDZGRSRGRELHVWZD EU]HJRZHJR MML (ang. Marginal Maximum Likelihood). : PHWRG]LH WHM ]DNáDGD VL *H EDGDQD FHFKDPDUR]NáDGQRUPDOQ\ZSRSXODFML]NWyUHMP\G\VSRQuMHP\ORVRZSUyE W takim przysdgnx V]DFRZDQH V SDUDPHWU\ ]DGD L GZD SDUDPHWU\ UR]NáDGX normalnego w populacji UHGQLDLRGFK\Oenie standardowe. W praktyce to dru- JLH]DáR*HQLHQLHMHVWáaWZHGRVSHáQLHQLD Czwarta metoda to ZDUXQNRZH PDNVLPXP SUDZGRSRGRELHVWZD CML (ang. Conditional Maximum Likelihood). : WHM PHWRG]LH SDUDPHWU\ ]DGDV V]DFRZDQHQDSRGVWDZLH]DáR*HQLD*H]QDQHVOLF]E\SXQNWyZ]DWHVWGODND*GHM osoby i profhqwsrsudzq\fkrgsrzlhg]l]dnd*gh]dgdqlh19hukhovwloxvwuxmh podvwdz\whmphwrg\zqdmsurvwv]\psu]\sdgnxwhvwx]ár*rqhjr]gzyfk]dgd punktowanych 0 i 3U]HDQDOL]XMP\SU]\NáDGRZ\UR]NáDGRGSRZLHGzi na te zadania. -DNPR*QDRGF]\WDü]WDEHOLRVyEF]\OLSUyE\RGSRZLHG]LDáRSo- SUDZQLH QD ]DGDQLH 1D ]DGDQLH SRSUDZQLH RGSRZLHG]LDá FR WU]HFL XF]H Czyli zadanie 2. jest trudniejsze od zadania 1. Do takiej samej konnox]mlpr*qd GRMü Z LQQ\ VSRVyE DQDOL]XMF F]VWRü RGSRZLedzi na obydwa zadania uczniów, którzy za dwuzadaniowy test uzyskali tyle samo punktów, czyli 1. Po- QLHZD*ZUyGXF]QLyZ]Z\Qikiem 1 pkt jest mniej takich, którzy uzyskali ten Z\QLN]D]DGDQLHQL*]D]DGDQLHZQLRVNuMHP\*H]DGDQLHMHVWZ]JOGQLH trudniejsze od zadania 1. Wraz ze wzrovwhp OLF]E\ ]DGD WHJR W\SX Z]JOGQH SRUyZQDQLDVWDMVLEDUG]LHM]áR*one. 4 Ibidem.

11 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników =DOHWWHMPHWRG\MHVWQLH]DOH*QRüRV]DFRZDQLDRGWHJRMDNVNRPSRQRZana jest próba uczniów do kalibracji. Np. rozdzielne próby uczniów mogur]zl- ]\ZDü]DPLDVWFDáHJRWHVWXW\ONRMHJRF]FLNWyUHQD]ZLHP\SRGWHVWDPL]DZLe- UDMFHZVSyOQH]DGDQLD5yZQLH*QLHMHVWLVWRWQHF]\SUyEDMHVWORVRZDF]\WH* QLH&HFKD WD MHVW F]VWR QD]\ZDQDQLH]DOH*QRFLRGSUyE\XF]QLyZQDNWyUHM zastosowaq\mhvwwhvwgrndoleudfml]dgd:d*qhmhvwmhgqdnde\zsuyelh]qdoh(- OLVL]DUyZQRXF]QLRZLHGODNWóU\FKND*GH]DGDQLHMHVWEDUG]RáDWZHMDNLWDF\ dla któu\fk ND*GH ]DGDQLH MHVW EDUG]R WUXGQH 2JUDQLF]HQLHP MHVW WR *H QLH wszystkie modele IRT moge\üsu]\whmphwrg]lh]dvwrvrzdqh0hwrgdwdpr*h E\üVWRVRZDQDW\ONRZMHGQRSDUDPHWU\F]Q\PPRGHOX5DVFKDJG]LHOLF]EDSXQktów jest po prosu równa liczbie poprawnie udzielonych odpowiedzi. W modelu GZXSDUDPHWU\F]Q\POLF]EDSXQNWyZGODXF]QLDMHVWZD*RQVXPDZaJDPLV SDUDPHWU\PRF\Uy*QLFXMFHM]DGDa i. 5R]ZL]DQLHPWHJRSUREOHPXMHVW]DVWRVRZDQLHMHGQRSDUDPHWU\F]QHJRORJistycznego modelu OPLM (ang. One Parameter Logistic Model). Formalnie jest to model do oszacowania dwóch parametrów, przy czym ry*qh SDUDPHWU\ PRF\ Uy*QiFXMFHM GOD SRV]F]HJyOQ\FK ]DGD V ]QDQH RV]DFRZDQH XSU]HGQLR L Z PRGHOXWUDNWRZDQHMDNRVWDáHDQLHMDNRSDUDPHWU\:WHQVSRVyEGZXSDUDPe- WU\F]Q\PRGHOVSURZDG]DQ\MHVWGRMHGQHJRSDUDPHWUXXPR*OLZLDMF]DVWRVRZanie metody ZDUXQNRZHJRPDNVLPXPSUDZGRSRGRELHVWZD&0/7RUR]ZL]a- QLH ]RVWDáR Z\NRU]yVWDQH SRGF]DV V]DFRZDQLD SDUDPHWUyZ ]DGD SRáF]RQHJR testu zawierajcego zadania ze sprawdzianów 2003, 2004 i 2005 r. 3. Zrównywanie wyników sprawdzianu 2003, 2004 i 2005 Wiele invw\wxfml]dmpxmf\fkvlwhvwrzdqlhpqdv]hurnvndoz\nru]\vwxmh PRGHOH,57GREXGRZDQLDEDQNyZ]DGDWZRU]HQLDWHVWyZ:W\FKLQVW\WXFMDFK Z\NRU]\VWXMHVL,57WDN*HGR]UyZQ\ZDQLDWHVWyZ:REydwu wymienionych procesach pierwszy etap, czyli szacowanie i kalibrowaqlhsdudphwuyz]dgdmhvw ZVSyOQ\'ODWHJRWH*]UyZQ\ZDQLHZ\QLNyZVWDáRVLSU]\F]\QNLHPGRVWZRU]e- QLD]DO*NXEDQNX]DGD]Z\NRU]\VWaniem programu komputerowego FastTest. 4. Procedura wykorzystana do zrównywania wyników sprawdzianów =DVWRVRZDQD SURFHGXUD VNáDGD VL] GZyFK HWDSyZNWyUHPRJE\üSU]e- SURZDG]RQHQLH]DOH*QLH3LHUZV]\HWDSWRRV]DFRZDQLHSDUDPHWUyZ]DGD]DVWosowanych w sprawdzianach 2003, 2004 i 2005 r. z wykorzystaniem testek kotwi- F]F\FKL7HVWNDNRWZLF]FDE\áDWDNGREUDQDDE\GREU]HUe- SUH]HQWRZDáDVSUDZG]LDQ\L 2004 r., natomiast testka 2005 sprawdziany 2003 i 2005 r.

12 114 Henryk Szaleniec Rys. 4. Procedura zrównywania wyników sprawdzianu 2005 i 2004 r. do 2003 r. 'UXJLHWDSWRRV]DFRZDQLHUy*QLFUHGQLHMZDUWRFLSR]LRPXRVLJQLüGOD populacji szóstoklasistów w kolejnych latach: 2003, 2004 i Do analizy wy- EUDQRMHGQDNRZHSUyE\ORVRZHXF]QLyZND*GDSRSU]\SDGNyZ]SRSXOacji szóstoklasivwyzslv]f\fkznd*g\p]dqdol]rzdq\fkodwdunxsz standardowy A1. Na tym etapie analizy sprawg]ldq\]srv]f]hjyoq\fkodwvwdqrzlá\srgwhvw\ MHGQHJR SRáF]RQHJR WHVWX NWyUHJR SDUDPHWU\ ]DGD ]RVWDá\ Z\NDOLEURZDQH w WHQVSRVyEDE\UHGQLDSRáF]RQHJRWHVWXE\áDUyZQD:]DVWRVRZDQHMDQDOizie regresjl]plhqqqlh]doh*qe\ádzlhonrüpdmfdwu]\ndwhjrulhrnuhodmfh kolejno populacje szóstoklasistów 2003, 2004 i 2005 r. 5. Pierwszy etap analizy V]DFRZDQLHSDUDPHWUyZ]DGD 'RRV]DFRZDQLDSDUDPHWUyZ]DGDWZRU]F\FKVSUDZG]LDQ\QD]DNRF]HQLH klas VI w trzech kolejnych latach wykorzystano próby celowe uczniów klas V (2004 i 2005 r.) piv]f\fk WHVWNL NRWZLF]FH RUD] SUyE\ XF]QLyZ Z\ORVRZDQH z SRSXODFMLSLV]F\FKDUNXV]VWDQGDUGRZ\$ZWU]HFKNROHMQ\FKODWDFK'RSo- ZL]DQLD SDUDPHWUyZ ]DGD ]DVWRVRZDQR GZLH WHVWNL NRWZLF]FH ]DVWRVRZDQH wobec prób celowych uczniów klasy V w 2004 i w 2005 r. Obydwie testki zawie- UDá\UyZQLH*ZVSyOQH]DGDQLDNRWZLF]FH: F]FLUHSUH]HQWXMFHMVSUDZG]LDQ UUy*QLá\VLW\ONRQD]DGD : ]DGDQLDFK UR]ZLQLWHM RGSRZLHG]L Z\PDJDMF\FK Z\NRQDQLD ZLHOX F]\QQRFLMDNR]DGDQLHWHVWRZH]GHILQLXMHP\UyZQLH*F]\QQRüNWyUDZ\PDJDáD RGUEQ\FKG]LDáDL GODNWyUHMRNUHORQHE\á\NU\WHULDSXQNWowania. W ten sposób np. dla zadania 22. w sprawdzianie z 2003 r. szacowane b\ársdudphwuyzprf\ Uy*QLFXMFHMLSDUDPHWUyZWUXGQRFLF]\OLGODND*GHMF]\QQRFLNWyUDE\áDRFeniana w uczniowskim rozzl]dqlx 3U]\ WDNLP UR]XPLHQLX ]DGD VSUDZG]LDQ\ z 2003 i 2004 r. zawieraá\sr]dgddvsudzg]ldq]u ]DGD7HVWki NRWZLF]FH ]DSHZQLDMFH SRZL]DQLH ]H VRE VSUDZG]LDQyZ ]DZLHUDá\ RGSo- ZLHGQLRSRL]DGD 6SUDZG]LDQ\]WU]HFKNROHMQ\FKODWáF]QLHWZRU]QDU]G]LHGRVSUDZG]DQLD F]\QQRFL GDMF PR*OLZRü X]\VNDQLD PDNV\PDOQLH SNW =JRGQLH z SU]\MW QD X*\WHN WHJR DUW\NXáX GHILQLFM SRZLHP\ *H REHMPXM ]agd.d*g\ ] XF]QLyZ NWyUHJR Z\QLNL EUDQH E\á\ SRG XZDJ UR]ZL]\ZDá W\ONR F]ü ] W\FK ]DGD ]DZDUW\FK Z MHGQ\P ] SLFLX DUNXV]\ VSUDZG]LDQyZ OXE

13 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników testek. Zarówno sprawdziany z kolejnych lat, MDN L WHVWNL LPR*HP\ ZVSyOQLH QD]\ZDü SRGWHVWDPL GX*HJR WHVWX REHMPXMFego zadania z trzech sprawdzianów. 5\VXQHN6WUXNWXUDSRáF]RQHJR]WU]HFKVSUDZG]LDQyZWHVWX]Z\NRU]ystaniem dwóch testek NRWZLF]F\FK]DVWRVRZDQ\FKGR]UyZQ\ZDQLD KD*G\] SRGWHVWyZ E\á UR]ZL]\ZDQ\ SU]H] Uy*QH JUXS\XF]QLyZ.D*G\ XF]HPLDáZ\QLNLMDNLHRWU]\PDáZ swoim podwhflhrud]rsxv]f]hqldgod]dgd z SRGWHVWyZZNWyU\FKQLHXF]HVWQLF]\á W tab. 2. przedstawiona jest struktura odpowiedzi uczniowskich na tesw]áo- *RQ\ ] ]DGD ]DZDUW\FK Z DUNXV]DFK VSUDZG]LDQyZ L U 8F]QLRZLH NWyU]\ SLVDOL VSUDZG]LDQ ZUPDMZ\QLNLGODSLHUZV]\FK ]DGDSRGF]DVJG\GODSR]RVWDá\FKPDMRSXV]F]HQLDDQJmissing) zazna- F]RQHF\IU6]yVWRNODVLFL, którzy pisali sprawdzian w UPDMRSXV]F]enia w pierwszych 39 zagdqldfksrqlhzd*]dgdqldvsudzg]ldqxu]df]\qdm VLRGSR]\FMLGRGODNWyU\FKZ\VWSXMZ]ELRU]HGDQ\FKLFKRGSRZLe- G]LOXE5yZQLH*GOD]aGDRGGRZLG]LP\F\IU\V\PEROL]XMFH RSXV]F]HQLD 3LWRNODVLFL ] U NWyU]\ SLVDOL WHVW UHSUH]HQWXMF\ ]DGDQLD z RE\GZXVSUDZG]LDQyZPDMOXEGOD]DGDZLFKWHFLHDGODSR]RVWDá\FK RSXV]F]HQLD]D]QDF]RQHG]LHZLWNDPL3RGREQLHZUHNRUGDFKGDQ\FK ze spraw- G]LDQX U GOD SLHUZV]\FK ]DGD ]DGDQLD VSUDZG]LDQX L U REVHUZXMHP\RSXV]F]HQLDR]QDF]RQHF\IULZDUWRFLV\PEROL]XMFHNRG\Rd- SRZLHG]LGODRVWDWQLFK]DGD: UHNRUGDFK]DZLHUDMF\FK]DSLVRGSRZLHG]L SLWRNODVLVWyZ]05 r. obserwujemy kody odpowieg]lgod]dgdwhvwnl]u (podtesty 2003 i 2005) i V\PEROHRSXV]F]HGODSR]RVWDá\FK]DGD

14 116 Henryk Szaleniec 7DE6WUXNWXUDRGSRZLHG]LXF]QLRZVNLFKQD]DGDQLDSRáF]RQHJRWHVWX zad Sprawdzian Sprawdzian Testka kl. V Testka kl. V Sprawdzian Sprawdzian Sprawdzian Sprawdzian Testka kl. V Testka kl. V Z tak zestawionej struktury ddq\fkqlhnrpsohwq\fk]dzlhudmf\fkrsxvz- F]HQLDGODND*GHJRXF]QLDSRVWDUDP\VLRV]DFRZDüSDUDPHWU\PRFUy*QLFXMF LWUXGQRüZV]\VWNLFK]DGDWZRU]F\FK-zadaniowy test. 7DE&KDUDNWHU\VW\NDSUyE]DVWRVRZDQ\FKGRV]DFRZDQLDSDUDPHWUyZ]DGD populacja rodzaj próby ZLHONRü próby zastosowane QDU]G]LD QXPHU\]DGDZ SRáF]RQ\P WHFLH V]yVWRNODVLFL losowa 1836 sprawdzian V]yVWRNODVLFL losowa 1836 sprawdzian SLWRNODVLFL losowa 1836 testka ,8,10-12,14,15,17, 20, 22-26,28-37, 41-43, 45-47, 52-54,56-67,73-77 V]yVWRNODVLFL losowa 1836 sprawdzian SLWRNODVLFL losowa 1836 testka , 7, 10-12,14,15, 17,20,22-26,28-37, 80-84,87,88,90,91,93,94,96, , , 'RMHGQRF]HVQHJRRV]DFRZDQLDSDUDPHWUyZ]DGDLXPLHMWQRFLXF]QLyZ ]DVWRVRZDQR ZVSRPQLDQ\ MX* ZF]HQLHM SURJUDP NRPSXWHURZ\ 23/0 W SLHUZV]\P NURNX RV]DFRZDQR ZVWSQH SDUDPHWU\ ]DGD ]anádgdmf VWDá i UyZQPRFUy*QLFXMF]DGDa = 1). W drugim kroku oszacowano parametry PRF\ Uy*QLFXMFHM ]DGD WDN DE\ ZDUWRFL HPSiryczne, proporcje poprawnych RGSRZLHG]L GOD Z\Uy*QLRQ\FK ]H Z]JOGX QD SR]LRP XPLHMWQRFL JUXS XF]QLyZE\á\QDMEDUG]LHM]JRGQH]NU]\Z\PLFKDUDNWHU\VW\F]Q\PL]DGDRSLVu- MF\PLSUDZGRSRGRELHVWZRSRSUDZQHMRGSRZLHG]L:NROHMQ\PNURNXGRNRQa- QR DQDOL]\ NU]\Z\FK FKDUDNWHU\VW\F]Q\FK GOD SRV]F]HJyOQ\FK]DGD NRWZLF]cych dla populacji szóstoklasistów i uczniów klas V. Rys. 6. przedstawia krzywe FKDUDNWHU\VW\F]QH]DGDZUD]] zaznaczeniem punktów empirycznych. 3U]\MU]\MP\VLWHUD]SU]\NáDGRPWHRUHW\F]Q\FKLHPSLU\F]Q\FKNU]\Z\FK FKDUDNWHU\VW\F]Q\FKGOD]DGDZVSyOQ\FK]DVWRVRZDQ\FKZPRGHOX1DRVLSoziomej wykresów przedstawiona jest skala WKHWDZVSyOQDGODWUXGQRFL]DGD i SR]LRPX XPLHMWQRFL XF]QLyZ 1D RVL SLRQRZHM PDP\ SUDZGRSRGRELHVWZR poprawnej odpowiedzi na zadanie od 0 do 1. Pogrubiona krzywa przedstawia RV]DFRZDQH QD SRGVWDZLH PRGHOX &0/ SUDZGRSRGRELHVWZR XG]LHOHQLD So-

15 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników prawnej odpowiedzi przez uczniów o danym SR]LRPLH XPLHMWQRFL EDGDQ\FK sprawdzianem. Krzywe zaznaf]rqh MDQLHMV] OLQL Z\]QDF]DM REV]DU - SURFHQWRZHJRSR]LRPXXIQRFL3XQNW\]D]QDF]RQHQDZ\NUHVDFKSU]HGVWDZLDM dane empiryczne (zaobserzrzdqd WUXGQRü ]DGD Z 8 grupach, na które ze Z]JOGXQDSR]LRPXPLHMtQRFL]RVWDáDSRG]LHORQDSUyEDXF]QLyZ-DNPR*QD ]DXZD*\ü QD SRGVWDZLH U\VXQNX URzNáDG SR]LRPX XPLHMWQRFL SLWRNODVLVWyZ EDGDQ\FK W\PL ]DGDQLDPL SU]HVXQLW\ MHVW Z NLHUXQNX QL*V]\FK XPLHMWQRFL w stosunku do uczniów klasy VI. Populacja szóstoklasistów 2003 zadanie 10. (10) 3RSXODFMDSLWRNODVLVWyZ zadanie 10. (10) Populacja szóstoklasistów 2004 zadanie 17. (58) 3RSXODFMDSLWRNODVLVWyZ zadanie 17, (58) Rys. 6. Krzywe charakterystyczne zadania 10. ze sprawdzianu 2003 r. i zadania 17. ]HVSUDZG]LDQXU-DQLHMV]\PLOLQLDPL]D]QDF]RQRREV]DU-procentowego SUDZGRSRGRELHVWZD]JRGQRFLZ\QLNyZHPSiU\F]Q\FK]NU]\ZWHRUHW\F]Q -HGQDN SRGVWDZRZ LQIRUPDFM NWyU PR*HP\ RGF]\WDü ] Z\NUHVyZ MHVW dobre dopasowanie modelu do opisu zaobserwowanych danych empirycznych. 1LHZV]\VWNLH]DGDQLD]DVWRVRZDQHGRSRZL]DQLDDUNXV]\]WU]HFKVSUDZG]Lanów tak dobrze opiv\zdqhvsu]h]prgho'odzlnv]rfl]dgdgrsdvrzdqlh PRGHOXMHVWZ\VWDUF]DMFHDE\QLHXVuZDüLFK]DQDOL]\V]F]HJyOQLH*HPRGHO QLHMHVW]E\WF]Xá\QDQLeZLHONLHRGVWSVWZDRGWDNLHMVDPHMPRF\Uy*QLFXMFHM ]DGDZSRSXODFMLNODV9L9, Zadanie 15. w sprawdzianie 2005 r. jest zadaniem wielokrotnego wyboru. Jest wielfh SUDZGRSRGREQH*H XF]QLRZLH R QDMQL*V]\P SR]LRPLH XPLHMWQRFL X]\VNDOLZ\*V]\Z\QLNRGSU]HZLG\ZDQHJRQDVNXWHN]Jadywania.

16 118 Henryk Szaleniec Populacja szóstoklasistów 2005 zadanie 15. (93) 3RSXODFMDSLWRNODVLVWyZ zadanie 15. (93) 5\V3U]\NáDG]DGDQLDZNWyU\PSLWRNODVLFLRQDMQL*V]\PSR]LRPLH XPLHMWQRFLRVLJQOL]QDF]QLHZ\*V]\Z\QLNRGSU]HZLG\ZDQHJR na podstawie zastosowanego modelu -H*HOL]JRG]LP\VL*H]DVWRVRZDQ\PRGHODQDOL]\GREU]HRSLVXMHGDQHHPpiU\F]QH GOD SUyE ] SRSXODFML XF]QLyZ ELRUF\FK XG]LDá Z ]UyZQywaniu, to PR*HP\SU]\MU]HüVLZ\QLNRPWHVWXXWZRU]RQHJR]DUNXV]\L Rys. 7. przedvwdzld UHODFMH SRPLG]\ VNDO Z\QLNyZ VXURZ\FK RG GR a UH]XOWDWHPZ\UD*RQ\PZSU]HG]LDáRZHMVNDOLWKHWD]HUHGQL6NDOLNWyUDMHVW wspólna dla poziomu umiemwqrflxf]qlyzlgodwuxgqrfl]dgd :RVWDWQLPF]ZDUW\PNURNXWHMDQDOL]\SRXVWDOHQLXSDUDPHWUyZPRF\Uy*- QLFXMFHM ]DVWRVRZDQR PHWRG &0/ ZDUXQNRZH PDNVLPXP SUDZGRSRGRELH- VWZDGRRV]DFRZDQLDWUXGQRFL]DGD Tab. 4. Oszacowane parametr\]dgd ZVND(QLNPRF\Uy*QLFXMFHMa i WUXGQRFL]DGDb SU]\V]DFRZDQLXSDUDPHWUyZ]DGDZVND(QLNPRF\Uy*QLFXMFHM ]RVWDáXQRUPRZDQ\GRUHGQLHMJHRPHWU\F]QHMJ Identyfikator zadania 3DUDPHWU\]DGD trudqrül moc Uy*QLFXMFD PrzeskalowaneSDUDPHWU\]DGD áf]qlh w sprawdzianie a b a/g b*g 1 w_ w_ w_ i_25_ i_25_ i_25_ Podsumowanie pierwszego etapu analizy $QDOL]D UH]XOWDWyZ]DPLHV]F]RQ\FK Z SRQL*V]HM WDEHOL SR]ZDOD]DXZD*\ü ni*v] ZDUWRü U]HWHOQRFL VSUDwdzianu 2005 r. w stosunku do sprawdzianu w SRSU]HGQLFKODWDFK0R*QDSUyERZDüWRZ\MDQLüHIHNWHPSXáDSXVSRZRGRZa-

17 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników nym fakwhp*hwhvwe\ázw\purnxádwzlhmv]\z stosunku do poprzednich lat, co zmniejv]\árzduldqfmz\qlnyz Tab. 5. Charakterystyka wynikyzx]\vndq\fk]dsrprfwhvwyzlwhvwhn zastosowanych do zrównania Opis statystyczny Sprawdzian Uczniowie klas V Liczba obserwacji UHGQLDGODWKHWD 0,295 0,321 0,327 0,153 0,156 Wariancja dla oszacowanej ZDUWRFLWKeta Wariancja dla prawdziwej warto- FLWKHWD 0,106 0,103 0,090 0,084 0,072 0,087 0,90 0,071 0,77 0,065 5]HWHOQRü 0,825 0,878 0,792 0,918 0,904 Korelacja punktów surowych i oszacowanej warwrflwkhwd 0,953 0,985 0,942 0,992 0,978 ZastosRZDQ\ PRGHO SRPLDUX SR]ZROLá RV]DFRZDü UHODFMH SRPLG]\ ]DGa- QLDPL]DVWRVRZDQ\PLGRSRPLDUXDQLHREVHUZRZDOQ ]PLHQQ ž MDNMHVWSoziom XPLHMWQoFLEDGDQ\FKZVSUDZG]LDQLH %XGRZDQLHEDQNX]DGDGODVSUDZG]LDQX :\NDOLEURZDQHSDUDPHWU\]DGDSRáFzonego sprawdzianu z trzech lat zo- VWDá\ZSURZDG]RQHGREDQNX]DGD]Z\NRU]\VWDQLHPRSURJUDPRZDQLDNRPSuterowego FastTest opracowanego przez Assessment System Corporation. Na VWUXNWXUEDnNXVNáDGDVLWUHü]DGDQLDRUD]PHWU\F]NDND*GHJR]DGDQLDNWyUD REHMPXMHLGHQW\ILNDWRU]DGDQLDSU]\MWR]JRGQLH]R]QDF]HQLDPLZSRáF]onym WHFLH SRUU\VDXWRUDSU]\MWR&.(RSLVW\SX]DGDQLDSDUDPHWU\]adania ]JRGQH ],57 WUXGQRü b L PRF Uy*QLFXMF a SDUDPHWU\ ]DGD ]JRGQH z NODV\F]QWHRULWHVWXáDWZRüpPRFUy*QLFXMFZ\UD*RQZVND(QLNLHPr pb ). %DQNPR*HE\üV\VWHPDW\F]QLHUR]EXGRZ\ZDQ\SRSU]H]HPSLU\F]QH]DVWRVRZa- QLHWHVWyZNWyU\FK]DGDQLDNRWZLF]FHPRJVWDQRZLüMX*Z\NDOLEURZDQH]DGania ze sprawdzianów RQVWUXXMFWHVW]Z\NDOLEURZDQ\FK]DGD]EDQNXPR*QDOHSLHMQL*WRPD PLHMVFHZGRW\FKF]DVRZHMSUDNW\FHSU]HZLG]LHüSDUDPHWU\NROHMQ\FKVSUDZG]La- QyZ 5R]EXGRZDQLH EDQNX ]DGD GR UR]PLDUyZ NWyUH SR]ZRO QD SUDNW\F]QH wykorzystanie go do tworzenia nowych arkuszy, wymaga systematycznego budowania i przeprowadzania testów w pogreq\ VSRVyE MDN PLDáR WR PLHMVFH w przypadku testek 2004 i -HVW WR GX*H L F]DVRFKáRQQH SU]HGVLZ]LFLH NWyUHMHGQDNMX*Z QDMEOL*V]\PF]DVLHSRZLQQRVWDüVLVWDáSUDNW\NZFHQWUDlnej i RNUJRZ\FK NRPLVMDFK HJ]DPLQDF\MQ\FK =QDMRPRü NV]WDáWX NU]\ZHM Lnformacyjnej dla arkusza egzaminacyjnego ma szczególne znaczenie na poziomie

18 120 Henryk Szaleniec egzaminów maturalnych 5 3RZLQQDRQDRVLJDüVZRMHPDNVLPXPZDUNXV]DFKQD poziom podstawowy dla θ RGSRZLDGDMFHJRSrogowi zaliczenia (30% punktów), SRQLHZD*EáGVWDQGDUGRZ\SoPLDUXRVLJDZWHG\VZRMHPLQLPXP Metryczka zadania w banku 3U]HZLG\ZDQDZLHONRüEáGXVWDQGDUGRZHJR GODZ\QLNyZXF]QLyZRUy*Q\PSR]LRPLH XPLHMWQRFLSLV]F\FKSRáF]ony test Zale*QRüSRPLG]\SR]LRPHPXPLHMtQRFL a spodziewanym procentem punktów ]DSRáF]ony test Krzywa informacyjna wygenerowana GODSRáczonego testu 5\V&KDUDNWHU\VW\NLWHVWXZ\JHQHURZDQHJR]Z\NDOLEURZDQ\FK]DGD znajdujf\fkvlzedqnx 7. Oszacowanie zpldqsr]lrpxrvljqlüv]yvwrnodvlvwyz na podstawie wyników sprawdzianu $E\XVWDOLüUy*QLFHSRPLG]\ZVND(QLNDPLRVLJQLüXF]QLyZPLHU]RQ\FK VSUDZG]LDQHP Z NROHMQ\FK ODWDFK ]DVWRVRZDQR VWUXNWXUDOQ DQDOL] UHJUHVML zmiennej latenntnej (ang. Structural Analysis of Univariate Latent Variable) i programu komputerowego SAUL opracowanego w CITO przez N.D. Verhelsta i H.H.F.M. Verstralen. =DVWRVRZDQ\ SRSU]HGQLR PRGHO SRPLDUX SR]ZROLá RV]DFRZDü UHODFMH So- PLG]\ ]DGDQLDPL ]DVWRVRZDQ\PL GR SRPLDUX a nieobserwowalq ]PLHQQθ} 5 Szaleniec H.,.U]\ZDLQIRUPDF\MQD]DGDMDNRQDU]G]LHZNRQVWUXRZDQLXDUNXV]DHJ]DPLQacyjnego >Z@ % 1LHPLHUNR - %U]GN UHG Dwa rodzaje oceniania szkolnego. Ocenianie ZHZQWU]V]NROQH L ]HZQWU]QH D MDNRü V]NRá\ mateuldá\ 9,, RJyOQRSROVNLHM NRQIHUHQFML z cyklu Diagnostyka Edukacyjna, Katowice 2002.

19 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników MDNMHVWSR]LRPXPLHMWQRFLEDGDQ\FKZVSUDZG]LDQLH0RGHOVWUXNWXUDOQ\So- ]ZDODQDRV]DFRZDQLHUHODFMLSRPLG]\]PLHQQθ a innymi zmiennymi, takimi jak np.: popuodfmh XF]QLyZ NRF]F\FK V]NRá SRGVWDZRZ ORNDOL]DFMD V]Nyá ZLHONRü V]Nyá VWRVRZDQH SURJUDP\ QDXF]DQLD LWS $E\ RV]DFRZDü UHODFM So- PLG]\ SR]LRPHP RVLJQLü EDGDQ\FK VSUDZG]LDQHP ]PLHQQD ]DOH*QD θ) a ]PLHQQ QLH]DOH*Q MDN V SRSXODFMH V]yVWRNODVLVWyZ Z kolejnych trzech latach, potrzeexmhp\qdzhmflxgzóch zbiorów danych: 1) SDUDPHWUyZ]DGD]DVWRVRZDQ\FKZNROHMQ\FKODWDFKZ\UD*RQ\FKMDNRZynik prawdziwy (wynik zaobserwowany EáG SRPLDUX SU]HGVWDZLonych w tej samej skali, 2) liczb punktów uzyskanych przez poszczególnych uczniów za te zadania w kolejnych populacjach. 0RFQVWURQWDNLHJRSRGHMFLDMHVWPR*OLZRü]DVWRVRZDQLDRV]DFRZDQ\FK áf]qlh GOD DUNXV]\ SDUDPHWUyZ ZV]\VWNLFK ]DGD ']LNL WHPX*HPRGHOSRPLDURZ\LPRGHOVWUXNWXUDOQ\VUR]VHSDURZDQHSUyEDVWRVowana do oszacowaniduhodfmlsrplg]\sr]lrphpxplhmwqrflv]yvwrnodvlvwyz a trzema kawhjruldpl]plhqqhmsrsxodfmdpr*hvluy*qlürg próby stosowanej do kalibrafml]dgd 1S PR*QD]DVWRVRZDü Z\QLNL QLH W\ONR z próby, ale i z FDáHMSRSXODFML0R*QDWH*Z\EUDüGRDQDOL]Z\QLNLMHGQHJRZo- MHZyG]WZDF]\WH*MHGQHMNRPLVMLHgzaminacyjnej. 8MHPQVWURQWDNLHJRSRGHMFLDMHVWLJQRURZDQLHEáGXRV]DFRZDQLDSDUa- PHWUyZ]DGDJG\*SDUDPHWU\WHVSU]HND]\ZDQHZSRVWDFLZ\QLNXSUDZG]LZego oszacowanego w programie OPLM. 'R DQDOL]\ Z\EUDQR NUDMRZ SUyE ORVRZ UyZQ SR 000 uczniów z SRáF]RQHM SRSXODFML V]yVWRNODVLVWyZ SLV]F\FK DUNXV] VWDQGDUGRZ\ $ZOatach 2003, 2004 i :V]\VWNLHHIHNW\VNRPXQLNRZDQHZWDNLHMVNDOL*HUHGQLDJHRPHWU\F]QD PRF\Uy*QLFXMFHMMHVWUyZQD VWDáDadditive parameter) = 1,1556 (SE = 0,0127; z = 91,153) wariancja sprawdzianu 2003 (reference variance) = 1,4320 (SE = 0,0141) odchylenie standardowe 2003 (ref. stand. dev.) = 1,1966 (SE = 0,0059) Populacja sprawdzianu Tab. 6. EfHNWJáyZQ\GOD]PLHQQHMSRSXODFMDVSUDZG]LDQX Efekt SE n z :LHONRüHIHNWX standardowego 2003 ustalony na ,092 0, ,190 0, ,160 0, ,760 0,133 Kontrast parami ,067 0,018 3,718 0,056

20 122 Henryk Szaleniec 'RRV]DFRZDQLDLVWRWQRFLUy*QLFSR]LRPXRVLJQLüZ kolejnych latach zastosowano test t 6WXGHQWD2E\GZLHUy*QLFHZVWRVXQNXGRUVLVWRWQHQD po]lrplhlvwrwqrflθ 5y*QLFHSRPLG]\ODWDPLLMHVWLVWRWQD dla θ 0,05. 5\V(IHNWVWDQGDUGRZ\SU]\URVWXXPLHMWQRFLPLHU]RQ\FKVSUDZG]LDQHP w latach 2003 ]XZ]JOGQLHQLHPUR]ZDUVWZLHQLD]HZ]JOGXQDSáHü 3R]RVWDMH QDP WHUD] RGSRZLHG]LHü QD S\WDQLH F]\WHUy*QLFHV]QDF]FH Do tego potrzebna jest nam jednostka pomiarowa mierzonego efektu. W tym SU]\SDGNX]DMHGQRVWNSRPLDURZSU]\MWRRGFK\OHQLHVWDQGDUGRZHDQDOL]RZanej zmiennej podstawowej, które wynosi 1,1966. Ostatnia kolumna tab. 6. podaje ZLHONRüHIHNWXVWDQGDUGRZHJRGODSRSXODFMLL Podsumowanie 2V]DFRZDQD Uy*QLFD RVLJQLü EDGDQ\FK VSUDZG]LDQHP SRPLG]\ i 2004 r. wynosi prawie 7,7% odchylenia standardowego sprawdzianu 2003 r., a SRPLG]\LU 5,6% odchylenia standardowego. Oszacowany przy- URVWSR]LRPXRVLJQLüHIHNWVWDQGDUGRZ\SRPLG]\SRSXODFMDPLL to 13,3% odchylenia standardowego. &]\MHVWWRGX*\SU]\URVW" Trudno powie- G]LHü : kraju nie map\ *DGQHJR XNáDGX RGQLHVLHQLD :\QLN WHQ MHVW Z\VRFH ]ELH*Q\ ] UH]XOWDWHP MDNL RWU]\PDá SURI 1LHPLHUNR VWRVXMF HNZLFHQW\ORZ PHWRG]UyZQ\ZDQLD 6. Z ZQLRVNRZDQLHPRVWDá\PWUHQG]LHZ VNDOLFDáHJRNUDMX PXVLP\E\üMHGQDNEDUG]RRVWUR*QL'\VSRQXMHP\Z\QLNDPLGopiero z czterech ODW$QDOL]XMF]PLDQ\SR]LRPXRVLJQLüV]yVWRNODVLVWyZZ dwóch warstwach 6 Niemierko B., Zrównywanie wyników sprawdzianu , op. cit.

21 Wykorzystanie probabilistycznych modeli zadania testowego do zrównywania wyników FKáRSF\ dzihzf]wd]drevhuzrzdqrlvwrwqhuy*qlfhzg\qdplfhrv]dfrza- Q\FK]PLDQRVLJQLüZSRV]F]HJyOQ\FKZDUVWZDFK'ODFKáRSFyZ]DREVHUZo- ZDQRVáDEV]\SU]\URVWSRPLG]\LU efekt standardowy wynosi 5,4% LZLNV]\SRPLG]\LU2GSRZLHGQLRGODG]LHZF]WRV]D- FRZDQ\SU]\URVWZ\QRVLSRPLG]\LU3RPLG]\VSUDZG]La- QDPLLURV]DFRZDQDUy*QLFDGODG]LHZF]WZ\QRVLLMHVWQLeistotna statystycznie. W UR]ZD*DQ\PRNUHVLHG]LHZF]WDRVLJDá\Z\*V]HZ\QLNL i oszacowany efekt standardowy porównania wyników w warstwach wynosi 3UREOHPDW\NDWDZ\PDJDGDOV]\FKSRJáELRQ\FKEDGDMDNL rozszerzenia ich na poziom gimnazjalny. Zastosowanie mewrged]xmf\fkqdsuredelolvw\f]qhm WHRULL]DGDQLDGDMHGX*HPR*OLZRFLSURZaG]HQLDSRJáELRQ\FKDQDOL]NWyUHPR- JLVWRWQLHX]XSHáQLDüDQDOL]\SURZadzone z wykorzystaniem klasycznej teorii. :\PDJDM RQH MHGQDN EDUG]LHM U\JRU\VW\F]QeJR SU]HVWU]HJDQLD ZLHOX ]DáR*H NWyUHOH*XSRGVWDZNRQVWUXRZDQLDDUNXV]\HJ]DPLQDF\jnych.