Metody szacowania edukacyjnej wartoci dodanej

Transkrypt

1 Mace Jakubowsk 1 Metody szacowana edukacyne wartoc dodane 1. Defnca zastosowane wartoc dodane Defnca wartoc dodane. Warto dodan szkoły mona zdefnowa ako przectn wzrostu umetnoc wedzy ucznów do ne uczszczacych w danym okrese czasu. O le ma to by wskank akoc pracy szkoły, to w okrelonych przypadkach warto dodan naleałoby kalkulowa po wyłczenu czynnków warunkucych przyrost wedzy, na które szkoła ne moe me wpływu, w tym róne prdkoc pozyskwana wedzy przez ucznów oraz obektywnych warunków nauczana dane placówk. Warto dodan nauczycela mona zdefnowa ako mar wpływu ego pracy na wzrost umetnoc wedzy podlegacych mu ucznów po wyłczenu czynnków warunkucych przyrost ch wedzy, na które szkoła nauczycel ne mog me wpływu. Wyłczene wszystkch tych czynnków est bardzo trudne. Kluczowy est tu take problem rozdzelena wpływu szkoły od wpływu nauczycel. Nauczycele stanow bowem o charakterze szkoły ch praca ma wpływ ne tylko na ucznów, z którym pracu, ale moe me wpływ na wszystkch ucznów w szkole. W metodach przedstawonych pone warto dodana szkoły oblczana est na podstawe rónc mdzy rzeczywstym a oczekwanym wynkam ucznów do ne uczszczacych. Kluczowym problemem est tu oszacowane oczekwanego wynku uczna celem te pracy est dokonane przegldu metod, które mog by w tym celu wykorzystane w kontekce egzamnów zewntrznych systemu szkolnctwa w Polsce. Warto te zauway, e cho w tekce skupam s na lczenu edukacyne wartoc dodane (dale EWD) dla szkoły, to wszystke metody mog by take wykorzystane do wykonana podobnych oblcze dla klasy lub nne, dowolne zdefnowane grupy ucznów. 1 Wydzał Nauk Ekonomcznych, Unwersytet Warszawsk, emal: makubowsk@uw.edu.pl, tel

2 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane Zastosowane wartoc dodane a metody e szacowana. Metody szacowana edukacyne wartoc dodane (dale EWD) rodza wymaganych danych musz by podporzdkowane temu, ak charakter nformac ma tworzy kto bdze e odborc. Warto dodana moe przede wszystkm słuy ako nformaca o: A. Efektach pracy szkoły skerowana do rodzców. B. Efektach pracy szkoły skerowana do organów prowadzcych lub nadzoru pedagogcznego. C. Efektach pracy nauczycel skerowana do organów prowadzcych lub nadzoru pedagogcznego. W przypadku A warto dodana pownna by lczona dla całe placówk, bez wyłczana wpływu zasobów szkolnych (zarówno materalnych, ak np. składu społecznego szkoły), bowem z punktu wdzena rodzców nteresucy est całocowy, potencalny wpływ dane placówk na wzrost wedzy ch dzecka. Ze wzgldu na to, szacowane wartoc dodane dla rodzców nakłada namnesze wymagana co do skomplkowana model zakresu nezbdnych danych. Jednak sposób podawana nformac o wartoc dodane pownen uwzgldna rón e welko w zalenoc od pozomu uczna lub te okrela w akm przedzale umetnoc ucznów warto dodana dane szkoły została wypracowana (por. Meyer, 1997). Zupełne nne wymagana nakłada szacowane wartoc dodane celem oceny efektów pracy szkoły przez organy prowadzce lub nadzoru pedagogcznego. W tym przypadku celowe est uwzgldnene zarówno zasobów materalnych dostpnych szkole, ak rodowska w akm ona pracue. Jel szkoły znaczco rón s np. baz materaln ma ona wpływ na osgnca ucznów, to e neuwzgldnene w modelu powodue, e placówk z lepsz baz uzysku dodatkowy bonus. Cho badana pokazu, e wpływ bazy materalne est znkomy (por. Hanushek, 2003), to u np. wpływ składu społecznego szkoły moe by znaczcy (por. Hoxby, 2000; Markman, 2003). Jednak wc ne wemy dokładne akego rodzau est to zaleno, ake cechy otoczena społecznego uczna wpływa na ego wynk czy dla wszystkch grup ucznów zwzek ten ma podobny charakter (por. Wlknson n., 2000; Kutnck n., 2005). Powysza dyskusa wskazue na dwa kluczowe problemy przy szacowanu wartoc dodane celem oceny akoc pracy szkół:

3 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 3 a) braku danych - zarówno ze wzgldu na koszty ch pozyskana, ak trudnoc pomaru; b) braku teoretyczne empryczne potwerdzone wedzy na temat czynnków wpływacych na wzrost wedzy uczna (warunkucych proces nauczana). Problem braku danych dotyczy wszystkch kraów. Ne zawsze est on zwzany z nedorzałoc systemu danych owatowych (ak np. w Polsce) lub wysokch kosztów ego utrzymana. Czsto dane nezbdne do precyzynego oszacowana wartoc dodane ne mog by zberane lub wykorzystywane ze wzgldu na ch poufno (dane osobowe) lub te ze wzgldów społecznych (np. zamono) poltycznych (np. rasa, narodowo). Dodatkowo, wane czynnk warunkuce osgnca edukacyne ucznów, take ak ch talent, motywaca do pracy lub te zaangaowane rodzców, s trudne lub wrcz nemolwe do systematycznego merzena. W przypadku model szacucych warto dodan, podobne ak w przypadku wkszoc neeksperymentalnych bada owatowych, mamy zazwycza do czynena z problemem endogencznoc zmennych w modelu 2. Równoczene, szacowane wartoc dodane utrudna brak potwerdzone empryczne wedzy dotyczce czynnków warunkucych osgnca wzrost wedzy ucznów. Weloletne wysłk bada owatowych ne doprowadzły do zgody nawet co do sły wpływu czynnków rodznnych uczna, ne mówc o wpływe zasobów edukacynych (por. Hanushek, 2003). Powodue to, e ne do koca wadomo, akch zmennych pownno s uy w modelach wartoc dodane. Ne wadomo te ake dane pownno s zbera, co przy znacznych kosztach trudnocach w ch kolekconowanu utrudna rozwó systemu oceny szkół. Dodatkowo, badana empryczne prowadzone s naczce dla danych z USA, co ze wzgldu na odmenno kontekstu kulturowego oraz brak warygodnych bada locowych na danych kraowych rodz oczywste problemy w kraach takch ak Polska. Wszystko to powodue, e wele osób podwaa zasadno wykorzystywana wartoc dodane ako narzdza oceny akoc pracy szkoły powzanego z systemem nagród kar, tak ak to ma mesce w nektórych stanach USA (por. Meyer 1997). Jeszcze trudneszym zadanem, a w zwzku z tym rodzcym wksze wtplwoc, est wykorzystane wartoc dodane dla oceny pracy nauczycel. Przede wszystkm przy takm 2 Endogenczno w tym kontekce oznacza pozorny zwzek mdzy wartoc dodan a zmennym kontrolnym wynkacy ze skorelowana tych zmennych z cecham ne uwzgldnonym w modelu. Inacze mówc zmenne uwzgldnone zwzane s ze zmennym pomntym, które oddzaływa na zmenn zalen, przez co oszacowana współczynnków w równanu regres s błdne (por. klasyczny przykład bada nad wpływem welkoc klasy na wynk: Akerhelm, 1995; Hoxby, 2000; Jakubowsk, Sakowsk, 2005). Wce na ten temat mona znale w: Lee, 2005.

4 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 4 zastosowanu nezbdne est przypsane ucznów do poszczególnych nauczycel, co technczne ne est zadanem łatwym, szczególne el moblno ucznów pedagogów est wysoka. Rozstrzygnca wymaga kweste zarówno przypsana ucznów zmenacych klasy szkoły, ak powzana nauczycel rónych przedmotów z wynkam testów, które naczce ma charakter weloprzedmotowy. Ponadto, wpływ nauczycel est nezwykle trudny do oddzelena od wpływu szkoły ako całoc, o czym wspomnałem na wstpe. Jest to zadane bardzo trudne, bowem mamy tu do czynena z mało wymernym czynnkam, np. atmosfer szkoły, która w pewnym stopnu stanow cech całe placówk, ale zaley od stara poszczególnych osób z kadry pedagogczne. Kwest nezwykle wan est te precyza oszacowa, która w przypadku nauczycel bdze zawsze mnesza, n w przypadku szkoły, ze wzgldu na mnesz lczb obserwac. W szczególnoc, problematyczne est porównywane wartoc dodane nauczycel szkół z neweloma ucznam ze szkołam wkszym. Pewnym rozwzanem est tu szacowane wpływu nauczycel ako efektu losowego celem zmneszena ryzyka popełnena błdu (przypsana kracowo nske lub wysoke wartoc dodane). Jednak take podece est wymagace oblczenowo opera s na czasem zbyt restrykcynych załoenach teoretycznych (por. McCaffrey, 2005). Podsumowuc t dyskus, naley zauway, e mmo welu wad problemów praktycznych zwzanych z szacowanem wartoc dodane e praktycznym wykorzystywanem dla oceny akoc pracy szkół nauczycel, metody tego typu da znaczne wkszy zasób nformac n surowe wynk egzamnów. Ich wadome, ostrone stosowane, wraz z odpowednm opsem oparcem w nnych wskankach, moe wprowadza do systemu owatowego nezwykle wartocow nformac. Informac nezbdn dla rodzców decyducych o wyborze placówk, dla organu prowadzcego zarzdzacego szkołam, a take dla nadzoru pedagogcznego, dac obektywny wskank akoc pracy nauczycel szkół. Warto dodana ma te szeroke zastosowana w badanach edukacynych moe by wykorzystywana ako cenne ródło oceny poltyk owatowe, zróncowana akoc nauczana, a take ako podstawa dla programów wsperacych szkoły regony o szczególnych potrzebach.

5 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane System egzamnacyny a molwoc oszacowana wartoc dodane. Mona wyrón dwa ogólne typy systemów egzamnacynych, które zasadnczo rón s molwocam szacowana wartoc dodane (por. McCaffrey n., 2005): A. System, w którym egzamny przeprowadzane s ednokrotne na danym etape kształcena. B. System, w którym egzamny przeprowadzane s klka razy na danym etape kształcena, coroczne lub nawet czce. System typu A odpowada egzamnom zewntrznym w Polsce welu nnych kraach europeskch. Na takch systemach skupam s w tekce pone, ednak trzeba zauway, e z punktu wdzena szacowana wartoc dodane przynosz one newelk zasób nformac wyklucza bardze zaawansowane metody, molwe do zastosowana w systemach typu B, rozwanych od 20 lat w nektórych stanach USA. Zalety ogranczena systemów weloletnch omawam krótko w punkce 2.6. Tuta wska tylko, e tworz one molwo budowana welopozomowych model borcych pod uwag cek rozwou danego uczna, co pozwala ocen wzrost ego umetnoc w czase wpływ nakładów edukacynych na klku pozomach kształcena. Inn, wan cech systemów est stope zróncowana egzamnów. W nektórych kraach kolene egzamny, przynamne na okrelonym etape kształcena, merz podobne umetnoc przekładane s na edn skal pomarow. W ten sposób rónce mdzy wynkam w naturalny sposób merz wzrost wedzy uczna. Jednak w nnych kraach egzamny s na tyle róne, e ch przekładane na edn skal est trudne lub wrcz nemolwe, a rónce w pomarze sta s kluczowym problemem przy szacowanu wartoc dodane Rónce ndywdualne a warto dodana. Opsane pone metody ne pownny by wykorzystywane dla oceny wzrostu wedzy poedynczych ucznów. Naley stanowczo podkrel, e w przypadku polskch egzamnów szacowane ndywdualne wartoc dodane ucznów ne est molwe. Co prawda w trakce oblczana wartoc dodane dla szkoły wykorzystywane s rónce mdzy wynkam oczekwanym a uzyskanym przez ucznów, to ednak ch wykorzystane dla oceny przyrostu ch wedzy umetnoc est neuprawnone ze wzgldu na zbyt due znaczene błdu pomaru.

6 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 6 Zakładac, e błd ten est losowy oczekuemy, e ne bdze mał on wpływu na przectn rónc mdzy wartocam oczekwanym a rzeczywstym. Inacze mówc błdy pomaru wedzy ucznów znosz s dla odpowedno lczne grupy ne ma znaczena przy szacowanu wartoc dodane. Jednak w przypadku poedynczych ucznów stanow one kluczowy problem dla metod wykorzystucych edyne wynk z dwóch lat powodu, e ocena ndywdualnych postpów ne est molwa Krytera ocena wyboru metody szacowana wartoc dodane. Dokonane wyboru włacwe metody szacowana wartoc dodane wymaga okrelena kryterum ch oceny. Mona przy, e warto dodana ma słuy ocene akoc nauczana w szkole nezalene od tego, ak est pozom wedzy umetnoc ucznów, którzy do ne uczszcza. O le zgodzmy s z takm załoenem, to narzucacym s stosunkowo łatwym do zastosowana kryterum est to, aby dla kadego pozomu wynków egzamnu na nszym pozome przectna rónc mdzy rzeczywstym a oczekwanym wynkem egzamnu na wyszym pozome dyła do zera. Inacze mówc, nalepsz metod bdze taka, która w całe populac ucznów traktue podobne grupy o rónych wynkach uzyskanych na egzamne na nszym pozome. W kontekce sprawdzanu egzamnu gmnazalnego bdze to metoda, dla które przectna rónca mdzy wynkem oczekwanym a uzyskanym na egzamne bdze blska zeru dla grup ucznów o rónych wynkach uzyskanych na sprawdzane. O le dana metoda spełna to kryterum, to oszacowana n warto dodana szkoły ne bdze zalee od pozomu ucznów do ne uczszczacych. To podstawowe kryterum moe by rozszerzone o krytera odwołuce s do neutralnoc metody szacowana wartoc dodane wzgldem lokalzac szkoły (np. masto a we), e rozmaru, czy te pochodzena społecznego e ucznów. Krytera te bd ednak w duym stopnu pokrywały s z opsanym powye. Innym, wanym kryterum moe by ocena trafnoc metody szacowana wartoc dodane ako metody oceny akoc pracy szkoły. Krytera te pownny bada, czy warto dodana oszacowana dan metod est skorelowana z czynnkam decyducym o rzeczywste akoc nauczana. W tym przypadku nezbdne est ednak wykorzystane danych, które zazwycza ne s kolekconowane w bazach danych systemów egzamnacynych. Ponadto, oczywstym problemem est okrelene czynnków wpływacych na ako pracy placówek, a które mona zmerzy analzowa metodam locowym.

7 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane Wybrane metody szacowana wartoc dodane. W wetle powyszych uwag charakteru egzamnów w Polsce uzasadnone wydae s skoncentrowane na metodach szacowana wartoc dodane operacych s na wynkach dwóch egzamnów, uwzgldnac, e s one przedstawane na odmenne skal pomaru. We wszystkch metodach zmenn obanan (zalen) est wynk egzamnu na wyszym etape, a zmenn obanac (nezalen) est wynk egzamnu na nszym etape kształcena. Pod konec rozdzału w punktach omawam te neco nacze defnowane modele bezporedno wyanace rónc mdzy wynkam dwóch egzamnów modele weloletne. Wszystke metody opsane zostan wzoram, w których przymu wspóln notac: y - wynk -tego uczna na egzamne na wyszym pozome (np. gmnazalnym) x - wynk -tego uczna na egzamne na nszym pozome (np. sprawdzan) d - rónca mdzy wynkem uzyskanym a oczekwanym dla -tego uczna D - warto dodana -te szkoły S - zbór ucznów -te szkoły n - lczba ucznów -te szkoły CT (z) - mara tendenc centralne zmenne z CT y x = x ) - mara tendenc centralne wynków egzamnu na wyszym pozome ( uzyskanych przez wszystkch ucznów o tym samym wynku co -ty ucze na egzamne na nszym pozome. Z mar tendenc centralne ako E (z) oznaczam redn, a ako Med (z) medan zmenne z.

8 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane Szacowane wartoc dodane przez odnesene wynku uczna do osgn ucznów na podobnym pozome. Jest to naprostsza metoda, która rón s od kolenych tym, e ne zakłada nczego o kształce zwzku mdzy wynkam egzamnów na poszczególnych etapach kształcena. Punktem odnesena w te metodze est centralna tendenca, naczce medana lub redna, wynków egzamnu na wyszym etape uzyskanych przez ucznów, którzy mel ten sam wynk na egzamne na etape nszym. Tak wc na perwszym etape te metody oblczamy dla kadego uczna rónc mdzy uzyskanym przez nego rzeczywstym wynkem a włacwym mu punktem odnesena: d = y CT y x = x ) (1) ( a w szczególnoc, kedy za mary tendenc centralne wybralmy redn lub medan: d = y E y x = x ) lub d = y Med( y x = x ) (1a) ( Na drugm etape oblczamy centraln tendenc tych rónc dla wszystkch ucznów dane szkoły, które to stanow e warto dodan: D = CT ( d ) dla wszystkch S (2) W szczególnoc centraln tendenc mona okrel przez redn, medan, redn obct lub nne mary. Warto zauway, e mary tendenc centralne we wzorach (1) (2) mog by róne. W (1) oblczane s one dla bardzo due próby (wszyscy ucznowe w krau o tym samym wynku na sprawdzane), a w (2) zazwycza dla znaczne mnesze lczby ucznów (wszyscy zdacy egzamn gmnazalny w dane szkole w danym roku). Zalet te metody est e prostota. Jedyne oblczene punktów odnesena dla poszczególnych grup ucznów wymaga danych ogólnokraowych. O le zostałyby one opublkowane, to dalsze szacunk rodzce lub nauczycele mog bez problemu przeprowadz samodzelne 3. Metoda ta ne zakłada kształtu zwzku funkcynego mdzy wynkam egzamnów, co moe stanow e wad w sytuac, gdy redne warunkowe opsane powye ne bd zawsze rosły 3 W ten sposób prezentowana est warto dodana w Angl, gdze ako punkt odnesena stosue s medan wynków ucznów na tym samym pozome, a warto dodan szkoły stanow redna ndywdualnych rónc (por. Bartmaska, 2004). Jednak w Angl pozom wecowy wycowy szacowany est na podstawe welu ocen a ne ednokrotnego egzamnu (wce na: Od nedawna wprowadzono tam te tzw. kontekstow warto dodan, operac s na metodze regres ze zmennym kontrolnym, podobn do opsane pone.

9 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 9 wraz z wynkam egzamnu na nszym pozome. Innym zasadnczym e brakem est trudno w uwzgldnenu zmennych kontrolnych. Co prawda molwe est polczene rednch warunkowych dla rónych kombnac wynków egzamnu na etape nszym zmennych kontrolnych, to ednak edyne w przypadku, gdy te druge s zmennym zeroedynkowym lub akocowym. Wzrost lczby wartoc zmennych kontrolnych powodue, e problem braku monotoncznoc, wskazany powye, bdze coraz slneszy ze wzgldu na malec lczebno grup, dla których oblczane s wynk stanowce punkty odnesena. Ponadto metoda ta bdze coraz bardze pracochłonna. W przypadku cgłych zmennych kontrolnych e zastosowane ne ma uzasadnena Szacowane wartoc dodane przez reszty równana regres. Ta metoda szacowana wartoc dodane opera s na równanu regres ndywdualnych wynków egzamnu na nszym pozome na wynk egzamnu na wyszym pozome. W metodze te koneczne est przyce załoena o kształce zwzku mdzy y x, co ne było potrzebne w metodze poprzedne. Zacznmy od naprostszego przypadku zalenoc lnowe. W take sytuac na perwszym etape szacuemy metod namneszych kwadratów równane regres na zborze wynków wszystkch ucznów: y α + β1x = (3) gdze znak ^ przy współczynnkach równana oznacza ch ocen dla dane próby, a przy y oznacza wynk oczekwany egzamnu na wyszym pozome dla okrelone wartoc wynku z egzamnu na nszym pozome 4. Nastpne oblczamy rónc mdzy rzeczywstym a oczekwanym wynkem dla kadego uczna: d = y y (4) Warto dodan szkoły oblczamy wg wzoru (2) ako wybran mar tendenc centralne ndywdualnych rónc. Włczene do analzy nawet szerokego zestawu rónego typu zmennych kontrolnych ne sprawa w te metodze techncznego problemu. W równanu (3) moemy uwzgldn wektor 4 Ops metody namneszych kwadratów analzy regres lnowe mona znale w kadym podrcznku ekonometr, np. Guarat, 2002.

10 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 10 zmennych R zaweracy charakterystyk rodzny oraz cech ndywdualnych -tego uczna, a take wektor zmennych P okrelacych warunk nauczana, nakłady owatowe, rodowsko społeczne w -te placówce: y = + β + R + P α (3a) 1x Współczynnk tego równana szacuemy podobne ak poprzedno metod namneszych kwadratów, a warto dodan szkoły oblczamy za pomoc wzorów (4) (2) Efekty stałe. Poprzedna metoda oblczana wartoc dodane dae obcone rezultaty, el grupy ucznów o rónym pozome wynków egzamnacynych uczszcza do szkół o róne efektywnoc nauczana 5. Jel np. słabs ucznowe uczszcza do gorszych szkół, a leps ucznowe do szkół o wysze akoc nauczana, to opsana powye metoda bdze zawya oszacowan warto dodan dla szkół z mne zdolnym ucznam zana dla szkół z bardze zdolnym. W takm przypadku lepszym rozwzanem est włczene do powyszych równa regres z efektów stałych szkół (klas lub nauczycel), które stanow bd oszacowana ch wartoc dodane: y = α 0 + α Z + β1x (5) gdze Z =1 dla ucznów uczszczacych do -te szkoły Z =0 dla nnych, a znak sumy oznacza sumowane po wszystkch szkołach. W ten sposób wartoc dodane -te szkoły. D = α stanow oszacowane 5 Obcene oznacza w tym przypadku, e oceny wartoc dodane systematyczne rón s od ch rzeczywstego pozomu.

11 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 11 Oczywce w metodze te take mona uwzgldn zmenne kontrolne na pozome uczna szkoły: y = + Z + x + R + P α β α (5a) 0 gdze przyto podobne defnce ak w równanach (5) (3a). Naley zaznaczy, e w modelu z efektam stałym pakety statystyczne naczce automatyczne wyłcza zmenn zeroedynkow dla perwsze szkoły, aby unkn pełne współlnowoc. Za punkt odnesena słuy stała w równanu dla te placówk, a pozostałe efekty stałe szacowane s wzgldem ne. Warto o tym pamta przy ch nterpretac Modelowane nelnowe zalenoc mdzy wynkam egzamnów. Zaleno mdzy wynkam egzamnów odzwercedla ne tylko zman w pozome umetnoc, ale odmenne tempo przyrostu wedzy dla rónych grup ucznów oraz rozbenoc w skalach pomaru ch umetnoc na rónych egzamnach. Wystpowane obu tych czynnków powodue, e zaleno mdzy wynkam egzamnów est nelnowa, przy czym warto podkrel, e empryczne rozrónene, który z nch ma decyducy wpływ na e kształt est czsto nemolwe. Problem odpowedne specyfkac mona ukaza na przykładze relac mdzy wynkam ucznów na sprawdzane w 2002 roku a wynkam w obu czcach egzamnu gmnazalnego w 2005 roku. Zalenoc te ukazu wykresy pone, wykonane dla losowe próbk wynków ucznów ednego z woewództw. Wda, e dla czc humanstyczne zaleno lnowa całkem dobrze opsue relac mdzy wynkam egzamnów. Dla czc matematycznoprzyrodncze zwzek mdzy wynkam egzamnów ne est lnowy. Dopasowana do danych prosta oznaczona czerwon przerywan ln znaczco odbega od krzywe oznaczone kolorem zelonym. Std nezbdna est nna specyfkaca równana regres uwzgldnaca nelnow zaleno mdzy sprawdzanem a czc matematycznoprzyrodncz egzamnu gmnazalnego.

12 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 12 Wykres 1. Przykład lnowe nelnowe zalenoc mdzy wynkam egzamnów. Pomnce nelnowoc zwzku mdzy wynkam egzamnów moe prowadz do tego, e warto dodana ne bdze neutralna wzgldem pozomu umetnoc ucznów. Naley ednak zauway, e standardowa metoda regres zakłada, e zmenna zalena, w tym przypadku wynk egzamnu na wyszym pozome, bdze opsana lnow kombnac zmennych nezalenych lub ch funkc, którym w tym przypadku s wynk egzamnu na nszym pozome zmenne kontrolne. Tak wc zastosowane te metody ne wymaga lnowego zwzku mdzy wynkam egzamnów. Nelnowo mona uwzgldn wprowadzac do równana regres wyrazy stanowce przekształcena wynków egzamnów. Czsto ako dodatkowy wyraz wprowadza s kwadrat zmenne zalene: y α + β x + β x = (6) 1 2 2

13 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 13 Zwzek mdzy x a y mona opsa dowolnym welomanem x wprowadzac kolene potg. O le analzowana zaleno est monotonczna, lub te pownna by, to czsto przymue s, e opsue funkca wykładncza: α +β1x y e = (7a) co odpowada równanu regres lnowe, gdze zmenn zalen est logarytm naturalny y: ln( y ) α + β1x = (7b) a wartoc oczekwane ŷ mona uzyska podstawac ln( ŷ ) ako potg lczby e. Innym sposobem uwzgldnena nelnowoc zwzku mdzy wynkam egzamnów est przeprowadzene regres kawałkam (ang. pecewse regresson ). Metoda ta pozwala na osobne okrelene postac funkcyne równana regres w rónych przedzałach zmenne nezalene. Mona ne tylko zakłada, e w rónych przedzałach współczynnk w równanu regres ma nn warto, ale wprowadza dodatkowe wyrazy ze zmennym nezalenym. Dla przykładu, odnoszc s do kontekstu szacowana EWD, przypumy, e egzamn z nszego pozomu w znaczne mneszym stopnu róncue ucznów z nskm osgncam (ma newelk warto nformacyn dla te grupy ucznów) w porównanu z egzamnem na wyszym pozome (o wysoke wartoc nformacyne dla te grupy). W take sytuac dla ucznów o nskch wartocach x ne moemy przewdze wartoc y lub te zaleno mdzy wynkam egzamnów est dla te grupy bardzo słaba. Jednak dla wyszych wynków zaleno ta moe by wyrana. W tym przypadku celowa est specyfkaca równana regres zakładaca, e dla nszego przedzału wartoc x równane przymue nn posta n dla wyszego przedzału wartoc x. Naley zatem oszacowa regres kawałkam, dla które w danym kawałku osobno szacuemy współczynnk równana regres, które moe te przymowa rón posta w zalenoc od wartoc x (np. w dolnym przedzale funkca lnowa, a w górnym weloman kwadratowy x). Czsto, gdy znamy przyczyn zmany charakteru zalenoc mdzy zmennym, przymue s, e w punkce załamana, wyznaczacym granc przedzałów x, mamy do czynena ze skokem wartoc zmenne zalene y. Dla szacowana wartoc dodane naley ednak nałoy wymóg, aby w punkce załamana oszacowane w kawałkach równana regres

14 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 14 przewdywały ten sam wynk egzamnu z wyszego pozomu 6. Mona to osgn przez odpowedn specyfkac równana regres. Załómy, e zwzek mdzy wynkam egzamnów mona wyraz prost na płaszczyne, ednak dla x < x* ma ona nne nachylene n dla x > x*. W takm przypadku oszacowane równane regres pownno me posta: y = + β x + β 1 2 * ( x x ) D α (8) gdze x* oznacza punkt załamana dzelcy dwa zbory wartoc x, D przymue 0 dla x < x* oraz 1 w przecwnym przypadku, a pozostałe zmenne zdefnowano tak ak poprzedno. Nachylene proste w dolnym przedzale (dla x < x* ) okrela współczynnk β 1, a w górnym przedzale suma współczynnków β 1 + β 2. * Do równana mona te np. doda wyraz ( x x ) D 2 zakładac, e w górnym przedzale zaleno lepe opsue weloman kwadratowy, podobne dla dolnego przedzału dodac tp. W ten sposób do dowolne moemy modelowa nelnowo relac mdzy wynkam egzamnów, zmenac posta funkcyn w przedzałach, a take zmenac wartoc lczb punktów załamana. Wyboru punktów załamana mona dokona na podstawe wykresów rozrzutu wynków ucznów oraz analzuc kształt dopasowanych krzywych neparametrycznych (funkca dostpna w wkszoc paketów statystycznych). Molwe est take zastosowane bardze zaawansowanych technk, tzw. regres nelnowe, celem oszacowana lczby wartoc punktów załamana. Wydae s ednak, e w omawanym tu zastosowanu regresa kawałkam pownna me ak naprostsz posta funkcyn, a wybór przedzałów punktów załamana pownen by dokonywany a pror w oparcu o znaomo rónc w charakterze egzamnów. Podsumowuc powysz dyskus w kontekce EWD trzeba doda, e wybór specyfkac postac funkcyne równana regres moe by dokonany z uwag na kryterum opsane w punkce 1.5., a wc tak, aby przectna warunkowych rónc mdzy wartoc oczekwan a rzeczywst dyła do zera dla wszystkch grup ucznów wyznaczanych ze wzgldu na wynk egzamnu na nszym pozome. Mona te analzowa wpływ wyboru specyfkac na uporzdkowane szkół wzgldem EWD. Jel wpływ ten est newelk to naley wybra tak 2 x 6 Czsto welko skoku przewdywane wartoc y w punkce załamana est celem analzy samym w sobe (np. gdy zmenn nezalen est wek, a zmenn zalen pozom spoyca uywek wród młodzey pełno nepełnoletne). Jednak dla szacowana EWD kluczowym wymogem est to, aby krzywe wynków oczekwanych oszacowane w regres kawałkam były cgłe. Inacze, oczekwana dla ucznów lecych przed za punktem załamana mogłyby s za bardzo rón.

15 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 15 specyfkac równana regres, która est nałatwesza w mplementac, a wc est zrozumała, prosta w nterpretac stwarza newelke problemy oblczenowe Warto dodana ako rónca mdzy wynkam egzamnów. Przekładane na edn skal standaryzaca wynków egzamnów est ne tylko zadanem trudnym, ale kontrowersynym. Powstało wele metod, które mona wykorzysta do tego celu, ednak wkszo z nch wymaga weloletnch dowadcze lub dodatkowych bada np. na losowe próbce ucznów, a przez to est czasochłonna kosztowna (por. Szalenec, 2005). Wydae s, e w przypadku Polsk przekładane egzamnów na edn skal celem szacowana wartoc dodane ne ma wkszego sensu, bowem ne przynos dodatkowych korzyc. Za warto dodan uczna przymue s rónc mdzy wynkam egzamnów tylko w sytuacach, gdy z załoena w systeme szkolnctwa wynk egzamnów podawane s na edne skal, o wspólnym punkce odnesena te same ednostce pomaru w kolenych latach, tzw. skal rozwou (ang. developmental scale ). Jest to czsto zwzane z sam koncepc egzamnu, którego celem est doroczny, a nawet czstszy, pomar podobnych cech u ucznów. W takm przypadku naturalne est modelowane bezporedno wzrostu wedzy ucznów. Jednak o le egzamny rón s charakterem, to uyce te metody est dyskusyne, nawet po, w praktyce czsto bardzo trudnym, przełoenu wynków na edn skal. W takm przypadku modeluc warto dodan uczna ako rónc mdzy egzamnam trudno oddzel efekty wzrostu od artefaktów tworzonych przez zestawene wynków testów o nnych cechach psychometrycznych odmenne skal pomaru. Schemat postpowana w przypadku, gdy operuemy wynkam egzamnów merzonym na te same skal, mona opsa nastpuco. Przymuc, e y x merzone s na te same skal, defnuemy: Wtedy d = y x (8) =, a warto dodan szkoły mona oblczy wg wzoru (2). Jel ednak chcelbymy uwzgldn zmenne kontrolne, to szacuemy równane regres, gdze zmenn obanan est rónca mdzy wynkam egzamnów, a pozostałe zmenne zdefnowano ak w równanu (3): = + R 2 + P α (9) 3

16 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 16 Warto dodan oblczamy wg wzoru (2) na podstawe rónc mdzy rzeczywst a oczekwan rónc w wynkach egzamnów: d = (10) Naley zauway, e równane (9) est równowane równanu (3a) przy załoenu, e β 1 = 1. Tak wc równane (9) stanow szczególn posta równana (3a), odpowadacy mu model est wc mne ogólny. Modele bezporedno wyanace wzrost wedzy, w rodzau przedstawonego równanem (9), opera s na nnych załoenach co do rozwou uczna, n modele opsane równanem (3a) w wkszoc przypadków prowadz do uzyskana nnych rezultatów (por. McCaffrey n., 2005). Zastosowane te metody do wynków egzamnów w Polsce, operucych rón skal pomaru, prowadz do uzyskana oszacowa wartoc dodane, które ne s neutralne wzgldem pozomu ucznów w szkołach. Wynka to z rónego rozkładu wynków sprawdzanu egzamnu gmnazalnego. Dla przykładu przekształcłem wynk sprawdzanu z 2002 roku czc matematyczno-przyrodncze egzamnu gmnazalnego z 2005 roku w zmenne standaryzowane o redne 500 odchylenu standardowym 100. Na wykrese pone przedstawono redne warunkowe rónc mdzy tak zestandaryzowanym wynkam egzamnów w odnesenu do wynków sprawdzanu. Wykres 2. redne warunkowe rónc mdzy zestandaryzowanym wynkam egzamnów.

17 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 17 Wda, e w tym przypadku zastosowane rónc mdzy wynkam egzamnów do szacowana wartoc dodane sztuczne podnos warto dodan dla szkół, gdze przewaa ucznowe, którzy uzyskal na sprawdzane mne n 20 punktów. Tak wc ta prosta metoda, cho wydae s ntucyna, a przez welu uznawana est za naturaln uzasadnon, zdecydowane ne est odpowednm sposobem szacowana wartoc dodane Modele dwuletne a weloletne. W przypadku szacowana EWD przez regres wynku danego uczna z wczeneszego egzamnu na wynk póneszy, w rodzau opsane równanam (3) lub (3a), zakłada s, e wczeneszy wynk uczna zawera nformace na temat ego zdolnoc, przebegu kształcena, rodowska rodznnego nnych zmennych wpływacych na pozom umetnoc, w tym nakładów szkolnych akoc nauczana we wczeneszych placówkach. Ponadto, ze wzgldu na brak molwoc uwzgldnena charakterystyk nemerzalnych, takch ak zdolnoc uczna pozom ego motywac, naczce przymue s załoene, e w podobny sposób wpływa one na wynk w kolenych latach, a ch efekty charakteryzue take samo tempo zanku (por. Ladd, Walsh, 2002). Take załoena s nezbdne, o le dysponuemy edyne dwoma wynkam egzamnów. Badana pokazu ednak, e s one neprawdzwe, przynamne w przypadku molwych do sprawdzena zmennych merzalnych, mog slne wpływa na warto dodan. Załoena te mona uchyl modeluc wzrost wedzy uczna z wykorzystanem wynków egzamnów z klku lat. W ten sposób mona uwzgldn wpływ nakładów edukacynych nauczycel w poszczególnych latach nauk, a take ch opónone efekty w kolenych latach. Odpowedno wyspecyfkowane modele weloletne da bardze precyzyne mne obcone oszacowana wartoc dodane. S to ednak modele znaczne bardze skomplkowane, wymagace zarówno pod wzgldem zasobu danych, ak metod oblczenowych 7. Przewag model weloletnch nad dwuletnm ukazue prosty, ale ne tak dalek od polskch realów przykład: załómy, e wszyscy ucznowe gmnazum G1 uczszczal do szkoły podstawowe SP1, a wszyscy ucznowe gmnazum G2 uczszczal do szkoły podstawowe 7 Por. McCaffrey n., 2004, W tych pracach mona znale szczegółow analz metod tego typu bogate odnesena do lteratury

18 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 18 SP2. Przymmy te, e grupa ucznów obydwu szkół ma dentyczny rozkład stotnych dla wzrostu wedzy cech ndywdualnych obydwa gmnaza charakteryzue dentyczna ako nauczana, ednak nauczycele SP1 wypracowal wysz warto dodan, przez co ch ucznowe osgnl znaczne wysze wynk na sprawdzane, n ucznowe SP2. O le efekty pracy nauczycel z SP1 ma dentyczny ak w przypadku sprawdzanu, ale opónony w czase, wpływ na wynk egzamnu gmnazalnego, to G1 G2 uzyska podobn warto dodan w modelu dwuletnm. O le ednak efekty pracy nauczycel ze szkoły podstawowe zanka wraz z upływem czasu, to warto dodana G1 szacowana poprzez model dwuletn bdze zanona. W skranym przypadku, gdy efekty pracy w szkole podstawowe ne ma adnego wpływu na egzamn gmnazalny, rónca mdzy wartoc dodan G1 G2 bdze zblona do wartoc dodane wypracowane w SP1. Ten prosty przykład pokazue ntuc lec u podstaw rozwana weloletnch model wartoc dodane. Umolwa one uwzgldnene wpływu nauczycel nakładów z lat wczeneszych, które ak pokazu badana ma due znaczene (por. Rvkn n., 2005), oszacowane stopna deterorac tego wpływu, a take modelowane nterakc mdzy zmennym w rónych latach. Trzeba ednak zaznaczy, e modele weloletne wymaga testowana ucznów w kolenych latach, a take zberana danych ndywdualnych ch łczena mdzy latam. W przypadku Polsk wprowadzene model weloletnch wymagałoby daleko dcych zman w systeme egzamnów zewntrznych systeme zberana danych edukacynych.

19 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane Warygodno oszacowa wartoc dodane Medana, redna nne mary tendenc centralne. W powyszych rozwaanach EWD lczona est ako mara tendenc centralne ndywdualnych rónc mdzy wynkam rzeczywstym a oczekwanym ucznów. Naczce stosowan mar tego typu est redna, czasem wykorzystue s te medan. W przypadku prób o duych lczebnocach rozkładach zblonych do normalnego rónca mdzy nm dy do zera. Jednak dla prób mneszych, w sytuac gdy czsto wystpu wartoc odstace (ang. outlers ), medana okazue s bardze odporn statystyk (ang. robust ). Medana redna rón s take, gdy mamy do czynena z rozkładam skonym. Wybór edne z tych statystyk zaley ne tylko od emprycznego charakteru analzowanych danych, ale od załoe przytych co do tego, ake cechy chcemy merzy e wykorzystuc. W kontekce EWD medana bdze lepsz mar, el nteresue nas przede wszystkm pozom ucznów przectnych dla całe grupy (klasy lub szkoły). redna natomast bdze brała pod uwag zmany w wynkach zarówno poedynczych osób, ak mneszych grup, które to ne bd mały znaczena dla pozomu medany, o le dotycz ucznów o relatywne nskch lub wysokch osgncach w stosunku do całe grupy (szkoły lub klasy). Kluczowym pytanem est to, czy w przypadku wkszoc szkół mamy do czynena z wystpowanem wartoc skranych, czy te ze skonoc rozkładów, a take nterpretaca przyczyn, dla których tak s dzee. Wartoc skrane mog tworzy ucznowe, którzy nepowane potraktowal eden z egzamnów lub te z przyczyn losowych osgnl wynk zupełne ne odpowadacy ch rzeczywstym zdolnocom wedzy. Ne chodz tu o losowy błd pomaru, który w tym samym stopnu dotyczy wszystkch ucznów, ale racze o sytuace, gdy ucze w dramatyczny sposób zana swó wynk (np. ze wzgldu na bardzo złe samopoczuce lub gdy z powodu braku chc w ogóle ne wypełna testu). W takch okolcznocach ego ndywdualna rónca mdzy rzeczywstym a oczekwanym wynkem moe by bardzo dua, co dla mneszych szkół moe me kluczowe znaczene dla ch wartoc dodane, o le do e szacowana wykorzystuemy redn z ndywdualnych rónc. Warto zauway, e ndywdualne rónce o skrane duych wartocach mog by zarówno dodatne, gdy ucze nadspodzewane le napsał wczeneszy egzamn, ak uemne, gdy nadspodzewane le napsał egzamn póneszy.

20 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 20 Jel opsane powye sytuace s domnucym problemem w precyz szacowana wartoc dodane, to celowe est wykorzystane medany lub nne z odpornych mar, o których za chwl. Jednak molwe est take, e nektóre szkoły osga ponadprzectne rezultaty z całym grupam ucznów słabszych lub lepszych. Jel warto dodana szacowana est przez medan, to dla tych szkół pozostane ona na tym samym pozome, ak gdyby ne podemowały one dodatkowego wysłku. Te przykłady pokazu, e wybór pomdzy redn medan moe by kluczowy mus by uzasadnony celem stawanym przed metodam szacowana EWD. W badanach uywane s take nne mary, które łcz cechy medany redne: redna obcta (ang. trmmed-mean ), czyl redna lczona z próby po wyłczenu odpowednego procenta obserwac skranych (np. dla pozomu 10% wyłcza s obserwace z wartocam mneszym n 1 decyl wkszym n 9 decyl), czy te cała grupa znaczne bardze skomplkowanych oblczenowo tzw. M-estmators (por. Huber, 2003). redna obcta stanow neako komproms mdzy medan redn. Z edne strony est odporna na wartoc skrane, a z druge w wkszym stopnu n medana reague na zmany w kształce rozkładu. Jest te stosunkowo prosta oblczenowo, co razem powodue, e czsto wykorzystue s w badanach, gdze ze wzgldu na newelke próby du lczb obserwac odstacych redna est neodpowedn mar tendenc centralne. Warto rozway e zastosowane do szacowana EWD Ocena warygodnoc statystyczne wartoc dodane. Warto dodan, oblczan powyszym metodam, mona traktowa ako statystyk z losowe próby ucznów okrelone szkoły. Inacze mówc, przymuemy, e ucznowe w danym roku stanow losow próbk akoc nauczana ch placówk. Take podece do wartoc dodane wydae s uzasadnone, o le w rzeczywstoc nteresu nas ne poszczególn ucznowe, lecz ako pracy szkoły lub e nauczycel. Konsekwenc takego podeca est uznane wartoc dodane za warto losow, dla które nezbdne est okrelene precyz oszacowana. Powszechne stosowane est podawane przedzałów ufnoc, ake z okrelonym prawdopodobestwem zawera prawdzw warto dodan. W badanach naukowych przymowanym pozomem est 99%, 95% lub 90%. Oznacza to odpowedno, e w 1%, 5%, 10% przypadków przedzał ufnoc moe ne zawera prawdzwe wartoc dodane.

21 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 21 Przy standardowym podecu oblczene przedzałów ufnoc ne sprawa wkszego problemu dokonane moe by za pomoc wzorów zameszczonych w kadym podrcznku statystyk. Precyza oszacowana, a wc szeroko przedzałów ufnoc, zalee bdze ne tylko od przytych załoe (współczynnka ufnoc), ale przede wszystkm od lczby ucznów zdacych egzamn zróncowana ch wynków. Przy tym wynk ucznów w kolenych latach mona traktowa ako kolen próbk akoc pracy szkoły włczac e do analzy zwksza precyz oszacowa. Take włczene zmennych kontrolnych zwkszacych moc wyanac modelu pownno podnos precyz oszacowa. Dodatkowo zastosowane odpornych mar tendenc centralne w rodzau redne obcte, zamast redne z całe próby, spowodue wzrost precyz oszacowa, o le mamy do czynena ze znaczn lczb wartoc odstacych. Jel ednak mamy do czynena z rozkładam blskm normalnemu, to redna z całe próby bdze mar nabardze precyzyn. Trzeba zaznaczy, e precyza z ak oszacowana zostane warto dodana moe by newelka. Analzuc badana amerykaske welu autorów podkrela, e nawet wykorzystane złoonych zborów danych, z wynkam egzamnów z welu lat szerokm zestawem zmennych kontrolnych, prowadz do oszacowa, które ne pozwala rozrón efektów nauczana wkszoc szkół. Moe to oznacza, e np. dla ¾ szkół na podstawe uzyskanych rezultatów ne mona stwerdz, które z nch charakteryzue wysza lub nsza ako nauczana. Tym bardze, el stosowane s bezpeczne krytera statystyczne zmneszace ryzyko popełnena błdu (np. wysok współczynnk ufnoc lub szacowane wartoc dodane ako efektu losowego, a ne stałego, powoduce tzw. shrnkng ). Std, nektórzy autorzy powtpewa w sens wykorzystana wartoc dodane do tworzena rankngu szkół (por. Meyer, 1997), a nn wskazu, e główn z ne korzyc est molwo okrelena szkół lub nauczycel, którzy zdecydowane odsta od przectne (por. McCaffrey n., 2005). Dla nnych n redna mar tendenc centralne, w przypadku, gdy empryczne rozkłady rónc mdzy przewdywanym a rzeczywstym wynkam ucznów bd dla welu szkół odbega od normalnych, celowe moe by szacowane przedzałów ufnoc przez tzw. bootstrapng. Jest to metoda wykorzystuca znaczne molwoc oblczenowe współczesnych komputerów polegaca na oblczanu statystyk z próbek tworzonych przez welokrotne losowane ze zwracanem z analzowane próby. W ten sposób mona oszacowa rozkład statystyk, np. redne obcte, bez przymowana załoe o rozkładze zmenne, dla

22 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 22 które t statystyk oblczamy. O le rozkład ten odbega od normalnego, to oszacowane t metod przedzały ufnoc dla statystyk nnych n redna bd s rón od uzyskanych standardowym metodam. W szczególnoc, ne musz by one symetryczne. Obecne wele paketów statystycznych umolwa szacowane przedzałów ufnoc dowolnych statystyk przez bootstrapng. Kwesta wyboru metody oceny warygodnoc statystyczne e prezentac moe by rozwaana edyne w odnesenu do rzeczywstych danych oraz przytych w systeme rozwza. Przy tym kluczowym problemem est ne tyle okrelene przedzałów ufnoc, co znalezene sposobu na ch odpowedne przedstawene rodzcom szkołom. Trzeba ednak podkrel, e pomnce warygodnoc statystyczne wartoc dodane dae neprawdzwy obraz akoc nauczana w szkołach podwaa sens wprowadzana take nformac do systemu. Faktem est, e dwe szkoły o róne wartoc dodane, których przedzały ufnoc zawera wspólny odcnek, mog me w rzeczywstoc take same osgnca. Rozwane wadomoc tych zagadne oraz opracowane metod ch odpowedne publkac est równe wane ak doskonalene metod szacowana oceny precyz wartoc dodane. Pomane tych aspektów moe prowadz do utraty zaufana wobec całego systemu egzamnów zewntrznych.

23 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane Podsumowane. Wymenone w powyszym tekce metody szacowana edukacyne wartoc dodane stanow propozyce, które naley przetestowa w badanach na rzeczywstych danych z egzamnów zewntrznych w Polsce. Do kluczowych kwest, które naley rozway w odnesenu do danych emprycznych, nale tu: porównane rezultatów rónych metod szacowana EWD odpowedna specyfkaca równa regres (dobór zmennych okrelene zalenoc funkcynych), wybór statystyk do oceny tendenc centralne ako mary EWD, ocena precyz EWD, opracowane sposobów prezentac uzyskanych wynków wraz z nformac o ch statystyczne warygodnoc. Zarysowane problemy mog by rozstrzygnte edyne w oparcu o dyskus nad wynkam bada emprycznych w szerokm grone obemucych zarówno ekspertów, ak osoby pragnce wykorzysta uzyskane w ten sposób nformace dla rozwana systemu owaty w Polsce.

24 Mace Jakubowsk. Metody szacowana edukacyne wartoc dodane. 24 Bblografa Akerhelm Karen Does Class Sze Matter? Economcs of Educaton Revew, XIV, Bartmaska A Warto dodana wynku kształcena a nterpretaca wynków egzamnu zewntrznego. Buletyn badawczy 3/2004, Centralna Komsa Egzamnacyna. Guarat Damodar Basc Econometrcs. McGraw-Hll. Hanushek Erc A The Falure of Input-based Schoolng Polces. Economc Journal 113, February, s. F64-F98. Hoxby Carolne Mnter Peer Effects n The Classroom: Learnng From Gender and Race Varaton. NBER Workng Paper Huber Peter J Robust Statstcs. Wley-IEEE. Jakubowsk Mace, Sakowsk Paweł Quas-Expermental Estmates of Class Sze Effect n Prmary Schools n Poland. Wersa robocza dostpna na: w zakładce publkace. Kutnck Peter, Sebba Judy, Blatchford Peter, Galton Maurce, Thorp Jo The Effects of Pupl Groupng: Lterature Revew. Department for Educaton and Sklls, Research Report RR688 (dostpne na: Ladd H., Walsh R Implementng value-added measures of school effectveness: gettng the ncentves rght. Economcs of Educaton Revew 21 (2002) 1 17 Lee M Mcro-Econometrcs for Polcy, Program and Treatment Effects, Seres: Advanced Texts n Econometrcs, Oxford Unversty Press Markman Jacob M., Hanushek Erc A., Kan John F., Rvkn Steven G Does peer ablty affect student achevement? Journal of Appled Econometrcs, vol. 18(5), s McCaffrey D., Lockwood J., Koretz M., Hamlton L Evaluatng Value-Added Models for Teacher Accountablty. Rand Corporaton MG-158. McCaffrey D., Lockwood J., Koretz M., Lous Thomas A., Hamlton L Models for Value-Added Modelng of Teacher Effects. Journal of Educatonal and Behavoral Statstcs, pp , Volume 29, Number 1, Sprng Meyer Robert Value-Added Indcators of School Performance: A Prmer. Economcs of Educaton Revew, Vol. 16, No.3, s Rvkn S., Hanushek E., Kan J Teachers, Schools, and Academc Achevement. Econometrca, March Szalenec Henryk Wykorzystane probablstycznych model zadana testowego do zrównywana wynków sprawdzanu budowana banku zada. Materały z XII Kraowe Konferenc Dagnostyk Edukacyne, dostpne na Wlknson Ian A. G., Hatte John A., Parr Judy M., Townsend Mchael A. R., Fung Irene, Ussher Charlotte, Thrupp Martn, Lauder Hugh, Robnson Tony Influence of Peer Effects on Learnng Outcomes: A Revew of the Lterature. Auckland UnServces Lmted, The Unversty of Auckland.