Porównywanie wyników testów egzaminacyjnych

Transkrypt

1 Elżbieta ZALEWSKA Porównywanie wyników testów egzaminacyjnych Poziom zarówno egzaminów gimnazjalnych, jak i maturalnych z roku na rok jest coraz niższy, co utrudnia porównywanie wyników egzaminacyjnych przy rekrutacji do szkół ponadgimnazjalnych oraz uczelni wyższych. Główny problem dotyczy zwłaszcza rozdzielenia efektu trudno ci testu od efektu umiejętno ci uczniów wykonujących test. Skonstruowanie arkuszy testowych o podobnych parametrach nie jest łatwe. Porównywalno ć wyników między latami można osiągnąć kontrolując poziom trudno ci wypełnienia arkusza testowego lub zakładając stałe umiejętno ci w populacji. W pierwszym przypadku korzysta się z procedur zrównywania wyników, uzyskujemy wówczas porównywalno ć wyników i możliwo ć wnioskowania o zmianie umiejętno ci w badanej grupie. W drugim przypadku, przy pomocy normalizacji i standaryzacji rozkładów, otrzymujemy względną porównywalno ć w stosunku do redniej w danym roku. ZRÓWNYWANIE TESTÓW EGZAMINACYJNYCH Zrównywanie testów polega na ustaleniu odpowiednio ci, która pozwala na równoważne posługiwanie się ich wynikami. Konieczno ć zrównywania testów jest konsekwencją trudno ci stworzenia dwóch testów, które byłyby ci le równoległe. Zgodnie z klasyczną teorią rzetelno ci testy równoległe należy konstruować w taki sposób, by jednoczesne badanie dwoma testami dało korelację między obydwoma rozkładami, identyczną z korelacją między wynikami badania przeprowadzonego dwukrotnie przy użyciu jednego z testów, zakładając że w drugim badaniu potrafimy wyłączyć wszelkie wpływy pierwszej próby. Zadania w pierwszym te cie powinny odpowiadać pod względem tre ci, instrukcji, sposobu udzielenia odpowiedzi zadaniom w te cie drugim. Teoretycznie testy równoległe powinny mieć taką samą rednią, wariancję i korelację pomiędzy parami zadań. W praktyce jest to jednak rzadko spotykane (Magnusson, 1991). Zrównywanie jest konieczne tylko ze względu na to, że standaryzowany pomiar edukacyjny korzysta z wielu form testów różniących się trudno cią, pomimo że są tworzone zgodnie z tymi samymi wytycznymi. W literaturze pojawiają się założenia, jakie powinny być spełnione, aby łączenie wyników testowych można było uważać za zrównywanie. Do najważniejszych należy zaliczyć: tożsamy konstrukt, równą rzetelno ć, symetrię testu, równoważno ć oraz niezmienniczo ć względem populacji (Dorans, Holland, 000). 70

2 Aby rozdzielić efekt trudno ci testu od efektu umiejętno ci uczniów, należy przyjąć jeden z planów zrównywania z czterech wymienionych w literaturze. Są to następujące plany: grup równoważnych polegający na przyjęciu założenia, że istnieje pojedyncza populacja osób, z której pobierane są dwie niezależne próby losowe, każda osoba z populacji ma jednakowe szanse na przydzielenie do grupy A lub grupy B. Osoby z jednej próby rozwiązują test A, a z drugiej test B. Losowanie prób nie jest zazwyczaj doborem prostym, ale odbywa się poprzez spiralne rozdawanie dwóch testów lub losowanie grupowe; pojedynczej grupy w którym z populacji pobierana jest jedna próba losowa. Wszystkie badane osoby rozwiązują najpierw test A, a następnie test B; zrównoważony stworzony ze względu na potrzebę kontroli efektu kolejno ci pisania testów w planie pojedynczej grupy. Opiera się on na dwóch założeniach. Pierwszym z nich jest istnienie pojedynczej populacji osób, które mogą rozwiązać zarówno test A, jak i B (w dowolnej kolejno ci). Drugie założenie polega na pobraniu z populacji dwóch niezależnych prób losowych. Osoby z pierwszej próby rozwiązują test A, a następnie test B, natomiast osoby z drugiej próby rozwiązują testy w odwrotnej kolejno ci; grup nierównoważnych z testem kotwiczącym zakłada istnienie dwóch populacji, które mogą rozwiązać test A lub B, przy czym w obu testach pojawiają się wspólne zadania, tzw. czę ć kotwicząca testy. Dwie próby losowe dobierane są niezależnie, jedna pochodzi z pierwszej populacji, za kolejna z drugiej. Taki plan można podzielić w zależno ci od tego, czy czę ć zadań wchodzących w skład zadań kotwiczących jest odrębnym testem niezależnym od testów A oraz B czy też czę ć kotwicząca stanowi podzbiór zadań testów A oraz B, które są oceniane jako element składowy wyników w tych testach (Pokropek, Kondratek, 01). METODA TESTÓW RÓWNOLEGŁYCH Kolejnym etapem w zrównywaniu wyników testowych jest wybór techniki. W klasycznej postaci metoda testów równoległych wymaga obliczenia współczynnika rzetelno ci, prezentującego wyniki obydwu pomiarów. Otrzymany współczynnik rzetelno ci jest często nazywany współczynnikiem równoważno- ci. Wariancję całkowitą każdego z testów można obliczyć z wzoru (1) (Magnusson, 1991): gdzie: s t s s s s s s s (1) T e( p) T ( rów) e( bad ) e ( z ) e( oc) T ( osc) s t s T wariancja całkowita testu, wariancja prawdziwa testu, 71

3 s e( p) wariancja błędu wynikająca z efektów przypominania, s T (rów) wariancja błędu związana z obliczeniem współczynnika rzetelno ci, s e(bad ) wariancja błędu obejmująca czynniki związane z przeprowadzeniem badania testowego, s wariancja błędu związana z efektem zgadywania, ) e( z s e(oc) wariancja błędu wynikająca z subiektywno ci w ocenianiu odpowiedzi, s wariancja prawdziwa związana z oscylacją wyniku prawdziwego. T (osc) Te same oznaczenia, wchodzące do wariancji błędu przy obliczaniu rzetelno- ci metodą testów równoległych, znajdujemy we wzorze () (Magnusson, 1991): r tt st ( rów) se( bad ) s se( oc ) st ( osc ) 1 () s e ( z ) t Wariancja błędu obejmująca czynniki związane z przeprowadzeniem badania testowego wymaga krótkiego uzasadnienia. Je li czynniki związane z przebiegiem badania testowego wpływają na osiągnięcia ucznia w danej próbce czasowej i nie występują systematycznie podczas drugiego badania testowego, wówczas spowodują one wariancję błędu, którą uwzględnia się przy obliczaniu rzetelno ci. Je li jednak jaki z czynników występuje systematycznie, np. osoba prowadząca testy w dwóch próbkach czasowych jest ta sama, wówczas może to wywołać pozorną wariancję prawdziwą i nie będzie ona wchodzić do wariancji błędu podczas obliczania współczynnika rzetelno ci. Współczynnik ten przyjmuje warto ci z przedziału 0, 1 im większa zatem różnica między pomiarami tej samej cechy przy kolejno powtarzanych testach, tym mniejsza rzetelno ć wyników (Magnusson, 1991). 7 MODEL IRT TEORIA ODPOWIEDZI NA POZYCJE TESTU Zrównywanie wyników obserwowanych można przedstawić modelem IRT (Item Response Theory). W podej ciu opartym na modelu IRT pojawia się możliwo ć zrównywania wyników prawdziwych 1. Aby zrównanie przeprowadzić na skali wyników prawdziwych, konieczne jest oszacowanie parametrów modelu pomiarowego leżącego u podstaw obserwowanych odpowiedzi. W artykule roz- 1 Wynik prawdziwy stanowi rednią wyników danego studenta w nieskończenie dużej liczbie testów równoległych. W praktyce wynik prawdziwy otrzymujemy poprzez zastosowanie okre lonego przedziału ufno ci w stosunku do wyniku otrzymanego i wyznaczenie tym samym (z okre lonym prawdopodobieństwem) granic, w których on się znajduje.

4 ważania teoretyczne dotyczące teorii IRT oparto na pracy doktorskiej Zastosowanie teorii odpowiadania na pozycje testowe (IRT) do tworzenia skróconych wersji testów i kwestionariuszy psychologicznych (Kleka, 01). W modelach odpowiedzi na pozycje testu kluczowe jest traktowanie wyniku jako informacyjnego wska nika pewnej warto ci nieobserwowalnej cechy (oznaczanej przez ), uzyskanego okre lonym prawdopodobieństwem przez osobę odpowiadającą na daną pozycję testową. Parametrem trudno ci danej pozycji testowej różnicującej wyniki jest osoba w punkcie b. Osoby o poziomie cechy wyższym niż warto ć b uzyskują warto ć kodowaną 1, co oznacza sukces odpowiedzi, za osoby o poziomie niższym niż b uzyskują warto ć kodowaną 0, co oznacza porażkę. Zazwyczaj w przypadku modeli IRT kształt rozkładu prawdopodobieństwa oparty jest na funkcji logitowej. W modelach IRT zakłada się, że zmienna jest jednowymiarowa oraz przyjmuje się lokalną niezależno ć pozycji testu. Oznacza to, że budowa i dobór pozycji do testu IRT musi uwzględniać zastosowanie niezależnych pozycji prezentujących jedną zmienną. Aby potwierdzić wspomniane pierwsze założenie, używana jest eksploracyjna analiza czynnikowa, za w celu potwierdzenia drugiego założenia stosowana jest analiza macierzy korelacji cząstkowych pomiędzy danymi pozycjami. Metodą sprawdzającą jednocze nie oba założenia jest analiza macierzy korelacji i kowariancji między pozycjami. Pomimo tych założeń można stosować model IRT do wielowymiarowych modeli. Wówczas kilka zmiennych może być traktowanych jako jedna zmienna pod warunkiem, że wszystkie pozycje testowe mierzą wszystkie zmienne w takiej samej proporcji. Teoria odpowiedzi na pozycje testowe umożliwia przyporządkowanie każdej osobie biorącej udział w badaniu wyniku odpowiadającego warto ci cechy θ, przez którą rozumie się natężenie badanej cechy oraz poziom umiejętno ci. Możliwe jest okre lenie prawdopodobieństwa, z jakim osoba udzielająca odpowiedzi na pytanie testowe odpowie prawidłowo (zgodnie z kluczem odpowiedzi) na pytanie testu dla każdej możliwej warto ci cechy θ. Kształt krzywej logistycznej opisuje zależno ć pomiędzy warto cią cechy θ a prawdopodobieństwem udzielenia poprawnej odpowiedzi. Model logistyczny dwukategorialny jest to model, w którym osoba poddawana badaniu może uzyskać w każdym pytaniu jedną z dwóch kategorii wyników, np. prawda lub fałsz. Model ten występuje w czterech wariantach w zależno ci od liczby uwzględnionych parametrów i jest podany następującym wzorem (Kleka, 01): gdzie: 1 ci di pi ( ) ( D ( i ) 1 d (3) i b e p i ( ) prawdopodobieństwo poprawnej odpowiedzi na pozycję testową i na danym poziomie umiejętno ci, 73

5 a i b i c i d i D moc różnicująca danej pozycji, poziom trudno ci pozycji, parametr zgadywania, parametr niedbało ci. Często pomijany okre la błędy w odpowiedziach niezwiązane z poziomem wiedzy, stały parametr maksymalizujący dopasowanie krzywej logistycznej do rozkładu normalnego. Często przyjmuje się D =1,70, który powoduje, że używana skala jest metryczna, za w przypadku D =1 uzyskujemy skalę logistyczną. Pełny model jest bardzo rzadko stosowany, ponieważ wyznaczenie wszystkich parametrów wymaga dużych prób (powyżej 1000 osób). W sytuacji gdy można założyć zerowy lub bliski zeru poziom zgadywalno ci c i, otrzymuje się model dwuparametryczny. Przykładem takiego testu jest test złożony z pytań otwartych (bez odpowiedzi do wyboru). Szczególnym przypadkiem jest model logistyczny jednoparametryczny, czyli przyjęcie założenia o jednakowej mocy różnicującej a i dla wszystkich pozycji. Je li parametr a i =1, model taki nazywamy modelem Rascha (Kleka, 01). Modele wielokategorialne IRT mogą mieć duże zastosowanie nie tylko w ocenie testów egzaminacyjnych, ale również badań kwestionariuszowych opisujących jako ć prowadzonych zajęć. Zazwyczaj są wykorzystane, gdy osoba poddawana badaniu w odpowiedzi na każdą pozycję może wskazać jedną z kilku uporządkowanych kategorii. W takich sytuacjach najczę ciej mają zastosowanie uogólniony model punktów czę ciowych lub model klasy odpowiedzi. PRZYKŁADY STOSOWANIA TESTÓW ZRÓWNUJĄCYCH W wielu krajach zrównywanie wyników egzaminacyjnych do wyników z roku bazowego przeprowadzane jest w trakcie egzaminu państwowego, zatem wyniki na bieżąco podawane do wiadomo ci są już wynikami zrównanymi. Wymaga to utajnienia czę ci zadań, które są stosowane podczas egzaminu jako czę ć zrównująca. Przykładem takiego testu jest jeden z najstarszych testów mierzących osiągnięcia szkół rednich w Stanach Zjednoczonych. Test ten nosi nazwę Scholastic Assessment Test (SAT). Jego wyniki wykorzystuje ponad 000 szkół wyższych i uniwersytetów w trakcie rekrutacji. Pierwszy test przeprowadzono w 196 r. trwał 90 minut i składał się z 315 pytań. W roku 005 wprowadzono znaczące zmiany w formie testu i przeprowadzono badania nad zrównywalno cią egzaminu. Obecnie test ten składa się z dziewięciu czę ci testowych mierzących umiejętno ci: czytania ze zrozumieniem, matematyczne, wypowiedzi pisemnej oraz jednej czę ci zrównującej 74

6 trwa 3 godziny i 45 minut. Czę ć zrównująca po więcona jest jednej z dziedzin wiedzy i tak przygotowana, aby uczniowie nie wiedzieli, która sekcja należy do tej czę ci. Czę ć zrównująca nie jest brana pod uwagę przy wyznaczaniu końcowego wyniku dla danego ucznia. W te cie za każdą poprawną odpowied uczeń otrzymuje 1 punkt, za za błędne odpowiedzi w zadaniach zamkniętych przyznawane są cząstkowe punkty ujemne. Od roku 1941 wszystkie wersje testu zawierają ok. 0% pytań z poprzednich lat i są zrównywane rok do roku. Do dzi, pomimo kilku wprowadzonych zmian, stosuje się schemat zrównywania dla planu nierównoważnych grup z testem kotwiczącym oraz metody zrównywania liniowego i nieliniowego. Drugim poddanym standaryzacji testem dla uczniów szkół rednich w Stanach Zjednoczonych jest American College Testing (ACT), który obecnie nosi nazwę American College Testing Program. Test ten, podobnie jak test SAT, stanowi element rekrutacji uczelni wyższych w Stanach Zjednoczonych. Po raz pierwszy został zastosowany w 1959 r. i składał się z czterech egzaminów z: języka angielskiego, matematyki, czytania i wiedzy ogólnej. W roku 005 dodano również test z pisania. Łączny czas rozwiązania testu to 3 godziny i 5 minut, który uczniowie mają na rozwiązanie: 75 zadań z języka angielskiego (45 minut), 60 pytań z matematyki (60 minut), 40 zadań oceniających umiejętno ć czytania (35 minut), 40 zadań przyrodniczych (35 minut) oraz czas na pracę pisemną (30 minut). Każde zadanie ma taką samą wagę przy szacowaniu skali wyników. Zrównywanie wyników odbywa się metodą ekwicentylową na podstawie schematu z równoważnymi grupami. Wyskalowane wyniki testu przedstawione są na skali punktowej od 1 do 36. W celu przeprowadzenia zrównywania testów z dwóch różnych lat, spo ród wszystkich uczniów losowana jest próba reprezentatywna. Uczniowie ci oprócz aktualnej wersji testu rozwiązują również dodatkowy arkusz egzaminacyjny, stanowiący podstawę porównań pomiędzy poszczególnymi latami. Warto też podać, że w 1981 r. w Izraelu powołano Narodowy Instytut Testowania, którego zadaniem było przygotowanie ogólnonarodowego standaryzowanego testu uwzględnianego przy rekrutacji na uczelnie wyższe Psychometric Entrance Test (PET). Składa się on z trzech czę ci rozumienia werbalnego, a następnie ilo ciowego oraz z badania znajomo ci języka angielskiego. Na rozwiązanie pojedynczego zadania uczeń ma ok. 60 sekund, cały test trwa ok. 3 godzin 0 minut. We wszystkich edycjach testu dwie z o miu czę ci to ukryte czę ci zrównujące. Uczniowie rozwiązują sze ć takich samych czę ci testowych, ale różne sekcje zrównujące. Zrównywanie jest prowadzone według planu nierównoważnych grup z testem kotwiczącym. W czę ci zrównującej zawierają się sekcje z wcze niej zdawanych testów, a każdą czę ć zrównującą rozwiązuje ok uczniów (Pokropek, Kondratek, 01). W Polsce podczas egzaminów państwowych nie pojawia się czę ć zrównująca wyniki. Jednak Instytut Badań Edukacyjnych, w ramach projektu Badanie 75

7 jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego, przeprowadził prace nad zrównaniem wyników egzaminacyjnych. Głównym jego celem jest osiągnięcie porównywalno ci wyników między latami. W latach badanie zrównujące prowadzone było w różnych typach szkół. Za rok bazowy dla wszystkich egzaminów przyjęto 01 r., zatem wyniki danego egzaminu w pozostałych latach należy rozumieć jako zmianę (wzrost/spadek) poziomu umiejętno ci uczniów w porównaniu do tamtego roku. Do badania umiejętno ci uczniów gimnazjalnych przeprowadzono zrównanie w 680 szkołach, wykorzystując do tego próbę losową klas III (ponad 0 tys. uczniów). W każdym roku, na miesiąc przed egzaminem gimnazjalnym, uczniowie rozwiązywali arkusz zadań skonstruowany na użytek zrównywania. Zastosowano łącznie 34 zeszyty zrównujące, w tym 17 dla czę ci matematyczno-przyrodniczej. Każdy uczeń rozwiązywał jeden zeszyt z danej czę ci egzaminu. Dobór próby skonstruowano tak, aby jeden zeszyt był rozwiązywany przez co najmniej 800 uczniów. Do zrównywania wyników wykorzystano metodę kalibracji łącznej, gdzie jednocze nie szacowano model IRT dla próby zrównującej i zbiorów danych zawierających odpowiedzi wszystkich uczniów zdających egzamin w latach W wyniku analizy uzyskano możliwo ć przeprowadzenia porównań między szkołami, pokazanie wyników szkół na tle kraju, województwa, powiatu i gminy. W roku szkolnym 01/13 badanie obejmowało również szkoły podstawowe i klasy maturalne, w których analizowano wyniki matury z matematyki. Z kolei badanie dotyczące lat 013 i 014 obejmowało gimnazja, szkoły podstawowe oraz szkoły ponadgimnazjalne, gdzie zrównanie dotyczy egzaminu maturalnego z matematyki, języka polskiego i języka angielskiego. BADANIE EMPIRYCZNE W celu oceny skuteczno ci metod zrównujących wyniki testów egzaminacyjnych na podstawie egzaminu z przedmiotów matematyczno-przyrodniczych w latach przeprowadzono porównanie wyników szkół gimnazjalnych w woj. łódzkim. Do badania wybrano wyniki Państwowego Egzaminu Gimnazjalnego oraz testu zrównującego przeprowadzonego przez Instytut Badań Edukacyjnych. Głównym celem badania jest sprawdzenie, czy test zrównujący tworzy taki sam ranking szkół gimnazjalnych, jak egzamin państwowy. W badaniu brały udział szkoły, których wyniki klasyfikowane były jako najwyższe w skali stanin dla 011 r. Dane egzaminu państwowego przedstawiono w tabl. 1. Skala stanin jest powszechnie używana przez Centralną Komisję Egzaminacyjną i komisje okręgowe przeprowadzające zewnętrzne egzaminy w o wiacie. 76

8 TABL. 1. ŚREDNIE WYNIKI EGZAMINU GIMNAZJALNEGO Z CZĘŚCI MATEMATYCZNO-PRZYRODNICZEJ W 1 NAJLEPSZYCH SZKOŁACH W WOJ. ŁÓDZKIM Nazwa szkoły a 011 b 01 c 013 Liczba uczniów redni wynik szkoły Publiczne Gimnazjum nr 15 w Łodzi... a ,1 b ,4 c 1 4,8 Gimnazjum Fundacji O wiatowej Nasza Szkoła... a 10 34,4 b 11 44,5 c 5 49,0 Gimnazjum Łódzkiego Stowarzyszenia O wiatowego a 1 33,9 b 8 43,4 c 8 48, Katolickie Gimnazjum im. Jana Pawła II w Łodzi... a 81 33,9 b 77 41,1 c 81 43,1 Pijarskie Gimnazjum Królowej Pokoju w Łowiczu... a 55 3,9 b 56 39,8 c 55 44,1 Prywatne Gimnazjum Krzysztofa Augustyniaka w Łodzi Publiczne Gimnazjum nr im. Jerzego Kukuczki w Łodzi a 10 36,6 b 15 44,5 c 14 45,4 a ,1 b ,8 c ,5 Salezjańskie Gimnazjum im. Księdza Bosko w Łodzi a ,7 b 15 41,9 c 16 45,1 Społeczne Gimnazjum nr 1 im. Ewarysta Estkowskiego Społecznego Towarzystwa O wiatowego w Łodzi Społeczne Gimnazjum Towarzystwa O wiatowego Edukacja w Łodzi a 19 40,4 b 18 45,7 c 15 50,0 a 6 33,9 b 33 40, c 7 4,7 Szkoła Europejska Gimnazjum U. Moryc sp. j.... a 1 33,6 b 1 41, c 9 44,9 Gimnazjum im. ks. Stanisława Konarskiego w Skierniewicach a 6 34,7 b 58 41,7 c 41 43,6 r ó d ł o: opracowanie własne na podstawie http: // W 011 r. każdy uczeń rozwiązywał jeden test, który zawierał zadania zarówno z matematyki, jak i przedmiotów przyrodniczych. Za test matematyczno- -przyrodniczy można było uzyskać maksymalnie 50 punktów. Natomiast od 01 r. każdy uczeń zdaje cztery egzaminy przeprowadzane w ramach dwóch bloków blok matematyczno-przyrodniczy podzielono na egzamin z przedmiotów przyrodniczych i egzamin z matematyki. W roku tym z czę ci egzaminu 77

9 dotyczącego zadań z przedmiotów przyrodniczych można było uzyskać maksymalnie 6 punktów, a z matematyki 30 punktów. Z kolei w 013 r. z przedmiotów przyrodniczych maksymalna liczba punktów to 9 oraz 8 z matematyki. Uczniowie omawianych szkół brali udział w badaniu przeprowadzonym przez Instytut Badań Edukacyjnych w ramach wspomnianego projektu Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego. W tabl. przedstawiono wyniki testu zrównywania z czę ci matematyczno- -przyrodniczej egzaminu gimnazjalnego. TABL.. WYNIKI TESTU ZRÓWNYWANIA Z CZĘŚCI MATEMATYCZNO-PRZYRODNICZEJ W NAJLEPSZYCH SZKOŁACH W WOJ. ŁÓDZKIM Nazwa szkoły a 011 b 01 c 013 Max Kwartyl 3 Q3 rednia a (01=100) Kwartyl Me Kwartyl 1 Q1 Min Liczba uczniów Publiczne Gimnazjum nr 15 w Łodzi Gimnazjum Fundacji O wiatowej Nasza Szkoła Gimnazjum Łódzkiego Stowarzyszenia O wiatowego Katolickie Gimnazjum im. Jana Pawła II w Łodzi Pijarskie Gimnazjum Królowej Pokoju w Łowiczu Prywatne Gimnazjum Krzysztofa Augustyniaka w Łodzi Publiczne Gimnazjum nr im. Jerzego Kukuczki w Łodzi Salezjańskie Gimnazjum im. Księdza Bosko w Łodzi Społeczne Gimnazjum nr 1 im. Ewarysta Estkowskiego Społecznego Towarzystwa O wiatowego w Łodzi Społeczne Gimnazjum Towarzystwa O wiatowego Edukacja w Łodzi Szkoła Europejska Gimnazjum U. Moryc sp. j. Gimnazjum im. ks. Stanisława Konarskiego w Skierniewicach a 150,3 14,3 115,8 116,1 106,6 81,9 134 b 149, 14,3 114,9 116,5 105,7 75,9 137 c 156,8 16,6 117,1 117, 107,8 75,3 1 a 130,9 13,7 113,8 116,6 107,8 81,0 10 b 146,9 13, 14,5 16,9 118,5 97,9 11 c 143,8 136, 16,9 14,0 119,3 111,0 5 a 17,6 119,0 113,3 113,5 108,1 97,8 1 b 148,0 15,8 10,7 119,5 114, 104,0 8 c 143,7 131,5 14,5 14, 117,9 107,0 8 a 134,7 10,5 113,8 114,1 108,1 86,3 81 b 149,5 14,0 117,6 117,5 110,4 78,1 77 c 149,1 1,7 116,6 116,0 109,8 95,4 81 a 145,1 10, 11,4 11,6 104,8 79,9 55 b 137,0 1,8 115,6 116,9 109,0 88,4 55 c 145,4 15,9 118,6 117,3 11,0 90,0 55 a 19,5 1,7 118,6 118,7 114,0 108,0 10 b 138,3 18, 11,8 13,9 116,1 97,0 15 c 146,9 13,7 1,1 1,6 116,0 93,3 14 a 151,7 11, 11,9 11,5 104,0 86, 181 b 150,7 119,5 11,8 11,7 106,0 79,7 153 c 158,3 13,9 113,9 114,0 103,6 75,7 181 a 149,1 11,4 116,0 115,1 109,7 9,8 100 b 147,7 16,1 119,1 119,0 11,5 90, 15 c 151,1 17,6 119,8 10,1 111,8 90,9 16 a 15,6 131,4 14,7 10,8 116,4 103,0 19 b 141,0 19,5 14,6 14,8 119,8 110,0 18 c 15,3 134,3 18, 17,9 10,4 110,0 15 a 144,4 119,3 113,6 11,5 106,7 93,6 6 b 150, 10,1 116,3 115,4 110,8 96,7 33 c 141,1 14,9 116,6 115,8 108,8 96,6 7 a 16,4 117,3 113,0 11, 107,6 103,0 1 b 131,4 13,4 118,1 118,6 111,8 106,0 1 c 146, 16,0 119,9 118,1 111,8 101,0 9 a 141,6 1,1 114,5 114,4 107,3 88,7 6 b 151,8 15,8 119,1 118,9 110,9 97,8 58 c 153,9 14,5 118,4 116,1 109,7 93,7 41 a Za rok bazowy dla wszystkich egzaminów przyjęto rok 01 (krajowa rednia dla 01 r. wynosi 100), a wyniki danego egzaminu w pozostałych latach należy rozumieć jako wzrost/spadek poziomu umiejętno ci uczniów danej szkoły w porównaniu do 01 r. [por. http: //pwe.ibe.edu.pl]. r ó d ł o: opracowanie własne na podstawie 78

10 Na podstawie danych w tabl. 3 przedstawiono ranking najlepszych szkół gimnazjalnych w woj. łódzkim w latach Numerem 1 oznaczono szkołę z najwyższym rednim wynikiem punktów. TABL. 3. RANKING NAJLEPSZYCH SZKÓŁ GIMNAZJALNYCH W WOJ. ŁÓDZKIM Nazwa szkoły PWE OKE PWE OKE PWE OKE Społeczne Gimnazjum nr 1 im. Ewarysta Estkowskiego Społecznego Towarzystwa O wiatowego w Łodzi Prywatne Gimnazjum Krzysztofa Augustyniaka w Łodzi Salezjańskie Gimnazjum im. Księdza Bosko w Łodzi i Publiczne Gimnazjum nr 15 w Łodzi Gimnazjum im. ks. Stanisława Konarskiego w Skierniewicach i Katolickie Gimnazjum im. Jana Pawła II w Łodzi i 11 9 Gimnazjum FundacjiO wiatowej Nasza Szkoła Społeczne Gimnazjum Towarzystwa O wiatowego Edukacja w Łodzi i Gimnazjum Łódzkiego Stowarzyszenia O wiatowego Szkoła Europejska Gimnazjum U. Moryc sp. j Publiczne Gimnazjum nr im. Jerzego Kukuczki w Łodzi Pijarskie Gimnazjum Królowej Pokoju w Łowiczu U w a g a. PWE Porównywalne Wyniki Egzaminacyjne opracowane przez Zespół Analiz Osiągnięć Uczniów w Instytucie Badań Edukacyjnych; OKE Okręgowa Komisja Egzaminacyjna. r ó d ł o: opracowanie własne. Porównując wyniki z egzaminu gimnazjalnego z czę ci matematyczno- -przyrodniczej i testu zrównującego przeprowadzonego miesiąc przed egzaminem gimnazjalnym, warto zwrócić uwagę, że w 011 r. rankingi są jednakowe. W roku 01 dwie szkoły w rankingu PWE zajmują pozycję równorzędną (pozycję 5 i 6), natomiast w rankingu OKE Salezjańskie Gimnazjum im. Księdza Bosko w Łodzi zajmuje 5 miejsce, za Gimnazjum im. ks. Stanisława Konarskiego w Skierniewicach pozycję 6. W 013 r. pięć z dwunastu szkół zajęło inną pozycję w rankingu PWE niż w rankingu OKE. Okazuje się, że dla większo ci szkół gimnazjalnych rednie wyniki oszacowane na podstawie modelu IRT są analogiczne do rednich wyników egzaminu państwowego w poszczególnych latach. W celu oceny siły zależno ci pomiędzy testem prowadzonym przez Instytut Badań Edukacyjnych oraz egzaminem państwowym obliczono warto ć współczynników rang Spearmana. W roku 011 współczynnik wynosił 0,99651, za w kolejnych latach współczynniki osiągnęły warto ci odpowiednio: 0,9916 i 0, Dowodzi to, że pomiędzy rankingami występuje silna dodatnia korelacja, czyli je li wzrasta pozycja szkoły w rankingu PWE, ro nie również pozycja szkoły w rankingu OKE. 79

11 Podsumowanie Chcąc wykorzystać dane uzyskane za pomocą dwóch testów, należy zwrócić uwagę zarówno na rzetelno ć, jak i na formę prowadzonych egzaminów. Obydwie cechy muszą być ustalone empirycznie. Uzyskamy wówczas rzetelną ocenę wyników egzaminów gimnazjalnych i maturalnych przeprowadzonych w różnych latach, co stanowi podstawę rekrutacji do szkół i na uczelnie wyższe. W polskim systemie egzaminacyjnym nie wprowadzono testu państwowego umożliwiającego zrównywanie wyników egzaminów maturalnych. Badania prowadzone na potrzeby zrównywania wyników mają charakter naukowy i stanowią cenne ródło wiedzy dla polskiego systemu o wiaty. Jednak nie wyja niają, jak uczelnie wyższe mogłyby porównywać wyniki maturalne w poszczególnych latach. Stanowi to problem podczas rekrutacji, zwłaszcza gdy kandydaci na studia mają jednakowe wyniki, ale maturę zdawali w innych latach. mgr Elżbieta Zalewska Uniwersytet Łódzki LITERATURA Dorans N. J., Holland P. W. (000), Population invariance and the equitability of tests: Basic theory and the linear case, Journal of Educational Measurement, 37 (4) http: // (dostęp ) http: //pwe.ibe.edu.pl/?str=wysz (dostęp ) Kleka P. (01), Zastosowanie teorii odpowiadania na pozycje testowe (IRT) do tworzenia skróconych wersji testów i kwestionariuszy psychologicznych, rozprawa doktorska, Uniwersytet im. A. Mickiewicza, Poznań, [w:] (dostęp ) Magnusson D. (1991), Wprowadzenie do teorii testów, PWN, Warszawa Pokropek A., Kondratek B. (01), Zrównywanie wyników testowania. Definicja i przykłady zastosowania, Edukacja, Vol. 4 (10), (dostęp ) 80 SUMMARY The article presents the theory of parallel testing and a few selected examples of the application of tests comparing the results of the examination. To examine whether these methods were taken into account the results of the secondary school examination conducted in years in mathematics and natural sciences with a corresponding smoothing test in the Lodz voivodship. The level of both secondary school and matriculation exams from year to year is getting lower. This creates an additional problem with the comparison of the results of examination for recruitment to high schools and universities. The introduction of smoothing methods to the creation of examination papers would facilitate recruitment.

12 Р З М В У,.. В -.