Szkolne, psychologiczne i społeczne uwarunkowania wyników nauczania na I etapie edukacyjnym

Transkrypt

1 RAPORT TEMATYCZNY Z BADANIA Szkolne, psychologiczne i społeczne uwarunkowania wyników nauczania na I etapie edukacyjnym Raport na podstawie wyników fazy wstępnej ogólnopolskiego badania podłużnego Szkolnych Uwarunkowań Efektywności Kształcenia

2 Autorzy: dr Dorota Campfield dr hab. Roman Dolata Anna Hawrot Kamila Hernik Mikołaj Hnatiuk Ewelina Jarnutowska Aleksandra Jasińska dr Radosław Kaczan Karolina Malinowska Michał Maluchnik Michał Modzelewski Jolanta Pisarek Ludmiła Rycielska dr Piotr Rycielski Kamil Sijko Leszek Słowicki dr Magdalena Szpotowicz Recenzenci: prof. dr hab. Ewa Filipiak prof. dr hab. Bogdan Zawadzki Wydawca: Instytut Badań Edukacyjnych ul. Górczewska Warszawa tel. (22) ; Copyright by: Instytut Badań Edukacyjnych, Warszawa, grudzień 2012 Publikacja opracowana w ramach projektu systemowego: Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego, współfinansowanego przez Unię Europejską ze środków Europejskiego Funduszu Społecznego, realizowanego przez Instytut Badań Edukacyjnych. Egzemplarz bezpłatny 2

3 Najważniejsze wyniki fazy wstępnej badania SUEK i tezy do dyskusji o polityce oświatowej na poziomie I etapu edukacyjnego Raport przedstawa wyniki z pierwszej, wstępnej fazy zaplanowanego na lata programu badawczego Szkolne Uwarunkowania Efektywności Kształcenia (SUEK) realizowanego w Instytucie Badań Edukacyjnych w zespole Wczesnej Edukacji. Badanie podłużne SUEK zrealizowane jest na ogólnopolskiej próbie 174 szkół podstawowych i obejmuje około 5500 dzieci uczących się w 300 oddziałach szkolnych. W badaniu biorą udział sami uczniowie oraz ich rodzice i nauczyciele. W pierwszej fazie badania SUEK uzyskano rzetelne dane opisujące osiągnięcia uczniów po pierwszym etapie kształcenia (klasy I-III) w zakresie czytania, świadomości językowej i umiejętności matematycznych. Zanalizowano wpływ szeregu czynników psychologicznych, rodzinnych i szkolnych na osiągnięcia uczniów na poziomie klasy III szkoły podstawowej. Uzyskane wyniki budują obraz funkcjonowania szkół na poziomie nauczania początkowego i stanowią swoisty bilans otwarcia dla zasadniczej, drugiej fazy badania, która obejmie II etap edukacyjny i przejście do gimnazjum. Na podstawie prezentowanych wyników oraz współczesnego stanu wiedzy naukowej przedstawiono szereg tez do dyskusji o pożądanych zmianach w szkolnictwie na pierwszym etapie edukacyjnym. Potrzeba nowoczesnych metod badania osiągnięć szkolnych Międzynarodowe badania edukacyjne takie jak TIMSS, PIRLS czy PISA uczą nas, że rzetelny pomiar wyników kształcenia nie jest prostą sprawą, którą można by sprowadzić do zadania kilku arbitralnie wybranych pytań uczniom. Proces selekcji zadań do testów musi być poprzedzony namysłem nad celem pomiaru oraz starannym zdefiniowaniem mierzonych umiejętności (badanych konstruktów). Standardy jakim muszą sprostać dobre narzędzia służące do pomiaru osiągnięć szkolnych nie są niższe niż te, które dotyczą testów psychologicznych. Dotyczy to zarówno testów budowanych na potrzeby badań naukowych, jak i tych przeznaczonych do celów egzaminacyjnych, diagnostycznych i do użytku nauczycieli. IBE wykorzystując doświadczenia międzynarodowych badań edukacyjnych wykazuje w niniejszym raporcie, że skonstruowanie narzędzi służących pomiarowi dydaktycznemu w zgodzie ze światowymi standardami jest w polskich warunkach możliwe. Skonstruowano zestaw profesjonalnych testów osiągnięć w zakresie czytania, świadomości językowej i umiejętności matematycznych o wysokiej, dobrze udokumentowanej rzetelności i trafności. Stworzone testy pozwalają na precyzyjny pomiar w szerokim zakresie badanych umiejętności wśród uczniów kończących trzecią klasę szkoły podstawowej. Ich wysoka trafność potwierdzona jest przez pozytywne recenzje ekspertów oraz pozytywne wyniki analiz trafności teoretycznej i kryterialnej. Na podstawie zdobytych doświadczeń warto wskazać kluczowe problemy związane z konstrukcją nowoczesnych testów osiągnięć szkolnych. Po pierwsze należy zauważyć, że choć konstrukcja testów zaczyna się od pewnych założeń teoretycznych, to weryfikacja tych założeń zawsze powinna odbywać się w oparciu o dane pochodzące z odpowiednich, dobrze zaplanowanych, masywnych badań pilotażowych. Ostatecznie bowiem, przekonanie o tym, że dany test (bądź pojedyncze zadanie) jest w stanie mierzyć założony konstrukt jest wiedzą bez większej wartości bez informacji o tym, jak dobrze (precyzyjnie) test (zadanie) to czyni w danej populacji badanych. Po drugie trzeba podkreślić, że proces tworzenia testów osiągnięć powinien być przemyślany i starannie zaplanowany. Jasna koncepcja i świadomość celu, jakiemu ma służyć narzędzie, pozwalają na dobór odpowiednich środków do pomyślnego stworzenia testów. Po trzecie, jedną z pierwszych i ważniejszych kwestii jest wybór teorii pomiaru, która wyznacza założenia konstrukcji narzędzia. W projekcie wykorzystano teorię odpowiedzi na zadanie testowe (IRT), której specyficzny przypadek, tzw. model Rascha, posiada własności,

4 pozwalające na konstrukcję testów dostosowanych do potrzeb oraz ocenę tego, jak dobrze dany test sprawdza się w różnych populacjach badanych. Przyjęta przez pracownię SUEK metodologia konstrukcji testu posiada jeszcze jedną zaletę, którą dobrze obrazuje zastosowany podczas ich konstrukcji schemat badania pilotażowego. Podczas badania pilotażowego zadania rozwiązywali uczniowie trochę młodsi i trochę starsi niż docelowa populacja. Ponadto zadania pilotowane były w otoczeniu innych zadań niż występowały w badaniu zasadniczym. Zadania wyselekcjonowane do ostatecznych testów na podstawie wyników pilotażu, w przeważającej większości nie straciły swoich dobrych własności psychometrycznych podczas badania zasadniczego, a test z nich skonstruowany mierzył zakładany zakres na skali umiejętności z projektowaną dokładnością. Przykład ten pokazuje, że zastosowanie modelu Rascha do konstrukcji testów osiągnięć, umożliwia poluzowanie założenia, że narzędzia do pomiaru efektów kształcenia można pilotować tylko na docelowej populacji, a także dostarcza dowodów, że usytuowanie zadań w różnych kontekstach, co do zasady, nie zmienia znacząco ich właściwości pomiarowych. Stanowi to silny argument praktyczny za szerszym stosowaniem tej metodologii do konstrukcji testów osiągnięć szkolnych: egzaminacyjnych, diagnostycznych i na potrzeby oceny nauczycileskiej. Doświadczenie zdobyte przy realizacji projektu SUEK uczy, że prace nad testami osiągnięć szkolnych są bardzo czaso- i pracochłonne. Wydaje się, że efektywny proces konstrukcji narzędzi o odpowiedniej rzetelności w metodologii IRT powinien zacząć się od budowy obszernych banków skalibrowanych zadań, które mogłyby służyć zarówno do celów badawczych, egzaminacyjnych, diagnostycznych i oceny nauczycielskiej. Należy jednak podkreślić, że takie banki zadań musiałyby być utajnione oraz systematycznie uzupełniane, by zapewnić jakość psychometryczną zadań w banku. Stworzony na potrzeby badania SUEK zestaw testów osiągnięć szkolnych na zakończenie I etapu edukacyjnego w zakresie czytania, świadomości językowej i umiejętności matematycznych stanie się wraz z testem umiejętności na starcie szkolnym TUnSS (komuterowy test adaptatywny) zaczynem zestawu profesjonalnych, bardzo nowoczesnych standaryzowanych, unormowanych testów na potrzeby badawcze, diagnostyczne i oceny nauczycielskiej. Konieczność używania adekwatnych modeli analizy efektywności kształcenia Badania nad efektywnością kształcenia są przykładem studiów empirycznych, w których struktura poznawanej rzeczywistości ma wielopoziomowy, hierarchiczny charakter. Przedmiotem dociekań tego typu badań są zależności pomiędzy różnymi poziomami tej hierarchii, a w szczególności określenie czynników szkolnych odpowiedzialnych za osiągnięcia szkolne uczniów. Struktura danych w badaniach edukacyjnych wymaga zatem odpowiednich metod analizy, które pozwalają uwzględnić ich wielopoziomowy charakter oraz umożliwiają swobodne modelowanie zależności pomiędzy różnymi poziomami analizy. Metody wykorzystane do analizy danych na potrzeby niniejszego raportu, tzn. hierarchiczne modele liniowe, spełniają te wymogi i umożliwiają testowanie różnorodnych hipotez dotyczących zależności pomiędzy cechami środowiska szkolnego a wynikami uczniów. Hipotezy o wpływie szkoły na efekty kształcenia wymagają ponadto kontrolowania wielu czynników, które mogą wpływać na osiągane przez uczniów wyniki, ale nie zależą od szkoły. Kontrola tych czynników umożliwia oszacowanie wielkości tej części zmienności wyników uczniów, która może być przypisana szkołom czy klasom. Pozwala ona także na większe zaufanie do odnalezionych zależności pomiędzy cechami środowiska szkolnego a wynikami uczniów, zapobiegając w dużym stopniu odkrywaniu korelacji pozornych, czyli tych związków między dwiema zmiennymi, które dają się wyjaśnić wpływem trzeciej zmiennej, nie uwzględnionej w modelu. 4

5 Analizy zaprezentowane w rozdziale 3. miały na celu wypracowanie właśnie takich modeli, które umożliwią kontrolowanie czynników, które mogą wpływać na osiągnięcia uczniów, ale nie są zależne od szkoły. Przedstawiono w nim modele kontrolne dla analiz uwarunkowań efektywności nauczania w zakresie trzech obszarów osiągnięć szkolnych: umiejętności czytania, świadomości językowej i umiejętności matematycznych. Pokazały one jakie zmienne powinny być wzięte pod uwagę podczas analizowania znaczenia innych czynników mogących mieć wpływ na osiągnięcia szkolne, by uniknąć skupiania się na korelacjach pozornych. Potwierdziły także wyniki licznych badań pokazujących, że wyniki testów osiągnięć są uwarunkowane w pewnej mierze cechami uczniów i ich rodzin, na które szkoła nie ma większego wpływu. Jednym z ważniejszych i nie będących zaskoczeniem korelatów osiągnięć jest poziom inteligencji uczniów. Szczegółowo zależność ta jest analizowana w rozdziale 10. Również w zgodzie z wiedzą w tym zakresie status społeczno-ekonomiczny rodziny pochodzenia ucznia jest pozytywnie związany z wynikami testów osiągnięć. Problematyka związku cech rodziny pochodzenia uczniów z wynikami osiągnięć została bardziej wnikliwie zanalizowana i omówiona w rozdziale 11. Płeć uczniów ma znaczenie tylko dla testów językowych, w których to dziewczynki wypadły trochę lepiej, co najprawdopodobniej związane jest z różnicami w zakresie rozwoju mowy, więc także kompetencji językowych. Dla umiejętności matematycznych nie zaobserwowano istotnych różnic pomiędzy dziewczętami i chłopcami. Wyniki innych polskich badań prowadzonych z udziałem dzieci rozpoczynających naukę szkolną także pokazują brak istotnych różnic międzypłciowych dla umiejętności matematycznych, w odróżnieniu od umiejętności językowych, w których niewielką przewagę mają dziewczynki. Pokazuje to, że powszechne przekonanie, iż dziewczynki są mniej uzdolnione od chłopców w zakresie umiejętności matematycznych nie znajduje potwierdzenia przynajmniej na początku edukacji formalnej. Wiek uczniów również jest istotnie związany z poziomem osiągnięć. Analiza z wytrąceniem efektów dla opóźnionego lub przyspieszonego toku nauki pokazała, że starsi uczniowie mają większą szansę uzyskania wyższych wyników w testach. Uczniowie z głównej kohorty wiekowej mogą się różnić ze względu na wiek o rok, co oznacza różnice w wynikach testów o ok. jedną piątą odchylenia standardowego. Zależność ta jest istotna dla wszystkich trzech analizowanych obszarów osiągnięć. Efekt ten nie jest duży, choć silniejszy niż w przypadku zależności obserwowanej na sprawdzianie w szóstej klasie lub egzaminie gimnazjalnym. Dowodzi to tego, że znaczenie zmian rozwojowych dla osiągnięć szkolnych jest większe dla młodszych uczniów i potrzeba świadomości tego faktu nie tylko w badaniach edukacyjnych, ale także diagnozie indywidualnej i ewaluacji pracy szkół i nauczycieli, a może przede wszystkim w zarządzaniu oświatą na poziomie lokalnym i globalnym. Uczniowie o opóźnionym lub przyspieszonym toku nauki także różnią się średnim poziomem osiągnięć od uczniów z głównej kohorty wiekowej. Zależność ta nie jest jednak związana z ich wiekiem (musielibyśmy się bowiem spodziewać wtedy odwrotnego kierunku zależności), ale ze specyficznymi powodami przynależności do którejś z tych grup. Opóźniony tok kształcenia jest związany przede wszystkim z trudnościami w nauce lub przyczynami ściśle z tym powiązanymi, co powoduje, że uczniowie ci średnio uzyskują wyniki w testach osiągnięć o jedno odchylenie standardowe niższe niż przeciętnie uczniowie z głównej kohorty wiekowej. Natomiast uczniowie wcześniej rozpoczynający naukę są średnio uczniami o wyższym poziomie ogólnych zdolności i gotowości do nauki, których rodzice w szczególny sposób interesują się ich edukacją i w związku z tym, co do zasady, lepiej radzą sobie w zakresie osiągnięć szkolnych niż przeciętnie uczniowie z głównej kohorty wiekowej. Efekt ten okazał się nieistotny tylko dla umiejętności czytania. Analizy statystyczne pokazały istnienie znaczącego zróżnicowania osiągnięć między szkołami oraz na poziomie klas. Problematyka zróżnicowania klas i szkół podstawowych ze względu na wyniki naucza- 5

6 nia została szczegółowo przedstawiona w rozdziale 4. Warto jednak zwrócić uwagę na to, że uwzględnienie w modelach zmiennych wyjaśniających z poziomu uczniów pozwoliło zredukować znaczną część wariancji na poziomie klas. W przypadku testu umiejętności czytania i testu świadomości językowej spowodowało to, że wariancja efektów losowych na poziomie klas okazała się nieistotnie statystycznie różna od zera. Oznacza to, że nie możemy stwierdzić, że podział uczniów na klasy wyjaśnia jakąś część zmienności wyników testów językowych, jeśli kontrolujemy cechy biologicznospołeczne uczniów. Dla testu umiejętności matematycznych wariancja ta jest istotnie różna od zera, jednak większe znaczenie dla wyjaśniania zmienności wyników ma podział uczniów na szkoły. Analizy wyników badania podłużnego SUEK przedstawione w rozdziale 3 pokazały, jak duże znaczenie dla osiągnięć szkolnych po I etapie kształcenia mają charakterystyki indywidualne uczniów oraz środowisko rodzinne, z którego pochodzą. Cechy takie, jak inteligencja i powiązane z nią ogólne zdolności poznawcze, płeć, wiek czy status społeczno-ekonomiczny rodziny pochodzenia mogą być nazwane potencjałem ucznia, z którym przychodzi on do szkoły. Zadaniem szkół i nauczycieli jest natomiast jak najlepsze wykorzystanie tego potencjału, by uczeń mógł poczynić największy możliwy dla niego postęp. Publiczne szkoły rejonowe nie mają wpływu na to, jacy uczniowie do nich przyjdą. Jedne, choćby ze względu na swoje położenie, pracują z uczniami z trudnych środowisk społecznych, inne głównie z dziećmi inteligentów. Trudno wymagać zatem, by szkoły różniące się potencjałem uczniów na wejściu osiągały podobne wyniki nauczania. Co więcej, zmiany struktury społecznej i migracje przyczyniają się do tego, że także te same szkoły co roku mogą przyjmować uczniów o różnym potencjale. Tak więc nawet ewaluacja wewnątrzszkolna oparta tylko na wynikach testów osiągnięć nie pozwala poprawnie analizować efektywności nauczania w szkole w kolejnych latach. Obiektywna ocena pracy szkół i podejmowane na tej podstawie decyzje oświatowe, wymagają zatem zastosowania właściwych miar, uwzględniających to, co w nauczaniu najważniejsze, czyli postępy uczniów na danym etapie kształcenia. Umożliwienie zaś szkołom podstawowym wykorzystania w ewaluacji wewnątrzszkolnej miar uwzględniających potencjał uczniów na wejściu, pozwoliłoby im nie tylko przyjrzeć się efektywności nauczania na tle innych szkół w kraju, ale także lepiej zdiagnozować mocne i słabe strony swoich placówek i podjąć bardziej trafne decyzje dotyczące planu rozwoju szkoły. Zastosowanie miar uwzględniających potencjał uczniów na wejściu do szkoły dawałoby szansę na zmniejszenie negatywnych efektów związanych z posługiwaniem się w ocenie pracy szkół tylko wynikami testów osiągnięć (jak np. wynikami egzaminów zewnętrznych). Szkoły, które spijają śmietankę, nie musząc wiele wysiłku wkładać w wypracowanie wysokich wyników uczniów z uwagi na to, że przychodzili do nich uczniowie o wysokim potencjale, mogłyby poczuć się zmotywowane do pracy, jeśli okazałoby się, że inne szkoły, pracujące z podobnymi uczniami, przyczyniły się do większego ich postępu. Miary takie mogłyby zmniejszyć także poczucie ciągłej frustracji dobrych nauczycieli pracujących w trudnych środowiskach, a także nie pozwoliłyby złym nauczycielom przypisywać swoich niepowodzeń cechom uczniów i środowiska, z którego pochodzą. Innymi słowy, powinny one zachęcić szkoły do konkurencji opartej o rzeczywisty wkład w efekty nauczania, niezależny od potencjału uczniów przyjmowanych do szkoły. Miary uwzględniające potencjał uczniów na wejściu są wyznaczane dla gimnazjów, liceów i techników 1. Wskaźniki edukacyjnej wartości dodanej wyliczane są na podstawie danych z systemu egzami- 1 Prace te są prowadzone w ramach projektu: Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) Projekt jest realizowany w ramach działania 3.2. Rozwój systemu egzaminów zewnętrznych, priorytetu III: Wysoka jakość systemu oświaty, programu operacyjnego Kapitał Ludzki. Projekt jest planowany na lata r. Projekt 6

7 nacyjnego. Miarą potencjału uczniów na wejściu do szkoły są uprzednie osiągnięcia wyznaczane wynikiem egzaminu zewnętrznego na zakończenie poprzedniego etapu kształcenia. Pierwszym powszechnym testem osiągnięć jest sprawdzian w szóstej klasie szkoły podstawowej, więc wyniki tego egzaminu są wykorzystywane do obliczenia wskaźników EWD dla gimnazjów. Nie dysponujemy jednak porównywalną w skali kraju miarą potencjału uczniów na wejściu do szkół podstawowych i na wejściu w II etap nauczania, czyli na przełomie klas III i IV, która pozwoliłaby na opracowanie analogicznych wskaźników dla szkół podstawowych. Mając świadomość znaczenia cech indywidualnych uczniów i środowiska rodzinnego dla osiągnięć szkolnych na I etapie edukacyjnym, zróżnicowania tych charakterystyk między szkołami oraz korzyści płynących ze stosowania dobrych miar efektywności nauczania, uważamy, że wskazane jest stworzenie na potrzeby diagnozy szkolnej i wewnątrzszkolnej ewaluacji zestawów unormowanych, standaryzowanych instrumentów pomiarowych służących diagnozie potencjału uczniów na wejściu do szkół podstawowych (np. w postaci standaryzowanych testów gotowości szkolnej taki test już w IBE powstał: TUnSS - i/lub określenia statusu ekonomiczno-społecznego rodziny ucznia) oraz pomiaru osiągnięć szkolnych uczniów kończących pierwszy etap kształcenia. Diagnoza taka służyłaby nie tylko wypracowaniu wskaźników edukacyjnej wartości dodanej, ale także pozwoliłaby nauczycielom lepiej dobierać i planować działania edukacyjne do potrzeb ich uczniów. Potrzeba systematycznego monitoriowania zróżnicowania szkół i oddziałów klasowych W Polsce od 1999 r. obowiązuje dziewięcioletni jednolity i powszechny system szkolnictwa, na który składa się sześcioletnia szkoła podstawowa i trzyletnie gimnazjum. Pierwszym oficjalnym progiem selekcyjnym jest koniec gimnazjum, po którym uczniowie mogą wybrać dalszy kierunek swojej drogi edukacyjnej: ścieżkę zawodową - technikum lub zasadniczą szkołę zawodową, albo ścieżkę akademicką, realizowaną w liceach. Wybór ten dokonuje się w dużej części w oparciu o wyniki na egzaminie gimnazjalnym. Zgodnie z założeniami jednolitego systemu szkolnictwa, to jakie wyniki uczniowie osiągają na tym egzaminie (czy sprawdzianie w VI klasie szkoły podstawowej), lub szerzej szanse na sukces edukacyjny uczniów - nie powinny zależeć od tego, do której szkoły uczęszczają. Jednym ze sposobów na liczbowe ujęcie problemu jednolitości kształcenia jest wskaźnik zróżnicowania międzyszkolnego wyników kształcenia. Wskaźnik ten pozwala na określenie, na ile szkoły różnią się między sobą osiągnięciami szkolnymi uczniów. Pierwszym krokiem do jego wyliczenia jest dokonanie dekompozycji wariancji, czyli określenia, jaka część zróżnicowania indywidualnych wyników wszystkich uczniów może zostać przypisana zróżnicowaniu średnich grupowych (tj. średnich wyników dla szkół), a jaka zróżnicowaniu wyników poszczególnych uczniów w szkołach. W drugim kroku, komponent międzyszkolny zróżnicowania odniesiony jest do całkowitej wariancji wyników uczniów, a uzyskany wynik informuje nas, jaki odsetek całkowitego zróżnicowania osiągnięć szkolnych uczniów możemy przypisać podziałowi uczniów na szkoły. W przypadku idealnie jednolitego systemu szkolnego, szkoły osiągałyby te same średnie wyniki w testach, a wskaźnik zróżnicowania osiągałby wartość 0% (czyli, inaczej mówiąc, uczniowie każdej ze szkół osiągaliby średnio takie same wyniki). W przypadku odwrotnym, całe zróżnicowanie wyników indywidualnych uczniów sprowadzałoby się do różnic między szkołami wszyscy uczniowie w danej szkole osiągaliby te same wyniki, a wskaźnik przyjąłby wartość 100% (to do jakiej szkoły uczęszczałby uczeń, całkowicie determinowałoby jego wynik). do września 2012 roku był prowadzony przy Centralnej Komisji Egzaminacyjnej. Obecnie jest realizowany w Instytucie Badań Edukacyjnych. Więcej informacji o projekcie i jego rezultatach można znaleźć na stronie: 7

8 Miara zróżnicowania międzyszkolnego kryje w sobie bardzo dużo informacji o tym, co dzieje się w danym systemie kształcenia. W związku z tym jest dobrym wskaźnikiem oświatowym. Pomimo uproszczonego obrazu rzeczywistości, w którym zakłada się, że uczniowie są bezpośrednio pogrupowani w szkołach, umożliwia ona także interesujące międzynarodowe porównania, dzięki temu właśnie, że poziom szkoły jest jasno interpretowalny praktycznie we wszystkich krajach, w przeciwieństwie do relatywnie złożonych i niekoniecznie przystających do siebie sposobów organizacji nauczania w samych szkołach. Porównania międzynarodowe pozwalają określić nie tylko stopień jednolitości systemu szkolnego, ale także porównać jego jakość do systemów innych krajów. Opis analiz różnych aspektów zróżnicowania międzyszkolnego na poziomie międzynarodowym zawarty jest m.in. w sprawozdaniach z badania PISA OECD. W perspektywie polskiego systemu szkolnego, regularną analizę i monitoring zróżnicowania międzyszkolnego dla okresu jednolitego kształcenia umożliwia wprowadzony w 2002 roku system egzaminów zewnętrznych. Ogranicza się on jednak do dwóch pomiarów: pod koniec szkoły podstawowej (sprawdzian) oraz na zakończenie gimnazjum. W rozdziale 4 zaprezentowane zostały wyniki analizy zróżnicowania dla szkół podstawowych po pierwszym etapie kształcenia (tj. po trzeciej klasie szkoły podstawowej) na podstawie badań SUEK. Wyniki te zostały skonfrontowane z analizami zróżnicowania pod koniec szkoły podstawowej oraz na zakończenie gimnazjum. Pozwala to na szersze spojrzenie na dynamikę różnicowania się szkół w Polsce. Analizy te pokazały, że zróżnicowanie międzyszkolne wyników nauczania w zakresie umiejętności czytania, wiadomości językowej i umiejętności matematycznych po pierwszy etapie kształcenia jest względnie nieduże: wynosi ok. 7-9%. Biorąc pod uwagę specyfikę badanej próby można powdzień, że jesto poziom porównywalny ze zróżnicowaniem międzyszkolnym obserwowanym na sprawdzianie w klasie VI. Zaobserwowane w badaniu SUEK zróżnicowanie międzyszkolne jest jeszcze mniejsze, jeśli policzymy je kontrolując cechy uczniów i ich rodzin (5-7%). Oznacza to, że w pewnym stopniu zróżnicowanie międzyszkolne wyników na poziomie nauczania zintegrowanego jest rezultatem zróżnicowania międzyszkolnego potencjału uczniów na wejściu. Jednak nawet po wytrąceniu tego zróżnicowania, szkoły różnią się w pewnym stopniu efektywnością nauczania, co prowadzi do dość sporych różnic (w granicach jednego odchylenia standardowego), jeśli porównamy szkoły o skrajnych wynikach. Można więc powiedzieć, że patrząc całościowo na poziom zróżnicowania międzyszkolnego na tym etapie kształcenia mamy w miarę jednorodny system nauczania, co jednak nie oznacza, że nie odnajdujemy w nim szkół istotnie różniących się wynikami od średniej krajowej. Pełniejszy obraz działania procesów, które wpływają na zróżnicowanie wyników uczniów, możemy uzyskać, uwzględniając dodatkowo podział uczniów na klasy. Otrzymujemy wtedy informacje o tym, na ile podział uczniów na klasy w obrębie szkoły, wyjaśnia całkowite zróżnicowanie wyników lub, mówiąc inaczej, na ile klasy w danej szkole różnią się miedzy sobą średnimi wynikami. Kontrolując przy tym wpływ cech indywidualnych ucznia oraz jego rodziny, na które szkoła nie ma wpływu, otrzymujemy miarę zróżnicowania wyników uczniów, którą możemy przypisać różnej efektywności nauczania w poszczególnych oddziałach. Wyniki analiz pokazały, że jeśli interesuje nas zróżnicowanie wyników nauczania bez kontroli innych zmiennych, to zarówno podział na szkoły, jak i podział na klasy wewnątrz szkół istotnie wyjaśnia część wariancji wyników. Inaczej mówiąc, analiza ta pokazuje nam, że nie tylko zróżnicowanie szkół ze względu na wyniki jest znaczące (co mogliśmy zaobserwować wcześniej), ale także zróżnicowanie klas wewnątrz szkół ma znaczenie. 8

9 Na poziomie pierwszego etapu kształcenia, uczniowie zazwyczaj kształceni są przez jednego nauczyciela, co pozwala na lepsze powiązanie zróżnicowania efektów kształcenia na poziomie klas z pracą nauczyciela. Badanie SUEK wykazało, że po uwzględnieniu wpływu czynników indywidualnych i społecznych, oddziały tylko w niewielkim stopniu różnią się między sobą efektywnością nauczania w zakresie nauki czytania i świadomości językowej. W obszarze nauczania matematyki obserwujemy trochę większe zróżnicowanie efektów kształcenia dla oddziałów klasowych. Z badań SUEK wyłania się obraz w dużym stopniu jednolitego systemu szkolnego na pierwszym etapie kształcenia. Różnice w efektywności nauczania między szkołami są stosunkowo niewielkie. Choć system może wydawać się jednolity, należy sobie zadać pytanie, czy jego efektywność jest zadowalająca. Odpowiedzi na to pytanie mogą udzielić tylko badania międzynarodowe, w których wyniki są porównywalne między krajami i kolejnymi edycjami oraz wielokohortowe badania krajowe, w których te same bądź podobne narzędzia są wykorzystywane do pomiaru osiągnięć na kolejnych pokoleniach uczniów. Języka obcego uczeń klas I-III uczy się raczej poza szkołą Wyniki testu z języka angielskiego sprawdzające umiejętność czytania i słuchania, tak jak wyniki testów w zakresie pozostałych umiejętności szkolnych, są determinowane inteligencją ucznia oraz czynnikami społeczno-ekonomicznymi rodziny pochodzenia ucznia. Niezależnie od tych czynników dobra i bardzo dobra deklarowana znajomość języka obcego u rodziców a także uczęszczanie przez ucznia na zajęcia językowe poza obowiązkowymi lekcjami w szkole również mają istotne znaczenie dla poziomu wykonania testu z języka angielskiego. Przyczyny dużego zróżnicowania międzyszkolnego wyników testu z języka angielskiego wymagają dalszych badań i analiz. Udział w dodatkowych zajęciach z językowych okazał się mieć istotne znaczenie dla wyników uczniów w badaniu ich umiejętności z języka angielskiego. Decyzja o udziale dzieci w dodatkowych kursach i korepetycjach z języka obcego nie jest specjalnością rodziców uczniów pierwszego etapu edukacji. Według danych zebranych w badaniu ESLC w Polsce zjawisko to dotyczy również ok. 1/3 polskich gimnazjalistów. Przyczyny decyzji rodziców uczniów I-III dotyczące dodatkowej nauki języka wymagają dalszych badań, ale jest wysoce prawdopodobne, że mogą wynikać z przekonania o konieczności dodatkowej inwestycji w naukę i/lub z wygórowanych oczekiwania co do postępów uczniów na wczesnym etapie edukacji językowej. Niezbędne jest więc podjęcie działań edukacyjnych rodziców, które pomogą im zrozumieć proces uczenia się języka obcego w warunkach klasy szkolnej. Edukacja rodziców powinna przebiegać dwutorowo. Poprzez działania nauczyciela, który wyjaśnia proces edukacji językowej, np. prezentuje typowe osiągnięcia po kolejnych latach nauki i zachęca do współpracy przekazując rodzicom wskazówki dotyczące dodatkowej, wspólnej nauki z dzieckiem w domu, ale również poprzez działania zewnątrzszkolne, ogólnoedukacyjne, promujące edukację językową przez całe życie. Kampania społeczna, w której rozwiane zostaną mity związane z przyswajaniem języka obcego we wczesnym i dorosłym wieku przyczyni się do zrozumienia tego procesu przez rodziców oraz ich ważnej roli w rozwoju umiejętności językowych ich dzieci. Drugim istotnym wnioskiem z badania języka angielskiego dzieci jest pozytywny wpływ dobrej znajomości tego języka przez ich rodziców. Pożądana jest więc promocja uczenia się języka w rodzinie, dzielenia się doświadczeniami w nauce i tworzenie programów wspólnej nauki w domu. Promowanie nieformalnej i pozaformalnej (KRK) nauki języka obcego przez rodziców może okazać się czynnikiem, który korzystnie wpłynie na podnoszenie poziomu edukacji językowej dzieci. Znajomość języków obcych musi być traktowana jako jedna z ważnych umiejętności życiowych i element uczenia się przez całe życie, a nauka w szkole powinna być jego fundamentem. Biorąc pod uwagę fakt, że obowiązko- 9

10 wa edukacja językowa dzieci rozpoczynająca się w szkole od pierwszej klasy szkoły podstawowej jest najmłodszym obszarem edukacji w Polsce, bo trwa dopiero piąty rok (od września 2008), konieczne jest wsparcie dyrektorów szkół, nauczycieli i rodziców w tym nowym doświadczeniu. Jednym ze sposobów będzie opracowanie wskazań dotyczących włączania rodziców w proces edukacji językowej. Z prezentowanej w tym raporcie części badania wynika, jak istotna jest rola rodziców. Kolejna część projektu badawczego, która obejmie badanie obserwacyjne, pozwoli na określenie jakie działania nauczycieli i jaka organizacja środowiska nauki przyczyniają się do lepszych efektów przyswajania języka angielskiego oraz jaki rodzaj wsparcia procesu nauczania może być potrzebny. Pamiętając, że badanie gimnazjalistów (ESLC) wskazało na stosunkowo niskie wyniki polskich uczniów w zakresie języka angielskiego i niemieckiego, ale też na korzyści wynikające z wczesnego startu w języku obcym, należy dołożyć wszelkich starań, aby kolejne roczniki uczyły się w sposób bardziej efektywny. Języka obcego można nauczyć się w (dobrze uczącej) szkole! Inteligencja ma znaczenie - potencjał intelektualny, jego wykorzystanie i wzmacnianie Głównym celem analiz było znalezienie odpowiedzi na pytanie o siłę zależności pomiędzy inteligencją płynną a osiągnięciami szkolnymi uczniów w zakresie matematyki, czytania i świadomości językowej oraz zróżnicowanie siły zależności między klasami i szkołami. Spodziewano się, że wraz z poziomem inteligencji dziecka wzrastają jego osiągnięcia szkolne, jednak siła tej zależności będzie zależała od środowiska klasowego i szkolnego. Do pomiaru inteligencji wykorzystano Test Matryc Ravena, wersja Standard, forma Klasyczna (TMS-K). Wyniki potwierdziły istnienie silnej zależności pomiędzy poziomem inteligencji płynnej ucznia a jego osiągnięciami szkolnymi w trzech badanych obszarach: matematyki, czytania i świadomości językowej. Gdy wynik w Teście Matryc Ravena rośnie o 1 punkt, wynik ucznia w testach rośnie o odpowiednio: 0,54, 0,41 i 0,45 punktu (wszytkie skale standaryzowane, odchylenie standardowe 15). Wbrew hipotezom nie pojawiło się zróżnicowanie siły zależności inteligencja - osiągnięcia na poziomie oddziałów klasowych, co jest wynikiem nieoczekiwanym i wymaga dalszych badań. Występuje ono na poziomie szkół w przypadku kompetencji matematycznych. Po wykluczeniu 5% szkół o skrajnie niskiej lub wysokiej korelaci w pozostałych 95% szkół wraz ze wzrostem wyniku w Teście Matryc Ravena o 1 punkt, wynik w teście matematycznym rośnie o od 0,37 do 0,70 punktu. Analizy pokazują także, iż podobne zróżnicowanie występuje w przypadku siły zależności między inteligencją płynną a umiejętnością czytania i świadomością językową, jednak modele zawierające te efekty nie pozwalają lepiej wyjaśniać osiągnięć uczniów w porównaniu do modeli ich nie uwzględniających. Ponadto zaobserwowana została ujemna korelacja między stałą a wariancją nachyleń dla Testu Matryc Ravena w szkołach, co oznacza, że w placówkach o wyższych osiągnięciach siła badanej zależności jest słabsza. W kontekście uzyskanych wyników wskazujących na istotne zróżnicowanie siły zależności pomiędzy inteligencją a osiągnięciami szkolnymi na poziomie szkół pojawia się pytanie o skutki wysokiej lub niskiej korelacji pomiędzy IQ a osiągnięciami szkolnymi w danej szkole. Niska korelacja połączona z wysokimi wynikami i małym ich zróżnicowanie jest wynikiem - jeżeli nie jest uzyskany przez silną selekcję na wejściu pożądanym. Odwrotna konfiguracja wyników jest z pewnością rezultatem oświatowo niepożądanym oznacza, że szkoła w prosty sposób odwarza zróżnicowanie IQ nie dając wartości dodanej. Bardziej złożona jest interpretacja pośrednich konfiguracji. Na przykład, jeżeli mamy do czynienia z dużym zróżnicowaniem osiągnięć szkolnych w danej szkole, to niska korelacja ich z IQ jest sygnałem niepokojącym. Wskazuje, że szkolna pedagogia w niewielkim stopniu odwołuje się do zdolności uczniów, premiując natomiast np. konformizm lub mechaniczne zapamiętywanie niepowiązanych wiadomości. Ale słaba siła zależność połączona z wysokim średnim poziomem osiągnięć mo- 10

11 że wynikać z obowiązujących w obrębie szkoły metod nauczania, które ukierunkowane są w równym stopniu na rozwijanie inteligencji analitycznej dzieci oraz inteligencji praktycznej i twórczej. Można ją także uzasadnić spójnym systemem pracy z uczniami wdrażanym od początku ich szkolnego życiorysu, który polega na porządkowaniu pracy uczniów na lekcji poprzez rozwój ich funkcji wykonawczych z naciskiem na koncentrację uwagi na treści lekcji. Tego typu działania rozwijają umiejętności uczniów w zakresie samoregulacji procesu uczenia. Powyższe hipotezy wymagają sprawdzenia w specjalnie przygotowanych i dostosowanych do polskich warunków programach interwencyjnych skoncentrowanych na rozwijaniu funkcji wykonawczych oraz inteligencji w ujęciu Sternberga. Interwencje te należą do metod najczęściej opisywanych w kategoriach wspierania rozwoju potencjału intelektualnego uczniów w szkole podstawowej i mogą być wdrażane w szkołach. Współczesna wiedza pozwala na projektowanie programów wspierających rozwój różnych funkcji intelektualnych dziecka. Pojemność pamięci roboczej w dużym stopniu determinuje różne kompetencje poznawcze np. logiczne rozumowanie czy rozwiązywanie problemów, co znajduje potwierdzenie w badaniach nad neuroobrazowaniem pracy mózgu. Ich wyniki wskazują, iż zadania angażujące pamięć oraz zadania na inteligencję płynną aktywizują podobne sieci neuronalne, zlokalizowane w bocznej korze przedczołowej i ciemieniowej. Na tej podstawie tworzone są liczne interwencje i treningi mające rozwijać kompetencje poznawcze uczniów. Dotychczasowe oddziaływania w większości były skoncentrowane na uczniach z deficytami kontroli poznawczej (uczniowie z ADHD), a ich wyniki pozwalają wnioskować o poprawie w trenowanym zadaniu, ale także o efektach niespecyficznych, tj. transferze trenowanej zdolności na inne zadania. Koncepcja treningów poznawczych traktowanych jako rodzaj korepetycji usprawniających proces przetwarzania informacji cały czas jest rozwijana, a poszczególne rodzaje treningów analizowane pod kątem generowanego stopnia transferu specyficznego i niespecyficznego. Celem tych badań w kontekście psychologii edukacyjnej jest stworzenie programów komputerowych opartych na klasycznych testach poznawczych, które będą funkcjonować jako kursy dostępne w sieci i umożliwienie uczniom tym samym samodzielnego wykonywania ćwiczeń. Wyniki dotychczasowych badań pokazują różnice w wielkości transferu specyficznego i niespecyficznego na korzyść dzieci i młodszych dorosłych poddawanych treningom poznawczym, warunkowane lepszą plastycznością mózgu dzieci. Właśnie w tej grupie obserwuje się efekty w postaci zmniejszania nasilenie symptomów ADHD czy też poprawę wyników testów mierzących inteligencje płynną. Interaktywna zabawa podejmowana w trakcie różnego rodzaju treningów polepsza odporność uczniów na dystraktory, poprawia funkcjonowanie pamięci roboczej, co w efekcie pozwala im lepiej funkcjonować w środowisku szkolnym. Na tej podstawie zaleca się wczesną diagnozę trudności dzieci w wieku przedszkolnym w zakresie koncentracji uwagi, umiejętności hamowania niepożądanych reakcji czy też pojemności pamięci roboczej i wprowadzanie, poczynając od szkoły podstawowej, odpowiednich treningów poznawczych. Trenowanie różnych aspektów poznawczego funkcjonowania ma na celu nie tylko pomagać uczniom ze stwierdzonymi już deficytami, ale przede wszystkim, bazując na transferze niespecyficznym przyczyniać się do zwiększenia efektywności uczenia wszystkich uczniów. Teoria inteligencji sprzyjającej powodzeniu życiowemu Sternberga uwzględnia trzy rodzaje inteligencji: inteligencję analityczną, praktyczna i twórczą. Liczne badania potwierdzają skuteczność metod uczenia skoncentrowanych nie tylko na abstrakcyjnym charakterze zadań rozwiązywanych najczęściej w tradycyjnym systemie nauczania, ale także na twórczym i praktycznym wykorzystywaniu przekazywanej wiedzy. W przypadku uczenia myślenia twórczego metoda kładzie nacisk na umożliwienie uczniom sytuacji poszukiwania różnych dróg rozwiązań, nowych i oryginalnych pomysłów, podejmowania ryzyka związanego z wychodzeniem poza utarte schematy poznawcze. Jeśli chodzi o uczenie 11

12 myślenia praktycznego, zadaniem nauczyciela jest przede wszystkim jak najczęstsze odnoszenie się do celu działania i efektu, który ma się pojawić w wyniku konkretnego działania. Nauczyciel musi pamiętać, że tradycyjna nauka w szkole sprzyja rozwojowi inteligencji analitycznej, różnego rodzaju treningi twórczości rozwijają inteligencje twórczą, a różnorodność codziennych doświadczeń i możliwość przekładania przyswajanej wiedzy na praktyczne działania jest bardzo korzystna dla inteligencji praktycznej. Uwzględnianie wszystkich powyższych trzech konstruktów i praca skoncentrowana na adekwatnym do sytuacji doborze jednej z trzech strategii nauczania: dydaktycznej, opartej na faktach i dialogicznej, wzmacnia motywację ucznia do nauki i jego przekonanie o sensowności podejmowania działań na lekcji oraz stwarza jeszcze więcej okazji do przekonania się o własnej skuteczności w konkretnym działaniu. Powyższa koncepcja ma bardzo pragmatyczny charakter, równolegle zmienia podejście do kwestii pomiaru osiągnięć oraz pomiaru inteligencji, nie mniej ma bardzo pozytywny wpływ na proces edukacji uczniów. Trzeba pamiętać, że zdolności jednostki w jednym z trzech przytaczanych obszarów nie pozwalają na przewidywanie inteligencji w pozostałych, dlatego każdy rodzaj inteligencji może przekładać się na osiąganie powodzenia w życiu, aczkolwiek różnie rozumianego. Rozwijanie wszystkich rodzajów inteligencji, zaproponowanych przez Sternberga w swojej koncepcji, już od początku szkoły podstawowej zwiększa szanse uczniów na powodzenie życiowe. Wskazane jest wprowadzanie w szkole takich strategii pracy z uczniami, które w toku nauczania będą wykorzystywać ich zróżnicowane zdolności, a tym samym pozwolą budować kompetencje w oparciu o mocne strony oraz rozwijać te, które są słabsze. Wiąże się to ze stosowaniem zróżnicowanych metod nauczania i stawianiem przed zróżnicowanymi zadaniami, które wykorzystywać będą także kreatywność dzieci oraz ich codzienne doświadczenie. Istotna jest także taka organizacja procesu nauczania i pracy uczniów, która z jednej strony uwzględniać będzie ograniczenia uczniów w zakresie samokontroli, uwagi dowolnej, a z drugiej strony pozwoli je trenować. Wziąwszy pod uwagę zróżnicowanie dzieci w tym zakresie, może to wymagać zindywidualizowania stawianych przed uczniami zadań i wymagań oraz weryfikowania czynionych przez nich postępów. Przekonani jesteśmy, że oba z tych nurtów działań dodatkowo sprzyjać będą odczuwaniu przez dzieci sprawstwa i poczucia kompetencji i bwzmacniać ciekawość poznawczą, rozwijając tym samym motywację do nauki. W przypadku uczniów o szczególnych trudnościach w obszarze funkcji wykonawczych wskazane jest stosowanie odpowiednich treningów, które będą je rozwijać, pomagając dziecku funkcjonować w klasie szkolnej. Treningi te powinny być przygotowane przez specjalistów z tego zakresu i cechować się potwierdzoną w badaniach naukowych skutecznością. Ze swej natury muszą się odbywać poza zajęciami szkolnymi, stąd konieczna jest współpraca na linii rodzice wychowawca. Poprzedzić je musi odpowiednie rozpoznanie trudności dziecka (najlepiej już na etapie przejścia dziecka do szkoły podstawowej), stąd współpraca ta kluczowa jest nie tylko ze względu na konieczność wyrażenia przez rodziców zgody na takie zajęcia i wsparcia dziecka podczas nauki domowej, lecz także ze względu na jak najwcześniejszą identyfikację pojawiających się problemów. W kontekście powyższych zaleceń istotne jest rozwijanie profesjonalnych umiejętności nauczycieli zarówno w zakresie dydaktyki, jak i psychologii rozwojowej. Tak jak każda umiejętność, stosowanie niestandardowych metod nauczania, wymaga treningu. Ponadto wspieranie rozwoju funkcji wykonawczych czy samokontroli uczniów, jak również wstępne określenie, czy u dziecka pojawiają się problemy w tym zakresie, wymaga znajomości norm i prawidłowości rozwojowych, stąd kluczowa jest wiedza z tego obszaru. Wszystko to może być włączone w profesjonalne kształcenie nauczycieli zarówno na poziomie studiów, jak i rozwoju profesjonalnego (awansu zawodowego), stanowiąc jeden z naturalnych elementów podnoszenia kompetencji zawodowych. Powinno być także wsparte możliwością 12

13 konsultacji ze specjalistą w zakresie metodyki nauczania oraz dostępem do odpowiednich materiałów samokształceniowych i dydaktycznych. Lęk utrudnia szkolne uczenie się - emocjonalność, lęk, nieśmiałość a osiągnięcia szkolne Przeprowadzona analiza miała na celu znalezienie odpowiedzi na pytanie o siłę zależności pomiędzy lękiem jako cechą oraz napięciem emocjonalnym i jego somatycznymi objawami a osiągnięciami szkolnymi uczniów w zakresie matematyki, czytania i świadomości językowej. Postawiono też pytania o możliwe zróżnicowanie jej siły między klasami i szkołami oraz o interakcje wskazanych zmiennych z inteligencją ucznia. Spodziewano się, że istnieje ujemna zależność między wskazanymi zmiennymi a osiągnięciami szkolnymi uczniów. Jako miara lęku-cechy posłużyły wyniki skali lęk-cecha kwestionariusza STAIC oraz informacje z ankiety rodzicielskiej dotyczące objawów somatycznych i psychicznych mogących być wskaźnikami lęku i napięcia emocjonalnego. Analiza wykazała słabe związki pomiędzy wskaźnikami napięcia emocjonalnego i somatycznego a lękiem-cechą. Sugeruje to, iż są to odrębne konstrukty, dotyczące nieco innych obszarów emocjonalności dziecka. Wyniki analiz dotyczących związków pomiędzy poziomem lęku-cechy oraz objawami emocjonalnymi i somatycznymi lęku (dane pochodzące od rodziców) a wynikami w zakresie umiejętności matematycznych, czytania oraz pisania wykazały, że dla osiągnięć szkolnych istotnym, znaczącym czynnikiem determinującym okazał się lęk jako cecha. Napięcie emocjonalne ma mniejsze znaczenie. Najbardziej jednak zaskakującym odkryciem był istotny statystycznie efekt interakcji lęku jako cechy z inteligencją wraz ze wzrostem poziomu lęku jako cechy spadają osiągnięcia szkolne dziecka, jednakże im wyższy poziom inteligencji dziecka, tym spadek ten jest łagodniejszy. Zaobserwowane zależności dowodzą, że dzieci z wysokim ilorazem inteligencji również doświadczają pogorszenia wyników wraz ze wzrostem poziomu lęku, jednak pogorszenie to jest mniejsze. Ten niezwykle intrygujący wzór zależności odnajdujemy we wszytkich badanych obszarach nauczania. Sytuacja, w której jeden lub więcej uczniów w klasie przejawia podwyższony poziom lęku, zauważalny przez dorosłych (rodziców, nauczyciela), powinna prowadzić do indywidualnej diagnozy problemów dziecka i jeżeli taka jest konieczność, podjęcia działań mających na celu udzielenie mu odpowiedniej pomocy. Szczególnie ważna jest tu czujność opiekunów dziecka (wychowawcy klasy, rodziców), którzy zazwyczaj dysponują informacjami pochodzącymi z obserwacji zachowań dziecka i którzy powinni reagować na pojawiające się symptomy zarówno świadczące o napięciu emocjonalnym jak i objawach somatycznych. Należy również pamiętać, że w przypadku dzieci lękowych, ze względu na charakter przeżywanych problemów, np. tendencje do zamartwiania się, negatywne interpretacje własnych działań, cześć z nich jest trudna do zaobserwowania w toku codziennych klasowych interakcji. Dzieci takie potrzebują stworzenia bezpiecznej sytuacji w której mogłyby swobodnie opowiadać o swoich problemach, lękach i obawach. W kontekście pomocy udzielanej tym dzieciom szczególnie istotna jest współpraca szkoły i rodziców. Wskazuje się bowiem, że część zachowań mogących świadczyć o wysokim poziomie lęku i związanych z tym problemach np. w kontaktach z rówieśnikami obserwowana jest w szkole i dostrzegana przez nauczycieli, natomiast rodzice nie mają świadomości występowania tego typu utrudnień. Zatem w tym zakresie konieczna jest obustronna komunikacja i wymiana informacji pomiędzy szkołą a domem rodzinnym dziecka. Ma to znaczenie nie tylko w kontekście osiągnięć szkolnych, lecz także dobrostanu i optymalnego rozwoju dziecka. Charakter i źródło lęków u dzieci ulegają istotnym zmianom na przestrzeni okresu szkolnego i okresu adolescencji. Świadomość tych zamian oraz kompetencje do ich właściwego rozpoznawania i nazy- 13

14 wania wydają sie szczególnie istotne w obliczu pojawiających się informacji o zwiększającym sie odsetku dzieci cierpiących na różnorodne zaburzenia emocjonalne. W tym kontekście szczególnie ważne wydaje się odpowiednie kształcenie nauczycieli szkół podstawowych w zakresie psychologii rozwoju człowieka, z naciskiem na rozwój dziecka w wieku przedszkolnym i szkolnym. W odniesieniu do znaczenia lęku-cechy dla osiągnięć szkolnych, ważne wydają się także warunki i atmosfera panująca w klasie i szkole. Wiedząc, iż lęk jest dyspozycją do spostrzegania różnorodnych bodźców jako lękotwórczych i odczuwania lęku sytuacyjnego, należy także zadbać o to, by środowisko szkolne było spostrzegane przez dziecko jako bezpieczne i zawierało jak najmniej lękotwórczych elementów. Elementy te obejmować mogą zarówno infrastrukturę szkoły (np. bliskość klas uczniów nauczania początkowego z uczniami z ostatnich klas szkoły podstawowej i związany z tym hałas), jak i czynniki wewnątrz klasy (np. zachowanie innych uczniów, sposób prowadzenia lekcji czy sprawdzania postępów w nauce). Z drugiej strony nie jest jednak możliwe (ani wskazane) eliminowanie wszystkich czynników potencjalnie lękotwóczych, gdyż istotną rolę odgrywa także tworzenie przez wychowawcę warunków, które pozwolą dziecku rozwijać kompetencje emocjonalne. Uważamy bowiem, że tworzenie okazji do konfrontacji z sytuacjami potencjalnie trudnymi które, wymagają mobilizacji i zaangażowania a jednocześnie dają również okazję do doświadczenia sukcesu, staje sie niezmiernie ważne w kontekście kształtowania kompetencji samoregulacji i samokontroli. Analizowany problem związków lęku z osiągnięciami szkolnymi można potraktować szerzej jako problem istotności dobrostanu emocjonalnego dziecka i jego związków z poziomem osiągnięć. Dla optymalnego funkcjonowania i realizacji własnego potencjału najbardziej pożądaną formą motywacji jest motywacja wewnętrzna. Wiąże się ona nie tylko z większym prawdopodobieństwem wyższych osiągnięć, ale jest również istotna dla dobrostanu. Po to aby możliwy był rozwój motywacji wewnętrznej muszą zostać zaspokojone trzy podstawowe według tych autorów potrzeby: kompetencji, autonomii i powiązań. Rozwijanie okazji do zaspokojenia właśnie tych potrzeb może być kluczowe również w kontekście minimalizowania wpływu lęku na osiągniecie oraz zmniejszania niebezpieczeństwa pojawienia się zaburzeń lękowych w wyniku oddziaływań szkoły. Warto zwrócić uwagę, iż w przypadku dzieci z podwyższonym poziomem lęku, problemy w ich funkcjonowaniu szkolnym nie dotyczą tylko kwestii osiągnięć, ale również kontaktów z rówieśnikami i nauczycielami. Nadmiernie wysoki poziom lęku wiąże sie z trudnościami w budowaniu i podtrzymywaniu satysfakcjonujących relacji z rówieśnikami co z kolei prowadzi do niższych kompetencji społecznych. Zatem uczniowie ci mogą mieć trudności w zaspokojeniu potrzeby afiliacji i przynależności, mogą mieć poczucie że są spychani poza centrum klasowego i rówieśniczego życia, co wtórnie może przekładać się na stosunek do szkoły, motywację do nauki, a w efekcie - osiągane wyniki. Działania mające na celu integrację uczniów, prowadzące do polepszenia współpracy miedzy nimi oraz budowania dobrej atmosfery w klasie, zwrotnie mogą przyczyniać się do obniżania poziomu lęku u dzieci, które biorą w nich udział. Trzeba jednak mieć świadomość, że ci uczniowie u których natężenie lęku jest wysokie i u których diagnozuje sie zaburzenia czy to lękowe czy to inne zaburzenia emocjonalne wymagać będą specjalistycznych oddziaływań poprzedzających ich udział w takich ogólnoklasowych zajęciach. Kadrowy zastój, czyli krótki portret nauczycieli klas I-III Badani nauczyciele edukacji wczesnoszkolnej to prawie wyłącznie kobiety stanowiły one 96% badanej próby. Przeszło połowa z nich (60%) jest w wieku lat, tylko ok. 6% stanowiły osoby poniżej 30 roku życia. Świadczy to o niewielkim dopływie do zawodu nowych osób (wynikającym ze zmian demograficznych i wydłużenia aktywności zawodowej i związanej z nimi polityki edukacyjnej ) i starzeniu się kadry nauczycielskiej. 14

15 Większość badanych nauczycieli uczęszczało na studia magisterskie (93%), w tym jednolite studia magisterskie wskazało 44%, a studia magisterskie uzupełniające - 50%. 3% badanych nauczycieli (n=32) skończyło wyższe studia zawodowe i nie kontynuowało później nauki, zatem można przypuszczać, że posiadają wykształcenie wyższe I stopnia licencjat lub tytuł inżyniera, 3% osób badanych (n=40) zakończyło edukację na poziomie średnim. Rok ukończenia studiów magisterskich podało 86% wszystkich badanych nauczycieli, na tej podstawie można więc założyć, że co najmniej taki procent badanych ma wykształcenie wyższe magisterskie. Ponad połowa badanych nauczycieli zadeklarowała, iż rozpoczęła lub ukończyła studia podyplomowe (58%), z czego przeszło połowa wskazało jeden kierunek, 13% dwa kierunki, 3% trzy kierunki, 1% cztery kierunki. Prawie wszyscy nauczyciele zadeklarowali posiadanie stopnia awansu zawodowego (97%). Zdecydowana większość osiągnęła najwyższy stopień w hierarchii zawodowej tytuł nauczyciela dyplomowanego 62%, a znikoma liczba z nich posiada tytuł nauczyciela stażysty (1%), co nie jest wynikiem zaskakującym, biorąc pod uwagę strukturę wieku badanych nauczycieli. Łatwo mierzalne cechy nauczyciela klas I-III nie mają wpływu na efektywność nauczania Analizy dotyczące relacji pomiędzy charakterystykami nauczyciela, a wynikami w testach jego uczniów nie pozwalają stwierdzić żadnych istotnych związków. Dzieje się tak pomimo tego, że zbadana próba nauczycieli jest reprezentatywna dla nauczycieli klas I-III szkół podstawowych w Polce. Jednak nie oznacza to oczywiście, że nauczyciele nie mają wpływu na wyniki swoich uczniów, Do takich wniosków opisane w rozdziale analizy nie uprawniają. Wiadomo tylko tyle, że zmienne które zbadaliśmy, a więc doświadczenie, stopień awansu, zawód rodziców nauczyciela oraz zmienne psychologiczne (orientacja na dominację społeczną oraz poczucie szczęścia) nie wiążą się z wynikami jego wychowanków w testach. Jak się okazało, również stosowany przez nauczyciela podręcznik nie jest przyczyną istotnego zróżnicowania osiągnięć uczniów. Wydaje się, że związków ze zmiennymi z poziomu nauczycielskiego spodziewać się należy gdzie indziej - przede wszystkim w zmiennych wynikających z obserwacji tego, co nauczyciel robi, a więc obserwacji lekcji, które prowadzi, jego pracy dydaktycznej i wychowawczej. Dane takie zostaną pozyskane w kolejnych etapach projektu badawczego. Nierówności edukacyjne i sposoby ich zmniejszania Międzynarodowe badania osiągnięć szkolnych pokazują, że nasilenie nierówności edukacyjnych rozumiane jako siła powiązania osiągnięć szkolnych ze statusem ekonomiczno-społecznym rodziny ucznia jest w Polsce na przeciętnym lub trochę ponadprzeciętnym poziomie. Czy zatem fakt, że jak pokazuje badanie SUEK około 20% zmienności wyników nauczania na koniec I etapu edukacyjnego w Polsce da się wyjaśnić różnymi miarami statusu ekonomiczno-społecznego rodziny pochodzenia ucznia powinno martwić polityków oświatowych? Zdecydowanie tak. Poziom determinacji osiągnięć szkolnych w klasie III szkoły podstawowej jest tak samo silny, jak 6 lat później w III klasie gimnazjum. Część tej determinacji da się wyjaśnić niezależnym od szkoły wpływem przekazu genetycznego zapośredniczonego przez inteligencję ucznia - kontrola w analizach korelacji SES x osiągnięcia szkolne zmiennej inteligencji wykazała, że istnieje znaczący, niezapośredniczony wpływ SES na osiągnięcia. Jednak siła tej zależności po kontroli IQ znacząco spada. Przy interpretacji tego wyniku należy pamiętać zarówno o tym, że w tym wieku środowisko wspólne (w tym SES) jeszcze znacząco kształtuje inteligencję, ale również o tym, że szkoła istotnie wpływa na IQ. Reasumując, w dużej części nasilenie nierówności edukacyjnych zależy od bezpośredniego wpływu SES rodziny ucznia. 15

16 Jakie cechy rodziny skorelowane z SES mogą wyjaśniać statusową determinację osiągnięć szkolnych? Analiza wpływu aktualnej pozycji rodziców na rynku pracy na osiągnięcia szkolne wykazała, że nie ma podstaw do twierdzenia, że bezrobocie rodziców obniża osiągnięcia. Również pozostałe wyróżnione statusy rodziców na rynku pracy nie przekładają się istotnie na obniżenie osiągnięć, a w wypadku umiejętności matematycznych obserwujemy nawet pozytywny efekt zajmowania się przez ojca domem. Wielkość gospodarstwa domowego, to, kto wychowuje dziecko (pełna rodzina, tylko jedno z rodziców czy rodzina zrekonstruowana) czy wielopokoleniowość rodziny (babcia i dziadek we wspólnym gospodarstwie domowym) też nie wpływa na osiągnięcia szkolne. Obserwujemy natomiast wpływ wielodzietności na poziom osiągnięć uczniów. Zgodnie z przewidywaniami wyprowadzonymi z modelu konfluencyjnego Zajonca im więcej dzieci, tym mniejsze osiągnięcia poznawcze, ale tylko dla czytania i świadomości językowej. Silniej skorelowany z IQ wymiar umiejętności matematycznych nie podlega wpływowi czynnika liczby dzieci w rodzinie. Wielodzietność sama w sobie jest zatem czynnikiem ryzyka edukacyjnego w zakresie kształcenia językowego, nie ma znaczenia w edukacji matematycznej. W sumie jednak wyniki te wskazują, że przyczyn statusowej determinacji osiągnięć szkolnych trzeba szukać głównie w samej naturze przekazu szkolnego i szkolnych pedagogiach. Przez wiele lat zarówno badania nad nierównościami edukacyjnymi w Polsce jak i debata polityczna wokół nierówności koncertowała się na opozycji miasto wieś. Badania SUEK wykazało, że czynnik wielkości miejscowości, w której jest zlokalizowana szkoła, nie wpływa znacząco na efektywność nauczania na poziomie klasy III szkoły podstawowej. Analiza wpływu lokalizacji szkoły wykazała, że czysty wpływ wilekości miejscowości na osiągnięcia szkolne jest bliski zeru. Przy kontroli zmiennych SES nie zanotowano żadnego istotnego statystycznie efektu dla żadnego z testowanych obszarów nauczania. To bardzo ważny dla polityki oświatowej wniosek. Działania zmierzające do poprawy efektywności nauczania na I etapie kształcenia nie powinny być adresowane ze względu na podział miasto-wieś. Na koniec rekapitulacji najważniejszych odkryć badania SUEK trzeba powiedzieć, że obserwujemy znaczące statystycznie, choć niezbyt duże międzyodziałowe zróżnicowanie nasilenia determinacji statusowej osiągnięć szkolnych. Próba wyjaśnienia tych różnic wielkością klasy i takimi cechami nauczyciela jak pochodzenie społeczne, staż czy orientacja na społeczną dominację skończyła się niepowodzeniem. Jedynie dwie zmienne w statystycznie znaczącym stopniu wyjaśniają międzyoddziałowe zróżnicowanie korelacji SES x osiągnięcia szkolne. Okazuje się, że można oczekiwać słabszej determinacji statusowej w wypadku oddziałów klasowych w szkołach zlokalizowanych w dużych miastach i nauczanych przez nauczycieli kontraktowych. To zaskakujące odkrycia wymagające dalszych badań, by ich sens dobrze zinterpretować. Jak zatem prowadzić politykę wyrównywania szans edukacyjnych i osłabiania determinacji statusowej na I etapie edukacyjnym? Wzorem krajów, które od lat borykają się z tym problemem, wydaje się, że można wytyczyć trzy kierunki działań. Po pierwsze, krytyczne przyjrzenie się różnym elementom wczesnoszkolnych pedagogii z punktu widzenia ich stronniczości statusowej. Czy nauczanie zintegrowane i oceny opisowe równie dobrze służą dzieciom z rodzin o wysoki i niskim SES? Po drugie, należy wzmocnić działania wyrównawcze prowadzone w szkołach. Wzorem amerykańskiego programu NCLB, ale być może skuteczniej, trzeba podjąć walkę z wczesnymi niepowodzeniami szkolnymi. Po trzecie, należy wzorem amerykańskich programów typu Head Start, High/Scope Perry Preschool Program, Syracuse Family Development Research Project, Yale Child Welfare Project, Project Care, Infant Health and Development Program czy Abecedarian Project czy angielskiego Sure Start wdrożyć programy interwencyjne kierowane do rodzin edukacyjnego ryzyka. Interwencje i programy skierowane do uczniów z grup edukacyjnego ryzyka są skuteczne, o ile są intensywne, długotrwałe, realizowane we wczesnym dzieciństwie i przez profesjonalistów oraz obejmują swoim zasięgiem także rodzi- 16

17 ców. Wiele z nich powoduje wzrost poziomu inteligencji dzieci i chociaż zwykle efekt ten zanika w trakcie nauki szkolnej, to zwykle utrzymują się pozytywne efekty związane z osiągnięciami szkolnymi. Uzyskują oni wyższe wyniki w standaryzowanych testach, częściej kończą szkołę średnią, podejmują studia, mają wyższe dochody, rzadziej powtarzają klasy i opuszczają przedwcześnie szkołę, rzadziej kierowani są do szkół specjalnych, rzadziej wchodzą w konflikt z prawem. Chociaż koszty tego typu programów kompensacyjnych są wysokie, to i tak okazują się o wiele niższe niż ekonomiczne starty spowodowane koniecznością poniesienia większych nakładów na edukację (dodatkowe lata w szkole, kontynuacja nauki w szkołach specjalnych), opiekę społeczną (wypłata zasiłków), walkę z przestępczością czy bezrobociem. Ponad to kalkulacje te nie uwzględniają podniesienia jakości życia uczestników programów i ich rodzin. Uważny czytelnik z pewnością zauważył, że na liście proponowanych działań nie ma upowszechnienia przedszkola. Zwiększanie udziału dzieci w wychowaniu przedszkolnym jest ważnym celem polityki edukacyjnej, ale nie ma powodów oczekiwać, że będzie to remedium na statusową determinację osiągnięć szkolnych. 17

18 Spis treści WPROWADZENIE: CELE I ZAŁOŻENIA PROGRAMU BADAWCZEGO SUEK (ROMAN DOLATA, PIOTR RYCIELSKI)21 CZĘŚĆ I: METODOLOGIA BADANIA EFEKTYWNOŚCI KSZTAŁCENIA NA I ETAPIE EDUKACYJNYM PRÓBA BADAWCZA I PROCES ZBIERANIA DANYCH (MICHAŁ MALUCHNIK, MICHAŁ MODZELEWSKI LESZEK SŁOWICKI) POPULACJA PRÓBA SCHEMAT DOBORU PRÓBY PRÓBA ZREALIZOWANA REALIZACJA BADANIA REPREZENTATYWNOŚĆ PRÓBY LITERATURA CYTOWANA POMIAR WYNIKÓW NAUCZANIA W ZAKRESIE CZYTANIA, ŚWIADOMOŚCI JĘZYKOWEJ I MATEMATYKI (ALEKSANDRA JASIŃSKA, MICHAŁ MODZELEWSKI) PODSTAWOWE ZAŁOŻENIA I CEL POMIARU CHARAKTERYSTYKA SKAL POMIAROWYCH KONSTRUKCJA TESTÓW OSIĄGNIĘĆ SZKOLNYCH OPIS OSTATECZNEJ WERSJI TESTÓW PRZYJĘTY MODEL ANALIZY DANYCH WŁAŚCIWOŚCI PSYCHOMETRYCZNE TESTÓW OSIĄGNIĘĆ SZKOLNYCH PODSUMOWANIE LITERATURA CYTOWANA: PODSTAWOWY MODEL ANALIZY DANYCH (ALEKSANDRA JASIŃSKA, MICHAŁ MODZELEWSKI) PROBLEM PRZYCZYNOWOŚCI W BADANIACH EDUKACYJNYCH WIELOPOZIOMOWE MODELE ANALIZY A STRUKTURA DANYCH EDUKACYJNYCH ZASTOSOWANE MODELE ANALIZY PROBLEM WAG W MODELACH WIELOPOZIOMOWYCH OPIS MODELI KONTROLNYCH OPRACOWANYCH NA POTRZEBY ANALIZ PREZENTACJA I OMÓWIENIE WYNIKÓW PODSUMOWANIE LITERATURA CYTOWANA ZRÓŻNICOWANIE KLAS I SZKÓŁ PODSTAWOWYCH ZE WZGLĘDU NA WYNIKI NAUCZANIA W ZAKRESIE CZYTANIA, ŚWIADOMOŚCI JĘZYKOWEJ I MATEMATYKI (ALEKSANDRA JASIŃSKA, MICHAŁ MODZELEWSKI) ZNACZENIE MIARY ZRÓŻNICOWANIA MIĘDZYSZKOLNEGO ZRÓŻNICOWANIE MIĘDZYSZKOLNE WYNIKÓW NAUCZANIA PO PIERWSZYM ETAPIE KSZTAŁCENIA NA PODSTAWIE WYNIKÓW BADANIA SUEK ZRÓŻNICOWANIE MIĘDZYSZKOLNE PO PIERWSZYM ETAPIE KSZTAŁCENIA NA TLE DRUGIEGO I TRZECIEGO ETAPU EDUKACJI ZNACZENIE MIARY ZRÓŻNICOWANIA MIĘDZYODDZIAŁOWEGO PODSUMOWANIE LITERATURA CYTOWANA JĘZYK ANGIELSKI CZYNNIKI WPŁYWAJĄCE NA POZIOM UMIEJĘTNOŚCI UCZNIÓW (MAGDALENA SZPOTOWICZ, DOROTA CAMPFIELD, LUDMIŁA RYCIELSKA) WPROWADZENIE

19 5.2. METODA WYNIKI OMÓWIENIE WYNIKÓW PODSUMOWANIE LITERATURA CYTOWANA LICZEBNOŚCI ODDZIAŁÓW A WYNIKI NAUCZANIA (MIKOŁAJ HNATIUK) DOTYCHCZASOWE BADANIA METODA ANALIZY WYNIKI PODSUMOWANIE LITERATURA CYTOWANA CECHY NAUCZYCIELA A WYNIKI NAUCZANIA ( KAMILA HERNIK, KAROLINA MALINOWSKA, KAMIL SIJKO) OPIS BADANEJ ZBIOROWOŚCI PRZEKONANIA I POSTAWY CHARAKTERYSTYKA RODZICÓW BADANYCH NAUCZYCIELI KRÓTKA CHARAKTERYSTYKA WYCHOWAWCÓW BADANYCH KLAS CHARAKTERYSTYKI NAUCZYCIELA A WYNIKI UCZNIÓW W TESTACH METODOLOGIA DOŚWIADCZENIE NAUCZYCIELA ZMIENNE PSYCHOLOGICZNE ISCO PODSUMOWANIE LITERATURA CYTOWANA UŻYWANE PODRĘCZNIKI A WYNIKI NAUCZANIA ( KAMILA HERNIK, KAROLINA MALINOWSKA, KAMIL SIJKO) WSTĘP CZYTANIE PISANIE PODSUMOWANIE CZĘŚĆ IV: PSYCHOLOGICZNE I SPOŁECZNE UWARUNKOWANIA ZRÓŻNICOWANIA WYNIKÓW NAUCZANIA I WYCHOWANIA LĘK A WYNIKI NAUCZANIA (ANNA HAWROT, RADOSŁAW KACZAN) WPROWADZENIE KONCEPCJE I RODZAJE LĘKU LĘK A OSIĄGNIĘCIE SZKOLNE METODA WYNIKI DYSKUSJA WYNIKÓW REKOMENDACJE LITERATURA CYTOWANA INTELIGENCJA A WYNIKI NAUCZANIA (ANNA HAWROT, JOLANTA PISAREK) KONCEPCJE INTELIGNECJI METODA BADANIA INTELIGENCJI ZWĄZKI INTELIGENCJI Z WYNIKAMI NAUCZANIA

20 10.4. DYSKUSJA PODUMOWANIE LITERATURA CYTOWANA STATUS SPOŁECZNY RODZINY POCHODZENIA UCZNIA I JEGO KORELATY A WYNIKI NAUCZANIA (ROMAN DOLATA, EWELINA JARNUTOWSKA) POJĘCIE NIERÓWNOŚCI EDUKACYJNYCH I MECHANIZMY ICH POWSTAWANIA STOSOWANE W ANALIZACH NIERÓWNOŚCI EDUKACYJNYCH WSKAŹNIKI SES CHARAKTERYSTYKA POZOSTAŁYCH ZMIENNYCH UŻYTYCH W ANALIZACH MIĘDZYSZKOLNE I MIĘDZYODDZIAŁOWE ZRÓŻNICOWANIE STATUSU EKONOMICZNO-SPOŁECZNEGO RODZINY UCZNIA NASILENIE NIERÓWNOŚCI EDUKACYJNYCH: SES RODZINY UCZNIA A OSIĄGNIĘCIA SZKOLNE ZNACZENIE INTELIGENCJI UCZNIA DLA NASILENIA NIERÓWNOŚCI EDUKACYJNYCH POZYCJA RODZICÓW NA RYNKU PRACY A WYNIKI NAUCZANIA STRUKTURA RODZINY UCZNIA A WYNIKI NAUCZANIA LOKALIZACJA SZKOŁY A WYNIKI NAUCZANIA MIĘDZYODDZIAŁOWE ZRÓŻNICOWANIE NASILENIA NIERÓWNOŚCI EDUKACYJNYCH I JEGO SZKOLNE UWARUNKOWANIA PODSUMOWANIE LITERATURA CYTOWANA

21 Wprowadzenie: cele i założenia programu badawczego SUEK (Roman Dolata, Piotr Rycielski) Badania nad uwarunkowaniami szkolnej efektywności kształcenia mają w wielu krajach wieloletnią tradycję. Badania takie przynoszą wymierne korzyści w postaci ewaluacji funkcjonowania systemu (school effectiveness research) oswiaty oraz poprzez dostarczanie istotnych danych pozwalających na budowanie programów rozwojowych (school improvement research). Celem realizowanego w Instytucie Badań Edukacyjnych programu badań jest identyfikacja kluczowych czynników szkolnych warunkujących efektywność kształcenia w szkołach podstawowych. Główne pytanie badawcze dotyczy związków przyczynowo-skutkowych między cechami środowiska szkolnego a efektywnością kształcenia w szkołach podstawowych. Projket przewiduje realizację wieloletnich badań podłużnych. Program badań został rozpoczęty na jesieni 2010 roku, gdy badani uczniowie uczęszczali do III klas szkół podstawowych (szczegółowy opis próby i reprezentatywności: rozdział 2.). W czerwcu 2015 roku uczniowie z realizowanego badania podłużnego będą kończyć I klasę gimnazjum. Taki dobór badanej kohorty uczniów umożliwi uwzględnienie w badaniu wszystkich, najważniejszych z punktu widzenia pierwszego etapu edukacji, progów: między III i IV klasą oraz między szkołą podstawową i gimnazjum. Tabela 1.1. Kalendarz badań Rok szkolny: Klasa 2010/11 III szkoła podstawowa 2011/12 IV szkoła podstawowa 2012/13 V szkoła podstawowa 2013/14 VI szkoła podstawowa 2014/15 I Gimnazjum Mimo, że powyższa tabela obejmuje okres do czerwca 2015 roku, uważamy, że rozpoczęte badania podłużne powinny być kontynuowane tak długo, jak to będzie możliwe. Umożliwi to podjęcie w badaniach wielu istotnych problemów daleko wykraczających poza uwarunkowania efektów kształcenia w pierwszym okresie edukacji. Prowadzone przez IBE badanie poza klasyczną dla badań podstawowych funkcją poznawczą ma spełnić również funkcję monitorującą - dostarczyć rzetelnych, trafnych i reprezentatywnych danych na potrzeby długofalowego monitorowania stanu edukacji w Polsce. Posługując się sformułowaniem autorów raportu Plowden (Central Advisory Council for Education 1967) można powiedzieć, że osiągnięcia szkolne są efektem działania trudnej do rozplątania sieci czynników biologicznych, psychospołecznych, społecznych i szkolnych. Gdy próbujemy zatem zidentyfikować kluczowe czynniki szkolne odpowiedzialne za efektywność kształcenia napotykamy na problem zwany endogenicznością. Na poziomie technicznym endogeniczność oznacza pozorny związek między zmiennymi niezależnymi a zmiennymi zależnymi, wynikający ze skorelowania tych zmiennych z cechami nie uwzględnionymi w modelu wyjaśniającym. Inaczej mówiąc, zmienne pominięte w modelu mogą być faktyczną przyczyną obserwowanej zależności, a przez to oszacowania siły związku mo- 21

22 gą być nietrafne (Lee, 2005). Jest to problem, na który napotyka każdy badacz zjawisk społecznych niedających się eksplorować za pomocą eksperymentu, ale w wypadku badań edukacyjnych jest on szczególnie ważny i trudny do rozwiązania. Zadawalające poradzenie sobie z problemem endogeniczności wymaga starannej kontroli pozaszkolnych czynników odpowiedzialnych za osiągnięcia szkolne uczniów oraz stosowania adekwatnych modeli analizy danych. Badania prowadzone w obrębie tradycji school effectiveness research i school improvement research pozwalają formułować dobrze uzasadnione twierdzenia dotyczące zarówno szkolnych jak i pozaszkolnych czynników odpowiedzialnych za osiągnięcia szkolne (Townsend, 2007, Hattie, 2009). Jednak niewielka liczba badań edukacyjnych prowadzonych w polskich realiach nie pozwala na ich weryfikację w odniesieniu do polskich szkół. Uogólnienia empiryczne zbudowane głównie na podstawie wyników badań w USA i krajach zachodniej Europy należy zatem traktować jako hipotezy wymagające weryfikacji w polskich warunkach kulturowych. Poniższy schemat ilustruje możliwe obszary poszukiwania czynników efektywności kształcenia Schemat 1.1. Mapa obszarów badawczych, na których można szukać czynników odpowiedzialnych za efektywność kształcenia 22

23 Zaplanowany schemat badań ma charakter podłużny. Planowane jest badanie osiagnięć i różnego rodzaju charakterystyk psychospołecznych uczniów a także zbadanie postaw i zachowań ich nauczycieli i dyrektorów szkół. Rejestrowane będą także charakterystyki domu rodzinnego ucznia. Podstawowy schemat analizy danych przedstawia poniższa rycina. cechy indywidualne ucznia środowisko rodzinne i lokalne ucznia środowisko rówieśnicze ucznia środowisko szkolne ucznia uprzednie osiągnięcia szkolne i doświadczenia edukacyjne etapowe osiągnięcia szkolne końcowe osiągnięcia szkolne c z a s Schemat 1.2. Model analizy danych Powyższy model analizy pozwoli uwzględnić podłużny charakter badania oraz problem endogeniczności. Modele tego typu nazywamy modelami edukacyjnej wartości dodanej. Pozwalają one na podstawie wielokrotnych pomiarów osiągnięć szkolnych oraz kontroli czynników pozaszkolnych adekwatnie szacować czysty wkład czynników szkolnych w osiągnięcia szkolne (czerwona strzałka na schemacie). W kolejnych rozdzialach przedstawiono wyniki wstępnej fazy badań szkolnych uwarunkowań efektywności kształcenia. Opisywane analizy dotyczą efektów nauczania w klasach I-III publicznych szkół podstawowych w Polsce. Przedstawione wyniki opisują efekty nauczania w zakresie czytania, umiejętności językowych (w tym także j. angielskiego) oraz matematycznych. Analizy uwzględniają zmienne indywidualne opisujące uczniów, zmienne kontekstowe (w tym charakterystyki środowiska rodzinnego uczniów) oraz zmienne charakteryzujące wybrane aspekty środowiska szkolnego. 23

24 Część I: Metodologia badania efektywności kształcenia na I etapie edukacyjnym 1. Próba badawcza i proces zbierania danych (Michał Maluchnik, Michał Modzelewski Leszek Słowicki) 1.1. Populacja Badanie szkolnych uwarunkowań efektywności kształcenia (SUEK) jest badaniem podłużnym, realizowanym na reprezentatywnej próbie uczniów szkół podstawowych. Początkową populacją docelową są w badaniu uczniowie szkół podstawowych, uczący się w III klasie w roku szkolnym 2010/2011. Ze względu na podłużny charakter badania, konieczne było także rozwiązanie problemu zmian populacji w trakcie badania. Przyjęto jedno z stosowanych w takich przypadkach rozwiązań, w którym próba jest uzupełniana jest o nowych uczniów dołączających do badanych odziałów ( jest to tzw. fixed panel plus births design, zob. Smith i in, 2009). Zgodnie z tym rozwiązaniem, niektórzy uczniowie mogą przestać uczestniczyć w badaniu (np. zmienili szkołę, możliwe jest też dołączanie do badania nowych uczniów (np. uczniów, którzy zmienili szkołę lub uczniów, którzy powtarzają klasę i dołączyli do badanych oddziałów). Dodatkową komplikacją, opisaną w dalszej części rozdziału, jest przejście uczniów z pierwszego etapu kształcenia w szkole podstawowej do drugiego etapu, co może wiązać się ze zmianami oddziału przez uczniów. Operat losowania skonstruowano na podstawie danych Systemu Informacji Oświatowej (SIO z września 2009). Na podstawie informacji z roku szkolnego 2009/2010 stworzono listę szkół podstawowych wraz z wyszczególnieniem oddziałów klasowych na poziomie II klasy szkoły podstawowej. Założono, że większość uczniów otrzyma promocję do następnej klasy, a ewentualne migracje międzyszkolne, bądź między oddziałowe nie zmienią znacząco stanów liczebnościowych klas. Dodatkowo z operatu zostały wyłączone szkoły specjalne i integracyjne, szkoły mistrzostwa sportowego i sportowe, przyszpitalne oraz eksperymentalne (pojedyncza szkoła w skali kraju). Oddziały integracyjne nie znalazły się w próbie ze względu na swoją specyfikę. Są to zazwyczaj małe oddziały z nauczycielem wspomaganym, którym powinno być dedykowane oddzielne badania. W operacie nie znalazły się również szkoły o prognozowanej liczbie uczniów poniżej 11 osób, stwierdzono bowiem małą precyzję estymowanych parametrów dla tak niskich liczebności. Dokonane na operacie zabiegi pomniejszyły populację o ok. 7,3%. Finalnie uzyskano operat składający się z uczniów, uczęszczających do 8924 szkół. Należy dodać, że już na etapie realizacji terenowej wykluczano z badania dzieci z problemami zdrowotnymi (intelektualnymi lub fizycznymi), które uniemożliwiały im rozwiązywanie testów lub uzupełnianie kwestionariuszy Próba W badaniu przyjęto, że oszacowania wyników odbywać się będą na trzech poziomach analizy: dla szkół, oddziałów oraz uczniów. Implementując rozwiązania z badań takich jak CivEd (Schulz & Sibberns, 2004), PIRLS (Kennedy, Martin, & Mullis, 2007), TIMSS (Olson, Martin, & Mullis, 2008) czy PISA (Biedrzycki, i inni, 2009) założono, że aby uzyskać jak najlepsze oszacowania na każdym z wymienionych poziomów należy wylosować co najmniej 150 szkół. Liczba uczniów z tych szkół da osza- 24

25 cowania nie gorsze niż te, które by uzyskano losując w sposób prosty niezależny co najmniej 400 uczniów. Oznacza to, że próba pozwala na otrzymanie 95 % przedziałów ufności dla oszacowań średnich, procentów oraz współczynników korelacji. Mając na uwadze, że badanie jest podłużne i ma trwać 5 lat, co pozwala przewidzieć przypadki rezygnacji szkół z uczestnictwa w badaniu, wylosowano 180 szkół. Pozwoli to w jakimś stopniu uniknąć spadku precyzji oszacowań. Doświadczenia terenowe wielu podobnych badań wskazują dodatkowo, że response rate z reguły nie wynosi 100%, co jest dodatkowym argumentem za wylosowaniem większej liczby szkół Schemat doboru próby Schemat doboru uczniów do Badania SUEK miał charakter doboru warstwowego z zastosowaniem losowania systematycznego. W pierwszym etapie losowania podzielono operat na sześć warstw, uwzględniających wielkość miejsca zamieszkania (dwie kategorie: 1. wieś i miasto do 5 tys. mieszkańców oraz 2. miasto powyżej 5 tys. mieszkańców) oraz wielkość szkoły, mierzoną liczbą oddziałów w szkole (trzy kategorie: 1. szkoły jednooddziałowe, 2. szkoły dwuoddziałowe oraz 3. szkoły trzyoddziałowe i większe). Tabela 1.1. Liczebności operatu losowania z uwzględnieniem warstw. warstwa liczba szkół liczba uczniów (%) Wieś i miasto do 5 tysięcy mieszkańców Szkoły jednooddziałowe (23,7%) Wieś i miasto do 5 tysięcy mieszkańców Szkoły dwuoddziałowe (13,7%) Wieś i miasto do 5 tysięcy mieszkańców Szkoły trzyoddziałowe i większe (4,6%) Miasto powyżej 5 tysięcy mieszkańców Szkoły jednooddziałowe (4,7%) Miasto powyżej 5 tysięcy mieszkańców Szkoły dwuoddziałowe (15,4%) Miasto powyżej 5 tysięcy mieszkańców Szkoły trzy oddziałowe i większe (37,9%) ogółem (100,0%) W każdej warstwie wylosowano w sposób zależny zakładaną liczbę szkół, proporcjonalną do liczby uczniów w szkole w klasach III. Przedstawia to poniższa tabela. 25

26 Tabela 1.2. Alokacja szkół w próbie. Warstwa Wieś i miasto do 5 tysięcy mieszkańców Szkoły jednooddziałowe Wieś i miasto do 5 tysięcy mieszkańców Szkoły dwuoddziałowe Wieś i miasto do 5 tysięcy mieszkańców Szkoły trzyoddziałowe i większe Miasto powyżej 5 tysięcy mieszkańców Szkoły jednooddziałowe Miasto powyżej 5 tysięcy mieszkańców Szkoły dwuoddziałowe Miasto powyżej 5 tysięcy mieszkańców Szkoły trzyoddziałowe i większe liczba szkół w próbie ogółem 180 Po wylosowaniu 180 szkół z próby głównej, zdecydowano się na dobór dwóch prób zapasowych. Po uporządkowaniu wszystkich szkół w ramach warstwy rosnąco po kodzie pocztowym, otrzymano listę, z której dobierano szkoły do dwóch prób zastępczych. Szkoła, która występowała na liście powyżej wylosowanej, trafiała do próby zapasowej 1, zaś ta poniżej do zapasowej 2. Zabieg ten umożliwił stworzenie zastępników szkół o parametrach niemal identycznych jak te wytypowane do próby głównej. W kolejnym kroku następowało losowanie oddziałów w ramach szkół. W przypadku szkół jedno i dwuoddziałowych, kwalifikowano wszystkie oddziały do badania. W przypadku szkół trzyoddziałowych i większych losowano dwa oddziały. Losowano je w sposób prosty zależny, wykorzystując liczby losowe Próba zrealizowana Z wylosowanej próby głównej zaledwie 53% szkół przystąpiło do badania. Response rate liczony z trzech prób wyniósł ok. 67%. Ostatecznie próba zamknęła się w liczbie 176 szkół, gdyż Wykonawca badania nie zdążył wykonać go w przewidzianym czasie. Poniższy schemat przedstawia wykorzystanie wszystkich prób. 26

27 Rysunek 1.1. Schemat realizacji prób w Badaniu SUEK. Do roku szkolnego 2012/13, czyli do momentu publikacji tekstu, przeprowadzono dwa etapy badania. Podczas pierwszego dokonano pomiarów na 5625 uczniach. Na drugim etapie badania, w testach osiągnięć szkolnych - kluczowej zmiennej w badaniu - wzięło udział 5155 uczniów. Próba pomniejszyła się o kolejne cztery szkoły, w których jedna zrezygnowała z badania, a trzy nie uruchomiły oddziałów klas IV. Tabela poniżej przedstawia jaki był odsetek uczniów w poszczególnych warstwach w próbie. Tabela 1.3. Alokacja uczniów w próbie. Warstwa Wieś i miasto do 5 tysięcy mieszkańców Szkoły jednooddziałowe Wieś i miasto do 5 tysięcy mieszkańców Szkoły dwuoddziałowe Wieś i miasto do 5 tysięcy mieszkańców Szkoły trzyoddziałowe i większe Miasto powyżej 5 tysięcy mieszkańców Szkoły jednooddziałowe Miasto powyżej 5 tysięcy mieszkańców Szkoły dwuoddziałowe Miasto powyżej 5 tysięcy mieszkańców Szkoły trzyoddziałowe i większe liczba uczniów i odsetek w próbie odsetek w całej populacji ,25% 23,70% ,94% 13,70% 265 5,14% 4,60% 177 3,43% 4,70% ,79% 15,40% ,45% 37,90% ogółem ,0% 100,0% 27

28 W związku z zastosowaniem złożonego schematu doboru próby o zróżnicowanym prawdopodobieństwie wejścia elementów populacji do próby, aby uzyskać prawidłowe oszacowania parametrów w populacji, należy przy ich obliczaniu uwzględnić schemat doboru poprzez zastosowanie wag. Wydaje się, że wagi te powinny również zostać uwzględnione przy wielopoziomowych analizach (patrz rozdział 6). Dla wszystkich szkół, oddziałów i uczniów, którzy należeli do pierwotnej próby badanych (tj. próby z pierwszego etapu badania), wyliczono warunkowe wagi próbkowania. Zastosowana procedura wyliczania wag była analogiczna jak ta dla dużych badań międzynarodowych (Kennedy, Martin, & Mullis, 2007). Wagi te stanowiły odwrotność prawdopodobieństwa dostania się danej jednostki doboru do próby. Oznacza to, że dla 176 szkół, które wzięły udział w badaniu na pierwszym etapie, wyliczono prawdopodobieństwo dostania się do próby, warunkując po sześciu jawnych warstwach. W ramach każdej ze szkół wyliczono prawdopodobieństwo dostania się oddziału klasowego do badania (waga ta wynosiła 1 dla klas w szkołach jedno i dwu oddziałowych). Każdemu zaś uczniowi w wylosowanej klasie przypisano wagę 1, jako że każdy z uczniów w klasie został zakwalifikowany do badania. Ostateczną wagę ucznia uzyskuje się poprzez przemnożenie przez siebie tych wag. Suma wag ostatecznych stanowi nieobciążony estymator liczebności populacji. Niestety nie wszystkie szkoły, klasy lub uczniowie wzięli udział we wszystkich etapach Badania SUEK. Zarówno na pierwszym jak i na kolejnych etapach badania część badanych uczniów nie wzięła udziału w badaniu. Sprawia to, że konieczne staje się uwzględnienie poprawek na niepełną realizację próby (non-participation adjustment). Poprawki te są uwzględniane na każdym etapie doboru uzyskujemy więc wagi warunkowe z poprawkami dla szkół, klas i uczniów. Iloczyn tych wag to ostateczna waga ucznia z poprawką. Zastosowanie poprawek sprawia, że suma poprawionych wag stanowi wciąż nieobciążony estymator liczebności populacji. W zależności jednak od tego, jakie zmienne są analizowane, różne podzbiory uczniów można traktować jako te, które wzięły udział w badaniu. Dla każdej analizy wyliczano więc wagi z poprawkami, w zależności od zastosowanych w analizach zmiennych. Do automatycznego generowania wag z poprawkami zastosowano skrypt napisany w programie R. Etap Realizacja badania. Realizację 1 etapu badania podłużnego przeprowadzała firma wyłoniona w drodze przetargu publicznego PBS DGA Sp. z o.o. Realizacja rozpoczęła się w listopadzie 2010 r. a zakończyła się w kwietniu 2011 r. Zrealizowanie badania w zaplanowanym terminie (luty 2011 r.) okazało sie niemożliwe dla Wykonawcy do wykonania. W badaniu wzięło udział 176 szkół podstawowych. Badanie objęło dyrektorów szkół, nauczycieli uczących w klasach 0-III (nauczycieli nauczania zintegrowanego, nauczycieli klas zerowych, nauczycieli przedmiotowych z wyjatkiem katechetów), uczniów klas III oraz ich rodziców (opiekunów prawnych). Dyrektorzy szkół wypełniali Ankietę dla dyrektora szkoły podstawowej. Do badania zakwalifikowano 176 dyrektorów. Nauczyciele wypełniali Ankietę dla nauczyciela szkoły podstawowej, Test satysfakcji zawodowej, a nauczyciele języka angielskiego dodatkowo Ankietę dla nauczyciela języka angielskiego. Łącznie zakwalifikowano do badania 1871 nauczycieli klas 0-III. W badaniu wzięło udział 1755 nauczycieli, w tym 259 nauczycieli języka angielskiego. Uczniowie wypełniali: 28

29 - Test Matryc Ravena w wersji Standard (Raven); - Test Inwentarz Stanu i Cechy Lęku dla Dzieci (STAIC); - Kwestionariusz do badania socjometrycznego (Socjometria); - Test integracji szkolnej (KIU). Badanie przeprowadzono w 306 oddziałach klasowych, w których uczyło się 6607 uczniów. W badaniu wzięło udział 5625 uczniów. Z powodu braku zgody rodziców w badaniu nie uczestniczyło 977 uczniów oraz z powodu niepełnosprawności z badania wyłączono 5 uczniów. Łączna liczba wylosowanych uczniów, którzy nie wzięli udziału w badaniu wyniosła 982 uczniów (15%). Rodzice wypełniali Ankietę dla rodziców. Na przeprowadzenie badania zgodziło się 5625 rodziców wylosowanych uczniów (czyli 85% rodziców uczniów wylosowanych do badania). Tabela 1.4. Realizacja (%) badania na poziomie poszczególnych narzędzi etap 1. Narzędzie Realizacja n N Dyrektor Nauczyciel Ankieta dla dyrektora szkoły podstawowej Ankieta dla nauczyciela szkoły podstawowej Test satysfakcji zawodowej Ankieta dla nauczyciela języka angielskiego 99% % % % RAVEN 97% STAIC 97% Uczeń Socjometria 97% KIU 97% Rodzic Ankieta dla rodzica ucznia szkoły podstawowej 100% W toku realizacji badania przeprowadzono kontrolę badań audytoryjnych przez pracowników terenowych IBE. Kontroli poddano również materiały i dokumentację z badania. Etap 2. 29

30 Rozpoczęcie 2 etapu (I część) nastąpiło w czerwcu 2011 r. od zebrania danych dotyczących frekwencji, drugoroczności i specjalnych potrzeb edukacyjnych uczniów oraz zebrania od nauczycieli opisowych ocen umiejętności matematycznych i polonistycznych uczniów. Dodatkowo dyrektorzy szkół otrzymali do wypełnienia ankietę dotyczącą nauczania języków obcych szkole. Ta część etapu była realizowana przy pomocy pracowników terenowych IBE. Realizacja II części 2 etapu rozpoczęła się w październiku 2011 r. a zakończyła w lutym 2012 r. Realizację tej części 2 etapu badania przeprowadzała firma wyłoniona w drodze przetargu publicznego PBS DGA Sp. z o.o. Badanie objęło uczniów, nauczycieli uczących w klasach IV-VI oraz rodziców uczniów lub opiekunów prawnych. Badanie ostatecznie zrealizowano w 172 szkołach. Spośród czterech szkół, które wypadły z próby, w trzech szkołach nie było klas IV, a jedna szkoła zrezygnowała z udziału w badaniu. W każdej ze 172 szkół wskazano konkretne oddziały klasowe (jeden lub dwa). Do badania wybrano łącznie 296 oddziałów klas IV. Łącznie do badania wskazano 5522 uczniów głównych (w ramach 172 placówek), z których 13 było uczniami klas III (nie uzyskali promocji do następnej klasy). Wskazani uczniowie z założenia w większości mieli znajdować się w tych samych oddziałach co w poprzednim etapie badania, tyle że w ramach klas IV. Częściowym badaniem (testy) obejmowano również tzw. uczniów nowych, którzy w trakcie realizacji badania uczęszczali do klasy razem z uczniami głównymi. Byli to zarówno uczniowie, których rodzice w poprzednim roku szkolnym nie wyrazili zgody na udział w badaniu, jak też uczniowie, którzy dołączyli do badanych klas w aktualnym roku szkolnym. Badanie objęło łącznie 572 spośród 930 uczniów nowych. Wyniki tych uczniów nie zostały objęte analizami sporządzonymi w niniejszym raporcie.. Uczniowie rozwiązywali: - testy osiągnięć szkolnych z zakresu czytania, świadomości językowej i umiejętności matematycznych; - testy osiągnięć szkolnych w zakresie języka angielskiego, a dokładnie umiejętności rozumienia tekstu słuchanego i czytanego w języku angielskim oraz poddani byli badaniu wypowiedzi ustnej oraz motywacji do nauki języka angielskiego (badanie wypowiedzi uczniów dotyczyło uczniów z wybranych 42 szkół). Rodzice wypełniali Ankietę dla rodziców II etap pełną i uzupełniająca (dla rodziców posiadających rodzeństwo w badanych klasach ) oraz Ankietę dla rodziców z I etapu uzupełniająca (dla rodziców posiadających rodzeństwo w badanych klasach). Łącznie do udziału w badaniu przewidziano 5245 rodziców lub opiekunów prawnych uczniów głównych niewykluczonych. Nauczyciele klas IV-VI (wszyscy nauczyciele uczący w szkole poza osobami uczącymi religii lub etyki) wypełniali Ankietę dla nauczyciela. Łączna liczba nauczycieli przewidzianych do badania nie była określona przed rozpoczęciem badania, ale ostatecznie wyniosła 2533 osób. 30

31 Tabela 1.5. Realizacja (%) badania na poziomie poszczególnych narzędzi etap 2. Narzędzie Realizacja n N Dyrektor Nauczyciel Ankieta dla dyrektora dot. nauczania języków obcych Ankieta dla nauczyciela szkoły podstawowej 100% % Test czytania 97% Test świadomości językowej 97% Uczeń Test matematyczny Test języka angielskiego 95% % Wypowiedż ustna j. angielski 100% Rodzic Ankieta dla rodzica ucznia szkoły podstawowej 93% W toku realizacji badania przeprowadzono kontrolę terenową badań audytoryjnych w szkołach przez pracowników terenowych IBE. Kontroli poddano również materiały i dokumentację z badania oraz kodowanie zeszytów testowych. Kontroli dokonała zewnętrzna firma EU-Consult Sp. z o.o Reprezentatywność próby Istotnymi problemami związanymi z próbą są jej wiarygodność (validity) oraz możliwość estymowania wyników badania na całą populację tj. uogólniania (generalizability). Dochowując staranności próbkowania oraz pilnując procedur realizacji badania w terenie, można założyć, że próba spełnia te dwa wymagania. W przypadku omawianym w tym rozdziale dokonano dodatkowo empirycznej weryfikacji tych dwóch założeń. Dysponując wynikami sprawdzianu po szkole podstawowej z roku 2012 wszystkich szkół w Polsce, sprawdzono jak na ich tle wyglądają wyniki szkół, które 1. były wylosowane do badania, w których 2. zrealizowano badanie oraz tych, które 3. odmówiły udziału w badaniu. Ta ostatnia grupa szkół została podzielona na dwie kategorie: szkoły, w przypadku których dyrektor odmówił udziału szkoły w badaniu oraz szkoły wykluczone z badania ze względu na bardzo niski wskaźnik zgody na udział wśród nauczycieli oraz rodziców uczniów. Uzasadnieniem dla sprawdzenia rozkładu wyników we wymienionych kategoriach było podejrzenie, że szkoły odmówiły lub niechętnie przystępowały do badania np. ze względu na obawę przed ujawnieniem niskich kompetencji uczniów. Próba byłaby wówczas obciążona błędami systemowymi (selection biased). Użycie wyników ze 31

32 sprawdzianu jest tym bardziej uzasadnionym kryterium weryfikacji reprezentatywności próby, gdyż w Badaniu SUEK główną zmienną wyjaśnianą są również testy standaryzowane testy osiągnięć szkolnych. Rysunek Rozkład wyników w populacji na sprawdzianie w roku Tabela 1.6. Statystyki opisowe do histogramu 1.2. N Średnia 100,00 Mediana 100,22 Odchylenie standardowe 15,00 Rozstęp ćwiartkowy 20,98 Skośność -,01 Kurtoza -,06 Pierwszy histogram przedstawia rozkład wyników ze sprawdzianu dla populacji N= uczniów, znormalizowany do średniej μ=100 i odchylenia standardowego σ=15. Będzie on punktem odniesienia dla dalszych analiz reprezentatywności. Zbadano również rozkład wyników dla populacji, z której zostały usunięte szkoły poniżej 11 uczniów tak jak uczyniono to na etapie losowania próby. Jedyną zmianą jaką zaobserwowano był nieznaczny wzrost średniej do μ=100,09 oraz zmiana odchylenia standardowego σ=15,01, przy liczbie uczniów N= Gdyby udało się zrealizować badanie w szkołach wylosowanych w ramach próby głównej przy response rate równym 100%, wyniki wyglądałyby jak na histogramie i tabeli poniżej. Przedstawione statystyki dotyczą 179 ze 180 szkół, dla których udało się połączyć dane. 32

33 Rysunek 1.3. Rozkład wyników sprawdzianu 2012 w wylosowanej próbie. Tabela 1.7. Statystyki opisowe do histogramu 1.3. N 9069 Błąd standardowy Średnia 100,90,16 Mediana 100,22 Odchylenie standardowe 15,00 Rozstęp ćwiartkowy 20,98 Skośność -,02,03 Kurtoza,02,05 Porównując wyniki rozkładów dla próby zakładanej i zrealizowanej, rzuca się w oczy, że choć próba zakładana była liczniejsza, to więcej uczniów uczęszcza do szkół z próby zrealizowanej. Potwierdza to, że w próbce miało miejsce niedoreprezentowanie szkół małych. Próba zrealizowana charakteryzuje się nieznacznie mniejszą zmiennością wyników i jest bardziej asymetryczna lewostronnie, choć są to subtelne różnice. 33

34 Rysunek 1.4. Rozkład wyników sprawdzianu 2012 w zrealizowanej próbie 172 szkół. Tabela 1.8. Statystyki opisowe do histogramu 1.4. N 7947 Błąd standardowy Średnia 100,30,16 Mediana 100,22 Odchylenie standardowe 14,71 Rozstęp ćwiartkowy 20,98 Skośność -,06,03 Kurtoza,04,05 Rysunek 1.5. Rozkład wyników sprawdzianu 2012 w szkołach, w których odmówił udziału w badaniu dyrektor. 34

35 Przyglądając się rozkładom szkół, które nie wzięły udziału w badaniu, nie potwierdza się hipoteza, że były to szkoły o wynikach słabszych od średniej ogólnopolskiej. W przypadku szkół, w których dyrektor odmówił udziału w badaniu, średnia jest nawet nieco wyższa niż w populacji o półtorej punktu i równa się μ=101,7, podobnie w szkołach o niskim response rate, które wykluczono z tego powodu z badania, wynosi μ=101,78. Rysunek 1.6. Rozkład wyników Sprawdzianu 2012 w szkołach z niską stopą realizacji badania. Tabela 1.9 Statystyki opisowe do histogramu 1.5. N 6688 Błąd standardowy Średnia 101,70,18 Mediana 101,91 Odchylenie standardowe 15,12 Rozstęp ćwiartkowy 19,18 Skośność -,05,03 Kurtoza -,01,06 Tabela Statystyki opisowe do histogramu 1.6. N 2563 Błąd standardowy Średnia 101,78,29 Mediana 101,91 Odchylenie standardowe 14,87 Rozstęp ćwiartkowy 19,18 Skośność -,08,05 Kurtoza -,14,10 35

36 Podsumowując, próba, na której odbyło się badanie ma statystyki bardzo zbliżone do populacji, a występujące różnice są nieznaczne. Podobnej procedurze weryfikacji poddano średnie wyników dla szkół w populacji i próbie zrealizowanej. Wyniki są bardzo korzystne, przez co również potwierdzają wysoką jakość pró- by. Rysunek 1.7. Rozkład średniej wyników ze sprawdzianu 2012 w populacji. Tabela Statystyki opisowe do histogramu 1.7. N Błąd standardowy Średnia 98,99,06 Mediana 98,80 Odchylenie standardowe 6,44 Rozstęp ćwiartkowy 7,48 Skośność -,10,02 Kurtoza 3,11,04 Powyżej i poniżej przedstawiono rozkłady dla populacji wszystkich uczniów. Średnie w obu przypadkach są podobne. W szkołach powyżej 10 uczniów występuje niższe odchylenie standardowe i mniej pikujący histogram, skośny prawostronnie. 36

37 Rysunek 1.8. Rozkład średnich dla szkół na Sprawdzianie 2012 w populacji szkół podstawowych, powyżej 10 uczniów w placówce. Tabela Statystyki opisowe do histogramu 1.8. N 9434 Błąd standardowy Średnia 99,23,06 Mediana 98,87 Odchylenie standardowe 5,77 Rozstęp ćwiartkowy 6,93 Skośność,49,03 Kurtoza 1,52,05 Rysunek 1.9. Rozkład średnich dla szkół na sprawdzianie 2012 w próbie zrealizowanej. 37

38 Tabela Statystyki opisowe do histogramu 1.9. N 172 Błąd standardowy Średnia 99,96,36 Mediana 99,80 Odchylenie standardowe 4,78 Rozstęp ćwiartkowy 5,65 Skośność,27,19 Kurtoza 2,15,37 Średnie wyników na Sprawdzianie w zrealizowanej próbie nie odbiegają znacząco od rozkładów w populacji. Średnia wzrosła o pół punktu, natomiast odchylenie standardowe spadło o jeden punkt. Na zakończenie, aby udowodnić zasadność użycia zmiennej z wynikami Sprawdzianu do analizy reprezentatywności, przeanalizowano w jakim stopniu wyniki na Sprawdzianie w szkołach korelują z wynikami trzech mierzonych umiejętności w badaniu SUEK. Poniższa tabela pokazuje wartości r-pearsona dla tych korelacji. Tabela Wartości współczynników r-pearsona. Wynik testu z matematyki Wynik testu umiejętności czytania Wynik testu świadomości językowej Średnia ze sprawdzianu dla szkoły w roku ,499 0,476 0,517 Przyjmuje się, że wyniki o wartościach do 0,5 są związkiem o umiarkowanej mocy. W przypadku Badania SUEK dotyczy to umiejętności czytania i umiejętności matematycznych. Nieco silniejsza korelacja występuje w przypadku testu świadomości językowej. Podsumowując, należy stwierdzić, że chociaż wzajemny związek między dyskutowanymi zmiennymi istnieje, pozostaje on jednak niewysoki. Literatura cytowana Biedrzycki, K., Cyngot, D., Federowicz, M., Grzęda, M., Haman, J., Karpiński, Z. L., i inni. (2009). W y- niki Badania OECD PISA 2009 w Polsce. Warszawa: Międzynarodowe konsorcjum realizujące badanie OECD PISA Kennedy, A. M., Martin, M. O., & Mullis, I. V. (2007). PIRLS 2006 Technical Report. Boston: TIMSS & PIRLS International Study Center, Boston College. Olson, J., Martin, M., & Mullis, I. (2008). TIMSS 2007 Technical Report. Boston: TIMSS & PIRLS International Study Center, Boston College. Schulz, W., & Sibberns, H. (2004). IEA Civic Education Study Technical Report. Amsterdam: IEA. P. Smith, P.Lynn, D. Elliot: Sample Design for Longitudinal Surveys. W: P. Lynn (red). Methodology of Longitudinal Surveys. Wiley,

39 2. Pomiar wyników nauczania w zakresie czytania, świadomości językowej i matematyki (Aleksandra Jasińska, Michał Modzelewski) Podstawowym celem badania SUEK jest wyjaśnienie wyników kształcenia w zakresie osiągnięć szkolnych. Znalezienie odpowiedzi na pytania o uwarunkowania efektów nauczania wymaga jednak dobrej miary osiągnięć. Jakość kluczowej zmiennej zależnej determinuje trafność uzyskanych na podstawie analiz wniosków. Oczywiście dotyczy to wszystkich zmiennych uwzględnionych w modelu, niemniej słabszy pomiar zmiennej wyjaśniającej może spowodować obciążenie wyników analiz przede wszystkim z tą zmienną, a niewystarczająca jakość zmiennej zależnej sprawia, że wątpliwe stają się wszystkie wyniki. Nietrafny pomiar zmiennej wyjaśniającej może doprowadzić do mylnych wniosków, natomiast nierzetelność pomiaru może uniemożliwić wykrycie istniejących zależności. Ponieważ wyniki nauczania są kluczową zmienną zależną dla analiz przedstawionych w tym raporcie, jakości tego pomiaru poświęcono więcej miejsca omawiając te zagadnienia w niniejszym rozdziale. Opracowanie dobrych narzędzi do pomiaru osiągnięć szkolnych jest poważnym wyzwaniem. Potwierdzają to doświadczenia edukacyjnych badań międzynarodowych skoncentrowanych na pomiarze umiejętności uczniów (np. PISA, PIRLS, TIMSS). W badaniach tych wiele czasu, uwagi i wysiłku poświęca się konstrukcji narzędzi. Oprócz prac nad definiowaniem mierzonych konstruktów i opracowywaniem zadań, szczególne znaczenie przypisuje się badaniom pilotażowym zadań i testów, które mają na celu zweryfikowanie jakości pozycji testowych i skonstruowanie skal pomiarowych spełniających przyjęte standardy. Badania te pokazują także, jak ważne i zarazem użyteczne jest stosowanie w pomiarze dydaktycznym zaawansowanej metodologii skalowania wyników. Złożoność procesu konstruowania testów osiągnięć znajduje także swoje odzwierciedlenie w standardach tworzenia i ewaluacji narzędzi do pomiaru dydaktycznego, opisanych w Standards for Educational and Psychological Testing (AERA, APA, NCME, 1999) 2. Standardy te są stosowane przez najbardziej renomowane i doświadczone instytucje konstruujące testy kompetencji i osiągnięć szkolnych. W czasie, w którym zespół badawczy SUEK przystępował do realizacji badania podłużnego, nie istniały w Polsce standaryzowane testy mierzące osiągnięcia szkolne uczniów szkół podstawowych kończących I etap edukacji, które mogłyby zostać wykorzystane do celów badawczych. Nie było także banku zadań, z którego można by takie testy skonstruować. Dlatego, mając świadomość wyzwania, przed którym należało stanąć, przystąpiono do realizacji tego zadania. Podczas prac korzystano przede wszystkim z doświadczeń zagranicznych oraz inspirowano się metodologią edukacyjnych badań międzynarodowych Podstawowe założenia i cel pomiaru Opisana w tym rozdziale koncepcja pomiaru osiągnięć szkolnych po I etapie kształcenia oraz testy osiągnięć spełniające jej założenia zostały opracowane specjalnie na potrzeby Badania Szkolnych Uwarunkowań Efektywności Kształcenia realizowanego w Instytucie Badań Edukacyjnych. Badanie to objęło kohortę uczniów rozpoczynających naukę w III klasach szkół podstawowych w roku szkolnym 2 Polskie wydanie: AERA, APA, NCME (2007). Standardy dla testów stosowanych w psychologii i pedagogice. Gdańsk: GWP. 39

40 2010/11. Są to uczniowie nieobjęci jeszcze reformą programową wprowadzoną rozporządzeniem Ministra Edukacji Narodowej z dnia 23 grudnia 2008 r. w sprawie podstawy programowej wychowania przedszkolnego oraz kształcenia ogólnego w poszczególnych typach szkół. Dlatego opracowane testy osiągnięć szkolnych powstały z myślą o uczniach kształconych według tzw. starej podstawy programowej opisanej w załączniku nr 2 do rozporządzenia Ministra Edukacji Narodowej i Sportu z dnia 26 lutego 2002 r. Charakter badania podłużnego SUEK wymagał tego, by skonstruowane na jego potrzeby testy były testami szerokiego zasięgu, czyli takimi, które pozwalają na zdobycie jak największej ilości informacji o całej badanej grupie 3. Testy osiągnięć szkolnych musiały być więc tak przygotowane, by umożliwiały precyzyjny pomiar umiejętności wszystkich uczniów, niezależnie od poziomu ich wiedzy. Z uwagi na to, że poziomem analizy, który jest najbardziej interesujący z punktu widzenia badania SUEK, jest poziom klas 4, priorytetem było rzetelne określenie efektów kształcenia na poziomie badanych klas. Spełnienie tak postawionych celów wymagało dobrania do testu zadań z całego zakresu skali. W praktyce przekłada się to na potrzebę uwzględnienia w teście odpowiedniej liczby zarówno zadań bardzo łatwych (odwołujących się do prostszych umiejętności niż opanowanie zakłada podstawa programowa z danego poziomu kształcenia), zadań o średnim poziomie trudności, jak i bardzo trudnych (czyli takich, które wykraczają poza określony przez podstawę programową poziom) 5. Testy osiągnięć szkolnych były konstruowane w zgodzie z metodologią teorii odpowiedzi na zadanie testowe (item response theory, IRT). Teorię tę zastosowano z uwagi na to, że jest ona niezwykle pomocna w konstruowaniu testów dostosowanych do potrzeb. Umożliwia oszacowanie parametrów psychometrycznych testu bez konieczności testowania całego narzędzia na próbie z populacji docelowej, co było niezbędne w planowanym badaniu pilotażowym. Pozwala także na precyzyjne porównanie wyników różnych wersji testów 6. Przyjęta teoria pomiaru rzutowała na sposób konstrukcji zadań testowych i schematów oceniania, wybór zadań po badaniu pilotażowym oraz skalowanie ostatecznych wyników z testów. 3 Innymi typami testów ze względu na stawiane im cele są testy przesiewowe, które pozwalają na precyzyjne stwierdzenie, czy uczeń osiągnął minimalny, ustalony przez ekspertów poziom umiejętności lub testy selekcyjne, które mają na celu jak najdokładniejsze zróżnicowanie wyników uczniów o wysokich umiejętnościach (Jakubowski, Pokropek, 2009). 4 Efektywność nauczania przypisywana jest bowiem przede wszystkim klasie (to w klasie odbywa się nauczanie; wiele gromadzonych danych będą stanowiły zmienne z poziomu klasy), a w dalszej kolejności szkołom. 5 Należy podkreślić, że testy osiągnięć szkolnych przygotowywane na potrzeby badania SUEK nie mają na celu zweryfikowania stopnia opanowania przez uczniów wiadomości i umiejętności opisanych przez podstawę programową. Podstawa programowa określa cele kształcenia i podstawowy poziom wiadomości i umiejętności, które powinien posiadać uczeń na danym etapie kształcenia. Uczniowie zdolni powinni mieć odpowiednio dostosowywany przez nauczycieli program nauczania. Aby możliwy był precyzyjny pomiar poziomu umiejętności tych uczniów, w testach muszą się znaleźć także zadania wykraczające mierzonymi umiejętnościami poza zakres podstawy programowej. Należy jednak zadbać o to, by nie odwoływały się one do treści, które zwyczajowo pojawiają się dopiero na kolejnych etapach kształcenia, ale by wymagały wykonania bardziej złożonych operacji z wykorzystaniem treści, które powinny być omawiane w szkole. 6 Co miało znaczenie dla przygotowywanego pomiaru z uwagi na planowane skonstruowanie dwóch zakotwiczonych wersji testów. 40

41 2.2. Charakterystyka skal pomiarowych Testy osiągnięć szkolnych, przygotowywane na potrzeby badania, koncentrują się na pomiarze najważniejszych z punktu widzenia kształcenia w szkole podstawowej obszarów: umiejętności czytania, świadomości językowej i umiejętności matematycznych. W badaniu SUEK przeprowadzono także pomiar osiągnięć z dominującego w nauczaniu języka obcego: języka angielskiego. Pomiar ten został opisany w rozdziale 5. Wybór skal pomiarowych do testów osiągnięć szkolnych został poprzedzony analizą podstawy programowej kształcenia ogólnego, raportów z krajowych, międzynarodowych i zagranicznych badań umiejętności 7 oraz wniosków płynących z projektu poświęconego nowej formule sprawdzianu dla klasy VI 8. Opracowana koncepcja testów osiągnięć szkolnych podlegała konsultacjom merytorycznym z ekspertami i została poddana zewnętrznej recenzji. Zebrane uwagi pozwoliły na dopracowanie ostatecznego kształtu koncepcji. Osiągnięcia szkolne uczniów biorących udział w badaniu SUEK zostały zatem zbadane za pomocą czterech testów: 1. testu umiejętności czytania, 2. testu świadomości językowej, 3. testu umiejętności matematycznych 4. testu z języka angielskiego (opisanego w rozdziale 5); a każdy z nich stanowił odrębną skalę. Ze względu na ograniczoną długość każdego testu, nie zakładano tworzenia dla wyszczególnionych skal podskal przedstawiających wyniki uczniów w ramach bardziej szczegółowych umiejętności. Wybór wymienionych skal pomiarowych nie jest podyktowany przeświadczeniem, że wyniki kształcenia można ograniczyć do czterech obszarów umiejętności. Niemniej nie sposób objąć badaniem wszystkich efektów kształcenia, które osiągają lub osiągać powinny szkoły na określonym etapie edukacji. Jednak spośród poznawczych wyników nauczania konieczny jest wybór tych kluczowych, w zakresie których chce się wyciągać wnioski, gdyż każde badanie wymaga dokonania pewnych redukcji. Poniżej opisano strukturę każdego z trzech testów. Na podstawie założonej struktury opracowane zostały plany testów dla każdej skali pomiarowej, które precyzowały, ile zadań, mierzących jakie szczegółowe umiejętności, powinno znaleźć się w teście. Opis struktury testów oraz wynikających z niej planów testów miał na celu zagwarantowanie różnorodności i reprezentatywności mierzonych treści i umiejętności, a tym samym zapewnienie trafności treściowej testu Test umiejętności czytania Test ten miał na celu pomiar rozumienia znaczenia czytanych samodzielnie poleceń, zadań i tekstów różnego typu; nie koncentrował się on na technice czytania. 7 TIMSS, PIRLS, ECLS, PISA, Badanie umiejętności podstawowych uczniów trzecich klas szkoły podstawowej. 8 Nowa formuła sprawdzianu w klasie VI, projekt realizowany w latach przez CKE, koordynator: Anna Pregler. 41

42 Zadania składające się na test umiejętności czytania zostały opisane za pomocą dwóch wymiarów: typ materiału testowego, który należy przeczytać oraz umiejętności, do których należy się odwołać rozwiązując dane zadanie. Typ materiału testowego Test umiejętności czytania składa się z kilku tekstów oraz wiązek pytań do każdego z nich. Są to teksty różnorodnego typu: literackie (prozatorskie i poetyckie), popularnonaukowe i użytkowe (regulamin, ulotka, ogłoszenie). Niektóre z nich nie mają tradycyjnego charakteru tekstu ciągłego, ale zawierają dodatkowe ramki, przypisy. Umiejętności Zadania do każdego tekstu wymagają odwołania się do różnych umiejętności: 1. wyszukiwania informacji definiowanej jako umiejętność odszukania potrzebnej informacji w tekście głównym oraz uzupełniającym (tabeli, ramce, przypisie), podjęcia decyzji, które informacje są ważne, a które nie ze względu na ich związek z tematem lub pytaniem, a także ustalenia kolejności wydarzeń w teście. 2. interpretacji - jest to umiejętność zrozumienia tekstu jako całości, wydobycia i wyjaśnienia jego sensu. Od ucznia oczekuje się, że będzie potrafił określić temat i główną myśl utworu (rozumienie tekstu na poziomie podstawowym - o czym tekst jest), jak również, że będzie rozumiał przenośne (ukryte) znaczenie utworu. Umiejętność ta odnosi się także do rozumienia związków między zawartymi w tekście informacjami, porównywania informacji zawartych w tekście, dostrzegania i wyjaśniania przyczyn i skutków zdarzeń, sytuacji, zjawisk opisanych w tekście, podawania przypuszczalnych motywów działania, zachowania lub postawy bohaterów, rozróżniania informacji nacechowanych emocjonalnie w określonym celu (np. reklamowym) od informacji emocjonalnie obojętnych, a także określania zamiaru i intencji autora. 3. refleksji i oceny - umiejętność odniesienia tekstu do własnego doświadczenia i wiedzy o świecie; odróżnienia wydarzeń rzeczywistych od fikcyjnych; oceny wiarygodności podanych informacji. Od ucznia oczekuje się, że będzie umiał dokonać oceny zdarzeń, postaci, stanowisk, poglądów w kontekście własnego doświadczenia czytelniczego i pozaszkolnego, jak również wyrazić opinię na temat myśli zawartych w utworze. Jest to także umiejętność oceny informacji o charakterze reklamowym, oceny szaty graficznej czytanych tekstów oraz zastosowanych zabiegów literackich, a także oceny kompletności i spójności tekstu Test świadomości językowej Opisując strukturę testu mierzącego umiejętności językowe uczniów, należy omówić problem wynikający z pomiaru umiejętności pisania za pomocą zadań polegających na samodzielnym tworzeniu tekstów na zadany temat, gdyż świadomość jego istnienia zadecydowała o kształcie tego testu. Kształtowanie umiejętności pisania i świadomości językowej ma na celu rozwój umiejętności samodzielnego tworzenia tekstu w sposób czytelny, logiczny, zgodny z zasadami gramatyki i ortografii. Naturalne wydaje się więc przyjęcie założenia, że poziom opanowania tych umiejętności uczeń najlepiej zademonstruje wypowiadając się lub pisząc samodzielnie tekst na zadany temat. Niestety, mimo iż umiejętność pisania i świadomość językową są rozwijane przez pisanie własnych tekstów, pomiar osiągnięć szkolnych w tym zakresie wymaga spojrzenia z innej perspektywy. Wykorzystanie w teście zadań polegających na samodzielnym napisaniu tekstu na zadany temat pociąga za sobą co najmniej dwa poważne problemy. 42

43 Pierwszy jest związany z rzetelnością oceniania tego typu zadań i polega na istnieniu znaczących różnic w ocenianiu uczniowskich wypowiedzi pisemnych między egzaminatorami (tzw. efekt egzaminatora), niezależnie od szczegółowości kryteriów oceniania i jakości szkolenia egzaminatorów. Wyniki badań poświęconych tej problematyce (Dolata, Putkiewicz, Wiłkomirska, 2004), a także doświadczenia własne nie pozwalają na zbagatelizowanie tego problemu 9. Drugi problem dotyczy zaś liczby zadań w teście (decydującej o dokładności pomiaru) i czasu potrzebnego na jego rozwiązanie. Zastosowanie w teście jednego zadania wymagającego napisania dłuższej wypowiedzi daje mniejszą precyzję pomiaru niż kilka lub kilkanaście krótszych zadań, które uczeń może rozwiązać w tym samym czasie. Z uwagi na konsekwencje przedstawionych powyżej problemów, zdecydowano nie włączać do testu zadań dłuższej wypowiedzi polegających na napisaniu tekstu na zadanych temat. W zamian za to uwzględniono w teście zadania sprawdzające szczegółowe umiejętności związane z pisaniem tekstu i świadomością językową, mające formę zadań zamkniętych lub otwartych krótkiej odpowiedzi. Test świadomości językowej mierzy zatem wiadomości i umiejętności umożliwiające refleksję nad językiem jako narzędziem komunikowania się: umiejętności tworzenia tekstu pisanego, zgodnie z zasadami ortografii i gramatyki języka polskiego, o czytelnej strukturze oraz w zgodzie z zasadą jasnego przekazywania myśli i zasadami logiki, a także umiejętności w zakresie argumentowania oraz zasób słownikowy dziecka. Test świadomości językowej składa się z trzech części (bloków zadań): 1. zadań sprawdzających umiejętności związane z pisaniem tekstów, 2. zadań sprawdzających zasób słownikowy, 3. zadań sprawdzających elementy wiedzy o języku. Wśród zadań mierzących umiejętności związane z pisaniem tekstów znalazły się zadania sprawdzające umiejętność redagowania tekstu, dzielenia wypowiedzi na zdania, rozpoznawania i tworzenia czytelnej struktury tekstu, rozpoznawania i nadawania poprawnego stylu wypowiedzi oraz umiejętności argumentowania. Grupa zadań mająca na celu pomiar zasobu słownikowego uczniów objęła zadania polegające na utworzeniu lub wybraniu spośród podanych wyrazów wyrazu o podobnym lub przeciwstawnym znaczeniu, zadania na dobranie poprawnej definicji lub wyjaśnienia podanego wyrazu lub wpisanie odpowiedniego wyrazu do podanej definicji, zadania na tworzenie, rozpoznawanie lub wyjaśnianie powszechnie występujących porównań i związków frazeologicznych, a także zadania na rozpoznanie niepoprawnego użycia słowa w zdaniu ze względu na jego znaczenie. Na część testu mającą na celu sprawdzenie elementów wiedzy o języku składały się zadania mierzące umiejętność tworzenia i uzupełniania zdań zgodnie z zasadami składni, wyróżniania w tekście i tworzenia zdań oznajmujących, pytających, rozkazujących, a także zadania z zakresu ortografii i interpunkcji oraz poprawności językowej. 9 Wyniki I badania pilotażowego testów osiągnięć szkolnych w szkole podstawowej prowadzonego w ramach projektu Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) współfinansowanego ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego pokazały znaczące różnice w ocenie prac między parą egzaminatorów sprawdzających te same wypowiedzi pisemne uczniów. 43

44 Test umiejętności matematycznych Zadania składające się na test umiejętności matematycznych zostały opisane za pomocą dwóch głównych wymiarów: treści matematycznych, do których należy się odwołać rozwiązując zadanie oraz umiejętności, którymi należy się posłużyć. Dodatkowym wymiarem jest kontekst, w którym umieszczony jest problem matematyczny. Treści matematyczne Skala umiejętności matematycznych obejmuje trzy obszary treści: 1. ilość Obszar ten odnosił się do rozumienia przez uczniów pojęcia liczby, rozumienia i odkrywania relacji miedzy liczbami, umiejętności wykonywania obliczeń oraz rozumienia znaczenia tych operacji, a także umiejętności wykorzystania opisanych kompetencji w sytuacjach praktycznych. W obszarze tym mieściły się także zagadnienia związane z pomiarem. Odwoływały się one do rozumienia problematyki długości, ciężaru, objętości, temperatury i czasu. 2. przestrzeń i kształt Na obszar ten składały się sytuacje geometryczne oraz związki przestrzenne między obiektami. Obejmował on umiejętność rozpoznawania i rysowania figur geometrycznych, dostrzegania symetrii i regularności oraz wyobraźnię przestrzenną (zadania te nie wymagały zastosowania wiedzy formalnej). 3. zmiana i związki Zakres tego obszaru dobrze oddaje cytat z Podstawy programowej kształcenia ogólnego: czynny udział w zdobywaniu wiedzy matematycznej przybliża dziecko do matematyki, rozwija kreatywność, umożliwia samodzielne odkrywanie związków i zależności; duże możliwości samodzielnych obserwacji i działań stwarza geometria, ale także w arytmetyce można znaleźć obszary, gdzie uczeń może czuć się odkrywcą. 10 Na obszar ten składa się więc umiejętność dostrzegania przez ucznia związków i zależności, reprezentowanych w sposób graficzny, słowny, tabelaryczny lub symboliczny. Umiejętności Zadania odwołujące się do każdego z trzech obszarów treści mierzyły różne grupy umiejętności: 1. odtwarzania wiadomości i dobrze wyćwiczonych schematów, którą zdefiniowano jako umiejętność rozwiązywania zadań typowych, które wymagają użycia wyćwiczonych, prostych technik i posłużenia się dobrze znanymi obiektami, inaczej mówiąc przywołania z pamięci pewnych pojęć lub algorytmów. 2. powiązania wiadomości i dobrze wyćwiczonych schematów, potrzebnej do rozwiązania zadań mniej rutynowych, ale niezbyt odległych od zadań typowych. Uczeń musi zwykle wykonać większą liczbę kroków, aby rozwiązać zadanie. Musi wybrać pojęcia (modele, wzory, procedury) matematyczne odpowiednie dla rozwiązania danego problemu. Od ucznia oczekuje się, że będzie potrafił wykorzystać posiadane wiadomości do rozwiązania zadań, z których nie wynika wprost, jakie pojęcia czy procedury powinno się zastosować, że będzie umiał porównać ze sobą informacje (zarówno podane w zadaniu, jak i przywołane z pamięci) i zinterpretować je w celu znalezienia rozwiązania. 10 Podstawa programowa z komentarzami. Tom 6. Edukacja matematyczna i techniczna w szkole podstawowej, gimnazjum i liceum, Zalecane warunki i sposób realizacji, s

45 3. rozumowania matematycznego składającego się z kilku kroków. Od ucznia oczekuje się, że będzie umiał ustalić kolejność czynności prowadzących do rozwiązania problemu (sytuacji nowej, nieoczywistej dla osoby rozwiązującej test), że będzie potrafił wyciągać wnioski z kilku informacji podanych w różnej postaci. Kontekst Uwzględnienie różnych kontekstów problemów matematycznych umożliwia zachowanie właściwej proporcji między zadaniami typowo szkolnymi, zadaniami odwołującymi się do osobistych doświadczeń ucznia oraz tych osadzonych w kontekście bardziej odległym dla dziecka, czyli przestrzeni publicznej. Zadania z testu umiejętności matematycznych odwołują się do trzech kontekstów: 1. osobisty jest to kontekst najbliższy uczniom. Obejmuje sytuacje związane z życiem codziennym ucznia lub jego rodziny. 2. szkolny kontekst ten dotyczy sytuacji często spotykanych w szkole na lekcjach 3. publiczny - kontekst ten jest związany m.in. z życiem społeczności lokalnej (np. sąsiedzi, komunikacja, bank, urząd, punkty usługowe) i społeczeństwa (wybory, zabytki, ochrona środowiska, praca zawodowa) Konstrukcja testów osiągnięć szkolnych Skonstruowanie trafnych i rzetelnych testów osiągnięć szkolnych jest procesem wieloetapowym (Downing, 2006a). Wymaga starannego zaplanowania wszystkich etapów oraz konsekwentnego realizowania przyjętych założeń. Prace nad testami osiągnięć szkolnych wykorzystanymi w badaniu SUEK trwały półtora roku. Rozpoczęły się od opracowania koncepcji pomiaru formułującej ogólne założenia i definiującej skale pomiarowe. Przyjęta koncepcja pozwoliła na zaprojektowanie specyfikacji zawartości testów, czyli tzw. planów testów, które precyzowały ile zadań, mierzących jakie szczegółowe umiejętności, powinno znaleźć się w teście. Zadania do testów były tworzone przez osoby wyłonione w drodze konkursu. Autorzy byli zobowiązani do układania zadań zgodnych z zapotrzebowaniem wynikającym z planów testów oraz sformułowanymi uprzednio zasadami konstrukcji zadań testowych i schematów oceniania (por. Haladyna, Downing, Rodriguez, 2002; Downing, 2006b). Praca autorów była na bieżąco recenzowana, a pula ostatecznie przyjętych zadań podlegała dodatkowej ocenie i korekcie podczas warsztatów z udziałem matematyków, polonistów, pedagogów wczesnoszkolnych, dydaktyków praktyków, koderów oraz członków zespołu badawczego. Etap ten zakończyło opracowanie graficzne 823 przygotowanych w ten sposób zadań. Kolejnym bardzo ważnym etapem było zaplanowanie i zrealizowanie badania pilotażowego przygotowanych zadań składających się na trzy skale pomiarowe. Badanie musiało zostać zaprojektowane tak, żeby parametry psychometryczne zadań składających się na jedną skalę pomiarową zostały przedstawione na wspólnej skali, dzięki czemu możliwy był trafny wybór zadań do ostatecznych wersji testów. Należało także zadbać o jak najdokładniejsze oszacowanie parametrów psychometrycznych zadań i każdego z trzech testów. Spełnienie tych założeń osiągnięto przez opracowanie adekwatnego do nich planu testowania, precyzującego które zadania będą rozwiązywane przez którego ucznia. Zadania testowe podzielono na 44 zeszyty testowe, a plan testowania został ostatecznie przygotowany tak, by każdy zeszyt testowy występował z każdym innym dla pewnej grupy uczniów. Równoważył także prawdopodobieństwo rozwiązywania w próbie każdego zeszytu testowego oraz uwzględniał 45

46 różną kolejność rozwiązywania zeszytów testowych w poszczególnych dniach testowania. Badanie zostało zrealizowane na ogólnopolskiej losowej próbie 80 szkół podstawowych w klasach III i V (łącznie przebadano 281 klas, co dało 5454 uczniów) w roku szkolnym 2010/11. Okienko testowe było na początku II semestru 11. Analiza danych z badania pilotażowego miała na celu wybór zadań o najlepszych właściwościach pomiarowych. Analizy wykonano przy pomocy oprogramowania ConQuest Decyzje o wartości psychometrycznej zadań podejmowano na podstawie miar dopasowania zadania do modelu (INFIT weighted fit, OUTFIT unweighted fit), trudności zadania, wniosków płynących z analizy dystraktorów, wniosków płynących z analiz efektów zróżnicowanego funkcjonowania zadania DIF (differential item functioning). Na podstawie banku zadań o wystarczająco dobrych właściwościach pomiarowych, dopasowanych do założonego modelu analiz oraz przyjętych założeń skal pomiarowych skonstruowano testy do badania zasadniczego. Etap ten polegał na wyborze zadań o najlepszych właściwościach psychometrycznych, które mierzą założone przez plany testów wiadomości i umiejętności oraz są jak najlepiej dostosowane do prognozowanego rozkładu umiejętności uczniów w populacji docelowej, a także mają odpowiednio zróżnicowaną trudność 13. Ustalenie ostatecznej puli zadań tworzących test osiągnięć pozwoliło na skonstruowanie dwóch równoległych wersji testów z pulą zadań kotwiczących. Wersje te tworzono w taki sposób, by zarówno zadania kotwiczące, jak i zadania w każdej wersji testu stanowiły reprezentatywną próbką planu testu, a także by obie wersje miały taką samą trudność Opis ostatecznej wersji testów Testy osiągnięć szkolnych przygotowane na potrzeby badania SUEK są testami papierowymi, dostosowanymi do badania audytoryjnego. Testy te mają dwie równoległe wersje, z pulą zadań wspólnych (kotwiczących) dla obu wersji. Zastosowanie dwóch wersji testów wynika z dwóch przyczyn. Pierwszą jest zwiększenie długości testu 15, co pozwala na zwiększenie trafności pomiaru przez lepsze pokrycie zadaniami szerokiego spectrum treści i umiejętności nauczanych na danym etapie kształcenia, czyli lepsze oszacowanie wyników nauczania na poziomie klasy. Drugą, utrudnienie ściągania wśród uczniów podczas badania testowego, co podnosi wiarygodność uzyskanych wyników. Zarówno zadania kotwiczące, jak i zadania w każdej wersji testu są reprezentatywną próbką planu 11 Harmonogram pracy nad testami niestety nie pozwolił na realizację badania pilotażowego w czasie najbardziej wskazanym na dokładnie rok przed planowanym pomiarem zasadniczym (czyli na początku roku szkolnego 2010/11). Dlatego zdecydowano się objąć badaniem uczniów trochę młodszych oraz trochę starszych, ze świadomością tego, że nie jest to rozwiązanie idealne. 12 Margaret L. Wu i in. (2007). ACER ConQuest version 2.0: Generalised Item Response Modelling Software. ACER Press, Australian Council for Educational Research. 13 Aby krzywa informacyjna testu była jak najwyższa w jak najszerszym obszarze poziomu umiejętności uczniów. 14 Procedura konstrukcji testów osiągnięć szkolnych wykorzystanych w badaniu SUEK została bardziej szczegółowo opisana w: Jasińska, Modzelewski (2012). 15 W raporcie tym termin test stosuje się do wszystkich zadań składających się na obie wersje testu, a nie do jednej wersji testu. Dlatego na długość testu składają się wszystkie zadania wchodzące w skład obu wersji testu (nie licząc podwójnie zadań wspólnych), czyli wszystkie zadania wchodzące w skład skali pomiarowej. 46

47 testu pod względem mierzonych treści i umiejętności, a obie wersje dla każdego testu mają porównywalną trudność. Tabela 2.1. Liczba zadań w testach osiągnięć szkolnych. Liczba zadań w teście Liczba zadań w każdej wersji testu Liczba zadań kotwiczących Test umiejętności czytania Test świadomości językowej i Test umiejętności matematycznych i Źródło: opracowanie własne. Na każdy test składa się od 43 do 53 zadań (od 29 do 35 zadań na każdą wersję). Zadania są pogrupowane w 12 zeszytów testowych (po 6 na każdą wersję). Zadania z testu umiejętności matematycznych zostały wydzielone do odrębnych zeszytów (po 2 na każdą wersję), natomiast zadania z testu umiejętności czytania i testu świadomości językowej umieszczono we wspólnych zeszytach (po 4 na każdą wersję) z uwagi na większą ilość czasu potrzebą do przeczytania tekstów z testu umiejętności czytania. Każdy badany uczeń rozwiązywał więc 6 zeszytów testowych 16, po 2 jednego dnia testowania, a na rozwiązanie jednego zeszytu miał 35 minut. Zadania wchodzące w skład poszczególnych testów mierzyły wiadomości i umiejętności zgodne z koncepcją skal pomiarowych. Poniżej przedstawiono podsumowanie struktury każdego testu prezentując procentowy rozkład zadań mierzących określone w koncepcji grupy umiejętności. Umiejętności Typ materiału tekstowego 32% 35% wyszukiwanie informacji interpretacja 41% 41% literackie popularnonau kowe 33% refleksja i ocena 18% użytkowe Rysunek 2.1. Podsumowanie struktury testu umiejętności czytania. Źródło: opracowanie własne. W teście umiejętności czytania ok. jedna trzecia zadań mierzy każdą z opisanych w koncepcji umiejętności: wyszukania informacji, interpretacji oraz refleksji i oceny. W teście tym dominują zadania wymagające przeczytania tekstów literackich i użytkowych. Natomiast prawie jedna piąta zadań sprawdza umiejętność czytania tekstów popularnonaukowych. 16 Jeśli był nieobecny podczas którejś sesji testowej, mógł rozwiązać ich mniej. 47

48 Rysunek 2.2. Podsumowanie struktury testu świadomości językowej Źródło: opracowanie własne. Na test świadomości językowej składa się prawie 20% zadań sprawdzających umiejętności związane z pisaniem tekstów oraz po ok. 40% zadań mierzących zasób słownikowy i elementy wiedzy o języku. Treści matematyczne Umiejętności 28% 15% 57% ilość przestrzeń i kształt zmiana i związki 23% 56% 21% odtwarzanie powiązania rozumowanie Rysunek 2.3. Podsumowanie struktury testu umiejętności matematycznych Źródło: opracowanie własne. Najwięcej zadań z testu umiejętności matematycznych odwołuje się do treści z kategorii ilość. Jest to umotywowane tym, że na I etapie edukacji treści te są najliczniej reprezentowane w programach nauczania. W zakresie mierzonych umiejętności najwięcej zadań w teście matematycznym wymaga powiązania wiadomości i dobrze wyćwiczonych schematów. Więcej niż jedna piąta zadań sprawdza umiejętność rozumowania. Podobny odsetek mierzy umiejętność odtwarzania wiadomości i dobrze wyćwiczonych schematów. W ramach pomocniczego wymiaru testu matematycznego, jakim był kontekst nie udało się zrealizować w pełni założeń koncepcji dotyczących pożądanych proporcji zadań umieszczonych w opisanych kontekstach. Zakładano, że najwięcej zadań powinno odwoływać się do osobistych doświadczeń ucznia (kontekst osobisty), a najmniej do zdarzeń najodleglejszych (kontekst publiczny). Autorom zadań testowych trudno było jednak wyjść poza kontekst szkolny, stąd wiele dobrych zadań była osadzona właśnie w tym kontekście. Ostatecznie 28% zadań testu matematycznego umieszczonych jest w kontekście osobistym, 59% zadań odwołuje się do kontekstu szkolnego, a 13% zadań do kontekstu publicznego. 48

49 2.5. Przyjęty model analizy danych Metoda skalowania Zarówno na etapie pilotażu jak i badania zasadniczego, do analizy wyników testów zastosowano metodologię skalowania Item Response Theory (pol. teoria odpowiedzi na zadanie testowe). Metodologia ta jest stosowana powszechnie w międzynarodowych badaniach osiągnięć uczniów (takich jak PIRLS, TIMSS czy PISA) do skalowania wyników testów osiągnięć szkolnych. Jedną z głównych jej zalet jest możliwość ulokowania zarówno poziomu umiejętności uczniów jak i trudności zadań na jednej skali, a przez to modelowanie prawdopodobieństwa udzielenia przez ucznia prawidłowej odpowiedzi na zadanie w zależności od jego/jej poziomu umiejętności oraz parametrów zadania. Modele konstruowane w ramach IRT są więc modelami probabilistycznymi, a nie deterministycznymi. W przypadku testów stworzonych na potrzeby badania SUEK zdecydowano się na najbardziej restrykcyjny model IRT, czyli szczególną wersję jednoparametrycznego modelu IRT tzw. modelu Rascha, a dokładniej, na aplikacje tego modelu dla zadań ocenianych dychotomicznie (tj. zadań wielokrotnego wyboru z jedną poprawną odpowiedzią oraz zadań kodowanych 0-1) oraz dla zadań z dwu lub więcej kategoriami odpowiedzi (tzw. model Partial Credit). Szczegółowa specyfikacja tych modeli przedstawiona jest na przykład w: van der Linden i Hambleton (1997). Model Rascha zakłada, że wszystkie zadania mają tak samo dobre właściwości pomiarowe (de Ayala, 2009, s ), a różnić się między sobą mogą jedynie parametrem trudności. Oznacza to (dla zadania ocenianego dychotomicznie, gdzie 1 oznacza odpowiedź poprawną, a 0 odpowiedź niepoprawną), że prawdopodobieństwo udzielenia poprawnej lub błędnej odpowiedzi na zadanie j przez ucznia i (tj. x ij ) zależy wyłącznie od różnicy poziomu umiejętności ucznia θ i, oraz trudności zadania δ j. Różnica ta wyrażona jest na skali logitowej i odpowiada logarytmowi naturalnemu ilorazu szans tj. prawdopodobieństwa udzielenia poprawnej odpowiedzi na zadanie j przez ucznia i oraz prawdopodobieństwa udzielenia odpowiedzi niepoprawnej: Z powyższego wzoru łatwo można wyprowadzić formułę na uzyskanie prawdopodobieństwa udzielenia odpowiedzi poprawnej: Model Partial Credit pozwala na zastosowanie tej samej logiki do zadań z wieloma uporządkowanymi kategoriami odpowiedzi (np. de Ayala, 2009, s , Masters i Wright, 1997). Stworzenie testów z zadań spełniających założenie modelu Rascha jest niezwykle istotne z punktu widzenia komunikowania wyników w postaci informacji o osiągnięciu pewnego poziomu wiadomości i umiejętności 17, a także tworzenia tablic przeliczeniowych wyniku surowego na wynik przeskalowany 18, 17 Jest to możliwe dzięki temu, że w modelu Rascha uporządkowanie pytań ze względu na trudność jest takie samo dla każdego ucznia (każdego poziomu umiejętności), ponieważ krzywe charakterystyczne zadań się nie przecinają, a także umiejętności uczniów i trudności pytań są wyrażone na tej samej skali. 18 Surowa liczba punktów jest statystyką dostateczną (de Ayala, 2009, s.25). 49

50 co umożliwia wykorzystywanie testów w diagnozie nauczycielskiej i porównanie otrzymanych wyników z określonymi normami. Każdy z trzech testów skalowany był osobno, co oznacza, że oszacowania trudności dla zadań, jak również oszacowania poziomów umiejętności dla uczniów, w ramach poszczególnych skal pomiarowych liczone były niezależnie od siebie. Za metodę estymacji parametrów zadań przyjęto Marginal Maximum Likelihood. Metoda ta pozwala na oszacowanie parametrów zadań niezależnie od parametrów uczniów oraz opiera się na założeniu, że cecha latentna przyjmuje rozkład normalny w populacji (de Ayala, 2009). Logika, która stoi za takim rozwiązaniem opiera się na założeniu, że dla oszacowania parametrów dla zadań jest więcej informacji (w przypadku testów stworzonych dla badania SUEK, każde zadanie zostało rozwiązane przez ponad 2500 uczniów) niż dla uczniów (patrz tab. 1.). W związku z tą własnością przyjętej metody, estymacja parametrów dla zadań i uczniów odbywała się w dwóch krokach: najpierw oszacowano parametry dla zadań, a następnie, z wykorzystaniem tak otrzymanych parametrów zadań, wyestymowano parametry dla uczniów. Skalowanie wykonano za pomocą oprogramowania ConQuest Kalibracja zadań Podczas estymowania parametrów zadań wykorzystano informacje o wykonaniach dla wszystkich uczniów, którzy podeszli do testów. Należy jednakże zwrócić uwagę na fakt, że każde zadanie zostało rozwiązane tylko przez podpróbkę uczniów, a więc informacja o danym zadaniu jest dostępna tylko dla części uczniów. Taki stan rzeczy wynika zarówno z konstrukcji testów i planu testowania każdy uczeń rozwiązywał tylko zadania z jednej z dwóch wersji testu, ale także ze względów związanych z realizacją badania: część uczniów mogła nie być obecna podczas któregoś z dni testowania w szkole. Istnieje także jeszcze jedno źródło braku informacji o rozwiązaniu zadania, z którego należy zdać sobie sprawę uczeń podczas rozwiązywania testu mógł pominąć konkretne zadanie, nie zostawiwszy tym samym informacji o tym, czy jest w stanie je rozwiązać, czy też nie. Ten ostatni przypadek może wynikać z różnych przyczyn (np. z niskiej motywacji do rozwiązania testów), jednakże dwie możliwości wydają się być najbardziej prawdopodobne: uczeń mógł pominąć zadanie, gdyż wydało mu się za trudne do rozwiązania lub mógł nie zdążyć go rozwiązać w czasie przewidzianym na sesję testową. Obie te przyczyny wiążą się z poziomem umiejętności ucznia, jednakże pierwsza dopuszcza możliwość, że uczeń po zapoznaniu się z danym zadaniem sam oszacował swój poziom umiejętności jako niewystarczający do jego rozwiązania, druga z kolei pozwala nam domniemywać, że uczeń nie miał możliwości skonfrontowania się z zadaniem. W związku z tym, że podczas kalibracji zadań odsetek poprawnych i niepoprawnych odpowiedzi ma duże znaczenie dla estymowanych parametrów, rozróżnienie tych dwóch okoliczności na etapie kalibracji zadań wydaje się zasadne. Idąc śladem wytyczonym przez takie międzynarodowe badania edukacyjne jak TIMSS, PIRLS czy PISA, w badaniu SUEK wyróżniono następujące kategorie braków odpowiedzi na zadanie testowe: a) zadanie niezaadministrowane: w tej kategorii mieszczą się te przypadki braków odpowiedzi, które wynikają z fizycznego niezaadministrowania zadania uczniowi (uczeń był nieobecny podczas sesji testowej lub zadanie znajdowało się w zeszycie testowym nie rozwiązywanym zgodnie z planem przez ucznia). Brak odpowiedzi na ten typ zadania traktowany jest zawsze jako brak danych; 19 Margaret L. Wu i in. (2007). ACER ConQuest version 2.0: Generalised Item Response Modelling Software. ACER Press, Australian Council for Educational Research. 50

51 b) zadanie pominięte: w tej kategorii znajdują się przypadki braków odpowiedzi na te zadania, na które uczeń mógł odpowiedzieć, ale tego nie uczynił; c) zadania nie osiągnięte: jest to ciąg zadań pominiętych, który znajduje się na końcu zeszytu testowego, z zastrzeżeniem, że pierwsze zadanie z tego ciągu traktowane jest jako zadanie pominięte. Podczas kalibracji zadań, braki odpowiedzi z kategorii c traktowane były jako zadania niezaadministrowane (przekodowywane były na braki danych), natomiast braki odpowiedzi z kategorii b traktowane były jako odpowiedzi błędne Szacowanie wyników uczniów Posiadając oszacowania parametrów dla zadań, przystąpiono do estymacji wyników dla uczniów. W tym kroku wszystkie zadania pominięte traktowane były jako odpowiedzi błędne. W badaniu SUEK zdecydowano się na oszacowanie dwóch rodzajów estymatorów umiejętności uczniów: punktowego estymatora EAP (expected a posteriori) oraz zestaw pięciu imputacyjnych estymatorów, tzw. plausible values (PV). Opis tych estymatorów można znaleźć np. w: Adams (2005), Wu (2005). Oba rodzaje estymatorów związane są z bayesowskimi metodami statystycznymi i pojęciem rozkładu a posteriori dla oszacowania umiejętności danego ucznia. Wartość oczekiwana tego rozkładu jest estymatorem EAP dla danego ucznia. Plausible values z kolei stanowią losową próbkę n wartości z tego rozkładu. Estymatory EAP posiadają tę własność w ramach bezwarunkowego modelu Rascha, że dla każdego ucznia o określonej sumarycznej liczbie punktów na teście, oszacowanie to przyjmuje tę samą wartość, gdyż rozkład a posteriori jest ten sam dla tych uczniów. Inaczej jest w przypadku PV: w związku z tym, że oszacowanie to stanowi losowa próbka z rozkładu a posteriori, uczniowie o tej samej liczbie punktów z testu mogą mieć różne oszacowania, w związku z czym nie wykorzystuje się ich zazwyczaj do komunikowania wyników uczniom, ale do celów badawczych. Oszacowania PV pozwalają bowiem na nieobciążone oszacowanie wariancji (wariancja estymatora EAP jest niedoszacowana), a w przypadku analiz wtórnych, np. w analizach stosowanych na potrzeby niniejszego raportu, umożliwiają wzięcie pod uwagę faktu, że testy osiągnięć szkolnych użyte do pomiaru umiejętności konkretnych uczniów charakteryzują się pewnym określonym poziomem precyzji, pozwalają zatem oddać niepewność pomiaru zmiennej zależnej w analizach. Podobnie jak we wspomnianych wcześniej międzynarodowych badaniach osiągnięć szkolnych, tak i w badaniu SUEK oba rodzaje estymatorów wyników uczniów liczone były w ramach tzw. modeli warunkowych lub mówiąc inaczej, przy użyciu regresji latentnych. Podczas estymacji parametrów uczniowskich (zarówno EAP jak i PV), do skonstruowania rozkładu a posteriori potrzebny jest pewien model, który opisywałby rozkład danej cechy w populacji. W przypadku modelu bezwarunkowego najczęściej wykorzystywany jest rozkład normalny. Model z regresją latentną pozwala na bezpośrednie ujęcie zależności (lub ich braku) zachodzących w populacji pomiędzy umiejętnością a szeregiem innych zmiennych, zgodnie ze specyfikacją modelu. Uzyskane w ten sposób oszacowania wyników uczniów pozwalają na ujęcie tych zależności w dalszych analizach, w których oszacowania te są używane. Więcej o zastosowaniu modelu z regresją latentną do uzyskiwania oszacowań poziomu umiejętności można znaleźć w: Wu (2005). 51

52 Do modelu warunkowego dla danej umiejętności, jako zmienne niezależne wykorzystano zmienne znajdujące się w modelach kontrolnych dla tej umiejętności. Modele te opisane są w rozdziale Ocena dopasowania danych do modelu Zastosowany do skalowania danych model IRT, model Rascha, opiera się na trzech głównych założeniach. Pierwsze założenie mówi o tym, że zadania mierzą jeden konstrukt, tzn. że dane dotyczące odpowiedzi uczniów można wytłumaczyć wyłącznie odwołując się do mierzonej umiejętności. Drugie założenie mówi o tym, że odpowiedzi na poszczególne zadania są niezależne od siebie, pod warunkiem danego poziomu umiejętności ucznia. Zgodnie z trzecim założeniem, dane dotyczące odpowiedzi uczniów na zadania wykazują określone prawidłowości, które można ująć w postać funkcji. Dla modelu Rascha funkcja ta ma dla każdego zadania ten sam esowaty kształt, a jedynym parametrem, pod względem którego zadania mogą się różnić jest parametr trudności, definiowany jako punkt na skali umiejętności, dla którego prawdopodobieństwo odpowiedzi poprawnej przez ucznia o tym samym poziomie umiejętności co trudność zadania wynosi 50 %. Reprezentacją graficzną tej funkcji jest krzywa informacyjna dla zadania. Poniżej zaprezentowano krzywe informacyjne dla trzech hipotetycznych zadań: 20 Należy zwrócić uwagę, że oszacowania dla uczniów nie uwzględniają podziału uczniów na klasy i szkoły, może powodować zaniżone oszacowania wariancji międzygrupowej liczonej za pomocą tak uzyskanych wyników. Obecnie jednak, według wiedzy autorów raportu, nie istnieje oprogramowanie, które umożliwiłoby uwzględnienie w sposób poprawny złożonego schematu doboru próby podczas szacowania wyników uczniów. 52

53 Prawdopodobieństwo Prawdopodobieństwo Model 1PL (Rasch) Model 2 Zadanie a Zadanie b Zadanie c Umiejętność (cecha ukryta) Umiejętność (cec Źródło: opracowanie własne. Rysunek 2.4. Krzywe informacyjne dla trzech zadań a, b i c. W związku z tym, że zadania różnią się tylko parametrem trudności, posiadają one takie same własności różnicujące uczniów (tj. ten sam parametr nachylenia, zdefiniowany jako parametr nachylenia stycznej do krzywej charakterystycznej dla zadania j w punkcie [δ j ; 0,5]). Założenie to implikuje, że krzywe charakterystyczne dla zadań nie przecinają się (są do siebie równoległe). Oznacza to, że model stawia bardzo restrykcyjne wymagania co do zależności obserwowanych w danych. Ocena tego, czy wymagania te są spełnione, pozwala na określenie, czy testy osiągnięć szkolnych pozwalają na pomiar jednego spójnego konstruktu. Weryfikacja hipotezy o spełnieniu założeń modelu opiera się na analizie dopasowania empirycznych krzywych charakterystycznych dla zadań do odpowiednich krzywych teoretycznych. Do oceny tego dopasowania służą dwie miary INFIT i OUTFIT. Miary dopasowań zdają sprawę ze zgodności przewidywań modelu i danych empirycznych. Miara OUTFIT jest równie wrażliwa na odstępstwa od przewidywań modelu dla przypadków w całym zakresie skali. Z kolei miara INFIT, większą wagę przykłada do tych przypadków, które znajdują się na skali w pobliżu punktu wyznaczonego jako trudność zadania (czyli tam, gdzie zadanie teoretycznie powinno najlepiej różnicować uczniów). Gdy miary te osiągają jeden, przyjmuje się, że zadanie jest dobrze dopasowane do modelu. W praktyce dopuszcza się jednak pewne rozchwianie wartości tych statystyk (de Ayala, 2009, s ). W badaniu SUEK na etapie pilotażu i konstrukcji docelowych narzędzi przyjęto, że zadania, dla których miary dopasowania wahały się między 0,8 i 1,2 były wystarczająco dobrze dopasowane. Dokładny opis porównania miar dopasowania dla zadań, które weszły do testów osiągnięć szkolnych użytych w badaniu SUEK, pomiędzy badaniem pilotażowym i zasadniczym znajduje się w: Jasińska, Modzelewski (2012), warto jednak nadmienić, że dla modeli bezwarunkowych (bez zastosowania regresji latentnej), skonstruowane testy zachowały swoje dobre własności pomiarowe na etapie badania zasadniczego. 53

54 Standaryzacja Otrzymane oszacowania wyników uczniów zarówno oszacowania EAP jak i pięć plausible values wyjściowo znajdują się na skali logitowej. Dla jasności prezentowanych wyników analiz umieszczonych w dalszych częściach raportu, oszacowane wyniki uczniów wystandaryzowano i przeniesiono na skalę o średniej 100 i odchyleniu standardowym 15, według następującego wzoru: gdzie, oznacza wystandaryzowany wynik i-tego ucznia w teście mierzącym umiejętność U;, oznacza surowy wynik i-tego ucznia w teście mierzącym umiejętność U;, oznacza estymator średniej populacyjnej dla umiejętności U;, oznacza estymator odchylenia standardowego umiejętności U w populacji. Procedura standaryzacji wymagała oszacowania średniej oraz odchylenia standardowego dla każdej ze zmiennej poddanej standaryzacji. Zarówno oszacowania EAP jak i PV dla danej umiejętności zostały wystandaryzowane z użyciem tej samej średniej i odchylenia standardowego. Wykorzystano najlepsze dostępne estymatory tych parametrów dla populacji. Dla każdej skali umiejętności wyliczono średnią oraz wariancję obliczoną jako średnią z wariancji każdej z plausible values dla danej umiejętności. Pierwiastek z tak uzyskanej wariancji posłużył jako estymator odchylenia standardowego w populacji dla danej umiejętności. Zarówno oszacowanie średniej jak i oszacowania wariancji dla każdej z PV zostały obliczone z wykorzystaniem wag próbkowania (opisanych w rozdziale 1). Wartości estymatorów średniej i odchylenia standardowego dla każdej z umiejętności zostały przedstawione w tabeli 2. Tabela 2.2. Wartości estymatorów średniej i odchylenia standardowego dla poszczególnych umiejętności (skala logitowa). Umiejętność Estymator średniej Estymator odchylenia standardowego Czytanie 0,517 1,06 Matematyka 0,302 1,05 Świadomość językowa 0,148 1,07 Źródło: opracowanie własne. 54

55 2.6. Właściwości psychometryczne testów osiągnięć szkolnych Właściwości zadań W poprzednim podrozdziale wspomniano o procedurze służącej do ewaluacji hipotezy o dopasowaniu modelu do danych. Ze względu na restrykcyjne założenia obecne w modelu Rascha, często mówi się, że próba dopasowania tego modelu do danych ma charakter analizy konfirmacyjnej, w której hipoteza badawcza poddawana próbie brzmi: użyte narzędzie pozwala na dobry pomiar badanej umiejętności. Czy zatem testy osiągnięć szkolnych skonstruowane na potrzeby badania SUEK pozwalają na przyjęcie wspomnianej hipotezy? Przyjrzyjmy się rozkładom miar dopasowania dla zadań w trzech stworzonych testach. Źródło: opracowanie własne. Rysunek 2.5. Wykresy skrzynkowe miar dopasowania zadań dla testów osiągnięć szkolnych. Wykresy skrzynkowe przedstawiają rozkłady miar dopasowania zadań (INFIT i OUTFIT) wyliczone dla parametrów zadań oszacowanych w kroku kalibracji zadań, a następnie zadanych jako stałe w modelu z regresją latentną. Jak widać, dla zdecydowanej większości zadań miary dopasowania znajdują się w wyznaczonych granicach, tj. pomiędzy 0,8 i 1,2. Kilka zadań, które nie wykazują się dobrym dopasowaniem, zachowano ze względu na zapisy planów testów. Można zatem powiedzieć, że testy osiągnięć szkolnych skonstruowane na potrzeby badania SUEK, w bardzo wysokim stopniu spełniają wymogi stawiane przez model Rascha, a tym samym, że są narzędziem, skonstruowanym z zadań, które w badanych przez siebie zakresach dostarczają rzetelnej informacji odnośnie umiejętności uczniów Właściwości skal pomiarowych Powyższe analizy pozwalają stwierdzić, że testy osiągnięć szkolnych skonstruowane na potrzeby badania SUEK pozwalają na pomiar umiejętności uczniów w zgodzie z logiką zawartą w modelu Ras- 55

56 cha. Wspomnieliśmy także, że narzędzia te zostały stworzone jako testy szerokiego zasięgu, tzn. mają na celu precyzyjny pomiar dla jak najszerszego zakresu badanej umiejętności w populacji uczniów po klasie trzeciej. Zarówno na etapie konstrukcji testów, jak i podczas ich zastosowania w badaniu zasadniczym, precyzję pomiaru badanej umiejętności w różnych zakresach analizowano na podstawie krzywej informacyjnej testu. Krzywa informacyjna testu jest przydatnym narzędziem pozwalającym graficznie przedstawić zdolność testu do szacowania poziomu umiejętności w różnych jej zakresach (de Ayala, 2009, s ). Im większa wartość funkcji informacyjnej, tym większa precyzja pomiaru badanej cechy. W zależności od uwzględnionych w teście zadań, przyjętego modelu estymacji, krzywa informacyjna dla testu może przybierać różne kształty. Na etapie konstrukcji testu, narzędzie to pozwala więc dosłownie na projektowanie własności pomiarowych testu w zależności od potrzeb wystarczy określić pożądany kształt krzywej. Krzywa informacyjna dla idealnego testu osiągałaby wysoką wartość maksimum dla średniego wyniku w populacji i utrzymywałaby wysoki wynik aż po skraje skali. Znaczyłoby to przy zachowaniu założeń modelu że test pozwala na bardzo dokładny pomiar umiejętności wśród wszystkich członków badanej populacji, niezależnie od ich poziomu umiejętności. Narzędzie takie musiałoby składać się z bardzo wielu zadań, o bardzo zróżnicowanej trudności 21. Ulokowanie krzywej informacyjnej testu nad skalą umiejętności pozwala na określenie czy dany test dobrze wpasował się w zakres umiejętności uczniów. Poniżej przedstawione zostały krzywe informacyjne dla trzech testów skonstruowanych na potrzeby badania SUEK. 21 Należy jednak pamiętać, że dokładność pomiaru, wraz z czasem potrzebnym na jego przeprowadzenie, z zasady znajdują się w relacji monotonicznie rosnącej: im więcej zadań w teście, tym dokładniejszy pomiar. Jednym ze sposobów na zwiększenie precyzji pomiaru, przy zachowaniu rozsądnego czasu badania, stanowi testowanie adaptatywne: poziom umiejętności badanego szacowany jest na bieżąco, a każde kolejne zadanie dobierane jest ze względu poprzednie odpowiedzi badanego. W ten sposób narzędzie zatacza coraz węższe okrążenia wokół najpewniejszego oszacowania poziomu umiejętności badanego, aż do osiągnięcia pożądanego stopnia precyzji. 56

57 Źródło: opracowanie własne Rysunek 2.6. Porównanie funkcji informacyjnych dla testów osiągnięć szkolnych w odniesieniu do skali z wystandaryzowanymi wynikami. Krzywe dla funkcji informacyjnych dla każdego z testów zostały ulokowane nad wystandaryzowaną skalą, na której wyrażone są wyniki uczniów dla poszczególnych umiejętności. Na tej skali punkt 100 odpowiada wartości estymatora średniej populacyjnej, a odcinek o długości 15 odpowiada estymatorowi odchylenia standardowego danej umiejętności w populacji. Funkcja informacyjna dla testu stanowi sumę wartości funkcji informacyjnych dla poszczególnych zadań, warunkując dla danego poziomu cechy. W celu ułatwienia interpretacji wykresu, można dodać, że dla danego zadania j ocenianego dychotomicznie, funkcja informacyjna dla modelu Rascha wyraża się wzorem: i jej maksimum wynosi 0,25. Analizując wykres, można powiedzieć, że testy są dobrze dopasowane do rozkładu umiejętności uczniów w populacji w zakresie ± 2 odchylenia standardowe (gdzie mieści się około 95 % populacji) skonstruowane testy osiągnięć szkolnych pozwalają na pomiar umiejętności z zadowalającym stop- 57

58 niem precyzji. Stopień dopasowania testów waha się jednak dla poszczególnych umiejętności. Test czytania okazał się trochę za łatwy w stosunku do poziomu uczniów badanych, wynika to jednak z trudności związanych z pozyskaniem zadań o wyższej trudności na etapie konstrukcji testu. Test świadomości językowej z kolei posiada zdecydowanie mniej zadań niż test matematyczny czy wspomniany test czytania stąd maksimum jego funkcji informacyjnej jest niższe niż dwóch pozostałych narzędzi, jednakże posiada porównywalną do testu z matematyki jakość do precyzyjnego pomiaru uczniów zdolnych Rzetelność i błąd pomiaru Niepewność pomiaru dla danego narzędzia przyjęło się określać w klasycznej teorii testu (KTT) jako jego rzetelność, czyli związek pomiędzy wynikiem testu a tzw. wynikiem prawdziwym. Związane jest to bezpośrednio z założeniami dotyczącymi pomiaru, zgodnie z którymi wynik konkretnego badanego w teście równy jest sumie wyniku prawdziwego i nieskorelowanego z tym wynikiem błędu pomiaru. W ramach KTT, stworzono grupę statystyk, które pozwalają na globalne oszacowanie tej własności testu (jedną z najpopularniejszych jest miara wewnętrznej zgodności narzędzia, alfa Cronbacha). Można wskazać na co najmniej dwa problemy związane z pojęciem rzetelności w KTT. Po pierwsze, bardzo często podając oszacowanie rzetelności dla testu, przyjmuje się, że jest to jego immanentna własność, zapominając o tym, że oszacowanie to zależy od próby badanych, którzy test rozwiązywali (narzędzie może okazać się rzetelne w jednej próbie, a w innej nie). Po drugie, za tak rozumianą rzetelnością stoi założenie, że precyzja pomiaru jest identyczna dla każdego ucznia to znaczy, że zarówno uczniowie o niskich jak i wysokich wynikach badani są z tą samą precyzją. Założenie to jest jednak bardzo wątpliwe. IRT przyjmuje zupełnie inne założenia odnośnie pomiaru umiejętności. W teorii tej modelowane jest prawdopodobieństwo prawidłowej odpowiedzi ucznia na określone zadanie w zależności od jego parametrów i poziomu umiejętności ucznia. Nic dziwnego zatem, że podejście do precyzji pomiaru również jest odmienne. W IRT, bazując na informacji o tym jak uczeń poradził sobie z danymi zadaniami (a przy tym znając ich parametry oraz wiedząc jaki rozkład przyjmuje umiejętność w populacji), możemy określić najbardziej prawdopodobne ulokowanie ucznia na skali, np. oszacowanie EAP. Ulokowanie to obarczone jest pewnym błędem, który można przedstawić jako odchylenie standardowe rozkładu umiejętności a posteriori dla ucznia. W zależności od tego jak dobrze dobraliśmy zadania, które przed uczniem postawiliśmy (ilość informacji dostarczanej przez zadanie zależy od jego trudności) oraz jak wiele ich było, tym precyzyjniej jesteśmy w stanie określić jego poziom umiejętności. W związku z tym, w IRT możemy powiedzieć o wiele więcej o precyzji pomiaru konkretnego ucznia niż w ramach KTT jesteśmy bowiem w stanie oszacować indywidualny błąd pomiaru. Znika tym samym problem braków danych dla poszczególnych zadań, który często paraliżuje możliwość oceny rzetelności pomiaru w KTT w IRT, brak odpowiedzi ucznia na dane zadanie zmniejsza po prostu precyzję pomiaru jego poziomu umiejętności. Poniżej dla każdego z trzech testów prezentujemy wykresy indywidualnego błędu pomiaru, rozumianego jako odchylenie standardowe rozkładu a posteriori umiejętności uczniów w zależności od oszacowanego dla nich wyniku. Błąd pomiaru wyrażony jest na skali logitowej. 58

59 59

60 Rysunek 2.7. Wykres rozrzutu dla błędu pomiaru wyrażonego na skali logitowej w zależności od wystandaryzowanego oszacowanego wyniku dla trzech umiejętności. Na wszystkich trzech wykresach możemy dostrzec, że błędy pomiaru są najmniejsze dla tych oszacowań, które znajdują się blisko średniej testu (a dokładniej, bliżej tego poziomu umiejętności, dla którego funkcja informacyjna testu osiąga maksimum). Widzimy jednak, że nie dla wszystkich uczniów o określonym poziomie umiejętności, wynik został oszacowany z podobną precyzją. Dla każdego testu można określić główną zależność pomiędzy błędem pomiaru a poziomem umiejętności wyznaczoną przez krzywą złożoną z dużego zagęszczenia punktów. Są to ci uczniowie, którzy rozwiązywali wszystkie zadania w przeznaczonej im wersji testu. Dla testów świadomości językowej i czytania możemy także wyróżnić trzy inne formy zależności, tj. krzywe znajdujące się powyżej głównego trendu. Tworzą je uczniowie, którzy rozwiązali tylko część przeznaczonych dla nich zadań (uczniowie ci zapewne nie byli obecni na wszystkich sesjach testowych). Dla testu matematycznego poza głównym trendem możemy dostrzec jeszcze jedną formę zależności. Wyznaczona jest ona przez uczniów, którzy rozwiązali tylko jeden zeszyt testowy ich liczba jest jednak niewielka, gdyż obie sesje testowe z matematyki odbywały się jednego dnia. Dla każdego z trzech testów wielkość błędów w zależności od poziomu umiejętności jest zadowalająca w granicach ± 2 odchyleń standardowych oscyluje ona w okolicach 0,4 logita, co w przełożeniu na standaryzowaną skalę wynosi mniej niż 40 % odchylenia standardowego należy jednakże pamiętać, że rozkłady umiejętności a posteriori nie mają ściśle rzecz ujmując rozkładów normalnych. Precyzja pomiaru stopniowo maleje dla uczniów będących oddalonymi od średniej ich rozkłady a posteriori są zazwyczaj skośne w stronę od średniej, co zwiększa ich wariancję. Jest to zgodne ze zdroworozsądkowym podejściem do pomiaru dydaktycznego poziom umiejętności ucznia, który rozwiązał wszystkie lub prawie wszystkie zadania prawdopodobnie posiada wysoki poziom umiejętności jednakże jak wysoki? Podobnie ma się sprawa w przypadku uczniów, którzy nie poradzili sobie z dużą liczbą zadań. Widzimy jednak, że skonstruowane testy pozwalają na pomiar umiejętności dla uczniów ze skrajów skali ze stosunkowo dużą precyzją dla całego zakresu umiejętności wielkości błędów dla wszystkich testów nie przekraczają poziomu 0,6 logita (w przypadku głównej zależności) test czytania relatywnie słabiej mierzy poziom umiejętności uczniów zdolnych, a test świadomości językowej uczniów słabszych. Test matematyczny zachowuje się w miarę spójnie w całym zakresie skali. Wielkość błędu ma także związek z dostępnymi informacjami uwzględnionymi w regresji latentnej na podstawie której wyznaczano wyniki uczniów (Wu, 2005). 60

61 Choć dla metodologii IRT liczenie jednego globalnego współczynnika, który zdawałby sprawę z rzetelności nie do końca jest zgodne jej logiką, podjęto działania mające na celu stworzenie wskaźnika precyzji pomiaru dla testu w danej próbie badanych. Można wyróżnić kilka takich metod (por. de Ayala, 2009; Kim i Feldt, 2010; Adams, 2005), w rozdziale tym przedstawimy jedną z nich - tzw. współczynnik rzetelności EAP/PV (Adams, 2005). Jest to jedna ze statystyk dla testów, którą wylicza program ConQuest 2.0. Współczynnik ten jest stosunkiem wariancji oszacowań EAP dla uczniów i wariancji umiejętności w populacji. Nieobciążonym estymatorem tej ostatniej jest wariancja wyliczona dla PV. Współczynnik ten osiąga wartości z przedziału (0;1). Im wyższa jest jego wartość tym średnio błąd pomiaru w próbie jest mniejszy. Wynika to z faktu, że im precyzyjniej pomierzylibyśmy poziom umiejętności uczniów, tym mniejsza byłaby wariancja rozkładów a posteriori ich umiejętności, a w związku z tym wylosowane z tego rozkładu PV byłyby bliskie jego wartości oczekiwanej, EAP. Wariancja oszacowań EAP dla uczniów byłaby więc bardzo zbliżona do wariancji dla PV. W tabeli poniżej przedstawiono oszacowania tego współczynnika dla testów osiągnięć szkolnych. Tabela 2.3. Wartość współczynnika rzetelności EAP/PV dla testów osiągnięć szkolnych. Źródło: opracowanie własne Test Wartość współczynnika rzetelności EAP/PV Test czytania 0,866 Test matematyczny 0,876 Test świadomości językowej 0,864 Wartości współczynników są wysokie dla wszystkich trzech testów, co zdaje się potwierdzać wyniki analiz rozkładów błędów dla każdego z nich. Widzimy także, że większa precyzja pomiaru dla testu matematycznego dla całego zakresu skali wydaje się być odwzorowana w relatywnie wyższej wartości współczynnika rzetelności dla tego testu. Należy jednakże pamiętać, że współczynnik ten stanowi uśrednienie precyzji pomiaru dla wszystkich uczniów informacja o indywidualnych różnicach w precyzji pomiaru zostaje utracona za cenę wygody posługiwania się jedną wartością liczbową dla całego testu. Podsumowując rozważania o rzetelności testów osiągnięć szkolnych, można powiedzieć, że złożony i przemyślany proces ich tworzenia a także zastosowana metodologia pomiaru, zaowocowały uzyskaniem narzędzi o bardzo dobrych własnościach psychometrycznych. Pomiar umiejętności przeprowadzony za pomocą tych narzędzi zapewnia wyniki obarczone niepewnością o rozsądnych rozmiarach dla całego zakresu skali Trafność pomiaru osiągnięć szkolnych Zagadnienie trafności pomiaru związane jest z tym, jak dobrze test mierzy to, co zakłada się, że mierzyć powinien. W psychologicznym ujęciu problematyki trafności wiele miejsca poświęca się na wyszczególnianie i opisywanie różnych rodzajów trafności, konsekwencji ich braku oraz sposobów ich badania (Anastasi i Urbina, 1999). W kontekście pomiaru dydaktycznego najważniejsze wydają się pytania o to, czy test obejmuje reprezentatywną próbę mierzonych wiadomości i umiejętności oraz czy wywołuje u uczniów żądane procesy myślowe i pozwala na zarejestrowanie dowodów, że takie procesy zaistniały (Jakubowski i Pokropek, 2009). 61

62 Trafność treściowa narzędzia pomiarowego mówi o tym, czy pozycje testowe stanowią reprezentatywną próbę dziedziny, która ma być przedmiotem pomiaru. Ocena testu osiągnięć szkolnych ze względu na to kryterium zasadniczo polega na analizie jego treści w celu stwierdzenia, czy wchodzące w jego skład zadania mierzą wszystkie ważne z punktu widzenia badanego konstruktu wiadomości i umiejętności oraz że zadania odwołujące się do szczegółowych umiejętności znajdują się w teście we właściwych proporcjach. Trafność treściowa testu jest dużym stopniu wynikiem przyjętych procedur konstrukcji narzędzia, a nie oceny post factum. Aby ustrzec się przed przypadkowością pozycji składających się na test lub też nadreprezentacją zadań mierzących takie umiejętności, dla których łatwiej ułożyć dobre psychometrycznie zadanie, należy badaną dziedziną z góry dobrze opisać a także opracować dokładną specyfikację zawartości testu. Ważna jest także ekspercka ocena zadań oraz weryfikacja empiryczna, które mogą ustrzec przed włączeniem do testu zadania, które tylko z pozoru mierzą założoną umiejętność. Na procedury, które miały zapewnić trafność treściową testów osiągnięć wykorzystanych w badaniu SUEK, składały się na etapie planowania narzędzia: zdefiniowanie i opisanie skal pomiarowych, analiza podstawy programowej i obowiązujących programów nauczania oraz opracowanie na ich podstawie szczegółowych planów testów precyzujących, ile zadań mierzących jakie umiejętności powinno się znaleźć w teście. Następnie koncepcja skal pomiarowych, plany testów oraz opracowane zgodnie z nimi zadania testowe zostały poddane recenzji zewnętrznej i drobiazgowej ocenie eksperckiej. Uwagi przekazane przez recenzentów pozwoliły na udoskonalenie części zadań, które tego wymagały i wykluczeniu zadań najbardziej problematycznych. Tak wyłoniona grupa zadań została poddana weryfikacji empirycznej w badaniu pilotażowym, a do testów zasadniczych zostały wybrane zadania nie tylko najlepsze pomiarowo, ale także zgodne z przyjętymi planami testów. W ten sposób udało się zapewnić różnorodność i reprezentatywność treściową opracowanych testów. Specyfika badania pilotażowego (realizowanego z udziałem uczniów klas III i V szkół podstawowych) pozwoliła także na weryfikację dodatkowych informacji na temat trafności treściowej testu. Analizy objęły bowiem także problematykę poziomu wykonania zadań przez uczniów klas III i V dla pozycji testowych, które były administrowane w obu populacjach. Na podstawie tych analiz wykluczano pozycje, dla których nie obserwowano większego prawdopodobieństwa poradzenia sobie z zadaniem wśród uczniów klas V niż wśród uczniów klas III biorąc to za dowód tego, że zadanie mierzy taką specyficzną umiejętność, która nie jest rozwijana przez szkołę, więc nie może być traktowana jako wskaźnik osiągnięć szkolnych. Innym ważnym rodzajem trafności, któremu poświęca się wiele miejsca w literaturze (zob. przegląd tekstów Brzeziński, 2005), jest trafność teoretyczna, która mówi o tym, w jakim stopniu test mierzy teoretyczny konstrukt, do którego pomiaru został skonstruowany. W przypadku testów osiągnięć szkolnych stworzonych na potrzeby badania SUEK należy postawić pytanie o to, czy faktycznie mierzą one założone w koncepcji osobne (nawet jeśli skorelowane ze sobą), wewnętrznie spójne grupy umiejętności, czy też raczej ogólne umiejętności związane z funkcjonowaniem szkolnym. W języku psychometrii pytamy więc o to, czy znajdujemy w danych potwierdzenie trójczynnikowej struktury testu (Konarski, 2009). Przyjęta w koncepcji definicja mierzonych konstruktów pozwala założyć, że związek między umiejętnością czytania i świadomością językową będzie silniejszy (jako że są to kompetencje językowe) niż związek tych wymiarów z umiejętnościami matematycznymi. Aby odpowiedzieć na to pytanie, przetestowano dwa konkurencyjne modele: jednowymiarowy model Rascha, w którym wszystkie pozycje testowe są wskaźnikami jednego wymiaru ogólnych osiągnięć szkolnych oraz trójwymiarowego modelu Rascha, zgodnego z przyjętą koncepcją. Do obliczenia estymatorów największej wiarygodności wykorzystano metodę Monte Carlo. Analizy wykonano za po- 62

63 mocą oprogramowania ConQuest Wyniki tych analiz pokazują, że model trójwymiarowy dla tych danych jest bardziej prawdopodobny (deviance = ,21; liczba estymowanych parametrów = 159; N = 5536) niż model jednowymiarowy (deviance = ,91; liczba estymowanych parametrów = 154; N = 5536). Wartość statystyki deviance opartej na wartości funkcji wiarygodności jest znacząco niższa dla modelu trójwymiarowego (Δ = 3362,7) 23. Za pomocą modelu trójwymiarowego oszacowano także korelacje między trzema ukrytymi wymiarami, czy inaczej umiejętnościami latentnymi odpowiadającymi trzem skalom pomiarowym. Na oszacowania tych korelacji nie ma wpływu rzetelność testów, dlatego też są one zwane korelacjami prawdziwymi lub latentnymi. Korelacje te są z reguły wyższe niż odpowiadające im korelacje dla estymatorów punktowych. Tabela 2.4. Korelacje latentne między trzema wymiarami umiejętności Skala umiejętności matematycznych Skala umiejętności czytania Skala umiejętności czytania 0,820 - Skala świadomości językowej 0,824 0,916 Źródło: opracowanie własne Otrzymane korelacje są zgodne z oczekiwaniami: związek między umiejętnością czytania i świadomością językową jest silniejszy niż związek kompetencji językowych z umiejętnościami matematycznymi, co także świadczy na korzyść trafności teoretycznej skonstruowanych testów. Korelacje te są także bardzo wysokie, co pokazuje, że na początku edukacji umysły szkolne uczniów nie są raczej silnie wyspecjalizowane. W świetle tych danych nieuzasadnione wydają się twierdzenia o uczniach o umysłach matematycznych lub humanistycznych w kontekście edukacji wczesnoszkolnej. Jeśli uczniowie mają wysokie osiągnięcia w zakresie matematyki, to w większości przypadków dobrze też radzą sobie z treściami językowymi i vice versa. Tak wysokie korelacje mogą być także pochodną wpływu jednego nauczyciela, który na tym etapie edukacji jest przewodnikiem w uczeniu się wszystkich treści objętych omawianymi tu testami osiągnięć. Natomiast korelacja między umiejętnością czytania i świadomością językową może być troszkę zawyżona ze względu na samą konstrukcję zeszytów testowych, w których zadania z obu tych testów zostały połączone we wspólne zeszyty z języka polskiego. Dlatego wyniki obu tych testów mogą być obciążone wspólnymi dla nich źródłami błędu pomiaru, jak np., dyspozycja ucznia w danym dniu, motywacja testowa, czy wpływ czynników zewnętrznych w trakcie badania testowego. Pytanie dotyczące trafności teoretycznej testów obejmowało także aspekt zgodności wewnętrznej w ramach trzech wymiarów umiejętności, czyli tego, jak dobrze poszczególne pozycje testowe są związane z wynikiem ogólnym danej skali. Zgodność wewnętrzna została zapewniona już na etapie wyboru zadań z badania pilotażowego do testów zasadniczych dzięki przyjętemu modelowi analizy danych. Do testów zostały bowiem włączone zadania o odpowiedniej wartości parametru dyskryminacji będącego odzwierciedleniem korelacji pozycji z wynikiem ogólnym. Przyjęty model analizy danych (model Rascha) zakłada, że wszystkie zadania są w takim samym stopniu związane z wynikiem ogólnym, dzięki czemu z jednej strony w teście mogą znaleźć się tylko zadania, które istotnie korelują z wyni- 22 Margaret L. Wu i in., ACER ConQuest version 2.0: Generalised Item Response Modelling Software, ACER Press, Australian Council for Educational Research, Interpretując te dane, należy zwrócić uwagę na to, że testowane modele nie są modelami zagnieżdżonymi. 63

64 kiem ogólnym, a ponadto wykluczona jest możliwość włączenia do testu zadań zbyt silnie determinujących wynik. Sprawia to, że wszystkie zadania składające się na test, wybrane zgodnie z planem testu, są tak samo ważne przy wyznaczaniu wyniku. Konkludując, analizy potwierdzają trójwymiarową strukturę testu, czyli przemawiają za tym, że możemy mówić o pomiarze trzech, wewnętrznie spójnych grup umiejętności. Wymiary te są wprawdzie silnie ze sobą skorelowane (w szczególności umiejętność czytania i świadomość językowa). Niemniej, ponieważ pokazanie w tym raporcie informacji bardziej szczegółowych, czyli specyficznych uwarunkowań poszczególnych grup osiągnięć, może przynieść więcej korzyści dla interpretacji i rekomendacji, zdecydowano się na odrębne analizy dla każdej skali, tym bardziej, że mają one wystarczającą rzetelność. Zaobserwowanie specyficznych dla poszczególnych skal różnic w zależnościach z ich wynikami tym bardziej potwierdzi słuszność przyjętej strategii. Trafność testów bada się także odnosząc ich wyniki do zewnętrznego kryterium (jest to tzw. badanie trafności kryterialnej). Jeśli badacz jest zainteresowany tym, czy testy dobrze mierzą daną cechę, a ma inne wiarygodne źródło informacji o obecnym stanie tej cechy (lub cech, o których wiadomo, że pozostają w związku z mierzoną), może zweryfikować związek pomiędzy wynikami testu, a tym zewnętrznym kryterium (będzie to badanie trafności diagnostycznej). Jeśli jest zainteresowany tym, jak dobrze wyniki testu przewidują osiągnięcie pewnych właściwości w przyszłości, powinien odnieść wyniki testu do zewnętrznego kryterium zmierzonego po upływie określonego czasu (w ten sposób zweryfikuje trafność prognostyczną). Trafności prognostycznej omawianych tu testów osiągnięć nie sposób jeszcze zweryfikować ze względu na brak odpowiednich danych. Będzie to jednak możliwe po zakończeniu kolejnych etapów badania podłużnego SUEK. Możemy jednak w pewnym stopniu zweryfikować trafność diagnostyczną. W przypadku testów osiągnięć szkolnych jako zewnętrzne kryterium trafności często wykorzystuje się oceny nauczycielskie lub wyniki innych testów osiągnięć (Anastasi i Urbina, 1999). Mimo że oceny nauczycielskie są miarą, ze statystycznego punktu widzenia, często mało rzetelną, zasadniczo nieporównywalną między grupami uczniów ocenianymi przez różnych nauczycieli (por. Jasińska, 2010), to ich wykorzystanie w badaniu trafności jest uzasadnione o tyle, że obejmują one szerokie spektrum umiejętności uczniów, które mają okazję ujawić się w różnych okolicznościach (nie tylko podczas badania testowego), a także w mniejszym stopniu uzależnionych od tymczasowej dyspozycji ucznia. W badaniu podłużnym SUEK poproszono nauczycieli nauczania zintegrowanego badanych klas, by pod koniec nauczania w III klasie ocenili wszystkich swoich uczniów na czterostopniowej skali opisowej osobno dla umiejętności językowych osobno dla matematycznych (ocenom na etapie kodowania przypisano następujące wartości liczbowe: 1 ocena najniższa; 4 ocena najwyższa). Aby zbadać związek ocen nauczycielskich z wynikami testów osiągnięć policzono trzypoziomowy model mieszanych efektów (model z losową stałą) wykorzystując oprogramowanie HLM Wykorzystano metodę estymacji full maximum likelihood. Z analiz usunięto wszystkie obserwacje z brakami danych. Analizy wykonano z wykorzystaniem wag uwzględniających schemat doboru próby do badania (patrz rozdział 1), odpowiednio przeskalowanych za pomocą programu HLM. Zastosowanie modelu wielopoziomowego umożliwiło poradzenie sobie z problemem nieporównywalności ocen nauczycielskich między klasami. Estymatorami wyników testowych uczniów są oszacowania EAP. Oceny nauczycielskie zrekodowano na zmienne pomocnicze w taki sposób, by wartości współczynników regresji mówiły o przyroście średnich warunkowych w odniesieniu do kategorii o jeden niższej ze względu na uzyskaną ocenę. Kategorią odniesienia dla zmiennej V2 są uczniowie, którym została przypisana przez nauczy- 64

65 cieli najniższa ocena 24. W modelach gdzie zmienną zależną jest wynik testu umiejętności czytania lub świadomości językowej wykorzystano oceny dotyczące obszaru edukacji językowej, a w modelu gdzie zmienną wyjaśniają jest wynik testu umiejętności matematycznych, oceny z obszaru edukacji matematycznej. Tak więc np. współczynnik regresji przy zmiennej V2_mat mówi o przyroście średniego wyniku testu umiejętności matematycznych dla grupy osób, które otrzymały ocenę 2 z matematyki. Współczynnik regresji przy zmiennej V3_mat oznacza przyrost średniego wyniku testu dla grupy osób, które otrzymały ocenę 3 itd. Poniższa tabela prezentuje wyniki analiz. Tabela 2.5. Związek wyników testów z ocenami wystawionymi przez nauczycieli. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych. wynik testu um. czytania wynik testu świadomości językowej Zamienna zależna: wynik testu um. matematycznych Oszacowanie efektów stałych V2_pol a 8,37 9,41 (0,7) (0,61) V3_pol b 7,86 8,01 (0,47) (0,43) V4_pol c 10,05 10,06 (0,45) (0,4) V2_mat a 8,86 (0,69) V3_mat b 7,90 (0,49) V4_mat c 11,38 (0,44) Stała 83,26 82,0 81,82 (0,55) (0,61) (0,76) Oszacowanie efektów losowych Wariancja efektów szkół 7,57 10,3 7,38 Wariancja efektów klas 8,56 8,36 11,12 Wariancja na poziomie ucznia 98,84 89,74 92,18 Podsumowanie Log likelihood , , ,30 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: uczniowie, którym nauczyciele przyznali ocenę najniższą b grupa odniesienia: uczniowie, którym nauczyciele przyznali ocenę 2 na skali od 1 do 4 c grupa odniesienia: uczniowie, którym nauczyciele przyznali ocenę 3 na skali od 1 do 4 24 Rozkłady ocen nauczycielskich są skośne częściej występują oceny wyższe, jednak kategoria odniesienia stanowi ok. 12% próby. 65

66 Źródło: opracowanie własne. Związki wyników testowych z ocenami przyznanymi przez nauczycieli są istotne i bardzo podobne dla każdego z trzech testów. Uczniowie, którzy otrzymali najniższe oceny mają średnie wyniki z testów poniżej jednego odchylenia standardowego wyników w populacji. Uczniowie, którzy otrzymali ocenę o jeden wyższą, mają średnio wyniki o ok. 8-9 punktów wyższe na skali o odchyleniu standardowym równym 15. Uczniowie, którym została przypisana 3 kategoria oceny, mają także średnio o ok. 8 punktów wyższe wyniki w testach od uczniów z oceną 2. Natomiast grupa uczniów najwyżej oceniona przez nauczycieli ma średnie wyniki o kolejne punktów wyższe, co daje średni wynik na skali standardowej ok. 110 punktów. Analizy te potwierdzają oczekiwany związek wyników testów osiągnięć z ocenami przyznanymi przez nauczycieli, co jest pozytywnym wynikiem w badaniu trafności diagnostycznej testów. Drugim kryterium zastosowanym do oceny trafności diagnostycznej są wyniki uczniów z testu z języka polskiego i matematyki uzyskane w Ogólnopolskim Badaniu Umiejętności Trzecioklasistów (OBUT) 25 realizowanym w roku szkolnym 2010/11. Wykorzystując wyniki z tego pomiaru, należy zwrócić uwagę na kilka jego cech, które z punktu widzenia celów prezentowanych analiz, są jego mankamentami. Diagnoza OBUT jest przeprowadzana i oceniana przez nauczycieli uczących uczniów wypełniających testy. Szkoła otrzymuje opracowane przez zespół badawczy testy oraz instrukcje przeprowadzenia badania, jednak nie ma pewności, czy procedury te są przestrzegane. Narzędzia pomiarowe są krótkie, co sprawia, że wyniki pomiaru są mało dokładne (skala umiejętności matematycznych ma 17 rozróżnialnych kategorii a skala testu języka polskiego 24), a w rozkładach wyników dostrzega się silny efekt sufitowy testy są za łatwe, by dobrze różnicować uczniów najzdolniejszych (skośność wynosi odpowiednio: -0,964 dla testu z języka polskiego i -0,384 dla testu z matematyki). Mankamenty te mogą powodować zaniżenie korelacji między wynikami testów. Ponadto wyniki z badania OBUT udało się przyłączyć tylko dla ok. 63% uczniów objętych badaniem testowym SUEK. W tabeli 4.6. zaprezentowano korelacje Pearsona między punktowymi oszacowaniami wyników testowych. W analizach wykorzystano sumę punktów z testów OBUT oraz estymatory EAP dla testów osiągnięć z badania SUEK. Z analiz wyłączono parami obserwacje z brakami danych. 25 Badanie OBUT jest częścią projektu Badanie umiejętności podstawowych uczniów trzeciej klasy szkoły podstawowej współfinansowanego ze środków Unii Europejskiej. Projekt od 2005 roku był realizowany przy Centralnej Komisji Egzaminacyjnej, a od roku decyzją MEN został przeniesiony do Instytutu Badań Edukacyjnych. 66

67 Tabela 2.6. Korelacje Pearsona między punktowymi oszacowaniami wyników testowych. Kursywą podano liczbę obserwacji, dla których wyznaczono współczynnik korelacji. umiejętność czytania (SUEK) umiejętność czytania (SUEK) 1 świadomość językowej (SUEK) N=5148 0,784 umiejętności 0,703 matematyczne (SUEK) N=5033 test z języka polskiego 0,613 (OBUT) N=3236 test z matematyki 0,548 (OBUT) N=3236 świadomość językowej (SUEK) 0,784 N= ,702 N=5033 0,651 N=3236 0,550 N=3236 umiejętności matematyczne (SU- EK) 0,703 N=5033 0,702 N= ,565 N=3171 0,636 N=3171 test z języka polskiego (OBUT) 0,613 N=3236 0,651 N=3236 0,565 N= ,624 N=3483 test z matematyki (OBUT) 0,548 N=3236 0,550 N=3236 0,636 N=3171 0,624 N= Źródło: opracowanie własne. Uzyskany wzorzec korelacji jest zgodny z założeniami. Obserwujemy silniejszy związek wyników testu z języka polskiego z badania OBUT z wynikami testu umiejętności czytania i świadomości językowej wykorzystanymi w badaniu SUEK niż z wynikami z testu umiejętności matematycznych. Test z matematyki z badania OBUT także silniej koreluje ze skalą umiejętności matematycznych z testów z badania SUEK niż ze skalami umiejętności językowych. Niższa rzetelność pomiaru testami OBUT przyczyniła się także do uzyskania niższych korelacji z udziałem zmiennych z tego badania. Badając trafność diagnostyczną testów można także sięgać po inne kryteria zewnętrzne, co do których wiemy, że powinny pozostawać w związku z mierzonym za pomocą testu konstruktem. W naszym przypadku byłyby to wskaźniki ogólnych zdolności poznawczych, statusu rodziny pochodzenia, czy wykształcenia rodziców. Analizy takie, choć wykonane na potrzeby innych interpretacji, zostały przedstawione w rozdziale poświęconym modelowi kontrolnemu dla analiz uwarunkowań efektywności kształcenia. Aby niepotrzebnie ich tu nie powtarzać, zachęcamy czytelnika do lektury rozdziału 3 tego raportu Podsumowanie Podsumowując rozdział o pomiarze wyników nauczania, warto zastanowić się nad praktycznymi wnioskami płynącymi z zamieszczonych tu rozważań. Doświadczenia z międzynarodowych badań edukacyjnych takich jak TIMSS, PIRLS czy PISA uczą nas, że rzetelny pomiar wyników kształcenia nie jest prostą sprawą, którą można by sprowadzić do zadania kilku arbitralnie wybranych pytań uczniom. Proces selekcji zadań do testów musi być poprzedzony namysłem nad celem pomiaru oraz gruntownym zdefiniowaniem mierzonego konstruktu w efekcie okazuje się, że standardy jakim muszą sprostać dobre narzędzia służące do pomiaru osiągnięć są z pewnością nie niższe niż te, których wymagamy od testów psychologicznych. Wykorzystanie standaryzowanych testów osiągnięć szkolnych w badaniach edukacyjnych, często ma na celu oszacowanie zależności pomiędzy wynikami kształcenia a innymi charakterystykami uczniów, czy szkół. Poszukiwane zależności mają zazwyczaj charakter populacyjny, tzn. na podstawie pewnej reprezentatywnej próbki jednostek badania, próbuje się odnaleźć pewne prawidłowości statystyczne zachodzące dla pewnych większych grup społecznych, z których próby te pochodzą, takich jak np. 67

68 uczniowie klas trzecich, czy ogół szkół podstawowych. Jakkolwiek rzetelny pomiar osiągnięć szkolnych na poziomie indywidualnym jest w tym kontekście bardzo ważny, to jednak zastosowane analizy tyczą się zazwyczaj większych grup i w związku z tym nie są aż tak czułe na niepewność pomiaru związaną z pomiarem indywidualnym. Zupełnie inaczej jednak ma się sprawa w przypadku, gdy głównym przedmiotem naszego zainteresowania jest indywidualny wynik ucznia, tak jak ma to miejsce w przypadku np. egzaminów zewnętrznych w Polsce. Egzamin gimnazjalny oraz egzamin maturalny są testami, na podstawie których decydują się losy poszczególnych uczniów. Niestety jakość psychometryczna stosowanych w nich testów pozostawia wiele do życzenia (Pokropek, 2011). Wydaje się, że wiele grzechów naszego już 10 letniego systemu egzaminacyjnego wynika zarówno ze słabo sprecyzowanego celu jakiemu egzaminy te mają służyć oraz z niskich standardów i niedostatecznych procedur związanych z zachowaniem jakości narzędzi pomiarowych (Dolata i in., 2004). Pracownia SUEK IBE, inspirując się międzynarodowymi badaniami edukacyjnymi pokazała, że skonstruowanie narzędzi służących pomiarowi dydaktycznemu w zgodzie ze światowymi standardami, jest w polskich warunkach możliwe. Zastosowanie podobnej metodologii konstrukcji testów w systemie egzaminacyjnym może więc wpłynąć pozytywnie na jakość stosowanych w nim narzędzi. Należy zwrócić uwagę, że przyjęta w badaniu SUEK metodologia konstrukcji testu skupia się na funkcjonowaniu poszczególnych zadań. Pozwala na tworzenie testów za pomocą poszczególnych zadań o określonych parametrach. Tak tworzone testy mogą posiadać własności psychometryczne dopasowane do potrzeb i celów ich konstruktora. Teoria odpowiedzi na zadanie testowe dostarcza również narzędzi pozwalających na ocenę stopnia zrealizowania tych celów. Należy jednak jeszcze raz podkreślić, że wysoka jakość wszelkich testów, zarówno diagnostycznych jak i tych, które służą selekcji jest możliwa do osiągnięcia tylko, gdy zadania, z których są skonstruowane również są dobrej jakości. Doświadczenie pracowni SUEK uczy, że prace nad testami osiągnięć szkolnych są bardzo czaso- i pracochłonne. Wydaje się, że efektywny proces konstrukcji narzędzi o odpowiedniej rzetelności w metodologii IRT powinien zacząć się od budowy obszernych banków skalibrowanych zadań, które mogłyby służyć zarówno do celów badawczych jak i diagnostycznych. Należy jednak podkreślić, że takie banki zadań musiałyby być utajnione oraz systematycznie uzupełniane, by zapewnić jakość psychometryczną zadań w banku. Nasz system egzaminacyjny, wzbogacony o taki element, uzyskałby dodatkowe możliwości diagnostyczne (np. porównywanie egzaminów między latami), co pozytywnie wpłynęłoby na możliwości prowadzenia polityki oświatowej opartej na faktach. Na zakończenie warto więc podzielić się doświadczeniami związanymi z samą konstrukcją testów osiągnięć szkolnych. Po pierwsze należy zauważyć, że choć konstrukcja testów zaczyna się od pewnych założeń teoretycznych, to weryfikacja tych założeń zawsze powinna odbywać w empirii. Ostatecznie bowiem, przekonanie o tym, że dany test (bądź pojedyncze zadanie) jest w stanie mierzyć założony konstrukt jest wiedzą bez większej wartości bez informacji o tym, jak dobrze (precyzyjnie) test (zadanie) to czyni w danej populacji badanych. Po drugie trzeba podkreślić, że proces tworzenia testów osiągnięć, to głęboko przemyślany i zaplanowany zestaw działań. Jasna koncepcja i świadomość celu jakiemu ma służyć narzędzie, pozwalają na dobór odpowiednich środków do pomyślnego stworzenia testów. Jedną z pierwszych i ważniejszych kwestii jest wybór teorii pomiaru, która wiąże się z pewnymi założeniami co do konstrukcji narzędzia. W rozdziale tym przedstawiono teorię odpowiedzi na zadanie testowe, której specyficzny przypadek, tzw. model Rascha posiada bardzo dobre własności, pozwalające na konstrukcję testów dostosowa- 68

69 nych do potrzeb, oraz ocenę tego jak dobrze dany test sprawdza się w różnych populacjach badanych. Kwestia trafności tak konstruowanych testów jest wynikiem głównie przyjętych metod konstrukcji narzędzia i jakości planu testu, służącego dokładnemu zdefiniowaniu badanego konstruktu. Przyjęta przez pracownię SUEK metodologia konstrukcji testu posiada jeszcze jedną zaletę, którą dobrze obrazuje zastosowany podczas konstrukcji testów schemat badania pilotażowego. Podczas badania pilotażowego zadania rozwiązywali uczniowie trochę młodsi i trochę starsi niż docelowa populacja. Ponadto zadania pilotowane były w otoczeniu innych zadań niż występowały w badaniu zasadniczym. Zadania wyselekcjonowane do ostatecznych testów na podstawie wyników pilotażu, w przeważającej większości nie straciły swoich dobrych własności psychometrycznych podczas badania zasadniczego, a test z nich skonstruowany mierzył zakładany zakres na skali umiejętności z projektowaną dokładnością. Przykład ten pokazuje, że zastosowanie modelu Rascha do konstrukcji testów osiągnięć, umożliwia poluzowanie założenia, że narzędzia do pomiaru efektów kształcenia należy pilotować na docelowej populacji, a także dostarcza dowodów, że usytuowanie zadań w różnych kontekstach, co do zasady, nie zmienia znacząco ich właściwości pomiarowych. Stanowi to silny argument praktyczny za szerszym stosowaniem tej metodologii do konstrukcji testów osiągnięć szkolnych w systemie egzaminacyjnym. Literatura cytowana: Adams, R. J. (2005). Reliability as a measurement design effect. Studies in Educational Evaluation, 31, AERA, APA, NCME (1999). Standards for Educational and Psychological Testing. Anastasi, A., Urbina, S. (1999). Testy psychologiczne. Warszawa: Pracownia Testów Psychologicznych Polskiego Towarzystwa Psychologicznego. de Ayala, R. J. (2009). The Theory and Practice of Item Response Theory. New York London: The Guilford Press. Dolata, R., Putkiewicz, E., Wiłkomirska, A. (2004). Reforma egzaminu maturalnego oceny i rekomendacje, Warszawa: Wydawnictwo Instytutu Spraw Publicznych. Downing, S. M. (2006a). Twelve Steps for Effective Test Develpopment. W: S. M. Downing, T. M. Haladyna (red.), Handbook of Test Development. (s. 3-26). New York London: Routledge. Downing, S. M. (2006b). Selected-Response Item Formats in Test Development. W: S. M. Downing, T. M. Haladyna (red.), Handbook of Test Development. (s ). New York London: Routledge. Haladyna, T., Downing, S., Rodriguez, M. (2002). A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment Applied Measurement in Education. Applied Measurement in Education, 15(3), van der Linden, W. J., Hambleton, R. K. (red.). (1997). Handbook of Modern Item Response Theory. New York: Springer. Jakubowski, M., Pokropek, A. (2009). Badając egzaminy. Podejście ilościowe w badaniach edukacyjnych. Warszawa: Centralna Komisja Egzaminacyjna. 69

70 Jasińska, A., Modzelewski, M. (2012). Można inaczej. Wykorzystanie IRT do konstrukcji testów osiągnięć szkolnych. W: B. Niemierko, M. K. Szmigel (red.), Regionalne i lokalne diagnozy edukacyjne (s ). Wrocław: Polskie Towarzystwo Diagnostyki Edukacyjnej. Jasińska, A. (2010). Pomiar gotowości szkolnej za pomocą skali quasi-obserwacyjnej. W: Niemierko B, Szmigiel M. K. (red.), Teraźniejszość i przyszłość oceniania szkolnego (s ), Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej. Kim, S., Feldt, L. S. (2010). The estimation of the IRT reliability coefficient and its lower and upper bounds, with comparisons to CTT reliability statistics. Asia Pacific Education Review, 11, Konarski, R., (2009). Modele równań strukturalnych. Teoria i praktyka. Warszawa: Wydawnictwo Naukowe PWN. Masters, G. N., Wright, B. D., (1997). The Partial Credit Model. W: W. J. van der Linden, R. K. Hambleton (red.), Handbook of Modern Item Response Theory (s ). New York: Springer. Pollack, J. M., Rock, D. A., Weiss, M. J., Atkins-Burnett, A., Tourangeau, K., West, J., Hausken, E. G. (2005). Early Childhood Longitudinal Study, Kindergarten Class of (ECLS-K). Psychometric Report for the Third Grade. Washington: National Center for Education Statistics. Brzeziński J., (red.). (2005). Trafność i rzetelność testów psychologicznych. Wybór tekstów. Gdańsk: Gdańskie Wydawnictwo Psychologiczne. Sprawozdanie z realizacji projektu. Pilotaż nowych egzaminów gimnazjalnych oraz sprawdzianu dla klasy VI. Nowa formuła sprawdzianu. (2010). Warszawa: Centralna Komisja Egzaminacyjna. Wu, M. (2005). The role of plausible values in large-scale surveys. Studies in Educational Evaluation, 31,

71 3. Podstawowy model analizy danych (Aleksandra Jasińska, Michał Modzelewski) 3.1. Problem przyczynowości w badaniach edukacyjnych Badania w nurcie School Effectiveness Research są badaniami nomotetycznymi, tzn. ich celem jest odkrywanie zależności między badanymi zjawiskami i na ich podstawie formułowanie w miarę ogólnych praw, które mówią o wpływie różnych czynników na efektywność pracy szkół. W badaniach nad efektywnością pracy szkół zainteresowanie badaczy skoncentrowane jest na określeniu związku pomiędzy charakterystykami szkoły, klasy a wynikami uczniów. W idealnej sytuacji badacze mogliby losowo przydzielić uczniów do szkół (klas), których charakterystyki mogliby kontrolować, zmierzyć ich początkowy poziom umiejętności, a następnie, po jakimś czasie, np. po zakończeniu roku szkolnego, ponowić badanie i stwierdzić, jakie cechy szkoły wpływają na wyniki uczniów. Niestety, w rzeczywistości możliwości badawcze są dużo skromniejsze. Po pierwsze, uczniowie nie są przypisani do szkoły w sposób losowy, po drugie, badacze nie kontrolują cech szkoły, a po trzecie bardzo często dysponujemy tylko jednym pomiarem interesujących nas zmiennych (są to tzw. badania przekrojowe). W takich warunkach, możliwości formułowania twierdzeń o przyczynowo-skutkowym związku pomiędzy cechami szkoły a wynikami uczniów są mocno ograniczone, nie są jednak wykluczone. By w badaniach społecznych (nie tylko przekrojowych) móc mówić o zależnościach przyczynowoskutkowych między zmiennymi, relacja pomiędzy tymi zmiennymi musi spełniać wszystkie kryteria nomotetycznej przyczynowości: zmienne muszą być skorelowane, przyczyna musi występować przed skutkiem, a obserwowana zależność nie może być pozorna (Babbie, 2008, s ). W kontekście badań nad efektywnością kształcenia, a zwłaszcza badań przekrojowych, oznacza to restrykcyjny dobór zmiennych niezależnych, które spełniają powyższe założenia. W kontekście badań przekrojowych zmienne niezależne muszą charakteryzować się dużą stałością w czasie, by uniknąć sytuacji, w której rzeczywisty kierunek zależności mógłby być odwrotny od postulowanego (skutek poprzedza przyczynę) oraz muszą umożliwiać w miarę kompletną charakterystykę badanych zjawisk, aby nie dopuścić do formułowania wniosków, które mogłyby okazać się korelacjami pozornymi. W praktyce badań nad efektywnością pracy szkoły ten ostatni wymóg sprowadza się do potrzeby szczegółowego opisu cech szkoły, ale także, a może w szczególności, do w miarę wyczerpującego opisu tych cech badanych uczniów, które od szkoły nie są zależne. Potrzebna jest więc charakterystyka biologicznych i społecznych cech ucznia, które mogą mieć wpływ na osiągnięcia szkolne, ale nie są kształtowane przez szkołę. Zbiór takich zmiennych określa się mianem zmiennych kontrolnych. Dopiero bowiem kontrolując wpływ takich cech ucznia jak inteligencja płynna, płeć, czy status ekonomicznospołeczny rodziny pochodzenia, możemy zastanawiać się nad wpływem na wyniki uczniów poszczególnych czynników zależnych od szkoły Wielopoziomowe modele analizy a struktura danych edukacyjnych Badania edukacyjne są przykładem badań społecznych, w których występuje swoista naturalna hierarchia jednostek obserwacji: uczniowie pogrupowani są w klasy (oddziały), klasy zaś istnieją wewnątrz szkół. Hierarchia ta mogłaby iść dalej: moglibyśmy powiedzieć, że szkoły odpowiadają przed jakimś organem zarządzającym, lub że są zlokalizowane w jakiejś miejscowości. Każdy ze szczebli tej hierarchii może być uznany przez nas jako interesujący poziom analizy: moglibyśmy zadać pytanie, 71

72 czy to, jakie uczniowie osiągają wyniki na egzaminie zależy od cech nauczyciela, albo czy zadowolenie z pracy nauczycieli zależy od stylu zarządzania szkołą przez dyrektora. A może wpływ na obie te rzeczy ma także wielkość środków przeznaczanych na edukację przez jednostkę samorządu terytorialnego? W pierwszym przypadku jednostką analizy są uczniowie i ich wyniki na egzaminie, w drugim nauczyciele i poziom satysfakcji z pracy. W obu jednak przypadkach chcemy zweryfikować hipotezę o istnieniu zależności pomiędzy interesującymi nas charakterystykami jednostek z jednego poziomu a cechami jednostek z wyższego poziomu, do których one przynależą. Nawet w przypadku, gdy zależności pomiędzy poszczególnymi poziomami tej hierarchii nie są przedmiotem naszych badań powiedzmy, że jesteśmy zainteresowani tylko indywidualnymi uwarunkowaniami osiągnięć uczniów lub satysfakcji z pracy nauczycieli ze względów praktycznych, w swoich badaniach również możemy zetknąć się z ową hierarchią. Zazwyczaj bowiem o wiele łatwiej i z ekonomicznego punktu widzenia rozsądniej jest przebadać wszystkich uczniów lub nauczycieli w nawet kilkudziesięciu (bądź stu-kilkudziesięciu) szkołach, niż wylosować i dotrzeć do reprezentatywnej dla Polski próbki powiedzmy tysiąca uczniów czy nauczycieli. Lista wszystkich szkół jest publiczna i dostępna, lista wszystkich uczniów interesującego badaczy poziomu nauczania i wszystkich nauczycieli nie istnieje. Dane o charakterze hierarchicznym (lub, mówiąc inaczej, wielopoziomowym) mogą więc pojawić się w badaniach edukacyjnych niezależnie od tego, czy poszukujemy odpowiedzi na pytanie o to, jakie zależności pomiędzy poziomami tej hierarchii zachodzą, czy też nasz schemat doboru próby miał charakter zespołowy. W obu tych przypadkach musimy wziąć pod uwagę fakt, że jednostki na poszczególnych poziomach są pogrupowane w ramach jednostek na poziomach wyższych. Pogrupowanie to może prowadzić do tego, że jednostki obserwacji z jednej grupy mogą być do siebie bardziej podobne niż do członków innych grup. Uwzględnienie tego potencjalnego podobieństwa jest bardzo ważne na poziomie analizy danych i wymaga wykorzystania odpowiednich metod statystycznych. Użycie niepoprawnych metod analizy do danych o charakterze hierarchicznym może prowadzić do błędnych wniosków. W praktyce analitycznej, dosyć często można się jeszcze dziś spotkać z dwiema niepoprawnymi strategiami radzenia sobie z danymi charakterze wielopoziomowym (Snijders i Bosker, 2011, s.14-17). Pierwszą z nich jest tzw. agregacja, która polega na tym, że dane z jednego poziomu agreguje się na wyższy poziom (np. w postaci średnich arytmetycznych), a następnie tak uzyskane agregaty traktuje się jako charakterystyki jednostek wyższego poziomu i poszukuje między nimi zależności na tym właśnie poziomie analizy, a wnioski generalizuje się na jednostki niższego poziomu. Drugą strategią jest procedura odwrotna (z ang. disaggregation), polegająca na przypisaniu charakterystyki opisującej pewną zbiorowość poszczególnym jej członkom. W pierwszym przypadku tracimy informacje o zależnościach zachodzących wewnątrz grup, które równie dobrze mogą mieć kierunek odwrotny do tego z wyższego poziomu; w drugim przypadku standardowe procedury statystyczne mogą prowadzić do przyjmowania błędnych wniosków co do testowanych hipotez, zarówno jeśli chodzi o analizę zależności wewnątrzgrupowych jak i międzygrupowych. Istnieją jednakże metody statystyczne umożliwiające skuteczne analizowanie danych wielopoziomowych. Analizy przedstawione w niniejszym raporcie zostały wykonane z użyciem trzypoziomowych hierarchicznych modeli liniowych opisanych szczegółowo np. w Raudenbush i Bryk (2002) oraz Snijders i Bosker (2012) i powszechnie stosowanych w badaniach w nurcie School Effectiveness Research. Główną różnicą pomiędzy tradycyjnymi metodami analizy danych, takimi jak analiza wariancji, czy regresja liniowa a hierarchicznymi modelami liniowymi jest kwestia modelowania wyrazu błędu. W przypadku zastosowanych w niniejszym raporcie metod, możliwe jest uwzględnienie wielopoziomowej 72

73 struktury danych oraz faktu, że na każdym poziomie analizy mamy do czynienia z próbą większej populacji Zastosowane modele analizy Hierarchiczne modele liniowe pozwalają na formułowanie i testowanie różnorodnych hipotez. Jak wspomniano już wcześniej ich główną zaletą jest możliwość modelowania zależności na wielu poziomach analizy jednocześnie, a także uwzględnianie wpływu zmiennych z wyższego poziomu na zmienne z poziomu niższego. Jest to możliwe dzięki odmiennemu niż w przypadku np. regresji liniowej czy analizy wariancji modelowaniu wyrazu błędu. Żeby dobrze zrozumieć różnicę pomiędzy klasycznymi metodami analizy, a tymi zastosowanymi na potrzeby niniejszego raportu, warto wyobrazić sobie prosty przykład analizy dwupoziomowej, gdzie na pierwszym poziomie analizy znajdują się uczniowie, a na drugim szkoły. Zmienną zależną są wyniki uczniów na teście z matematyki, Y, przewidywane za pomocą wskaźnika statusu ekonomiczno społecznego (SES) oznaczonego jako X. W pojedynczej szkole relacja ta może zostać przedstawiona za pomocą regresji liniowej,, gdzie Y i, oznacza wynik w teście dla i-tego ucznia w szkole, X i, oznacza wartość wskaźnika SES dla i-tego ucznia w szkole, β 0 oznacza stałą równania regresji, β 1, oznacza współczynnik nachylenia dla zmiennej X, a e i, to wyraz błędu przewidywania dla i-tego ucznia, po kontroli wpływu SES. Jeżeli teraz zwiększymy liczbę szkół, to teoretycznie dla każdej z nich moglibyśmy wyliczyć podobne równanie regresji. Prawdopodobnie współczynniki tej regresji, β 0 i β 1, będą różnić się pomiędzy szkołami. Można by więc powiedzieć, że dla populacji szkół istnieje pewien rozkład współczynników regresji, z pewną wartością oczekiwaną (średnią) i wariancją. Odchylenia od tej średniej dla każdego ze współczynników regresji są określane jako efekty losowe, natomiast średnie tych rozkładów, stanowiłyby stałą (lub zafiksowaną) część równania. Co ciekawe, dla tak wyliczonych współczynników regresji możemy wyliczyć ich kowariancję (a co za tym idzie również korelację), która zdaje nam sprawę ze związku pomiędzy przewidywanym wynikiem dla ucznia, którego wartość wskaźnika SES równa się 0, a parametrem nachylenia dla szkół. Pozwala to uzyskać pełniejszy obraz zależności pomiędzy tymi zmiennymi na poziomie szkół. Metoda estymacji nie polega jednak na wyliczaniu poszczególnych linii regresji dla każdej ze szkół, a raczej na oszacowaniu za pomocą iteracyjnej metody najwyższej wiarygodności efektów stałych oraz wariancji i kowariancji efektów losowych. Powyższy przykład pozwala jednak uzmysłowić sobie logikę, która stoi za hierarchicznymi modelami liniowymi. Na potrzeby analiz przygotowanych do niniejszego raportu, skupiono się głównie na trzech typach modeli trzypoziomowych oraz ich dwupoziomowych odpowiednikach. Pierwszym typem modeli jest tak zwany model pusty lub bezwarunkowy. Poza zmienną zależną nie uwzględnia on żadnych innych predyktorów. Model ten pozwala na dekompozycję wariancji zmiennej zależnej pomiędzy trzy poziomy analizy. Model ten jest równoważny analizie wariancji z losowymi efektami. 73

74 Dla pierwszego poziomu analizy (poziomu uczniów) model ten przybiera następującą postać:, gdzie Y ijk, oznacza wartość zmiennej zależnej dla i-tego ucznia w j-tej klasie i k-tej szkole, β 0jk oznacza stałą równania regresji, czyli średnią dla zmiennej zależnej w j-tej klasie i k-tej szkole, e ijk, to wyraz błędu przewidywania dla i-tego ucznia w j-tej klasie i k-tej szkole. Zakłada się, że wyraz błędu e ijk ma rozkład normalny o średniej 0 i wariancji σ 2. Dla drugiego poziomu analizy (poziomu klas) model wygląda następująco:, gdzie π 00k, oznacza średnią zmiennej zależnej dla k-tej szkoły, a r 0jk, oznacza błąd przewidywania dla j-klasy w k-tej szkole. Zakłada się, że wyraz błędu r 0jk ma rozkład normalny o średniej 0 i wariancji τ 2, oraz że jest nieskorelowany z błędami z pierwszego poziomu. Wreszcie dla poziomu trzeciego (poziomu szkół) model ten przyjmuje postać:, gdzie γ 000, oznacza średnią w próbie dla zmiennej zależnej, a u 00j, oznacza błąd przewidywania dla stałej dla k-tej szkoły. Podobnie jak w przypadku błędów dla pozostałych poziomów, u 00j ma rozkład normalny o średniej 0 i wariancji ϕ 2 oraz jest nieskorelowany z błędami z pozostałych poziomów. Poszczególne wariancje stanowią estymatory komponentów całkowitej wariancji zmiennej zależnej dla każdego poziomu. Drugim typem modeli jest tak zwany model kontrolny. W modelu tym dołączono szereg predyktorów na poziomie indywidualnym, jednakże współczynniki stojące przy tych zmiennych traktowane są jako stałe na każdym z poziomów analizy. Modele te określa się czasami nazwą modeli z losowymi stałymi. Modele te są równoważne analizie kowariancji z losowymi efektami. Dla pierwszego poziomu analizy, model przyjmuje następującą postać:, gdzie β 0jk oznacza stałą równania regresji, czyli przewidywany wynik dla zmiennej zależnej w j-tej klasie i k- tej szkole, dla uczniów, dla których zmienne niezależne przyjmują wartość 0, β 1jk β pjk, to parametry nachylenia dla poszczególnych od 1 do P zmiennych niezależnych dla j-tej klasy w k-tej szkole X 1ijk X pijk to poszczególne zmienne niezależne z pierwszego poziomu, a 74

75 e ijk, to wyraz błędu przewidywania dla i-tego ucznia w j-tej klasie i k-tej szkole, po uwzględnieniu wpływu zmiennych X 1ijk X pijk. Poziom drugi uwzględnia poszczególne współczynniki regresji, jednakże tylko stała regresji posiada efekty losowe: gdzie,,, π 10k π p0k, oznacza współczynniki nachylenia dla zmiennych niezależnych w k-tej szkole, Podobnie na poziomie trzecim, współczynnik dla stałej jest uwolniony, natomiast współczynniki nachylenia są zafiksowane: gdzie,,, γ 100 γ p00 oznacza zagregowane współczynniki nachylenia dla zmiennych niezależnych. Założenia dotyczące błędów są identyczne jak dla modelu pustego. Trzecim typem modeli stosowanych na potrzeby niniejszego raportu są modele, w których dodano kolejne zmienne niezależne z różnych poziomów analizy lub uwolniono parametry nachylenia dla poszczególnych predyktorów. Modele te są opisywane w kolejnych rozdziałach tego raportu. Ich główną zaletą jest możliwość testowania różnorodnych hipotez dotyczących związków pomiędzy cechami szkoły bądź klasy a wynikami kształcenia przy kontroli zmiennych, na które szkoła nie ma wpływu. Uwolnienie nachyleń dla zmiennych niezależnych na poszczególnych poziomach ma doniosłe znaczenie dla estymacji wyrazu błędu na tym poziomie, poza wariancjami dla poszczególnych efektów losowych, szacowane są również kowariancje pomiędzy nimi. W dalszej części niniejszego rozdziału omawiane są modele kontrolne dla poszczególnych umiejętności kształconych przez szkołę Problem wag w modelach wielopoziomowych W badaniach społecznych, w których użyto złożonego schematu doboru próby, jednostki doboru mogły mieć różne prawdopodobieństwo dostania się do próby. Do uzyskania nieobciążonych estymatorów parametrów populacyjnych (takich jak średnia, czy wariancja zmiennej) konieczne jest użycie odpowiednich wag. Użycie wag pozwala również na poprawne wyliczenie błędów standardowych dla oszacowanych parametrów. Wagi, które pozwalają na wyliczenie tych estymatorów opisane są w roz- 75

76 dziale 1. Przyjmuje się, że wagi te powinny być również uwzględnione w hierarchicznych modelach liniowych (Snijders i Bosker, 2012, s. 216). Problem wykorzystywania wag próbkowania w modelach wielopoziomowych jest obecnie ciągle dyskutowany i różne rozwiązania są rozwijane. Nie ma jednak ustaleń co do tego, które podejście jest najlepsze, czyli zapewnia wyliczenie najmniej obciążonych estymatorów (Snijders i Bosker, 2012, s. 225). Pocieszające jest jednak to, że różne z przyjętych sposobów wykorzystywania wag w modelach dwupoziomowych dają bardzo zbliżone rezultaty (Pfeffermann Skinner, Holmes, Goldstein, Rasbach, 1998). Nadal brakuje jednak w literaturze jasnych wskazań odnośnie wyliczania wag na potrzeby modeli trzypoziomowych. Podaje się kilka propozycji przeskalowania wag, wszystkie one dotyczą natomiast modeli dwupoziomowych. Istnieje jednak przeświadczenie, że w przypadku modeli dwupoziomowych wagi powinny być przeskalowane dla jednostek z pierwszego poziomu analizy, dla poprawnego szacowania parametrów i błędów standardowych. Pfeffermann i współpracownicy (1998) opisali metody przeskalowania wag warunkowych dla pierwszego poziomu w przypadku w pełni informatywnych i częściowo informatywnych (informatywnych tylko na poziomie drugim) schematów doboru próby. Analizy przedstawione w niniejszym raporcie zostały przeprowadzone z wykorzystaniem wag warunkowych na wszystkich trzech poziomach z użyciem programu HLM Zgodnie z opisem zawartym w pomocy użytkownika, program ten wykorzystuje metody przeskalowania zgodne z metodą Pfeffermanna i aplikuje je zarówno dla dwu- i trzypoziomowych modeli (Scientific Software International, 2012) Opis modeli kontrolnych opracowanych na potrzeby analiz Proces budowania modelu kontrolnego na potrzeby analiz uwarunkowań efektywności kształcenia składał się z kilku etapów. Najpierw obliczono trzypoziomowe modele puste stanowiące punkt odniesienia dla modeli ze zmiennymi niezależnymi. Następnie kolejno dodawano zmienne wyjaśniające z poziomu uczniów badając istotność oszacowanych efektów stałych i poprawę dopasowania modelu. Testowano znaczenie uwzględnienia w modelach różnego sposobu rekodowania wykształcenia rodziców oraz wykorzystania wskaźników dotyczących statusu społecznego rodziny dla każdego z rodziców osobno i jako miary łącznej. W dalszej części rozdziału skoncentrowano się na wynikach analiz z zastosowaniem tych wskaźników, które mają lepszą moc predykcyjną i czytelniejszą interpretację. Badano także istotność efektów interakcyjnych, w szczególności znaczenie płci dla siły związku z innymi zmiennymi. W tabelach przedstawiono tylko wybrane modele w celu zwiększenia czytelności wyników. Zanim przejdziemy do prezentacji wyników analiz, opiszemy wykorzystane w nich zmienne niezależne. Za biologiczne korelaty osiągnięć szkolnych, których znaczenie badano w modelu kontrolnym, można uznać płeć (kodowaną 0 dla chłopców i 1 dla dziewcząt), inteligencję płynną i wiek biologiczny. Poziom inteligencji płynnej uczniów mierzono za pomocą Testu Matryc Ravena. Wyniki tego testu zostały wyskalowane wielogrupowym dwuparametrycznym modelem IRT. W analizach wykorzystano estymatory EAP (expected a posteriori), przeliczone na standardową skalę o średniej 100 i odchyleniu standardowym 15 w populacji uczniów. Szczegóły dotyczące charakterystyki tej zmiennej wyjaśniającej można znaleźć w rozdziale 10. Wiek uczniów wyrażono w tygodniach w czasie pisania testów osiągnięć szkolnych. Dodatkowo w modelach uwzględniono dwie zmienne kategorialne opisujące uczniów o opóźnionym lub przyspieszonym toku kształcenia. Zmienna reprezentująca uczniów o opóźnionym toku kształcenia przyjmuje 76

77 wartość 1 dla uczniów starszych niż uczniowie z głównej kohorty oraz 0 dla pozostałych. Przyczyny opóźnionego toku kształcenia mogą być związane zarówno z wydłużeniem toku kształcenia (powtarzanie któregoś roku nauki) lub z późniejszym posłaniem dziecka do szkoły. Podobnie zmienna opisująca przyspieszony tok kształcenia przyjmuje wartość 1 dla uczniów młodszych niż główna kohorta wiekowa oraz 0 dla pozostałych. Uczniów o opóźnionym i przyspieszonym toku kształcenia było niewielu w wylosowanej próbie: odpowiednio 1,75% i 0,88%, dlatego nie rozdrabniano już tych kategorii w zależności od liczby lat, które dzieliły tych uczniów od głównej kohorty wiekowej. Kolejną grupą czynników, których znaczenie było badane w modelu kontrolnym, były zmienne opisujące status społeczno-ekonomiczny rodziny pochodzenia ucznia. Wzięto tu pod uwagę trzy wskaźniki: najwyższy status zawodowy rodziców (HISEI), indeks zasobów materialnych rodziny dzieckaoraz wykształcenie rodziców. Dane na temat tych charakterystyk zebrano za pomocą ankiet wypełnianych przez rodziców. Seria standardowych pytań pozwoliła zebrać dane potrzebne do zakodowania wykonywanych przez rodziców zawodów zgodnie z klasyfikacją ISCO-08 (International Standard Classification of Occupations). Poszczególnym wartościom ISCO-08 przypisano odpowiadające im wartości indeksu statusu społeczno-ekonomicznego ISEI-08 (International Socio-Economic Index of occupational status). Wartość tego indeksu jest ważoną średnią wykształcenia, mierzonego liczbą lat nauki i zarobków wśród reprezentantów poszczególnych grup zawodowych, przebadanych w ramach międzynarodowego badania standaryzacyjnego (metodologia badania została opisana w: Ganzeboom, Treiman, 1996, 2003). W badaniu SUEK zebrano dane dotyczące zarówno ojca jak i matki, a informacje te podawał ten rodzic, który wypełniał ankietę. Wskaźnik HISEI zbudowano w taki sposób, że przyjmuje on wyższą wartość ze wskaźników ISEI obojga rodziców lub jedyną dostępną, jeśli dla jednego z rodziców nie posiadano danych (por. OECD, 2009). Indeks zasobów materialnych rodziny dziecka został opracowany w oparciu o odpowiedzi na pytania ułożone na podstawie analogicznych pytań w kwestionariuszach uczniowskich i rodzicielskich badania PISA (OECD, 2009, 2006). Dostosowanie koncepcji tego wskaźnika do potrzeb badania SUEK polegało na uwzględnieniu w nim większej liczby pozycji odnoszących się do dóbr mogących wspierać dziecko w nauce, a zrezygnowaniu z kilku powszechnie posiadanych w Polsce ogólnych dóbr materialnych (odtwarzacz DVD, telewizor, zmywarka, telefon komórkowy, samochód). W ten sposób wskaźnik zasobów gospodarstw domowych wykorzystany w badaniu SUEK w większym stopniu koncentruje się na pomocach i dobrach związanych z edukacją i tym samym jest on silniej związany z kapitałem kulturowym rodziny. W celu zbudowania wskaźnika zbadano strukturę danych za pomocą eksploracyjnej analizy czynnikowej przeprowadzonej w oparciu o macierz korelacji polichorycznych, z rotacją ortogonalną varimax, z normalizacją Kaisera. Do indeksu włączono te pozycje, które istotnie były związane z wymiarem posiadania ogólnych zasobów (wyłączono pozycję posiadania przez dziecko telefonu komórkowego, która nie wykazała istotnego związku ze skalą). Ostatecznie indeks ten został zbudowany na podstawie pytań o posiadaną liczbę książek w domu (zarówno dla dzieci, jak i pozostałych), posiadanie oddzielnego pokoju dla dziecka, biurka do nauki wyłącznie dla dziecka, spokojnego miejsca do nauki dla dziecka, komputera, którego dziecko może używać do nauki, dostępu do internetu, edukacyjnych programów komputerowych, encyklopedii, słowników, atlasów, globusa, modelu układu słonecznego, lunety, mikroskopu, modelu anatomicznego człowieka, instrumentów muzycznych, sztalug, palet, akcesoriów do malowania, gier edukacyjnych, puzzli edukacyjnych, szachów, kalkulatora oraz aparatu fotograficznego. Do obliczeń wykorzystano pakiety polycor, stats, psych oraz GPA rotation programu R. Następnie wartości indeksu wyliczane były przy pomocy estymatrów EAP w skalowaniu IRT modelem 2PL/GRM, metodą MML (Marginal 77

78 Maximum Likelihood). Do obliczeń wykorzystano pakiet ltm programu R. Na koniec wyniki przeliczono na skalę standardową o średniej 100 i odchyleniu standardowym 15 w populacji uczniów. Bardziej szczegółowe informacje na temat tego indeksu znajdują się w rozdziale 11. Wykształcenie rodziców było mierzone za pomocą pytań ankietowych z dziesięciokategorialną skalą. Dane te posłużyły do zbudowania wskaźnika najwyższego wykształcenia rodziców, który przyjmował wyższą wartość ze wskaźników wykształcenia obojga rodziców lub jedyną dostępną, jeśli dla jednego z rodziców nie posiadano danych. Na potrzeby analiz zdecydowano się zrekodować tą zmienną na mniejszą liczbę zmiennych zerojedynkowych, które będą mogły być wykorzystane w modelach regresji. Rekodowania tego dokonano w taki sposób, by rozkład nowych zmiennych był jak najbardziej równomierny oraz by scalono ze sobą kategorie najbardziej podobne ze względu na wartości zmiennych zależnych (wyniki testów osiągnięć szkolnych dzieci). W modelach testowano dwa sposoby rekodowania: z pięcioma i czterema kategoriami wykształcenia, jednak większa liczba kategorii nie dawała istotnej poprawy dopasowania modelu, dlatego zdecydowano się przyjąć model prostszy z czterema kategoriami wykształcenia rodziców. W tabeli 6.1. zaprezentowano sposób rekodowania i rozkłady procentowe dla wykorzystywanego w analizach wskaźnika najwyższego wykształcenia rodziców oraz dla porównania osobno dane dla ojców i matek. Podstawą procentowania jest liczebność próby badawczej. Odpowiedzi nie wiem przekodowano na braki danych. Zastosowanie w analizach łącznego wskaźnika wykształcenia pozwoliło zmniejszyć liczbę przypadków, które muszą zostać usunięte z analiz z powodu braków danych, a także zmniejszyć liczbę estymowanych parametrów modelu. Ponadto uwzględnienie w analizach osobnych wskaźników dla ojców i matek nie prowadziło do sprzecznych wniosków. Tabela 3.1. Rozkłady procentowe wykształcenia rodziców w próbie badawczej Kategoria wykształcenia nieukończone podstawowe, podstawowe lub zasadnicze zawodowe średnie technikum, liceum zawodowe, średnie liceum profilowane lub średnie liceum ogólnokształcące policealne lub pomaturalne, licencjackie lub inżynierskie wyższe studia magisterskie lub lekarskie, posiada stopień doktora, doktora habilitowanego lub tytuł profesora najwyższe wykształcenie rodziców N= ,26% N= ,50% N=872 15,50% N= ,98% wykształcenie ojca N= ,84% N= ,81% N=416 7,40% N=717 12,75% wykształcenie matki N= ,77% N= ,44% N=863 15,34% N= ,32% N=43 N=124 N=64 5 braki danych lub odpowiedź nie wiem 0,76% 2,20% 1,14% Razem N = 5625 N = 5625 N = 5625 Źródło: opracowanie własne Zmienne zależne wykorzystane w analizach zostały szczegółowo opisane w rozdziale 2. W tym miejscu wspomnimy tylko, że w analizach wykorzystano pięć wartości PV (plausible value) wyrażonych na standardowej skali o średniej równej 100 i odchyleniu standardowym równym 15 w populacji uczniów Prezentacja i omówienie wyników Tabele przedstawiają wyniki trzypoziomowych analiz regresji prowadzących do zbudowania modeli kontrolnych dla analiz efektywności kształcenia. Zaprezentowano w nich najpierw tzw. modele 78

79 puste z losową stałą wyjaśniające wyniki testów tylko przez pogrupowanie uczniów w klasach i szkołach, następnie modele z dodanymi efektami stałymi na poziomie ucznia zmiennymi wyjaśniającymi będącymi biologicznymi korelatami osiągnięć oraz modele uwzględniające kolejną grupę zmiennych niezależnych z poziomu ucznia opisującą status społeczno-ekonomiczny rodziny pochodzenia. Pierwsza z tabel podsumowuje modele dla testu umiejętności czytania, kolejna dla testu świadomości językowej, a w ostatniej przedstawiono wyniki dla testu matematycznego. Analizy wykonano za pomocą oprogramowania HLM 6.06, wykorzystując metodę estymacji full maximum likelihood. Do oszacowania istotności efektów stałych wykorzystano odporne (robust) błędy standardowe 26. Wartości istotne na poziomie istotności p<0,05 zaznaczono pogrubionym drukiem. Wszystkie konkurencyjne modele dla danego testu osiągnięć szkolnych policzono dla tej samej liczby obserwacji, by zapewnić porównywalność między modelami. Dlatego z analiz usunięto wszystkie obserwacje z brakami danych dla zestawu zmiennych wykorzystanych w porównywanych modelach dla danej zmiennej zależnej. Dla obserwacji bez braków danych policzono wagi dla każdego poziomu analizy uwzględniające sposób doboru próby (patrz rozdział 1). Analizy wykonano z uwzględnieniem wag odpowiednio przeskalowanych za pomocą programu HLM. Model (1) w każdej tabeli to tzw. model pusty, uwzględniający tylko informację o pogrupowaniu uczniów w klasach i szkołach. W modelu tym uwzględniamy trzy efekty losowe: efekt losowy z trzeciego poziomu, będący odchyleniem średnich szkół od średniej w populacji, efekt losowy z drugiego poziomu, opisujący odchylenie średnich klas od średnich szkół, do których należą oraz efekt losowy z pierwszego poziomu, czyli odchylenie wyników indywidualnych od średnich klas (tzw. reszty z pierwszego poziomu). Model ten dostarcza oszacowań dla czterech podstawowych parametrów: stałej regresji (będącej średnią wyniku testu osiągnięć w populacji szkół), wariancji efektów na poziomie szkół (ϕ 2 ), wariancji efektów na poziomie klas (τ 2 ) i wariancji na poziomie uczniów (σ 2 ), czyli wariancji wewnątrzgrupowej. Wariancje charakteryzują zróżnicowanie międzyszkolne, zróżnicowanie na poziomie oddziałów klasowych i wewnątrzoddziałowe. Pozwalają one na wyznaczenie trzech współczynników korelacji wewnątrzgrupowych (intraclass correlation). Współczynniki te pokazują, jaki jest stosunek wariancji efektu losowego z danego poziomu do całkowitej zmienności danego zjawiska. Są więc miarą homogeniczności kategorii z wyższego poziomu analizy. Współczynnik korelacji wewnątrzgrupowej dla trzeciego poziomu (poziomu szkół) informuje, jaki odsetek zmienności wyników testu osiągnięć można przypisać podziałowi na szkoły i jest on wyznaczany wzorem: Współczynnik korelacji wewnątrzgrupowej dla poziomu klas zdaje sprawę z tego, jaki odsetek zmienności wyników testu jest wyjaśniany przez pogrupowanie uczniów na klasy i jest on opisany wzorem: Trzeci współczynnik korelacji wewnątrzgrupowej informuje, jaki odsetek wariancji wyników testu przypada na szkoły i klasy łącznie: 26 Są to oszacowania błędów standardowych odporne na naruszenie założeń dotyczących normalności rozkładu reszt (patrz np. Konarski, 2009, s ). 79

80 Wyniki analiz dla testu umiejętności czytania Wyniki analiz dla modelu (1) przedstawione w tabeli 6.2 wskazują na istnienie istotnej wariancji wyników testu umiejętności czytania zarówno na poziomie uczniów, jak i szkół oraz klas. Znacznie większe zróżnicowanie wyników obserwuje się na poziomie uczniów, jednak wielopoziomowy charakter badanego zjawiska nie budzi wątpliwości. Wartości współczynników korelacji wewnątrzgrupowej wskazują na to, że podział uczniów na szkoły wyjaśnia ok. 4% zmienności wyników testu, podział na klasy podobnie ok.. 4%, czyli ok. 8% zmienności wyników testu umiejętności czytania daje się wyjaśnić za pomocą pogrupowania na klasy i szkoły rozpatrywanego łącznie. Tabela 3.2. Uwarunkowania osiągnięć w zakresie umiejętności czytania: model kontrolny. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności czytania Oszacowanie efektów stałych Model (1) Model (2) Model (3) Poziom ucznia Test Matryc Ravena 0,486 (0,018) 0,405 (0,018) Płeć dziecka a 2,86 (0,54) 3,12 (0,53) Wiek dziecka w tygodniach 0,048 (0,014) 0,060 (0,014) Opóźniony tok nauki -10,73 (2,03) -9,14 (1,96) Przyspieszony tok nauki 3,75 (3,10) 3,32 (2,73) HISEI 0,043 (0,018) Indeks zasobów materialnych rodziny 0,126 dziecka (0,018) Wykształcenie rodziców: 2,21 średnie b (0,73) Wykształcenie rodziców: 3,76 policealne lub studia I stopnia b (0,92) Wykształcenie rodziców: 5,93 wyższe magisterskie, dr lub prof. b (1,09) Stała 99,1 (0,44) 23,53 (7,92) 8,08 (7,73) Oszacowanie efektów losowych Wariancja efektów szkół 9,08 10,04 6,50 Wariancja efektów oddziałów klasowych 8,97 2,93 1,96 Wariancja na poziomie ucznia 205,48 153,78 141,71 Współczynniki korelacji wewnątrzgrupowej: Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,254 0,328 80

81 pseudo R 2 (p3) -- -0,105 0,284 pseudo R 2 (p2) -- 0,673 0,781 pseudo R 2 (p1) -- 0,252 0,310 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Źródło: opracowanie własne Uważny czytelnik mógł zwrócić uwagę na to, że stała regresji nie jest równa 100, mimo że zmienna zależna jest wyrażona na skali o średniej równej 100 i odchyleniu standardowym 15 w populacji uczniów. Te niewielkie różnice dla każdego testu osiągnięć są spowodowane tym, że wyniki testów były standaryzowane dla wszystkich dostępnych danych, a do analiz regresji włączono tylko te obserwacje, które nie miały braków danych dla zmiennych uwzględnionych w testowanych modelach. Ponadto stała regresji jest średnią średnich szkół wyznaczaną na podstawie przeskalowanych na potrzeby analiz wielopoziomowych wag, natomiast średnia zmiennej wyjaśnianej jest średnią wyników indywidualnych wyznaczoną z wykorzystaniem nieprzeskalowanych wag próbkowania, czyli jest najlepszym z możliwych estymatorem średniego wyniku w populacji uczniów. Model (2), oprócz informacji o pogrupowaniu uczniów, zawiera pięć zmiennych wyjaśniających z pierwszego poziomu: wynik Testu Matryc Ravena, płeć, wiek dziecka wyrażony w tygodniach i dwie zmienne zerojedynkowe pokazujące efekty związane z opóźnionym lub przyspieszonym tokiem kształcenia. Zmienne te zostały zdefiniowane w modelu tylko jako efekty stałe, czyli zakłada się, że zależność między nimi a zmienną zależną jest taka sama w każdej klasie. Zależności dla wszystkich zmiennych, oprócz tej opisującej efekt dla przyspieszonego toku nauki, okazały się istotne statystycznie. Zostaną one opisane przy omawianiu modelu (3). Dodanie tych zmiennych do modelu zredukowało wariancję efektów na poziomie uczniów i klas. Wariancja efektów z drugiego poziomu okazała się nieistotnie różna od zera, co oznacza, że jeśli kontrolujemy cechy uczniów, podział na klasy nie wyjaśnia zmienności w wynikach testu umiejętności czytania. Dodanie zmiennych do modelu w naturalny sposób prowadzi do pytania, na ile poprawiło się przewidywanie zmiennej zależnej po uwzględnieniu w modelu zmiennych wyjaśniających. W klasycznej analizie regresji do oceny efektywności danego modelu stosuje się współczynnik R 2, który informuje o tym, jaką część wariancji zmiennej zależnej wyjaśniają zmienne niezależne uwzględnione w modelu. Analogiczne rozumowanie przenosi się na grunt analiz wielopoziomowych dekomponując R 2 na tyle składników, ile jest analizowanych poziomów (Raudenbush i Bryk, 2002, s ). Aby odróżnić tę miarę od wskaźnika R 2 definiowanego klasycznie, przyjęło się nazywać ją pseudo R 2, a opisuje się ją wzorem: Pseudo R 2 mierzy stopień redukcji niewyjaśnionej wariancji w modelu pustym w stosunku do modelu ze zmiennymi wyjaśniającymi. We wzorze tym wariancję efektów na poziomie szkół oznaczono ϕ 2, wariancję efektów na poziomie klas τ 2, a wariancję na poziomie uczniów σ 2. Model pusty został oznaczony symbolem M0, a model ze zmiennymi wyjaśniającymi symbolem M1. 81

82 Współczynnik ten można zdekomponować na poszczególne poziomy. I tak dla przykładu dla poziomu szkół mamy: A dla poziomu klas: Analogicznie wyznaczono pseudo R 2 dla poziomu pierwszego. W raporcie tym zdecydowano się wykorzystać te miary z uwagi na to, że są one dość powszechnie stosowane w takich analizach (Domański i Pokropek, 2011), jednak należy zdawać sobie sprawę z tego, że w kontekście hierarchicznych modeli liniowych pojęcie odsetka wyjaśnionej wariancji jest problematyczne i stosowanie tak zdefiniowanej miary może prowadzić np. do uzyskania ujemnych wartości pseudo R 2 (Snijders i Bosker, 2012), co chociażby z interpretacyjnego punktu widzenia jest kłopotliwe. Z sytuacją taką mamy do czynienia dla pseudo R 2 (p3) dla modelu (2), co związane jest ze wzrostem wariancji na poziomie szkół po dodaniu zmiennych wyjaśniających. Jednak różnica wariancji efektów na poziomie szkół między modelem pustym i modelem (2) nie jest istotna statystycznie. Zgodnie z przyjętą interpretacją wskaźnika pseudo R 2 można powiedzieć, że dodanie do modelu zmiennych wyjaśniających opisujących biologiczne korelaty osiągnięć zredukowało odsetek niewyjaśnionej wariancji o ok. 25%. Redukcja odsetka niewyjaśnionej wariancji była największa na poziomie klas. Model (3) poza zmiennymi uwzględnionymi w modelu (2) zawiera także zmienne z pierwszego poziomu będące wskaźnikami statusu społeczno-ekonomicznego rodziny ucznia. Zmienne te zostały zdefiniowane w modelu tylko jako efekty stałe. Model w takim kształcie został uznany za najlepszy na potrzeby dalszych analiz model kontrolujący podstawowe, niezależne od szkoły czynniki warunkujące osiągnięcia szkolne. Badano także interakcje między zmiennymi z tego modelu, które znajdowały uzasadnienie w literaturze, jednak okazały się one nieistotne. Skupmy się jednak na zmiennych, które weszły w skład modelu kontrolnego. Wynik testu Ravena okazał się, zgodnie z przewidywaniami, istotnie pozytywnie związany z wynikiem testu umiejętności czytania. Przeciętna różnica w wynikach w teście umiejętności czytania uczniów różniących się poziomem inteligencji o jedno odchylenie standardowe (15 punktów na skali wyniku Testu Matryc Ravena), wynosi ok. 6 punktów (niecałe pół odchylenia standardowego) na korzyść uczniów o wyższej inteligencji. Różnica między chłopcami i dziewczynkami także okazała się istotna statystycznie. Dziewczynki mają średnio o ok. 3 punkty wyższe wyniki w teście czytania niż chłopcy. Kierunek tej zależności jest spójny z wynikami innych badań (np. Konarzewski, 2007). Wiek dziecka również okazał się znaczący, choć zależność nie jest silna. Biorąc pod uwagę główną kohortę wiekową, uczniowie rozwiązujący testy osiągnięć w badaniu SUEK mogli różnić się ze względu na wiek maksymalnie o rok (52 tygodnie). Średnia różnica w wynikach testu między takimi uczniami wynosi ok. 3 punkty (jedna piąta odchylenia standardowego). Zależność ta jest trochę silniejsza niż stwierdzona dla wyników na sprawdzianie w 6 klasie szkoły podstawowej i w związku z tym wpisuje się w obserwowany trend osłabiania się z czasem znaczenia wieku dla wyników testów osiągnięć (Dolata i Pokropek, 2012). 82

83 Uczniowie o opóźnionym toku nauki, czyli albo uczniowie, którzy później rozpoczęli formalną edukację albo ci, którzy raz lub więcej powtarzali naukę w tej samej klasie, mają znacznie niższy poziom umiejętności czytania. Otrzymali oni średnio o ponad 9 punktów w teście czytania mniej. Nie dziwi to o tyle, że w grupie tej (choć nielicznej: w próbie badawczej było 97 takich uczniów, co stanowi 1,75%) znaleźli się uczniowie, którzy przede wszystkim ze względu na trudności w nauce lub powody z tym ściśle związane mieli opóźniony tok kształcenia. Efekt dla uczniów, którzy szybciej niż główna kohorta wiekowa rozpoczęli formalną naukę, okazał się nieistotny statystycznie. Należy mieć jednak na uwadze to, że uczniów tych było tylko 49 (0,88%) w badanej próbie, co znalazło także odzwierciedlenie w dużym błędzie standardowym. Zmienną tą zdecydowano się jednak zostawić w modelu kontrolnym, by móc w sposób bardziej poprawny szacować związek wieku z osiągnięciami szkolnymi dla głównej kohorty. Wiadomo bowiem, że dzieci wcześniej posłane do szkoły nie są losową próbką populacji. Czynniki związane ze statusem społeczno-ekonomicznym rodziny są, zgodnie z założeniami i wynikami wcześniejszych badań, pozytywnie związane z wynikami testu. Dla umiejętności czytania wszystkie wskaźniki statusu rodziny okazały się miarami dopełniającymi, z których każda wyjaśnia część zmienności wyników testu. Im wyższy status społeczno-ekonomiczny rodziny mierzony wskaźnikiem HISEI, opartym na wykonywanym przez rodziców zawodzie, tym wyższy poziom umiejętności czytania. Zależność ta jest raczej słaba, choć istotna statystycznie. Maksymalna różnica w wynikach testu między dziećmi z rodzin o najniższej i najwyższej wartości wskaźnika HISEI, pod kontrolą pozostałych zmiennych, to 3,32 punktu na standardowej skali testu umiejętności czytania. Zasobność gospodarstw domowych, z których pochodzą uczniowie, jest również pozytywnie i istotnie związana z ich poziomem umiejętności czytania. Wraz ze wzrostem wartości tego indeksu o jeden wyniki testu rosną przeciętnie o 0,126, czyli wzrost o jedno odchylenie standardowe (15 punktów na skali, w której jest wyrażone), daje przeciętny przyrost o niecałe 2 punkty w teście umiejętności czytania. Wykształcenie rodziców zostało uwzględnione w modelu za pomocą zmiennych zerojedynkowych, dla których kategorią odniesienia są dzieci pochodzące z rodzin, w których najwyższym poziomem wykształcenia wśród rodziców jest niepełne podstawowe, podstawowe lub zasadnicze zawodowe. Uczniowie, których co najmniej jeden rodzic ma wykształcenie średnie, a drugi średnie lub niższe, uzyskują na teście umiejętności czytania średnio o ponad 2 punkty wyższy wynik od kolegów z kategorii odniesienia. Uczniowie, których rodzice mają wykształcenie pomaturalne lub licencjackie, otrzymali średnio o prawie 4 punkty więcej, a uczniowie, których co najmniej jeden z rodziców ma co najmniej wykształcenie wyższe magisterskie, zyskują prawie 6 punktów w stosunku do rówieśników z kategorii odniesienia. Problematyka związku cech rodziny pochodzenia z wynikami osiągnięć uczniów została bardziej szczegółowo zanalizowana i omówiona w rozdziale 11. Dodanie do modelu opisanych wyżej zmiennych zredukowało odsetek niewyjaśnionej wariancji o ok. 33% w stosunku do modelu pustego. Największy odsetek redukcji niewyjaśnionej wariancji obserwujemy na poziomie klas (patrz pseudo R 2 (p2)), jednak uwzględnienie kolejnych zmiennych wyjaśniających zmniejszyło także wariancję na poziomie szkół i uczniów. Wariancja efektów losowych na poziomie klas jest dla modelu kontrolnego nieistotna statystycznie. Oznacza to, że jeśli kontrolujemy zmienne uwzględnione w modelu (3), nie możemy stwierdzić, że podział uczniów na klasy wyjaśnia jakąś część zmienności wyników testowych. Innymi słowy: jeśli skład oddziałów klasowych nie różniłby się ze względu na wartości zmiennych z modelu (3), nie moglibyśmy odrzucić hipotezy mówiącej o tym, że poszczególne oddziały wewnątrz szkół nie różnią się istotnie poziomem umiejętności czytania. 83

84 Część zróżnicowania wyników moglibyśmy tłumaczyć podziałem na szkoły, a zdecydowana większość obserwowanej wariancji jest wariancją wewnątrzoddziałową. Ponieważ bez kontroli zmiennych uwzględnionych w modelu (3) wariancja efektów na poziomie klas była istotna, można przypuszczać, że zaobserwowana w modelu pustym wariancja wyników na drugim poziomie związana jest w dużej mierze z procesem segregacji uczniów do klas. Daje się ją bowiem w dużej części wyjaśnić cechami indywidualnymi uczniów, bez uwzględnienia cech z poziomu klasy. Wyniki te nie mówią jednak o sile czy powszechności tego zjawiska. W kontekście ich interpretacji, trzeba też pamiętać, że pomiar osiągnięć szkolnych w ramach badania SUEK odbywał się na początku IV klasy. Być może obserwowane zróżnicowanie na poziomie klas czy szkół byłoby większe, gdyby pomiaru tego dokonać przed wakacjami Wyniki analiz dla testu świadomości językowej W tabeli 6.3 przedstawiono wyniki analiz, w których zmienną zależną jest wynik testu świadomości językowej. Model (1) wskazuje na istnienie istotnego zróżnicowania wyników na każdym poziomie analizy. Zróżnicowanie to jest największe na poziomie uczniów, jednak wartości współczynników korelacji wewnątrzgrupowej wskazują, że podział uczniów na szkoły wyjaśnia ok. 6% zmienności wyników, a podział na klasy troszkę mniej ok. 4%. Rozpatrując łącznie pogrupowanie uczniów na szkoły i klasy można wyjaśnić ok. 10% wariancji wyników testu świadomości językowej. Tabela 3.3. Uwarunkowania osiągnięć w zakresie świadomości językowej: model kontrolny. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu świadomości językowej Oszacowanie efektów stałych Model (1) Model (2) Model (3) Poziom ucznia Test Matryc Ravena 0,534 (0,016) 0,447 (0,016) Płeć dziecka a 5,08 (0,47) 5,34 (0,45) Wiek dziecka w tygodniach 0,07 (0,014) 0,083 (0,014) Opóźniony tok nauki -14,14 (1,74) -12,40 (1,68) Przyspieszony tok nauki 5,25 (2,18) 4,86 (1,9) HISEI 0,064 (0,019) Indeks zasobów materialnych rodziny 0,125 dziecka (0,019) Wykształcenie rodziców: 3,33 średnie b (0,68) Wykształcenie rodziców: 4,81 policealne lub studia I stopnia b (0,93) Wykształcenie rodziców: 5,69 wyższe magisterskie, dr lub prof. b (0,96) Stała 98,89 (0,50) 5,66 (7,79) -11,13 (7,78) Oszacowanie efektów losowych 84

85 Wariancja efektów szkół 13,84 11,92 6,04 Wariancja efektów oddziałów klasowych 8,86 3,26 1,93 Wariancja na poziomie ucznia 202,64 135,02 121,73 Współczynniki korelacji wewnątrzgrupowej: Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,333 0,424 pseudo R 2 (p3) -- 0,139 0,563 pseudo R 2 (p2) -- 0,632 0,782 pseudo R 2 (p1) -- 0,334 0,399 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Źródło: opracowanie własne Uwzględnienie w analizie efektów stałych dla biologicznych korelatów osiągnięć, zdefiniowanych na pierwszym poziomie, pokazało istnienie istotnych zależności pomiędzy nimi a wynikami testu świadomości językowej oraz zredukowało niewyjaśnioną wariancję o 33%. Największy odsetek zredukowanej wariancji zaobserwowano, podobnie jak dla testu umiejętności czytania, na poziomie klas. Model (3) będzie w większości dalszych analiz przedstawianych w tym raporcie traktowany jako model kontrolujący podstawowe, niezależne od szkoły czynniki warunkujące osiągnięcia szkolne. W modelu tym, poza zmiennymi z modelu (2), zostały uwzględnione także wskaźniki statusu społecznoekonomicznego rodziny ucznia. Zmienne te zostały zdefiniowane jako efekty stałe na pierwszym poziomie analizy. Podobnie jak dla testu umiejętności czytania, nie znaleziono istotnych statystycznie interakcji między zmiennymi wchodzącymi w skład tego modelu. Wszystkie zależności badane za pomocą modelu (3) są istotne statystycznie na poziomie istotności p<0,05. Siła związku między poziomem inteligencji a wynikami testu osiągnięć jest praktycznie taka sama jak w przypadku testu umiejętności czytania. Wzrost poziomu inteligencji o jedno odchylenie standardowe pociąga za sobą wzrost wyników w teście świadomości językowej średnio o niecałe pół odchylenia standardowego. Dziewczynki osiągają przeciętnie o 5,35 punktu wyższe wyniki niż chłopcy. Różnica ta jest trochę wyższa niż w zakresie umiejętności czytania. Związek wieku z osiągnięciami szkolnymi dla głównej kohorty wiekowej w obszarze świadomości językowej jest podobny, jak w przypadku testu umiejętności czytania: pozytywny, niezbyt silny, lecz istotny. Uczniowie o opóźnionym toku kształcenia osiągają natomiast wyniki średnio o 12,4 punktu (tj. o niecałe odchylenie standardowe) niższe niż koledzy z głównej kohorty wiekowej. Efekt dla uczniów o przyspieszonym toku nauki okazał się dla testu świadomości językowej dodatni i istotny statystycznie. Uczniowie ci uzyskali średnio wyniki o prawie 5 punktów wyższe niż ich koledzy z głównej kohorty wiekowej, mimo że są to uczniowie młodsi. Potwierdza to tylko fakt, że uczniowie wcześniej rozpoczynający naukę są średnio uczniami o wyższym poziomie uprzednich zdolności i w związku z tym, co do 85

86 zasady, lepiej radzą sobie w zakresie osiągnięć szkolnych niż przeciętni uczniowie z głównej kohorty wiekowej. Czynniki związane ze statusem społeczno-ekonomicznym rodziny ucznia są również pozytywnie i istotnie związane z jego osiągnięciami szkolnymi w zakresie świadomości językowej. Siła tych związków jest podobna jak w przypadku testu umiejętności czytania. Wartość współczynnika pseudo R 2 wskazuje, że uwzględnienie w modelu zmiennych z modelu (3) pozwala zredukować niewyjaśnioną wariancję wyników testu świadomości językowej o ok. 42% w stosunku do modelu pustego. Wariancja efektów losowych zmniejszyła się na każdym poziomie analizy, jednak największy odsetek redukcji niewyjaśnionej wariancji zaobserwowano na poziomie klas (patrz pseudo R 2 (p2)). W związku z tym, analogicznie jak w przypadku testu umiejętności czytania, wariancja efektów losowych na poziomie klas dla modelu (3) okazała się nieistotnie statystycznie różna od zera. Oznacza to, że jeśli kontrolujemy opisane wyżej zmienne, nie możemy odrzucić hipotezy mówiącej o tym, że poszczególne oddziały wewnątrz szkół nie różnią się istotnie wynikami testu świadomości językowej. Podział na szkoły nadal natomiast wyjaśnia część zróżnicowania wyników Wyniki analiz dla testu umiejętności matematycznych Tabela 3.4. prezentuje wyniki analiz, w których zmienną wyjaśnianą są umiejętności matematyczne. Model (1), będący modelem pustym bez dodatkowych zmiennych niezależnych, pokazuje, że podział uczniów na szkoły i klasy wyjaśnia podobną część zmienności wyników jak w przypadku testów językowych tj. niecałe 10% jeśli rozpatrywać pogrupowanie łącznie. Wartości współczynników korelacji wewnątrzgrupowej dla każdego z poziomów analizy mają zbliżone wartości, jednak zauważa się trochę większe znaczenie wariancji na poziomie klas. Modele (2) i (3) są analogiczne do prezentowanych dla testów językowych, dostrzega się tu jednak pewne różnie w wynikach dwie zmienne, które są znaczące dla przewidywania wyników testów umiejętności czytania i świadomości językowej, nie są istotne jeśli wyjaśniamy wyniki testu matematycznego. Nie zaobserwowano istotnego związku umiejętności matematycznych z płcią, co oznacza, że wyniki dziewcząt i chłopców średnio nie różnią się od siebie. Porównując ten wynik do wyników innych badań należy mieć na uwadze to, że podczas konstrukcji testów osiągnięć do badania SUEK szczególną uwagę poświęcono analizie stronniczości zadań ze względu na płeć (wykonując analizę efektów DIF). Do testów osiągnięć nie włączono zadań, które charakteryzował silny efekt DIF za względu na płeć, który znajdował odzwierciedlenie w treści zadań testowych. Drugą zmienną, dla której inaczej niż w przypadku testów językowych nie wykryto związku z wynikami testu matematycznego, jest wskaźnik HISEI. Pozwala to przypuszczać, że umiejętności matematyczne są w mniejszym stopniu niż osiągnięcia językowe uwarunkowane statusem społecznym rodziny, a większe znaczenie odgrywa inteligencja ucznia (związek z wynikiem Testu Matryc Ravena jest silniejszy niż dla testu czytania i świadomości językowej). Pozostałe wskaźniki statusu rodziny ucznia pozostają jednak w podobnym związku jak w pozostałych testach osiągnięć. W związku z powyższym, z modelu kontrolnego dla analiz uwarunkowań efektywności nauczania w zakresie umiejętności matematycznych zdecydowano się wykluczyć płeć i wskaźnik HISEI. Model ten ma nieznacznie niższą wartość wskaźnika pseudo R 2 niż model (3), jednak analiza statystyki deviance dla modelu (3) i (4) dla każdej z pięciu analiz wykorzystującej kolejne wartości PV pokazała, że pogor- 86

87 szenie dopasowania modelu po wykluczeniu zmiennych nieistotnych nie jest duże 27. Model (4) przyjęto za najlepszy model kontrolny dla analiz uwarunkowań efektów kształcenia w zakresie umiejętności matematycznych. Tabela 3.4. Uwarunkowania osiągnięć w zakresie umiejętności matematycznych: model kontrolny. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu um. matematycznych Oszacowanie efektów stałych Model (1) Model (2) Model (3) Model (4) Poziom ucznia Test Matryc Ravena 0,616 (0,018) 0,543 (0,017) Płeć dziecka a -0,379-0,2 (0,524) (0,499) Wiek dziecka w tygodniach 0,054 0,065 (0,015) (0,015) Opóźniony tok nauki -14,55-13,07 (2,42) (2,44) Przyspieszony tok nauki 6,21 5,92 (3,1) (2,76) HISEI 0,029 (0,02) Indeks zasobów materialnych rodziny dziecka 0,119 (0,018) Wykształcenie rodziców: 3,18 średnie b (0,56) Wykształcenie rodziców: 3,25 policealne lub studia I stopnia b (0,74) Wykształcenie rodziców: wyższe magisterskie, dr lub prof. b 5,44 Stała 99,09 (0,47) Oszacowanie efektów losowych 9,07 (8,15) (0,99) -5,41 (8,56) 0,544 (0,017) 0,066 (0,015) -13,12 (2,42) 5,99 (2,78) 0,126 (0,018) 3,42 (0,55) 3,82 (0,74) 6,52 (0,78) -5,67 (8,58) Wariancja efektów szkół 9,06 9,81 6,45 6,58 Wariancja efektów oddziałów klasowych 12,7 6,02 4,45 4,38 Wariancja na poziomie ucznia 203,74 123,36 114,36 114,52 Współczynniki korelacji wewnątrzgrupowej: Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,383 0,445 0, Dla dwóch z pięciu analiz dla kolejnych wartości PV różnica wartości statystyki deviance była nieistotna statystycznie przy założonym poziomie istotności p<0,05. Dla trzech okazała się istotna, jednak nie była duża (6,92; 8,48 i 14,87). Średnia z różnic dla każdej z pięciu analiz wyniosła 7,34, przy 2 stopniach swobody (w modelu (3) szacowano 14 parametrów, w modelu (4) 12). 87

88 pseudo R 2 (p3) -- -0,083 0,288 0,274 pseudo R 2 (p2) -- 0,526 0,650 0,655 pseudo R 2 (p1) -- 0,395 0,439 0,438 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Źródło: opracowanie własne Jak już wspomniano, związek poziomu inteligencji z wynikami testu matematycznego okazał się trochę silniejszy niż w przypadku umiejętności czytania i świadomości językowej. Wzrost wyników testu Ravena o jeden punkt pociąga za sobą średni wzrost o 0,544 punktu w teście matematycznym, co oznacza średnią różnicę o ponad pół odchylenia standardowego na skali umiejętności matematycznych między uczniami różniącymi się o jedno odchylenie standardowe wynikiem testu inteligencji. Wiek uczniów z głównej kohorty wiekowej ma podobne znaczenie jak w przypadku pozostałych testów. Jest istotnie, choć niezbyt silnie związany z umiejętnościami matematycznymi: uczniowie urodzeni we wcześniejszych miesiącach mają trochę wyższe wyniki niż ci urodzeni później. Uczniowie o opóźnionym toku kształcenia uzyskują wyniki na skali umiejętności matematycznych średnio o prawie jedno odchylenie standardowe niższe niż ich koledzy z głównej kohorty wiekowej. Efekt dla uczniów, którzy wcześniej rozpoczęli formalną naukę w szkole jest także znaczący: otrzymali oni średnio o ok. 6 punktów wyższe wyniki z testu matematycznego niż uczniowie z głównej kohorty wiekowej. Zasobność gospodarstw domowych, z których pochodzą uczniowie, jest podobnie jak dla pozostałych testów osiągnięć również pozytywnie i istotnie związana z poziomem umiejętności matematycznych dzieci. Siła tego związku jest taka sama jak dla osiągnięć językowych. Wraz ze wzrostem wartości tego indeksu o jedno odchylenie standardowe (15 punktów na skali, w której jest wyrażone), wyniki testu matematycznego rosną przeciętnie przyrost o niecałe 2 punkty. Wykształcenie rodziców także istotnie różnicuje osiągnięcia szkolne uczniów w zakresie umiejętności matematycznych. Zaobserwowany związek jest podobny jak dla pozostałych testów, a maksymalna różnica między dziećmi pochodzącymi z rodzin, w których najwyższym poziomem wykształcenia wśród rodziców jest niepełne podstawowe, podstawowe lub zasadnicze zawodowe a tymi z rodzin, w których co najmniej jeden z rodziców ma co najmniej wykształcenie wyższe magisterskie wynosi 6,52 punktu. Model kontrolny (4) pozwala zredukować niewyjaśnioną wariację o ok. 44%. Znów największy odsetek redukcji niewyjaśnionej wariancji zaobserwowano na poziomie klas, jednakże wariancja efektów losowych na każdym poziomie analizy pozostaje istotnie statystycznie większa od zera. Oznacza to, że mimo kontroli zmiennych uwzględnionych w modelu (4), podział na szkoły i klasy nadal wyjaśnia zmienność wyników testów umiejętności matematycznych Podsumowanie i dyskusja wyników Przedstawione powyżej analizy miały na celu wypracowanie modeli kontrolnych dla analiz uwarunkowań efektywności nauczania w zakresie trzech obszarów osiągnięć szkolnych: umiejętności czytania, 88

89 świadomości językowej i umiejętności matematycznych. Pokazały one jakie zmienne powinny być wzięte pod uwagę podczas analizowania znaczenia innych czynników mogących mieć wpływ na osiągnięcia szkolne, by uniknąć skupiania się na korelacjach pozornych. Potwierdziły także wyniki licznych badań pokazujących, że wyniki testów osiągnięć są uwarunkowane w pewnej mierze cechami uczniów i ich rodzin, na które szkoła nie ma większego wpływu. Jednym z ważniejszych i nie będących zaskoczeniem korelatów osiągnięć jest poziom inteligencji uczniów. Wynik testu Ravena jest istotnie pozytywnie związany z wynikami wszystkich trzech testów osiągnięć, z tym że związek z poziomem umiejętności matematycznych jest trochę silniejszy niż z umiejętnością czytania i świadomością językową. Istnienie silniejszego związku inteligencji z wynikami z przedmiotów matematycznych niż z przedmiotów humanistycznych potwierdzają również inne badania (Ferrer i McArdle, 2004; Heaven i Ciarrochi, 2012; Teo i in., 1996), także te nieliczne prowadzone na gruncie polskim (Murawska, 1990; Wieczorkowska i Siarkiewicz, 2007). Płeć uczniów ma znaczenie tylko dla testów językowych, w których to dziewczynki wypadły trochę lepiej, co najpewniej związane jest z różnicami w zakresie rozwoju mowy, więc także kompetencji językowych (por. wyniki innych badań: Konarzewski, 2007). Dla umiejętności matematycznych nie zaobserwowano istotnych różnic pomiędzy dziewczętami i chłopcami. Wyniki innych polskich badań prowadzonych z udziałem dzieci rozpoczynających naukę szkolną także pokazują brak istotnych różnic międzypłciowych dla umiejętności matematycznych, w odróżnieniu od umiejętności językowych, w których delikatną przewagę mają dziewczynki (Karwowski i Dziedziewicz, 2012, s ). Pokazuje to, że powszechne przekonanie, iż dziewczynki są mniej uzdolnione od chłopców w zakresie umiejętności matematycznych nie znajduje potwierdzenia przynajmniej na początku edukacji formalnej. Wiek uczniów również jest istotnie związany z poziomem osiągnięć. Analiza z wytrąceniem efektów dla opóźnionego lub przyspieszonego toku nauki pokazała, że starsi uczniowie mają większą szansę uzyskania wyższych wyników w testach. A uczniowie z głównej kohorty wiekowej mogą się różnić ze względu na wiek prawie o rok (tacy uczniowie średnio różnić się będą wynikami w testach o ok. jedną piątą odchylenia standardowego). Zależność ta jest istotna dla wszystkich trzech analizowanych obszarów osiągnięć. Efekt ten nie jest duży, choć silniejszy niż w przypadku zależności obserwowanej na sprawdzianie w szóstej klasie lub egzaminie gimnazjalnym (Dolata i Pokropek, 2012). Dowodzi to tego, że znaczenie zmian rozwojowych dla osiągnięć szkolnych jest większe dla młodszych uczniów i potrzeba świadomości tego faktu nie tylko w analizach i badaniach, ale także diagnozie indywidualnej i ewaluacji pracy szkół i nauczycieli, a może przede wszystkim w zarządzaniu oświatą na poziomie lokalnym i globalnym. Uczniowie o opóźnionym lub przyspieszonym toku nauki także różnią się średnim poziomem osiągnięć od uczniów z głównej kohorty wiekowej. Zależność ta nie jest jednak związana z ich wiekiem (musielibyśmy się bowiem spodziewać wtedy odwrotnego kierunku zależności), ale ze specyficznymi powodami przynależności do którejś z tych grup. Opóźniony tok kształcenia jest związany przede wszystkim z trudnościami w nauce lub przyczynami ściśle z tym powiązanymi, co powoduje, że uczniowie ci średnio uzyskują wyniki w testach osiągnięć o jedno odchylenie standardowe niższe niż przeciętnie uczniowie z głównej kohorty wiekowej. Natomiast uczniowie wcześniej rozpoczynający naukę są średnio uczniami o wyższym poziomie ogólnych zdolności i gotowości do nauki, których rodzice w szczególny sposób interesują się ich edukacją i w związku z tym, co do zasady, lepiej radzą sobie w zakresie osiągnięć szkolnych niż przeciętnie uczniowie z głównej kohorty wiekowej. Efekt ten okazał się nieistotny tylko dla umiejętności czytania. 89

90 Status społeczno-ekonomiczny rodziny pochodzenia ucznia jest pozytywnie związany z wynikami testów osiągnięć. Ma on większe znaczenie dla umiejętności czytania i świadomości językowej, dla których to wszystkie wskaźniki statusu (HISEI, wykształcenie rodziców, indeks zasobów materialnych rodziny dziecka) okazały się miarami dopełniającymi, z których każda wyjaśnia część zmienności wyników testów. Dla poziomu umiejętności matematycznych uczniów wskaźnik HISEI nie był istotnie związany z wynikami testu, co pozwala przypuszczać, że umiejętności te są w mniejszym stopniu uzależnione od statusu rodziny, a większe znaczenie odgrywa inteligencja ucznia. Problematyka związku cech rodziny pochodzenia uczniów z wynikami osiągnięć została bardziej wnikliwie zanalizowana i omówiona w rozdziale 11. Współczynniki korelacji wewnątrzgrupowej wyznaczone dla każdego testu na podstawie modeli pustych pokazały istnienie znaczącego zróżnicowania osiągnięć między szkołami oraz na poziomie klas. Pogrupowanie uczniów na szkoły i klasy, rozpatrywane łącznie, wyjaśnia 8-10% zmienności wyników. Udział wariancji na poziomie szkół i klas jest w miarę równomierny, z pewną przewagą zróżnicowania międzyszkolnego dla umiejętności czytania. Największe zróżnicowanie obserwuje się na poziomie uczniów, czyli wewnątrz klas. Problematyka zróżnicowania klas i szkół podstawowych ze względu na wyniki nauczania została szczegółowo przedstawiona w rozdziale 4. Warto jednak zwrócić uwagę na to, że uwzględnienie w modelach zmiennych wyjaśniających z poziomu uczniów (jako efektów stałych) pozwoliło zredukować znaczną część wariancji na poziomie klas. W przypadku testu umiejętności czytania i testu świadomości językowej spowodowało to, że wariancja efektów losowych na poziomie klas okazała się nieistotnie statystycznie różna od zera. Oznacza to, że nie możemy stwierdzić, że podział uczniów na klasy wyjaśnia jakąś część zmienności wyników testów językowych. Dla testu umiejętności matematycznych wariancja ta jest istotnie różna od zera, jednak większe znaczenie dla wyjaśniania zmienności wyników ma podział uczniów na szkoły. Wyniki te można tłumaczyć nielosowym przydziałem wewnątrz szkół uczniów do klas. Zróżnicowanie efektów na poziomie klas, zaobserwowane w modelu pustym, może być w dużej mierze związane z procesem segregacji uczniów do klas. Można je bowiem w większości wyjaśnić cechami indywidualnymi uczniów, bez uwzględnienia cech z poziomu klasy Podsumowanie Badania nad efektywnością kształcenia są przykładem badań, w których struktura hierarchiczna danych jest zjawiskiem oczekiwanym. Przedmiotem dociekań tego typu badań są zależności pomiędzy różnymi poziomami tej hierarchii, a w szczególności określenie czynników szkolnych odpowiedzialnych za wyniki kształcenia uczniów. Hierarchiczna struktura danych wymaga jednakże odpowiednich metod analizy, które pozwalają uwzględnić ich wielopoziomowy charakter oraz umożliwiają swobodne modelowanie zależności pomiędzy różnymi poziomami analizy. Metody wykorzystane do analizy danych na potrzeby niniejszego raportu, tzn. hierarchiczne modele liniowe, spełniają te wymogi i umożliwiają testowanie różnorodnych hipotez odnośnie do zależności pomiędzy cechami środowiska szkolnego, a wynikami uczniów. Hipotezy o wpływie szkoły na efekty kształcenia wymagają kontrolowania wielu czynników, które mogą wpływać na osiągane przez uczniów wyniki, ale nie zależą od szkoły. Kontrola tych czynników umożliwia oszacowanie wielkości tej części zmienności wyników uczniów, która może być przypisana szkołom czy klasom. Pozwala ona także na większe zaufanie do odnalezionych zależności pomiędzy cechami środowiska szkolnego a wynikami uczniów, zapobiegając w dużym stopniu odkrywaniu korelacji pozornych, czyli tych związków między dwiema zmiennymi, które dają się wyjaśnić wpływem trzeciej zmiennej, nie uwzględnionej w modelu. 90

91 Analizy wyników badania podłużnego SUEK przedstawione w tym rozdziale pokazały, jak duże znaczenie dla osiągnięć szkolnych po I etapie kształcenia mają charakterystyki indywidualne uczniów oraz środowisko rodzinne, z którego pochodzą. Cechy takie, jak inteligencja i powiązane z nią ogólne zdolności poznawcze, płeć, wiek czy status społeczno-ekonomiczny rodziny pochodzenia mogą być nazwane potencjałem ucznia, z którym przychodzi on do szkoły. Zadaniem szkół i nauczycieli jest natomiast jak najlepsze wykorzystanie tego potencjału, by uczeń mógł poczynić największy możliwy dla niego postęp. Publiczne szkoły rejonowe nie mają wpływu na to, jacy uczniowie do nich przyjdą. Jedne, choćby ze względu na swoje położenie, pracują z uczniami z trudnych środowisk społecznych, inne głównie z dziećmi inteligentów (skala tego zróżnicowania została pokazana w rozdziale 11). Trudno wymagać zatem, by szkoły różniące się potencjałem uczniów na wejściu osiągały podobne wyniki nauczania. Co więcej, zmiany struktury społecznej i migracje przyczyniają się do tego, że także te same szkoły co roku mogą przyjmować uczniów o różnym potencjale. Tak więc nawet ewaluacja wewnątrzszkolna oparta tylko na wynikach testów osiągnięć nie pozwala poprawnie porównywać efektywności nauczania w szkole w kolejnych latach. Obiektywna ocena pracy szkół i podejmowane na tej podstawie decyzje oświatowe, wymagają zatem zastosowania właściwych miar, uwzględniających to, co w nauczaniu najważniejsze, czyli postępy uczniów na danym etapie kształcenia. Umożliwienie zaś szkołom podstawowym wykorzystania w ewaluacji wewnątrzszkolnej miar uwzględniających potencjał uczniów na wejściu, pozwoliłoby im nie tylko przyjrzeć się efektywności nauczania na tle innych szkół w kraju, ale także lepiej zdiagnozować mocne i słabe strony swoich placówek i podjąć bardziej trafne decyzje dotyczące planu rozwoju szkoły. Zastosowanie miar uwzględniających potencjał uczniów na wejściu do szkoły dawałoby szansę na zmniejszenie negatywnych efektów związanych z posługiwaniem się w ocenie pracy szkół tylko wynikami testów osiągnięć (jak np. wynikami egzaminów zewnętrznych). Szkoły, które spoczywały na laurach, nie musząc wiele wysiłku wkładać w wypracowanie wysokich wyników uczniów z uwagi na to, że przychodzili do nich uczniowie o wysokim potencjale, mogłyby poczuć się zmotywowane do pracy, jeśli okazałoby się, że inne szkoły, pracujące z podobnymi uczniami, przyczyniły się do większego ich postępu. Miary takie mogłyby zmniejszyć także poczucie ciągłej frustracji dobrych nauczycieli pracujących w trudnych środowiskach, a także nie pozwoliłyby złym nauczycielom przypisywać swoich niepowodzeń cechom uczniów i środowiska, z którego pochodzą. Innymi słowy, powinny one zachęcić szkoły do konkurencji opartej o rzeczywisty wkład w efekty nauczania, niezależny od potencjału uczniów przyjmowanych do szkoły. Miary uwzględniające potencjał uczniów na wejściu są wyznaczane dla gimnazjów, liceów i techników 28. Wskaźniki edukacyjnej wartości dodanej (bo tak się one nazywają) wyliczane są na podstawie danych z systemu egzaminacyjnego. Miarą potencjału uczniów na wejściu do szkoły są uprzednie osiągnięcia wyznaczane wynikiem egzaminu zewnętrznego na zakończenie poprzedniego etapu kształcenia. Pierwszym powszechnym testem osiągnięć jest sprawdzian w szóstej klasie szkoły podstawowej, więc wyniki tego egzaminu są wykorzystywane do obliczenia wskaźników EWD dla gimnazjów. Nie dysponujemy jednak porównywalną w skali kraju miarą potencjału uczniów na wejściu do 28 Prace te są prowadzone w ramach projektu: Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) Projekt jest realizowany w ramach działania 3.2. Rozwój systemu egzaminów zewnętrznych, priorytetu III: Wysoka jakość systemu oświaty, programu operacyjnego Kapitał Ludzki. Projekt jest planowany na lata r. Projekt do września 2012 roku był prowadzony przy Centralnej Komisji Egzaminacyjnej. Obecnie jest realizowany w Instytucie Badań Edukacyjnych. Więcej informacji o projekcie i jego rezultatach można znaleźć na stronie: 91

92 szkół podstawowych lub choćby na wejściu w II etap nauczania, czyli na przełomie klas III i IV, która pozwoliłaby na opracowanie analogicznych wskaźników dla szkół podstawowych. Mając świadomość znaczenia cech indywidualnych uczniów i środowiska rodzinnego dla osiągnięć szkolnych na I etapie edukacyjnym, zróżnicowania tych charakterystyk między szkołami oraz wartości płynących ze stosowania dobrych miar efektywności nauczania, uważamy, że wskazane jest rozważenie możliwości wprowadzenia systemowego rozwiązania służącego diagnozie potencjału uczniów na wejściu do szkół podstawowych (np. w postaci testów ogólnych zdolności poznawczych, gotowości szkolnej oraz pomiaru statusu społeczno rodziny) lub diagnozie osiągnięć szkolnych uczniów kończących pierwszy etap kształcenia. Diagnoza taka służyłaby nie tylko wypracowaniu wskaźników edukacyjnej wartości dodanej, ale także pozwoliłaby nauczycielom lepiej dobierać i planować działania edukacyjne do potrzeb ich uczniów 29. Literatura cytowana Babbie, E. (2002). Podstawy badań społecznych. Tłum. Betkiewicz W., Bucholc M., Gadomski P., Haman J., Jasiewicz-Betkiewicz A., Kłoskowksa-Dudzińska A., Kowalski M., Mozga-Górecka M., Warszawa: Wydawnictwo Naukowe PWN. Dolata, R., Pokropek, A. (2012). Czy warto urodzić się w styczniu? Wiek biologiczny a wyniki egzaminacyjne. W: B. Niemierko, M. K. Szmigel (red.), Regionalne i lokalne diagnozy edukacyjne (s ). Wrocław: Polskie Towarzystwo Diagnostyki Edukacyjnej. Ferrer, E., McArdle, J. J. (2004). An experimental analysis of dynamic hypotheses about cognitive abilities and achievement from childhood to early adulthood. Developmental Psychology, 40 (6), Ganzeboom, H. B. G.; Treiman, D. J. (1996). Internationally Comparable Measures of Occupational Status for the 1988 International Standard Classification of Occupations. Social Science Research, 25, Ganzeboom, H. B. G.; Treiman, D. J. (2003). Three Internationally Standardised Measures for Comparative Research on Occupational Status. W: Hoffmeyer-Zlotnik J. H. P, Wolf C. (red.), Advances in Cross-National Comparison. A European Working Book for Demographic and Socio-Economic Variables (s ). New York: Kluwer Academic Press. Heaven, P.L., Ciarrochi, J. (2012). When IQ is not everything: Intelligence, personality and academic performance at school. Personality and Individual Differences, 53, Pierwsze próby opracowania pilotażowych wskaźników EWD dla II etapu edukacyjnego będą możliwe w 2013 roku, kiedy to będzie można wykorzystać wyniki z pomiaru osiągnięć szkolnych z Ogólnopolskiego Badania Umiejętności Trzecioklasistów przeprowadzonego w roku szkolnym 2009/2010 na zakończenie klasy III. Wskaźniki te będą miały jednak dwie zasadnicze wady: możliwe będzie ich wyznaczenie tylko dla szkół biorących udział w badaniu OBUT, a wyniki będzie można odnosić tylko do średnich wyników szkół, które się do niego zgłosiły, a ponadto (i być może przede wszystkim) będzie to działanie jednorazowe, o ile diagnoza osiągnięć na tym etapie kształcenia nie stanie się rozwiązaniem systemowym. 92

93 Karwowski, M., Dziedziewicz, D. (2012). Test umiejętności na starcie szkolnym. Podręcznik. Warszawa: Instytut Badań Edukacyjnych. Konarzewski, K. (2007). PIRLS Jak czytają dzieci w Polsce? Warszawa: Centralna Komisja Egzaminacyjna. OECD (2010). PISA 2009 Results: Overcoming Social Background Equity in Learning Opportunities and Outcomes (Volume II). Data dostępu: Konarski, R. (2009). Modele równań strukturalnych. Teoria i praktyka. Warszawa: Wydawnictwo Naukowe PWN. Murawska, B. (1990). Społeczne wyznaczniki sukcesu szkolnego uczniów klas początkowych, Niepublikowana praca doktorska, Wydział Pedagogiczny UW. Pfeffermann, D., Skinner, C.J., Holmes, D.J., Goldstein, H., Rasbach, J. (1998). Weighting for unequal selection probabilities in multilevel models. Journal of the Royal Statistical Society. Series B (Statistical Methodology), 1 (60), Raudenbush, S. W., Bryk, A. S. (2002). Hierarchical Linear Models. Applications and data analysis methods. Thousand Oaks, London, New Delhi: Sage Publications. Scientific Software International (2012). Data dostępu: Snijders, T.A.B., Bosker, R.J. (2012). Multilevel Analysis. An Introduction to Basic and Advanced Multilevel Modeling. Los Angeles, London, New Delhi, Singapore, Washington DC: Sage Publications. Teo, A., Carlson, E., Mathieu, P. J., Egeland, B., Sroufe, L. A. (1996). A prospective longitudinal study of psychosocial predictors of achievement. Journal of School Psychology, 34, Wieczorkowska, G., Siarkiewicz, M. (2007). Inteligencja uczniów a wynik egzaminu. Egzamin, Biuletyn badawczy, 13, Warszawa: Centralna Komisja Egzaminacyjna. 93

94 Część II: Międzyszkolne i międzyoddziałowe zróżnicowanie wyników nauczania 4. Zróżnicowanie klas i szkół podstawowych ze względu na wyniki nauczania w zakresie czytania, świadomości językowej i matematyki (Aleksandra Jasińska, Michał Modzelewski) 4.1. Znaczenie miary zróżnicowania międzyszkolnego W Polsce od 1999 r. obowiązuje dziewięcioletni jednolity i powszechny system szkolnictwa, na który składa się sześcioletnia szkoła podstawowa i trzyletnie gimnazjum. Pierwszym oficjalnym progiem selekcyjnym jest koniec gimnazjum, po którym uczniowie mogą wybrać dalszy kierunek swojej drogi edukacyjnej: ścieżkę zawodową - technikum lub zasadniczą szkołę zawodową, albo ścieżkę akademicką, realizowaną w liceach. Wybór ten dokonuje się w dużej części w oparciu o wyniki na egzaminie gimnazjalnym. Zgodnie z założeniami jednolitego systemu szkolnictwa, to jakie wyniki uczniowie osiągają na tym egzaminie, lub szerzej szanse na sukces edukacyjny uczniów - nie powinny zależeć od tego, do której szkoły uczęszczają. Jednym ze sposobów na liczbowe ujęcie problemu jednolitości kształcenia jest wskaźnik zróżnicowania międzyszkolnego wyników kształcenia (Dolata, 2011). Wskaźnik ten pozwala na określenie, na ile szkoły różnią się między sobą osiągnięciami szkolnymi uczniów. Pierwszym krokiem do jego wyliczenia jest dokonanie dekompozycji wariancji, czyli określenia, jaka część zróżnicowania indywidualnych wyników wszystkich uczniów może zostać przypisana zróżnicowaniu średnich grupowych (tj. średnich wyników dla szkół), a jaka zróżnicowaniu wyników poszczególnych uczniów w szkołach. W drugim kroku, komponent międzyszkolny zróżnicowania odniesiony jest do całkowitej wariancji wyników uczniów, a uzyskany wynik informuje nas, jaki odsetek całkowitego zróżnicowania osiągnięć szkolnych uczniów możemy przypisać podziałowi uczniów na szkoły. W przypadku idealnie jednolitego systemu szkolnego, szkoły osiągałyby te same średnie wyniki w testach, a wskaźnik zróżnicowania osiągałby wartość 0% (czyli, inaczej mówiąc, uczniowie każdej ze szkół osiągaliby średnio takie same wyniki). W przypadku odwrotnym, całe zróżnicowanie wyników indywidualnych uczniów sprowadzałoby się do różnic między szkołami wszyscy uczniowie w danej szkole osiągaliby te same wyniki, a wskaźnik przyjąłby wartość 100% (to do jakiej szkoły uczęszczałby uczeń, całkowicie determinowałoby jego wynik). Zróżnicowanie międzyszkolne na danym poziomie kształcenia zdefiniowane tak jak powyżej nie pozwala rozróżnić dwóch niezależnych zjawisk, które mogą mieć wpływ na jego wielkość. Pierwszym jest zróżnicowanie uczniów na wejściu ze względu na uprzednie osiągnięcia, ich cechy indywidualne i charakterystyki ich rodzin, drugim zaś różny poziom jakości kształcenia szkół. Pierwszy przypadek oznacza, że różne szkoły pracują z uczniami o różnym poziomie uprzednich umiejętności lub różnych konfiguracjach cech indywidualnych i społecznych, mających wpływ na osiągnięcia, tzn., że w systemie istnieją szkoły, które przyjmują głównie lepszych uczniów i takie, do których uczęszczają uczniowie słabsi. W drugiej sytuacji mamy do czynienia ze zjawiskiem, w którym szkoły nauczają z różną efektywnością, co przekłada się na zróżnicowanie ich średnich wyników. Najbardziej prawdopodobne 94

95 jest jednak to, że zachodzą oba te zjawiska, przekładając się na obserwowane na danym etapie kształcenia zróżnicowanie szkół ze względu na wyniki nauczania. By dobrze zrozumieć tę swoistą dialektykę zróżnicowania, warto przedstawić dwa skrajne hipotetyczne scenariusze działania tych procesów. W pierwszym, maksymalizującym zróżnicowanie, oba wspomniane procesy działają w jednym kierunku. W systemie szkolnym mielibyśmy wtedy do czynienia z sytuacją, w której nie dość, że uczniowie byliby podzieleni między szkoły w zależności od swoich uprzednich osiągnięć lub cech indywidualnych i społecznych związanych z osiągnięciami szkolnymi, ale co więcej szkoły skupiające uczniów lepszych uczyłyby zdecydowanie lepiej, niż szkoły skupiające uczniów słabszych, co potęgowałoby w czasie to wyjściowe zróżnicowanie wyników lepsi stawaliby się jeszcze lepsi, a słabsi jeszcze słabsi. Drugim skrajnym scenariuszem jest ten, w którym procesy te wzajemnie się znoszą w związku z tym, że oba procesy: segregacji i zróżnicowanego pod względem jakości kształcenia mogą nawzajem hamować swój wzrostowy wpływ na zróżnicowanie międzyszkolne, scenariusz o niwelowaniu zróżnicowania może przyjmować dwa warianty. W pierwszym, mamy do czynienia z wysokim poziomem segregacji uczniów na wejściu, ale system szkolny pełni funkcję kompensacyjną dla uczniów słabszych jeśli chodzi o uprzednie osiągnięcia, w związku z czym szkoły, skupiające tych uczniów osiągają średnie wyniki nie gorsze od szkół, do których uczęszczają uczniowie lepsi, co do uprzednich osiągnięć lub o korzystniejszej konfiguracji cech indywidualnych i społecznych mających wpływ na osiągnięcia szkolne. W tę stronę mogą iść interpretacje niskiego zróżnicowania międzyszkolnego, w sytuacji gdy pomiar osiągnięć podsumowuje pewien okres kształcenia. W drugim wariancie, system szkolny wymusza swoiste mieszanie się w szkołach uczniów lepszych i słabszych jeśli chodzi o uprzednie osiągnięcia, co prowadzi do tego, że średnie dla szkół są bardzo do siebie zbliżone, pomimo tego, że szkoły charakteryzują się różną efektywnością kształcenia. Z tą sytuacją możemy mieć do czynienia w przypadku, gdy osiągnięcia szkolne uczniów są analizowane na progu jakiegoś okresu kształcenia. W przypadku, gdy dysponujemy tylko wynikami uczniów, rozplątanie wpływu tych dwóch procesów nie jest do końca możliwe. Sytuacja zmienia się jednak, gdy mamy dostęp do informacji o uprzednich osiągnięciach uczniów lub tych indywidualnych cech ucznia, które mogą mieć wpływ na jego osiągnięcia, ale nie są zależne od szkoły. Kontrolując je, jesteśmy w stanie wytrącić efekt związany z nielosowym przypisaniem uczniów o różnych charakterystykach do klas i uzyskać informację o jakości kształcenia szkoły. Miara zróżnicowania międzyszkolnego w tej sytuacji pozwala określić, na ile szkoły różnią się co do średniej efektywności kształcenia. Jak widać miara zróżnicowania międzyszkolnego kryje w sobie bardzo dużo informacji o tym, co dzieje się w danym systemie kształcenia. W związku z tym jest dobrym wskaźnikiem charakteryzującym system oświaty na poziomie ogólnym. Pomimo uproszczonego obrazu rzeczywistości, w którym zakłada się, że uczniowie są bezpośrednio pogrupowani w szkołach, umożliwia ona interesujące międzynarodowe porównania, dzięki temu właśnie, że poziom szkoły jest jasno interpretowalny praktycznie we wszystkich krajach, w przeciwieństwie do relatywnie złożonych i niekoniecznie przystających do siebie sposobów organizacji nauczania w samych szkołach. Porównania międzynarodowe pozwalają określić nie tylko stopień jednolitości systemu szkolnego, ale także porównać jego jakość do systemów innych krajów. Opis analiz różnych aspektów zróżnicowania międzyszkolnego na poziomie międzynarodowym zawarty jest w sprawozdaniach z badania PISA (OECD, 2009). W perspektywie polskiego systemu szkolnego, regularną analizę i monitoring zróżnicowania międzyszkolnego dla okresu jednolitego kształcenia umożliwia wprowadzony w 2002 roku system egzaminów zewnętrznych. Ogranicza się on jednak do dwóch pomiarów: pod koniec szkoły podstawowej 95

96 (sprawdzian) oraz na zakończenie gimnazjum. Okazuje się, że analiza dynamiki zróżnicowania międzyszkolnego na podstawie danych egzaminacyjnych prowadzi do szokujących wniosków (Dolata, Jasińska, Modzelewski, 2012). W niniejszym rozdziale zaprezentowane zostały wyniki analizy zróżnicowania dla szkół podstawowych po pierwszym etapie kształcenia (tj. po trzeciej klasie szkoły podstawowej) na podstawie badań SU- EK. Wyniki te zostały skonfrontowane z analizami zróżnicowania pod koniec szkoły podstawowej oraz na zakończenie gimnazjum. Pozwala to na szersze spojrzenie na dynamikę różnicowania się szkół w Polsce. Oszacowanie zróżnicowania międzyszkolnego zostało wyliczone z użyciem dwóch rodzajów hierarchicznych modeli liniowych: analizy wariancji z efektami losowymi oraz analizy kowariancji z efektami losowymi. Oba rodzaje modeli zostały opisane w rozdziale 3. Modele te mają szczególną zaletę w świetle przeprowadzanych analiz, są bowiem dosyć odporne na artefaktualne zwiększanie wariancji międzygrupowej, wynikającej z wahań w liczebnościach poszczególnych grup (szkół). Dzieje się tak dlatego, że średnie dla szkół są ściągane do średniej populacyjnej tym bardziej, im mniej uczniów stanowiło podstawę do jej wyliczenia. Wydaje się to rozsądnym założeniem średnia otrzymana z wyników dla małej liczby uczniów jest mniej rzetelna niż ta, do której obliczenia wzięto wyniki kilkudziesięciu uczniów Zróżnicowanie międzyszkolne wyników nauczania po pierwszym etapie kształcenia na podstawie wyników badania SUEK Zacznijmy od przyjrzenia się poziomowi zróżnicowania międzyszkolnego ze względu na osiągnięcia szkolne po pierwszym etapie kształcenia, czyli na zakończenie nauczania zintegrowanego. Do analiz wykorzystano wyniki testów osiągnięć szkolnych z badania SUEK (opisane szczegółowo w rozdziale 4). Analizy wykonano za pomocą oprogramowania HLM6.06. Posłużono się metodą estymacji full maximum likelihood oraz wykorzystano warunkowe wagi próbkowania (patrz rozdział 1). Wskaźnik zróżnicowania międzyszkolnego uzyskano dzieląc wariancję efektów losowych na poziomie szkół przez wariancję całkowitą, a wynik wyrażono w procentach. W tabeli 7.1 przedstawiono oszacowania efektów losowych uzyskane za pomocą dwupoziomowych modeli pustych z losową stałą. Wariancja efektów szkół dla każdego testu osiągnięć jest statystycznie istotnie różna od zera. 96

97 Tabela 4.1. Zróżnicowanie międzyszkolne wyników nauczania po I etapie kształcenia oszacowania na podstawie dwupoziomowych modeli z losową stałą (analiza wariacji z efektami losowymi) Test umiejętności czytania Test świadomości językowej Test umiejętności matematycznych Oszacowanie efektów losowych Wariancja efektów szkół 15,13 20,16 17,71 Wariancja na poziomie uczniów 209,32 206,63 208,72 Wskaźnik zróżnicowania międzyszkolnego 6,74% 8,89% 7,82% Liczba uczniów Liczba szkół Źródło: opracowanie własne Analizy te pokazują, że podział uczniów na szkoły istotnie wyjaśnia część zróżnicowania wyników nauczania po pierwszym etapie kształcenia. Zróżnicowanie międzyszkolne jest na poziomie ok. 7-9%. Nie jest to dużo, jednak w takim stopniu wyniki, jakie uzyskują uczniowie, są związane z tym, do których szkół chodzą. By lepiej zrozumieć, co oznacza taka wartość wskaźnika zróżnicowania międzyszkolnego, warto przyjrzeć się graficznej interpretacji uzyskanych wyników. Na rysunku 7.1 przedstawiono oszacowania średnich wyników szkół dla przykładowego testu testu umiejętności czytania wraz z 95% przedziałem ufności dla oszacowanej średniej. Wyniki szkół uporządkowano rosnąco ze względu na uzyskany średni wynik. Na osi pionowej przedstawiono skalę umiejętności czytania, w której średnia wyników w populacji uczniów wynosi 0, a odchylenie standardowe wyników indywidualnych 15. Ograniczono się do prezentacji wykresu tylko dla tego testu, gdyż dla pozostałych wyglądają bardzo podobnie. W hierarchicznych modelach liniowych efekty losowe na poziomie grup (w tym przypadku szkół) nie są, tak jak inne parametry modelu, szacowane podczas procesu estymacji. Estymowana jest ich wariancja (τ 2 ) i ewentualnie kowariancja z innymi efektami losowymi. Jeśli jednak interesują nas oszacowania efektów grupowych, możemy wyznaczyć bayesowskie predykcje posteriori (empirical Bayes estimation). Metoda ta pozwala wyznaczyć wartości tych efektów na podstawie dwóch informacji: danych o jednostkach przynależących do konkretnej grupy (wynikach uczniów z danej szkoły) i założenia modelu o normalnym rozkładzie efektów losowych o średniej 0 i wariancji równej τ 2 (Snijders i Bosker, 2012, s ). W ten sposób wyznaczono średnie dla szkół jako oszacowania efektów losowych uzyskane opisaną powyżej metodą. Błędy standardowe zostały wyznaczone jako pierwiastek z wariancji rozkładu posteriori. 97

98 Źródło: opracowanie własne Rysunek 4.1. Oszacowania średnich wyników szkół wraz z przedziałami ufności dla testu umiejętności czytania (średni wynik w populacji = 0, odchylenie standardowe = 15) Wykres ten pozwala nam lepiej zobaczyć, że zdecydowana większość szkół nie różni się znacząco wynikami nauczania. Głównie na skrajach możemy dostrzec szkoły, których średnie wyniki są istotnie różne od średnich wyników w populacji, a także różne od wyników szkół z drugiego krańca. Szkół takich jest ok. 20%. Jednak mimo że większość szkół osiąga średnio podobne wyniki, to jeśli spojrzymy na wielkość różnicy między szkołami o najniższych i najwyższych wynikach, to zobaczymy, że wynosi ona trochę ponad 20 punktów, czyli jeden i jedna trzecia odchylenia standardowego wyników indywidualnych! Wyniki te pokazują, że mimo, że patrząc całościowo na poziom zróżnicowania międzyszkolnego na tym etapie kształcenia można mówić o w miarę jednorodnym systemie nauczania, to nie oznacza to, że w przypadku każdej pary szkół różnice te są niewielkie. Interpretacje zależą od przyjętej perspektywy. Zanim jednak postawiony zostanie wniosek, że to różna jakość pracy szkół odpowiada za zaobserwowany poziom zróżnicowania międzyszkolnego, należy wytrącić wpływ tych czynników, które od szkoły nie zależą, czyli poziom ogólnych zdolności uczniów, ich cechy indywidualne i cechy środowiska rodzinnego, z którego pochodzą. Być może bowiem zróżnicowanie międzyszkolne wyników po pierwszym etapie kształcenia jest tylko rezultatem zróżnicowania międzyszkolnego potencjału uczniów na wejściu. W tym celu policzono wskaźniki zróżnicowania międzyszkolnego na podstawie modeli, w których kontrolowano zróżnicowanie szkół ze względu na takie zmienne jak: inteligencja płynna uczniów, ich płeć, wiek, status społeczno-ekonomiczny wskaźnikowany wykształceniem rodziców, indeksem HISEI i indeksem zasobów materialnych rodziny dziecka. Były to dwupoziomowe modele z losową stałą i efektami stałymi dla zmiennych kontrolnych. Modele te są analogiczne do wypracowanych trzypoziomowych modeli kontrolnych opisanych w rozdziale 3, z tą jedyną różnicą, że uwzględniają tylko poziom szkoły i uczniów. W tabeli 7.2 przedstawiono interesującą nas tutaj część wyników, czyli oszacowania efektów losowych. Wariancja efektów szkół dla każdego testu osiągnięć jest statystycznie istotnie różna od zera. 98

99 Tabela 4.2. Zróżnicowanie międzyszkolne efektywności nauczania po I etapie kształcenia oszacowania na podstawie dwupoziomowego modelu z losową stałą i efektami stałymi dla zmiennych kontrolnych (analiza kowariancji z efektami losowymi) Test umiejętności czytania Test świadomości językowej Test umiejętności matematycznych Oszacowanie efektów losowych Wariancja efektów szkół 7,89 7,48 8,95 Wariancja na poziomie uczniów 142,66 122,44 116,83 Wskaźnik zróżnicowania międzyszkolnego 5,24% 5,76% 7,11% Liczba uczniów Liczba szkół Źródło: opracowanie własne Wyniki te pokazują, że jeśli kontrolujemy cechy biologiczno-społeczne uczniów, to zróżnicowanie międzyszkolne osiągnięć szkolnych jest trochę niższe. Tak więc, zgodnie z przewidywaniami, za część zróżnicowania międzyszkolnego wyników nauczania odpowiada zróżnicowanie międzyszkolne w zakresie potencjału uczniów na wejściu. Uzyskane tu wyniki informują o tym, na ile szkoły różniłyby się między sobą ze względu na wyniki nauczania, jeśli wszystkie pracowałyby z uczniami o takich samych cechach biologiczno-społecznych. Można je więc interpretować w kategoriach zróżnicowania w zakresie wkładu szkoły w postępy uczniów niezależnie od ich potencjału, czy inaczej mówiąc w zakresie efektywności nauczania (jest to tzw. model edukacyjnej wartości dodanej). Pokazują one, że nawet pod kontrolą potencjału uczniów, podział na szkoły istotnie wyjaśnia część zróżnicowania wyników. Dodanie do modelu zmiennych kontrolnych zredukowało jednak nie tylko wariancję efektów na poziomie szkół, ale w dużej mierze także wariancję na poziomie uczniów. Oznacza to, że sporą część zróżnicowania indywidualnego osiągnięć szkolnych możemy przypisać cechom biologicznym uczniów i środowisku rodzinnemu, z którego pochodzą. Redukcja wariancji na poziomie uczniów, poza tą oczywistą interpretacją, prowadzi jednak do jeszcze jednej konsekwencji zmniejszenia błędu standardowego oszacowania efektów grupowych. Co to oznacza? Spójrzmy na rysunek 7.2, na którym przedstawiono oszacowania edukacyjnej wartości dodanej dla testu umiejętności czytania wraz z 95% przedziałem ufności. Wyniki te w pewnym uproszczeniu mówią o tym, o ile średnio punktów został przesunięty rozkład wyników indywidualnych z zakresu umiejętności czytania w danej szkole w stosunku do rozkładu przewidywanego na podstawie cech uczniów uwzględnionych w modelu i zależności między tymi zmiennymi a zmienną zależną w populacji. Skala na, której przedstawiono wyniki, jest skalą indywidualnych wyników w teście czytania, o odchyleniu standardowym w populacji równym 15. Średnia w populacji tych efektów jest równa 0. Inaczej mówiąc, wyniki zobrazowane na wykresie pokazują, ile średnio punktów w teście czytania dana szkoła dodała (lub odjęła) uczniom w stosunku do wyników przewidywanych na podstawie ich potencjału. Efekty te zostały oszacowane w sposób analogiczny do omawianego dla modelu pustego z tym zastrzeżeniem, że zostały one policzone na podstawie modelu uwzględniającego zmienne wyjaśniające. 99

100 Źródło: opracowanie własne Rysunek 4.2. Oszacowania edukacyjnej wartości dodanej szkół wraz z przedziałami ufności dla testu umiejętności czytania Jak widzimy, na podstawie porównania wykresów znajdujących się na rysunkach 7.1 i 7.2, spadek wariancji międzyszkolnej uwidacznia się w bardziej płaskiej linii, która rysuje się nam z kropek oznaczających średnie dla wyznaczonych efektów. Widzimy jednak także, że przedziały ufności są węższe, dzięki czemu nadal ok. 10% szkół ma wyznaczoną w ten sposób edukacyjną wartość dodaną istotnie różną od przeciętnej, a także dla trochę ponad 10% szkół możemy powiedzieć, że istotnie różnią się one efektywnością nauczania. I nadal różnica pomiędzy najlepszą i najsłabszą szkołą jest niemała, bo w granicach jednego odchylenia standardowego. Dla testu matematycznego jest podobna, a dla testu świadomości językowej troszkę mniejsza, bo wynosi ok. dwóch trzecich odchylenia standardowego. Powyższe analizy pokazują, że zróżnicowanie międzyszkolne wyników nauczania w zakresie umiejętności czytania, wiadomości językowej i umiejętności matematycznych po pierwszy etapie kształcenia jest względnie nieduże. Jest ono jeszcze mniejsze, jeśli policzymy je kontrolując cechy uczniów i rodzin, z których pochodzą. Oznacza to, że w pewnym stopniu zróżnicowanie międzyszkolne wyników na poziomie nauczania zintegrowanego jest rezultatem zróżnicowania międzyszkolnego potencjału uczniów na wejściu. Jednak nawet po wytrąceniu tego zróżnicowania, szkoły różnią się w pewnym stopniu efektywnością nauczania, co prowadzi do dość sporych różnic, jeśli porównamy szkoły o skrajnych wynikach. Można więc powiedzieć, że patrząc całościowo na poziom zróżnicowania międzyszkolnego na tym etapie kształcenia mamy w miarę jednorodny system nauczania, co jednak nie oznacza, że nie odnajdujemy w nim szkół różniących się wynikami Zróżnicowanie międzyszkolne po pierwszym etapie kształcenia na tle drugiego i trzeciego etapu edukacji Właściwe zinterpretowanie faktu, że zróżnicowanie międzyszkolne wyników nauczania po I etapie edukacyjnym jest na poziomie 7-9%, wymaga ukazania tego zjawiska w szerszym kontekście. Jedną z ważnych perspektyw jest dynamiczne ujęcie problemu. O dynamice procesu możemy myśleć na dwa sposoby: możemy śledzić proces w kolejnych latach na tym samym etapie edukacji, a także możemy analizować zróżnicowanie międzyszkolne dla tej samej kohorty uczniów na kolejnych etapach kształcenia. Pierwsze ujęcie pozwala nam zbadać zmiany zachodzące w systemie edukacji, monitorować zaobserwowane procesy i na podstawie tych danych ocenić skutki podejmowanych działań na poziomie globalnym czy lokalnym. Dobrym przykładem takich badań, które przyczyniły się do odkrycia niezwykle znaczącego dla polityki oświatowej procesu, jest analiza trendów w zakresie różnicowania 100

101 się gimnazjów w kolejnych latach przeprowadzona na podstawie danych z systemu egzaminów zewnętrznych (Dolata, 2009; Dolata i in., 2012). Drugie ujęcie pozwala w sposób bardziej całościowy scharakteryzować system oświaty pod kątem jego jednorodności. Dzięki temu możemy porównać poziom zróżnicowania międzyszkolnego na kolejnych etapach kształcenia i przekonać się, czy założenie o jednolitości systemu edukacji na poziomie szkół podstawowych i gimnazjów znajduje odzwierciedlenie w rzeczywistości, a jeśli nie, to czy obserwujemy w tym zakresie jakieś zmiany i w którym momencie są one najbardziej znaczące. Najważniejsze w kontekście tych analiz jest skupienie się na trzech punktach w czasie: pomiarze osiągnięć po I, II i III etapie edukacyjnym. Okres ten obejmuje obowiązkową naukę szkolną w szkołach z założenia jednolitych, do których uczniowie powinni być przyjmowani bez selekcji na wejściu. W celu znalezienia odpowiedzi na postawione wyżej pytania najlepiej byłoby wykorzystać dane podłużne obejmujące wspomniany okres (wykluczylibyśmy wtedy możliwość popełnienia błędów w oszacowaniach związanych z porównywaniem różnych kohort uczniów, które mogłyby mieć trochę inne cechy). Dodatkowo posiadanie informacji charakteryzujących uczniów i ich rodziny, pozwoliłoby na pogłębienie analiz przez kontrolowanie zmiennych mogących mieć wpływ na wielkość zróżnicowania. Nie dysponujemy w Polsce jeszcze takimi danymi. Uczniowie uczestniczący w badaniu SUEK dopiero w 2017 roku planowo zakończą III etap edukacji (naukę w gimnazjum). Nie oznacza to jednak, że do tego czasu pozostaje tylko siedzieć i czekać. Dysponujemy miarą osiągnięć szkolnych po II i III etapie nauczania są to wyniki egzaminów zewnętrznych (sprawdzianu i egzaminu gimnazjalnego). Nie mogąc przeprowadzić analiz na tej samej kohorcie uczniów, zdecydowaliśmy się natomiast wybrać kohortę najbliższą tej, do której będziemy przyrównywać wyniki z badania SUEK, czyli uczniów, którzy przystępowali do egzaminu gimnazjalnego w 2012 roku, a do sprawdzianu w szóstej klasie szkoły podstawowej trzy lata wcześniej czyli w 2009 roku Dane i metoda analizy W analizach, oprócz danych z badania SUEK, wykorzystano dane ogólnokrajowe ze sprawdzianu w szóstej klasie szkoły podstawowej z 2009 roku oraz z egzaminu gimnazjalnego z 2012 roku. Wyniki egzaminacyjne znormalizowano metodą ekwicentylową, a następnie z analiz wykluczono dane pochodzące ze szkół, w których na poziomie ostatniej klasy uczyło się mniej niż 11 uczniów. Z danych dotyczących egzaminu gimnazjalnego wykluczono także szkoły dla dorosłych, szkoły specjalne oraz przyszpitalne. Kryterium tego nie można było wykorzystać dla danych ze sprawdzianu ze względu na brak odpowiednich zmiennych w tych bazach. Jednak wspomniane szkoły są przede wszystkim małymi szkołami, dlatego zastosowanie kryterium wielkości pozwoliło wykluczyć z analiz zdecydowaną ich większość. Wykluczenia te są podyktowane potrzebą ograniczenia definicji interesującej nas w analizach populacji do tej przyjętej w badaniu SUEK (szczegóły są opisane w rozdziale 1), w celu zapewnienia porównywalności wyników. W kontekście porównywalności wyników należy zwrócić jeszcze uwagę na trzy problemy. Pierwszy wynika z faktu, że dane podsumowujące I etap nauczania są próbką danych z populacji, a sposób doboru próby zakładał przebadanie maksymalnie dwóch klas w każdej szkole. Oznacza to, że w 72 na 172 szkoły próba założona nie objęła wszystkich uczniów w szkole. Dane egzaminacyjne, poza tym, że obejmują całą populację szkół, zapewniają informację o wszystkich uczniach uczących się w danej szkole. Dane te różnią się więc przede wszystkim zrównoważeniem ze względu na liczebność uczniów w ramach szkół. Może to prowadzić do pewnych różnic w zakresie dekompozycji wariancji, jednak wydaje się, że stosowane w niniejszych analizach metody (dwupoziomowe modele puste z losową stałą) dają najlepsze oszacowania w takich sytuacjach. 101

102 Drugi problem dotyczy kwestii związanych z realizacją próby. Jak omówiono w rozdziale poświęconym realizacji badania, część szkół z próby głównej, które zostały wykluczone z badania, zostało zastąpionych szkołami z próby zapasowej. Mimo iż analiza reprezentatywności próby pokazała, że rozkład indywidualnych wyników osiągnięć szkolnych uczniów dla próby zrealizowanej jest zbliżony do rozkładu tych wyników w populacji, to nie wyklucza to pewnych odchyleń od reprezentatywności próby ze względu na zróżnicowanie międzyszkolne. Zagadnienie to wymaga dodatkowych analiz. Trzeci problem związany jest z właściwościami psychometrycznymi testów. Oszacowania wariancji zależą bowiem od rzetelności pomiaru. Niestety wykorzystane w analizach testy nie mają identycznej rzetelności. Porównanie rzetelności testów z badania SUEK z rzetelnością egzaminów zewnętrznych nie jest jednak bezproblemowe. Testy te zostały bowiem opracowane według różnych technologii. Dla testów z badania SUEK obliczenie dobrze znanego z klasycznej teorii testów współczynnika rzetelności (alfy Cronbacha) jest zasadniczo niemożliwe (patrz rozdział 2). Bez zastosowania analogicznej do przyjętej w badaniu SUEK metody skalowania wyników egzaminacyjnych, nie możemy natomiast wyznaczyć dla egzaminów zewnętrznych porównywalnych współczynników rzetelności, do tych obliczonych dla testów z badania SUEK. Ponadto należy zdawać sobie sprawę z tego, że przyjęcie różnych metod wyznaczania wyników uczniów, może także prowadzić do trochę odmiennych oszacowań wariancji. Znaczenie ma chociażby uwzględnienie niepewności pomiaru przez posługiwanie się wartościami PV (patrz rozdział 2) 30. Pamiętanie o tym podczas interpretacji wyników jest ważne o tyle, że pokazuje, że nie możemy bezwzględnie porównywać oszacowanych wartości. Należy mieć na uwadze to, że są one pewnym przybliżeniem rzeczywistości, choć pozwalają naszkicować w sposób nadal wartościowy pewien obraz zjawiska. Dla każdego testu osiągnięć dekompozycję wariancji wykonano licząc dwupoziomowe modele puste z losową stałą. Analizy wykonano metodą full maximum likelihood za pomocą oprogramowania HLM6.06. W analizach danych z badania SUEK wykorzystano warunkowe wagi próbkowania (patrz rozdział 1). Wskaźnik zróżnicowania międzyszkolnego uzyskano dzieląc wariancję efektów losowych na poziomie szkół przez wariancję całkowitą, a wynik wyrażono w procentach Zróżnicowanie międzyszkolne na kolejnych etapach edukacji W tabeli 7.3 przestawiono wyniki analiz dla pomiarów podsumowujących kolejne etapy kształcenia. Dane te pokazują wyraźną tendencję wzrostową w zakresie poziomu zróżnicowania międzyszkolnego dla kolejnych etapów edukacji. Po I etapie kształcenia zróżnicowanie międzyszkolne kształtuje się na poziomie ok. 7-8%. Na zakończenie szkoły podstawowej wynosi ok. 11%, a po zakończeniu III etapu kształcenia podział na szkoły wyjaśnia ok % zróżnicowania wyników. Pokazuje to, że system edukacji na poziomie szkoły podstawowej jest w miarę jednolity w porównaniu do III etapu nauczania. Wyniki uczniów szkół podstawowych w mniejszym stopniu niż w przypadku nauczania w gimnazjach są uwarunkowane tym, w jakiej szkole podejmują oni naukę. 30 Wydaje się także, że uwzględnienie w wyznaczaniu wartości PV złożonego schematu doboru próby biorącego pod uwagę to, że uczniowie są zagnieżdżeni w klasach i szkołach, może mieć pewne znaczenie dla oszacowania wariancji międzygrupowej i na poziomie indywidualnym (może w pewnym stopniu wpłynąć na wzrost wariancji międzygrupowej i spadek wariancji na poziomie indywidualnym). Obecnie jednak, według naszej wiedzy, nie istnieje oprogramowanie, które umożliwiłoby uwzględnienie w sposób poprawny schematu doboru próby podczas szacowania wartości PV. Dlatego wartości PV wyznaczone na potrzeby analiz prezentowanych w tym raporcie nie uwzględniają tego pogrupowania. 102

103 Tabela 4.3. Oszacowanie zróżnicowanie międzyszkolnego na kolejnych etapach edukacyjnych Pomiary osiągnięć na kolejnych etapach edukacyjnych Wskaźnik zróżnicowania międzyszkolnego Liczba szkół Liczba uczniów test umiejętności czytania 6,74% Badanie SUEK test świadomości językowej 8,89% test umiejętności matematycznych 7,82% Sprawdzian w VI klasie szkoły podstawowej 10,93% język polski 18,13% Egzamin gimnazjalny historia i wiedza o społeczeństwie 16,20% matematyka 16,45% przedmioty przyrodnicze 14,41% Źródło: opracowanie własne Przyglądając się wzrostowej tendencji dla kolejnych etapów nauczania, warto zwrócić uwagę na to, że różnica punktów procentowych w zakresie wskaźnika zróżnicowania międzyszkolnego jest między I i II etapem kształcenia jest nieduża. Większa jest natomiast między końcem szkoły podstawowej a gimnazjum, co daje podstawy do przypuszczeń, że nie mamy do czynienia z prostoliniowym wzrostem, który sugerowałby tylko zwiększanie się z wiekiem uczniów znaczenia szkoły dla wyników nauczania. Dysproporcja ta ma szansę być jeszcze większa, gdy kohorta uczniów, dla których dysponujemy pomiarem po I etapie nauczania przystąpi do sprawdzianu i egzaminu gimnazjalnego. A to za sprawą faktu, że dla wyników sprawdzianu nie obserwuje się znaczącego trendu w zakresie interesującego nas zjawiska w kolejnych latach, co pozwala prognozować, że poziom zróżnicowania międzyszkolnego na tym etapie edukacji utrzyma się na podobnym poziomie (Dolata, 2011). W przypadku gimnazjów notuje się natomiast systematyczny wzrost zróżnicowania międzyszkolnego (w szczególności w dużych miastach). Nie bezzasadne jest więc przypuszczenie, że dla kohorty reprezentowanej w badaniu SUEK zróżnicowanie gimnazjów ze względu na wyniki będzie jeszcze wyższe. O czym to może świadczyć? Za wzrost zróżnicowania międzyszkolnego między końcem szkoły podstawowej a gimnazjum odpowiadają zatem jakieś dodatkowe czynniki niezwiązane z naturalną tendencją zwiększania się znaczenia szkoły dla osiągnięć uczniów. Mogłoby to oznaczać, że gimnazja bardziej niż szkoły podstawowe różnią się efektywnością nauczania, lub że istnieją ukryte mechanizmy selekcji i autoselekcji na progu gimnazjum, które przyczyniają się do wzrostu zróżnicowania szkół ze względu na potencjał uczniów na wejściu. Zróżnicowanie na wejściu natomiast w oczywisty sposób prowadzi do zróżnicowania na wyjściu. Nie wykluczając istnienia pierwszego mechanizmu, drugi wydaje się niezwykle prawdopodobny. Tym bardziej, że badania pokazują (Dolata, 2009), że nie można wyjaśnić zjawiska rosnącego różnicowania się gimnazjów ze względu na wyniki egzaminacyjne segregacją przestrzenną, czy rozwojem sektora szkół niepublicznych. Procesy selekcji i autoselekcji na progu szkoły mogą zachodzić tam, gdzie istnieje różnorodność szkół racjonalnie oddalonych od miejsca zamieszkania ucznia czyli przede wszystkim w dużych i średniej wielkości miastach. I właśnie w tych lokalizacjach obserwuje się znacznie większe zróżnicowanie międzyszkolne wyników egzaminacyjnych (Dolata i in., 2012). Weryfikacja hipotez dotyczących pierwszego mechanizmu wymagałaby odpracowania analogicznych dla szkół podstawowych i gimnazjów modeli szacujących efektywność nauczania, czyli kontrolujących potencjał uczniów na wejściu do szkół. Dzięki takim analizom moglibyśmy obliczyć wskaźniki zróżni- 103

104 cowania międzyszkolnego w zakresie efektywności nauczania, w odróżnieniu od zróżnicowania wyników egzaminacyjnych Znaczenie miary zróżnicowania międzyoddziałowego W polskich realiach przez zdecydowaną większość czasu kształcenia uczniów, edukacja realizowana jest w ramach relatywnie stałych co do składu grupach oddziałach klasowych (wyjątkiem od tej reguły często jest nauczanie języków obcych oraz etyki). Dodatkowo, na pierwszym etapie kształcenia (tj. w klasach 1-3 szkoły podstawowej) w jednym oddziale klasowym uczy zazwyczaj tylko jeden nauczyciel. Powoduje to, że na problem zróżnicowania wyników uczniów w kraju warto spojrzeć w bardziej szczegółowy sposób dokonując rozbicia tego zróżnicowania na trzy poziomy: szkół, klas i uczniów. Otrzymana miara zróżnicowania międzyszkolnego posiada podobną interpretację jak przedstawiono to wyżej. Zdaje ona sprawę z tego, na ile szkoły różnią się od siebie średnim wynikiem w teście osiągnięć szkolnych. Pojawia się jednak nowa miara wskaźnik zróżnicowania międzyoddziałowego. Oznacza ona stopień w jakim klasy różnią się od szkolnej średniej. Czysto teoretycznie moglibyśmy wyobrazić sobie system szkolny, w którym między szkołami nie ma żadnych różnic, lub są one niewielkie, za to w samych szkołach mielibyśmy do czynienia z klasami znacząco lepszymi od średniej w populacji uczniów i klasami znacząco gorszymi. Bez miary zróżnicowania międzyoddziałowego moglibyśmy dojść do wniosku, że skoro szkoły nie różnią się co do średnich wyników, to, że system szkolny jest w miarę jednolity. Różnice mogą się jednak kryć do pewnego stopnia właśnie w zróżnicowaniu na poziomie klas, które w ujęciu dwupoziomowym (szkoła-uczniowie) było zawarte w ramach zróżnicowania uczniów. Jeśli chodzi o interpretację zróżnicowania miedzyoddziałowego, to jest ona zbliżona do interpretacji zróżnicowania międzyszkolnego. Podobnie jak w tamtym przypadku, należy pamiętać, że na wielkość obserwowanego zróżnicowania międzyoddziałowego mogą mieć wpływ dwa zjawiska: różny skład klas pod względem uprzednich osiągnięć lub cech indywidualnych, które wpływają na osiągnięcia, oraz zróżnicowana efektywność kształcenia w tych klasach. To ostatnie zjawisko jest o tyle interesujące w kontekście pierwszego etapu kształcenia, że w trakcie tego okresu nauki, zazwyczaj tylko jeden nauczyciel pracuje z uczniami. Oznacza to, że efektywność kształcenia rozumiana jako różnica średniej wyników uczniów tej klasie od średniej dla szkoły, przy kontroli cech indywidualnych uczniów, może być utożsamiona z różnicami w sposobie kształcenia praktykowanym przez tych nauczycieli. Otwiera się tu pole do wymiany doświadczeń i dobrych praktyk miedzy nauczycielami edukacji wczesnoszkolnej, które może się przełożyć na poprawę jakości nauczania na pierwszym etapie kształcenia. Z metodologicznego punktu widzenia warto dodać, że przy zastosowaniu trzypoziomowej analizy wariancji z losowymi efektami, oszacowania średnich dla szkół są bardziej ściągane do średniej populacyjnej, niż przy modelu dwupoziomowym. Dzieje się tak dlatego, że oszacowania średniej na poziomie szkoły są mniej rzetelne w trzypoziomowym modelu, ponieważ model ten uwzględnia fakt, że w ramach szkoły uczniowie są podzieleni na klasy, a w ramach klas mogą być do siebie bardziej podobni, niż miało by to miejsce, gdyby stanowili losową próbkę uczniów w szkole (Raudenbush i Bryk, 2002). Co za tym idzie oszacowanie wariancji międzyszkolnej jest stosunkowo niższe niż dla modelu dwupoziomowego. 104

105 W tabeli 7.4 przedstawiono wyniki analiz trzypoziomowych modeli liniowych. Dla każdego testu policzono dwa modele: model pusty z losową stałą uwzględniający tylko pogrupowanie uczniów w szkołach i klasach oraz model kontrolny, będący modelem z losową stałą i efektami stałymi z poziomu uczniów dla zmiennych kontrolujących cechy biologiczne ucznia i cechy rodziny pochodzenia. Modele kontrolne wytrącają zatem efekt wpływu na zróżnicowanie wyników cech ucznia, które można interpretować w kategoriach potencjału, z którym uczeń przychodzi do szkoły. Kontrolują zatem to, że szkoły mogą różnić się między sobą tym, z jakimi uczniami pracują. Modele te, oraz wszystkie uwzględnione w nich zmienne, zostały szczegółowo opisane w rozdziale 3, dlatego nie będą tu ponownie omawiane. W tabeli 7.4 zaprezentowano tę część wyników, która z punktu widzenia omawianego tu problemu jest znacząca, czyli oszacowania efektów losowych na każdym z analizowanych poziomów oraz wskaźniki zróżnicowania na poziomie szkół i klas. Wskaźniki te obliczono w sposób analogiczny do wcześniej omawianego wariancję efektów na danym poziomie (szkół lub klas) podzielono przez wariancję całkowitą, a wynik wyrażono w procentach. Tabela 4.4. Zróżnicowanie międzyszkolne i międzyoddziałowe osiągnięć szkolnych po pierwszym etapie kształcenia na podstawie wyników badania SUEK. Oszacowania dla modelu pustego i modelu kontrolnego Test umiejętności czytania Test świadomości językowej Test umiejętności matematycznych Model: pusty kontrolny pusty kontrolny pusty kontrolny Wariancja efektów szkół 9,08 6,50 13,84 6,04 9,06 6,58 Wariancja efektów oddziałów klasowych 8,97 1,96 8,86 1,93 12,7 4,38 Wariancja na poziomie ucznia 205,48 141,71 202,64 121,73 203,74 114,52 Wskaźnik zróżnicowania międzyszkolnego 4,06% 4,33% 6,14% 4,66% 4,02% 5,24% Wskaźnik zróżnicowania na poziomie klas 4,01% 1,31% 3,93% 1,49% 5,63% 3,49% Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05 Źródło: opracowanie własne Wyniki te pokazują, że jeśli interesuje nas zróżnicowanie wyników nauczania bez kontroli innych zmiennych, to zarówno podział na szkoły, jak i podział na klasy wewnątrz szkół istotnie wyjaśnia część wariancji wyników. Inaczej mówiąc, analiza ta pokazuje nam, że nie tylko zróżnicowanie szkół ze względu na wyniki jest znaczące (co mogliśmy zaobserwować wcześniej), ale także zróżnicowanie klas wewnątrz szkół ma znaczenie. Udział wariancji na poziomie szkół i klas jest w miarę równomierny, z pewną przewagą zróżnicowania międzyszkolnego dla umiejętności czytania. Największe natomiast zróżnicowanie obserwuje się oczywiście na poziomie uczniów, czyli wewnątrz klas. Niezwykle interesujące jest jednak porównanie wyników tych analiz z oszacowaniami z modeli kontrolnych, w których wytrącamy wpływ na osiągnięcia szkolne tych cech, które od szkół nie zależą. Okazuje się, że jeśli kontrolujemy w modelu cechy biologiczno-społeczne uczniów, to wariancja wyników na poziomie klas znacząco się redukuje. Dla testu umiejętności czytania i świadomości językowej staje się nieistotnie statystycznie różna od zera. Dla testu umiejętności matematycznych jest istotnie różna od zera, jednak większe znaczenie dla wyjaśniania zmienności wyników ma podział uczniów na szko- 105

106 ły. Wyniki te pokazują, że za zróżnicowanie osiągnięć szkolnych na poziomie klas trzecich odpowiada w dużej mierze nielosowy przydział uczniów do oddziałów. Gdyby bowiem podział uczniów na oddziały nie dokonywał się na podstawie cech uczniów związanych z ich poziomem ogólnych zdolności poznawczych, wiekiem i statusem rodziny pochodzenia, to cechy te rozłożyłyby się losowo między oddziały i dodanie do modelu zmiennych je kontrolujących nie wpłynęłoby w tak dużym stopniu na zmiany w zakresie oszacowania wariancji efektów na poziomie klas. Wyliczone dla modeli kontrolnych wskaźniki zróżnicowania międzyszkolnego i międzyoddziałowego informują o tym, na ile szkoły i oddziały wewnątrz szkół różniłyby się między sobą ze względu na wyniki nauczania, jeśli wszystkie pracowałyby z uczniami o takich samych cechach biologicznospołecznych. Okazuje się, że różnice między poszczególnymi oddziałami w ramach tych samych szkół byłyby bardzo niewielkie. Oznacza to, że w ramach tych samych szkół uczniowie z różnych oddziałów są nauczani z podobną efektywnością, w szczególności w zakresie języka polskiego. Pewne różnice międzyoddziałowe dostrzega się dla nauczania matematyki. Jest to ciekawe w szczególności z tego powodu, że na tym etapie kształcenia ci sami nauczyciele kształcą w zakresie edukacji polonistycznej i matematycznej. Ponieważ różnice w efektywności nauczania w różnych klasach w tych samych szkołach w dużej mierze można przypisać wysiłkom nauczycieli, wyniki te pokazują, że ci sami nauczyciele z porównywalną efektywnością nauczają języka polskiego, natomiast potrafią się różnić w zakresie efektywności nauczania matematyki Podsumowanie Miara zróżnicowania międzyszkolnego na danym etapie kształcenia jest przydatnym wskaźnikiem charakteryzującym system szkolny. Pozwala na określenie, na ile zróżnicowanie wyników nauczania uczniów może zostać wyjaśnione podziałem uczniów na szkoły. Miara ta może służyć również za wskaźnik jednolitości systemu kształcenia. Umożliwia także interesujące porównania międzynarodowe, w których można odnieść stopień zróżnicowania systemu szkolnego do osiąganych wyników. Na poziomie trzeciej klasy szkoły podstawowej obserwujemy relatywnie niewielkie zróżnicowanie międzyszkolne wyników. Po uwzględnieniu zmiennych odpowiadających za indywidualne cechy uczniów i ich rodzin, czyli kontrolując różnice w składach szkół, oszacowanie odsetka zróżnicowania wyników, który można przypisać szkołom jest jeszcze mniejsze. Można więc powiedzieć, że za część zróżnicowania średnich wyników szkół odpowiada nielosowy podział uczniów na szkoły. Stały monitoring zróżnicowania międzyszkolnego na poziomie jednolitego kształcenia umożliwia krajowy system egzaminacyjny, który dysponuje populacyjnymi danymi odnośnie wyników uczniów na sprawdzianie w klasie szóstej oraz egzaminie gimnazjalnym, czyli po drugim i trzecim etapie kształcenia. Wiadomo, że zróżnicowanie międzyszkolne gimnazjów w dużych miastach wykazuje trend wzrostowy, natomiast zróżnicowanie średnich wyników szkół podstawowych ze sprawdzianu utrzymuje się na w miarę stałym poziomie. Oznacza to, że na progu gimnazjum mamy do czynienia z silnym procesem selekcji do szkół. Dla pełniejszego obrazu procesów zachodzących w systemie oświaty, przydałby się dobry pomiar diagnostyczny także po etapie edukacji wczesnoszkolnej. Pozwoliłoby to zbadać hipotezę o rosnącym zróżnicowaniu międzyszkolnym wyników pomiędzy pierwszym a drugim etapem kształcenia, a także dałoby narzędzia do ewaluacji jakości kształcenia szkół podstawowych, co pozwoliłoby na skuteczniejszą politykę edukacyjną oraz na upowszechnienie dobrych praktyk zidentyfikowanych w szkołach o wyższej niż średnia jakości kształcenia. Pełniejszy obraz działania procesów, które wpływają na zróżnicowanie wyników uczniów, możemy uzyskać, uwzględniając dodatkowo podział uczniów na klasy. Otrzymujemy wtedy informacje o tym, 106

107 na ile podział uczniów na klasy w obrębie szkoły, wyjaśnia całkowite zróżnicowanie wyników lub, mówiąc inaczej, na ile klasy w danej szkole różnią się miedzy sobą średnimi wynikami. Kontrolując przy tym wpływ cech indywidualnych ucznia oraz jego rodziny, na które szkoła nie ma wpływu, otrzymujemy miarę zróżnicowania wyników uczniów, którą możemy przypisać różnej jakości pracy szkół i klas. Na poziomie pierwszego etapu kształcenia, uczniowie zazwyczaj kształceni są przez jednego nauczyciela, co pozwala na większe powiązania zróżnicowania efektów kształcenia na poziomie klas z pracą nauczyciela. Po uwzględnieniu wpływu czynników indywidualnych i społecznych, klasy nie różnią się między sobą jakością kształcenia w dziedzinie nauki czytania i świadomości językowej. Jeśli zaś chodzi o nauczanie matematyki, to obserwujemy niewielkie zróżnicowanie efektów kształcenia dla klas. Oznacza to, że być może istnieją różne praktyki związane z nauczaniem tego przedmiotu na etapie edukacji wczesnoszkolnej. Z pewnością warto przyjrzeć się bliżej tym najlepszym, aby móc je upowszechnić w systemie. Z badań Szkolnych uwarunkowań efektywności kształcenia wyłania się obraz w dużym stopniu jednolitego systemu szkolnego na pierwszym etapie kształcenia. Istnieją szkoły, które osiągają średnio wyniki lepsze niż szkoły słabsze. Różnice nie są jednak bardzo duże. Choć system może wydawać się jednolity, należy sobie zadać pytanie, czy jego efektywność jest zadowalająca. Odpowiedzi na to pytanie mogą udzielić tylko badania międzynarodowe, w których wyniki są porównywalne między krajami i kolejnymi edycjami oraz wielokohortowe badania krajowe, w których te same bądź podobne narzędzia są wykorzystywane do pomiaru osiągnięć na kolejnych pokoleniach uczniów. Literatura cytowana Dolata, R. (2009). Cicha rewolucja w polskiej oświacie - proces różnicowania się gimnazjów w dużych miastach. W: B. Niemierko, M. K. Szmigel (red.), Badania międzynarodowe i wzory zagraniczne w diagnostyce edukacyjnej (s ). Kielce: Polskie Towarzystwo Diagnostyki Edukacyjnej. Dolata, R., Jasińska, A., Modzelewski, M. (2012). Wykorzystanie krajowych egzaminów jako instrumentu polityki oświatowej na przykładzie procesu różnicowania się gimnazjów w dużych miastach. Polityka społeczna, 1, Dolata R. (2011). Analiza różnicowania się systemu oświaty w Polsce na poziomie szkół podstawowych i gimnazjów, edycja Centralna Komisja Egzaminacyjna, data dostępu: OECD (2010). PISA 2009 Results: Overcoming Social Background Equity in Learning Opportunities and Outcomes (Volume II). Data dostępu: Raudenbush, S. W., Bryk, A. S. (2002). Hierarchical Linear Models. Applications and data analysis methods. Thousand Oaks, London, New Delhi: Sage Publications. Snijders, T. A. B., Bosker, R. J. (2012). Multilevel Analysis. An Introduction to Basic and Advanced Multilevel Modeling. Los Angeles, London, New Delhi, Singapore, Washington DC: Sage Publications 107

108 5. Język angielski czynniki wpływające na poziom umiejętności uczniów (Magdalena Szpotowicz, Dorota Campfield, Ludmiła Rycielska) 5.1. Wprowadzenie Nauczanie języka obcego jako obowiązkowego przedmiotu szkolnego w młodszych klasach szkoły podstawowej jest zjawiskiem nowym zarówno w Polsce jak i w Europie. W ciągu ostatnich kilkunastu lat większość krajów europejskich obniżyła wiek rozpoczynania nauki języka obcego do pierwszej klasy szkoły podstawowej (Eurydice, 2008; 2012). Istotnym bodźcem do zmian w polityce językowej było zalecenie sformułowane na posiedzeniu Rady Europejskiej w Barcelonie w marcu 2002 aby podnieść poziom podstawowych umiejętności, zwłaszcza przez nauczanie przynajmniej dwóch języków obcych od najmłodszych lat (Rada Europejska, 2002). Pomimo powszechnego przekonania o słuszności wczesnego startu w nauce języka obcego, niewiele przeprowadzono dotąd w Europie badań empirycznych dotyczących przyswajania języka obcego w warunkach klasy szkolnej. Na uwagę zasługują jednak dwa duże projekty badawcze: projekt krajowy BAF prowadzony w szkołach w Katalonii (Muñoz, 2006) oraz projekt międzynarodowy realizowany w siedmiu krajach europejskich - ELLiE (Early Language Learning in Europe) (Enever, 2011). Z obu projektów wynika, że wczesny wiek rozpoczynania nauki języka obcego nie jest wystarczającym czynnikiem warunkującym sukces w tym obszarze. Niezbędne są w tym celu określone warunki, które sprzyjają nauce języka obcego przez dzieci uczące się w szkole. Według autorów raportu The main pedagogical principles underlying the teaching of languages to very young learners opracowanego na zlecenia Komisji Europejskiej, wczesny start w nauce języka obcego nie gwarantuje niczego ( ), nauka musi się odbywać przynajmniej w asyście dobrego nauczania, sprzyjających warunków otoczenia oraz zapewnionej kontynuacji z roku na rok (Edelenbos, Johnstone and Kubanek, 2006, s. 147) (tłum. własne). Od września 2008 roku wszyscy polscy uczniowie rozpoczynają obowiązkową naukę języka obcego w pierwszej klasie szkoły podstawowej. Badanie efektywności nauczania języka obcego w pierwszych dwóch etapach edukacji zostało podjęte w Instytucie Badań Edukacyjnych przez Pracownię Języków Obcych, która realizuje komponent dotyczący nauki języka angielskiego w badaniu podłużnym I kohorty badania Szkolnych Uwarunkowań Efektywności Kształcenia (SUEK). Jest to pierwsza próba pomiaru umiejętności w języku obcym w reprezentatywnej grupie polskich uczniów szkoły podstawowej. Pomiarowi towarzyszyło zebranie danych kontekstowych poprzez kwestionariusze dla rodziców, nauczycieli i dyrektorów szkół. Daje to możliwość zbadania czynników, które mogą mieć istotny wpływ na efektywność przyswajania języka obcego Pomiar umiejętności językowych dzieci Opracowanie zadań sprawdzających umiejętności językowe uczniów, którzy uczą się języka obcego od niedawna i są w wieku wczesnoszkolnym stawia przed autorami pomiaru wiele wyzwań niespotykanych w przypadku uczniów starszych. Nikolov i Mihaljević Djigunović (2011) wymieniają kilka istotnych ograniczeń wynikających ze specyfiki rozwoju języka obcego u dzieci. Przede wszystkim umiejętności językowe nie rozwijają się w sposób harmonijny i nie sposób sprawdzać u dzieci wszystkich czterech z nich (słuchania, czytania, pisania i mówienia), co ma miejsce w przypadku nastolatków i osób dorosłych, u których te umiejętności rozwijają się w sposób niemal równoległy (ESLC, 2012). W 108

109 przypadku dzieci pierwszą umiejętnością językową, którą stosunkowo łatwo sprawdzić, bo rozwija się najpierw, jest rozumienie ze słuchu. W następnej kolejności, gdy uczniowie osiągną podstawowy poziom umiejętności czytania w języku ojczystym, sprawdzeniu można poddać rozumienie prostych przekazów pisemnych. Warto zauważyć, że rozwój umiejętności receptywnych (słuchania i czytania), znacznie wyprzedza rozwój umiejętności produktywnych (mówienia i pisania). Różnicę tę dobrze ilustruje przesunięcie w czasie rozwoju umiejętności pisania, która w pierwszym etapie edukacyjnym występuje jedynie jako forma pomocnicza w nauce słownictwa a nauka wypowiedzi pisemnej ma miejsce dopiero w drugim etapie edukacyjnym, w klasach IV-VI. McKay (2006) zwraca uwagę, że ze względu na trwający u dzieci proces rozwoju percepcji, nadal nakierowanej na szczegół, w klasach wczesnoszkolnych lepiej sprawdzają się zadania wymagające skupienia na detalach niż ogarnięcia złożonych obrazów. Do tego dodać trzeba nadal krótki okres koncentracji na zadaniu i niską motywację do wykonywania zadań w formie pisemnej na teście przygotowanym i prowadzonym przez osoby z zewnątrz. Dzieci zwykle bardziej motywuje do starań ich nauczyciel, który ocenia je na bieżąco, sprawdzając użycie języka w sytuacjach komunikacji w klasie. W celach badawczych konieczne jest jednak prowadzenie pomiaru w sposób spełniający jednolite procedury. Istotne jest przy tym, aby dzieci wykonywały zadania w przyjaznej atmosferze, a procedura oraz same narzędzia pomiarowe były zaprezentowane tak, by dzieci zainteresować i zachęcić do wysiłku intelektualnego. Oznacza to, że zadania zostały przygotowane na odpowiednim dla dzieci poziomie poznawczym i stanowią dla nich pewne wyzwanie. Dla uczniów do 11 roku życia zadania powinny wymagać jedynie takich procesów myślowych, które za Piagetem nazywamy operacjami konkretnymi (Schaffer, 2006, s. 177). Wskazane jest, aby forma i treść zadań zachęcały dzieci do działania poprzez wywołanie ciekawości już gdy do niego przystępują, oraz dawać poczucie sukcesu gdy je kończą. Z tego też powodu niezwykle ważne jest zamieszczenie w teście zadań o różnym stopniu trudności. Zapewni on poczucie wykonania zadania dzieciom o różnym poziomie umiejętności językowych. Według Hasselgreen zadania powinny być konstruowane tak, aby dawały powód do ich wykonania (ang. internal purpose) i były związane z tematami omawianymi na lekcjach (2004, s. 47). Podstawową kwestią oprócz doboru tematyki bliskiej dziecku, jest konstrukcja zadań. Zadania, które uwzględniają potrzeby i możliwości rozwojowe dzieci wymagają krótkiego, punktowego skupienia uwagi i analizy szczegółów. Zadania, które jednocześnie dobrze spełniają wymagania pomiarowe to zadanie wielokrotnego wyboru (wielowybór) w postaci zadań składających się z krótkich, jednozdaniowych lub kilkuzdaniowych wypowiedzi: odtworzonych z płyty lub przedstawionych w tekście i ilustrowanych obrazkami. Na przykład: - zaznacz rysunek, który przedstawia to, co usłyszysz w nagraniu, np.: 109

110 - z podanych trzech zdań wybierz jedno, które opisuje obrazek, np.: Przedmiot pomiaru kompetencje językowe uczniów Poddając testowi umiejętności językowe uczniów, nawet tych dopiero rozpoczynających naukę, należy skierować się ku jednemu z modeli teoretycznych definiujących te umiejętności. Według Fulcher i Davidsona (2007, s.36) w sprawdzaniu i ocenianiu języka opieramy się zwykle na modelach biegłości, kompetencji komunikacyjnej lub komunikacyjnej umiejętności językowej (CLA). Jeżeli chodzi o model teoretyczny kompetencji językowej to w podstawie programowej (MEN, 2008), obejmującej wszystkie etapy nauki języka obcego nowożytnego, za główny cel edukacji językowej obrano rozwijanie umiejętności komunikacyjnych. Nawet dla pierwszego etapu edukacyjnego, czyli klas I-III zapisano, że celem ogólnym jest wspomaganie dzieci w porozumiewaniu się z osobami, które mówią innym językiem (2008, s. 211). Ze względu na wczesne stadium rozwoju językowego dzieci oraz praktyczne możliwości przeprowadzenia testu w kilkutysięcznej grupie uczniów, przyjęto, że narzędzie pomiarowe będzie zawierać zadania sprawdzające stopień opanowania dwóch umiejętności: rozumienia ze słuchu oraz rozumienia tekstu pisanego. Są to dwie najlepiej rozwinięte z czterech umiejętności językowych w tej grupie wiekowej. Formułując konstrukty dla rozumienia ze słuchu oraz rozumienia tekstu czytanego wykorzystano cele kształcenia z nowej podstawy programowej oraz Europejskiego Portfolio Językowego dla dzieci 6-10 lat (Pamuła i inni, 2006). Określenie wymagań wynikających ze starej podstawy programowej obowiązującej dla uczniów poddanych badaniu nie było możliwe ze względu na charakter zapisu, który nie określał konkretnych umiejętności, a jedynie ogólne wytyczne metodyczne dotyczące sposobu i kolejności rozwijania umiejętności językowych u dzieci (MEN, 2007: zal.2, str. 6). Konstrukty w badaniu zdefiniowano w następujący sposób. Umiejętność rozumienia ze słuchu badana u uczniów kończących klasę III to: - rozumienie pojedynczych wyrazów (np. nazw potraw, zwierząt, pomieszczeń w domu i umeblowania, części ciała, sportów, form spędzania wolnego czasu), oraz zwrotów używanych na co dzień (np. w klasie); - rozumienie sensu prostych dialogów wspartych obrazkami. Umiejętność rozumienia tekstu czytanego u uczniów kończących klasę III to: 110

111 - rozumienie pojedynczych wyrazów (np. nazwy potraw, zwierząt, przyborów szkolnych) oraz prostych zdań. Na postawie powyższych konstruktów stworzono specyfikacje testu, według którego autorzy opracowali zadania, w których uczniowie mieli wykazać się umiejętnością rozpoznawania pojedynczych wyrazów (znajomość leksyki) lub ogólnego przekazu, zbudowanego na podstawie rozpoznawania zwrotów dnia codziennego Czynniki wpływające na umiejętności językowe uczniów Na proces przyswajania języka obcego wpływa wiele czynników zewnętrznych, takich jak organizacja nauki w szkole, liczba godzin nauki w tygodniu, jej regularność, intensywność, kontakt z językiem oraz wsparcie emocjonalne i zaangażowanie rodziców w proces uczenia się. Proces ten jest też uwarunkowany licznymi czynnikami wewnętrznymi związanymi z cechami indywidualnymi ucznia, takimi jak motywacja do nauki, umiejętność skupienia na zadaniu czy inteligencja (Mihaljević Djigunović i Lopriore, 2011; Szpotowicz, 2008; Campfield, 2010) (rys. 5.1). Poniżej omówione zostaną czynniki zewnętrzne, związane ze środowiskiem szkolnym i pozaszkolnym ucznia. Rysunek 5.1: Czynniki wpływające na przyswajanie języka obcego przez uczniów Zmienne socjodemograficzne, o których mowa w rozdziale 3 mają też wpływ na przyswajanie języka obcego. Wyniki badania ELLiE (Lindgren and Muñoz, 2012) wykazały, że istotnymi czynnikami są zarówno ilość ekspozycji na język poza szkołą, jak i wspierające środowisko domowe, w którym rodzice znają język obcy, którego dzieci uczą się w szkole. Przykładów wpływu kontaktu z nauczanym językiem oraz obecność tego języka w otoczeniu dziecka, np. w mediach, kontaktach rodzinnych, zawodowych rodziców dostarcza wiele prowadzonych w ostatnich latach badań. Przykładowo, pozytywny wpływ oglądania filmów i programów telewizyjnych z napisami i w oryginalnej wersji językowej na przyswajanie języka u dzieci zaobserwowano w Islandii (Lefever, 2010). Badaniu poddano dzieci, które rozpoczynały dopiero naukę w szkole podstawowej. Dzięki oglądaniu telewizji posiadały już pe- 111

112 wien zasób słownictwa i zwrotów w języku angielskim przed przystąpieniem do obowiązkowej nauki tego języka w szkole. Również Kuppens (2010) odnotowała wpływ oglądania telewizji z napisami w języku ojczystym na wyniki testów językowych. Około 400 flamandzkich uczniów w wieku 11 lat prowadziło notatki związane z ilością czasu spędzanego na oglądaniu telewizji w języku angielskim. Po przeprowadzeniu testów językowych okazało się, że dzieci, które deklarowały większą ilość czasu spędzonego z anglojęzycznymi mediami uzyskały statystyczne wyższe wyniki. Potwierdzenie a pozytywnego wpływu użycia i ekspozycji na nauczany język poza szkołą poprzez tradycyjne (TV) oraz nowe (Internet) media wykazało też międzynarodowe badanie porównawcze ESLC (2012) przeprowadzone wśród ok nastolatków w Europie, w tym w Polsce. Istotna okazuje się też długość okresu nauki, czyli wczesny start i nieprzerwana, systematyczna nauka języka obcego. Potwierdziły to również wyniki badania ESLC pokazując, że uczniowie, którzy zadeklarowali wcześniejszy moment rozpoczynania nauki języka obcego uzyskali wyższe wyniki w testach kompetencji językowych (Komisja Europejska, 2012, s.92). Ponadto z danych kwestionariuszowych zebranych wśród polskich uczniów w tym badaniu wynika, że niemal 1/3 piętnastolatków uczestniczy w dodatkowych kursach i korepetycjach z języka angielskiego, przy czym ok. 20% z nich deklaruje, że brała udział w takich formach nauki już w klasach I-III szkoły podstawowej (IBE, w druku). Dodatkowe analizy wykazały statystycznie istotny związek pomiędzy odpowiedzią na pytanie o udział w dodatkowych zajęciach z języka angielskiego a wynikami testów z tego języka. Wyniki dużych badań międzynarodowych takich jak PISA (OECD 2009), TIMMS i PIRLS (2011), pokazują, że szkolne osiągnięcia uczniów mają związek ze statusem społeczno-ekonomicznym ich rodzin. W badaniu ESLC (w druku, str. 53), podobnie jak w opisywanym w tej publikacji badaniu SUEK, do określenia wysokości tego statusu posłużono się wskaźnikiem HISEI (ang. highest occupational status of parents). Również w tym badaniu wykazano pozytywny związek pomiędzy wynikami testów kompetencji językowych we wszystkich sprawdzanych umiejętnościach oraz pozycją zawodową rodziców. Wcześniejsze badania dowodzą też, że poziom wykształcenia rodziców istotnie wiąże się z umiejętnością czytania w języku ojczystym (e.g. Hecht, Burgess, Torgesen, Wagner i Rasotte, 2000). Badanie ELLiE potwierdziło (Lindgren and Muñoz, 2012) tę prawidłowość dla umiejętności czytania u dzieci w języku obcym. Autorki przywołują tu hipotezę Cummins a (Cummins s Developmental Interdependence Hypothesis, 1978), według której umiejętności w języku ojczystym mogą być przenoszone (ang. transfer) na umiejętności czytania w języku obcym. Proces ten zachodzi dzięki jednej wspólnej umiejętności rozwijającej się w tle języka ojczystego i obcego, a określonej przez Cumminsa jako academic proficiency. Otoczenie domowe, w którym uczniowie znajdują motywację do nauki języka poprzez pozytywne wzmocnienie ze strony domowników, przykład użycia języka na co dzień, kontynuację nauki przez osoby dorosłe czy zainteresowanie osiągnięciami dziecka tworzą środowisko przyjazne przyswajaniu języka przez dzieci. Znaczenie wspierającej roli rodziców w przyswajaniu języka obcego przez ich dzieci zostało poddane badaniu m.in. przez Chambers a (1999), który zauważył, że dzieci uczące się języka obcego były tym bardziej chętne do nauki im wyższy był w ich opinii poziom znajomości języka przez rodziców. Elaine Hewitt (2009) dodaje, że oprócz postrzeganej znajomości języka rodziców wpływ na wyników uczniów ma też ich bezpośrednie zaangażowanie w naukę dzieci. W Polsce dostępne dane dotyczą na razie wyłącznie starszych uczniów. Z badania ESLC wiadomo, że nastolatkowie bardzo nisko oceniają umiejętności swoich rodziców - ponad 80% z nich uważa, że rodzice wcale nie znają języka, którego ich dzieci uczą się w szkole, albo znają go bardzo słabo. 112

113 Cele badania W niniejszym tekście opisano wyniki I etapu podłużnego badania efektywności nauczania języka angielskiego w szkole podstawowej (BENJA). Celem BENJA jest monitorowanie realizacji podstawy programowej oraz określenie warunków szkolnych, domowych i pozaszkolnych sprzyjających efektywnej nauce języka angielskiego na wczesnych etapach edukacji. Badanie obejmuje pomiar umiejętności uczniów po pierwszym i drugim etapie edukacyjnym oraz badania obserwacyjne w klasach I, III i VI. Badanie realizuje Pracownia Języków Obcych we współpracy z Pracownią Szkolnych Uwarunkowań Efektywności Kształcenia (SUEK). Obecnie BENJA ma za sobą pierwszy etap badania, w którym dokonano pomiaru umiejętności z języka angielskiego (słuchanie i czytanie) po klasie III i zebrano informacje kontekstowe od rodziców, nauczycieli i dyrektorów szkół. Dodatkowo przeprowadzono też badanie wypowiedzi ustnej na podpróbie 42 szkół badanie to będzie omawiane w kolejnym raporcie. Celem I etapu badania podłużnego z języka angielskiego, które zostało opisane w niniejszym tekście było: zbadanie poziomu umiejętności rozumienia ze słuchu oraz rozumienia tekstu czytanego u uczniów, którzy jako pierwszy rocznik w Polsce rozpoczęli obowiązkową naukę języka obcego w 2008 roku, zbadanie czynników wpływających na proces przyswajania języka angielskiego Metoda Dobór próby Badaniem z zakresu umiejętności języka angielskiego w zakresie słuchania i czytania objęto całą próbę I kohorty wylosowaną do badania Szkolnych Uwarunkowań Efektywności Kształcenia. Szczegółowy opis schematu losowania próby w badaniu SUEK znajduje się w rozdziale Uczestnicy badania W części badania SUEK dotyczącej języka angielskiego uzyskano dane od 4717 uczniów ze 172 szkół. Byli to uczniowie, którzy rozpoczęli obowiązkową naukę języka angielskiego w roku 2008, a w czasie przeprowadzania opisywanej tu części badania rozpoczynali naukę w IV klasie szkoły podstawowej. Do budowania opisanych w niniejszym rozdziale wielopoziomowych modeli linowych dla wyników testu z języka angielskiego wykorzystano dane pochodzące od N=3552 uczniów uczęszczających do N=166 szkół. Wielkość analizowanej próby została ograniczona ze względu na występujące braki danych, które w opisywanych niżej analizach zostały wyeliminowane metodą listwise Narzędzia badawcze Narzędzia badawcze przygotowane zostały w Pracowni Języków Obcych Instytutu Badań Edukacyjnych przez doświadczony zespół autorów testów, badaczy przyswajania języka obcego, nauczycieli języków obcych w młodszych klasach oraz osoby przygotowujące nauczycieli języków obcych do zawodu. Konstrukcję zadań do badania poprzedziła analiza podręczników do klas drugich i trzecich szkoły podstawowej, zarejestrowanych przez Ministerstwo Edukacji Narodowej (Kulas, 2011). W trakcie tej analizy wygenerowano wspólną dla tych podręczników listę słownictwa, struktur oraz funkcji językowych, która stała się podstawą do konstrukcji zadań badawczych. Nie mniej jednak, lista ta nie była jedynym źródłem językowym do konstrukcji zadań, w trakcie której zwrócono szczególną uwagę 113

114 na to, aby zadania zawierały frazy i struktury językowe używane w codziennej komunikacji. Dlatego też, zadania badawcze składały się z krótkich dialogów i opisów które mogą - i powinny znaleźć się w repertuarze uczniów nie tylko w kontekście szkolnym, ale i w środowisku pozaszkolnym. Narzędzia badawcze zostały poddane konsultacjom z ekspertami wewnętrznymi oraz recenzji zewnętrznej przeprowadzonej przez eksperta zagranicznego Procedura Do przeprowadzenia badania zrekrutowano i przeszkolono 65 ankieterów z co najmniej 2-letnim stażem pracy w szkole podstawowej lub z doświadczeniem pracy z dziećmi w wieku 9-10 lat. Na potrzeby szkolenia przygotowano krótki film instruktażowy przedstawiający procedury oraz przebieg badania. Szkolenie dotyczyło nie tylko sposobu przeprowadzenia zadań z dziećmi, ale też zachowania i stosunku ankieterów do badanych uczniów oraz stworzenia odpowiedniej atmosferze sprzyjającej motywacji dzieci do wykonania zdań. Ankieterzy mieli też okazję do ewaluacji szkolenia, które ocenili jako bardzo przydatne dla ich pracy. Uczniowie przystąpili do badania w obecności wychowawcy, w odpowiednio przygotowanej klasie szkolnej lub sali gimnastycznej. Uczniowie siedzieli pojedynczo w ławkach. Dołożono starań, aby badanie zostało przeprowadzone w warunkach sprzyjających koncentracji uwagi. Badanie składało się z dwóch części przedzielonych 10-minutową przerwą. Na wstępie przeprowadzono 10-minutową próbą mającą na celu zapoznanie uczniów z typami zadań. Badanie przeprowadzono w listopadzie Uczniowie przystąpili do wykonywania zadań w kolejności pokazanej w Tabeli 5.1. W trakcie wykonywania zadań sprawdzających umiejętność słuchania uczniowie pracowali w tym samym tempie, uzależnionym od tempa odtwarzanych nagrań. W zadaniu wielokrotnego wyboru (ang. multiple choice) uczniowie usłyszeli 18 zdań lub krótkich dialogów z odtwarzacza CD i mieli wskazać jedną z trzech ilustracji, która najbardziej trafnie przedstawia informację z nagranie. W drugim zadaniu sprawdzającym rozumienie ze słuchu przedstawiono uczniom ilustrację ukazującą dzieci wykonujące różne czynności i zadania w klasie. Dzieci usłyszały 12 zdań lub krótkich dialogów i poproszone były o zaznaczenie czy sytuacja opisana w danym zdaniu lub dialogu odzwierciedla to, co widać na obrazku poprzez zaznaczenie odpowiedź prawda/fałsz. W celu zapewnienia wystarczającej ekspozycji na tekst oraz poczucia bezpieczeństwa, jak i z myślą o obniżeniu poziomu stresu, niewątpliwie towarzyszącego zadaniom sprawdzającym rozumienie ze słuchu, każde zdanie lub dialog zostało powtórzone. Po wyjaśnieniu przez ankietera zasad wykonania zadania sprawdzającego umiejętność czytania uczniowie wykonywali je we własnym tempie. Zadanie to było zadaniem wielokrotnego wyboru, w którym pod każdą z 17 ilustracji znajdowały się trzy zdania. Uczniowie proszeni byli o wskazanie zdania, które najbardziej trafnie opisuje sytuację zaistniałą w danej ilustracji. Podczas realizacji badania w szkołach prowadzono kontrolę jakości. Kontrola dotyczyła różnych aspektów badania, m.in. przestrzegania procedur, jakości kontaktu ankieterów z pracownikami szkoły i badanymi dziećmi. Kontrolę przeprowadzili pracownicy terenowi Instytutu Zmienne Omawiane badanie objęło pomiar dwóch konstruktów: rozumienia ze słuchu i rozumienia tekstu czytanego. Konstrukty te zbadano za pomocą zadań nie wymagających od uczniów umiejętności pisania. Uczniowie udzielali odpowiedzi poprzez zaznaczenie odpowiedniej ilustracji powiązanej z wysłucha- 114

115 nym lub przeczytanym tekstem. Do wykonania rysunków do testów zaangażowano dwie profesjonalne ilustratorki książek oraz materiałów edukacyjnych dla dzieci. Konstrukt rozumienie ze słuchu zbadany został za pomocą dwóch zadań: zadania wielokrotnego wyboru oraz zadania prawda/fałsz. Konstrukt rozumienie tekstu czytanego zbadano za pomocą zadania wielokrotnego wyboru. Tabela 5.1 przedstawia poszczególne testy z wyszczególnieniem liczby zadań. Ostateczną wersję zadań wyłoniono w wyniku serii wywiadów kognitywnych (ang. cognitive labs) prowadzonych w grupie ok. 40.dzieci oraz badania pilotażowego przeprowadzonego na próbie liczącej 984 uczniów w docelowej grupie wiekowej. Szczegółowy opis badania pilotażowego oraz laboratoriów kognitywnych znajduje się w Raporcie z badania pilotażowego BENJA Tabela 5.1: Testy sprawdzające rozumienie ze słuchu oraz rozumienie tekstu czytanego. Konstrukt Narzędzie Typ Liczba zadań cząstkowych rozumienie ze słuchu rozumienie tekstu czytanego zadanie 1 słuchanie wielokrotnego wyboru przykład zadanie 2 słuchanie prawda/fałsz przykład zadanie 3 czytanie wielokrotnego wyboru przykład liczba zadań cząstkowych ogółem 44 Nagrania do zadań sprawdzających rozumienie ze słuchu wykonano w profesjonalnym studio nagrań. Lektorami byli rodzimi użytkownicy języka angielskiego obu płci, doświadczeni w nagrywaniu materiałów edukacyjnych dla dzieci, jak i w nauczaniu dzieci języka angielskiego. Z uwagi na istotną rolę prozodii w przyswajaniu języka obcego i potrzebę promowania jej roli w procesie uczenia się języka, w trakcie nagrania położono szczególny nacisk na to, aby wykorzystano w nim akcent, rytm i intonację naturalnej wymowy w odmianie brytyjskiej. Autorom badania zależało też na tym, aby frazy i struktury językowe użyte w zadaniach odzwierciedlały doświadczenia dzieci w środowisku klasy. Jednocześnie, w duchu promowania naturalnej angielszczyzny, zwracano szczególną uwagę na to, aby konstruować zdania, które mogą rzeczywiście znaleźć się w repertuarze rodzimych użytkowników języka angielskiego. Zadania sprawdzające rozumienie ze słuchu i tekstu czytanego poprzedzone były zadaniami próbnymi mającymi na celu zapoznanie badanych z formą zadań właściwych. Dodatkowo, po każdym zadaniu uczniowie wypełniali krótką ankietę opracowaną na podstawie Nikolov(2011), dzięki czemu, zebrano opinie uczniów na temat tego czy (a) zadanie było łatwe czy trudne, (b) znane czy nieznane oraz (c) czy podobało się dzieciom. Rozkład wyników Skalowanie wyników testu oraz charakterystyki psychometryczne testu obliczono zarówno w paradygmacie klasycznej teorii testów (ang.ctt), jak i teorii odpowiedzi na zadanie testowe/probabilistycznej teorii testów (ang.irt). W pierwszym przypadku surowe wyniki (ang.raw scores) testu z języka angielskiego dotyczącego umiejętności słuchania i czytania zostały obliczone w oparciu o sumę poprawnych odpowiedzi (ang.number correct scores) do zadań z zakresu słuchania i 115

116 czytania. W drugim, zostały one oszacowane przy pomocy funkcji największej wiarygodności 31 (ang.irt Maximum Likelihood Scoring, MLE) w programie Winsteps ver W poniższych analizach wykorzystano wyniki wyliczone tą drugą metodą. Oszacowania te zostały wyrażone w logarytmie ilorazu szans (logit) z dokładnością do dwóch miejsc po przecinku (Linacre, 2008). Z zestawu zadań testowych usunięto 3 zadania o niezadawalających statystykach oraz jedno zadanie dyskryminujące ze względu na płeć. Pozostawione zadania były zrównoważone pod względem trudności. Rzetelność testu z języka angielskiego dotyczącego umiejętności słuchania i czytania wyniosła GLB=0,83. Rozkład wyników testu z języka angielskiego został zilustrowany przy pomocy histogramu na rysunku 5.2., a charakterystyki rozkładu, czyli miary dyspersji, rozkładu i średnia, zostały umieszczone w tabeli Źródło: opracowanie własne Rysunek 5.2. Histogram wyników testu z języka angielskiego oszacowanych przy pomocy funkcji największej wiarygodności, N=4717 Średnio uczniowie w badanej próbie uzyskali wynik M=0,183 (SE=0,010), przy wartości minimalnej min=-2,01 i maksymalnej max=5,23. Rozkład wyników jest prawoskośny (1,024) i leptokurtyczny (5,847). Oznacza to, że wyniki testu z języka angielskiego dzieci biorących udział w badaniu są skoncentrowane wokół średniej i w więcej niż połowie przypadków przyjmują wartości niskie. 31 Metoda największej wiarygodności (MNW, ang.maximum likelihood) to jedna z funkcji obliczania wyników używana w modelach IRT. W tych modelach, cecha zmiennej ukrytej np. zdolności językowe są reprezentowane przez zmienną θ (por. Hulin, Dragsow, Parson, 1983, 2005; Kolen, 2006). Oszacowania uzyskane metodą największej wiarygodności są nieobciążonymi oszacowaniami wartości cech zmiennej ukrytej (θ) dla długich testów (Kolen, 2006). 116

117 Tabela 5.2. Oszacowanie wyników testu z języka angielskiego w oparciu o funkcję największej wiarygodności (MLE) N minimum maksimum średnia SE skośność kurtoza ,01 5,23 0,183 0,010 1,024 5,847 Źródło: opracowanie własne Wyniki surowe zostały następnie poddane liniowemu przekształceniu na wyniki standaryzowane o rozkładzie z (Kolen, 2006) ze średnią M=0 i odchyleniem standardowym SD=1. Rozkład wystandaryzowanych wyników z testu języka angielskiego i uśrednionych w podziale na szkoły przedstawiony został poniżej na rysunku 5.3. Na wykresie widać, że w nieco mniej niż połowie szkół uczniowie osiągnęli średnio wyższe wyniki testu z języka angielskiego od średniej ze wszystkich badanych szkół. 1,50 1,00,50,00 -,50-1,00-1,50 Źródło: opracowanie własne Rysunek 5.3. Oszacowania średnich wyników szkół wraz z przedziałami ufności dla testu z języka angielskiego (M= 0, SD=1), N= Zmienne kontekstowe Rodzice i opiekunowie badanych uczniów wypełnili kwestionariusz, który zawierał część poświęconą nauce języków obcych. Kwestionariusz wypełniony został w tym samym czasie, w którym przeprowadzono badanie testowe, czyli na początku klasy IV. Pozwoliło to na uzyskanie dodatkowych danych dotyczących pozaszkolnego i domowego kontekstu nauki języka angielskiego badanych uczniów. Rodzice i opiekunowie pytani byli między innymi o to czy dziecko uczy/uczyło się języka angielskiego poza obowiązkowymi zajęciami w szkole. Kwestionariusz pozwolił też na uzyskanie informacji o deklaratywnym poziomie znajomości języka angielskiego rodziców lub opiekunów uczniów za pomocą pytania: W jakim zakresie matka/ojciec dziecka zna następujące języki obce? - język angielski. Możliwe odpowiedzi na to pytanie to: nie zna, zna w podstawowym zakresie, zna dobrze i zna bardzo dobrze. 117

118 Zmienne niezależne na poziomie ucznia i na poziomie szkoły W analizach wykorzystano zmienne niezależne na poziomie ucznia i jedną zmienną na poziomie szkół. Na poziomie ucznia posłużono się grupą zmiennych wykorzystanych do budowy modelu kontrolnego dla umiejętności czytania (szerzej na ten temat w rozdziale 3.), czyli zmiennymi indywidualnymi takimi jak: - wystandaryzowany wynik Testu Matryc Raven a, - płeć dziecka, - wiek dziecka w tygodniach, - opóźniony i przyspieszony tok nauki dziecka oraz zmiennymi socjo-ekonomicznymi do których należy: - wskaźnik HISEI, - wskaźnik dóbr materialnych, - wykształcenie rodziców. Dodatkowo do zmiennych niezależnych na poziomie ucznia dołączono zmienne z ankiety rodzica: - znajomość języka angielskiego u rodziców uczniów biorących udział w badaniu, - informację o tym, czy dzieci uczą się lub uczyły języka angielskiego poza obowiązkowymi zajęciami szkolnymi. Znajomość języka angielskiego u matek i ojców uczniów mierzono przy pomocy dwóch pytań zamkniętych z ankiety rodzica: W jakim zakresie matka/ojciec dziecka zna następujące języki obce? - język angielski z czterostopniową kafeterią odpowiedzi: nie zna, zna w podstawowym zakresie, zna dobrze i zna bardzo dobrze. Prawie połowa (48%) ojców nie zna języka angielskiego w ogóle, a nieco ponad jedna trzecia (34%) zna ten język w stopniu podstawowym; 13% ojców zna dobrze ten język, a 5% bardzo dobrze. Z kolei prawie połowa matek (48%) zna język angielski w podstawowym zakresie, 12% matek zna ten język obcy dobrze, a tylko 3% bardzo dobrze. Procentowy rozkład odpowiedzi został umieszczony na rysunku

119 60% 50% 48% 48% 40% 37% 34% 30% 20% 10% 12% 13% 3% 5% matka ojciec 0% nie zna Źródło: opracowanie własne zna w podstawowym zakresie zna dobrze zna bardzo dobrze Rysunek 5.4. Zakres znajomości języka angielskiego przez matkę i ojca dziecka, N= 4365 Na podstawie dwóch omawianych pytań dotyczących znajomości języka angielskiego u matki i ojca zbudowano wskaźnik najwyższej deklarowanej znajomości języka angielskiego przez rodziców, gdzie wzięto pod uwagę najlepszą znajomość języka obcego obojga rodziców lub jedyną dostępną, jeśli dla jednego z rodziców nie było danych (patrz tabela 5.3.). Na potrzeby dalszych analiz przekształcono tę zmienną na cztery zmienne kategorialne. Tabela 5.3. Najwyższy poziom znajomości języka angielskiego matki lub ojca, N= 4365 Najwyższy zakres znajomości języka angielskiego przez matkę lub ojca zakres procent N nie zna 27,2% 1186 zna w podstawowym zakresie 47,5% 2073 zna dobrze 19,1% 832 zna bardzo dobrze 6,3% 274 razem 100% 4365 Źródło: opracowanie własne Informację na temat nauki języka angielskiego przez ucznia poza obowiązkowymi zajęciami szkolnymi uzyskano zadając jego/jej rodzicom zamknięte pytanie: Czy dziecko uczy/uczyło się języka angielskiego poza obowiązkowymi zajęciami w szkole? z jedną możliwą odpowiedzią: tak lub nie. Więk- 119

120 szość rodziców (63% z N=4785) uczniów z badanej próby zadeklarowało, że ich dzieci nie uczą się lub/i nie uczyły się języka angielskiego poza edukacją formalną, a ponad jedna trzecia (37%) pytanych odpowiedziała na to pytanie twierdząco. Zmienna niezależna na poziomie szkół została uwzględniona w modelach to wielkość miejscowości, w której znajduje się szkoła. Dla potrzeb analiz przekodowano oryginalną zmienną na zmienną o mniejszej ilości kategorii według równomierności rozkładu i podobieństwa kategorii pod kątem wartości zmiennej zależnej, czyli wyników testu z języka angielskiego. Rozkład tak powstałej zmiennej znajduje się poniżej w tabeli 5.4. Tabela 5.4. Rozkład wielkości miejscowości, w której znajduje się szkoła, N= 166 wielkość miejscowości, w której mieści się szkoła % wieś i miejscowości do 5 tys. mieszkańców 41 miasta powyżej 5 tys. i do 50 tys. mieszkańców 28 miasta powyżej 50 tys. mieszkańców 31 razem Wyniki Liniowe analizy wielopoziomowe 32 Liczba poziomów analiz W celu wyjaśnienia zmienności/wariancji wyników z testu z języka angielskiego wśród uczniów oraz pomiędzy szkołami zastosowano wielopoziomowe modelowanie liniowe (ang. hierarchical linear modelling). Wykorzystując ten typ analizy zbudowano metody największej wiarygodności z pełną informacją (ang. full maximum likelihood) (Raudenbush, Bryk i Congdon, 2004), model trzy-( ang. HLM3) i dwupoziomowy (ang.hlm2). Model trzypoziomowy zawierał poziom ucznia, oddziału i szkoły, a model dwupoziomowy tylko poziom ucznia i szkoły. W tabeli 5.5. przedstawiono wyniki modelu trzypoziomowego- oszacowania dla modelu pustego (ang. unconditional/null model) niezawierającego żadnych parametrów oraz dla modelu kontrolnego z predyktorami na poziomie ucznia. Predyktory w ostatnim wymienionym modelu są takie same jak w modelu kontrolnym dla testu umiejętności czytania w języku ojczystym (szerzej na temat tego modelu w rozdz.3), czyli: wystandaryzowany wynik Testu Matryc Raven a, płeć dziecka, wiek dziecka w tygodniach, opóźniony i przyspieszony tok nauki dziecka, wskaźnik HISEI, wskaźnik dóbr materialnych i wykształcenie rodziców. Wszystkie analizy wielopozio- 32 Przedstawione w niniejszym rozdziale wyniki obliczono przy pomocy programów Stata SE 11.2, Winsteps 74.0 i HLM for Windows

121 mowe wykonano z wykorzystaniem wag warunkowych wygenerowanych w środowisku R 33 i opisanych w rozdziale 3.4. Tabela 5.5. Zróżnicowanie międzyszkolne i międzyoddziałowe wyników testu z języka angielskiego i oszacowania trzypoziomowego modelu pustego i modelu kontrolnego Źródło: opracowanie własne model pusty model kontrolny wariancja efektów szkół 0,053 0,033 wariancja efektów oddziałów klasowych 0,042 0,021 wariancja na poziomie ucznia 0,442 0,363 wskaźnik zróżnicowania międzyszkolnego 9,8% 8,0% wskaźnik zróżnicowania międzyoddziałowego 7,8% 4,9% liczba uczniów liczba klas Zróżnicowanie wyników i wybór liczby poziomów analiz liczba szkół Oszacowania dla modelu pustego wskazują na zróżnicowanie wyników testu języka angielskiego bez kontrolowania zmiennych mogących mieć wpływ na te wyniki. Okazuje się, że podział na szkoły i na oddziały klasowe wewnątrz szkół wyjaśnia podobną część wariancji wyników (odpowiednio 0,05 i 0,04). Największe zróżnicowanie wyników testu z języka angielskiego obserwuje się na poziomie ucznia (0,44), czyli wewnątrz klas. Model kontrolny również pozwala na uzyskanie informacji o udziale wariancji na poziomie ucznia, oddziału klasowego i szkoły w całkowitej wariancji wyników, ale przy kontrolowaniu różnych zmiennych (predyktorów) nie powiązanych ze szkołami czy oddziałami. Wariancja na poziomie oddziałów klasowych oszacowana w tym modelu znacznie spada, ale nadal jest istotna, co oznacza, że wyniki wewnątrz klas są homogeniczne, ale heterogeniczne pomiędzy klasami. Podobnie zachowuje się wariancja na poziomie szkół, a poziom wariancji na poziomie ucznia również spada, ale nadal jest najwyższy spośród wszystkich wariancji na trzech poziomach (0,36). Tabela 5.5 zawiera również dwa wskaźniki zróżnicowania. Wskaźnik zróżnicowania międzyszkolnego (międzyoddziałowego) stanowi informację dotyczącą tego, jaka część wariancji całkowitej wyników to wariancja międzyszkolna (międzyoddziałowa) (Dolata, 2011, str.8). Uzyskanie wskaźnika międzyszkolnego polega na (1) rozłożeniu wariancji ogólnej na dwa składniki: wariancję wewnątrzszkolną, na poziomie uczniów i wariancję międzyszkolną, a następnie (2 ) obliczeniu ilorazu wariancji efektów losowych na poziomie szkół oraz wariancji całkowitej i ostatecznie (3) zamienieniu tak uzyskanego ułamka na procenty. Wskaźniki zróżnicowania międzyoddziałowego w modelu kontrolnym prezentowanym w tabeli 5.5. pokazują, że zróżnicowanie między oddziałami klasowymi wewnątrz szkół jest dość niewielkie, a zróżnicowanie międzyszkolne jest od niego większe, ale nie zawiera się w typowym dla badań nad efektywnością szkolną przedziale od ok. 0,10 do 0,20 (McCoach, 2010, str.11). Dodatkowo obliczono efekt schematu próby (ang.design effect, Deff) w celu pomiaru efektywności doboru próby (ang.sample design) (por.np. Park, 2004) i określenia stopnia w jakim błędy standardowe oszacowa- 33 Wagi wykorzystane do analiz wielopoziomowych dla wyników testu z języka angielskiego stworzył Kamil Sijko z PSUEK, IBE za pomocą środowiska R. 121

122 nia parametrów są niedoszacowane przy założeniu niezależności obserwacji (McCoach, 2010). W tym celu posłużono się wzorem zaproponowanym przez Kish a (1987, np. za: Lynn, Hader, Gabler i Laaksonen, 2004) : deff 1 ( n 1), (1) j gdzie ρ to współczynnik korelacji międzygrupowej 34 (ang. ICC, interclass correlation), a n j to średnia liczba jednostek w danym skupieniu np. uczniów w klasie czy klas w szkołach. Efekty schematu próby okazały się być dość niskie, dla modelu trzypoziomowego była to wartość 1,38 na poziomie oddziałów i 1,73 na poziomie szkół. Ostatecznie jednak zdecydowano się na model dwu-poziomowy ze względu na lepsze oszacowanie wariancji między szkołami wynikające z ilości i charakterystyk poziomów i zadowalające oszacowanie efektu schematu próby (por. McCoach, 2010; Raudenbush i Bryk, 2002). Oszacowania dla dwupoziomowego modelu pustego wskazują na to, że ponad 0,08 wariancji wyników testu z języka angielskiego można wyjaśnić podziałem uczniów na szkoły. Zróżnicowanie wyników na poziomie ucznia jest oczywiście większe i wynosi 0,46. W przypadku modelu kontrolnego wartości wariancji spadają do poziomu 0,05 na poziomie szkół i do 0,37 na poziomie ucznia. Wskaźnik zróżnicowania międzyszkolnego zarówno w modelu pustym, jak i w modelu kontrolnym wynosi ponad 10%. Wyniki powyższych oszacowań zostały umieszczone w tabeli 5.6. Efekt schematu próby (ang.design effect) dla modelu dwupoziomowego wyniósł 2,00 i jest on akceptowalny. Tabela 5.6. Zróżnicowanie międzyszkolne i międzyoddziałowe wyników testu z języka angielskiego i oszacowania dwupoziomowego modelu pustego i modelu kontrolnego Źródło: opracowanie własne model pusty model kontrolny wariancja efektów szkół 0,079 0,047 wariancja na poziomie ucznia 0,460 0,373 wskaźnik zróżnicowania międzyszkolnego 14,61% 11,26% Budowanie modelu dwupoziomowego liczba uczniów liczba szkół Model dwupoziomowy dla wyników testu z języka angielskiego został zbudowany sekwencyjnie i w ramach tego modelu stworzono model pusty (1), model kontrolny (2) i model pełny (3) oraz dodatkowo model (4). Najpierw oszacowano model pusty (model nr 1 w tabeli 5.7.) bez parametrów w celu uzyskania oszacowania wariancji na poziomie 1. (poziom ucznia) i 2. (poziom szkół) do porównań z kolejnymi modelami zawierającymi parametry oraz otrzymania oszacowania współczynnika korelacji międzygrupowej. Następnie stworzono tzw. model z losową stałą (ang.random coefficient model), inaczej tak zwany model kontrolny(2) zawierający predyktory na poziomie ucznia takie same jak w modelu kontrolnym dla umiejętności czytania (opis tego modelu znajduje się w rozdziale 3.). A kolejno oszacowano model z pełną informacją(ang.full contextual model), czyli model pełny (3) z predyktorami na 34 Więcej informacji na temat współczynnika korelacji międzygrupowej Czytelnik znajdzie w rozdziale

123 obydwu poziomach. Przy czym w tym modelu do analiz włączono dodatkowe predyktory na poziomie ucznia (znajomość języka angielskiego u rodziców i uczęszczanie dziecka na dodatkowe zajęcia z języka angielskiego), a na poziomie szkoły dodano zmienną zawierającą informację o wielkości miejscowości, w której mieści się szkoła. Na końcu oszacowano jeszcze raz model z losową stałą (4) ze wszystkimi predyktorami na poziomie ucznia, ale bez dodatkowych zmiennych na drugim poziomie, których oszacowania w modelu okazały się być nieistotne w modelu pełnym (3). Wszystkie modele zostały estymowane metodą pełnej największej wiarygodności (ang.full maximum likelihood), a do ważenia danych wykorzystano warunkowe wagi próbkowania(opisane w rozdziale 3.) na każdym z poziomów analizy Wyniki wielopoziomowych analiz liniowych dla wyników testu z języka angielskiego Prezentacja modelu statystycznego Model dwupoziomowy dla wyników z testu języka angielskiego zostanie zaprezentowany poprzez omówienie równań oddzielnie dla poziomu ucznia i dla poziomu szkół (por.mccoach, 2010). Przedstawiony model został zbudowany w celu przewidywania wyników z tesu języka angielskiego dla uczniów zagnieżdżonych (ang.nested) w szkołach. Zmienne niezależne w modelu kontrolnym (2) na poziomie ucznia to: wystandaryzowany wynik Testu Matryc Raven a, płeć dziecka, wiek dziecka w tygodniach, opóźniony i przyspieszony tok nauki dziecka, wskaźnik HISEI, wskaźnik dóbr materialnych i wykształcenie rodziców. Dodatkowo w bardziej złożonym modelu z losową stałą (3) dołożono na poziomie ucznia zmienne: znajomość języka angielskiego przez rodziców i naukę języka angielskiego przez dziecko poza obowiązkowymi zajęciami szkolnymi. Zmienna niezależna na poziomie szkół została uwzględniona w modelu (3) i była to wielkość miejscowości, w której znajduje się szkoła. Efekty zmiennych niezależnych są zróżnicowane losowo pośród szkół. Model (4) ma takie same zmienne niezależne na poziomie ucznia jak model (4), ale z tego modelu wyłączono zmienną na poziomie szkoły. Wielopoziomowe równania dla dwóch poziomów w modelu (3) są zapisane poniżej: wynik testu z języka angielskiego = β 0 + β 1 *(wynik Testu Matryc Ravena) + β 2 *(płeć dziecka) + β 3 *(wiek dziecka w tygodniach) + β 4 *(opóźniony tok nauki) + β 5 *(przyspieszony tok nauki) + β 6 *(HISEI) + β 7 *(wskaźnik dóbr materialnych) + β 8 *(wykształcenie rodziców: średnie) + β 9 *(wykształcenie rodziców: policealne lub studia I stopnia) + β 10 *(wykształcenie rodziców: wyższe magisterskie, dr lub prof.) + β 11 *(znajomość języka angielskiego u rodziców: w podstawowym zakresie) + β 12 *(znajomość języka angielskiego u rodziców: dobra) + β 13 *(znajomość języka angielskiego u rodziców: bardzo dobra) + β 14 *(nauka języka angielskiego poza obowiązkowymi zajęciami w szkole) + r (1) model dla poziomu 1., czyli ucznia: β 0 = γ 00 + γ 01 *(wielkość miejscowości, w której znajduje się szkoła: miasto od 5 do 50 tys. mieszkańców) + γ 02 *(wielkość miejscowości, w której znajduje się szkoła: miasto powyżej 50 tys. (2) mieszkańców) + u 0 model dla poziomu 2., czyli szkół: β1 = γ10, (3) 123

124 β14 = γ140, gdzie β 1 14 nachylenia dla zmiennych niezależnych, γ 00 współczynnik współczynników dla szkoły, γ zmiana jednostki przewidywanego wyniku testu z języka angielskiego przy zmianie jednostki danej zmiennej niezależnej, γ współczynnik nachylenia zmiennej niezależnej z poziomu ucznia, wskazujący na interakcję międzypoziomową pomiędzy zmienną niezależną a zmienną niezależną z poziomu szkoły, czyli wielkością miejscowości, w której mieści się szkoła, r- błąd, u 0 - oznacza, że współczynniki β zmiennych niezależnych są losowo zróżnicowane pomiędzy szkołami. Wyniki analiz wielopoziomowych liniowych, w których zmienną zależną był wynik testu z języka angielskiego zostały umieszczone w tabeli 5.7. Moc przewidywania modelu (predictive ability) Zamieszczone w tabeli 5.7. statystyki pseudo R 2 35 obliczono, aby uzyskać informację na temat wyjaśniania wariancji wyników testu z języka angielskiego na poziomie ucznia i na poziomie szkoły oraz by porównać modele pod kątem ich zdolności/mocy do wyjaśniania wariancji (McCoach, 2010). Porównywanie modeli przy pomocy R 2 polegało na zestawianiu kolejno bardziej złożonych modeli (2), (3) i (4) z modelem pustym (0). Wartości statystyki pseudo R 2 dla całkowitej wariancji oraz dla wariancji rozłożonych na poziom ucznia (poziom 1.) i poziom szkoły (poziom 2.) wykazują tendencję wzrostową wraz z przyrostem liczby predyktorów w modelach. Czyli im bardziej złożony model, tym wyższe ma wartości statystyki pseudo R 2. Wyjątek stanowi przypadek, gdzie pseudo R 2 pozostaje na takim samym poziomie- wartości statystyki dla ucznia w modelu (3) i (4). Najwyższa moc przewidywania została oszacowana dla modelu dwupoziomowego z dziewiętnastoma parametrami, czyli modelu pełnego (3). 35 Statystykę pseudo R 2 zdefiniowano tutaj jako proporcjonalną redukcję wariancji i obliczono wg metody Raudenbush a i Bryk a(2002). 124

125 Tabela 5.7. Wyniki dwupoziomowych modeli z losową stałą dla testu z języka angielskiego dotyczącego umiejętności czytania i słuchania Zmienna zależna: wynik testu z języka angielskiego dotyczącego umiejętności czytania i słuchania model (1) model (2) model (3) model (4) Oszacowanie efektów stałych Poziom ucznia wynik Testu Matryc Ravena 0,012 *** 0,012 *** 0,012 *** (0,001) (0,001) (0,001) płeć dziecka a 0,054 * 0,042 0,043 (0,023) (0,023) (0,023) wiek dziecka w tygodniach 0,003*** 0,004 *** 0,004 *** (0,001) (0,001) (0,001) opóźniony tok nauki -0,401*** -0,416 *** -0,415 *** (0,112) (0,108) (0,107) przyspieszony tok nauki 0,421 * 0,428** 0,429 ** (0,168) (0,152) (0,154) HISEI 0,003 ** 0,002* 0,002 * (0,001) (0,001) (0,001) wskaźnik dóbr materialnych 0,005*** 0,003** 0,003** (0,001) (0,001) (0,001) wykształcenie rodziców: średnie 0,067 0,051 0,050 (0,036) (0,036) (0,037) wykształcenie rodziców: policealne lub studia I stopnia 0,141** 0,094 * 0,095* (0,040) (0,041) (0,041) wykształcenie rodziców: wyższe magisterskie, 0,243 *** 0,160** 0,162 ** dr lub prof. (0,052) (0,052) (0,052) znajomość języka angielskiego u rodziców: 0,004 0,007 w podstawowym zakresie c (0,028) (0,028) znajomość języka angielskiego u rodziców: 0,140 ** 0,146 ** dobra (0,042) (0,042) znajomość języka angielskiego u rodziców: 0,239 ** 0,245 ** bardzo dobra (0,068) (0,067) nauka języka angielskiego poza 0,243*** 0,244 *** obowiązkowymi zajęciami w szkole (0,031) (0,031) Poziom szkoły wielkość miejscowości, w której znajduje się 0,037 szkoła: miasto od 5 do 50 tys. mieszkańców d (0,055) wielkość miejscowości, w której znajduje się 0,110 szkoła: miasto powyżej 50 tys. mieszkańców (0,064) 125

126 Stała 0,200-3,650-3,746-3,733 (0,025) (0,486) (0,483) (0,487) Oszacowanie efektów losowych wariancja efektów szkół 0,079 0,047 0,034 0,037 wariancja efektów na poziomie ucznia 0,460 0,372 0,359 0,360 współczynniki korelacji wewnątrzgrupowej: poziom szkół 0,146 Podsumowanie dewiancja 7567, , , ,733 logarytmiczna funkcja wiarygodności -3783, , , ,866 pseudo R ,220 0,265 0,263 pseudo R 2 (p2) -- 0,399 0,549 0,534 pseudo R 2 (p1) -- 0,189 0,216 0,216 Liczba uczniów Liczba klas Liczba szkół efekt schematu próby 2, model (1)- model pusty, model (2)- model kontrolny, model (3)- model pełny, model (4) wynik *** istotny na poziomie 0,001; ** istotny na poziomie 0,01; * istotny na poziomie 0,05; w nawiasach podano błędy standardowe; a - grupa odniesienia: chłopcy; b- grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe; c- grupa odniesienia: brak znajomości języka angielskiego; d- grupa odniesienia: wieś i miasto do 5 tys. mieszkańców; Efekty stałe (fixed effects) i losowe (random effects) Efekty stałe przedstawiają średni efekt w całej populacji uczniów i są wyrażone poprzez współczynniki regresji (Snijders, 2005). W tabeli 5.7 efekty stałe są wymienione w części Oszacowanie efektów stałych na poziomie ucznia i na poziomie szkoły. Wartości i istotność efektów stałych w modelu zostanie opisana poniżej. Poniżej zostaną również omówione oszacowania wariancji dla tych efektów losowych, czyli składowe wariancji (ang.variance components). Oszacowania modeli Wyniki oszacowania efektów stałych i losowych dla kolejno testowanych modeli umieszczone są powyżej, w tabeli 5.7. Model pusty Model (1) to model pusty niezawierający żadnych parametrów. Dlatego dla modelu pustego zostały oszacowane tylko efekty losowe: wariancja efektów szkół wyniosła 0,079, a wariancja na poziomie ucznia była znacznie wyższa i wyniosła 0,

127 Współczynnik korelacji międzygrupowej, czyli międzyszkolnej w modelu pustym wyniósł ICC=0,146, co stanowi proporcję wariancji pomiędzy szkołami, czyli inaczej zmienność wariancji na poziomie ponad 14%, którą można tłumaczyć strukturą grupowania wyników w szkołach. Innymi słowy można ten wynik interpretować jako zależność wyników testu z języka angielskiego od pogrupowania uczniów w szkołach (por. Maas i Hox, 2005). Wartość opisywanego współczynnika korelacji międzyszkolnej jest typowa dla badań nad efektywnością szkół, gdzie ICC zwykle mieści się w zakresie między 0,10 a 0,20 (McCoach, 2010). Efekt schematu próby(ang.design effect) jest w wielopoziomowym modelowaniu istotniejszą miarą niż współczynnik korelacji międzygrupowej (Maas i Hox, 2005; McCoach, 2010), który wskazuje na ile błędy standardowe w badanej złożonej próbie są niedoszacowane w porównaniu do błędów w prostej, losowej próbie (Kish, 1965 za: Maas i Hox, 2005; Kish, 1987). Wartość efektu schematu próby wynosi deff=2,00, a jej poziom można interpretować jako akceptowalnie niski. Stała regresji, czyli średnia wyniku testu z języka angielskiego w populacji szkół, w modelu pustym wyniosła cons=0,200 (p<0,001; SE=0,025). Model kontrolny Model kontrolny, czyli model (2), różni się od modelu pustego dodanymi zmiennymi na poziomie ucznia. Model w takiej postaci został uznany za najlepszy na potrzeby dalszej analizy, by kontrolować podstawowe, niezależne od szkoły zmienne powiązane z wynikami testu z języka angielskiego. Wyniki oszacowań parametrów stałych i losowych są zawarte w tabeli 5.7. w kolumnie trzeciej. Parametry efektów stałych, czyli dla wszystkich zmiennych niezależnych na poziomie ucznia, oprócz wykształcenia rodziców na średnim poziomie (b= 0,067; t(3541)= 1,850; p= 0,064) okazały się być istotne statystyczne (istotne wartości są wytłuszczone w tabeli 5.7.). Wynik Testu Matryc Raven a okazał się być pozytywnie powiązany z wynikiem testu z języka angielskiego. Wraz ze wzrostem poziomu inteligencji dziecka o 10 punktów, wynik testu języka angielskiego dziecka wzrasta o 0,1 punktu. Różnica w poziomie wyników z testu języka angielskiego dziewcząt i chłopców jest istotna statystycznie na poziomie p<0,05. Dziewczynki uzyskały przeciętnie około 0,05 punkta więcej w teście języka angielskiego niż chłopcy. Wiek dziecka wyrażony w tygodniach również był istotny statystycznie, choć niezbyt silny- dziecko starsze o 1 tydzień zyskiwało o 0,003 punktu więcej w teście z języka angielskiego. Uczniowie o opóźnionym toku nauki, to jest uczniowie, którzy później rozpoczęli formalną edukację lub którzy raz lub więcej powtarzali naukę w tej samej klasie, uzyskali mniejszą ilość punktów w teście języka angielskiego. Dzieci w tej grupie uzyskiwały mniej o 0,41 punktu z testu języka angielskiego. Odwrotna zależność wystąpiła dla uczniów, którzy szybciej rozpoczęli naukę niż ich rówieśnicy- dzieci z tej grupy otrzymały o 0,42 punktu więcej w teście z języka angielskiego. Czynniki związane ze statusem społeczno-ekonomicznym rodziny były pozytywnie powiązane z wynikami testu z języka angielskiego. Im wyższy status społeczno-ekonomiczny rodziny mierzony wskaźnikiem HISEI, tym wyższy wynik testu z języka angielskiego, ale związek ten nie jest zbyt silny. Podobnie wskaźnik dóbr materialnych zawierający informację o zasobności rodziny, jest pozytywnie związany z wynikiem testu z języka angielskiego- przyrost wskaźnika o 10 punktów niesie ze sobą przyrost wyników testu o 0,

128 Wykształcenie rodziców zostało przekodowane na zmienne zero-jedynkowe, gdzie grupą odniesienia byli uczniowie pochodzący z rodzin, w których najwyższym poziomem wykształcenia wśród rodziców było niepełne podstawowe, podstawowe lub zasadnicze zawodowe. Dzieci, których rodzice mieli wykształcenie pomaturalne lub licencjackie, otrzymali średnio o 0,14 punktu więcej w teście z języka angielskiego niż dzieci rodziców z wykształceniem nieukończonym podstawowym, podstawowym lub zasadniczym zawodowym. Natomiast dzieci, których co najmniej jedno z rodziców ma przynajmniej wykształcenie wyższe magisterskie, uzyskują wyniki wyższe o 0,24 w stosunku do uczniów z grupy odniesienia. Parametry efektów losowych przyjęły w modelu kontrolnym niższe wartości niż w modelu pustym. Wariancja efektów szkół została oszacowana w modelu kontrolnym na poziomie 0,047, a na poziomie ucznia- na poziomie 0,373. Efektywność modelu kontrolnego (2) w stosunku do modelu pustego (1) została oszacowana przy pomocy statystyki pseudo R 2, która określa stopień zmniejszenia niewyjaśnionej wariancji wyniku testu z języka angielskiego w modelu pustym w odniesieniu do modelu kontrolnego. Dodanie do modelu zmiennych wyjaśniających na poziomie ucznia zredukowało odsetek niewyjaśnionej wariancji o 22%. Największy wzrost wyjaśnionej wariancji został odnotowany na poziomie szkół- prawie 40%. Model pełny W kolejnym kroku zbudowano model pełny (3) zawierający: zmienne niezależne z niższego poziomu analizy i uwzględnione w modelu kontrolnym oraz dodatkowo zmienne niezależne z poziomu ucznia: najwyższa możliwa znajomość języka angielskiego u rodziców dziecka oraz informację o tym, czy dziecko uczyło się lub uczy się języka angielskiego poza obowiązkowymi zajęciami szkolnymi, a także dwukategorialne zmienne niezależne na poziomie szkół, czyli wielkość miejscowości, w której mieści się szkoła: 5 tysięcy, a do 50 tysięcy mieszkańców i wielkość miejscowości: miasto powyżej 50 tysięcy mieszkańców. Oszacowania efektów stałych na poziomie ucznia w pełnym modelu były w większości istotne statystycznie poza płcią dziecka, która okazała się być nieistotna (b= 0,043; t(3537)= 1,861; p= 0,062) i wykształceniem rodziców dziecka na poziomie średnim (b= 0,051; t(3537)= 1,369; p= 0,171), które pozostało nieistotne podobnie jak w modelu kontrolnym(2). Ponadto zmienna zero-jedynkowa dotycząca tego, czy dziecko pochodzi z rodziny, gdzie przynajmniej jedno z rodziców zna język angielski najwyżej w podstawowym zakresie okazała się nieistotna (b= 0,004; t(3535)= 0,149; p=0,882). Oszacowania efektów stałych na poziomie szkoły okazały się również nieistotne statystycznie. Fakt, że dzieci uczęszczają do szkół mieszczących się w miejscowości między 5 a 50 tysięcy mieszkańców czy mieście powyżej 50 tysięcy mieszkańców, nie ma związku z wynikiem testu z języka angielskiego (odpowiednio b= 0,038; t (163)= 0, 682; p= 0,496; b= 0,110; t(163)= 1,715; p=0,088). W żaden sposób nie różnicuje to wyników z języka angielskiego tych grup dzieci od dzieci z grupy odniesienia, czyli uczęszczających do szkół mieszczących się na wsiach i w miejscowościach do 5 tysięcy mieszkańców. Istotne statystycznie parametry na poziomie ucznia pozostały na mniej więcej tym samym poziomie w porównaniu do modelu kontrolnego (3) (patrz kolumna czwarta w tabeli 5.7.). Na sile straciły zmienne: HISEI, wskaźnik dóbr materialnych, wykształcenie rodziców, a nieco zyskały: opóźniony tok nauki, przyspieszony tok nauki. 128

129 Znajomość języka angielskiego u rodziców dziecka została przekodowana na zmienne zerojedynkowe, gdzie grupą odniesienia byli uczniowie, których żadne z rodziców nie znało w ogóle języka angielskiego. Dzieci, których przynajmniej jedno z rodziców znało język angielski w dobrym stopniu, osiągały 0,14 punkta więcej w teście z języka angielskiego niż dzieci z grupy odniesienia. A uczniowie, których któreś z rodziców znało język angielski na przynajmniej bardzo dobrym poziomie osiągnęły o 0,25 punktu więcej w teście w porównaniu do dzieci z grupy odniesienia. Nauka języka angielskiego poza obowiązkowymi zajęciami w szkole ma pozytywny i istotny statystycznie (p<0,001)związek z wynikiem testu z języka angielskiego. Dzieci, które uczyły się lub uczą języka angielskiego poza obowiązkowymi zajęciami w szkole otrzymały 0,24 punkta więcej niż dzieci, które nie korzystały lub nie korzystają z takiej formy nauki języka obcego. Włączenie do modelu (3) znajomości języka angielskiego oraz informacji o tym, czy uczeń uczęszczał lub uczęszcza na dodatkowe zajęcia zmniejsza znaczenie czynnika wykształcenia rodziców oraz statusu społeczno-ekonomicznego (HISEI i wskaźnik dóbr). Oszacowania efektów losowych przyniosły nieco niższe wartości wariancji efektów. Dla szkół było to σ=0,036, a na poziomie uczniów: σ=0,360. Efektywność modelu pełnego (3) w stosunku do modelu pustego jest lepsza niż w przypadku modelu kontrolnego (2). Dodanie do modelu zmiennych wyjaśniających na poziomie ucznia zredukowało odsetek niewyjaśnionej wariancji o 26,5%. Największy spadek niewyjaśnionej wariancji został odnotowany na poziomie szkół- ok. 55%. Dewiancja (ang.deviance) może być interpretowana jako miara braku dopasowania modelu i danych (ang.model fit). Ogólnie rzecz biorąc im wyższa wartość tej statystyki, tym słabsze dopasowanie do danych (McCoach, 2010; Raudenbush, Bryk i Congdon, 2004). Do porównania dopasowania zagnieżdżonych ( ang.nested) modeli użyto testu różnic χ 2. Test wykazał istotną statystycznie (na poziomie p<0,05) różnicę pomiędzy wartością dewiacji dla modelu kontrolnego (2), czyli oszczędniejszego a wartościami dewiacji dla modeli bardziej złożonych (3) i (4). Oznacza to, że model kontrolny dla wyników testu z języka angielskiego ma istotnie statystycznie gorsze dopasowanie niż modele bardziej złożone. Z kolei model (4) nie jest istotnie statystycznie lepiej czy gorzej dopasowany niż bardziej złożony model pełny (3), dlatego ostatecznie wybrano model pełny (3). Oszacowania dopasowania modeli dwupoziomowych dla języka angielskiego pokazano w tabeli 5.8. Tabela 5.8. Oszacowanie dopasowania modeli dwupoziomowych dla testu z języka angielskiego przy wykorzystaniu testu χ 2. Porównanie modelu kontrolnego z modelem (3) i (4) model(3) model(4) model(2) k=13 χ 2, p<0,05* 156, ,8018 df- liczba stopni swobody k- liczba parametrów *) wytłuszczone są wartości istotne na poziomie 0,05 df 6 4 k Źródło: opracowanie własne 129

130 Dodatkowo obliczono kolejny model (4) z takimi samymi zmiennymi na poziomie ucznia jak w modelu pełnym (3), ale przy wykluczeniu efektów stałych na poziomie szkoły. Przyniosło to niewielki wzrost oszacowania następujących predyktorów: wykształcenie rodziców, znajomość języka angielskiego rodziców dziecka, nauka języka angielskiego poza zajęciami obowiązkowymi w szkole. Oszacowania efektów losowych przyniosły również nieco wyższe niż w modelu pełnym (3) wartości wariancji efektów, ale tylko dla szkół. Oszacowania statystyki pseudo R 2 w tym modelu (4) są nieco gorsze niż w modelu pełnym(3) dla całości wariancji i na poziomie szkół. Biorąc pod uwagę powyższe wyniki, ostatecznie w dyskusji będzie brany pod uwagę model pełny (3) dla wyników testu języka angielskiego dotyczącego umiejętności czytania i słuchania Omówienie wyników Badanie umiejętności uczniów w obszarze języka angielskiego objęło dwie z czterech umiejętności językowych umiejętność słuchania i czytania. Trzeba w tym miejscu przypomnieć, że celem badania nie była diagnoza osiągnięć uczniów z języka angielskiego, ale opis umiejętności jakimi uczniowie dysponują po pierwszym etapie edukacyjnym. Należy też przypomnieć, że pomiar umiejętność przeprowadzony na tym etapie badania jest częścią badania podłużnego i wieloskładnikowego. Badanie testowe może objąć jedynie dwie umiejętności językowe, z których jedna (słuchanie) rozwija się od początku procesu nauczania, a druga (czytanie) jest rozwijana w kolejnych latach nauki i w ograniczonym zakresie. Dopiero uzupełnienie informacji z testu danymi z badania obserwacyjnego, które będzie przeprowadzone w wybranych szkołach tej kohorty uczniów, odpowie na pytanie jak rozwijane są pozostałe umiejętności: mówienia i pisania oraz jak realizowana jest podstawa programowa w I i II etapie edukacji. Należy zatem ostrożnie podchodzić do interpretacji pierwszego wyniku testu zaplanowanego na dwa pomiary w tej samej kohorcie. Pomimo tego, iż nieco więcej niż połowa uczniów uzyskała wyniki poniżej średniej nie można określić umiejętności jako niskie. Na wczesnym etapie nauczania języka obcego, gdy umiejętności uczniów opierają się jeszcze na ograniczonym zasobie słownictwa i struktur trudno jest stworzyć narzędzie, które mierzy ich umiejętności niezależnie o konkretnych treści językowych, które dzieci poznają na lekcji. Pomiar umiejętności jest więc wyzwaniem, bo wymaga stworzenia narzędzia pomiarowego możliwie najbliżej oddającego słownictwo i struktury językowe pojawiające się w programie i podręczniku z którego korzystają uczniowie. Autorzy badania dołożyli wszelkich starań, aby zadania w badaniu były oparte na materiale językowym jak najbardziej reprezentatywnym dla szkolnych doświadczeń dzieci i przeprowadzili analizę częstotliwości występowania słownictwa i gramatyki w najbardziej popularnych podręcznikach dla klas I-III oraz wykorzystali informację tworząc zadania. Jednak zmierzenie rzeczywistych osiągnięć szkolnych jest możliwe poprzez zastosowanie testu osiągnięć (Komorowska, 2002), który sprawdza opanowanie materiału realizowanego przez nauczyciela, a każdy podręcznik i program nauczania wyznacza inny zakres tego materiału. W tym przypadku nie mówimy więc o osiągnięciach, ale poziomie umiejętności względem zaproponowanego narzędzia dostosowanego w miarę możliwości do krajowych i międzynarodowych opisów. Narzędzie to bada zatem w jakim stopniu dzieci miały wcześniej kontakt z językiem pojawiającym się w teście i na ile rozumieją sens przekazu językowego pojawiającego się w nim. Biorąc pod uwagę starania o zapewnienie dużej ilości języka należącego do autentycznej komunikacji oraz fakt, iż test został przygotowany dla badania podłużnego wyniki pokazują, że uczniowie poradzili sobie z tym zadaniem. 130

131 Warto też przypomnieć, że autorzy testu zaplanowanego na potrzeby badania mieli na względzie zmieniający się z roku na rok poziom umiejętności uczniów i przygotowanie narzędzia badawczego, które pozwoli na odnotowanie przyrostu umiejętności w okresie pomiędzy zakończeniem I i II etapu edukacji w języku obcym. Istotny jest fakt, iż oprócz ogólnych wytycznych dotyczących osiągnięć w obszarze języka obcego opisanych w nowej podstawie programowej oraz Europejskim Portfolio Językowym dla dzieci 6-10 lat (Pamuła i inni, 2006), brak międzynarodowych standardów umiejętności dla dzieci uczących się języka obcego w warunkach klasy szkolnej. Badanie to jest bodaj pierwszą w Europie próbą opisu umiejętności uczniów w języku angielskim w kontekście szkolnym na podstawie pomiaru przeprowadzonego na reprezentatywnej próbie uczniów. Przeprowadzone analizy regresji wielopoziomowej wskazują, że wyniki testu z języka angielskiego są najbardziej zróżnicowane na poziomie ucznia, w mniejszym stopniu między szkołami. Wartość zróżnicowania międzyszkolnego jest na typowym poziomie dla badań edukacyjnych (McCoach, 2010). Zmienną wyjaśniającą wyniki na poziomie szkół była wielkość miejscowości, w której mieści się szkoła. Wpływ tej zmiennej okazał się być nieistotny statystycznie przy stałym poziomie pozostałych zmiennych niezależnych. Prawdopodobnie czynniki związane ze statusem społeczno-ekonomicznym rodzin uczniów, takie jak HISEI, wskaźnik dóbr materialnych i wykształcenie rodziców lepiej tłumaczą wariancję wyników niż liczba mieszkańców, w której znajduje się szkoła. Być może rodzaj/charakter lokalizacji szkoły należy opisywać za pomocą innych cech, które lepiej oddają zróżnicowanie przestrzenne niż gęstość zaludnienia, np. zasobności gminy czy bliskość aglomeracji miejskiej. Większość czynników dotyczących ucznia w modelu kontrolnym, który został również wykorzystany w analizach wyników testów dla pozostałych umiejętności (czytania, pisanie w języku polskim oraz matematyki) okazała się istotna statystycznie dla wyników z języka angielskiego. Do czynników tych należą wystandaryzowany wynik Testu Matryc Raven a, płeć dziecka, wiek dziecka w tygodniach, opóźniony i przyspieszony tok nauki dziecka, wskaźnik HISEI, wskaźnik dóbr materialnych i wykształcenie rodziców. Nieistotna statystycznie okazała się jedynie różnica pomiędzy wynikami dzieci, których rodzice posiadają najwyżej wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe, a wynikami dzieci rodziców z maksymalnie wykształceniem średnim. W modelu pełnym (3), przygotowanym dla analiz badania języka angielskiego, uwzględniono dwa dodatkowe czynniki: fakt czy i na jakim poziomie rodzice znają język angielski oraz to czy dzieci uczęszczają i/lub uczęszczały na dodatkowe lekcje języka. W modelu tym predyktory istotne statystycznie to: dobra i bardzo dobra deklarowana znajomość języka angielskiego przez rodziców ucznia oraz sam fakt uczęszczania ucznia, obecnie lub w przeszłości, na lekcje języka angielskiego poza obowiązkowymi zajęciami w szkole. Wynik Testu Matryc Raven a, wiek dziecka w tygodniach, opóźniony i przyspieszony tok nauki dziecka, w tym modelu są nadal istotnie statystycznie i przewidują wynik z języka angielskiego, podobnie jak w modelu kontrolnym (2). Natomiast w modelu tym w stosunku do kontrolnego na sile straciły predyktory HISEI i wskaźnik dóbr materialnych oraz wykształcenie rodziców. Z kolei płeć dziecka nie wiąże się istotnie statystycznie z poziomem wyniku z testu z języka angielskiego. Istotność czynników dodanych w modelu pełnym (3) potwierdza wyniki wcześniejszych badań międzynarodowych wspomnianych we wstępnej części tego tekstu (Chambers, 1999; Hewitt, 2009). Dobra lub bardzo dobra znajomość języka przez rodziców ma znaczenie dla poziomu umiejętności uczniów. Rodzice, którzy znają język obcy kształtują postawę pozytywnego nastawienia do nauki języka i wzbudzają naturalną motywację do osiągnięcia podobnego poziomu znajomości języka co rodzice. Wykorzystanie przez rodziców języka angielskiego w kontaktach zawodowych czy prywatnych jest też dla uczniów dowodem na przydatność języka i jego zastosowanie w życiu codziennym. Przy- 131

132 czynia się zatem do ogólnej motywacji oraz aspiracji dziecka i rodzica do osiągnięcia przez dziecko wysokiego poziomu umiejętności językowych w przyszłości. Rodzice znający w dobrym lub bardzo dobrym stopniu język obcy są też w naturalny sposób źródłem pomocy w nauce na co dzień, co może przekładać się na wyższe wyniki w nauce języka. Również wpływ udziału w dodatkowych zajęciach z języka obcego na poziomu umiejętności uczniów, który oznacza zwykle dwukrotnie większy i częstszy kontakt z językiem angielskim, niż pozostałych badanych uczniów znajduje potwierdzenie w wielu wcześniejszych badaniach. Wskazują one na fakt, iż ilość czasu spędzonego na nauce języka i wyeksponowanie ucznia na kontakt z językiem obcym przyczyniają się do wyższych osiągnięć w nauce języka obcego (Lindgren i Muñoz, 2012). Oprócz prostego przełożenia ilościowego w przypadku zajęć dodatkowych należy pamiętać też o kilku cechach tych lekcji, które mogą istotnie wspomagać proces przyswajania języka. Jest to przede wszystkim liczebność grupy, która ze względu na brak zalecenia podziału na grupy językowe na tym etapie edukacji (MEN, 2002, 2009) jest zwykle przynajmniej o połowę mniejsza, a zatem dająca więcej okazji użycia języka przez ucznia i bardziej zindywidualizowany kontakt z nauczycielem, który ma szansę szybko reagować na potrzeby dzieci. Lekcje dodatkowe często zapewniają też elastyczne podejście do tempa nauki dzięki doborowi uczniów według ich poziomu umiejętności i systemowi motywowania do szybszych postępów poprzez reagowanie na indywidualne potrzeby uczniów. Reasumując, ilość i jakość kontaktu z językiem oraz wsparcie i przykład zastosowania języka obcego w otoczeniu np. przez rodziców i opiekunów wydają się mieć istotny wpływ na postępy uczniów już we wczesnych etapach edukacji językowej Podsumowanie Badanie opisane w tym rozdziale jest częścią podłużnego badania efektywności nauczania języka angielskiego w szkole podstawowej. Przedstawiono tu wyniki pierwszego pomiaru umiejętności językowych dotyczące nauki języka angielskiego po pierwszym etapie edukacyjnym wskazując na czynniki, które na podstawie zebranych danych i przeprowadzonych analiz można uznać za wpływające w sposób istotny na poziom umiejętności językowych uczniów. Wyniki dzieci uczęszczających na dodatkowe zajęcia językowe sugerują, że korzystne byłoby zwiększenie liczby godzin nauki języka już w klasach młodszych. W świetle powyższych rozważań nad organizacją zajęć dodatkowych warto rozważyć też podział klas na mniejsze grupy podczas lekcji językowych. Dalsze wnioski i rekomendacje dotyczące efektywności pracy nauczyciela i realizacji zaleceń podstawy programowej będą możliwe po przeprowadzeniu badania obserwacyjnego w następnej części badania. Ważnym wnioskiem z badania jest informacja o istotnej roli rodziców w procesie przyswajania języka przez dzieci. Rodzice znający język angielski na przynajmniej dobrym poziomie własnym przykładem motywują dzieci do pozytywnego nastawienia do nauki języka i stanowią źródło pomocy w codziennej nauce. Rodzice powinni być zachęcani do uczestnictwa w nieformalnej edukacji językowej przez całe życie (ang. lifelong learning) i utrzymywanie kontaktu z językiem nawet w okresach gdy nie jest on wykorzystywany w pracy zawodowej dla własnego pożytku, ale też powinni dzielić się doświadczeniami językowymi z dziećmi. Mogą w ten sposób istotnie wspomagać proces nauki języka obcego dziecka. Warto przypominać rodzicom, ze jest to proces ciągły wymagający stałego kontaktu i pracy nad językiem, zarówno ze strony rodzica jak i ucznia. 132

133 Inną istotną kwestią, którą udało się naświetlić dzięki pierwszej części badania jest zróżnicowanie wyników pomiędzy szkołami. Pomimo tego, iż analizy wskazują na istotne różnice między wynikami poszczególnych szkół konieczna jest dalsza analiza i uzupełnienie danych w celu zidentyfikowania czynników szkolnych, które determinują te różnice. Wielkość miejscowości w jakiej znajduje się szkoła nie jest z pewnością czynnikiem decydującym i konieczne jest bardziej szczegółowe scharakteryzowanie szkoły i jej otoczenia społeczno-ekonomicznego, aby zdiagnozować przyczyny tych różnic. Literatura cytowana Campfield, D. (2010). Factors affecting early second language acquisition: the role of linguistic rhythm. Department of Education. Oxford, University of Oxford. Nieopublikowana rozprawa doktorska. Chambers, G. (1999). Motivating Language Learners. Clevedon: Multilingual Matters. Cummins, J. (1978). Metalinguistic development of children in bilingual education programs: Data from Irish and Canadian Ukrainian-English programs. W: M. Paradis (red.), Aspects of bilingualism (str ). Columbian: Hornbeam Press. Dolata, R. (2011). Analiza różnicowania się systemu oświaty w Polsce na poziomie szkół podstawowych i gimnazjów, edycja Pobrano ze strony Edukacyjna Wartość Dodana: Edelenbos, P., R. Johnstone & A. Kubanek. (2006). The main pedagogical principles underlying the teaching of languages to very young learners. Languages for the children of Europe. Published Research, Good Practice and Main Principles. Final Report of the EAC 89/04, Lot 1 study. Pobrano ze strony: Enever J. (2011). Early Language Learning in Europe. London, UK: The British Council. Europejski system opisu kształcenia językowego: uczenie się, nauczanie, ocenianie. Rada Europy (2003). Warszawa: Wydawnictwo CODN. First European Survey on Language Competences: final report. (2012). Bruksela: Komisja Europejska. Hasselgreen, A. (2004). Testing the Spoken English of Young Norwegians. Studies in Language Testing. Cambridge: CUP. Hecht, S.A., Burgess, S.R., Torgesen, J.K., Wagner, R.K & Rasotte, C.A. (2000). Explaining social class differences in growth of reading skills from beginning kindergarten through fourth grade: The role of phonological awareness, rate of access and print knowledge. Reading and Writing: An Interdisciplinary Journal, 12, Hewitt, E. (2009). Are parents an effective resource for learning English as a foreign language? An empirical study with complete-beginner children. W: M. Navarro Coy(red.). Practical approaches to foreign language teaching and learning (str ). Bern: Peter Lang. Hulin, Ch.L., Dragsow, F., Parsons, C.K. (2005). Wprowadzenie do teorii odpowiedzi na pozycje testu. W: J. Brzeziński (red.).trafność i rzetelność testów psychologicznych. Wybór tekstów (r.6, str ). Gdańsk: Gdańskie Wydawnictwo Psychologiczne. 133

134 IBE (w druku). Raport krajowy badania ESLC. Warszawa: Instytut Badań Edukacyjnych. IBE. Raport z badania pilotażowego BENJA Raport cząstkowy z badań Pracowni Języków Obcych. Warszawa: Instytut Badań Edukacyjnych. Kish, L. (1987). Weighting in Deft 2. The Survey Statistician. The Newsletter of the International Association of Survey Statisticians, June. za: Lynn, P., Häder, S., Gabler, S., & Laaksonen, S. (2004). Methods for Achieving Equivalence of Samples in Cross-National Surveys: The European Social Survey Experience. Colchester: University of Essex. Key Data on Teaching Languages at School in Europe (2008). Brussels: Eurydice. Key Data on Teaching Languages at School in Europe (2012). Brussels: Eurydice. Kolen, M. J. (2006). Scaling and Norming. W: R.L. Brennan. Educational measurement 4th edition (wyd. 4, str ). Westport, CT: Praeger. Komorowska, H. (2002). Sprawdzanie umiejętności w nauce języka obcego. Warszawa: Fraszka Edukacyjna. Kulas, K. (2010). Raport cząstkowy z badania osiągnięć szkolnych w języku obcym analiza podręczników do nauki języka angielskiego do klas II-IV. Warszawa: Instytut Badań Edukacyjnych. Kuppens, A.H. (2010). Incidental foreign language acquisition from media exposure. Learning, Media and Technology 35, Lefever, S.C. (2010). English skills of young learners in Iceland. Paper presented at Menntakvika Conference, Reykjavik. Linacre, J. M. (2008). A User's Guide to W I N S T E P S Rasch-Model Computer Programs Program Manual. Chicago. Lindgren, E. & Munoz, C. (2012). The influence of exposure, parents, and linguistic distance on young European learners' foreign language comprehension. International Journal of Multilingualism, Pobrano ze strony: Lynn, P., Häder, S., Gabler, S., & Laaksonen, S. (2004). Methods for Achieving Equivalence of Samples in Cross-National Surveys: The European Social Survey Experience. Colchester: University of Essex. Maas, C.J.M. i Hox, J.(2005): Sufficient Sample Sizes for Multilevel Modelling. Methodology, 1(3), McCoach, B. D. (2010). Hierarchical Linear Modeling. W: G. R. Hancock, & R. Mueller, The Reviewer's Guide to Quantitative Methods in the Social Sciences (rozdz. 10, str ). New York and London: Routlege. McKay, P. (2006). Assessing Young Language Learners. Cambridge: Cambridge University Press. 134

135 Mihaljević Djigunović, J. & L. Lopriore. (2011). The learner: do individual differences matter? W: J. Enever (red). Early Language Learning in Europe (str ). London UK: British Council. Ministerstwo Edukacji Narodowej i Sportu. (2002). Rozporządzenie Ministra Edukacji Narodowej i Sportu z dnia 12 lutego 2002 r. w sprawie ramowych planów nauczania w szkołach publicznych. Dz. U z 2002r. Nr 15 poz Warszawa: Kancelaria Prezesa Rady Ministrów. Ministerstwo Edukacji Narodowej. (2007). Rozporządzenie Ministra Edukacji Narodowej z dnia 23 sierpnia 2007 r. zmieniające rozporządzenie w sprawie podstawy programowej wychowania przedszkolnego oraz kształcenia ogólnego w poszczególnych typach szkół. Dz.U. nr 157 poz z dn. 31 sierpnia Warszawa: Kancelaria Prezesa Rady Ministrów. Ministerstwo Edukacji Narodowej. (2008). Rozporządzenie Ministra Edukacji Narodowej z dnia 23 grudnia 2008 r. w sprawie podstawy programowej wychowania przedszkolnego oraz kształcenia ogólnego w poszczególnych typach szkół. Dz.U. nr 4 z dn. 15 stycznia Warszawa: Kancelaria Prezesa Rady Ministrów. Ministerstwo Edukacji Narodowej. (2009). Języki obce w szkole podstawowej, gimnazjum i liceum. W: Podstawa programowa z komentarzami (t.3, s ). Warszawa: MEN. Munoz, C. (2006). Age and the Rate of Foreign Language Learning. Clevedon: Multilingual Matters. Nikolov, M. & J. Mihaljević Djigunović. (2011). All shades of Every Color: An Overview of Early Teaching and Learning of Foreign Languages. Annual Review of Applied Linguistics, vol. 31, Pamuła, M., Bajorek, A., Bartosz-Przybyło, I. i Sikora-Banasik, D. (2006). Europejskie portfolio językowe dla dzieci od 6 do 10 lat. Warszawa: Centralny Ośrodek Doskonalenia Nauczycieli. Park, I. (2004). Assessing Complex Sample Designs Via Design Effect Decompositions. Proceedings, Joint Statistical Meetings, (str ). Pobrano ze strony: PISA 2009 Results: Executive Summary. (2009). PISA, OECD Publishing. Presidency Conclusions. European Council March (2002). Barcelona. Rada Europejska. Raudenbush, S., Bryk, A. S. (2002). Hierarchical Linear Models:Applications and Data Analysis Methods (t.1). Thousand Oaks, London, New Delhi: Sage. Raudenbush, S.W., Bryk, A.S, & Congdon, R. (2004). HLM 6 for Windows [Computer software]. Skokie, IL: Scientific Software International, Inc. Schaffer, H.R. (2006). Child Psychology. Oxford: Blackwell Publishing. Snijders, T.A.B.(2005). Fixed and Random Effects. W: B.S. Everitt and D.C. Howell (red.), Encyclopedia of Statistics in Behavioral Science. Volume 2, Chicester (etc.): Wiley. Szpotowicz, M. (2008). Second Language Learning Processes in Lower Primary Children. Warszawa: Wydawnictwa Uniwersytetu Warszawskiego. 135

136 TIMMS and PIRLS data release Factors for academic success (2012). Pobrano ze strony: 136

137 Część III. Szkolne uwarunkowania wyników nauczania i wychowania 6. Liczebności oddziałów a wyniki nauczania (Mikołaj Hnatiuk) 6.1. Dotychczasowe badania Problem liczebności oddziału szkolnego jest jednym z najczęściej podejmowanych problemów w badaniach edukacyjnych. Z jednej strony, stanowi on przedmiot zainteresowania ekonomistów takich jak na przykład Hanushek 1999, Krueger, Hanushek, & Rice, 2002, gdzie wielkość oddziału szkolnego odnoszona jest do wskaźników jakości edukacji mierzonej najczęściej wynikami uczniów w standaryzowanych testach. Tego rodzaju badania nazywane są Pupil Teacher Ratio (PTR), ponieważ koncentrują sie głównie na stosunku liczby uczniów do liczby nauczycieli. Z drugiej strony, jest to obszar zainteresowania badaczy edukacji związanych z psychologią społeczną, ze względu na związek wielkości klasy z procesami grupowymi (np. (Blatchford, Basset, Russel, Brown, & Martin, 2007)). Jednym z najsłynniejszych przeprowadzonych badań nad tym problemem było badanie eksperymantalne STAR przeprowadzone w Tennessee (USA) w połowie lat osiemdziesiątych. Ponad 6000 dzieci zostało przypisanych do zdefiniowanych małych i dużych klas w przedszkolach. Taki podział został utrzymany aż do trzeciej klasy. Projekt pokazał, że dzieci przypisane do małych klas lepiej radziły sobie w testach od tych przypisanych do klas dużych. Był to poważny argument polityczny w USA za obniżaniem PTR. Mimo to, Hanushek (1999) krytykował eksperyment z powodów metodologicznych (m.in. brak losowości przypisania nauczycieli do klas, oraz, ogólniej, za brak możliwości uogólnienia wniosków na całe Stany). Mimo wszystko, ten projekt badawczy pozostaje klasycznym źródłem odwołań, przede wszystkim przez swoją skalę i to, że została użyta metoda eksperymentalna faktycznie poprzez ingerencję, kontrolowano interesujący badaczy parametr. Metody eksperymentalne mają swoje niewątpliwe zalety, jednak jak wspomniano wcześniej, występuje problem z możliwością uogólnienia wyników na całą populację, będącą przedmiotem zainteresowania. Blatchford i inni (2007) argumentują, że metody analizy wielopoziomowej w badaniach podłużnych są odpowiednie do badania związku wielkości oddziału szkolnego a osiągnięciami uczniów i procesami zachodzącymi w klasie. W ich badaniach (tamże), w których analizują 257 dzieci w wieku 7-11 lat, odnotowują zdarzenia zachodzące w klasie. Przeprowadzają również wywiady z nauczycielami, z których, co nie jest zaskoczeniem, dowiadują się, że nauczyciele w mniejszych klasach mają większe poczucie kontroli, większy poziom satysfkacji z wykonywanej pracy oraz większą szansę korekcji metod nauczani. Dzięki obserwacji klas na różnych lekcjach stwierdzają, że w mniejszych klasach występuję więcej zachowań aktywnych, zarówno ze strony nauczyciela, jak i uczniów. Jest to najpoważniejszy argument za utrzymaniem mniejszych oddziałów szkolnych, jako że metody aktywne powszechnie postrzegane są jako przynoszące lepsze rezultaty. We wspomnianym wcześniej artykule (Hanushek 1999) Hanushek przedstawił swoją metaanalizę 277 estymacji wpływu wielkości klasy na wyniki nauczania, w której pokazał, że w większości przypadków nie stwierdzono negatywnej zależności pomiędzy liczebnością klasy szkolnej a wynikami uczniów. 137

138 Taką zalezność odnotował jedynie w 15% przeprowadzanych badań. Tego rodzaju metanalizy mają jednak wartość przede wszystkim orientacyjną, ponieważ stawiają znak równości pomiędzy jakością poszczególnych badań. Hanushek argumentuje, że polityka zmniejszania wielkości oddziałów szkolnych jest bardzo droga i nie przynosi spodziewanych rezultatów - w USA z roku na rok średnia wielkość oddziału maleje, a wyniki w standaryzowanych testach nie ulegają zmianie, bądź nawet spadają. Hanushek argumentuje zatem za przesunięciem pieniędzy poświęcanych na redukację wielkości oddziału w stronę podnoszenia umiejętności nauczycielskich. Na gruncie polskim problem wielkości oddziału szkolnego również był badany m. in. przez M. Jakubowskiego i P. Sakowskiego (Jakubowski, 2004) oraz B. Murawską (2010). Jakubowski i Sakowski za pomocą metod analizy wielopoziomowej oszacowali wpływ wielkości klasy na wyniki szóstoklasistów w sprawdzianie po VI klasie na przykładzie województwa mazowieckiego (lata ). Atuorzy stwierdzają, że wpływ wielkości oddziału na wyniki sprawdzianu jest istotny statystycznie, jednak pomijalnie niewielki zmniejszenie klasy o jednego ucznia powoduje wzrost wyników testu o 0,05-0,06 punktu. W ramach projektu badawczego Badanie umiejętności podstawowych uczniów trzeciej klasy szkoły podstawowej prowadzonego w 2008 roku przez Centralną Komisję Egzaminacyjną, Barbara Murawska przeanalizowała dane o blisko 5 tysiącach dzieci z 262 oddziałów szkolnych. Dysponując wynikami testów umiejętności matematycznych oraz językowych przeprowadziła analizę regresji dwupoziomowej. Współczynnik regresji dla wielkości oddziału szkolnego wynosił dla wszystkich analiz około 0,01-0,02. Oznacza to, że aby podnieść średnie wyniki testów o 1 punkt, należałoby zmnieszyć oddziały szkolne średnio o 10 uczniów Metoda analizy W niewielkiej liczbie dotychczasowych badań na temat związku wielkości klas z osiągnięciami uczniów stwierdzono istnienie znaczącej zależności. Dzięki danym zerbanym w projekcie badawczym prowadzonym przez Pracownię Szkolnych Uwarunkowań Efektywności Kształcenia można problem ten przeanalizować nieco dokładniej niż w innych badaniach prowadzonych w Polsce, ponieważ dostępne są dane dotyczące zarówno wielu zmiennych środowiskowych (indeks HISEI, indeks dóbr materialnych, szczegółowe informacje na temat wykształcenia rodziców ucznia), jak i zmienne psychometryczne (inteligencja mierzona testem Ravena, integracja emocjonalna, motywacja do uczenia się, itp.). Wielkość oddziału szkolnego jest jedynie pewnym wskaźnikiem, za którego badaniem mogą stać różne założenia. W analizach w tym rozdziale przyjmuje się, że liczba dzieci w klasie może mieć wpływ na nastawienie ucznia do nauczania (motywację osiągnięć), jego poczucie integracji społecznej (kontakty z innymi uczniami), integrację emocjonalną (nastawienie emocjonalne do szkoły). Zakłada się, że w zależności od wielkości klasy róznić też może się sam proces nauczania, jednak tych czynników nie kontrolujemy na tym etapie badania. Sprawdzaną hipotezą jest zatem istnienie negatywnego związku pomiędzy wielkością oddziału szkolnego a wynikami uczniów w testach przeprowadzanych w badaniu Pracowni SUEK, tj. W testach umiejętności matematycznych, świadomości językowej oraz testach czytania. 138

139 Analizy w tym rozdziale zostały wykonane metodą analizy regresji wielopoziomowej. Po wcześniejszym przetworzeniu danych w programie R, model wykonano przy pomocy programu HLM 36 (Hierarchical Linear Models). Jako, że zmienna dotycząca wielkości oddziału szkolnego jest charakterystyką klasy, a nie ucznia, w analizach została uwzględniona jako zmienna drugiego poziomu Wyniki Zróżnicowanie wielkości oddziału w badanej próbie szkół Ponieważ podstawą wszystkich analiz w tym rozdziale jest zmienna określająca wielkość oddziału szkolnego, w pierwszym kroku sprawdzono rozkład liczebności oddziałów klas III w przebadanej przez Pracownię SUEK próbie szkół. Przez liczebność klasy rozumiemy sumę wszystkich uczniów w tej klasie, nie tylko tych objętych badaniem w momencie badania. Rysunek 6.1. Rozkład liczebności oddziałów szkolnych w próbie Rozkład wielkości oddziałów szkolnych przypomina rozkład normalny, jednak test Shapiro-Wilk-a nie pozwala na uznanie tej hipotezy. Średnia wielkość oddziału to 21,59 ucznia, przy czym największy z nich ma 33 uczniów, najmniejszy 6, przy odchyleniu standardowym 4,36. Można zatem uznać, że zróżnicowanie wielkości klas jest wystarczające, aby przeprowadzać dalszą analizę na podstawie tej zmiennej

140 Model jednozmiennowy oszacowanie wpływu liczebności oddziału na wyniki w testach umiejętności podstawowych bez uwzględnienia wpływu zróżnicowania charakterystyk uczniów Pierwszą przeprowadzoną analizą było modelowanie wpływu wielkości oddziału szkolnego na umiejętności matematyczne, językowe oraz umiejętności czytania bez uwzględnienia pozostałych czynników wpływających na te umiejętności. Model ten jest trzypoziomowy: pierwszy poziom to poziom ucznia, drugi klasy, trzeci szkoły. Dla każdego z tych poziomów zastosowano wagi analityczne i w przypadku braku analizowanych zmiennych na innych poziomach niż drugi (wielkość klasy szkolnej) zastosowanie go ma sens wyłączenie ze względu na wzięcie pod uwagi wag analitycznych. Tabela 6.1. Oszacowanie parametrów modelu jednozmiennowego test umiejętności językowych. zmienna zależna: test umiejętności językowych oszacowanie efektów stałych model (1) poziom ucznia Stała 93,37 (2,594) poziom szkoły Wielkość oddziału 0,29 (0,117) oszacowanie efektów losowych Odchylenie standardowe efektów dla stałych dla oddziałów klasowych 2,88 Odchylenie standardowe efektów dla nachyleń dla oddziałów klasowych 14,22 Zróżnicowanie międzyszkolne dla stałych 3,26 Jak wynika z przeprowadzonej analizy, gdy nie uwzględnia się innych czynników, wpływ wielkości oddziału szkolnego na wyniki w testach pisania jest pozytywny i istotny statystycznie. Wynik mozna interpretować w następujący sposób: wraz ze wzrostem liczebności oddziału szkolnego o jednego ucznia, wynik w teście pisania poprawia się o 0,29 punktu. 140

141 Tabela 6.2. Oszacowanie parametrów modelu jednozmiennowego test umiejętności matematycznych. zmienna zależna: test umiejętności matematycznych oszacowanie efektów stałych model (1) poziom ucznia Stała 94,12 (2,307) poziom szkoły Wielkość oddziału 0,26 (0,104) oszacowanie efektów losowych Odchylenie standardowe efektów dla stałych dla oddziałów klasowych 3,52 Odchylenie standardowe efektów dla nachyleń dla oddziałów klasowych 14,23 Zróżnicowanie międzyszkolne dla stałych 2,42 Tabela 6.3. Oszacowanie parametrów modelu jednozmiennowego - test umiejętności czytania. zmienna zależna: test czytania oszacowanie efektów stałych model (1) poziom ucznia Stała 95,07 (2,289) poziom szkoły Wielkość oddziału 0,21 (0,103) oszacowanie efektów losowych Odchylenie standardowe efektów dla stałych dla oddziałów klasowych 3,05 Odchylenie standardowe efektów dla nachyleń dla oddziałów klasowych 14,31 Zróżnicowanie międzyszkolne dla stałych 2,64 Dla pozostałych testów: umiejętności matematycznych oraz czytania efekt wpływu wielkości oddziału szkolnego jest podobny i wynosi odpowiednio 0,26 i 0,21. Przy odchyleniu standardowym tych efektów w okolicach 0,1 nie mozna mówić o tym, aby wielkość oddziału szkolnego silniej oddziaływała na któryś zestaw testowanych umiejętnosci. 141

142 Wyników tych nie można jednak w pełni zinterpretować bez uwzględnienia innych czynników wpływających na testowane wśród uczniów umiejętności. Pierwszą nasuwającą się wątpliwością jest zróżnicowanie wyników pomiędzy szkołami, które w powyżej zaprezentowanych modelach jest dość duże i większe od szacowanego wpływu wielkości oddziału klasowego. Pozytywny związek pomiędzy liczebnością oddziału a wynikami w przeprowadzonych testach może być pozornie zaskakujący, jednak zasadne jest przypuszczenie, że szkoły o większych oddziałach znajdują się w środowisku, w którym uczniowie pochodzą z rodzin o wyższym statusie społecznym, które to rodziny bądź zamieszkują większe miasta, bądź też dowożą swoje dzieci do szkół w takich miastach. Zróżnicowanie wielkości oddziału w zależności od klasy miejscowości zamieszkania (wieś lub miasto) jest znaczące. Zilustrowano je na poniższym wykresie. Zmierzone umiejętności uczniów również różnią się ze względu na położenie szkoły. Rysunek 6.2. Różnica pomiędzy wielkością oddziału szkolnego na wsi oraz miastach do 5 tys. mieszkańców oraz w miastach powyżej 5 tys. mieszkańców 142

143 Rysunek 6.3.Wyniki testów umiejętności matematycznych, językowych oraz czytania w szkołach na wsi i w mieście 143

144 Różnice pomiędzy wynikami testów na wsi i w mieście są niewielkie, jednak istotne statystycznie. Pozwala to przypuszczać, że przy uwzględnieniu czynników środowiskowych w modelu, nastąpi polepszenie dopasowania modelu, a efekt uzyskany we wstępnym modelu może zmienić swoją siłę i kierunek Wpływ liczebności oddziału na wyniki w testach umiejętności podstawowych przy kontroli innych czynników W poszerzonym modelu, do zmiennej niezależnej drugiego poziomu dotyczącej wielkości oddziału dodano zmienne pierwszego poziomu (charakterystyki ucznia). Zmienne te pochodzą z modelu podstawowego przedstawionego we wcześniejszych rozdziałach (Rozdział 6). Do tych zmiennych dołączono również zmienne pochodzace z kwestionariusza integracji ucznia. Dotyczą one integracji emocjonalnej ucznia, integracji społecznej oraz motywacji do nauki. Zmienne te powstały na podstawie analizy czynnikowej Kwestionariusza Integracji Uczniów (Haeberlin, 1989) w adaptacji Grzegorza Szumskiego. Ponieważ zakładamy, że wielkość oddziału szkolnego może wpływać na te charakterystyki, dołączenie tych zmiennych wydawało się niezbędne. Tabela 6.4. Wpływ liczebności oddziału na wyniki w teście umiejętności czytania przy kontroli innych czynników zmienna zależna: oszacowanie efektów stałych test umiejętności czytania test matematyczny test umiejętności językowych poziom ucznia Stała 27,01(13,59) 11,08(11,72) 20,40(12,09) płeć dziecka a 2,54 (0,56) -0,40 (0,479) 4,53 (0,467) wiek dziecka w tygodniach -0,04 (0,02) -0,042 (0,02) 0,04 (0,015) opóźniony tok nauki -5,54 (2,19) -8,79 (2,43) -6,18 (2,021) przyspieszony tok nauki 0,78 (3,35) 2,52 (3,98) 2,86 (2,373) wykształcenie rodziców: 1,77 (0,65) 2,18 (0,61) 3,02 (0,76) wykształcenie rodziców: wykształcenie rodziców: 2,86 (0,81) 2,78 (0,78) 4,34 (0,91) 2,85 (0,81) 4,67 (1,19) 5,01 (1,19) HISEI c 0,034 (0,01) 0,007 (0,01) 0,05 (0,02) Indeks zasobów materialnych rodziny dziecka 1,45 (0,32) 1,28 (0,33) 1,03 (0,313) Test Matryc Ravena 0,43 (0,02) 0,43 (0,02) 0,34 (0,017) Integracja emocjonalna -0,03(0,14) -0,17 (0,14) 0,01 (0,122) Integracja społeczna 0,15(0,21) 0,34(0,21) 0,16(0,208) Motywacja do nauki 0,27(0,20) 0,24(0,17) 0,077(0,19) poziom klasy Wielkość oddziału -0.03(0,445) (0,006) -0.15(0,401) Interakcja:Wielkość oddziału a integracja emocjonalna 0,000(0,006) (0,009) (0,008) Interakcja:Wielkość oddziału a integracja społeczna - -0,006(0,009) - 144

145 0,005(0,009) 0,006(0,009) Interakcja:Wielkość oddziału a motywacja do nauki 0,004(0,009) 0,005(0,007) 0,013(0,008) oszacowanie efektów losowych wariancja efektów dla stałych dla szkół 7,5 7,2 2,73 korelacja między losowymi stałą i nachyleniem (poziom szkoły) 0,282 0,406 0,33 wariancja efektów dla stałych dla oddziałów klasowych 3,76 5,64 4,34 wariancja na poziomie ucznia 146,56 127,55 134,43 Okazuje się, że po wprowadzeniu do modelu zmiennych opisujacych płeć, inteligencję, poziom wykształcenia rodziców, indeks HISEI, indeks dóbr materialnych oraz poziom integracji szkolnej, dodatni wpływ zwiększenia oddziału szkolnego na wyniki uczniów zostaje zniwelowany i jest nieistotny statystycznie. Również, weryfikacja postawionej hipotezy o związku wielkości oddziału szkolnego i integracji emocjonalnej i społecznej ucznia oraz jego motywacji, wykazuje jej falszywość. Nie zanotowano istotnego statystycznie związku pomiędzy tymi zmiennymi, szacowany (nieistotny) efekt jest bardzo blisko zera, wskazując, że są to zmienne niezależne od siebie, co może być pewnym zaskoczeniem Podsumowanie Przyjmując poprawność przeprowadzanych analiz, mozna przyjąć, że wielkość oddziału szkolnego, nie ma wpływu na umiejętności matematyczne, umiejętności czytania oraz świadomość językową badanych uczniów podstawówek. Czy oznacza to jednak, że wielkość oddziału szkolnego nie ma znaczenia dla jakości nauczania? Na podstawie powyższych analiz nie można wysnuć takiego wniosku. Aby ocenić znaczenie wielkości klasy dla procesu dydaktycznego i wychowawczego, należy uwzględnić szereg innych zmiennych, przeprowadzając dokładne obserwacje lekcji wśród zróżnicowanych pod względem liczby uczniów klas. W pewnym stopniu tego rodzaju danych dostarczą obserwacje lekcji, które będą prowadzone w ramach badań Pracowni SUEK. Wielkość klasy może być mimo wszystko istotnym parametrem dla jakości nauczania, pod warunkiem faktycznego wykorzystania metod aktywnych przez nauczycieli. W przypadku stosowania metod pasywnych, traktowania przez nauczycieli małych i dużych klas w jednakowy sposób, efekt wielkości klasy na osiągnięcia uczniów z pewnością będzie ograniczony. W powżyszych analizach widać również bardzo istotny wpływ zmiennych środowiskowych: kapitału ekonomicznego rodziców uczniów oraz ich wykształcenia. Z jednej strony, kapitał ekonomiczny to mozliwość nabycia pomocy dydaktycznych, z drugiej: wykształcenie kształtuje aspiracje i motywacje do osiągnięć. Pomoc dydatkatyczna nabywana przez rodziców jest substytutem metod aktywnych w nauczaniu, co powoduje zwiększenie zróżnicowania pomiędzy uczniami z różnych środowisk. Literatura cytowana Blatchford, P., Basset, P., Russel, A., Brown, P., & Martin, C. (2007). The Effect of Class Size on the Teaching of Pupils Aged 7 11 Years. School Effectiveness and School Improvement, 18 (2), strony Haeberlin, U. (1989). Integration in die Schulklasse: Fragebogen zur Erfassung von Dimensionen der Integration von Schülern FDI 4-6. Haupt. 145

146 Hanushek, E. A. (1999). Some Findings from an Independent Investigation of the Tennessee STAR Experiment and from Other Investigations of Class Size Effects. Educational Evaluation and Policy Analysis, 21 (2), strony Jakubowski, M. (2004). Małe, średnie czy też duże? O wpływie liczby uczniów w klasie na jakość nauczania. W CKE, Biuletyn CKE (strony 24-34). Krueger, A. B., Hanushek, A. E., & Rice, J. K. (2002). The Class Size Debate. Waszyngton: Economic Policy Institute. 146

147 7. Cechy nauczyciela a wyniki nauczania ( Kamila Hernik, Karolina Malinowska, Kamil Sijko) W niniejszym rozdziale omówione zostaną dane dotyczące nauczycieli edukacji wczesnoszkolnej - uczących w szkołach podstawowych w klasach I-III, łącznie 1215 osób. Nauczyciele brali udział w badaniu ankietowym w ramach projektu Szkolne Uwarunkowania Efektywności Kształcenia. Spośród 1215 badanych nauczycieli, 289 nauczycieli to wychowawcy klas, w których badano wyniki uczniów Opis badanej zbiorowości Płeć i wiek Nauczyciele edukacji wczesnoszkolnej to prawie wyłącznie kobiety stanowiły one 96,2% badanej próby. Przeszło połowa z nich (59,7%) jest w wieku lat, tylko ok. 6,4% stanowiły osoby poniżej 30 roku życia. Świadczy to o niewielkim dopływie do zawodu nowych osób (wynikającym ze zmian demograficznych i związanej z nimi polityki edukacyjnej ) i starzeniu się kadr nauczycielskich. Z danych SIO na rok 2011 wynika, że spośród wszystkich nauczycieli w szkołach podstawowych uczących w klasach I-III ( nauczycieli) 89% to kobiety. Zatem w badanej próbie było nieco więcej kobiet niż w populacji nauczycieli klas I-III. Populacja nauczycieli edukacji wczesnoszkolnej składała się w 2011 roku w 46% z osób w wieku lat, w 25% z osób w wieku lat, 15% lat, a osoby w wieku poniżej 30 lat stanowiły 14% populacji. Oznacza to, że nauczyciele uczestniczący w badaniu SUEK byli nieco starsi niż populacja nauczycieli klas I-III Doświadczenia szkolne i droga edukacyjna Większość nauczycieli było w przeszłości bardzo dobrymi lub co najmniej dobrymi uczniami 59,3% osób w badaniu zadeklarowało, iż uzyskały one ocenę bardzo dobrą na świadectwie ukończenia szkoły podstawowej z języka polskiego i 50% z matematyki (4 lub 4,5 z języka polskiego otrzymało 27,3% osób i 34,4% z matematyki). 147

148 język polski matematyka Rysunek 7.1. Rozkład ocen nauczycieli na świadectwie ukończenia szkoły podstawowej. Spośród respondentów, którzy byli oceniani w sześciostopniowej skali, 63,7% zadeklarowało, że uzyskało ocenę bardzo dobrą z języka polskiego, 32,6% osób - ocenę dobrą, 1,6% - ocenę celującą. Z matematyki natomiast 43,3% zadeklarowało otrzymanie oceny bardzo dobrej, 47,9% - ocenę dobrą, a 1,0% - ocenę celującą. język polski matematyka Rysunek 7.2. Rozkład ocen nauczycieli na świadectwie ukończenia gimnazjum. Większość badanych nauczycieli na poziomie średnim uczyło się w liceum (89%), w tym najwięcej z nich w liceum ogólnokształcącym (78,1%), pozostali (10,9%) liceum zawodowym, technicznym, profilowanym lub uzupełniającym. Dodatkowo, wśród tych, którzy wskazali, że rozpoczęli naukę także w drugiej szkole, wskazali, iż było to liceum (ogólnokształcące 1,6%, pozostałe typy liceów stanowiły razem 0,6%). Tylko 0,7% ukończyło zasadniczą szkołę zawodową. Osobom badanym zadano pytanie: do jakich szkół uczęszczały po zakończeniu nauki na poziomie średnim (pytanie dotyczy wszystkich szkół, nawet tych, w których respondenci rozpoczęli naukę, lecz 148

149 jej nie ukończyli). Badani mieli do wyboru następujące typy szkół: szkoła pomaturalna, szkoła policealna, studia jednolite magisterskie, wyższe studia zawodowe (licencjat, inżynier), studia magisterskie uzupełniające, studia doktoranckie. Każdy nauczyciel mógł wybrać maksymalnie 6 szkół. Następnie badani wpisywali nazwę szkoły/uczelni i kierunek lub specjalność, rok rozpoczęcia i zakończenia szkoły, informację, czy szkoła była państwowa, czy prywatna, czy nauczała w trybie dziennym, zaocznym, czy wieczorowym oraz ocenę na dyplomie. W ten sposób powstały różne ścieżki edukacyjne charakterystyczne dla badanych nauczycieli nauczania początkowego. Większość badanych nauczycieli uczęszczało na studia magisterskie (93,1%), w tym jednolite studia magisterskie wskazało 43,6%, a studia magisterskie uzupełniające - 49,5%. 2,6% badanych nauczycieli (n=32) skończyło wyższe studia zawodowe i nie kontynuowało później nauki, zatem można przypuszczać, że posiadają wykształcenie wyższe zawodowe licencjat lub tytuł inżyniera. 3,3% osób badanych (n=40) zakończyło edukację na poziomie średnim. Rok ukończenia studiów magisterskich podało 86,4% wszystkich badanych nauczycieli, na tej podstawie można więc założyć, że co najmniej taki procent badanych ma wykształcenie wyższe magisterskie. Po wyłączeniu braków danych udało się wyróżnić typowe ścieżki edukacyjne. Najpopularniejsze z nich to: jednolite studia magisterskie nauczycieli (28,8%) szkoła pomaturalna, a następnie studia magisterskie uzupełniające nauczycieli (16%) i szkoła policealna, a następnie studia magisterskie uzupełniające - 30 nauczycieli (2,5%) razem 18,5% nauczycieli - w przypadku tej grupy badanych najczęściej podawaną szkołą pomaturalną/szkołą policealną było Studium nauczycielskie, a studia magisterskie uzupełniające oznaczają w tym przypadku zwykle 3-letnie uzupełniające studia na Wyższych Szkołach Pedagogicznych. Ścieżka ta dotyczy starszych nauczycieli, którzy studium nauczycielskie zaczynali w latach 70-tych lub 80-tych XX wieku. wyższe studia zawodowe (najczęściej licencjat), a następnie uzupełniające studia magisterskie 110 nauczycieli (9%) szkoła pomaturalna, następnie wyższe studia zawodowe (najczęściej licencjat), a później uzupełniające studia magisterskie 103 nauczycieli (8,5%) szkoła pomaturalna, a następnie jednolite studia magisterskie - 88 nauczycieli (7,2%) szkoła policealna (najczęściej Studium nauczycielskie), a następnie wyższe studia zawodowe ( licencjat) i uzupełniające magisterskie 21 nauczycieli (1,72%) szkoła policealna, a następnie jednolite studia magisterskie 21 nauczycieli (1,7%) wyższe studia zawodowe (licencjat) - 19 nauczycieli (1,6%) szkoła pomaturalna - 16 osób (1,3%) Pozostałe ścieżki dotyczyły bardzo małych grup nauczycieli (n<10), dlatego nie będą opisywane. Zdecydowana większość nauczycieli po szkole średniej uczyła się w szkołach publicznych (85,5%). Przy czym istotne różnice pojawiają się w podziale na typy szkół. Najwięcej szkół niepublicz- 149

150 nych skończyły osoby, które studiowały na wyższych szkołach zawodowych (22,7%), a następnie na studiach magisterskich uzupełniających (10,2%). Biorąc pod uwagę tryb studiów rozpoczętych przez badanych nauczycieli, to połowa respondentów studiowała na studiach zaocznych, 40% na studiach dziennych. Rozkład tej cechy różni się istotnie ze względu na rodzaj szkoły. Najwięcej, bo trzy czwarte studentów zaocznych było wśród osób studiujących na studiach magisterskich uzupełniających oraz na wyższych studiach zawodowych (64,6%). Analogicznie w trybie dziennym uczyło się przeszło trzy czwarte słuchaczy szkół pomaturalnych (78,5%) oraz 61,3% słuchaczy szkół policealnych. Wśród studentów jednolitych studiów magisterskich nieco ponad połowa (56,3%) uczyła się w trybie dziennym, a niespełna 40% w trybie zaocznym. Tabela 7.1. Typy szkół wyższych w podziale na tryb nauczania. Studia dzienne Studia zaoczne Studia wieczorowe Brak danych Ogółem N % N % N % N % Szkoła pomaturalna , ,4 5 1, Szkoła policealna 46 61, , ,3 75 Studia jednolite magisterskie Wyższe studia zawodowe (licencjat, inżynier) Studia magisterskie uzupełniające , ,4 2 0,5 17 3, , ,6 2 0, , ,2 2 0, ,4 584 Studia doktoranckie Brak danych 3 5, ,4 2 3, ,9 57 SUMA , ,1 16 0, , N= liczba wszystkich szkół wyższych do których uczęszczali badani nauczyciele Ponad połowa badanych nauczycieli zadeklarowała, iż rozpoczęła lub ukończyła studia podyplomowe (57,7%), z czego przeszło połowa wskazało jeden kierunek, 13% dwa kierunki, 3,2% trzy kierunki, 0,9% cztery kierunki Kariera zawodowa 76,1% osób zdobyło kwalifikacje pedagogiczne w trakcie studiów wyższych lub tuż po ich ukończeniu (73,3% w czasie studiów o specjalności nauczycielskiej, reszta kurs przygotowania pedagogicznego w trakcie lub po zakończeniu studiów). Prawie wszyscy nauczyciele zadeklarowali posiadanie stopnia awansu zawodowego (97%). Zdecydowana większość osiągnęła najwyższy stopień w hierarchii zawodowej tytuł nauczyciela dyplomowanego 61,8%, a znikoma liczba z nich posiada tytuł nauczyciela stażysty (1,2%), co nie jest wynikiem zaskakującym, biorąc pod uwagę strukturę wieku badanych nauczycieli. 150

151 Tabela 7.2. Stopnie awansu badanych nauczycieli. Stopień awansu zawodowego N % Stażysta 15 1,2 Kontraktowy 89 7,3 Mianowany ,3 Dyplomowany ,8 Brak stopnia awansu 36 3 Brak informacji o stopniu awansu 90 7,4 Suma Jak wynika z danych SIO w populacji nauczycieli klas I-III w roku ,6% osób miało stopień nauczyciela dyplomowanego, 26,3% - mianowanego, 17,6% - kontraktowego, 3,8% - stażystę, a 0,6% stanowili nauczyciele nie posiadający stopnia awansu zawodowego. Zatem badana próba nauczycieli nieco odróżnia się od populacji i odznacza się większym odsetkiem osób o najwyższym stopniu awansu nauczyciela dyplomowanego, co jest spójne z wynikiem pokazującym, że w badanej próbie jest więcej niż w populacji nauczycieli edukacji wczesnoszkolnej osób w wieku 40 lat. Jeśli prześledzić ścieżki awansu zawodowego badanych nauczycieli, to najczęściej pojawiającą się opcją było osiągnięcie od razu stopnia nauczyciela dyplomowanego 38,1% osób zadeklarowało posiadanie tylko tego stopnia awansu. Taka ścieżka dotyczy nauczycieli, którzy w momencie wprowadzenia obecnego systemu awansu zawodowego w 2000 roku byli zatrudnieni na podstawie mianowania i mogli starać się o najwyższy stopień nauczyciela dyplomowanego. Kolejną pod względem częstości pojawiania się w badaniach ścieżką awansu było osiągnięcie najpierw stopnia nauczyciela mianowanego, a następnie dyplomowanego 21,5%. Trzecią z kolei najczęściej pojawiającą się w badaniach opcją było osiągnięcie od razu stopnia nauczyciela mianowanego (16%). W każdym z tych trzech wypadków byli to w przeważającej mierze respondenci ze starszych kohort wiekowych, powyżej 40 roku życia. Stanowili oni odpowiednio 86,8%, 85% i 79,5% ww. kategorii. Niespełna 1% osób osiągnęło najwyższy stopień w hierarchii awansu zawodowego, przechodząc wszystkie stopnie po kolei. Wśród nauczycieli najmłodszych do 35 roku życia najwięcej jest osób, które mają stopień nauczyciela kontraktowego (49,7%). Badani nauczyciele długo pracują w zawodzie, 58,5% pracuje od 20 do 29 lat, 27,3% do 20 lat, a 13,4% powyżej 30 lat. W przeważającej mierze pracują oni w zawodzie od początku swojej kariery zawodowej. Jedynie wśród osób, które pracują od 10 do 19 lat jest o 3,2 % więcej osób, niż tych, którzy są od początku nauczycielami, podobna różnica występuję wśród tych, którzy pracują od lat (3% mniej nauczycieli pracujących od początku w zawodzie). Co oczywiste, istnieją istotne statystycznie różnice w doświadczeniu w zawodzie nauczyciela między osobami badanymi w różnym wieku (chi kwadrat=2423,546; df=40; p<0,05): starsi nauczyciele mają większe doświadczenie w zawodzie niż ich młodsi koledzy. Prawie połowa badanych (49%) miała dłuższe przerwy w pracy w szkole. Ich długość wahała się od 1 miesiąca do 28 lat, przy czym najczęściej nauczyciele opuszczali szkołę na rok (22,4%), dwa (15,6%) lub 3 lata (11,9%). Średnia długość przerwy w pracy w szkole wśród nauczycieli, którzy opuścili tymczasowo szkołę wyniosła ok. 22 miesiące. 151

152 7.2. Przekonania i postawy Zadowolenie z różnych dziedzin życia Respondentom zadawano pytanie o ocenę poziomu zadowolenia z poszczególnych dziedzin swojego życia, w tym również pracy i zaznaczenie odpowiedzi na skali od 1 bardzo zadowolony do 6 bardzo niezadowolony. Pytania te regularnie zadawane są Polakom w ramach badań Janusza Czapińskiego w Diagnozie Społecznej ( ). Skala ocen cząstkowych obejmuje 20 różnych dziedzin aktywności, zainteresowań i wymiarów życia przeciętnego człowieka. Można wśród nich wyróżnić aspekty: społeczne, materialne, zdrowotne, środowiskowe, materialne oraz inne, np.: związane z samooceną. Skala powstała z wszystkich 20 pytań odznacza się wysokim poziomem rzetelności (Alfa Cronbacha 0,874). Pytania układają się w jeden spójny czynnik określający zadowolenie z różnych dziedzin życia, wyjaśniający 33% wariancji. Polacy Nauczyciele Rysunek 7.3. Średnia zadowolenie z życia w rozbiciu na szczegółowe dziedziny (uwaga skala rekodowana tak, aby niższe wartości oznaczały niższe zadowolenie z danego obszaru: od najwyższego do najniższego) porównanie danych dot. nauczycieli edukacji wczesnoszkolnej z danymi dot. Polaków na podstawie Diagnozy społecznej, * dane dotyczące Polaków z 2009 r. Odpowiedzi udzielane przez badanych nauczycieli wskazują, iż są oni raczej zadowoleni z życia, podobnie jak reszta społeczeństwa zadowolenie przeważa nad niezadowoleniem w wypadku 15 obszarów. Jednakże średni poziom zadowolenia z życia jest wyższy wśród nauczycieli, niż wśród ogółu Polaków. Największe różnice w poziomie zadowolenia występują w wypadku zadowolenia ze swojego wykształcenia, pracy i osiągnięć życiowych. Natomiast nauczyciele są przeciętnie mniej zadowoleni 152

153 niż Polacy ogółem ze swojego małżeństwa. Warto zaznaczyć, iż pytanie o zadowolenie ze swojego życia seksualnego zostało odebrane przez część nauczycieli jako obraźliwe i niestosowne, co miało swój oddźwięk w mediach. W wypadku tego pytania aż 8,6% nauczycieli udzieliło odpowiedzi: nie dotyczy Skala Dominacji Społecznej Kwestionariusz dla nauczycieli zawierał Skalę Dominacji Społecznej (ODS) Jima Sidaniusa i Felicji Pratto (Pratto, Sidaniu, Stallowrth i Malle, 1994). Z założenia narzędzie to ma mierzyć tendencję ludzi do preferowania nierówności między grupami społecznymi, czyli w jakim stopniu uważają, że nierówności są naturalne dla struktury społecznej i pewnym grupom należy się więcej korzyści niż innym. Jak pokazują autorzy skali osoby o wysokim wskaźniku orientacji na dominację społeczną dążą do zachowania hierarchicznej struktury, w której jedne grupy dominują, inne są podporządkowane. Badania z użyciem tej skali pokazują, że pozwala ona trafnie określić postawy wobec obcych grup, zwłaszcza mniejszościowych. Skala Dominacji Społecznej jest narzędziem używanym również w Diagnozie Społecznej (wybrane 5 pytań w 2005 roku,4 pytania w 2011 roku). Na oryginalną skalę składa się 14 pytań i wszystkie umieszczono w opisywanym w niniejszym raporcie badaniu. Eksploracyjna analiza czynnikowa (test Kaisera-Mayera-Olkina 0,835) pokazała jednak, że wśród badanych nauczycieli odpowiedzi na pytania ze Skali Dominacji Społecznej układają się nie w jeden, a w dwa odrębne czynniki, które wspólnie wyjaśniają 44% wariancji wyników. Czynnik pierwszy obejmuje 7 twierdzeń charakterystycznych dla postawy egalitarnej i dlatego został przez nas określony jako orientacja na równość, natomiast na drugi czynnik składa się 7 kolejnych twierdzeń, które mówią o postrzeganej nierówności. Analiza rzetelności pokazała, że skala 7 twierdzeń składających się na czynnik orientacji na równość odznacza się dużą rzetelnością: Alfa Cronbacha 0,874. Skala wyjaśnia 57% wariancji wyników. Test Kaisera-Mayera-Olkina dla tej skali wynosi 0,862. Tabela 7.3. Macierz składowych dla skali orientacji na równość. Składowa 1 Powinniśmy zabiegać o większą równość ekonomiczną między ludźmi 0,717 Powinniśmy zabiegać o większą równość społeczną 0,772 Równość jest ważną wartością w moim życiu 0,799 Jeżeli wszyscy byliby równo traktowani, mielibyśmy mniej problemów społecznych 0,795 W idealnym świecie wszystkie narody byłyby sobie równe 0,730 Uważam, że powinniśmy traktować siebie nawzajem tak równo, jak to tylko możliwe 0,799 Uważam, że bardzo ważne jest, aby traktować inne narody na równi z własnym 0,689 Metoda wyodrębniania czynników - Głównych składowych. Kolejne 7 pytań wchodzących w skład czynnika postrzeganej nierówności nie okazało się rzetelną skalą: Alfa Cronbacha 0,524. W związku z niską rzetelnością skali usunięto z niej dwa pytania i ostatecznie powstała skala postrzeganej nierówności składająca się z 5 twierdzeń, co nieznacznie poprawiło wskaźnik rzetelności (Alfa Cronbacha 0, 588). 5-elementowa skala postrzeganej nierówności wyjaśnia 39% wariancji wyników i zawiera następujące twierdzenia: W każdym państwie pewne grupy ludzi są traktowane lepiej niż inne, 153

154 Niektórzy ludzie są bardziej wartościowi niż inni, W każdym kraju pewni ludzie są traktowani tak, jakby byli bardziej zasłużeni niż inni, Uważam, że w każdym państwie można wskazać ludzi lepszych i gorszych, Aby iść w życiu do przodu, czasami trzeba rozpychać się łokciami. Rozkład odpowiedzi na pytania dotyczące postrzeganej nierówności i pytania składające się na skalę orientacji na równość pokazuje, że postawa egalitarna jest powszechniejsza wśród nauczycieli od postrzegania nierówności. Postawę egalitarną (średnia ocena odpowiednich twierdzeń zawarta w przedziale od 4 raczej tak do 5 zdecydowanie tak) prezentuje 68,2% proc. respondentów, a postrzeganie nierówności (średnia ocena odpowiednich twierdzeń w przedziale od 4 raczej tak do 5 zdecydowanie tak) znacznie mniej 46% proc. Można zatem powiedzieć, że badani nauczyciele w większości opowiadają się za zabieganiem o większą równość społeczną, traktowaniem siebie nawzajem i innych narodów na równi, w nieco mniejszym stopniu za niwelowaniem różnic dochodowych, a rzadziej odmawiają niektórym ludziom i grupom prawa do szacunku, możliwości równego startu dla wszystkich oraz uważają, że w życiu czasami trzeba rozpychać się łokciami, aby iść do przodu. Trudno porównywać te dane z informacjami o postawach Polaków, ze względu na rozbieżności w konstrukcji skali w naszym badaniu i w Diagnozie Społecznej Charakterystyka rodziców badanych nauczycieli Pytania w ankiecie dotyczące zawodu, aktywności zawodowej i wykształcenia odnosiły się do sytuacji badanego, gdy miał on 14 lat. Miały one na celu określenie pochodzenia badanych nauczycieli, na ile dziedziczą oni po swoich rodzicach pozycję społeczną, a na ile ich wykształcenie i wykonywany zawód jest to efekt awansu społecznego. Pytania o wykształcenie i aktywność zawodową ojca były pytaniami zamkniętymi. Zdecydowana większość rodziców badanych nauczycieli miała stałą pracę 88,7% ojców i 78,7% matek. Przy czym znaczna część matek nie pracowała, gdyż zajmowała się domem i rodziną (12,7%). Struktura wykształcenia rodziców respondentów umiarkowanie różni się między sobą. Zdecydowanie większy był odsetek ojców, którzy posiadali wykształcenie zasadnicze zawodowe (32,9% wobec 19,8% matek) oraz średnie techniczne (23,8% wobec 18,4% matek). Zaś wśród matek więcej było osób, które z jednej strony miały wykształcenie podstawowe (20,7% wobec 14,5% ojców), a z drugiej średnie ogólnokształcące (12,6% wobec 5,8% ojców) i policealne lub pomaturalne (11,3% wobec 4,6 % ojców). W wypadku wykształcenia wyższego, odsetek obojga rodziców, którzy je posiadali był zbliżony (9,1% matek i 8,9% ojców). 154

155 MATKA % OJCIEC % Rysunek 7.4. Wykształcenie rodziców respondentów, gdy mieli oni 14 lat. Zestawiając ze sobą wykształcenie badanych nauczycieli z wykształceniem ich rodziców, można stwierdzić, iż zdecydowana większość badanych jest pierwszym pokoleniem w rodzinie z wyższym wykształceniem, co może świadczyć o awansie społecznym tej grupy zawodowej. Istotnym uzupełnieniem informacji o pochodzeniu społecznym nauczycieli są dane na temat zawodu ich rodziców, gdy badani mieli 14 lat. Zawód rodziców respondenta został zrekonstruowany w oparciu o trzy pytania otwarte. Respondent w pierwszej kolejności odpowiadał na pytanie, jaki zawód wykonywał jego ojciec i matka, następnie, czym zajmowali się oni w swojej pracy oraz jakie stanowiska zajmowali, dzięki czemu możliwe było w miar precyzyjne określenie zawodu rodziców badanego. Odpowiedzi zostały następnie zakodowane zgodnie z Międzynarodowym Standardem Klasyfikacji Zawodów (ISCO-08). Struktura klasyfikacji jest wynikiem grupowania poszczególnych zawodów i specjalności w grupy elementarne, a te z kolei w bardziej zagregowane grupy średnie, duże i wielkie, na podstawie podobieństwa kwalifikacji zawodowych wymaganych dla realizacji zadań danego zawodu (specjalności) z uwzględnieniem obydwu aspektów kwalifikacji, tj. ich poziomu i specjalizacji. Biorąc pod uwagę najbardziej elementarne grupy zawodów, wśród ojców badanych nauczycieli kategorię o najwyższej liczebności stanowili rolnicy upraw polowych i producenci warzyw (ISCO 6111, N=109, 8,5%), liczebności pozostałych grup zawodowych na tym poziomie były bardzo niskie. Analizując grupy średnie zawodów, obejmujące trzy poziomy klasyfikacji, poza ww. kategorią, najczęściej wskazywane były następujące zawody: kowale, ślusarze i pokrewni (ISCO 722 N=71, 5,8%), 155

156 kierowcy samochodów ciężarowych, kierowcy autobusów i motorniczowie tramwajów (ISCO 833, N=68, 5,6%) technicy nauk chemicznych i fizycznych (ISCO 311, N=58, 4,4%). Dominująca kategoria zawodowa, biorąc pod uwagę grupy duże (dwa poziomy) z klasyfikacji ISCO- 08, do której należeli ojcowie badanych nauczycieli, to kierownicy i operatorzy pojazdów (10,8%), rolnicy produkcji towarowej (10,6%), robotnicy obróbki metali, mechanicy maszyn i urządzeń i pokrewni (10,5%), średni personel nauk fizycznych, chemicznych i technicznych (9,7%), kierownicy do spraw produkcji i wyspecjalizowanych usług (6,6%), oraz robotnicy w przetwórstwie spożywczym, obróbce drewna, produkcji wyrobów włókienniczych, odzieży i pokrewni (5,3%). Nauczyciele, sklasyfikowani szeroko w kategorii nr 23 specjaliści nauczania i wychowania, obejmującej nauczycieli wszystkich poziomów edukacji w szkołach i placówkach pozaszkolnych, szkołach specjalnych, ale także wizytatorów i specjalistów metod nauczania i innych, stanowili niewielką grupę (3,2%). Tabela 7.4. Najczęściej wskazywane zawody ojców respondentów dla dużych grup zawodów. Nazwa zawodu wg klasyfikacji ISCO-08 Nr zawodu N % Kierowcy i operatorzy pojazdów ,80% Rolnicy produkcji towarowej ,60% Robotnicy obróbki metali, mechanicy maszyn i urządzeń i pokrewni ,50% Średni personel nauk fizycznych, chemicznych i technicznych ,70% Kierownicy do spraw produkcji i wyspecjalizowanych usług ,60% Robotnicy w przetwórstwie spożywczym, obróbce drewna, produkcji wyrobów włókienniczych, odzieży i pokrewni ,30% Specjaliści szkolnictwa ,20% Pozostali ,00% Brak danych ,30% SUMA 1215 Zawody, wykonywane przez matki respondentów dawały się wyodrębnić już na poziomie najbardziej elementarnych grup zawodów (4 poziomów ISCO). Niezwykle interesującą informacją, w kontekście pochodzenia badanych nauczycieli, jest fakt, iż najbardziej liczną kategorią zawodową wśród matek byli nauczyciele szkół podstawowych (9,2%). 156

157 Tabela 7.5. Najczęściej wskazywane zawody matek respondentów dla elementarnych grup zawodów. Nazwa zawodu wg klasyfikacji ISCO-88 Nr zawodu N % Nauczyciele szkół podstawowych ,2 Średni personel w zakresie rachunkowości ,1 Rolnicy upraw polowych i producenci warzyw Ekspedienci w sklepach ,5 Krawcy, kuśnierze i kapelusznicy ,5 Lekarze ,5 Rolnicy produkcji roślinnej i zwierzęcej ,4 Kierownicy w instytucjach edukacyjnych ,3 Kucharze ,2 Kierownicy sklepów ,5 Pozostali ,4 Brak danych ,5 Suma Z kolei biorąc pod uwagę nieco bardziej ogólne, duże grupy zawodów (dwa poziomy), dominacja specjalistów nauczania i wychowania wśród matek staje się jeszcze bardziej widoczna (13,6%), zwłaszcza gdy zestawimy ją z elementarną grupą nr 1345 kierownicy w instytucjach edukacyjnych, obejmującą dyrektorów szkół, dziekanów oraz kierowników warsztatów szkolnych (por. tab. 2). Okazuje się wówczas, iż 15,9% matek respondentów wykonywało zawód bardzo ściśle związany z pracą dydaktyczną w szkole lub nią kierowało. Znaczący odsetek matek stanowiły osoby zakwalifikowane jako średni personel w zakresie biznesu i administracji (13%), przy czym 70% tej kategorii zawodowej stanowiła specjalność średni personel w zakresie rachunkowości. Trzecią najczęściej występującą kategorią zawodową matek badanych nauczycieli stanowili rolnicy produkcji towarowej (11,9%). Tabela 7.6. Najczęściej wskazywane zawody matek respondentów dla dużych grup zawodów. Nazwa zawodu wg klasyfikacji ISCO-88 Nr zawodu N % Specjaliści nauczania i wychowania ,6 Średni personel w zakresie biznesu i administracji ,0 Rolnicy produkcji towarowej ,9 Sprzedawcy ,2 Robotnicy w przetwórstwie spożywczym, obróbce drewna, produkcji wyrobów włókienniczych, odzieży ,8 Pozostali ,4 Brak danych ,5 Suma Podsumowując rozważania na temat zawodu rodziców badanych nauczycieli, zauważalna jest różnica między matkami i ojcami. Ojcowie to w większości rolnicy i robotnicy. Natomiast zarówno wykształce- 157

158 nie, jak i zawody wykonywane przez matki są mniej jednolite, niż w wypadku ojców. Wśród matek więcej jest przedstawicieli zawodów tj.: pracownicy biurowi, średni personel i technicy, czy pracownicy usług osobistych i sprzedawcy. Zauważalny jest stosunkowo duży odsetek zawodów nauczycielskich wśród matek, co może świadczyć o przekazywaniu wzorców z pokolenia na pokolenie i wytworzeniu swego rodzaju tradycji nauczycielskich w rodzinie, dziedziczeniu zawodu na linii matka-córka. Ciekawych informacji dostarczają dane o zawodzie rodziców w zależności od wieku badanego nauczyciela. Analizy pokazały, iż są różnice w zawodzie ojców nauczycieli w zależności od wieku samych nauczycieli (chi kwadrat=97,611, df=72, p<0,05). Wśród młodszych nauczycieli, którzy w momencie badania byli w wieku lat, lat, lat, czyli tych, którzy mieli 14 lat od roku 1990 do 2005, odsetek ojców robotników i rolników jest najmniejszy w próbie. Test Chi-kwadrat nie wykazał takich istotnych statystycznie różnic w przypadku zawodu matek nauczycieli Rysunek 7.5. Zawód ojca według kategorii ISCO w podziale na wiek badanych nauczycieli Rysunek 7.6. Zawód matki według kategorii ISCO w podziale na wiek badanych nauczycieli Powyżej przedstawione dane ilustrujące różnice w wykształceniu oraz wykonywanym zawodzie rodziców badanych nauczycieli wynikają ze swoistości systemu szkolnego za czasów PRL oraz z odrębno- 158

159 ści typowych dróg kształcenia mężczyzn i kobiet. Jak zauważa Ireneusz Białecki (2003), w tym okresie nastąpiło zrównanie szans na kształcenie kobiet i mężczyzn, przy czym był to raczej efekt uboczny, niż świadoma polityka władz. W latach 50-tych i 60-tych nastąpił szybki rozwój zasadniczych szkół zawodowych. Przygotowywały one robotników wykwalifikowanych przemysłu ciężkiego, określanych wówczas elitą klasy robotniczej i stanowiły atrakcyjną drogę kształcenia dla uczniów pochodzenia robotniczego i chłopskiego. Była to jednak oferta kształcenia i pracy niemal wyłącznie dla mężczyzn. (Białecki, 2003). Jednocześnie pojawiła się przestrzeń dla kobiet, zwłaszcza dla tych ze słabiej wykształconych środowisk, które, jak pisze Białecki, aby zdobyć wykształcenie w zawodach uznawanych za typowo kobiece musiały kształcić się dłużej. Dotyczyło to zawodu nauczycielki, obok pielęgniarki, księgowej i innych związanych z pracą biurową w usługach i administracji: W ten sposób w kolejnych coraz młodszych grupach wiekowych, uczniowie ze słabo wykształconych środowisk coraz częściej kończyli kształcenie na zasadniczych szkołach zawodowych, natomiast uczennice z podobnych rodzin (o podobnym wykształceniu rodziców) kształciły się dłużej.. W konsekwencji coraz więcej kobiet o wykształceniu niepełnym średnim wybierało licea, a następnie podejmowało studia często na kierunkach nauczycielskich, jak podkreśla Białecki Krótka charakterystyka wychowawców badanych klas Spośród 289 nauczycieli wychowawców badanych klas, 99% stanowiły kobiety. W grupie tej było tylko 3 mężczyzn. Wśród wychowawców było 6 osób bez stopnia awansu zawodowego (2,1%), 2 stażystów (0,7%), 14 nauczycieli kontraktowych (4,8%), 60 nauczycieli mianowanych (20,8%) i 182 nauczycieli dyplomowanych (63%). Wiek wychowawców przedstawiono w tab.13. Tabela 7.7. Wiek wychowawców. Wiek nauczycieli wychowawców N % lat 2 0, lat 9 3, lat 18 6, lat 31 10, lat 92 32, lat 85 29, lat 41 14, lat 5 1,7 61 lat i więcej 3 1,0 Suma ,0 60,9% wychowawców badanych klas miało w momencie przeprowadzania badania lat doświadczenia w zawodzie nauczyciela, 18% miało lat doświadczenia, a 12% lat doświadczenia. W zakresie innych opisywanych wyżej zmiennych nauczyciele wychowawcy również nie różnią się od wszystkich 1215 badanych nauczycieli edukacji wczesnoszkolnej Charakterystyki nauczyciela a wyniki uczniów w testach Do klasycznych już analiz dotyczących czynników leżących po stronie szkoły wpływających na osiągnięcia szkolne uczniów należą badania prowadzone przez Erica Hanushka i Stevena Rivkina (2003). 159

160 Autorzy pokazuję, że jeśli średni roczny przyrost wiedzy ucznia (mierzony postępem w standaryzowanych testach) uznamy za odpowiednik jednej klasy, to dobry nauczyciel osiąga u swoich uczniów przeciętnie przyrost odpowiadający 1,5 klasy w ciągu roku szkolnego, a zły tylko 0,5 klasy. Hanushek i Rivkin definiują dobrego nauczyciela jako tego, który osiąga wysoki przyrost osiągnięć edukacyjnych uczniów, a złego jako tego, który osiąga niski (odpowiednio górne 15 i dolne 15 centyli). Zdaniem autorów różnice w oddziaływaniu poszczególnych nauczycieli na efekty edukacyjne uczniów są trwałe i kumulują się w czasie: posiadanie dobrych nauczycieli (jedno odchylenie standardowe powyżej średniej albo powyżej 85. centyla) przez 5 kolejnych lat pozwala nadrobić różnice w osiągnięciach szkolnych w matematyce pomiędzy dziećmi z rodzin o wysokim i niskim statusie społecznoekonomicznym. Z badań Hanushka wynika, że bardzo trudno stwierdzić, jakie charakterystyki nauczyciela sprawiają, że jest on efektywny. Wyniki zespołu Hanushka pokazują, że nieistotne są takie czynniki jak rodzaj posiadanego wykształcenia czy doświadczenie zawodowe nauczyciela. W prezentowanych poniżej analizach staramy się zweryfikować zależność pomiędzy charakterystyką nauczyciela a rezultatami, jakie osiągają jego uczniowie w testach Metodologia Prezentowane w tej części rozdziału analizy opierają się o metodę regresji wielopoziomowej, w której na poziomie pierwszym znajdują się zmienne dotyczące ucznia, na poziomie drugim całej klasy, a na poziomie trzecim szkoły. Analizy wykonywano w programie HLM w wersji Zmienną zależną stanowią w każdym wypadku kolejno wyniki testów osiągnięć z matematyki, czytania oraz pisania, w każdym przypadku estymowane metodą plausible values (dokładny opis rozdział X.x) oraz ważone według metodologii opisanej we wcześniejszych rozdziałach (X.x). Analiza przebiega etapowo: w pierwszym etapie wykonywany jest model zerowy, który uwzględnia jedynie, że badani przynależą do klas, a klasy do szkół, zaś każda z tych jednostek ma swoją średnią, co już pozwala wyjaśniać zmienność wyników, z kolei statystyki dotyczące niewyjaśnionej w ten sposób wariancji są punktem odniesienia dla wyników uzyskanych w kolejnych etapach. W kroku drugim do analizy włączano zmienne dotyczące całej klasy (czyli zmienne nauczycielskie). Dopiero w trzecim kroku do analizy dołączono zmienne, które poprzednio zidentyfikowane zostały jako istotne predyktory wyniku testowego na poziomie ucznia (szczegółowy opis znajduje się w rozdziale X.x). Porównanie tych trzech modeli pozwalało ustalać naturę i siłę zależności pomiędzy mierzonymi zmiennymi. Wszystkie analizy wykonywano jedynie dla nauczycieli, którzy byli wychowawcami badanych klas tylko taka relacja nauczyciela do klasy zapewniała możliwość sensownej interpretacji wyników (wychowawca może istotnie oddziaływać na swoją klasę, spędza z nią najwięcej czasu). Za bazę do wykonanych tu analiz posłużyła podgrupa badanych dzieci (oraz ich nauczycieli) która posiadała dane w zakresie wszystkich omawianych niżej zmiennych nauczycielskich oraz wyniki testowe. W przypadku matematyki warunek ten spełniało 3561 uczniów z 222 klas i 154 szkół, a w przypadku pisania i czytania 3506 uczniów z 222 klas i 154 szkół Doświadczenie nauczyciela W kwestionariuszu nauczycielskim znalazły się pytania dotyczące doświadczenia zawodowego nauczyciela: stażu pracy w ogóle, stażu pracy w zawodzie nauczyciela, stażu pracy w klasach 1-3, czy stażu pracy w obecnej szkole. Poza tym nauczyciele pytani byli o zdobyte stopnie awansu zawodo- 160

161 wego. Pytania o staż pracy w zawodzie nauczyciela oraz zdobyty stopień awansu zawodowego posłużyły za środek do weryfikacji hipotezy o związku doświadczenia nauczyciela oraz efektów kształcenia uczniów Matematyka Zmienną zależną w pierwszym modelu były wyniki testu matematycznego (szczegółowo opisanego w rozdziale 4). Zbiorcze wyniki przedstawia tabela 14. Tabela 7,8, Umiejętności matematyczne w kontekście doświadczenia nauczyciela, Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności matematycznych Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena Wiek dziecka w tygodniach Opóźniony tok nauki Przyspieszony tok nauki Indeks zasobów gospodarstw domowych (1) (2) (3) (4) (5) 0,530 (0,020) 0,069 (0,014) -15,79 (2,42) 5,39 (3,67) 0,111 (0,019) Wykształcenie rodziców: średnie b 3,39 (0,762) Wykształcenie rodziców: 3,45 pomaturalne lub licencjackie b (0,799) Wykształcenie rodziców: 7,07 wyższe magisterskie, dr lub prof, b Stała Poziom klasy Lata pracy w zawodzie nauczyciela Stopień awansu zawodowego: bez stopnia Stopień awansu zawodowego: Stażysta Stopień awansu zawodowego: Kontraktowy Stopień awansu zawodowego: Mianowany Oszacowanie efektów losowych 98,64 (0,52) 98,92 (1,57) -0,011 (0,060) 99,17 (0,59) -0,399 (2,95) -1,14 (2,71) -0,060 (1,67) -1,84 (1,14) 99,49 (2,05) -0,012 (0,080) -0,596 (3,20) -1,28 (2,97) -0,285 (2,17) -1,85 (1,13) (0,851) -4,70 (8,54) -0,013 (0,050) -3,98 (2,95) -4,49 (3,08) 1,06 (1,37) -1,23 (0,83) Wariancja efektów szkół 12,85 12,84 11,83 11,87 7,10 Wariancja efektów oddziałów klasowych 6,77 6,76 6,91 6,88 1,40 Wariancja na poziomie ucznia 204,86 204,87 204,86 204,85 117,01 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie 161

162 pseudo R ,000 0,004 0,004 0,441 pseudo R 2 (p3) -- 0,001 0,079 0,076 0,447 pseudo R 2 (p2) -- 0,000-0,021-0,016 0,793 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,429 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: stopień nauczyciela dyplomowanego W pierwszym kroku do modelu pustego, uwzględniającego jedynie zróżnicowanie na klasy i szkoły dołączyliśmy informację o stażu pracy w zawodzie nauczyciela wychowawcy klasy, do której należały badane dzieci. Zarówno sam współczynnik kierunkowy zmiennej stażu pracy, jak i wskaźnik dopasowania modelu wskazują, że informacja o stażu nie pomaga nam lepiej przewidywać wyników uczniów w dziedzinie matematyki. Alternatywnym ujęciem doświadczenia nauczyciela mógłby być stopień awansu. W kroku trzecim zamiast doświadczenia dodaliśmy zatem zmienne pozwalające ustalić jakim stopniem awansu zawodowego charakteryzował się wychowawca danej klasy (poziomem odniesienia była najliczniejsza grupa wychowawców ze stopniem nauczyciela dyplomowanego). Podobnie jak sam staż, również informacja o stopniu awansu nauczyciela nie wnosi do modelu istotnej poprawy w jego mocy przewidywania. Co prawda współczynniki kierunkowe wskazywać by mogły na ogólnie słabsze osiągnięcia klas w których uczą nauczyciele o stopniu niższym od dyplomowanego, ale zróżnicowanie wśród tych grup, wyrażające się błędami standardowymi jest na tyle duże, że uniemożliwia wyciąganie sensownych wniosków. Kolejna hipoteza, której sensowność zweryfikowano w czwartym kroku / modelu mówiła o tym, że rozpatrywanie łączne stażu pracy w zawodzie oraz stopnia awansu nauczyciela może dostarczyć nowych informacji pozwoli bowiem w ramach modelu wytrącić ze zmiennej oznaczającej stopień awansu wariancję związaną z wiekiem i vice versa, w ten sposób pokazując czysty wpływ obydwu zmiennych. Również i takie ujęcie kończy się jednak brakiem istotności wszystkich wprowadzonych predyktorów oraz brakiem poprawy dopasowania modelu. Końcowa hipoteza, którą weryfikował model 5 dotyczyła znaczenia doświadczenia nauczyciela (mierzonego łącznie stopniem awansu oraz stażem pracy w zawodzie) przy kontroli istotnych zmiennych indywidualnych (na poziomie ucznia) przewidujących wyniki testu z matematyki. Może być bowiem tak, że zależności z doświadczeniem nie da się zauważyć ze względu na szum, jaki w danych tworzą różnice indywidualne uczniów. Wprowadzenie dodatkowych zmiennych skutkuje oczywiście olbrzymim wzrostem dopasowania modelu i jego mocy predykcyjnej, jednak kluczowe dla sprawdzenia hipotezy wskaźniki doświadczenia nauczyciela pozostają nieistotne. Podsumowując wszystkie cztery hipotezy wskazujące (w różny sposób) na zależność pomiędzy doświadczeniem nauczyciela a wynikami uczniów w teście matematycznym w świetle uzyskanych danych należy odrzucić, a w to miejsce przyjąć hipotezę zerową o braku związku pomiędzy doświadczeniem nauczyciela a kompetencjami matematycznymi uczniów Czytanie Wyniki analogicznych analiz w odniesieniu do umiejętności czytania przedstawia poniższa tabela 15. Tabela 7.9. Umiejętność czytania w kontekście doświadczenia nauczyciela, Wyniki trzypoziomowych analiz regresji, 162

163 modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności czytania Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena (1) (2) (3) (4) (5) 0,404 (0,019) 3,40 Płeć dziecka a (0,565) 0,072 (0,016) -9,92 (2,52) 3,42 (3,56) 0,034 Wiek dziecka w tygodniach Opóźniony tok nauki Przyspieszony tok nauki HISEI Indeks zasobów gospodarstw domowych (0,021) 0,127 (0,022) Wykształcenie rodziców: średnie b 2,11 (0,888) Wykształcenie rodziców: 3,86 pomaturalne lub licencjackie b (1,06) Wykształcenie rodziców: 6,58 wyższe magisterskie, dr lub prof, b Stała Poziom klasy Lata pracy w zawodzie nauczyciela Stopień awansu zawodowego: bez stopnia Stopień awansu zawodowego: stażysta Stopień awansu zawodowego: kontraktowy Stopień awansu zawodowego: mianowany Oszacowanie efektów losowych 98,92 (0,52) 98,76 (1,55) 0,006 (0,062) 99,20 (0,59) -0,522 (3,51) -1,25 (3,44) -1,53 (1,97) -0,631 (1,14) 99,99 (1,92) -0,031 (0,074) -0,997 (3,61) -1,62 (3,67) -2,09 (2,29) -0,642 (1,13) (1,30) 1,97 (9,77) -0,017 (0,051) -4,01 (3,52) -4,45 (3,56) -1,05 (1,73) -0,244 (0,874) Wariancja efektów szkół 13,85 13,82 13,37 13,62 7,33 Wariancja efektów oddziałów klasowych 3,82 3,84 3,98 3,77 0,86 Wariancja na poziomie ucznia 206,67 206,67 206,67 206,66 141,38 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,000 0,001 0,001 0,333 pseudo R 2 (p3) -- 0,002 0,035 0,017 0,471 pseudo R 2 (p2) -- -0,005-0,041 0,014 0,776 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,316 Liczba uczniów

164 Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: wychowawcy ze stopniem nauczyciela dyplomowanego Wykonane analizy testujące analogiczne jak w przypadku matematyki hipotezy dały analogiczne rezultaty: doświadczenie wychowawcy mierzone liczbą lat przepracowanych w zawodzie nauczyciela oraz stopniem awansu zawodowego nie sprawdzają się jako predyktory wyników uczniów w teście czytania. Podobnie jak w przypadku umiejętności matematycznych tak i tutaj nie ma podstaw do odrzucenia hipotezy zerowej, głoszącej, że nie ma związku pomiędzy stażem pracy nauczyciela oraz jego stopniem awansu a wynikami uczniów w dziedzinie czytania Pisanie Ostatnią serię analiz dla testu umiejętności pisania przedstawia tabela 16. Tabela Umiejętność pisania w kontekście doświadczenia nauczyciela. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności pisania Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena (1) (2) (3) (4) (5) 0,452 (0,017) 5,47 Płeć dziecka a (0,517) 0,089 (0,015) -12,59 (2,21) 5,40 (2,18) 0,060 Wiek dziecka w tygodniach Opóźniony tok nauki Przyspieszony tok nauki HISEI Indeks zasobów gospodarstw domowych (0,020) 0,123 (0,023) Wykształcenie rodziców: 3,28 średnie b (0,754) Wykształcenie rodziców: 4,82 pomaturalne lub licencjackie b (1,05) Wykształcenie rodziców: 5,94 wyższe magisterskie, dr lub prof. b (1,06) Stała Poziom klasy 98,64 (0,57) 98,49 (1,62) 98,97 (0,705) 98,96 (2,25) -14,96 (9,27) Lata pracy w zawodzie nauczyciela 0,006 (0,062) 0,000 (0,083) 0,022 (0,055) Stopień awansu zawodowe- -1,09-1,08-4,69 164

165 go: (3,89) (4,05) (4,25) bez stopnia c Stopień awansu zawodowego: 1,67 stażysta c (2,55) Stopień awansu zawodowego: -0,380 kontraktowy c (1,68) Stopień awansu zawodowego: -1,05 mianowany c (1,14) 1,67 (2,66) -0,37 (2,24) -1,05 (1,13) -0,627 (2,45) 0,995 (1,62) -0,814 (0,841) Oszacowanie efektów losowych Wariancja efektów szkół 18,19 18,13 17,67 17,65 5,11 Wariancja efektów oddziałów klasowych Wariancja na poziomie ucznia 3,84 3,88 3,95 3,95 2,79 204,75 204,75 204,74 204,74 121,32 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,000 0,002 0,002 0,430 pseudo R 2 (p3) -- 0,003 0,028 0,030 0,719 pseudo R 2 (p2) -- 0,000-0,018-0,019 0,281 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,407 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: wychowawcy ze stopniem nauczyciela dyplomowanego Zastosowane analizy również w przypadku kompetencji pisania dają analogiczne jak w przypadku poprzednich dwóch umiejętności, dlatego nie będą jeszcze raz omawiane. Krótko mówiąc: zmienne opisujące awans zawodowy oraz staż pracy nauczyciela nie nadają się do przewidywania żadnego z trzech wyników testowych Zmienne psychologiczne Kolejnym obszarem naszego zainteresowania są opisane już wcześniej zmienne psychologiczne: skala poczucia szczęścia oraz Skala Dominacji Społecznej (SDO) podzielona na dwa wymiary: orientacji na równość oraz postrzeganej nierówności. Podobnie jak w przypadku wskaźników doświadczenia zawodowego postawiliśmy hipotezę o możliwym związku wyników nauczyciela na tych skalach oraz wyników jego podopiecznych w testach kompetencji matematycznych, czytania oraz pisania. W przypadku skali szczęścia do postawienia takich hipotez dostarczała już nawet sama konstrukcja kwestionariusza: wśród pozycji składających się na skalę szczęścia były np. takie, które odnosiły się 165

166 do zadowolenia ze swoich osiągnięć życiowych, czy z pracy w tym sensie to co dzieje się w klasie mogło być składnikiem mierzonego szczęścia. Możliwe są również zależności w drugą stronę w końcu przyjmując popularne w koncepcjach ekologicznych (np. Bronfenbrenner, 1979) założenie o współzależności pod-systemów ludzkiego życia można oczekiwać, że osoba szczęśliwa, zadowolona ze swojego życia będzie efektywniejsza od osoby, która czuje się nieszczęśliwa. W przypadku bloku pytań odnoszących się do Teorii Dominacji Społecznej również można wskazać pozycje, które uzasadniają stawianie hipotez mówiących o związku: przecież inaczej uczyć mogą nauczyciele, którzy uważają, że niektórzy ludzie są bardziej wartościowi niż inni, od takich, którzy są przeciwnego zdania Ci pierwsi mogą na przykład szybciej dawać za wygraną w stosunku do uczniów słabszych w końcu jeśli uważa się, że niektórzy ludzie są bardziej wartościowi niż inni i już, to szkoda czasu na daremne próby zmiany tego stanu rzeczy. Aby zweryfikować nasze hipotezy wykonaliśmy podobną do poprzedniej serię analiz regresji w modelu trójpoziomowym, z poziomem ucznia, klasy i szkoły. W kroku pierwszym rozpatrywaliśmy model pusty (identyczny z już omówionym przy okazji związków z doświadczenie nauczyciela), następnie wpływ indywidualny zmiennych psychologicznych i wkońcu wpływ w kontekście zmiennych opisujących uczniów (można powiedzieć, że ten ostatni krok służył wyłączeniu różnic indywidualnych uczniów) Matematyka W pierwszej kolejności skupiliśmy się na wynikach testu matematycznego. Zbiorcze wyniki analiz przedstawia tabela 17. Tabela Umiejętności matematyczne w kontekście zmiennych psychologicznych dotyczących wychowawcy. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności matematycznych Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena Wiek dziecka w tygodniach Opóźniony tok nauki Przyspieszony tok nauki Indeks zasobów gospodarstw domowych (1) (2) (3) (4) (5) 0,529 (0,020) 0,070 (0,014) -15,91 (2,41) 5,36 (3,84) 0,109 (0,019) Wykształcenie rodziców: średnie b 3,40 (0,759) Wykształcenie rodziców: 3,51 pomaturalne lub licencjackie b (0,797) Wykształcenie rodziców: 7,08 wyższe magisterskie, dr lub prof. b Stała 98,64 (0,52) 98,65 (0,522) 98,67 (0,528) 98,68 (0,523) (0,837) -5,63 (8,48) 166

167 Poziom klasy Skala poczucia szczęścia Wskaźnik orientacji na równość Wskaźnik postrzeganej nierówności Oszacowanie efektów losowych 0,588 (0,519) -0,367 (0,433) 0,669 (0,482) 0,411 (0,514) -0,340 (0,420) 0,569 (0,486) 0,145 (0,367) 0,007 (0,328) 0,461 (0,323) Wariancja efektów szkół 12,85 12,65 13,40 13,14 8,30 Wariancja efektów oddziałów klasowych 6,77 6,70 5,77 5,89 0,89 Wariancja na poziomie ucznia 204,86 204,86 204,92 204,91 117,07 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,001 0,002 0,002 0,438 pseudo R 2 (p3) -- 0,016-0,043-0,023 0,354 pseudo R 2 (p2) -- 0,010 0,148 0,129 0,869 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,429 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Wprowadzona w kroku pierwszym zmienna opisywała wynik na skali szczęścia. Wynik opisany był na skali gdzie 0 oznaczało przeciętne zadowolenie, a odchylenie standardowe wynosiło 1. Wzrost o jedno odchylenie standardowe na skali szczęścia wiązał się ze wzrostem przeciętnego wyniku w klasie o zaledwie ok. pół punktu na skali kompetencji matematycznych, przy jednoczesnym błędzie standardowym przekraczającym pół punktu w sytuacji takiej parametr ten był daleki od osiągniecia progu istotności statystycznej. Oznacza to, że biorąc pod uwagę tylko poziom zadowolenia nauczycieli nie można powiedzieć, że pomiędzy nauczycielami zadowolonymi bardziej i mniej istnieją różnice w poziomie kompetencji matematycznych ich wychowanków. Podobne rezultaty otrzymujemy po wprowadzeniu wskaźnika orientacji na równość oraz postrzeganej nierówności błędy standardowe przewyższają lub są bliskie samym współczynnikom oddziaływania, w związku z czym oba wskaźniki są nieistotne. Nie jesteśmy uprawnieni zatem do rozpatrywania nawet znaków kierunkowych współczynników (które różnią się). Model trzeci łączy obie te zmienne w jednym zestawieniu. Gdyby były one ze sobą związane, to model taki mógłby pokazać wpływ jednej zmiennej, poprzednio maskowany przez tą drugą. Okazuje się jednak, że nic takiego nie ma miejsca: znaki zależności oraz wielkość współczynników zmniejszają się w stopniu nieznaczym, sprawiając, że siłą oddziaływania rozpatrywanych skal wydaje się jeszcze mniejsza niż poprzednio (choć to oczywiście złudne, biorąc pod uwagę wielkość błędów standardowych mamy raczej do czynienia z sytuacją zupełny brak związku vs zupełny brak związku, więc trudno mówić o większym braku ). 167

168 Eliminacja obcej wariancji byłą tropem, który zdecydował o dodaniu w ostatnim kroku wszystkich zmiennych z poziomu indywidualnego, o których wiemy, że mają bardzo duży wpływ na osiągnięcia uczniów. W ten sposób wyniki klas zostały oczyszczone z wpływu zróżnicowania uczniów. W takiej sytuacji możliwe jest odnotowanie istotnych wpływów innych, słabszych zmiennych (o ile nie są silnie skorelowane ze zmiennymi wprowadzanymi). W omawianym przypadku tak jednak nie jest. Jedyne co obserwujemy to dalsze zmniejszenie współczynników, do poziomu bliskiego zeru, oczywiście wszystkie trzy są w tej sytuacji nieistotne statystycznie Czytanie Wyniki analogicznej analizy w odniesieniu do umiejętności czytania przedstawia poniższa tabela Tabela Umiejętność czytania w kontekście zmiennych psychologicznych dotyczących wychowawcy, Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności czytania (1) (2) (3) (4) (5) Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena (0.020) Płeć dziecka a 3.43 (0.564) Wiek dziecka w tygodniach (0.016) Opóźniony tok nauki (2.53) Przyspieszony tok nauki 3.34 (3.69) HISEI (0.021) Indeks zasobów gospodarstw domowych (0.022) Wykształcenie rodziców: 2.13 średnie b (0.889) Wykształcenie rodziców: 3.89 pomaturalne lub licencjackie b (1.06) Wykształcenie rodziców: 6.55 wyższe magisterskie, dr lub prof, b (1.29) Stała 98, (0,52) (0.504) (0.516) (0.503) (9.62) Poziom klasy Skala poczucia szczęścia Wskaźnik orientacji na równość (0.523) (0.426) (0.488) (0.505) (0.411) (0.479) (0.473) (0.338) (0.359) Wskaźnik postrzeganej nierówności Oszacowanie efektów losowych Wariancja efektów szkół 13,85 13,11 13,59 12,97 7,14 Wariancja efektów oddziałów klasowych 3,82 3,85 3,80 3,87 1,00 168

169 Wariancja na poziomie ucznia 206,67 206,65 206,69 206,66 141,29 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,003 0,001 0,004 0,334 pseudo R 2 (p3) -- 0,053 0,019 0,064 0,485 pseudo R 2 (p2) -- -0,007 0,005-0,012 0,738 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,316 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe W drugim modelu, gdzie po raz pierwszy możemy zweryfikować hipotezę o współzależności wyników uczniów w skali czytania i poziomu szczęścia notujemy tendencję (p<0,1). Współczynnik kierunkowy jest dodatni i oznacza, że każde odchylenie standardowe na skali szczęścia nauczyciela wiązało się z wynikiem na skali szczęścia wyższym o niemal punkt. To niedużo (biorąc pod uwagę, że całkowite zróżnicowanie waha się pomiędzy wartościami i 4.46 można łatwo obliczyć, że pomiędzy klasą najbardziej nieszczęśliwego vs szczęśliwego wychowawcy moglibyśmy spodziewać się różnicy 5,7 punkta 1/3 odchylenia standardowego), ale byłby to wynik ciekawy poznawczo. Model trzeci każe wyciągnąć wnioski podobne do tych omawianych przy skali kompetencji matematycznych obserwujemy tu brak zależności pomiędzy orientacją na równość oraz postrzeganiem nierówności a wynikami wychowanków w skali czytania. Model czwarty wnosi nam jedynie nową informację o tym, że odnotowana w modelu drugim tendencja pozostaje tendencją nawet jeśli weźmiemy pod uwagę (nieistotne tak teraz, jak i poprzednio) wyniki we wskaźnikach SDO. Ostatecznym testem dla zależności jest jednak konfrontacja ze zmiennymi z modelu podstawowego. Okazuje się, że w ich kontekście wynik na skali szczęścia traci zupełnie na istotności do poziomu w którym nie wypada już wyciągać żadnych wniosków o związku i należy powiedzieć, że go nie ma. Konkluzja finalna jest zatem taka sama jak w przypadku kompetencji matematycznych: skale szczęścia i SDO nie wnoszą dodatkowej informacji pozwalającej przewidywać wyniki uczniów w skali czytania Pisanie Ostatnią serię analiz dla testu umiejętności pisania przedstawia tabela 19. Tabela Umiejętność pisania w kontekście zmiennych psychologicznych dotyczących wychowawcy. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów 169

170 standardowych Zmienna zależna: wynik testu umiejętności pisania (1) (2) (3) (4) (5) Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena 0,451 (0,017) Płeć dziecka a 5,50 (0,520) Wiek dziecka w tygodniach 0,089 (0,015) Opóźniony tok nauki -12,68 (2,20) Przyspieszony tok nauki 5,36 (2,31) HISEI 0,062 (0,021) Indeks zasobów gospodarstw domowych (0,023) 0,119 Wykształcenie rodziców: 3,30 średnie b (0,747) Wykształcenie rodziców: 4,86 pomaturalne lub licencjackie b (1,06) Wykształcenie rodziców: 5,92 wyższe magisterskie, dr lub prof. b (1,04) Stała 98,64 98,67 98,69 98,71-14,57 (0,57) (0,555) (0,556) (0,544) (8,87) Poziom klasy Skala poczucia szczęścia Wskaźnik orientacji na równość 1,02 (0,574) -0,229 (0,444) 0,833 (0,522) 0,835 (0,561) -0,183 (0,439) 0,635 (0,514) 0,524 (0,444) 0,285 (0,341) 0,693 (0,362) Wskaźnik postrzeganej nierówności Oszacowanie efektów losowych Wariancja efektów szkół 18,19 16,98 17,01 16,24 5,25 Wariancja efektów oddziałów kla- 3,84 4,00 3,99 4,13 2,40 sowych Wariancja na poziomie ucznia 204,75 204,74 204,79 204,77 121,31 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,004 0,007 0,431 pseudo R 2 (p3) -- 0,065 0,107 0,711 pseudo R 2 (p2) -- -0,039-0,075 0,375 pseudo R 2 (p1) -- 0,000 0,000 0,408 Liczba uczniów Liczba klas Liczba szkół

171 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, kursywą p < 0,1, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Podobnie jak w przypadku kompetencji czytania, tak i w przypadku pisania obserwujemy początkowo tendencję (p<0,1) pomiędzy skalą szczęścia a wynikami na skali pisania (przypomnijmy, że wyniki testów są skorelowane). Tendencja ma identyczny kierunek, wskazujący na to, że wychowawcy szczęśliwsi uczą w klasach, które mają nieco wyższe wyniki niż klasy wychowawców nieszczęśliwych. Skale SDO jak w poprzednich dwóch przypadkach nie mają żadnego znaczenia. Różnicę pomiędzy czytaniem i pisaniem znajdujemy w czwartym modelu, gdzie w przypadku czytania mieliśmy jeszcze do czynienia z utrzymującą się tendencją, a w przypadku pisania tendencji tej już nie obserwujemy. Wszystkie trzy wskaźniki są również nieistotne w zestawieniu ze zmiennymi opisującymi zróżnicowanie międzyuczniowskie ISCO Ostatni blok analiz miał na celu zweryfikować hipotezę o związku pochodzenia społecznego nauczyciela (wyrażonego poprzez zawód rodzica tego nauczyciela w momencie, kiedy miał on 14 lat, co może być wskaźniekiem statusu rodziny pochodzenia badanego nauczyciela) z wynikami jego uczniów. Zawody rodziców nauczycieli, zakodowane według klasyfikacji ISCO-08 zostały pogrupowane do grup wielkich, które z kolei zostały podzielone na trzy kategorie grupy wielkie 0-2, 3-5 oraz 6-9. Każdy badany posiadał kody ISCO dla ojca i matki, zatem dwie, trzykategorialne zmienne. Zostały one zrekodowane do zmiennych kukiełkowych (binarnych), za kategorię odniesienia w obu przypadkach przyjęto grupę zawodów z kategorii Matematyka W pierwszej kategorii przyjrzyjmy się zależności zawodu rodziców z kompetencjami matematycznymi dzieci. Tabela Umiejętności matematyczne w kontekście zawodu wykonywanego przez rodziców wychowawcy. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności matematycznych Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena Wiek dziecka w tygodniach Opóźniony tok nauki (1) (2) (3) (4) (5) (0.020) (0.013) (2.41) 171

172 Przyspieszony tok nauki 5.28 (3.76) Indeks zasobów gospodarstw domowych (0.019) Wykształcenie rodziców: 3.39 średnie b (0.767) Wykształcenie rodziców: 3.48 pomaturalne lub licencjackie b (0.802) Wykształcenie rodziców: 7.09 wyższe magisterskie, dr lub prof. b (0.854) Stała (0.52) (0.751) (0.647) (0.768) (8.36) Poziom klasy ISCO ojca wychowawcy: grupy duże (1.27) 1.21 (1.40) (1.08) ISCO ojca wychowawcy: grupy duże (0.975) (1.11) (0.814) ISCO matki wychowawcy: grupy duże (1.38) (1.57) (0.963) ISCO matki wychowawcy: grupy duże (0.975) (1.01) (0.717) Oszacowanie efektów losowych Wariancja efektów szkół ,79 13,18 13,03 8,52 Wariancja efektów oddziałów klasowych ,79 6,32 6,39 0,81 Wariancja na poziomie ucznia ,85 204,87 204,85 117,05 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,000 0,000 0,001 0,437 pseudo R 2 (p3) -- 0,005-0,026-0,014 0,337 pseudo R 2 (p2) -- -0,004 0,067 0,056 0,880 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,429 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: stopień nauczyciela dyplomowanego Modele pokazujące odizolowany wpływ zawodu matki/ojca (odpowiednio 2 i 3) pokazują brak wpływu tych zmiennych na wynik uczniów w teście matematycznym. Gdyby współczynniki te były istotne, to mielibyśmy do czynienia z dość ciekawą interakcją w obrębie najwyższej grupy zawodów, ale w związku z brakiem istotności (powiązanym z relatywnie dużym zróżnicowaniem w każdej z grup) rozważania na ten temat są bezpodstawne. Zmienne zestawione razem (model 4) charakteryzują się współczynnikami o jeszcze większych błędach standardowych, co oczywiście przekłada się również na brak istotności. 172

173 Model finalny (5), uwzględniający również zmienne indywidualne z poziomu ucznia (a więc niwelujący dużą część różnic indywidualnych w obrębie klas) nie wnosi do tego obrazu nic nowego zarówno zawód ojca i matki nauczycielki lub nauczyciela wydaje się pozostawać bez wyraźnego związku z wynikami uczniów w teście matematycznym Czytanie Tabela Umiejętność czytania w kontekście zmiennych opisujących rodzinę pochodzenia wychowawcy. W y- niki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności czytania (1) (2) (3) (4) (5) Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena 0,403 (0,020) Płeć dziecka a 3,42 (0,567) Wiek dziecka w tygodniach 0,073 (0,016) Opóźniony tok nauki -9,98 (2,52) Przyspieszony tok nauki 3,32 (3,57) HISEI 0,035 (0,021) Indeks zasobów gospodarstw domowych 0,126 (0,022) Wykształcenie rodziców: 2,14 średnie b (0,887) Wykształcenie rodziców: 3,87 pomaturalne lub licencjackie b (1,05) Wykształcenie rodziców: wyższe magisterskie, dr lub prof, b 6,55 Stała Poziom klasy ISCO ojca wychowawcy: grupy duże 0-2 ISCO ojca wychowawcy: grupy duże 3-5 ISCO matki wychowawcy: grupy duże 0-2 ISCO matki wychowawcy: 98,92 (0,52) 99,07 (0,798) 0,005 (1,26) -0,449 (0,970) 98,86 (0,623) 0,612 (1,27) -0,016 (0,984) 99,05 (0,797) 0,780 (1,27) 0,071 (1,15) -0,159 (1,41) -0,568 (1,03) (1,27) 1,45 (9,61) -0,621 (1,01) -0,253 (0,880) 0,699 (1,07) -0,577 (0,775) grupy duże 3-5 Oszacowanie efektów losowych Wariancja efektów szkół 13,85 13,79 14,00 13,86 7,81 Wariancja efektów oddziałów klasowych 3,82 3,82 3,67 3,71 0,83 Wariancja na poziomie ucznia 206,67 206,67 206,67 206,67 141,24 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0,

174 Podsumowanie pseudo R ,000 0,000 0,000 0,332 pseudo R 2 (p3) -- 0,004-0,011 0,000 0,436 pseudo R 2 (p2) -- -0,001 0,039 0,028 0,782 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,317 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: wychowawcy ze stopniem nauczyciela dyplomowanego Analogiczne analizy wykonane dla kompetencji w czytaniu przynoszą identyczne rezultaty obnażają brak związku pomiędzy zawodem rodziców wychowawczyni lub wychowawcy a wynikami uczniów w teście czytania Pisanie Tabela Umiejętność pisania w kontekście zmiennych psychologicznych dotyczących wychowawcy. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności pisania (1) (2) (3) (4) (5) Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena 0,451 (0,018) Płeć dziecka a 5,48 (0,522) Wiek dziecka w tygodniach 0,089 (0,015) Opóźniony tok nauki -12,65 (2,21) Przyspieszony tok nauki 5,37 (2,21) HISEI 0,061 (0,021) Indeks zasobów gospodarstw domowych 0,121 (0,023) Wykształcenie rodziców: 3,29 średnie b (0,759) Wykształcenie rodziców: 4,82 pomaturalne lub licencjackie b (1,05) Wykształcenie rodziców: wyższe magisterskie, dr lub prof, b 5,92 Stała Poziom klasy ISCO ojca wychowawcy: grupy duże ,64 (0,57) 98,83 (0,82) 98,57 (0,664) 98,80 (0,828) (1,05) -14,67 (8,80) 0,841 1,11-0,489 (1,26) (1,31) (1,02) ISCO ojca wychowawcy: -0,057 0,140 0,

175 grupy duże 3-5 (1,08) (1,20) (0,791) ISCO matki wychowawcy: grupy duże ,329 (1,34) -0,579 (1,47) 0,296 (1,08) ISCO matki wychowawcy: grupy duże ,376 (1,00) -0,555 (1,05) -0,615 (0,745) Oszacowanie efektów losowych Wariancja efektów szkół 18,19 18,09 18,32 18,01 7,34 Wariancja efektów oddziałów klasowych 3,84 3,87 3,67 3,79 1,41 Wariancja na poziomie ucznia 204,75 204,75 204,76 204,76 121,33 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,000 0,000 0,001 0,426 pseudo R 2 (p3) -- 0,005-0,007 0,010 0,596 pseudo R 2 (p2) -- -0,007 0,045 0,014 0,632 pseudo R 2 (p1) -- 0,000 0,000 0,000 0,407 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, kursywą p < 0,1, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: wychowawcy ze stopniem nauczyciela dyplomowanego Takimi samymi wnioskami należy skomentować trzeci i finalny blok analiz zawód ojca wychowawcy lub wychowawczyni nie ma związku z wynikami dzieci w teście pisania Podsumowanie Przeprowadzone analizy stanowią wyzwanie interpretacyjne. Z jednej strony nie udało się stwierdzić za wyjątkiem niewielkiej tendencji w przypadku skali szczęścia i wyników z testów czytania i pisania żadnych istotnych związków pomiędzy charakterystykami nauczyciela, a wynikami w testach jego uczniów. Dzieje się tak pomimo tego, że zbadana próba nauczycieli jest reprezentatywna dla nauczycieli klas I-III szkół podstawowych w Polce. Rezultat taki łatwo nadinterpretować mówiąc na przykład, że nauczyciele nie mają wpływu na wyniki swoich uczniów, że zależą one w większości od zmiennych indywidualnych, które wyjaśniają niemal połowę zmienności wyników (druga pozostaje nieznana), a nauczycielowi nic do tego. Do takich wniosków opisane tu analizy nie uprawniają. Wiemy tylko tyle, że zmienne które zbadaliśmy, a więc doświadczenie, stopień awansu, zawód rodziców nauczyciela oraz zmienne psychologiczne (skale SDO oraz szczęścia) nie wiążą się z wynikami jego wychowanków w testach. Warto w tym miejscu podkreślić, że nauczyciele w Polsce są grupą dość jednorodną i z opisywanych badań wynika podoby wniosek. Badani nauczyciele to głównie kobiety, z dużym doświadczeniem w zawodzie nauczyciela, o najwyższym możliwym stopniu awansu zawodowego, raczej zadowolone z różnych sfer życia i o tendencjach bardziej równościowych niż dominacyjnych. Jest to więc prawdopodobny powód, dla którego te zmienne nie różnicują efetywnywności nauczyciela wyrażonej w wynikach jego ucznia. 175

176 Związków ze zmiennymi z poziomu nauczycielskiego spodziewać się należy gdzie indziej - przede wszystkim w zmiennych wynikających z obserwacji tego, co nauczyciel robi, a więc obserwacji lekcji, którą prowadzi, jego pracy dydaktycznej. Literatura cytowana Białecki, I. (2003). Dostępność kształcenia na poziomie wyższym w Polsce, [w:] Raport szkolnictwie wyższym. Diagnoza staniu i strategia rozwoju, Biuletyn Biura Studiów i Ekspertyz, Kancelaria Sejmu, 2/46/2003. Bronfenbrenner, U. (1979). The Ecology of Human Development: Experiments by Nature and Design. Cambridge: Harvard University Press. Czapiński J., Panek T. (red.) (2011). Diagnoza społeczna [2011]. [ ]. Eurydice (2012). Kluczowe dane o edukacji w Europie. Warszawa: Fundacja Rozwoju Systemu Edukacji. Klasyfikacja zawodów i specjalności na potrzeby rynku pracy, Ministerstwo Pracy i Polityki Społecznej, Warszawa,

177 8. Używane podręczniki a wyniki nauczania (Kamila Hernik, Karolina Malinowska, Kamil Sijko) 8.1. Wstęp Jedno z pytań zadawane nauczycielom w ankiecie dotyczyło podręczników, które wykorzystują oni w pracy z dziećmi w klasach 0-3, w których uczą obecnie. Zostali oni poproszeni o podanie tytułu podręcznika głównego, wydawnictwa, nazwy pakietu edukacyjnego oraz informacji dotyczących materiałów pomocniczych w zerówce, klasie pierwszej, drugiej i trzeciej. Przedmiotem naszej analizy stały się jedynie podręczniki stosowane w klasie od pierwszej do trzeciej przez nauczycieli będących wychowawcami klas. Wśród analizowanych tytułów znalazło się 18 podręczników: Wesoła szkoła, Już w szkole, Ja i moja szkoła Świat ucznia, Z ekoludkiem w szkole, Szkoła marzeń, Razem w szkole, Raz, dwa, trzy, teraz my, Przygoda z komputerem, Przygoda z klasą, Odkrywam siebie, Od A do Z, Nasza klasa, Moje ABC, MAC Edukacja, Ja, ty, my, English adventure, Poznaję świat i wyrażam siebie. Podręczniki zostały zakodowane przy użyciu programu do jakościowej analizy tekstu MAXQDA. Największą popularnością wśród badanych nauczycieli cieszył się podręcznik Wesoła szkoła (116 wskazań, 42% 37 ), przed Już w szkole (60 wskazań, 22%) i Ja i moja szkoła (39 wskazań, 14%). Ostatecznie te trzy podręczniki zostały wybrane do analizy, z kolei pozostałe zostały uwzględnione w zbiorczej kategorii inne (59 wskazań, 22%). Należy podkreślić, że spośród 288 zbadanych wychowawców klas dane zwrotne otrzymaliśmy od 274 wychowawców, 14 wychowawców nie udzieliło na to pytanie odpowiedzi (5% ogółu). W celu weryfikacji hipotezy o związku stosowanego w klasie podręcznika z efektami kształcenia zastosowano metodę regresji wielopoziomowej. Analizy wykonywano w programie HLM w wersji Zmienną zależną stanowiły kolejno wyniki testów osiągnięć z matematyki, czytania oraz pisania, w każdym przypadku estymowane metodą plausible values (dokładny opis rozdział 4) oraz ważone według metodologii opisanej we wcześniejszych rozdziałach. Analiza w każdym przypadku przebiegała w trzech etapach: w pierwszym wykonywano model zerowy, który uwzględniał jedynie, że badani przynależą do klas, a klasy do szkół statystyki dotyczące niewyjaśnionej w ten sposób wariancji były punktem odniesienia dla wyników uzyskanych w kolejnych etapach. W kroku drugim do analizy włączano zmienne kukiełkowe (ang. dummy variables) oznaczające rodzaj stosowanego podręcznika. Dopiero w trzecim kroku do analizy dołączono zmienne, które poprzednio zidentyfikowane zostały jako istotne predyktory wyniku testowego na poziomie ucznia. Matematyka Zmienną zależną w pierwszym modelu były wyniki testu matematycznego (szczegółowo opisanego w rozdziale 4). Zbiorcze wyniki przedstawia tabela odsetki nieważone 177

178 Tabela 8.1. Umiejętności matematyczne w kontekście używanego podręcznika. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności matematycznych Model (1) Model (2) Model (3) Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena 0,529 (0,020) Wiek dziecka w tygodniach 0,071 (0,013) Opóźniony tok nauki -16,05 (2,41) Przyspieszony tok nauki 5,43 (3,78) Indeks zasobów gospodarstw domowych 0,110 (0,019) Wykształcenie rodziców: 3,37 średnie b (0,76) Wykształcenie rodziców: 3,48 pomaturalne lub licencjackie b (0,80) Wykształcenie rodziców: 7,07 wyższe magisterskie, dr lub prof. b (0,84) Stała 98,64 98,12-6,33 (0,52) (0,77) (8,41) Poziom klasy Podręcznik: Ja i moja szkoła -0,309 (1,43) -1,38 (0,87) Podręcznik: Już w szkole 0,228 (1,37) 0,20 (1,00) Podręcznik: Inny 2,66 (1,29) 0,82 (0,90) Oszacowanie efektów losowych Wariancja efektów szkół 12,85 12,34 8,62 Wariancja efektów oddziałów klasowych 6,77 6,28 0,634 Wariancja na poziomie ucznia 204,86 204,85 117,05 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,004 0,437 pseudo R 2 (p3) -- 0,040 0,329 pseudo R 2 (p2) -- 0,072 0,906 pseudo R 2 (p1) -- 0,000 0,429 Liczba uczniów Liczba klas Liczba szkół

179 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: klasy korzystające z podręcznika Wesoła szkoła (WSiP) Model drugi, który zawiera w sobie rodzaj używanego podręcznika jako zmienną różnicującą klasy okazuje się mieć lepsze dopasowanie od modelu pustego χ 2 (3)=9.31, p<0,05, pozwala wyjaśnić około 7% wariancji na poziomie klas oraz ok 4% na poziomie szkół (wiele szkół to szkoły jednoodziałowe). Jedyna zaobserwowana różnica dotyczy najpopularniejszego podręcznika Wesoła szkoła w kontrze do kategorii zbiorczej innych, mniej popularnych podręczników. Okazuje się, że mniej klasy w których stosowane są te mniej popularne podręczniki wypadają przeciętnie lepiej o 2.66 punkta i jest to różnica istotna statystycznie. Pozostałe dwa popularne podręczniki nie różnią się istotnie statystycznie od podręcznika najpopularniejszego. W kroku kolejnym dodano do modelu zmienne zidentyfikowane już wcześniej jako bardzo ważne predyktory wyników testowych. Ich włączenie spowodowało oczywiście drastyczne polepszenie właściwości modelu, ale co tutaj najważniejsze spowodowało również całkowite zniesienie zależności pomiędzy stosowanym w klasie podręcznikiem a wynikami z testu matematycznego Czytanie Wyniki analogicznej analizy w odniesieniu do umiejętności czytania przedstawia poniższa tabela 2. Tabela 8.2. Umiejętność czytania w kontekście używanego podręcznika. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności czytania Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena Płeć dzieckaa Wiek dziecka w tygodniach Opóźniony tok nauki Przyspieszony tok nauki HISEI Indeks zasobów gospodarstw domowych Wykształcenie rodziców: średnieb Wykształcenie rodziców: pomaturalne lub licencjackieb Wykształcenie rodziców: wyższe magisterskie, dr lub prof,b Model (1) Model (2) Model (3) 0,403 (0,020) 3,40 (0,56) 0,073 (0,016) -9,99 (2,53) 3,48 (3,58) 0,034 (0,021) 0,125 (0,022) 2,11 (0,88) 3,87 (1,06) 6,54 (1,29) 179

180 Stała Poziom klasy Podręcznik: Ja i moja szkoła Podręcznik: Już w szkole Podręcznik: 98,92 (0,52) 98,12 (0,72) 1,08 (1,43) 0,84 (1,32) 2,64 (1,29) 1,05 (9,63) 0,037 (0,900) 0,401 (0,999) 0,703 (1,010) Inny Oszacowanie efektów losowych Wariancja efektów szkół 13,85 13,11 7,75 Wariancja efektów oddziałów klasowych 3,82 3,66 1,03 Wariancja na poziomie ucznia 206,67 206,65 141,24 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R2 -- 0,004 0,331 pseudo R2 (p3) -- 0,053 0,440 pseudo R2 (p2) -- 0,042 0,730 pseudo R2 (p1) -- 0,000 0,317 Liczba uczniów Liczba klas Liczba szkół pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: klasy korzystające z podręcznika Wesoła szkoła (WSiP) Podobnie jak w przypadku umiejętności matematycznych, tak i w przypadku czytania obserwujemy, że dodanie informacji o podręczniku z jakiego korzystała klasa istotnie poprawia dopasowanie modelu, choć w tym wypadku w sposób nieistotny statystycznie χ 2 (3)=5.66, p>0,05, pomimo tego wyjaśniając ok. 4% wariancji na poziomie klas i 5% na poziomie szkół. Podobnie jak poprzednio jedyną istotną statystycznie różnicę w przeciętnych wynikach pomiędzy klasami stosującymi różne podręczniki widzimy w grupie podręczników rzadziej spotykanych, które w porównaniu do grupy odniesienia uzyskują wynik wyższy średnio o 2.64 punkta. Analogicznie do poprzedniego modelu podręczniki całkowicie tracą na znaczeniu kiedy w modelu uwzględni się kluczowe zmienne dotyczące uczniów Pisanie Ostatnią serię analiz dla testu umiejętności pisania przedstawia tabela

181 Tabela 8.3. Umiejętność pisania w kontekście używanego podręcznika. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych Zmienna zależna: wynik testu umiejętności pisania Model (1) Model (2) Model (3) Oszacowanie efektów stałych Poziom ucznia Test Matryc Ravena 0,451 (0,017) Płeć dziecka a 5,46 (0,518) Wiek dziecka w tygodniach 0,089 (0,015) Opóźniony tok nauki -12,60 (2,21) Przyspieszony tok nauki 5,47 (2,19) HISEI 0,061 (0,021) Indeks zasobów gospodarstw domowych 0,120 (0,023) Wykształcenie rodziców: 3,27 średnie b (0,759) Wykształcenie rodziców: 4,81 pomaturalne lub licencjackie b (1,05) Wykształcenie rodziców: wyższe magisterskie, dr lub prof, b 5,89 Stała Poziom klasy Podręcznik: Ja i moja szkoła Podręcznik: Już w szkole Podręcznik: 98,64 (0,57) 97,83 (0,88) 1,87 (1,44) 0,697 (1,65) 2,36 (1,34) (1,06) -14,84 (8,87) 0,887 (0,869) 0,166 (1,16) 0,178 (0,966) Inny Oszacowanie efektów losowych Wariancja efektów szkół 18,19 17,49 7,08 Wariancja efektów oddziałów klasowych 3,84 3,63 1,66 Wariancja na poziomie ucznia 204,75 204,75 121,35 Poziom szkół 0, Poziom klas 0, Poziom klas i szkół łącznie 0, Podsumowanie pseudo R ,004 0,426 pseudo R 2 (p3) -- 0,038 0,611 pseudo R 2 (p2) -- 0,055 0,568 pseudo R 2 (p1) -- 0,000 0,407 Liczba uczniów Liczba klas Liczba szkół

182 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c grupa odniesienia: klasy korzystające z podręcznika Wesoła szkoła (WSiP) Dodanie do modelu pustego informacji o podręczniku, z którego korzysta klasa poprawia dopasowanie modelu, jednak w sposób nieistotny statystycznie χ 2 (3)=5.98, p>0,05. Model taki wyjaśnia wariancję klas w ok 5%, a wariancję szkół w 4%. Tym razem jednak wszystkie trzy grupy kontrastowe nie różnią się istotnie statystycznie od grupy odniesienia ( Wesoła szkoła ), choć podobnie jak w pozostałych dwóch przypadkach podręczniki inne niż trzy najpopularniejsze uzyskują wynik bliski istotności statystycznej przeciętnie w klasach gdzie są wykorzystywane wynik jest o 2.36 punkta wyższy niż w grupie odniesienia (p= 0.078). Dodanie do modelu zmiennych z poziomu ucznia zmniejsza już i tak nieistotne statystycznie znaczenie podręczników w okolice bliskie zeru Podsumowanie Jak rozumieć zatem zanik obecnej w przypadku każdego testu zależności w modelu wielopoziomowym, który uwzględnia zmienne indywidualne? Zdaje się, że prosta zależność pomiędzy podręcznikiem a wynikami w nauce ma charakter pozorny, który demaskuje dołączenie innych zmiennych. Okazuje się na przykład, że istnieją istotne statystycznie (choć zwykle słabe) zależności pomiędzy np. stosowanym podręcznikiem, a inteligencją F(3, 5083) = 7.41, p<0.01; HISEI F(3, 3502) = 10.61, p<0.001; czy indeksem zasobów gospodarstw domowych F(3, 3502) = 4.65, p<0.01. W każdym wypadku uczniowie z klas stosujących podręczniki z poza trzech najpopularniejszych charakteryzują się lepszymi wynikami (wyższą inteligencją, HISEI oraz indeksem dóbr gospodarstw domowych) niż uczniowie z klas w których stosuje się Wesołą szkołę. W przypadku inteligencji zaobserwować można podobne różnice pomiędzy podręcznikami mniej popularnymi a podręcznikiem Ja i moja szkołą oraz Już w szkole. W ten sposób wyjaśnić można znikający wpływ podręcznika wygląda na to, że tak naprawdę nie o podręcznik chodzi, a o dzieci, które go używają. Interesujące są natomiast spójne wzory zależności pomiędzy dziećmi a podręcznikami być może jest tak, że nauczyciele dopasowują podręczniki do swoich uczniów być może ze względu na koszt pakietu, a być może ze względu na inne, nieznane charakterystyki uczniów. Podsumowując można powiedzieć, że stosowany podręcznik nie jest przyczyną zróżnicowania osiągnięć uczniów, a raczej symptomem innych, ważnych wyznaczników efektywności szkolnej. Uzyskiwany wzorzec wyników jest niezwykle ciekawy również dlatego, że w grupie innych podręczników znalazło się kilkanaście różnych produktów, które być może różnią się znacząco między sobą. Niestety ich analiza indywidualna jest niemożliwa ze względu na to, że bardzo często spośród wszystkich klas objętych badaniem te niszowe podręczniki stosowane były w jednej lub dwóch klasach. Gdyby zbadać większą próbkę klas, dobieraną celowo, ze względu na rodzaj stosowanego przez wychowawcę podręcznika, to potencjalnie można oczywiście odkryć podręcznik wyjątkowy, którego stosowanie powoduje osiąganie wyższych od przeciętnych wyników. Wydaje się jednak, że w obecnej sytuacji rynkowej w której większa część rynku zagospodarowana jest przez zaledwie trzy produkty każdy nauczyciel, który używa innego zestawu już choćby z tego powodu jest wyjątkowy, a za wyjątkowością tą stoją prawdopodobnie również i inne zmienne, w związku z czym oddzielenie wpływu wyjątkowości nauczyciela od wpływu podręcznika będzie trudne. 182

183 Część IV: Psychologiczne i społeczne uwarunkowania zróżnicowania wyników nauczania i wychowania 9. Lęk a wyniki nauczania (Anna Hawrot, Radosław Kaczan) 9.1. Wprowadzenie Znaczenie indywidualnych charakterystyk uczniów rozpatrywane w kontekście ich osiągnięć szkolnych kieruje naszą uwagę na te z nich, które samodzielnie lub wchodząc w interakcje z charakterystykami szkoły i klasy, przyczyniają się do polepszenia lub pogorszenia osiąganych wyników. W wcześniejszym rozdziale braliśmy pod uwagę znacznie inteligencji, która wyznacza potencjalny zakres możliwości poznawczych dziecka. Obraz ten nie byłby jednak pełen bez uwzględnienia aspektu emocjonalnego. Znacznie przeżywanych emocji, ich rola regulacyjna i motywacyjna podkreślana jest przez wiele współczesnych koncepcji np. inteligencji emocjonalnej Daniela Golemana (1997) czy rozwoju kompetencji emocjonalnych (Salovey, Sluyter, 1999). System emocjonalny jest głównym systemem motywacyjnym, Izard i Ackerman (2005) twierdzą że każda z emocji pełni rolę w organizowaniu zachowania ludzi poprzez wpływ na procesy spostrzegania, rozumowania oraz bezpośrednio na podejmowanie czynności. Ważne dla poruszanego przez nas problemu jest spostrzeżenie, że relacje miedzy emocjami a zachowaniem mają swoje początki na wczesnych etapach życia i pozostają stabilne przez długi czas. Zgodnie z rozwojowym ujęciem emocji zmienia się sposób ich ekspresji, jednak związek pomiędzy wzbudzoną emocją a reakcjami behawioralnymi pozostaje w miarę trwały. Najszerzej rzecz ujmując poruszany przez nas problem dotyczy związków pomiędzy charakterystykami emocjonalnymi a funkcjonowaniem szkolnym. Można postawić pytanie, w jaki sposób przeżywane emocje wiążą się z podejmowaniem określonych działań lub przeciwnie - prowadzą do zaprzestania tych działań np. w postaci wycofania się. Jak zauważają Izard i Ackerman (2005, s.331) Stany uczuciowo-motywacyjne zwierają pewną informację i stanowią źródło sygnałów do podejmowania decyzji oraz działania. Można to rozumieć jako tendencje do spostrzegania i myślenia zgodnie z informacją zawartą w emocji. Chociaż odczucie emocji różni się jakościowo od procesów myślowych i decyzyjnych, to, generując sygnały z reguły mobilizuje ono gwałtowanie i automatycznie system poznawczy. Integracja, czy też skoordynowana interakcja emocji z odpowiednim poznaniem, prowadzi do zachowania adaptacyjnego Część emocji, takich jak na przykład złość czy strach, uruchamia tendencje do działania sprzyjające dość konkretnym celom takim jak atak lub obrona (Izard, Ackerman, 2005, s.331). Inne emocje mogą powodować ogólną aktywacje organizmu i jego gotowość do odpowiadania na napływające informacja, ale nie są powiązane z żadnym konkretnym typem reakcji behawioralnej. Problem emocji i ich znaczenie w procesach regulacji zachowania można rozpatrywać również przez pryzmat motywacji, która wiąże się z przeżywaniem określonych stanów emocjonalnych. Według E. Deciego (1992) zainteresowanie i radość to połączenie emocji, które jest typowe dla wewnętrznej motywacji. Niezbyt mocny lęk lub nie nasilony lęk może występować wraz z poczuciem bycia czymś 183

184 zainteresowanym lub zaciekawionym. W takiej sytuacji możemy obserwować, jak te dwie emocje układają się w charakterystyczny wzorzec dążenia-unikania. Jednostka zbliża się do jakiegoś obiektu/osoby motywowana zainteresowaniem/ciekawością, a z drugiej strony unika tej nowej sytuacji, co motywowane jest lękiem. Natomiast nasilony lęk może przyczyniać się do zmniejszania się ciekawości i w konsekwencji rezygnacji z podejmowania działania. Z naszego punktu widzenia najbardziej interesująca jest problematyka emocji, szczególnie lęku, który stanowił ważną zmienną w przedstawionym programie badawczym, w kontekście możliwości regulacji zachowania. Zdajemy bowiem pytanie o potencjalne związki pomiędzy poziomem lęku traktowanym przez nas jako indywidualna charakterystyka zbadanych uczniów a poziomem osiągnięć szkolnych w zakresie umiejętności matematycznych, czytania i świadomości językowej Koncepcje i rodzaje lęku Definicja lęku Lęk możemy zdefiniować jako przewidywanie przyszłych zagrożeń lub nieszczęść, któremu towarzyszą uczucia dysforyczne lub somatyczne objawy napięcia. Strach różni się od lęku przede wszystkim tym, że jest wywoływany przez rozpoznawalny bodziec. Zatem lęk jest przedbodźcowy (antycypowany w stosunku do bodźca zagrażającego) a strach jest pobodźcowy (wywołany określonym zdarzeniem; Öhman 2005 s. 720). Według Epsteina (1972 za Öhman, 2005 s. 720) strach stanowi motyw unikania. Gdyby nie istniały żadne ograniczenia (wewnętrzne lub zewnętrzne), strach prowadziłby do działania jakim jest ucieczka. Lęk można zdefiniować jako nierozwiązany strach, czy też stan nieukierunkowanego pobudzenia następującego po spostrzeżeniu zagrożenia Jak zauważa J. Kagan (2008 s. 26) lęk we współczesnym świecie jest większym ciężarem niż złość, jest on mniej przystosowawczy w świecie w którym podejmowanie ryzyka i poznawanie ludzi jest często niezbędne do osiągnięcia sukcesu zawodowego. Zatem nadmiernie nasilone przeżywanie lęku może blokować zachowania niezbędne do radzenia sobie z wyzwaniami szkolnym jak również tymi, które spotykają nas w życiu dorosłym Lęk jako stan i lęk jako cecha Strach/lęk może być spostrzegany zarówno jako stan emocjonalny, który jest wywoływany w konkretnym kontekście i ma ograniczony czas trwania, jak i jako cecha osobowości, typowa dla jednostki niezależnie od momentu i sytuacji (Öhman 2005 s. 721). Bardzo ogólnie objawy lęku można podzielić na te związane z somatyczną hiperaktywnością (pocenie się, rumienienie, płytki oddech, kołatanie serca, dyskomfort w jamie brzusznej) oraz te związane z lękiem poznawczym bądź psychicznym (natrętne i niechciane myśli, martwienie się, luminacje, niepokój i czasami uczucie nadmiernego napięcie emocjonalnego). Począwszy od pracy Cattela (1966, za Tucholska i Steuden, 1990), który wyodrębnił lęk jako trwałą dyspozycje osobowościową i lęk jako aktualnie wzbudzony stan, posługiwano się rozróżnieniem na lęk-cechę i lęk-stan. To rozróżnienie zostało zaadaptowane i wykorzystane przez Charlesa Spilbergera (por. Papay, Costello, Hedl, Speilberger, 1975) do stworzenia koncepcji lęku i odpowiadających tej koncepcji narzędzi pomiarowych. Kluczowe rozróżnienie na dwa rodzaje lęku związane jest ze spo- 184

185 strzeżeniem, że różnice w nasileniu obserwowanych lub relacjonowanych przez badanych objawów możemy odnosić zarówno do cech sytuacji, która może być mniej lub bardziej lękotwórcza, i do cech osoby. Poniżej przedstawiono zestawienie charakterystyk obu ujęć lęku (Tabela 9.1). Tabela 9.1. Lęk jako cecha i jako stan - definicje lęk jako cecha jest to dyspozycja osoby do reagowanie w określony sposób jeśli sytuacja zostanie zinterpretowana jako trudna/zagrażająca, mogą pojawić się objawy lęku według Spilbergera ten rodzaj lęku czyni jednostkę podatną na spostrzeganie szerokiego zakresu sytuacji jako zagrażających. Taka ocena sytuacji może prowadzić do reagowania stanami lęku nieproporcjonalnymi do faktycznego zagrożenia jest nabywany w procesie wychowania istotne są doświadczeni z okresu dzieciństwa szczególnie te z osobami znaczącymi ważne dla kształtowania się tego typu leku jest doświadczenie zagrożenia utratą aprobaty i miłości rodzicielskiej lęk jako stan jest określonym sposobem reagowania na sytuacje trudną wiąże się z przeżywaniem obawy i napięcia objawom psychicznym towarzyszy aktywacja autonomicznego układu nerwowego charakterystyczne dla tego typu lęku jest to że zmienia się pod wpływem czynników zewnętrznych (z sytuacji na sytuacje) Źródło: Opracowanie na podstawie Tucholska i Steuden (1990) W przyjętej koncepcji nasilenie lęku-cechy wyznacza zakres i intensywność reakcji na sytuacje, które zostaną zinterpretowane jako mogące nieść zagrożenie dla Ja. Osoby z wysokim poziomem lękucechy będą miały zatem również większą tendencję do reagowania lękiem w danej sytuacji, a co za tym idzie, będą ujawniać również wyższy poziom lęku jako stanu. Dokonywanie pomiaru lęku kwestionariuszem STAIC (polska adaptacji Inwentarz stanu i cechy lęku dla dzieci; Jaworowska, 2005) daje możliwość diagnozy obu typów lęku. Należy zastanowić się czy i w jakim stopniu wyniki uzyskiwane przez badane dzieci w zakresie lęku-stanu są pochodną lękowej interpretacji sytuacji, co byłoby związane z wysokim poziomem lęku-cechy. Na ile natomiast stan lęku został wzbudzony przez obiektywne właściwości sytuacji związanej z pomiarem. Problem ten zostanie poruszony w części poświeconej analizie wyników badań. Ważnych informacji na temat uwarunkowań obu typów lęku dostarczają badania z zakresu genetyki zachowania. W tym ujęciu wskazuje się na to, iż w zakresie zróżnicowania poziomu lęku-cechy 45% zmienności jest wyjaśniana przez wpływy genetyczne, a 55% zmienności wpływami środowiska indywidualnego. W odniesieniu do lęku-stanu uwarunkowań upatruje się w wpływach środowiska wspólnego (30% zmienności) i środowiska indywidualnego (59% zmienności). Badania przeprowadzone z udziałem 1058 bliźniąt w wieku pomiędzy 8-16 lat wykazały, że lęk jako stan pozostawał pod znaczącym wpływem czynników środowiskowych zarówno w grupie kobiet, jak i w grupie mężczyzn. Wpływ środowiska indywidualnego w grupie mężczyzn tłumaczył 84% zmienności wyników, a w grupie kobiet 64%. Przy czym w grupie kobiet środowisko wspólne wywierało umiarkowany wpływ na poziom lęku i czynnik ten tłumaczył 36% zmienności w zakresie wyników. Kiedy natomiast spojrzymy na lęk ujmowany jako cecha, pozostawał on pod umiarkowanym wpływem czynników genetycznych (31% wyja- 185

186 śnianej zmienności) i nie podzielnego środowiska (54% wyjaśnianej zmienności). Środowisko wspólne wyjaśniało około 15% zmienności. W odniesieniu do lęku jako cechy nie zaobserwowano znaczących różnic pomiędzy kobietami i mężczyznami (Lau, Eley i Stevenson 2006). W odniesieniu do sytuacji szkolnej, jak zauważają J. Papay i Ch. Spilberger (1986), dzieci z wysokim poziomem lęku-cechy częściej doświadczają stanu lęku, który negatywnie wpływa na ich osiągnięcia. Badacze przypuszczają również, że doświadczenia szkolne mogą wzbudzać lęk sytuacyjny (lęk-stan), który jeśli staje się chroniczny, może przyczyniać się do podwyższenia poziomu lęku-cechy. Jednak te stwierdzenia muszą być traktowane bardzo ostrożnie ze względu na jednorazowy charakter dokonywanych pomiarów, który nie pozwala kontrolować poziomu lęku przed rozpoczęciem szkoły i jego zmian w trakcie nauki Zaburzenie lękowe i ich rozpowszechnienie Jak wskazuje Cz. Czabała i in. (2005) zaburzenia lękowe stanowią jeden z najbardziej rozpowszechnionych typów problemów psychicznych doświadczanych przez uczniów. Ich nasilenie w populacji wzrasta w przypadku uczniów starszych (gimnazjum i szkoła średnia). W przypadku młodzieży pomiędzy 12 a 19 rokiem życia badanej przez Wolańczyka (2002) 17% zgłaszało różnorodne problemy emocjonalne i behawioralne, w tym między innymi związane z przezywaniem nadmiernego lęku. W niniejszym rozdziale nie poruszamy problemu zaburzeń lękowych jednak warto zwrócić uwagę, że bardzo duże nasilenie lęku-cechy może wiązać się z występowaniem zburzeń lękowych. Szczególnie dotyczy to tzw. zespołu uogólnionego lęku jak pisze P. Kendall (2004 s ) Cechą charakterystyczną tego zaburzenia jest nierealistyczny lek i niepokój, które nie są powiązane z żadną konkretna sytuacją czy zewnętrznym stresem. Dzieci z zespołem uogólnionego lęku martwią się, jak będą cenione w przyszłości, niepokoją je społeczne kontakty, aktywność rodzinna, sport, kwestie zdrowia, i martwią się po prostu, co się może zdarzyć jutro, a nawet za godzinę. Ten chronicznie utrzymujący się lęk jest określany jako lękowe pogotowie, czyli stała gotowość do reagowania na sygnały w kategorii zagrożeń Dzieci cierpiące na ten rodzaj zaburzenia mogą doświadczać różnorodnych kłopotów w codziennym funkcjonowaniu w szkole zarówno w obszarze realizacji zadań związanych z nauką, jak i w obszarze kontaktów z rówieśnikami i dorosłymi Lęk a osiągnięcie szkolne Prześledzenie wyników badań dotyczących lęku i poziomu osiągnięć szkolnych dostarcza argumentów na temat słuszności włączenia do programu naszych badań tej zmiennej. Obserwowane związki pomiędzy natężeniem lęku mierzonym przy pomocy kwestionariuszy wypełnianych przez dzieci i ich rodziców oraz nauczycieli wskazuje na umiarkowanie negatywne zależności z różnymi wskaźnikami osiągnięć np. standardowymi testami czy ocenami szkolnymi. Wyniki tych badań zostały przedstawione w tabeli Należy zwrócić uwagę, że w przypadku części badań istotne związki lęku z osiągnięciami dotyczyły tylko dzieci, u których zaobserwowano wysoki poziom lęku lub u których już wcześniej zdiagnozowano zaburzenia lękowe. 186

187 Tabela 9.2. Przegląd badań na związkami lęku z osiągnięciami szkolnymi Milgram, R.M., Milgram,. N.A. (1977). The effect of test kontent and context on the anxiety-intelligence relationship. The Journal of Genetic Psychology, 130, McCann, S.J., Meen, K.S. (1984). Anxiety, ability, and academic achievement. Journal of Social Psychology, 124, Ialongo, N., Edelsohn, G., Werthamer- Larsson, L., Crockett, L., Kellam, S. (1995). The significance of self-reported anxiety symptoms in first grade children: Prediction to anxious symptoms and adaptive functioning in fifth grade. Journal of Child Psychology and Psychiatry,36, Newbegin, I., Owens, A. (1996). Self esteem and anxiety in secondary school achievement. Journal of Social Behavior and Personality, 11 (3), Jaworowska, A. (2005). Inwentarz Stanu i Cechy Lęku dla Dzieci (STAIC) C.D. Spielbergera, C.D. Edwardsa, R.E. Lushene;a, J. Monturoniego i D. Platzek. Warszawa: PTP. 177 uczniów (99 chłopców i 78 dziewcząt) z klas uczniów klas 11 i 12 Zbadano 1197 dzieci w pierwszej klasie w wieku 7 lat. Dokonano dwóch pomiarów lęku w odstępie 4 miesięcy. chłopcy w wieku lat (7-12 klasa). 391 dziewcząt i 354 chłopców z klas piątych i szóstych 508 dziewcząt i 476 chłopców z klasy pierwszej i drugiej gimnazjum Autorzy badania Badana grupa Zastosowane narzędzia rysunkowy test rozumienia humoru Test Matryc Ravena werbalny test inteligencji Milta, test osiągnięć szkolnych (czytanie, geografia, arytmetyka), General Anxiety Test Scale Test Matryc Ravena STAIC średnia ocen z języka ojczystego Revised Children's Manifest Anxiety Scale kwestionariusz przeznaczone do samodzielnego wypełniania dla dzieci w wieku od 6 do 19 lat The California Achievement Test (CAT; Forms E & F). kwestionariusz lęku cechy i leku stanu lęku egzaminacyjnego (jako cechy) samoocena oceny na koniec semestru z języka ojczystego i matematyki STAIC oceny szkolne Najważniejsze wyniki brak korelacji uogólnionego lęku z osiągnięciami (zarówno u chłopców, jak i u dziewcząt); wśród dziewcząt ujemne korelacje lęku z testem rozumienia humoru, Testem Matryc Ravena i werbalnym testem inteligencji (odpowiednio: - 0,35; -0,32; -0,35). W całej próbie: lęk i zdolności skorelowane na poziomie -0,16; zdolności i osiągnięcia skorelowane (0,48); osiągnięcia i lęk nieskorelowane; W próbie podzielonej w punkcie mediany ze względu na zdolności: w dolnej grupie korelacja lęku z osiągnięciami: -0,16; w górnej grupie korelacja lęku z osiągnięciami: 0,2. dzieci, które znalazły się w najwyższym kwartylu pod względem poziomu lęku (pomiar jesienią), miały najwyższe prawdopodobieństwo znalezienia się w najniższym; kwartylu pod względem umiejętności czytania (pomiar na wiosnę). związki te był istotne zarówno w grupie chłopców, jak i dziewcząt; nie obserwowano natomiast istotnych statystycznie związków między poziomem lęku mierzonego w trakcie pierwszego pomiaru (jesień) a wynikami w zakresie umiejętności matematycznych mierzonych wiosną; słaba negatywna korelacja poziomu lęku z oceną na koniec semestru z matematyki (-0,16); brak korelacji z oceną z języka ojczystego; zaobserwowana korelacja pomiędzy oceną z matematyki a lękiem przestała być istotna, gdy kontrolowano lęk testowy (rozumiany jako cecha); oba rodzaje lęku korelowały na poziomie 0,6; ujemna korelacja lęku jako cechy z ocenami szkolnymi uczniów klas 5 i 6 SP; zależność ta obserwowana była przede wszystkim wśród chłopców; wysoki poziom lęku skorelowany ujemnie z ocenami z historii (-0,16), matematyki (-0,13), biologii (-0,12) oraz ze średnią ocen (-0,12). W przypadku dziewcząt korelacja 187

188 Grover, R., Ginsburg, G. & Ialongo, N. (2007). Psychosocial outcomes of anxious first graders: a seven year follow-up. Depression & Anxiety, 24, Mazzone, L., Ducci, F., Scoto, M.C., Passaniti, E., D Arrigo, V.G., Vitiello, B. (2007). The role of anxiety in a community sample of children and adolescents. BioMed Central Public Health, 7, Hughes, A.A., Lourea- Waddell, B., Kendall, P.C. (2008). Somatic complaints In children with anxiety disorders and their unique prediction of poorer academic performance. Child Psychiatry and Human Development, 39, pomiar pierwszy: 149 uczniów klasy pierwszej w wieku od 5 do 8 lat (72 dziewczynki) Pomiar drugi: 129 uczniów klasy ósmej zbadano dzieci w wieku: 8-10 lat (131), (267),14-16 (80) 108 uczniów w wieku 8-14 lat w tym 69 spełniających kryteria diagnostyczne zburzeń lękowych narzędzia do oceny poziomu lęku wypełniali zarówno uczniowie jak i rodzice oraz nauczyciele Baltimore How I Feel Young Child Version, Child Report Baltimore How I Feel Young Child Version, Parents Report Shy Behavior subscale pochodząca z narzędzia dla nauczycieli (TOSCA) Osiągnięcia szkolne: w klasie pierwszej - The fourth edition of the Comprehensive Test of Basic Skills; w klasie ósmej - Kaufman Test of Educational Achievement Multidimensional Anxiety Scale for Children (MASC); wynik powyżej 65 świadczyły o występowaniu lęku oceny szkolne (skategoryzowane na 10 stopniowej skali, poniżej 6 uznawano je jako niewystarczające) Multidimensional Anxiety Scale for Children (MASC) Rodzice wypełniali The Child Behavior Checklist (CBCL) Nauczyciele wypełniali The Teacher Report Form (diagnozujący m.in. osiągnięcia szkolne) Źródło: Opracowanie na podstawie literatury wymienionej w tabeli była widoczna tylko w odniesieniu do ocen z matematyki (-0,11). Najważniejszy wynik dotyczył związków pomiędzy poziomem lęku a osiągnięciami szkolnymi. Na podstawie przeprowadzonych procedur dla każdej ze skal osobno (samoocena, ocena rodziców i nauczycieli) dokonano podziału dzieci na przejawiające symptomy lęku i dzieci nie lękowe. Istotne związki pomiędzy osiągnięciami zarówno w klasie pierwszej, jak i w klasie ósmej, zaobserwowano tylko w przypadku ocen dokonywanych przez nauczycieli. Dzieci uznane za lękowe miały istotnie większą szansę na znalezienie się w grupie mającej najniższy poziom wyników (matm etyk i czytanie). Analogiczne związki zaobserwowano w klasie ósmej. w całej zbadanej grupie 7.3% dzieci miało wyniki świadczące o występowaniu leku ; w grupie tych dzieci 37.1% miało oceny szkolne na poziomie niewystarczającym, a 28.6% na poziomie dobrym lub bardzo dobrym; w grupie nie lękowej oceny na poziomie dobrym lub bardzo dobrym miało 56.1% dzieci; Uczniowie z zaburzeniami lękowymi: przejawiali więcej objawów somatycznych oraz wyższy poziom lęku; Uczniowie z zaburzeniami lękowymi mieli niższe osiągnięcia szkolne. Predykatorem osiągnięć nie był poziom lęku, lecz objawy somatyczne. W przypadku kwestionariusza wypełnianego przez dziecko miara objawów somatycznych stanowiła element skali ogólnej lęku. Obie skale są skorelowane na poziomie 0,8. Cześć badaczy wskazuje na odmienne wyniki, które nie potwierdzają związków pomiędzy lekiem a osiągnięciami. Vitaro i in. (2005) stwierdzili, że poziom lęku mierzony po raz pierwszy, kiedy badani byli w przedszkolu, nie był lepszym predyktorem nie ukończenia przez nich szkoły średniej niż pozostałe czynniki ryzyka takie jak płeć, trudności w funkcjonowaniu społecznym i ekonomicznym rodziny. Również w przypadku studentów college u lęk nie stawał się ważniejszym predyktorem problemów w nauce w stosunku do innych czynników ryzyka (Strahan, 2003). Na obraz związków pomiędzy lękiem a osiągnięciami nakładają się dwa ważne problemy, które ograniczają możliwości jednoznacznego opisu tych zależności. Po pierwsze zaobserwowano, że zależności te mają charakter krzywoliniowy np. nastolatkowie, którzy mają umiarkowany poziom lęku, odnoszą większe sukcesy szkolne niż ich 188

189 rówieśnicy charakteryzujący się lękiem wysokim lub niskim (Duchesne i in., 2008). Po drugie, dostrzega się problem związany z faktem, że w większości badań stosuje się jeden pomiar lęku jako predyktor późniejszych osiągnięć, co nie pozwala na uwzględnienie zmian w intraindywidualnym poziomie lęku ani zmian związanych z procesami rozwojowymi np. nasileniem się poziomu lęku występującym u adolescentów (op. cit.). Prześledzenie związków pomiędzy lękiem a poziomem osiągnięć szkolnych skłania do postawienia pytania o mechanizmy, które mogą być odpowiedzialne za taki obraz zależności. Wskazuje się, że wysoki poziom lęku może pogarszać funkcjonowanie poznawcze. Jak zauważa I. Krejtz (2012 s. 101). Badania nad funkcjonowaniem poznawczym osób lękowych wskazują, iż poczucie niepokoju może prowadzić do zawężania pola uwagi, ograniczając je do bodźców stanowiących źródło lęku, co utrudnia koncentrację na zadaniu. Zasoby poznawcze takich osób mogą być w dużym stopniu pochłonięte monitorowaniem własnych stanów, obserwowaniem reakcji otoczenia oraz koniecznością przełamywania negatywnych myśli na swój temat( ). Zgodnie z teorią wydajności przetwarzania (Owens i in., 2008) wysoki poziom lęku angażuje zasoby poznawcze, a powiązane z niepokojem myśli, które nie mają związku z wykonywanym zadaniem, zmniejszają wydolność pamięci roboczej. Zmniejszona wydolność zwiększa prawdopodobieństwo spadku wydajności przetwarzania i jednoczesnego wzrostu wysiłku lub czasu koniecznego do osiągnięcia typowego poziomu wykonania zadań poznawczych (zwłaszcza tych wymagających dużych zasobów pamięci roboczej). W badaniu przeprowadzonym przez Owensa (op. cit.) opisano istotne związki pomiędzy lękiem-cechą (mierzonym przy pomocy STAIC) a osiągnięciami z matematyki. Związek ten był mediowany przez werbalną pamięć roboczą. Wysoki poziom lęku wiąże się z pogorszeniem funkcjonowania pamięci roboczej, co z kolei wiązało się z istotnie niższymi wynikami w matematycznej części testu osiągnięć szkolnych. Nie zaobserwowano natomiast takich związków dla wyników w teście z języka ojczystego. Charakterystyczne dla dzieci z wysokim poziomem lęku przetwarzanie informacji nadmiernie angażujące zasoby poznawcze, które są niezbędne do nauki, może powodować w dłuższej perspektywie obniżanie się wyników. Jednak zależności te mogą miech również charakter dwustronny. Pogorszenie się wyników i trudności w nauce wzmagać będzie lęk zarówno w konkretnej sytuacji np. na danym przedmiocie, ale również jeśli stan taki utrzymuje się dłużej, może się on zgeneralizować na inne sytuacje szkolne i poza szkolne (por. Mazzone i. in., 2007). Interesujące zależności opisano w odniesieniu do związków pomiędzy poziomem inteligencji a lękiem i poziomem osiągnięć. W badaniach H. Billa i in. (1991) wykazano, że w przypadku dziewcząt niska inteligencja na początku nauki szkolnej może być czynnikiem ryzyka rozwinięcia się zaburzeń lękowych (i silniejszego lęku w ogóle), gdyż powoduje gorsze radzenie sobie z zadaniami szkolnymi. Taka sytuacja na początku nauki jest mniej typowa dla dziewczynek, od których generalnie oczekuje się lepszych wyników niż w przypadku chłopców. Zatem kłopoty z nauką powodują nasilanie się lęku, który z kolei wtórnie może przyczyniać się do obniżania się wyników szkolnych. Nasilenie lęku ulega zmianom na przestrzeni późnego dzieciństwa i adolescencji. Młodsi uczniowie przed wejściem w okres dorastania doświadczają niższego lęku i rzadziej diagnozuje się u nich zaburzenia lekowe niż w przypadku adolescentów. W odniesieniu do tej drugiej grupy nasilenie lęku wydaje się wiązać z przemianami okresu dojrzewania np. wzmożoną tendencją do reagowania silnymi emocjami oraz labilnością emocjonalną charakterystyczna dla nastolatków (Mazzone, 2007). 189

190 Dla rozpatrywanych przez nas związków pomiędzy lękiem a osiągnięciami istotne jest również uwzględnienie innych zmiennych, które mogą znacząco wpływać na obserwowane zależności. W modelu opisywanym przez S. Duchense i in. (2008) dotyczącym przyczyn przedwczesnego wypadania z systemu edukacji, autorzy wskazują na dwie grupy zmiennych, które mogą potencjalnie pośredniczyć w związkach pomiędzy lękiem a nieukończeniem edukacji. Są to charakterystyki związane z uczniem, takie jak np. agresywność czy nadaktywność, oraz charakterystyki związane z rodziną dziecka, takie jak np. niski status społeczno-ekonomiczny, niskie wykształcenie matki, samotne rodzicielstwo. W literaturze pojawiają się także informacje o możliwej interakcji między lękiem jako cechą i inteligencją w przypadku uczniów o jej niskim poziomie lęk wiązać może się ze spadkiem poziomu osiągnięć, przy odwrotnej relacji dla dzieci o inteligencji wysokiej (McCaan i Meen, 1984). Zatem w prowadzonych analizach zasadne jest uwzględnienie/ kontrolowanie zarówno takich charakterystyk ucznia jak poziom inteligencji, jak i zmiennych opisujących szczegółowo jego sytuację rodzinną. Kolejna kwestia, na którą chcielibyśmy zwrócić uwagę, dotyczy odkrytej w wielu opisanych powyżej badaniach zależności pomiędzy silnym lękiem lub zaburzeniami lękowymi a niskim poziomem osiągnięć. Pragniemy podkreślić, że w klinicznych studiach dotyczących zaburzeń lekowych jest to silna i powtarzające się zależność (por. Van Ameringen, 2003). Jednak w badaniach populacyjnych prowadzonych na grupach nie klinicznych wskazuje się na to, że umiarkowany poziom lęku może spełniać rolę mobilizatora i uruchamiać zasoby poznawcze i behawioralne, które są niezbędne do radzenia sobie z nauką w szkole a poprzez to przyczyniać się do zwiększenia poziomu osiągnięć. A tylko bardzo wysoki lub bardzo niski poziom lęku zakłóca naukę poprzez dezorganizacje działania (wysoki lęk) lub brak mobilizacji do działania (bardzo niski lęk) (por. Duchense i in., 2008). Lęk jest istotny w analizach osiągnięć szkolnych nie tylko ze względu na potencjalne możliwości zakłócania procesu uczenia się, ale również z tego względu, że objawy lękowe utrudniają osiąganie ważnych zadań rozwojowych takich jak nawiązywanie i podtrzymywanie relacji z rówieśnikami i nauczycielami (Grover i in., 2007). Nasilone przeżywanie lęku niezależnie od tego, jakie są jego przyczyny, może mieć długotrwałe konsekwencje w postaci mniejszych osiągnięć życiowych np. mężczyźni mają mniej stabilny przebieg zatrudnienia i odnoszą mniej sukcesów zawodowych, kobiety natomiast mają mniejsze szanse na zakończenie edukacji na poziomie co najmniej średnim niż ich nie lekowe rówieśniczki (Caspi i in., 1988). Należy podkreślić, że wzajemne interakcje i procesy sprzężeń zwrotnych pomiędzy lękiem a poziomem osiągnięć i codzienną praktyką szkolną, w naszym mniemaniu powinny być brane pod uwagę nie tylko w kontekście poszukiwania uwarunkowań efektywności kształcenia, ale również w celu wskazywania na potencjalne możliwości prewencji powstawania zaburzeń lękowych i niepowodzeń szkolnych Metoda Na podstawie przeprowadzonej analizy literatury można przypuszczać, że istnieją związki pomiędzy poziomem doświadczanego przez dziecko lęku a poziomem jego osiągnięć szkolnych. Rozbieżności w przedstawionych wynikach analizowanych badań sprawiają, że postanowiono postawić pytanie dotyczące tego czy i na ile osiągnięcia szkolne związane są z poziomem lęku traktowanego jako cecha. Postawiono również dodatkowe pytanie o związki pomiędzy symptomami napięcia emocjonalnego (mogącymi być symptomami lęku) relacjonowanymi przez rodziców (opiekunów) dziecka a jego poziomem osiągnięć szkolnych, a także o możliwe ich interakcje z poziomem inteligencji dziecka, W ramach eksploracji obszaru zróżnicowania międzyklasowego i międzyszkolnego, postawiono także 190

191 pytania także o to, czy siła zaobserwowanych zależności różni się między szkołami i oddziałami klasowymi Narzędzia badawcze Do pomiaru poziomu lęku jako cechy wykorzystaliśmy kwestionariusz STAI-C Spielbergera i współpracowników w adaptacji Jaworowskiej (2005). Uczniowie podczas sesji testowej wypełniali obie skale narzędzia, w analizach wykorzystana została jednak tylko skala lęku jako cechy. Składa się ona z 20 pytań dotyczących częstotliwości doświadczania niepokojów i zmartwień (np. Chce mi się płakać ; Przejmuję się szkołą ), na które osoba badana udziela odpowiedzi na trzypunktowej skali (rzadko/czasem/często). Wskaźnik poziomu lęku jako cechy utworzono poprzez oszacowanie wartości czynnikowych dla poszczególnych osób badanych na podstawie zweryfikowanego modelu konfirmacyjnej analizy czynnikowej. Następnie uzyskane wyniki zostały wystandaryzowane i przeniesione na skalę o średniej 100 i odchyleniu standardowym 15 (z wykorzystaniem wag próbkowania opisanych w rozdziale 3). Szczegóły dotyczące właściwości psychometrycznych narzędzia znajdują się w podpunkcie Pomiar napięcia emocjonalnego doświadczanego przez dziecko przeprowadzony został za pomocą pytań zawartych w kwestionariuszu wypełnianym przez rodzica (opiekuna prawnego) dziecka. Pytania dotyczyły częstotliwości występowania u dziecka różnego rodzaju dolegliwości i objawów somatycznych oraz przeżywanych emocji (np. Czy obecnie Pani/Pana dziecko Czy obecnie obserwuje Pani/Pan następujące objawy u dziecka?). Osoby badane odpowiadały na pytania na czteropunktowej skali. Dwie spośród trzech utworzonych skal zostały wykorzystane w analizach skale psychologicznych oraz somatycznych objawów napięcia emocjonalnego. Ich wskaźniki powstały poprzez oszacowanie wartości czynnikowych dla poszczególnych osób badanych na podstawie eksploracyjnego modelu strukturalnego (ESEM), które następnie wystandaryzowano oraz przedstawiono na skali o średniej 100 i odchyleniu standardowym 15 (przekształcenia zostały przeprowadzone z wykorzystaniem wag próbkowania opisanych w rozdziale 3). Szczegóły dotyczące procedury tworzenia wskaźników znajdują się w podpunkcie Zdecydowaliśmy się na włączenie do analiz zarówno wskaźników lęku pochodzących z samoopisu, którego dokonywały dzieci (lek-cecha), jak i z informacji uzyskanych od rodziców. Te dwa źródła informacji uzupełniają się, choć każde z nich wnosi swoistą informacje na temat emocjonalnego funkcjonowania dziecka. Jak pokazują badania (Duchesne i in., 2008), korelacje miedzy samopisami dokonywanymi przez dzieci oraz opisami rodziców i nauczycieli mogą się różnić. Podkreślenia wymaga fakt, iż pomiary te dokonane zostały jednorazowo, gdy uczniowie uczęszczali do klasy trzeciej szkoły podstawowej. W związku z tym przedstawione analizy zakładają ich stałość pomiędzy trzecią i czwartą klasą, choć, jak wczesniej wspomniano, mogą one ulegać zmianom w toku rozwoju dziecka. Do problemu tego powrócimy w dyskusji wyników. Opis tworzenia pozostałych wskaźników oraz ich właściwości opisane zostały w rozdziałach 2, 3 oraz Wyniki Ogólny plan analiz W celu weryfikacji hipotez przeprowadziliśmy serię wielopoziomowych analiz regresji, w których zmienne zależne stanowiły kolejno osiągnięcia uczniów z zakresu matematyki, czytania oraz świado- 191

192 mości językowej. Poprzedziła je analiza statystyk opisowych. Modelowanie przebiegło etapowo - w pierwszym kroku dla każdej zmiennej zależnej zbudowany został model pusty z uwzględnieniem poziomu klas i szkół. W drugim kroku powstały wielopoziomowe modele kontrolne z losowymi stałymi, uwzględniające podstawowe zmienne kontrolowane w badaniu (oba rodzaje modeli zostały opisane szczegółowo w rozdziale 6). Modele te posłużyły jako punkty odniesienia w zakresie weryfikacji polepszenia dopasowania modeli po dodaniu zmiennych i/lub parametrów w kolejnych etapach. W trzecim kroku, celem weryfikacji hipotez dotyczących znaczenia lęku jako cechy oraz obserwowanych przez rodziców objawów napięcia emocjonalnego (psychologicznych i somatycznych) dla osiągnięć szkolnych i zróżnicowania siły tych zależności w szkołach i klasach, wszystkie te zmienne zostały jednocześnie wprowadzone do modelu wraz z losowymi nachyleniami dla szkół i klas. W następnym etapie te z losowych nachyleń, które okazały się nieistotne statystycznie, były kolejno wykluczane aż do momentu, w którym pozostały jedynie nachylenia istotne statystycznie. Następnie usuwano z modelu predyktory nieistotne. W piątym kroku, celem weryfikacji hipotez dotyczących interakcji, dodano do interakcje z inteligencją tych zmiennych niezależnych dotyczących lęku, które pozostały w modelu, wraz z ich nachyleniami na poziomie szkół i klas. Następnie eliminowano je z modelu zgodnie z logiką przewidzianą dla efektów głównych. W dalszych częściach rozdziału odwoływać będziemy się do opisanych wyżej modeli za pomocą liczb porządkowych, przy czym model pusty oznaczony będzie numerem 1, model kontrolny - numerem 2. W razie specyfikacji kolejnych modeli, będą one oznaczane odpowiednimi numerami porządkowymi. Obliczenia przeprowadzone zostały na zmiennych wycentrowanych wokół średniej w całej próbie (centrowaniu podlegały zmienne ilościowe, tj. wartości indeksu dóbr, oszacowania poziomu inteligencji, lęku jako cechy oraz napięcia emocjonalnego i jego somatycznych objawów38). Uwzględniono dane jedynie tych uczniów, dla których dostępny był komplet zmiennych39. Wszystkie analizy przeprowadzone zostały z wykorzystaniem wag warunkowych generowanych oddzielnie dla analiz różniących się zmienną zależną (poziom osiągnięć z matematyki, czytania i świadomości językowej; wagi opisane zostały w rozdziale 6). Ze względu na wykorzystanie w analizach PV jako oszacowań poziomu osiągnięć uczniów (opisanych szczegółowo w rozdziale 4), obliczenia do każdego modelu dla każdego typu testu osiągnięć powtórzone zostały pięciokrotnie, z wykorzystaniem każdego z pięciu PV jako zmiennej zależnej. Przedstawione w tabelach parametry stanowią wypadkowe wyników z pięciu powtórzeń tego samego modelu. Analizy przeprowadzono z wykorzystaniem oprogramowania HLM Analiza psychometryczna narzędzi i tworzenie wskaźników W ramach badania właściwości psychometrycznych zastosowanych narzędzi przeprowadziliśmy szereg analiz mających na celu weryfikację ich struktury czynnikowej (w przypadku podskali C-2 z kwestionariusza STAI-C) oraz odkrycie nieobserwowalnych wymiarów w odniesieniu do wskaźników napięcia emocjonalnego podawanych przez rodziców (opiekunów) dziecka. 38 Centrowanie przeprowadzone zostało przed usunięciem obserwacji z brakami danych. 39 Ze względu na przypuszczenie, iż uczniowie o bardzo niskich w Teście Matryc Ravena wynikach mogli w rzeczywistości nie ukończyć jego wypełniania lub odpowiadać przypadkowo, a zatem ich dane są niewiarygodne, z analiz wykluczone zostały obserwacje znajdujące się o więcej niż 3 odchylenia standardowe poniżej średniej dla Testu Matryc Ravena. Spowodowało to zmniejszenie liczebności w analizach dla testu matematycznego o 23 obserwacje, w analizach dla testów czytania i świadomości językowej o 18 obserwacji. 192

193 W ramach analizy psychometrycznej podskali C-2 kwestionariusza STAI-C przeprowadziliśmy konfirmacyjną analizę czynnikową dla zmiennych porządkowych 40 z wykorzystaniem oprogramowania MPlus 6.1. Próba liczyła 5429 obserwacji 41. Zbudowany model okazał się dobrze dopasowany do danych (RMSEA=0,026; TLI=0,966). Szczegółowe informacje na temat dopasowania modelu znajdują się w tabeli Tabela 9.3. Dopasowanie weryfikowanego modelu strukturalnego podskali C-2 kwestionariusza STAIC miara dopasowania chi 2 weryfikowany model 784,787; df=170, p<0,0001 RMSEA 0,026 (PU: 0,024-0,028) CFI 0,970 TLI 0,966 Źródło: Opracowanie własne Pod względem wartości standaryzowanych ładunków czynnikowych model okazał się akceptowalny. Dla poszczególnych pozycji wahały się one od 0,43 (C2_8) do 0,7 (C2_19). Wartości ładunków powyżej 0,6 zanotowano dla 6 pozycji, poniżej 0, 5 dla 4 pozycji. Szczegółowe informacje zawarto w tabeli Tabela 9.4. Wartości ładunków czynnikowych dla pozycji podskali C-2 kwestionariusza STAIC pozycja treść pozycji niestandaryzowany ładunek czynnikowy standaryzowany C2_1 chce mi się płakać 1 0,488 C2_2 za bardzo się martwię 1,198 0,585 C2_3 czuję się nieszczęśliwy 1,067 0,521 C2_4 mam kłopoty 1,190 0,581 C2_5 jakieś nieważne myśli chodzą mi po głowie i dręczą 1,271 0,620 C2_6 denerwuję się, gdy ktoś przygląda się jak odrabiam lekcje 1,093 0,534 C2_7 czuję przyspieszone bicie serca 1,043 0,509 C2_8 przejmuję się szkołą 0,880 0,429 C2_9 trudno mi się na coś zdecydować 1,122 0,548 czuję się skrępowany w obecności 1,278 C2_10 dorosłych 0,624 C2_11 ściska mnie w gardle 1,135 0,554 C2_12 boje się bardziej, niż to okazuję 1,369 0,668 trudno mi odpowiadać przed całą 1,168 C2_13 klasą 0, metoda estymacji: WLSMV, uwzględniono zgrupowanie uczniów w szkołach 41 Liczba pełnych rekordów wykonania wyniosła 5101; braki danych na poszczególnych pozycjach kwestionariusza usuwano parami; odsetek braków danych dla każdej pary zmiennych wyniósł nie więcej niż 1,4%. 193

194 C2_14 pocą mi się ręce 0,923 0,451 C2_15 boję się, że mogę zrobić coś złego 1,303 0,636 C2_16 jestem zdenerwowany, gdy muszę pierwszy zacząć rozmowę 1,222 0,596 C2_17 martwię się czymś, co może się zdarzyć 1,396 0,681 C2_18 mam kłopoty z zaśnięciem 0,978 0,477 C2_19 wpadam w zakłopotanie 1,423 0,699 C2_20 martwię się, co inni o mnie myślą 1,302 0,636 Źródło: Opracowanie własne Wszystkie ładunki są istotne statystycznie. W celu utworzenia wskaźników napięcia emocjonalnego doświadczanego przez dziecko oraz jego obserwowanych objawów somatycznych przeprowadziliśmy serię eksploracyjnych analiz czynnikowych dla zmiennych porządkowych 42. W ich toku wyselekcjonowana została pula zmiennych, które następnie weszły w skład czynników oraz określona została optymalna struktura czynnikowa (na podstawie wykresów osypiska, wartości własnych czynników oraz proporcji wyjaśnianej przez nie warinacji). Tabela 9.5. Wartości miar dopasowania eksploracyjnego modelu strukturalnego kwestionariusza objawów napięcia emocjonalnego i dolegliwości somatycznych dziecka raportowanych przez rodziców miara dopasowania chi 2 model ESEM 2271,925; df = 102; p<0,001 RMSEA 0,062 (PU: 0,060-0,064) CFI 0,956 TLI 0,935 Źródło: Opracowanie własne PU przedział ufności Następnie za pomocą eksploracyjnego modelowania równań strukturalnych (ESEM) dla zmiennych porządkowych 43 wyznaczone zostały wartości czynnikowe dla poszczególnych obserwacji. Próba liczyła 5589 obserwacji. Uzyskana struktura czynnikowa ESEM okazała się w akceptowalnym stopniu dopasowana do danych (RMSEA = 0,062; CFI = 0,956). Szczegółowa informacje na temat dopasowania modelu znajdują się w tabeli metoda estymacji: WLSMV, uwzględniono zgrupowanie uczniów w szkołach 43 metoda estymacji: WLSMV, rotacja Geomin, uwzględniono zgrupowanie uczniów w szkołach 194

195 Tabela 9.6. Wartości ładunków czynnikowych dla czynników wyłonionych z kwestionariusza objawów napięcia emocjonalnego i dolegliwości somatycznych dziecka raportowanych przez rodziców Pozycja czynnik 1 napięcie emocjonalne czynnik 2 problemy zdrowotne czynnik 3 objawy somatyczne napięcia emocjonalnego jest niespokojne 0,744* -0,005 0,134* jest drażliwe, nerwowe 0,936* -0,008-0,019 wybucha złością 0,833* 0,012-0,067* jest roztrzęsione 0,639* -0,036 0,263* jest przygnębione 0,492* 0,027 0,278* płacze 0,555* 0,082* 0,105* bóle brzucha 0,087* 0,466* 0,132* stany podgorączkowe -0,071* 0,647* 0,022 infekcje -0,065* 0,557* 0,057* nudności 0,045* 0,870* -0,058* wymioty -0,014* 0,996* -0,202* zaparcia 0,036 0,535* 0,100* biegunki 0,031* 0,726* 0,009 ból w klatce piersiowej -0,066* 0,000 0,852* przyspieszone bicie serca -0,007-0,038 0,848* zawroty głowy 0,010 0,168* 0,590* duszności 0,000 0,121* 0,606* drżenie rąk 0,160* 0,037 0,515* Źródło: Opracowanie własne Wytłuszczonym drukiem zaznaczone zostały wartości ładunków czynnikowych dla pozycji zakwalifikowanych do odpowiedniego czynnika. * istotne statystyczne na poziomie nie wyższym niż 0,05. Ostateczne trójczynnikowe rozwiązanie ESEM, przedstawione w tabeli 13.6, ma przejrzystą interpretację. Pierwszy czynnik wskazuje na doświadczane przez dziecko napięcie emocjonalne. Czynnik drugi obejmuje problemy zdrowotne, natomiast trzeci somatyczne objawy napięcia emocjonalnego. Wartości korelacji między czynnikami są umiarkowane i wahają się od wartości 0,28 do 0,56; przedstawiono w tabeli Tabela 9.7. Wartości korelacji między wyodrębnionymi czynnikami latentnymi czynnik 2 czynnik 3 czynnik 1 0,279 0,357 czynnik 2 1 0,556 Źródło: Opracowanie własne Statystyki opisowe: natężenie lęku i napięcia emocjonalnego w zbadanej grupie W analizach z wykorzystaniem testu matematycznego jako zmiennej zależnej uwzględnione zostały dane 4766 uczniów z 300 klas i 172 szkół, co na poziomie indywidualnym stanowi 72,13% pierwotnej liczebności próby. Zbliżone odsetki obserwacji uwzględnione zostały w analizach z testem czytania oraz świadomości językowej jako zmiennymi zależnymi w obu przypadkach stanowiły one 71,27% 195

196 pierwotnej liczebności próby na poziomie indywidualnym (liczba uczniów = 4709, liczba klas = 300, liczba szkół = 172). Poniżej przedstawione zostały statystyki opisowe dla trzech zmiennych charakteryzujących poziom lęku w zbadanej przez nas grupie uczniów. Jako pierwsze zaprezentowane zostaną w tabeli 13.8 analizy, które zostały wykonane z uwzględnieniem tych uczniów którzy nie mieli braków danych w zakresie wyników w teście umiejętności matematycznych i dla których dysponowano kompletem danych w zakresie zmiennych opisujących poziom lęku. Następnie taki sam typ analiz przeprowadzono z uwzględnieniem danych dla testu z pisania i czytania (tabele 13.9 i 13.10). Tabela Statystyki opisowe dla zmiennych charakteryzujących poziom lęku (zmienna zależna wynik testu matematycznego) lęk-cecha napięcie emocjonalne somatyczne objawy napięcia N Średnia 100,04 99,69 99,75 Mediana 99,87 99,36 97,74 Odchylenie standardowe 14,82 14,77 14,76 Wariancja 219,69 218,21 218,01 Skośność 0,245 0,317 0,548 Kurtoza -0,041-0,331 0,08 Minimum 72,63 74,22 70,96 Maksimum 158,46 154,88 167,94 Percentyle 25 89,74 88,55 89,16 Źródło: Opracowanie własne 50 99,87 99,36 97, ,87 109,43 109,07 W zakresie lęku jako cechy średnie wyniki w trzech grupach analiz były bliskie 100 przy odchyleniu standardowym około 14,8. Ich rozkłady okazały się nieco przesunięte w stronę wyników niskich (skośność ok. 0,24), spiętrzenie rozkładu okazało się zbliżone do spiętrzenia typowego dla rozkładu normalnego. 196

197 Tabela 9.9. Statystyki opisowe dla zmiennych charakteryzujących poziom lęku (zmienna zależna wynik testu czytania). lęk-cecha napięcie emocjonalne somatyczne objawy napięcia N Średnia 100,13 99,74 99,77 Mediana 100,04 99,50 97,70 Odchylenie standardowe 14,80 14,77 14,77 Wariancja 219,11 218,19 217,58 Skośność 0,239 0,310 0,566 Kurtoza -0,053-0,333 0,163 Minimum 72,63 74,22 70,96 Maksimum 158,46 154,88 168,10 Percentyle 25 89,87 88,66 89,20 Źródło: Opracowanie własne ,04 99,50 97, ,86 109,43 109,03 Średnie wyniki dla napięcia emocjonalnego i somatycznych objawów napięcia we wszystkich trzech analizach okazały się bliskie wartości 99,7 przy odchyleniu standardowym około 14,77. Rozkłady okazały się przesunięte w stronę wyników niskich we wszystkich analizach, jednak przesunięcie to było silniejsze dla somatycznych objawów napięcia (0,57-0,58) niż dla napięcia emocjonalnego (0,31 0,33). W przypadku napięcia emocjonalnego rozkłady okazały się bardziej spłaszczone, niż jest to typowe dla rozkładu normalnego (ok. -0,33), podczas gdy dla somatycznych objawów napięcia były one bardziej spiętrzone (0,08-0,16). 197

198 Tabela Statystyki opisowe dla zmiennych charakteryzujących poziom lęku (zmienna zależna wynik testu świadomości językowej). lęk cecha napięcie emocjonalne somatyczne objawy napięcia N Średnia 100,13 99,74 99,77 Mediana 100,04 99,32 97,70 Odchylenie standardowe 14,80 14,77 14,77 Wariancja 219,11 218,19 217,579 Skośność 0,239 0,310 0,566 Kurtoza -0,053-0,333 0,163 Minimum 72,63 74,22 70,96 Maksimum 158,46 154,88 168,10 Percentyle 25 89,88 88,66 89,20 Źródło: Opracowanie własne ,04 99,50 97, ,86 109,43 109,03 Wyniki analizy korelacji między zmiennymi odnoszącymi się do lęku (lek-cecha, napięcie emocjonalne i somatyczne objawy napięcia) zawarte są w tabeli Ponad przekątną tabeli znajdują się korelacje dla analiz, w których zmienną zależną stanowiły osiągnięcia z matematyki. Poniżej przekątnej znajdują się korelacje dla analiz, w których zmienną zależną były osiągnięcia z czytania i świadomości językowej (korelacje przyjęły jednakowe wartości dla obu z nich). Zmienne lęk jako cecha oraz napięcie emocjonalne okazały się słabo dodatnio skorelowane (ok. 0,15). Sugeruje to, iż są to odrębne konstrukty, dotyczące nieco innych obszarów emocjonalności dziecka. Napięcie emocjonalne dotyczy raczej objawów różnego rodzaju przeżyć o negatywnym zabarwieniu (a nie jedynie lęku) i dotyczy konkretnych sytuacji, które dodatkowo muszą zostać przez rodziców dostrzeżone. Z kolei lęk jako cecha jest pewną dyspozycją do doświadczania lęku w różnych sytuacjach, które dodatkowo nie zawsze musi ulegać ekspresji. Dodatnia umiarkowana korelacja między somatycznymi objawami napięcia oraz napięciem emocjonalnym (ok. 0,5) sugeruje, iż rodzice, którzy obserwują u dzieci objawy napięcia, także często obserwują różnego rodzaju objawy somatyczne. Przypuszczalnie obie zmienne dotyczą raczej obserwowanych trudności emocjonalnych dziecka, które jednak niekoniecznie wynikać mogą z doświadczania lęku, lecz np. z trudności adaptacyjnych w grupie rówieśniczej lub innych przyczyn. 198

199 Tabela Wartości korelacji pomiędzy zmiennymi opisującymi poziom lęku r-pearsona (1) (2) (3) (1) lęk-cecha 1 0,150 0,133 (2) napięcie emocjonalne 0, ,482 (3) somatyczne objawy napięcia 0,137 0,481 1 Źródło: Opracowanie własne pogrubionym drukiem opisywane są wartości istotne na poziomie p < 0, Lęk a osiągnięcia z matematyki Wyniki analiz, w których zmienną zależną stanowiły osiągnięcia szkolne z matematyki, przedstawiono w tabeli Zawiera ona oszacowania parametrów kolejnych modeli, przygotowanych według schematu przedstawionego w punkcie Modele (1) oraz (2) zostały szczegółowo opisane w rozdziale 6, stąd nie będą szczegółowo omawiane. W kolejnych krokach wprowadzone zostały zmienne dotyczące lęku jako cechy oraz objawów napięcia emocjonalnego doświadczanego przez dziecko a obserwowanego przez rodziców oraz ich losowe nachylenia na obu poziomach. Efektem eliminacji nieistotnych losowych nachyleń oraz nieistotnych predyktorów powstał model, do którego następnie włączano interakcje. Ich dodanie z parametrami nachyleń dla szkół i oddziałów klasowych skutkowało poważnymi trudnościami obliczeniowymi i brakiem zbieżności algorytmu obliczeniowego. Stąd najpierw weryfikowano istotność obu interakcji z losowymi nachyleniami oddzielnie, a następnie jednocześnie, lecz z pominięciem nachyleń dla klas. Doprowadziło to do usunięcia interakcji napięcia emocjonalnego z inteligencją z powodu nieistotności statystycznej. Efektem dalszego usuwania nieistotnych nachyleń dla interakcji lęku jako cechy z inteligencją jest model (3). Tabela Wyznaczniki osiągnięć matematycznych: znaczenie lęku jako cechy oraz psychologicznych i somatycznych objawów napięcia emocjonalnego przy kontroli zmiennych psychospołecznych; zróżnicowanie międzyoddziałowe i międzyszkolne w zakresie siły tych zależności. Wyniki trzypoziomowych analiz regresji, odporne (robust) oszacowania błędów standardowych. zmienna zależna: test matematyczny model (1) model (2) model (3) oszacowanie efektów stałych poziom ucznia Stała 99,28 (0,451) 97,26 (0,496) 97,26 (0,500) wiek dziecka w tygodniach 0,071 (0,012) 0,068 (0,012) opóźniony tok nauki -14,71 (2,158) -14,12 (2,113) przyspieszony tok nauki 6,20 (2,904) 6,04 (2,969) wykształcenie rodziców: średnie a 3,37 (0,569) 3,25 (0,565) wykształcenie rodziców: policealne lub studia I stopnia a 3,65 (0,638) 3,55 (0,647) wykształcenie rodziców: wyższe magisterskie, dr lub prof. a 6,58 (0,678) 6,57 (0,674) 199

200 Indeks zasobów materialnych rodziny dziecka 0,117 (0,018) 0,112 (0,018) Test Matryc Ravena 0,544 (0,019) 0,222 (0,115) napięcie emocjonalne b -0,032 (0,014) somatyczne objawy napięcia emocjonalnego b lęk-cecha (STAIC) c -0,37 (0,012) interakcja: lęk-cecha i inteligencja 0,003 (0,001) oszacowanie efektów losowych wariancja efektów dla stałych dla szkół 8,37 6,45 6,88 wariancja efektów dla stałych dla oddziałów klasowych 11,82 4,09 3,78 wariancja na poziomie ucznia 201,47 114,66 113,19 liczba szkół= 172, liczba klas = 300, liczba uczniów = 4766 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05 w nawiasach podano błędy standardowe a grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe b raportowane przez rodziców c pomiar lęku cechy i inteligencji odbył się tego samego dnia, kolejność pomiarów: Testy Matryc Ravena, STAIC Istotne statystycznie współczynniki regresji uzyskano dla zmiennych lęk jako cecha (B = -0,37; t(16) = -3,15; p = 0,007), interakcji lęku jako cechy z inteligencją (B = 0,003; t(19) = 2,761; p = 0,013), oraz napięcia emocjonalnego, B = -0,032, t(61) = -2,25; p = 0,028. Wykres 1 pokazuje naturę wykrytej interakcji. Widoczne jest, że wraz ze wzrostem poziomu lęku jako cechy spadają osiągnięcia szkolne dziecka w zakresie umiejętności matematycznych, jednakże im wyższy poziom inteligencji dziecka, tym spadek ten jest łagodniejszy. 200

201 MAT_WPV RVN_3 = -30 RVN_3 = -15 RVN_3 = 0 RVN_3 = 15 RVN_3 = LEK_ST_C LEK_ST_C - wynik w w skali lęk-cecha testu STAIC (wycentrowany wokół zmiennej w całej próbie) RVN_3 wynik w Teście Matryc Ravena (wycentrowany wokół średniej w próbie) MAT_WPV1 wynik testu matematycznego, oszacowanie PV1 Źródło: opracowanie własne Rysunek 9.1. Interakcja między inteligencją a lękiem jako cechą. W celu weryfikacji poprawy dopasowania tego modelu w porównaniu do modelu kontrolnego (2) przeprowadzone zostały odpowiednie porównania. Ze względu na fakt, iż każdy model powtarzany był pięciokrotnie (dla każdego z pięciu PV jako zmiennej zależnej), porównywano dopasowania odpowiednich modeli dla odpowiednich PV. Szczegółowe dane przedstawiono w tabeli W każdym z pięciu powtórzeń model (3) okazał się istotnie lepiej dopasowany niż model (2) kontrolny. Jednakże w modelu tym istotność jako predyktor utracił Test Matryc Ravena. Został on pozostawiony w modelu ze względu na fakt, iż model (3), zawierający wykrytą interakcję, okazał się lepiej dopasowany do danych w każdym z pięciu powtórzeń w porównaniu do modelu jej nie zawierającego, w którym jednak Test Matryc Ravena pozostawał istotny. 201

202 Tabela Weryfikacja poprawy dopasowania modelu. Wyniki testowania istotności poprawy dopasowania modelu bardziej złożonego w porównaniu z oszczędniejszym modelem kontrolnym model (2) k=12 model (3) k=15 (PV1) χ 2 = 65,97 (PV2) χ 2 = 36,29 (PV3) χ 2 = 60,47 (PV4) χ 2 = 59,60 (PV5) χ 2 = 73,56 df = 3 pogrubionym drukiem opisywane są wartości istotne na poziomie p < 0,05 k - liczba parametrów modelu df - liczba stopni swobody (PV1) - (PV5) porównanie dla powtórzeń modeli, w którym zmienną zależną jest PV o danym numerze porządkowym Podsumowując, gdy wynik w skali napięcia emocjonalnego napięcia rośnie o 1 punkt, wyniki w teście z matematyki spadają o 0,032 punktu, gdy wartości pozostałych zmiennych pozostają bez zmian. Ponadto, gdy wynik w skali lęku jako cechy rośnie o 1 wynik w teście matematycznym spada o 0,3 punktu. Jednakże siła tej zależności zależy od poziomu inteligencji dziecka. Im jest on wyższy, tym spadek wyników jest łagodniejszy Lęk a osiągnięcia w zakresie czytania W tabeli przedstawiono szczegółowe wyniki analiz dla kolejnych modeli, w których zmienną zależną stanowiły osiągnięcia szkolne uczniów w zakresie czytania. Analizy przebiegły zgodnie z opisem w punkcie Modele (1) oraz (2) opisane zostały w rozdziale 6, wobec czego nie będą szczegółowo analizowane. Zaznaczyć jedynie należy, że pomimo braku zróżnicowania poziomu osiągnięć uczniów między klasami wewnątrz szkół, poziom ten pozostał w modelu w celu odzwierciedlenia faktycznej struktury próby. Zmienna identyfikująca uczniów o przyspieszonym toku nauki również pozostała w modelu, pomimo jej nieistotności statystycznej jako predykatora, ze względu na jej znaczenie jako zmiennej kontrolowanej (Snijders i Bosker, 2012). Podobnie jak w przypadku analiz, w których zmienną zależną stanowiły wyniki testu matematycznego, wprowadzenie interakcji do modelu, w którym pozostały jedynie istotne predyktory dotyczące lęku wraz z ich istotnymi nachyleniami, skutkowało poważnymi trudnościami obliczeniowymi i brakiem zbieżności algorytmu obliczeniowego. Stąd na podstawie wiedzy o braku istotnych losowych nachyleń na poziomie klas dla większości zmiennych w innych analizach przedstawionych w tym raporcie, usunięto je, pozostawiając nachylenia na poziomie szkół. Efektem usuwania kolejno nieistotnych nachyleń dla interakcji i samych nieistotnych interakcji jest model (3). Spośród dodanych zmiennych i parametrów pozostały w nim napięcie emocjonalne (B = -0,038; t(35) = -2,13; p = 0,034) wraz z istotną statystycznie wariancją nachyleń na poziomie szkół, U = 0,001; χ2 (171; N = 176) = 220,36; p = 0,007. Ponadto istotne statystycznie okazały się zmienne lęk jako cecha (B = -0,30, t(44) = -2,62; p = 0,012) oraz jego interakcja z inteligencją, B = 0,001, t(42) = 2,36; p = 0,

203 Tabela Wyznaczniki osiągnięć w zakresie czytania: znaczenie lęku jako cechy, psychologicznych i somatycznych objawów napięcia emocjonalnego przy kontroli zmiennych pychospołecznych; zróżnicowanie międzyoddziałowe i międzyszkolne w zakresie siły tych zależności Wyniki trzypoziomowych analiz regresji, odporne (robust) oszacowania błędów standardowych. zmienna zależna: test czytania oszacowanie efektów stałych poziom ucznia model (1) model (2) model (3) model (4) Stała 99,23 (0,431) 96,1 (0,717) płeć dziecka a 3,11 (0,536) wiek dziecka w tygodniach opóźniony tok nauki przyspieszony tok nauki 0,062 (0,014) -9,14 (2,089) 3,42 (2,730) wykształcenie rodziców: 2,14 średnie b (0,738) wykształcenie rodziców: policealne lub studia I 3,68 stopnia b (0,927) wykształcenie rodziców: wyższe magisterskie, dr 5,83 lub prof. b (1,09) HISEI Indeks dóbr materialnych Test Matryc Ravena 0,042 (0,019) 0,127 (0,018) 0,409 (0,018) 96,20 (0,727) 3,01 (0,537) 0,058 (0,014) -8,58 (2,987) 3,17 (2,763) 1,00 (0,943) 3,57 (0,934) 5,77 (1,103) 0,043 (0,019) 0,121 (0,018) 0,141 (0,117) napięcie emocjonalne c -0,038 (0,018) somatyczne objawy napięcia emocjonalnego c lęk-cecha (STAIC) d -0,297 (0,113) interakcja: inteligencja lęk cecha 0,003 (0,001) 96,30 (0,660) 2,98 (0,476) 0,058 (0,014) -8,26 (1,674) 2,654 (2,403) 1,72 (0,625) 3,44 (0,825) 5,56 (1,056) 0,038 (0,019) 0,121 (0,018) 0,124 (0,096) -0,048 (0,014) -0,37 (0,093) 0,003 (0,001) oszacowanie efektów losowych wariancja efektów dla stałych dla szkół 8,80 6,47 7,29 7,21 wariancja nachyleń dla szkół dla napięcia emocjonalnego 0,

204 wariancja efektów dla stałych dla oddziałów klasowych 2,96 1,98 1,65 1,03 wariancja na poziomie ucznia 204,50 141,65 140,27 142,80 liczba szkół= 172, liczba klas = 300, liczba uczniów = 4709 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05 w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c raportowane przez rodziców d pomiar lęku cechy i inteligencji odbył się tego samego dnia, kolejność pomiarów: Testy Matryc Ravena, STAIC Żródło: opracowanie własne Weryfikacja poprawy dopasowania wykazała, iż model (3) jest istotnie lepiej dopasowany do danych niż model kontrolny (2) w każdym z pięciu powtórzeń. Ze względu na niską wartość wariancji nachyleń na poziomie szkół dla napięcia emocjonalnego zdecydowano się jednak na porównanie tego modelu z modelem oszczędniejszym (4), z wykluczonym parametrem nachylenia. Analiza wykazała, że model (3) nie jest lepiej dopasowany do danych niż bardziej oszczędny model (4) w każdym z pięciu powtórzeń. Stanowi to podstawę do przyjęcia modelu (4) jako wystarczającego do opisu badanych zależności. Jednocześnie model (4) okazał się istotnie lepiej dopasowany do danych niż model (2). Jednakże istotność jako predyktor utracił w nim Test Matryc Ravena. Został on pozostawiony w modelu ze względu na fakt, iż model (4), zawierający wykrytą interakcję, okazał się lepiej dopasowany do danych w każdym z pięciu powtórzeń w porównaniu do modelu jej nie zawierającego, w którym jednak Test Matryc Ravena pozostaje istotny. Dane dotyczące najważniejszych porównań znajdują się w tabeli Tabela Weryfikacja poprawy dopasowania modeli. Wyniki testowania istotności poprawy dopasowania modeli bardziej złożonych w porównaniu z oszczędniejszymi model (4) k=17 model (2) k=14 (PV1) χ 2 = 36,05 (PV2) χ 2 = 20,71 (PV3) χ 2 = 21,88 (PV4) χ 2 = 40,28 (PV5) χ 2 = 36,15 df = 3 model (3) k=19 (PV1) χ 2 = 0,286 (PV2) χ 2 = 1,12 (PV3) χ 2 = - 0,065 (PV4) χ 2 = 2,18 (PV5) χ 2 = 3,51 df = 2 pogrubionym drukiem opisywane są wartości istotne na poziomie p < 0,05 k - liczba parametrów modelu df - liczba stopni swobody (PV1) - (PV5) porównanie dla powtórzeń modeli, w którym zmienną zależną jest PV o danym numerze porządkowym Źródło: opracowanie własne Podsumowując, gdy wynik dziecka w skali napięcia emocjonalnego rośnie o 1 punkt, jego osiągnięcia spadają o ok. 0,04 punktu, gdy kontrolowane są pozostałe zmienne, B = 0,039, t(33) = -2,251; p = 0,031. Ponadto wraz ze wzrostem wyniku w skali lęku jako cechy o 1 punkt, wynik dziecka w teście czytania spada o ok. jedną trzecią punktu, B = 0,30; t(44) = -2,63; p = 0,012. Jednakże zaobserwowana została interakcja inteligencja lęk jako cecha, B = 0,003; t(42) = 2,37; p = 0,023. Im wyższy jest 204

205 CZT_WPV1 poziom inteligencji dziecka, spadek osiągnięć dziecka wraz ze wzrastającym poziomem lęku jako cechy jest łagodniejszy. Wykres 13.2 obrazuję tę interakcję. Ponadto zaobserwowano międzyszkolne zróżnicowanie siły zależności między poziomem napięcia emocjonalnego a osiągnięciami z czytania, jednak nie pozwala ono lepiej przewidywać osiągnięć uczniów i może zostać pominięte RVN_3 = -30 RVN_3 = -15 RVN_3 = 0 RVN_3 = 15 RVN_3 = LEK_ST_C Rysunek 9.2. Interakcja między inteligencją a lękiem jako cechą. LEK_ST_C - wynik w w skali lęk-cecha testu STAIC (wycentrowany wokół zmiennej w całej próbie) RVN_3 wynik w Teście Matryc Ravena (wycentrowany wokół średniej w próbie) CZT_WPV1 wynik testu matematycznego, oszacowanie PV1 Źródło: opracowanie własne Lęk jako cecha a osiągnięcia w zakresie świadomości językowej Wyniki analiz, w których zmienną zależną stanowiły osiągnięcia szkolne z matematyki, przedstawiono w tabeli Zawiera ona oszacowania parametrów kolejnych modeli, budowanych według schematu przedstawionego w punkcie 5.1. Modele (1) oraz (2) zostały szczegółowo opisane w rozdziale I.5, stąd nie będą szczegółowo omawiane. Uzasadnienie pozostawienia w modelu poziomu osiągnięć uczniów między klasami wewnątrz szkół znajduje się w punkcie 5.5. Analizy przebiegły zgodnie z omówionym wcześniej schematem. Podobnie, jak w przypadku analiz z wykorzystaniem wyników testu matematycznego i czytania, dodanie interakcji zmiennych dotyczących lęku (które pozostały w modelu) z inteligencją (wraz z losowymi nachyleniami na poziomie klas i szkół) doprowadziło do poważnych problemów obliczeniowych i braku zbieżności algorytmu obliczeniowego. Konieczne okazało się oddzielne testowanie każdej interakcji wraz z jej losowymi nachyleniami na poziomie oddziałów klasowych i szkół. Efekt interakcyjny dla napięcia emocjonalnego okazał się nieistotny statystycznie, stąd nie włączano go do modelu, co z kolei nastąpiło w przypadku interakcji dla lęku jako cechy, dla którego zaobserwowano też losowe nachylenia na poziomie klas. Model ten 205

206 oznaczono numerem 3. Spośród istotnych predyktorów pozostały w nim napięcie emocjonalne (B = 0,33; t(171) = -2,23; p = 0,027), lęk jako cecha (B = -0,39; t(24) = -3,02; p = 0,006) oraz jego interakcja z inteligencją (B = 0,004; t(25) = 2,77; p = 0,011). Dla każdej z tych zmiennych pozostał również parametr losowych nachyleń, odpowiednio: U = 0,003, χ2(171, N = 176) = 216,98; p = 0,010; U = 0,011, χ2(171, N = 176) = 238,24; p = 0,001; U = (0,00075)2, χ2(171, N = 176) = 250,82. Tabela Wyznacznik i osiągnięć w zakresie świadomości językowej: znaczenie lęku jako cechy, psychologicznych i somatycznych objawów napięcia emocjonalnego przy kontroli zmiennych pychospołecznych; zróżnicowanie międzyoddziałowe i międzyszkolne w zakresie siły tych zależności Wyniki trzypoziomowych analiz regresji, odporne (robust) oszacowania błędów standardowych. zmienna zależna: test świadomości językowej model (1) model (2) model (3) model (4) oszacowanie efektów stałych poziom ucznia stała 99,02 (0,487) 94,49 (0,700) płeć dziecka a 5,35 (0,447) wiek dziecka w tygodniach opóźniony tok nauki przyspieszony tok nauki 0,084 (0,013) -12,30 (1,829) 4,90 (1,893) wykształcenie rodziców: 3,26 średnie b (0,673) wykształcenie rodziców: policealne lub studia I 4,72 stopnia b (0,941) wykształcenie rodziców: wyższe magisterskie, dr lub 5,63 prof. b (0,967) HISEI Indeks zasobów materialnych rodziny dziecka Test Matryc Ravena 0,063 (0,064) 0,124 (0,020) 0,451 (0,016) 94,52 (0,710) 5,31 (0,425) 0,008 (0,013) -11,43 (1,650) 5,01 (1,909) 3,18 (0,690) 4,73 (0,949) 5,67 (0,983) 0,062 (0,019) 0,121 (0,19) 0,141 (0,124) napięcie emocjonalne c -0,032 (0,15) somatyczne objawy napięcia emocjonalnego c lęk-cecha (STAIC) d -0,340 (0,125) 94,55 (0,703) 5,29 (0,442) 0,080 (0,034) -11,71 (1,735) 4,60 (1,895) 3,14 (0,677) 4,62 (0,949) 5,58 (0,969) 0,064 (0,019) 0,119 (0,020) 0,099 (0,130) -0,033 (0,015) -0,382 (0,131) 206

207 interakcja: inteligencja lęk-cecha 0,003 (0,001) 0,003 (0,001) oszacowanie efektów losowych wariancja efektów dla stałych dla szkół 13,12 6,29 6,27 6,92 wariancja nachyleń dla szkół dla napięcia emocjonalnego 0,0027 wariancja nachyleń dla szkół dla lęku-cechy (STAIC) 0,011 wariancja nachyleń dla szkół dla interakcji lęk-cecha - inteligencja wariancja efektów dla stałych dla oddziałów klasowych 0, ,23 1,78 1,60 1,61 wariancja nachyleń dla oddziałów klasowych dla napięcia emocjonalnego wariancja nachyleń dla oddziałów klasowych dla lęku-cechy (STAIC) wariancja na poziomie ucznia 201,31 121,29 117,56 119,98 liczba szkół= 172, liczba klas = 300, liczba uczniów = 4709 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05 w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy wykształcenie b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe c raportowane przez rodziców d pomiar lęku cechy i inteligencji odbył się tego samego dnia, kolejność pomiarów: Testy Matryc Ravena, STAIC Żródło: opracowanie własne W kolejnych krokach testowana była istotność poprawy dopasowania modelu. W efekcie wyeliminowano efekty losowych nachyleń na poziomie szkół dla wykrytej interakcji, napięcia emocjonalnego oraz lęku-cechy. Nie poprawiały one istotnie dopasowania modelu w co najmniej jednym z powtórzeń. W efekcie powstał model (4), uznany za ostateczny pomimo nieistotnego efektu głównego Testu Matryc Ravena przy istotnej interakcji inteligencja-lęk cecha. Zachowanie w modelu tej interakcji istotnie polepszało jego dopasowanie w każdym z pięciu powtórzeń. Ponadto model (4) okazał się lepiej dopasowany niż model kontrolny. Szczegółowe dane na temat ostatniego z porównań dopasowania znajdują się w tabeli Istotnymi statystycznie predyktorami kompetencji w zakresie świadomości językowej okazały się napięcie emocjonalne (B = -0,033; t(266) = -2,23; ; p = 0,27) oraz lęk jako cecha (B = -0,31; t(37) = -2,44; p = 0,02). Ponadto istnieje interakcja między poziomem inteligencji i poziomem lęku jako cechy (B = 0,003; t(37) = 2,21; ; p = 0,033). Wykres 13.3 obrazujący naturę tej interakcji, pokazuje, iż wyższy poziom inteligencji wiąże się z łagodniejszym spadkiem osiągnięć w zakresie świadomości językowej, gdy rośnie poziom lęku jako cechy. 207

208 PIS_WPV1 Tabela Weryfikacja poprawy dopasowania modeli. Wyniki testowania istotności poprawy dopasowania modeli bardziej złożonych w porównaniu z oszczędniejszymi model (4) k=17 model (2) k=14 (PV1) chi 2 = 36,16 (PV2) chi 2 = 42,83 (PV3) chi 2 = 39,32 (PV4) chi 2 = 57,42 (PV5) chi 2 = 47,37 df = 3 pogrubionym drukiem opisywane są wartości istotne na poziomie p < 0,05 k - liczba parametrów modelu df - liczba stopni swobody (PV1) - (PV5) porównanie dla powtórzeń modeli, w którym zmienną zależną jest PV o danym numerze porządkowym Podsumowując, wraz ze wzrostem wynik w skali napięcia emocjonalnego o 1 punkt osiągnięcia w zakresie świadomości językowej spadają o 0,03 punktu. Ponadto, gdy o 1 punkt rośnie wynik w skali lęku jako cechy, osiągnięcia te spadają o ok. 0,38 punkt. Jednakże im wyższy jest poziom inteligencji dziecka, tym spadek ten jest łagodniejszy. Ponadto zaobserwowano międzyszkolne zróżnicowanie siły zależności lęk jako cecha osiągnięcia, napięcie emocjonalne osiągnięcia oraz zróżnicowany wzorzec interakcji, jednakże efekty te nie poprawiały istotnie przewidywań osiągnięć uczniów i mogą zostać pominięte RVN_3 = -30 RVN_3 = -15 RVN_3 = 0 RVN_3 = 15 RVN_3 = LEK_ST_C Rysunek 9.3. Interakcja między inteligencją a lękiem jako cechą LEK_ST_C - wynik w w skali lęk-cecha testu STAIC (wycentrowany wokół zmiennej w całej próbie) RVN_3 wynik w Teście Matryc Ravena (wycentrowany wokół średniej w próbie) 208

209 PIS_WPV1 wynik testu matematycznego, oszacowanie PV1 Źródło: opracowanie własne 9.6. Dyskusja wyników Celem rozdziału było znalezienie odpowiedzi na pytania dotyczące znaczenia lęku jako cechy i obserwowanych przez rodziców objawów napięcia emocjonalnego (psychologicznych i somatycznych) oraz ich interakcji z inteligencją dla osiągnięć szkolnych. Sprawdzono także możliwe międzyszkolne i międzyoodziałowe zróżnicowanie siły tych zależności. Wyniki przeprowadzonych analiz wskazują, że istnieje zależność między poziomem lęku jako cechy oraz objawami napięcia psychologicznego a osiągnięciami szkolnymi we wszystkich trzech badanych obszarach kompetencji uczniów. Gdy wynik w skali napięcia emocjonalnego rośnie o 1 punkt, osiągnięcia szkolne z matematyki, czytania i świadomości językowej spadają odpowiednio o 0,03, 0,04 i 0,03 punktu. Gdy wynik w teście lęku jako cechy rośnie o jeden punkt, wynik testu z matematyki, czytania oraz świadomości językowej obniżają się o ok. 0,37 punktu, Dla każdego z zbadanych przez nas obszarów kompetencji ucznia istotna również okazała się interakcja ilorazu inteligencji z lękiem-cechą. Zaobserwowane zależności dowodzą, że dzieci z wysokim ilorazem inteligencji również doświadczają pogorszenia wyników wraz ze wzrostem poziomu lęku. Jednak pogorszenie to jest mniejsze. Wiadomo, że lęk jako cecha bezpośrednio oraz pośrednio (za pośrednictwem lęku jako stanu) może wpływać na wyniki w nauce (np. Heinrich, 1979; King, Heinrich, Stephenson i Spielberger, 1976), co wydaje się znajdować potwierdzenie w przeprowadzonych przez nas analizach. Otwartym pozostaje pytanie o mechanizmy odpowiadające za zaobserwowane efekty interakcji inteligencji z lękiemcechom. Można przypuszczać, że wysoki poziom inteligencji pozwala uczniom nawet przy wyższym poziomie lęku lepiej radzić sobie z wymaganiami stawianymi przez szkołę. W sytuacji w której poziom lęku nie powoduje powstawania zaburzeń, które uniemożliwiałyby normalne funkcjonowanie w szkole, staje się on czynnikiem mobilizującym. Jak wiadomo od czasu sformułowania klasycznego prawa Yerksa-Dodsona zależność pomiędzy poziomem pobudzenia (w niniejszym badaniu - lęku jako cechy) a poziomem wykonania jest krzywoliniowa, jak również uzależniona jest od poziomu złożoności zadania (Maruszewski i in. 2008). Ważne, jest jednak aby pamiętać, że jednostki różnią się charakterystycznym dla siebie optymalnym stanem pobudzenia, które wyznacza zakres w jakim osiągają one najlepsze wyniki. Zbadani przez nas uczniowie zapewne również różnili się zakresem tolerancji lękowego pobudzenia, które było dla nich optymalne i nie powodowało ani stanu nudy i demotywacji, kiedy pobudzenie jest zbyt niskie ani z drugiej strony nie prowadziło do nadmiernego pobudzania. W tym kontekście należy pamiętać, że w przypadku dzieci o niższym ilorazie inteligencji, co do których można przypuszczać, że ich zasoby poznawcze są mniejsze, wysoki poziom lęku-cechy może być czynnikiem szczególnie zakłócającym funkcjonowanie szkolne, zarówno w kontekście osiągnięć jak i relacji z rówieśnikami. Stała gotowość do interpretacji sygnałów płynących z otoczenia jako niosących zagrożenie, obecna u dzieci z wysokim poziomem lęku-cechy powoduje ograniczanie możliwości przetwarzania innych informacji i pogarsza funkcjonowanie poznawcze (Owens i in. 2008). Co przy mniejszych zasobach (niższy iloraz inteligencji) może przyczyniać się do bardziej znaczącego pogorszenia się poziomu osiągnięć. Kwestia mechanizmu wykrytych efektów, ze względu na korelacyjny charakter badania, nie może być obecnie w pełni wyjaśniona i wymaga odrębnych działań badawczych. 209

210 Rozważenia wymaga problem znaczenia obiektywnych cechy sytuacji dla wzbudzenia lęku jako stanu podczas pomiaru osiągnięć szkolnych, gdyż mógł on mieć znaczenie dla uzyskanych wyników analiz. Nie jest wykluczone, że pomimo standardowej procedury przeprowadzania testów kompetencji szkolnych (przygotowanej tak, by minimalizowała potencjalny stres i lęk) oraz przeszkolenia badaczy, indywidualny styl prowadzenia badania (sam lub w interakcji z innymi czynnikami, np. zachowaniem uczniów, jakością kontaktu z dyrektorem szkoły, wychowawcą klasy), mógł przekłądać się na sposób, w jaki różni badacze i sytuacja testowania odbierane były przez uczniów, tj. na ile cechy sytuacji stanowiły czynnik lękotwórczy. Uczniowie różniący się poziomiem lęku jako cechy są w różnym stopniu podatni na doświadczenie lęku jako stanu pod wpływem cech sytuacji, co z kolei wpływać może na wyniki uzyskiwane podczas testowania osiągnięć. Pomiar lęku jako cechy oraz napięcia emocjonalnego wykorzystywany w badaniach nie uwzględnia potencjalnego znaczenia tego czynnika, o czym należy pamiętać dokonując interpretacji wyników. W kontekście wykrytej interakcji między lękiem jako cechą i inteligencją istotne wydaje się też rozpatrzenie znaczenie lęku jako stanu dla wyników w teście inteligencji. Sytuacja trudności czy subiektywnego lub obiektywnego niepowodzenia dziecka w Teście Matryc Ravena mogła wpływać na doświadczany sytuacyjnie lęk, a ten z kolei na wynik w teście inteligencji. Teoria wskazuje, że na efekt ten szczególnie podatne powinny być dzieci o wysokim poziomie lęku jako cechy, Jeżeli faktycznie miał on miejsce, to u dzieci podatnych na doświadczanie lęku jako cechy mogło dojść do obniżenia wyników w teście inteligencji. Nie znaleźliśmy jednak korelacji między tymi wymiarami, stąd czynnik ten należy wykluczyć jako potencjalne źródło wykrytej interakcji. Przypomnieć także należy, że przeprowadzone analizy zakładają niezmienność poziomu lęku jako cechy oraz napięcia emocjonalnego w czasie. Pomimo relatywnie krótkiego czasu między pomiarami lęku i napięcia emocjonalnego oraz osiągnięć (niespełna rok), ostatni z nich odbywał się już w nowych warunkach, po przejściu uczniów na kolejny etap kształcenia. Realtywna nowość związana z inną niż podczas nauczania początkowego organizacją kształcenia (np. kształcenie przez nauczycieli przedmiotowych) mogłą wpłynąć na bieżące doświadczania lęku i napięcia przez dzieci (zwłaszcza uczniów o wysokim poziomie lęku jako cechy). Mogły one znaleźć odzwierciedlenie w wynikach testów osiągnieć, jednak ze względu na plan poszczególnych pomiarów, ich znaczenie nie zostało uchwycone w zastsosowanych miarach. Zajść mogły także zmiany w poziomie obu zmiennych wynikające z innych przyczyn. Nieuchwycenie tych czynników mogło mieć wpływ na wyniki analiz. Stąd w kolejnych etapach badania wskazane jest monitorowanie poziomu lęku jako cechy i napięcia emocjonalnego wraz z poziomem osiągnięć. Pozwoli to na śledzenie zmian ich nasilenia w czasie, umożliwi próby atrybucji przyczyn tych zmian, jak również pozwoli na trafniejsze wnioskowanie o sile zależności między lękiem jako cechą i napięciem emocjonalnym a osiągnięciami szkolnymi Rekomendacje Niezbyt duża siła zależności raportowanych w tym rozdziale może niesłusznie sugerować, iż można zignorować znaczenie lęku (rozumianego jako cecha osobowości) oraz obserwowanego przez rodziców napięcia emocjonalnego dziecka dla osiągnięć szkolnych. Jest to wniosek niesłuszny, wziąwszy pod uwagę naturę metod statystycznej analizy danych, które mówią o typowych, przeciętnych tendencjach w populacji, nie opisują natomiast pojedynczych jednostek. Opisane przez nas wyniki wskazują, że wraz ze wzrostem lęku poziom osiągnięć się obniża. Związki te co prawda nie są silne, ale były one obserwowane w odniesieniu do każdej z trzech badanych przez nas umiejętności szkolnych. Należy pamiętać, że wykorzystana przez nas miara lęku odnosiła się do trwałej dyspozycji i była traktowana jako wewnętrzna charakterystyka każdego ze zbadanych 210

211 dzieci. Te właściwości dziecka wchodzą w interakcje ze środowiskiem szkolnym, rodzinnym i rówieśniczym i mogą stanowić ważny predyktor poziomu osiągnięć. U dzieci u których obserwuje się podwyższony poziom lęku-cechy, nawet jeśli nie spełniają one kryteriów zaburzeń lękowych, występować może podwyższona gotowość do reagowania lękiem sytuacyjnym na różnego rodzaju wymagania szkolne. Sytuacja, w której jeden lub więcej uczniów w klasie przejawia podwyższony poziom lęku, zauważalny przez dorosłych (rodziców, nauczyciela), powinna prowadzić do indywidualnej diagnozy problemów dziecka i jeżeli taka jest konieczność, podjęcia działań mających na celu udzielenie mu odpowiedniej pomocy. Szczególnie ważna jest tu czujność opiekunów dziecka (wychowawcy klasy, rodziców), którzy zazwyczaj dysponują informacjami pochodzącymi z obserwacji zachowań dziecka i którzy powinni reagować na pojawiające się symptomy zarówno świadczące o napięciu emocjonalnym jak i objawach somatycznych. Należy również pamiętać, że w przypadku dzieci lękowych, ze względu na charakter przeżywanych problemów, np. tendencje do zamartwiania się, negatywne interpretacje własnych działań, cześć z nich jest trudna do zaobserwowania w toku codziennych klasowych interakcji. Dzieci takie potrzebują stworzenia bezpiecznej sytuacji w której mogłyby swobodnie opowiadać o swoich problemach, lękach i obawach. W kontekście pomocy udzielanej tym dzieciom szczególnie istotna jest współpraca szkoły i rodziców. Wskazuje się bowiem, że część zachowań mogących świadczyć o wysokim poziomie lęku i związanych z tym problemach np. w kontaktach z rówieśnikami obserwowana jest w szkole i dostrzegana przez nauczycieli, natomiast rodzice nie mają świadomości występowania tego typu utrudnień (por. Duchesne i in. 2008). Zatem w tym zakresie konieczna jest obustronna komunikacja i wymiana informacji pomiędzy szkołą a domem rodzinnym dziecka. Ma to znaczenie nie tylko w kontekście osiągnięć szkolnych, lecz także dobrostanu i optymalnego rozwoju dziecka. Nie można jednak zapomnieć o adaptacyjnym znaczeniu lęku i innych emocji o negatywnych zabarwieniu. Niejednokrotnie są on właściwą reakcją na sytuację zagrożenia, która wywołuje działania pozwalające ochronić organizm, np. powoduje ucieczkę lub sprawia, że dziecko nie zbliży się do dużego, szczekającego psa. Innymi słowy, nie zawsze lęk dziecka świadczy o problemach w tym zakresie, stąd konieczna jest znajomość norm i prawidłowości rozwojowych. Charakter i źródło lęków u dzieci ulegają istotnym zmianom na przestrzeni okresu szkolnego i okresu adolescencji (por. Kendal 2004). Świadomość tych zamian oraz kompetencje do ich właściwego rozpoznawania i nazywania wydają sie szczególnie istotne w obliczu pojawiających się informacji o zwiększającym sie odsetku dzieci cierpiących na różnorodne zaburzenia emocjonalne (Czabała i in. 2005). W tym kontekście szczególnie ważne wydaje się odpowiednie kształcenie nauczycieli szkół podstawowych w zakresie psychologii rozwoju człowieka, z naciskiem na rozwój dziecka w wieku przedszkolnym i szkolnym. W odniesieniu do znaczenia lęku-cechy dla osiągnięć szkolnych, ważne wydają się także warunki i atmosfera panująca w klasie i szkole. Wiedząc, iż tak rozumiany lęk jest dyspozycją do spostrzegania różnorodnych bodźców jako lękotwórczych i odczuwania lęku sytuacyjnego, należy także zadbać o to, by środowisko szkolne było spostrzegane przez dziecko jako bezpieczne i zawierało jak najmniej lękotwórczych elementów. Elementy te obejmować mogą zarówno infrastrukturę szkoły (np. bliskość klas uczniów nauczania początkowego z uczniami z ostatnich klas szkoły podstawowej, związany z tym hałas), jak i czynniki wewnątrz klasy (np. zachowanie innych uczniów, sposób prowadzenia lekcji czy sprawdzania postępów w nauce). Z drugiej strony nie jest jednak możliwe (ani wskazane) eliminowanie wszystkich czynników potencjalnie lękotwóczych, gdyż istotną rolę odgrywa także tworzenie przez wychowawcę warunków, które pozwolą dziecku rozwijać kompetencje emocjonalne. Uważamy bowiem, że tworzenie okazji do konfrontacji z sytuacjami potencjalnie trudnymi które, wymagają mobilizacji i zaangażowania a jednocześnie dają również okazję do doświadczenia sukcesu. Staje sie nie- 211

212 zmiernie ważne w kontekście kształtowania kompetencji samoregulacji i samokontroli (por. Moffitt i in. 2010). Analizowany problem związków lęku z osiągnięciami szkolnymi można potraktować szerzej jako problem istotności dobrostanu emocjonalnego dziecka i jego związków z poziomem osiągnięć. Dla optymalnego funkcjonowania i realizacji własnego potencjału najbardziej pożądaną formą motywacji według Deciego i Ryana (2008) jest motywacja wewnętrzna. Wiąże się ona nie tylko z większym prawdopodobieństwem wyższych osiągnięć ale jest również istotna dla dobrostanu. Po to aby możliwy był rozwój motywacji wewnętrznej muszą zostać zaspokojone trzy podstawowe według tych autorów potrzeby: kompetencji, autonomii i powiązań. Rozwijanie okazji do zaspokojenia właśnie tych potrzeb może być kluczowe również w kontekście minimalizowania wpływu lęku na osiągniecie oraz zmniejszania niebezpieczeństwa pojawienia się zaburzeń lękowych w wyniku oddziaływań szkoły. Warto zwrócić uwagę iż w przypadku dzieci z podwyższonym poziomem lęku problemy w ich funkcjonowaniu szkolnym nie dotyczą tylko kwestii osiągnięć ale również kontaktów z rówieśnikami i nauczycielami. Nadmiernie wysoki poziom lęku wiąże sie z trudnościami w budowaniu i podtrzymywaniu satysfakcjonujących relacji z rówieśnikami co z kolei prowadzi do niższych kompetencji społecznych. Zatem uczniowie ci mogą mieć trudności w zaspokojeniu potrzeby afiliacji i przynależności, mogą mieć poczucie że są spychani poza centrum klasowego i rówieśniczego życia, co wtórnie może przekładać się na stosunek do szkoły, motywację do nauki, a w efekcie - osiągane wyniki. Działania mające na celu integrację uczniów, prowadzące do polepszenia współpracy miedzy nimi oraz budowania dobrej atmosfery w klasie, zwrotnie mogą przyczyniać się do obniżania poziomu lęku u dzieci, które biorą w nich udział. Trzeba jednak mieć świadomość, że ci uczniowie u których natężenie lęku jest wysokie i u których diagnozuje sie zaburzenia czy to lękowe czy to inne zaburzenia emocjonalne wymagać będą specjalistycznych oddziaływań poprzedzających ich udział w takich ogólnoklasowych zajęciach. Podsumowując, wskazana jest ścisła współpraca i komunikacja wychowawcy klasy i rodziców w zakresie kształcenia i wspierania rozwoju dziecka. W sytuacji zaobserwowania u dziecka objawów lęku, które wykraczają poza typowe normy rozwojowe, potrzebna jest diagnoza jego trudności oraz, w razie potrzeby, odpowiednie wsparcie i działania pomocowe. Identyfikacji problemów sprzyja współpraca na lini szkoła - rodzic, a także odpowiednia wiedza profesjonalna wychowawcy w zakresie psychologii rozwojowej, stąd obie z nich powinny być rozwijane. Wskazane jest także takie organizowanie środowiska szkolnego i klasowego, by nie zawierało silnie lękotwórczych czynników oraz wspierało rozwój motywacji wewnętrznej, przy jednoczesnym tworzeniu dziecku warunków do rozwijania kompetencji emocjonalnych. Literatura cytowana Bill, H., Moffit, T., Silva, P.A., McGee, R. (1991) Anxiety and cognitive task performance: A longitudinal perspective. Child Study Journal, 21 (3), Caspi A., Elder G.,H,, Bem D.,J. (1988). Moving away from the world: Life course pattern of shy children. Developmental Psychology 24, Czabała, Cz., Brykczyńska, C., Bobrowski, K., Ostaszewski, K., (2005). Problemy zdrowia psychicznego w populacji gimnazjalistów warszawskich. Postępy Psychiatrii i Neurologii 14 (1), 1-9. Deci, E. L. (1992).On the nature and functions of motivation theories. Psychological Science, 3,

213 Deci, E. L., Ryan, R. M. (2008). Facilitating optimal motivation and psychological well-being across life s domains. Canadian Psychology, 49, Duchesne, S., Vitaro, F., Larose, S., & Tremblay, R.E. (2008).Trajectories of anxiety during elementary-school years and the prediction of high school noncompletion. Journal of Youth and Adolescence, 37, Goleman, D. (1997). Inteligencja Emocjonalna. Poznań: Media Rodzina. Grover, R., Ginsburg, G. & Ialongo, N. (2007). Psychosocial outcomes of anxious first graders: a seven year follow-up. Depression & Anxiety, 24, Hughes, A.A., Lourea-Waddell, B., Kendall, P.C. (2008). Somatic complaints In children with anxiety disorders and their unique prediction of poorer academic performance. Child Psychiatry and Human Development, 39, Ialongo, N., Edelsohn, G., Werthamer-Larsson, L., Crockett, L., Kellam, S. (1995). The significance of self-reported anxiety symptoms in first grade children: Prediction to anxious symptoms and adaptive functioning in fifth grade. Journal of Child Psychology and Psychiatry, 36, Izard, C., E., Ackerman, B., P. (2000). Motywacyjne, organizacyjnie i regulacyjne funkcje odrębnych emocji. W: M. Lewis i J. M. Haviland-Jones (red.), Psychologia Emocji (s ). Gdańsk: Gdańskie Wydawnictwo Psychologiczne. Jaworowska, A. (2005). Inwentarz stanu i cechy lęku STAIC C.D. Spielbergera, C.D. Edwardsa, R.E. Lushene a, J. Montouriniego i D. Platzek. Podręcznik. Warszawa: Pracownia Testów PTP. Kagan, J. (2008). Trzy złudne przekonania. Kraków: Wydawnictwo WAM. Kendall, P., C. (2004). Zaburzenie okresu dzieciństwa i adolescencji. Mechanizmy zaburzeń i techniki terapeutyczne. Gdańsk: Gdańskie Wydawnictwo Psychologiczne. Krejtz, I. (2012), Korepetycje poznawcze. Rola pamięci roboczej i kontroli uwagi w przewidywaniu osiągnięć szkolnych. Warszawa: Wydawnictwo Akademickie Sedno. Lau, J., Y., F., Eley, T., C., Stevenson, J. (2006). Examining the state-trait anxiety relationship: A behavioural genetic approach. Journal of Abnormal Child Psychology, 34, Maruszewski, T., Doliński, D., Łukaszewski W., Marszał-Wiśniewska, M. (2008) Emocje i motywacja. W: J. Strelau, D. Doliński (red.), Psychologia. Podręcznik akademicki tom I (s ). Gdańsk: Gdańskie Wydawnictwo Psychologiczne. Mazzone, L., Ducci, F., Scoto, M.C., Passaniti, E., D Arrigo, V.G., Vitiello, B. (2007), The role of anxiety in a community sample of children and adolescents, BioMed Central Public Health, 7, McCann, S.J., Meen, K.S. (1984). Anxiety, ability, and academic achievement. Journal of Social Psychology, 124, Milgram, R.M., Milgram,. N.A. (1977) The effect of test kontent and context on the anxiety-intelligence relationship. The Journal of Genetic Psychology, 130, Newbegin, I., Owens, A. (1996). Self esteem and anxiety in secondary school achievement. Journal of Social Behavior and Personality, 11 (3), Öhman, A. (2000). Strach i lęk z perspektywy ewolucyjnej, poznawczej i klinicznej. W: M. Lewis i J. M. Haviland-Jones (red.), Psychologia Emocji (s ). Gdańsk: Gdańskie Wydawnictwo Psychologiczne. 213

214 Owens, M., Stevenson, J., Norgate, R., Hadwin, J.A. (2008). Processing efficiency theory in children: Working memory as a mediator between trait anxiety and academic performance. Anxiety, Stress & Coping, 21 (4), Papay, J. P., & Spielberger, C. D. (1986). Assessment of anxiety and achievement in kindergarten and first- and second-grade children. Journal of Abnormal Child Psychology, 14, Papay, J. P., Costello, R. J., Hedl, J. J., & Speilberger, C. D. (1975). Effects of trait and state anxiety on the performance of elementary school children in traditional and individualized multiage classrooms. Journal of Educational Psychology, 67, Snijders, T.A., Bosker, R.J. (2012). Multilevel analysis. An introduction to basic and advanced multilevel modeling. 2 nd edition. Sage. Solevey, P., Sluyter, D., J. (1999). Rozwój emocjonalny a inteligencja emocjonalna: problemy edukacyjne. Poznań: Dom Wydawniczy Rebis Strahan, E. Y. (2003). The effects of social anxiety and social skills on academic performance. Personality and Individual Differences, 34, Tucholska, S., Steuden, S. (1990). Inwentarz do pomiaru leku u dzieci STAIC i jego polska wersja. Psychologia Wychowawcza, 1-2 s Van Ameringen, M., Mancini, C., & Farvolden, P. (2003). The impact of anxiety disorders on educational achievement. Journal of Anxiety Disorders, 17, Vitaro, F., Brendgen, M., Larose, S., & Tremblay, R. E. (2005). Kindergarten disruptive behaviors, protective factors, and educational achievement by early adulthood. Journal of Educational Psychology, 97, Wolańczyk T. (2002). Zaburzenia emocjonalne i behawioralne u dzieci i młodzieży szkolnej w Polsce. Warszawa: Akademia Medyczna w Warszawie. 214

215 10. Inteligencja a wyniki nauczania (Anna Hawrot, Jolanta Pisarek) Uczenie się jest nierozerwalnie związane z procesami poznawczymi. Opanowanie nowej wiedzy czy umiejętności wymaga m.in. zdolności percepcji bodźców, zasobów uwagi, pamięci, czy też zdolności rozumowania. Jedną z indywidualnych właściwości każdego człowieka, która realizuje się poprzez procesy poznawcze (procesy myślenia i rozumowania, percepcyjne, pamięciowe; Nęcka, 2009), jest inteligencja. Uwzględnianie jej w badaniu procesu uczenia się i sprawdzania jego efektów wydaje się więc naturalne i nie wymaga szczególnego uzasadniania. W niniejszym rozdziale zajmujemy się znaczeniem inteligencji dla osiągnięć szkolnych w trzech obszarach kompetencji rozwijanych w szkolne: kompetencji matematycznych, czytania oraz świadomości językowej. Przedstawiamy wybrane ujęcia inteligencji oraz jej powiązania z wynikami uczniów, wskazujemy trudności w badaniu tej zależności i w wyciąganiu wniosków dotyczących jej siły. Poruszamy problem możliwego zróżnicowania tej siły w szkołach i klasach. Przedstawiamy także wyniki badań Pracowni SUEK dotyczące tej problematyki Koncepcje intelignecji Inteligencja stanowi przedmiot zainteresowania psychologii od jej początków jako dyscypliny naukowej, jednak pomimo ponad stulecia badań nie wypracowano jej jednolitej definicji. W najbardziej ogólnym ujęciu przyjmuje się, że inteligencja to zdolność do przystosowania się do okoliczności dzięki spostrzeganiu abstrakcyjnych relacji, korzystaniu z uprzednich doświadczeń i skutecznej kontroli nad własnymi procesami poznawczymi (Nęcka, 2003, s 26). Ujęcia tradycyjne przedstawiają inteligencję jako strukturę poznawczych zdolności czyli czynników pozostających względem siebie w relacjach o różnym charakterze. W zależności od teorii powstałej w tym nurcie zdolności te mają strukturę hierarchiczną lub są od siebie niezależne. Autorem pierwszej czynnikowej teorii inteligencji był Charles Spearman, który sprowadzał pomiar inteligencji do określenia proporcji dwóch zdolności potrzebnych do rozwiązania konkretnego zadania poznawczego: czynnika ogólnego g i czynnika specyficznego s. Zadania, które były dobrze nasycone czynnikiem g traktował jako te bardziej diagnostyczne w ocenie poziomu inteligencji ogólnej (Nęcka, 2003, s. 31). Zarówno Spearman jak i jego następcy, tworząc własne hierarchiczne modele inteligencji, próbowali definiować czynnik g, przy czym istotne jest, że pierwotnie był on traktowany jako konstrukt teoretyczny służący wyjaśnianiu współczynnika korelacji testów i pozwalający określić ich przydatność w diagnozie poziomu inteligencji ogólnej. Jednym z popularniejszych ujęć hierarchicznych jest teoria Cattella, która postuluje, iż inteligencja ogólna obejmuje dwa komponenty - inteligencję płynną oraz skrystalizowaną (Nęcka, 2003). Inteligencja płynna to zdolność do dostrzegania relacji między symbolami i wykonywania operacji na nich niezależnie od ich znaczenia i poprzednich doświadczeń. Jest uwarunkowana zarówno genetycznie, jak i środowiskowo, choć druga grupa czynników dotyczy stanu zdrowia, odżywienia i innych biologicznych aspektów funkcjonowania organizmu, lecz wyklucza efekty związane z treningiem i wychowaniem. Stanowi ona podbudowę do rozwoju inteligencji skrystalizowanej, obejmującą zgromadzone w toku życia wiedzę, umiejętności i doświadczenie istotne w danym kontekście kulturowym, a także zdolność do korzystania z nich (Nęcka, 2003; Wills, Dumont i Kaufman, 2011). 215

216 Przykładem modelu zakładającego równorzędność zdolności poznawczych jest model Guilforda. Punktem wyjścia dla jego koncepcji była nie analiza czynnikowa wyników testów, tylko model teoretyczny, do którego Guilford dobierał lub wymyślał poszczególne zadania testowe. Wyróżnia on trzy wymiary opisujące zdolności poznawcze: rodzaj przetwarzanego materiału (figuralny, semantyczny, behawioralny, symboliczny), rodzaj operacji, która jest uruchamiana (poznawanie, operacje pamięciowe, wytwarzanie konwergencyjne, dywergencyjne, ocena efektów myślenia) oraz otrzymywany wytwór czynności intelektualnych (jednostki, klasy, relacje, systemy, przekształcenia i implikacje). Pozwoliło to na wyróżnienie 120 różnych zdolności umysłowych, a po rewizji modelu (dokonanej przez autora) i rozbiciu materiału figuralnego na słuchowy i wzrokowy - aż 180 (Nęcka, 2003; Wills i in., 2011). We współczesnych ujęciach inteligencji odchodzi się od jej statycznego (strukturalnego) rozumienia na rzecz ujęć dynamicznych. Nęcka (2009, str. 26) proponuje, by przyjąć, iż inteligencja jest procesem mobilizacji zasobów poznawczych umysłu ludzkiego. Zasoby te obejmują formalne cechy systemu poznawczego (tempo przetwarzania informacji, mobilność procesów umysłowych), jego centralnych modułów nadzorujących i kontrolujących (np. wydolność uwagi i pamięci roboczej) oraz formalne i treściowe charakterystyki struktur poznawczych (sposób zorganizowania i treść całości wiedzy jednostki). Od efektywności mobilizacji tych zasobów zależy sukces bądź porażka w danym zadaniu poznawczym. Co istotne, w celu wykonania tego samego zadania różne osoby mogą mobilizować różne zasoby, np. jeżeli jednostka dysponuje niewystarczającą pojemnością pamięci roboczej, może wykorzystać swoją szybkość przetwarzania i dzięki temu przeprowadzić niezbędne operacje na dostępnych fragmentach wiedzy nim zostaną utracone. Możliwa jest sytuacja przeciwna - osoba o wolnym tempie przetwarzania może dysponować dużą pojemnością pamięci roboczej i dzięki temu utrzymywać w niej dane niezbędne do przeprowadzenia operacji umysłowych aż do momentu ich ukończenia. W podobny sposób kompensowane mogą być inne zasoby. Z dynamicznym ujęciem inteligencji korespondują zmiany na poziomie zadań stawianych przed uczniami na kolejnych etapach edukacji. W początkowym etapie edukacji istotne jest trenowanie funkcji wykonawczych dzieci, przede wszystkim kontroli uwagowej i pamięci roboczej, które to funkcje umożliwiają przyswajanie nowej wiedzy w sposób systematyczny, rozwijając tym samym umiejętność samoregulacyjne ucznia. Poza tym selektywna uwaga jest warunkiem poprawnej percepcji zajęć, które prowadzone są w nowych, często niekorzystnych warunkach (Sękowski, 2001) np. w licznych klasach. Trening ukierunkowany na mobilizację zasobów poznawczych sprzyja rozwiązywaniu nowych problemów i zadań, przed którymi stawiany jest uczeń Neuropoznawcze korelaty inteligencji Na gruncie badań edukacyjnych coraz częściej podkreśla się związek inteligencji płynnej z funkcjonowaniem pamięci roboczej (Schatz, Kramer, Ablin i Matthay, 2000; Engle, Kane i Tucholski, 1999; de Jong i Das-Smaal, 1995; Polczyk i Nęcka, 1997; Carpenter, Just i Shell, 1990). Inteligencja płynna i pamięć robocza nie mogą być traktowane jako równoważne konstrukty, co nie zmienia faktu, że pozostają ze sobą w ścisłej zależności. To co je łączy to ograniczona pojemność rozumiana w kontekście pamięci roboczej jako liczba elementów, które mogą być w niej jednorazowo przechowywanem natomiast wodniesieniu do inteligencji płynnej - jako liczba powiązań pomiędzy elementami, w zadaniu na rozumienie, które trzeba dostrzec, by je rozwiązać (Halford, Cowan i Andrew 2007). Testy pamięci roboczej, podobnie jak testy badające inteligencję płynną, mierzą bardziej poznawczy potencjał dziecka do uczenia się (efektywna integracja procesów pamięciowych i uwagowych) w oderwaniu od pomiaru wiedzy i kompetencji szkolnych ucznia. To, co różni inteligencję płynną i pamięć roboczą, to m.in. podatność na efekt treningu, która występuje wyłącznie w przypadku pamięci roboczej. 216

217 Podstawowym celem funkcji wykonawczych, w tym pamięci roboczej, jest regulacyjna kontrola myśli i celowych zachowań (Welsh i Pennington, 1988; Bull i Scerif, 2001). Dlatego ich deficyty powodują trudności w nabywaniu wiedzy szkolnej. Mimo różnorodności modeli pamięci roboczej większość z nich podkreśla jej istotną rolę w kontrolowanym przetwarzaniu informacji, sprawowanym przez uwagowy mechanizm planowania i nadzoru (Engle, Sędek, von Hecker i McIntosh, 2004). Ponadto pojemność pamięci roboczej jest jednym z głównych czynników odpowiedzialnych za różnice indywidualne w czytaniu ze zrozumieniem (Baddeley, 1986; Daneman i Carpenter, 1980, Perfetti, 1985). Unsworth, Heitz i Engle (2005) wykazali, że wskaźniki pamięci roboczej są powiązane z wynikami testów osiągnięć z zakresu czytania i rozumowania. Również badania podłużne prowadzone przez Wyrwicz (2005) akcentują istotność zdolności poznawczych przedszkolaków, przede wszystkim pamięci, w wyjaśnianiu zmienności wyników w nauce szkolnej Inteligencja a osiągnięcia szkolne Definiowanie inteligencji jako zdolności do przystosowania się do środowiska w sposób naturalny kieruje uwagę na jej rolę jako predyktora szeroko pojętego sukcesu życiowego jednostki, np. osiągniętego prestiżu zawodowego, wysokości dochodów, zdrowia, wykształcenia itp. (np. Adey, Csapo, Demetriou, Hautamaki i Shayer, 2007; Cheng i Furnham, 2012; Der, Batty, Deary, 2009; Sternberg, Giorenko i Bundy, 2001). W nurcie tym mieszczą się także osiągnięcia szkolne. Inteligencja identyfikowana jest jako jeden z najważniejszych i najbardziej stabilnych predyktorów sukcesu szkolnego dziecka, który pozwala wyjaśniać od kilkunastu do kilkudziesięciu procent zmienności wyników w nauce (np. Bossaert, Doumen, Buyse i Verschueren, 2011; Deary, Strand, Smith i Fernandes 2007; Greven, Harlaar, Kovas, Chamorro-Premuzic i Plomin, 2009; Hofer, Kuhnle, Kilian i Fries, 2012; Niesser i in., 1996; Teo, Carlson, Mathieu, Egeland i Sroufe, 1996; Rescorla i Rosenthal, 2004; Sternberg i in., 2001; Watkins, Lei i Canivez, 2007). Relacja ta widoczna jest pomimo różnorodności stosowanych zarówno ujęć i miar inteligencji, jak i aspektów i miar osiągnięć szkolnych, choć zwykle bywa silniejsza dla przedmiotów ścisłych (np. matematyka, fizyka) niż humanistycznych (np. historia, język ojczysty; np. Ferrer i McArdle, 2004; Heaven i Ciarrochi, 2012; Teo i in., 1996). Jej siła zmieniać się może również na różnych etapach edukacyjnych, będąc silniejszą w wieku szkolnym, a słabnąc na etapie studiów wyższych, podczas których na znaczeniu zyskują czynniki natury motywacyjnej, zainteresowania i cechy osobowości (Furnham, Chamorro-Premuzic i McDougall, 2003; Lin i Humphreys, 1977). Jedna z przyczyn takiego stanu rzeczy wynika z poziomu wykształcenia: im ten poziom jest wyższy tym słabsza relacja pomiędzy inteligencja a osiągnięciami. Słabnący charakter tej zależności może wynikać z faktu, że wyższy poziom wykształcenia jest powiązany z wyższym ilorazem inteligencji i mniejszymi różnicami wewnątrzgrupowymi oraz z tego, że pod wpływem wiedzy i doświadczeń, nabywanych na kolejnych etapach edukacji, wzrasta iloraz inteligencji skrystalizowanej (Strelau i Zawadzki, 2008). Podobna słabnąca moc predykcyjna ujawnia się w przypadku pamięci roboczej. Duża w szkole podstawowej, słabnie na kolejnych etapach nauki, w coraz mniejszym stopniu wyjaśniając zróżnicowanie osiągnięć szkolnych., np. wraz z wiekiem przestaje być istotnie związana z osiągnięciami matematycznymi (Reuhkala, 2001). Jednocześnie zarówno inteligencja płynna, jak i pamięć robocza, są niezależnymi predyktorami osiągnięć szkolnych (Gathercole, Alloway, Willis i Adams, 2006; za: Cowan i Alloway, 2009). Czynnikiem, który utrudnia analizę zależności między inteligencją a osiągnięciami szkolnymi, są wspomniane już różne sposoby konceptualizacji i pomiaru inteligencji oraz osiągnięć szkolnych w badaniach empirycznych. W zakresie osiągnięć szkolnych w literaturze spotyka się wskaźniki takie jak 217

218 np. oceny semestralne i końcowo roczne oceny szkolne oraz ich średnią, pozyskiwane z dokumentacji szkoły lub raportowane przez osoby badane (np. Hofer i in. 2012; Morrison, Rimm-Kauffman i Pianta, 2003), oceny poziomu umiejętności uczniów dokonywane przez nauczycieli (np. Greven i in., 2009), wyniki egzaminów zewnętrznych (np. Deary i in., 2007) czy standaryzowane testy osiągnięć (np. Bossaert i in., 2011; Teo i in. 1996; Hofer i in. 2012). W zakresie pomiaru inteligencji ogólnej stosowane są między innymi standardowe testy inteligencji ogólnej (np. Graziano, Reavis, Keane i Calkins, 2007; Rescola i in., 2004; Watkins i in., 2007 ), podtesty różnych skal (np. Greven i in., 2009; Teo i in., 1996), z których wyników w toku analizy czynnikowej ekstrahuje się czynnik g (np. Deary i in. 2007) oraz łączone lub używane pojedynczo testy niewerbalne i werbalne (np. Bossaert i in. 2011; Hofer i in., 2012; Morrison i in., 2003). Te ostatnie pojawiają się jednak rzadziej, czego przyczyną może być między innymi ich fragmentaryczność w ujmowaniu zdolności poznawczych człowieka. Spośród wymienionych powyżej metod pomiaru najczęściej przytaczanymi w literaturze światowej wydają się być miary inteligencji ogólnej, obejmujące różnorodne aspekty funkcjonowania poznawczego (werbalne, niewerbalne, przestrzenne) i dające tym samym najpełniejszy obraz możliwości poznawczych jednostki. Z drugiej jednak strony wykorzystywanie miar inteligencji ogólnej w badaniach edukacyjnych jest równoznaczne z uwzględnieniem tych jej aspektów, które obejmują zgromadzoną przez jednostkę wiedzę i doświadczenie, a więc także wiedzę szkolną. W sytuacji badania zależności inteligencja - osiągnięcia staje się to problematyczne z uwagi na nakładanie się zakresów konstruktów. Powyższe różnice, na poziomie operacjonalizacji zarówno osiągnięć jak i inteligencji, w połączeniu z odmiennymi schematami badawczymi (przekrojowe versus podłużne/z odroczonym pomiarem osiągnięć) oraz różnicami w wieku osób badanych sprawiają, iż trudno jest precyzyjnie określić siłę omawianej zależności. Szacunkowo przyjąć można, iż w przypadku badań podłużnych wykorzystujących miary inteligencji ogólnej oraz miary inteligencji zawierające zarówno komponenty werbalne, jak i niewerbalne, raportowana w literaturze światowej siła relacji kształtuje się na poziomie 0,6-0,8 (np. Greven i in., 2009; Deary i in. 2007; Rescorla i in., 2004; Teo i in., 1996) i zależeć może w pewnym stopniu od kontrolowanych zmiennych (np. przy kontroli wcześniejszych osiągnięć spada do poziomu 0,15-0,35, Watkis i in., 2007). Słabsze zależności z osiągnięciami notuje się w przypadku inteligencji płynnej - w zależności od wieku osób badanych kształtują się one na poziomie około 0,2 do około 0,4 (Bossaert i in., Hofer i in., 2012). Wśród polskich publikacji w zasadzie nie spotyka się raportów z badań podłużnych uwzględniających relację inteligencja - osiągnięcia szkolne. Przegląd wyników badań przekrojowych przedstawia Dolata (2008) wskazując, że na etapie szkoły podstawowej (od około II klasy) do końca gimnazjum testy inteligencji płynnej korelują z wynikami egzaminów zewnętrznych oraz ocenami szkolnymi na poziomie odpowiednio 0,4-0,5 oraz 0,3-0,4. Wspomniany już problem odrębności (lub jej braku) inteligencji i osiągnięć szkolnych został przez badaczy zauważony, prowadząc co dyskusji nad relacjami między nimi. Postulowano m.in. ich ekwiwalentność wskazując, że testy je mierzące zawierają niejednokrotnie bardzo podobne zadania (np. z zakresu arytmetyki, zasobu słownictwa). Wskazywano także wzajemny ich wpływ argumentując, że inteligencja wyznacza osiągnięcia, ale zdobyta wiedza sprawia, że możemy czerpać z większych zasobów doświadczenia, a więc podwyższa inteligencję (por. Watkins i in., 2007). Trzecie ujęcie omawianej relacji postuluje, że inteligencja stanowi źródło osiągnięć szkolnych (por. Watkins i in., 2007). 218

219 Zróżnicowanie siły zależności osiągnięcia - inteligencja w szkołach O możliwym zróżnicowaniu siły zależności między inteligencją a poziomem osiągnięć, zależnym od szkoły wnioskować można na podstawie predykcji wynikających z tiarchicznej teorii inteligencji Sternberga (2003). Wyróżnia ona trzy typy inteligencji: analityczną, praktyczną i twórczą. Tradycyjne nauczanie szkolne wydaje się faworyzować osoby o wysokich zdolnościach analitycznych (por. Sternberg i Spear-Swerling, 2002), tj. takie, które dobrze radzą sobie z abstrakcyjnymi problemami wymagającymi analizy, oceny, porównania, czy wyszukiwania powiązań. Właśnie takie zadania dominują w klasie szkolnej oraz na sprawdzianach, a ich rozwiązywanie sprzyja rozwojowi inteligencji analitycznej. Pozostałe dwa typy uzdolnień wykorzystywane są w niewielkim stopniu. Co więcej, zdolności analityczne to ta właściwość poznawcza, którą zazwyczaj mierzą też testy zdolności poznawczych (Sternberg, 2003), czyli m.in. testy inteligencji. Jednakże z badań wynika, iż nauczanie w sposób wykorzystujący i rozwijający inne rodzaje inteligencji (twórczą i praktyczną), sprzyja osiąganiu przez uczniów wyższych wyników w nauce na różnych etapach edukacji w porównaniu do standardowych metod nauczania (Sternberg, 2003) oraz wykorzystuje potencjał tych dzieci, które mają dobrze rozwinięte zdolności praktyczne i/lub są kreatywne, lecz słabiej radzą sobie z problemami analitycznymi. Mimo znaczących różnic w ujęciu inteligencji wg. Catella i Sternberga (m.in. w zakresie struktury i możliwości rozwoju inteligencji), istnieją przesłanki by sądzić, iż sposób nauczania może stanowić czynnik moderujący siłę zależności między inteligencją dziecka a jego osiągnięciami szkolnymi. Ściślej, nauczanie, które uwzględnia także wykorzystywanie wiedzy w praktyce oraz proponowanie nowych idei i wypracowywanie własnych rozwiązań (czyli inteligencję praktyczną i twórczą), może zmniejszać siłę zależności między inteligencją uczniów a ich osiągnięciami. Jednak testy osiągnięć szkolnych bazują raczej na wiedzy, dlatego hipoteza ta wymaga założenia dotyczącego mechanizmu tej relacji. Jeżeli metody te, dzięki dopasowaniu do mocnych stron uczniów (zwłaszcza twórczych i uzdolnionych praktycznie), czynią naukę bardziej interesującą dla dzieci oraz pomagają im lepiej zrozumieć i przyswoić materiał, to przekłada się na wyniki testów osiągnięć. Z drugiej jednak strony pamiętać należy, że inteligencja twórcza zawiera elementy inteligencji płynnej (radzenia sobie z zupełnie nowymi problemami; Sternberg, 2003), więc strategie ją wykorzystujące mogą raczej nasilać siłę omawianej zależności. Patrząc z tej perspektywy przypuszczać można, że zróżnicowanie siły omawianej zależności powinno wystąpić przede wszystkim na poziomie klas i atrybuowane powinno być do procesów w nich zachodzących, na które wpływa nauczyciel. Jednocześnie z badań nad efektywnością uczenia wiemy, że odpowiada za nią wiele czynników (Galloway, 1988), wśród których zazwyczaj wyróżnia się trzy klasy zmiennych: właściwości ucznia, sytuację uczenia się i wspomniane wyżej działania i właściwości nauczyciela (Włodarski i Matczak, 1996). Sytuacja uczenia się definiowana jest jako warunki zewnętrzne i sposoby postępowania, w wyniku których uczeń zdobywa wiadomości i umiejętności (Ledzińska i Czerniawska, 2011), czyli m.in. metody nauczania, system kar i nagród oraz sposoby udzielania informacji zwrotnej uczniom, stosowane materiały, a także inne warunki zewnętrzne. Zgodnie z koncepcją scaffoldingu Jerome a Brunera wywodzącą się z idei strefy najbliższego rozwoju Wygotskiego, nauczyciel jako realizator programu wpływa na osiągnięcia i rozwój uczniów, jednakże jego strefą najbliższego rozwoju jest szkoła i normy w niej panujące. Stanowią rusztowanie dla wprowadzenia indywidualnego stylu nauczania. W szkołach podstawowych nauczyciele we wszystkich oddziałach na danym poziomie dysponują zazwyczaj tymi samymi podręcznikami, uczestniczą w tych samych szkoleniach, korzystają z tych samych materiałów dostępnych klasach. Na tej podstawie możemy przypuszczać, iż zróżnicowanie siły zależności pomiędzy inteligencją a osiągnięciami uczniów możne pojawić się również na poziomie szkół. 219

220 10.2. Metoda badania inteligencji Problem badawczy Jeden z celów badania Szkolnych Uwarunkowań Efektywności Kształcenia stanowi weryfikacja zależności między poziomem inteligencji dziecka a poziomem jego osiągnięć szkolnych na pierwszym etapie edukacji, przy uwzględnieniu potencjalnego moderacyjnego charakteru szkoły i oddziału klasowego. W badaniu przyjęto trzecie z omawianych wcześniej podejść do badania relacji inteligencjaosiągnięcia, zgodnie z którym inteligencja stanowi źródło osiągnięć szkolnych. Za podstawę teoretyczną przyjęto model inteligencji Cattela (Nęcka, 2003), koncentrując się na wyodrębnionej w nim inteligencji płynnej. Pozwoliło to uniknąć nakładania się zakresów badanych konstruktów. Przyjęto, że inteligencja płynna stanowi podstawę do nabywania wiedzy i umiejętności szkolnych, lecz nie jest z nimi tożsama oraz nie podlega rozwojowi w wyniku uczęszczania do szkoły. Na podstawie przyjętego podejścia do analizowania relacji inteligencja osiągnięcia oraz wyników wcześniejszych badań realizowanych w tym paradygmacie, skoncentrowanych na wyjaśnianiu czynników moderujących wpływ inteligencji na osiągnięcia uczniów, zakładano iż wraz z poziomem inteligencji dziecka wzrastają jego osiągnięcia szkolne, a siła tej zależności zależeć może od środowiska klasowego i szkolnego Narzędzia badawcze Do pomiaru inteligencji płynnej wykorzystano Test Matryc Ravena, wersja Standard, forma Klasyczna (TMS-K), który choć wyrasta z innej koncepcji teoretycznej, wykorzystywany jest w tym celu ze względu na podobieństwo spearmanowskiego edukcyjnego komponentu inteligencji (mierzonego przez test) z inteligencją płynną w ujęciu Cattella (Jaworowska, Szustrowa, 2000). Test składa się z 60 zadań zgrupowanych w 5 równolicznych serii (A-E). Każde zadanie ma postać matrycy z brakującym fragmentem, którą należy uzupełnić jednym spośród ośmiu prezentowanych wycinków. Za wskaźnik poziomu inteligencji płynnej uczniów przyjęto oszacowania poziomu cechy ukrytej (EAP) uzyskane w toku analizy IRT w jednowymiarowym modelu dwuparametrycznym z wykorzystaniem metody estymacji MML (por. np. de Ayala, 2009). Uwzględnionych zostało 5429 obserwacji. W celu uzyskania precyzyjniejszych oszacowań parametrów zadań najłatwiejszych i najtrudniejszych (a tym samym lepszych oszacowań poziomu inteligencji płynnej uczniów) przeprowadzona została analiza wielogrupowa IRT 44 z wykorzystaniem rekordów wykonania TMS-K zebranych wśród dzieci młodszych oraz starszych od dzieci w badaniu SUEK, czyli takich, wśród których średni poziom cechy jest odpowiednio niższy oraz wyższy w porównaniu do uczniów z próby. Byli to uczniowie pierwszej klasy szkoły podstawowej i pierwszej klasy gimnazjum przebadani w toku projektu badawczego EWD 45. Oblicze- 44 Przeprowadzenie analizy wielogrupowej IRT podyktowane było faktem, iż w test zawiera część zadań bardzo łatwych i bardzo trudnych dla uczniów z próby SUEK, tj. takich, na które bardzo niewielu uczniów udziela nieprawidłowej lub prawidłowej odpowiedzi. Takie rozkłady odpowiedzi nie pozwalają na dobre oszacowanie parametrów zadań, co z kolei przekłada się na słabe szacowanie poziomu umiejętności uczniów (por. Verhelst, 2009). Dzięki analizie wielogrupowej IRT możliwe częściowe rozwiązanie tego problemu dzięki szacowaniu parametrów zadań na podstawie odpowiedzi z wszystkich trzech prób. Różniły się one poziomem cechy, a więc też rozkładami odpowiedzi na zadania najłatwiejsze i najtrudniejsze. 45 projekt badawczy Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) współfinansowany z funduszy Unii Europejskiej; badanie wśród uczniów klas I szkół podstawowych oraz gimnazjów zrealizowano na początku 2010 roku; uwzględniono dane odpowiednio 5596 i 5565 uczniów. 220

221 nia przeprowadzone zostały za pomocą pakietu MIRT (Glas, 2010). Uzyskane oszacowania EAP przeniesiono na skalę o średniej 100 i odchyleniu standardowym 15 z uwzględnieniem wag próbkowania opisanych w rozdziale 3. Informacje o sposobie pomiaru oraz przygotowaniu wskaźników pozostałych zmiennych uwzględnionych w analizach przedstawione zostały w rozdziale 2, 3 oraz Zwązki inteligencji z wynikami nauczania Ogólny plan analiz W celu weryfikacji hipotez przeprowadziliśmy serię wielopoziomowych analiz regresji, w których zmienne zależne stanowiły kolejno osiągnięcia uczniów z zakresu matematyki, czytania oraz świadomości językowej. Poprzedziła je analiza statystyk opisowych. Modelowanie przeprowadzono w czterech krokach - w pierwszym kroku dla każdej zmiennej zależnej zbudowano model pusty z uwzględnieniem poziomu klas i szkół. W drugim kroku zbudowano wielopoziomowe modele kontrolne z losowymi stałymi uwzględniające podstawowe zmienne kontrolowane w badaniu (oba rodzaje modeli zostały opisane szczegółowo w rozdziale 6). Modele te posłużyły jako punkty odniesienia w zakresie weryfikacji polepszenia dopasowania modeli po dodaniu zmiennych i/lub parametrów. W trzecim kroku, celem weryfikacji hipotez dotyczących zróżnicowania siły zależności między poziomem inteligencji a poziomem osiągnięć w szkołach i klasach, dodano losowe nachylenia na poziomie klas i szkół dla zmiennej poziom inteligencji. W wyniku potrzeby wprowadzenia zmian do modelu weryfikowanego, w kolejnym kroku zbudowano model zweryfikowany. W dalszych częściach rozdziału odwoływać będziemy się do opisanych wyżej modeli za pomocą liczb porządkowych, odpowiednio: model (1), model (2), model (3) oraz model (4). Obliczenia przeprowadzone zostały na zmiennych wycentrowanych wokół zmiennej w całej próbie (centrowaniu podlegały zmienne ilościowe, tj. wartości indeksu dóbr oraz oszacowania poziomu inteligencji przed usunięciem z analiz obserwacji z brakami danych). Uwzględniono dane jedynie tych uczniów, dla których dostępny był komplet zmiennych. Wszystkie analizy przeprowadzono z wykorzystaniem wag warunkowych generowanych oddzielnie dla analiz różniących się zmienną zależną (poziom osiągnięć z matematyki, czytania i świadomości językowej; wagi opisane zostały w rozdziale 6). Ze względu na wykorzystanie w analizach PV jako oszacowań poziomu osiągnięć uczniów (opisanych szczegółowo w rozdziale 4), obliczenia do każdego rodzaju modelu dla każdego typu testu osiągnięć powtórzone zostały pięciokrotnie, z wykorzystaniem każdego z pięciu PV jako zmiennej zależnej. Przedstawione w tabelach parametry stanowią wypadkowe wyników z pięciu powtórzeń tego samego modelu. Analizy przeprowadzono z wykorzystaniem oprogramowania HLM Statystyki opisowe W analizach z wykorzystaniem testu matematycznego jako zmiennej zależnej uwzględniono dane 4798 uczniów z 300 klas i 172 szkół, co na poziomie indywidualnym stanowi 72,62% pierwotnej liczebności próby. Zbliżone odsetki obserwacji uwzględnione zostały w analizach z testem czytania oraz świadomości językowej jako zmiennymi zależnymi w obu przypadkach stanowiły one 71,71% pierwotnej liczebności próby na poziomie indywidualnym (liczba uczniów = 4730, liczba klas = 300, liczba szkół = 172). 221

222 Statystyki opisowe dla wyników testu matematycznego, czytania i świadomości językowej znajdują się w tabeli Ze względu na wykorzystanie w analizie wartości PV, dla każdego testu przedstawiono informacje dla każdego z wykorzystywanych PV. Tabela Testy osiągnięć szkolnych z matematyki, czytania i świadomości językowej statystyki opisowe dla oszacowań umiejętności uczniów. Wyniki wystandaryzowane i przeniesione na skalę o średniej 100 i odchyleniu standardowym 15 z uwzględnieniem wag próbkowania. test czytania test matematyczny test świadomości językowej PV liczebność średnia odch. std. PV1 min. maks. skośność kurtoza 100,53 14,91 45,78 152,03-0,077 0,167 PV2 100,51 14,83 42,64 147,75-0,032 0,018 PV ,60 15,03 51,34 156,88-0,057-0,025 PV4 100,57 14,83 43,07 158,16-0,042 0,056 PV5 100,58 14,81 49,20 148,32-0,074 0,087 PV1 100,55 15,11 49,49 150,74 0,069-0,186 PV2 100,55 15,01 53,88 151,31 0,058-0,213 PV ,48 14,84 47,94 159,66 0,048-0,091 PV4 100,54 14,95 53,60 165,75 0,100-0,051 PV5 100,45 14,95 40,71 157,96 0,056-0,106 PV1 Źródło: opracowanie własne 100,70 14,73 42,39 148,98-0,10-0,05 PV2 100,69 14,88 44,92 152,36-0,12-0,05 PV ,70 14,88 47,03 149,68-0,13-0,05 PV4 100,59 14,84 45,91 153,63-0,14 0,04 PV5 100,56 14,9 44,50 149,68-0,13-0,15 Średni wynik dla uczniów, których dane zostały wykorzystane w analizach, wyniósł ok. 100,5 punktu dla każdego z testów, przy odchyleniu standardowym bliskim wartości 15. Rozkłady okazały się symetryczne (wartości bezwzględne skośności były nie wyższe niż 0,14), w nielicznych przypadkach odbiegały od typowego dla rozkładu normalnego spiętrzenia (kurtoza dla PV5 testu matematycznego, PV1 i PV2 testu czytania, odpowiednio: 0,167, -0,186, -0,213). W przypadku wyników Testu Matryc Ravena w każdej z przeprowadzonych analiz średni wynik bliski był wartości 101 przy odchyleniu standardowym około 14,6. Rozkłady okazały się przesunięte w stronę wyników wysokich (skośność około -0,36) i nieco bardziej spiętrzone niż jest to typowe dla rozkładu normalnego (kurtoza około 0,26). Dane znajdują się w tabeli

223 Tabela Test Martyc Ravena statystyki opisowe dla analiz z wykorzystaniem wyników testów osiągnięć szkolnych z matematyki, czytania i świadomości językowej. Wyniki wystandaryzowane i przeniesione na skalę o średniej 100 i odchyleniu standardowym 15 z uwzględnieniem wag próbkowania Test Matryc Ravena matematyki zmienna zależna w analizach: osiągnięcia szkolne w zakresie czytania świadomości językowej liczebność średnia 100,65 100,71 100,71 odch. st. 14,58 14,55 14,55 minimum 45,07 45,07 45,07 maximum 147,07 147,07 147,07 skośność -0,36-0,35-0,35 kurtoza 0,25 0,26 0,26 Źródło: opracowanie własne Inteligencja płynna a osiągnięcia w zakresie matematyki W tabeli 14.3 przedstawiono szczegółowe wyniki analiz dla kolejnych modeli (pustego, kontrolnego, weryfikowanego i zmodyfikowanego), w których zmienną zależną stanowiły osiągnięcia szkolne uczniów z matematyki. Modele (1) oraz (2) opisane zostały w rozdziale 6, wobec czego nie będą szczegółowo analizowane. Oszacowania wariancji nachyleń dla oddziałów klasowych w zakresie Testu Matryc Ravena w modelu weryfikowanym (model (3)) wskazują, iż siła zależności między poziomem osiągnięć dziecka a jego poziomem inteligencji płynnej różni się między szkołami, χ 2 (171, N = 172) = 232,34; p = 0,001, jednak wewnątrz szkół nie różni się miedzy klasami, χ 2 (128, N = 300) = 115,47; p > 0,5). 223

224 Tabela Wyznaczniki osiągnięć matematycznych: znaczenie inteligencji płynnej i zróżnicowanie międzyoddziałowe oraz międzyszkolne w zakresie siły zależności osiągnięcia inteligencja płynna przy kontroli czynników socjoekonomicznych. Wyniki trzypoziomowych analiz regresji, odporne (robust) oszacowania błędów standardowych. zmienna zależna: test matematyczny model (1) model (2) model (3) model (4) oszacowanie efektów stałych poziom ucznia Stała wiek dziecka w tygodniach opóźniony tok nauki przyspieszony tok nauki 99,12 (0,472) 97,23 (0,503) 0,07 (0,012) -14,73 (2,119) 6,18 (2,935) wykształcenie rodziców: 3,44 średnie a (0,603) wykształcenie rodziców: policealne lub studia I 3,71 stopnia a (0,644) wykształcenie rodziców: wyższe magisterskie, dr 6,67 lub prof. a (0,689) Indeks zasobów materialnych rodziny dziecka Test Matryc Ravena oszacowanie efektów losowych 0,12 (0,018) 0,54 (0,018) 97,21 (0,508) 0,07 (0,012) -14,49 (2,207) 6,59 (2,756) 3,38 (0,607) 3,70 (0,652) 6,59 (0,690) 0,12 (0,018) 0,54 (0,018) 97,21 (0,507) 0,07 (0,012) -14,54 (2,200) 6,55 (2,765) 3,39 (0,606) 3,71 (0,650) 6,59 (0,689) 0,12 (0,018) 0,54 (0,018) wariancja efektów dla stałych dla szkół 9,04 6,24 6,10 6,07 wariancja nachyleń dla szkół dla Testu Matryc Ravena 0,0051 0,0068 korelacja między stałą a nachyleniem -0,106 wariancja efektów dla stałych dla oddziałów klasowych wariancja nachyleń dla oddziałów klasowych dla Testu Matryc Ravena 12,68 3,96 3,81 3,85 0,0024 wariancja na poziomie ucznia 203,64 115,49 113,92 114,00 liczba szkół= 172, liczba klas = 300, liczba uczniów = 4789 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe a grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Źródło: opracowanie własne 224

225 W celu uzyskania oszacowania wariancji siły tej zależności w różnych szkołach, zbudowano model (4) zmodyfikowany, wykluczając parametr losowych nachyleń dla Testu Matryc Ravena dla oddziałów klasowych. Zgodnie z oczekiwaniami, wariancja nachyleń dla szkół pozostała istotna statystycznie i wyniosła 0,0068; χ 2 (171, N = 172) = 247,49; p <0,001, przy wartości 0,54 dla współczynnika regresji dla Testu Matryc Ravena, t(52) = 30,23; p < 0,001. Wraz z ze wzrostem poziomu inteligencji ucznia o 1 punkt, jego wyniki w teście matematycznym rosną przeciętnie o 0,52 punktu, jednakże w zależności od szkoły, do której uczęszcza, siła tej zależności różni się. W 95% szkół wraz ze wzrostem wyniku w Teście Matry Ravena o 1 punkt poziom osiągnięć szkolnych dziecka rośnie od 0,37 do 0,7 punktu (gdy wartość pozostałych zmiennych pozostanie na niezmienionym poziomie). Ujemna korelacja między losowymi nachyleniem dla Testu Matryc Ravena i stałą na poziomie szkół (-0,106) wskazuje, iż im wyższy jest poziom osiągnięć z matematyki w szkole, tym niższa jest siła związku między inteligencją płynną a osiągnięciami matematycznymi uczniów. Wziąwszy jednak pod uwagę wartość tej korelacji, efekt należy jednak uznać za słaby. Tabela Weryfikacja poprawy dopasowania modeli. Wyniki testowania istotności poprawy dopasowania modeli bardziej złożonych w porównaniu z oszczędniejszymi model (4) k=14 model (2) k=12 (PV1) χ 2 = 11,35 (PV2) χ 2 = 6,93 (PV3) χ 2 = 10,38 (PV4) χ 2 = 9,02 (PV5) χ 2 = 19,72 df = 2 pogrubionym drukiem opisywane są wartości istotne na poziomie p < 0,05 k - liczba parametrów modelu df - liczba stopni swobody (PV1) - (PV5) porównanie dla powtórzeń modeli, w którym zmienną zależną jest PV o danym numerze porządkowym Źródło: opracowanie własne W celu weryfikacji poprawy dopasowania kolejnych modeli sprawdzono istotność statystyczną tej poprawy. Ze względu na fakt, iż każdy model powtarzany był pięciokrotnie (dla każdego z pięciu PV jako zmiennej zależnej), porównywano dopasowania odpowiednich modeli dla odpowiednich PV. Model (4) okazał się istotnie lepiej dopasowany do danych niż model (2) (kontrolny) w każdym z pięciu powtórzeń, co świadczy o zasadności dodania parametru losowych nachyleń na poziomie szkół dla zmiennej Test Matryc Ravena. Szczegółowe wyniki testowania istotności poprawy dopasowania modeli przedstawiono w tabeli Inteligencja płynna a osiągnięcia szkolne w zakresie czytania Analizy, w których zmienną zależną stanowiły oszacowania poziomu umiejętności uczniów w zakresie czytania, przeprowadzone zostały według schematu zastosowanego dla umiejętności matematycznych. Ich wyniki przedstawione zostały w tabeli

226 Tabela Wyznaczniki osiągnięć z zakresu czytania: znaczenie inteligencji płynnej i zróżnicowanie międzyoddziałowe i międzyszkolne w zakresie siły zależności osiągnięcia inteligencja płynna przy kontroli socjoekonomicznych. Wyniki trzypoziomowych analiz regresji, odporne (robust) oszacowania błędów standardowych. zmienna zależna: test czytania oszacowanie efektów stałych poziom ucznia model (1) model (2) model (3) model (4) Stała 99,10 (0,443) 96,05 (0,717) płeć dziecka a 3,12 (0,529) wiek dziecka w tygodniach opóźniony tok nauki przyspieszony tok nauki 0,06 (0,014) -9,14 (1,956) 3,32 (2,733) wykształcenie rodziców: 2,21 średnie b (0,731) wykształcenie rodziców: 3,76 policealne lub studia I stopnia b (0,920) wykształcenie rodziców: 5,93 wyższe magisterskie, dr lub prof. b (1,087) HISEI c 0,04 (0,018) Indeks zasobów materialnych rodziny dziecka Test Matryc Ravena oszacowanie efektów losowych 0,13 (0,018) 0,40 (0,018) 96,01 (0,720) 3,13 (0,530) 0,06 (0,014) -9,10 (1,956) 3,52 (2,567) 2,19 (0,733) 3,77 (0,918) 5,92 (1,090) 0,04 (0,018) 0,13 (0,018) 0,41 (0,017) 96,01(0, 724) 3,13 (0,530) 0,06 (0,014) -9,10 (1,957) 3,51 (2,623) 2,20 (0,732) 3,77 (0,919) 5,93 (1,091) 0,04 (0,018) 0,13 (0,018) 0,41 (0,018) wariancja efektów dla stałych dla szkół 9,08 6,50 6,20 6,30 wariancja nachyleń dla szkół dla Testu Matryc Ravena korelacja między losowymi stałą i nachyleniem (poziom szkoły) wariancja efektów dla stałych dla oddziałów klasowych wariancja nachyleń dla oddziałów klasowych dla Testu Matryc Ravena 0,0018 0,0026-0,372 8,97 1,96 2,17 2,03 0,0028 wariancja na poziomie ucznia 205,48 141,71 140,70 141,13 226

227 liczba szkół= 172, liczba klas = 300, liczba uczniów = 4738 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05 w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Źródło: opracowanie własne Modele (1) oraz (2) opisane zostały w rozdziale 6, wobec czego nie będą szczegółowo analizowane. Zaznaczyć jedynie należy, że pomimo braku zróżnicowania poziomu osiągnięć uczniów między klasami wewnątrz szkół, poziom ten pozostał w modelu w celu odzwierciedlenia faktycznej struktury próby. Oszacowania wariancji nachyleń dla oddziałów klasowych w zakresie Testu Matryc Ravena w modelu (3), testującym postawione hipotezy, wskazują, iż siła zależności między poziomem osiągnięć dziecka z czytania i jego poziomem inteligencji płynnej różni się między szkołami, χ 2 (171, N = 172) = 207,05; p = 0,031, jednak wewnątrz szkół nie różni się miedzy klasami, χ 2 (128, N = 300) = 130,75; p = 0,416. Oszacowanie wariancji siły tej zależności w szkołach w modelu (4) (z wykluczonym parametrem wariancji nachyleń dla Testu Matryc Ravena dla oddziałów klasowych) wyniosła 0,0026; χ 2 (171, N = 172) = 219,72; p = 0,007, przy wartości 0,41 dla współczynniku regresji dla Testu Matryc Ravena, t(150) = 23,01; p < 0,001. Wraz z ze wzrostem wyników w Teście Matryc Ravena o 1 punkt, wyniki ucznia w teście czytania rosną przeciętnie o 0,41 punktu, jednakże w zależności od szkoły, do której uczęszcza, siła tej zależności różni się. W 95% szkół wraz ze wzrostem wyniku w Teście Matryc Ravena o 1 punkt, poziom osiągnięć szkolnych dziecka rośnie od 0,30 do 0,5 punktu (gdy wartość pozostałych zmiennych pozostanie na niezmienionym poziomie). Ujemna korelacja między losowymi nachyleniem dla Testu Matryc Ravena i stałą na poziomie szkół (-0,37) wskazuje, iż im wyższy jest poziom osiągnięć z czytania w szkole, tym niższa jest siła związku między inteligencją płynną a osiągnięciami uczniów. Efekt ten jest umiarkowany. Tabela Weryfikacja poprawy dopasowania modeli. Wyniki testowania istotności poprawy dopasowania modeli bardziej złożonych w porównaniu z oszczędniejszymi. model (4) k=14 model (2) k=12 (PV1) χ 2 = 2,90 (PV2) χ 2 = 13,22 (PV3) χ 2 = 15,80 (PV4) χ 2 = 8,13 (PV5) χ 2 = 8,89 df = 2 pogrubionym drukiem opisywane są wartości istotne na poziomie p < 0,05 k - liczba parametrów modelu df - liczba stopni swobody (PV1) - (PV5) porównanie dla powtórzeń modeli, w którym zmienną zależną jest PV o danym numerze porządkowym Źródło: opracowanie własne Weryfikacja poprawy dopasowania kolejnych modeli przeprowadzona została zgodnie ze schematem zastosowanym w przypadku modeli dla osiągnięć z matematyki. Model (4) okazał się istotnie lepiej dopasowany do danych niż model kontrolny w czterech z pięciu powtórzeń modelu (dla PV2, PV3, PV4 i PV5 jako zmiennych zależnych), co pomimo istotności parametru nachylenia dla Testu Matryc 227

228 Ravena na poziomie szkół, stanowi podstawę do jego odrzucenia na rzecz wariantu oszczędniejszego (modelu (2)) jako wystarczającego do opisu omawianej zależności. Szczegółowe dane dotyczące testowania istotności poprawy dopasowania modeli znajdują się w tabeli Inteligencja płynna a osiągnięcia szkolne w zakresie świadomości językowej W tabeli 10.7 przedstawiono szczegółowe wyniki analiz, w których zmienną zależną stanowią osiągnięcia szkolne uczniów z zakresie świadomości językowej. Modele (1) oraz (2) opisane zostały w rozdziale 6, wobec czego nie będą szczegółowo analizowane. Podobnie, jak w przypadku analiz, w których zmienną zależną stanowiły osiągnięcia z zakresu czytania, pomimo braku ich międzyklasowego zróżnicowania, poziom oddziałów szkolnych pozostał w modelu w celu odzwierciedlenia faktycznej struktury próby. Tabela Wyznaczniki osiągnięć z zakresu świadomości językowej czytania: znaczenie inteligencji płynnej i zróżnicowanie międzyoddziałowe i międzyszkolne w zakresie siły zależności osiągnięcia inteligencja płynna przy kontroli czynników socjoekonomicznych. Wyniki trzypoziomowych analiz regresji, odporne (robust) oszacowania błędów standardowych. zmienna zależna: test świadomości językowej model (1) model (2) model (3) model (4) oszacowanie efektów stałych poziom ucznia Stała 98,88 (0,503) 94,45 (0,707) płeć dziecka a 5,34 (0,447) wiek dziecka w tygodniach opóźniony tok nauki przyspieszony tok nauki 0,08 (0,014) -12,40 (1,679) 4,86 (1,899) wykształcenie rodziców: 3,33 średnie b (0,681) wykształcenie rodziców: 4,81 policealne lub studia I stopnia b (0,927) wykształcenie rodziców: 5,69 wyższe magisterskie, dr lub prof. b (0,962) HISEI c 0,06 (0,019) Indeks zasobów materialnych rodziny dziecka 0,12 (0,019) 94,38 (0,722) 5,34 (0,442) 0,08 (0,013) -12,26 (1,686) 5,21 (1,902) 3,31 (0,682) 4,85 (0,946) 5,74 (0,973) 0,06 (0,019) 0,13 (0,020) 94,38 (0,720) 5,34 (0,442) 0,08 (0,013) -12,29 (1,690) 5,20 (1,906) 3,31 (0,681) 4,85 (0,944) 5,75 (0,971) 0,06 (0,019) 0,13 (0,020) Test Matryc Ravena 0,45 0,45 0,45 228

229 (0,016) (0,016) (0,016) oszacowanie efektów losowych wariancja efektów dla stałych dla szkół 13,85 6,05 5,87 5,86 wariancja nachyleń dla szkół dla Testu Matryc Ravena korelacja między losowymi stałą i nachyleniem (poziom szkoły) wariancja efektów dla stałych dla oddziałów klasowych wariancja nachyleń dla oddziałów klasowych dla Testu Matryc Ravena 0,0034 0,0048-0,533 8,86 1,93 1,90 1,94 0,0023 wariancja na poziomie ucznia 202,64 121,73 120,56 120,69 liczba szkół= 172, liczba klas = 300, liczba uczniów = 4738 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05 w nawiasach podano błędy standardowe a grupa odniesienia: chłopcy b grupa odniesienia: wykształcenie nieukończone podstawowe, podstawowe lub zasadnicze zawodowe Źródło: opracowanie własne Oszacowania wariancji nachyleń dla oddziałów klasowych w zakresie Testu Matryc Ravena w modelu (3), testującym postawione hipotezy, wskazują, iż siła zależności między poziomem osiągnięć dziecka w zakresie świadomości językowej i jego poziomem inteligencji płynnej różni się między szkołami, χ 2 (171, N = 172) = 395,64; p < 0,001, jednak wewnątrz szkół nie różni się miedzy klasami, χ 2 (128, N = 300) = 119,95; p > 0,5. Oszacowanie wariancji siły badanej zależności w szkołach wyniosło w modelu (4) (z wykluczonym parametrem wariancji nachyleń dla Testu Matryc Ravena dla oddziałów klasowych) 0,0048, χ 2 (171, N = 176) = 255,08; p < 0,001, przy wartości 0,45 dla współczynnika regresji dla Testu Matryc Ravena, t(171) = 28,31; p < 0,001. Wraz z ze wzrostem wyniku ucznia w Teście Matryc Ravena o 1 punkt, wyniki w teście świadomości językowej rosną przeciętnie o 0,45 punktu, jednakże w zależności od szkoły, do której dziecko uczęszcza, siła tej zależności różni się. W 95% szkół wraz ze wzrostem poziomu inteligencji 1 punkt poziom osiągnięć szkolnych dziecka rośnie od 0,31 do 0,59 punktu (gdy wartość pozostałych zmiennych pozostanie na niezmienionym poziomie). Ujemna korelacja między losowymi nachyleniem dla Testu Matryc Ravena i stałą na poziomie szkół (-0,53) wskazuje, iż im wyższy jest poziom osiągnięć w szkole, tym niższa jest siła związku między inteligencją płynną a kompetencjami w zakresie świadomości językowej. Efekt ten jest umiarkowany. Weryfikacja poprawy dopasowania kolejnych modeli, przeprowadzona zgodnie z wcześniej stosowanym schematem, nie pozwala jednak przyjąć modelu (4) jako ostatecznego. Model ten nie jest istotnie lepiej dopasowany do danych niż model kontrolny w każdym z powtórzeń modelu. Pomimo istotności parametru nachylenia dla Testu Matryc Ravena na poziomie szkół, należy go odrzucić na rzecz oszczędniejszego modelu (2). Dane na temat testowania poprawy dopasowania modeli znajdują się w tabeli

230 Tabela Weryfikacja poprawy dopasowania modeli. Wyniki testowania istotności poprawy dopasowania modeli bardziej złożonych w porównaniu z oszczędniejszymi. model (4) k=14 model (2) k=12 (PV1) χ 2 = 4,58 (PV2) χ 2 = 3,00 (PV3) χ 2 = 3,70 (PV4) χ 2 = 0,42 (PV5) χ 2 = 4,06 df = 2 pogrubionym drukiem opisywane są wartości istotne na poziomie p < 0,05 k - liczba parametrów modelu df - liczba stopni swobody (PV1) - (PV5) porównanie dla powtórzeń modeli, w którym zmienną zależną jest PV o danym numerze porządkowym Źródło: opracowanie własne Dyskusja Celem powyższego badania było znalezienie odpowiedzi na pytanie o siłę zależności pomiędzy inteligencją płynną a osiągnięciami szkolnymi uczniów w zakresie matematyki, czytania i świadomości językowej. Koncentrowano się także na możliwym zróżnicowaniu siły tej zależności między szkołami i klasami. Wyniki potwierdziły istnienie zależności pomiędzy poziomem inteligencji płynnej ucznia a jego osiągnięciami szkolnymi w trzech badanych obszarach: matematyce, czytaniu i świadomości językowej. Gdy wynik w Teście Matryc Ravena rośnie o 1 punkt, wynik ucznia w testach rośnie o odpowiednio: 0,54, 0,41 i 0,45 punktu. Ponadto analizy wykazały, że nie ma istotnych różnic między klasami w zakresie siły zależności na linii osiągnięcia inteligencja. Pojawiają się one na poziomie szkół w przypadku kompetencji matematycznych. W 95% szkół wraz ze wzrostem wyniku w Teście Matryc Ravena o 1 punkt, wynik w teście matematycznym rośnie o od 0,37 do 0,7 punktu. Analizy pokazują także, iż podobne zróżnicowanie występuje w przypadku siły zależności między inteligencją płynną a umiejętnością czytania i świadomością językową, jednak modele zawierające te efekty nie pozwalają lepiej wyjaśniać osiągnięć uczniów w porównaniu do modeli ich nie uwzględniających. Ponadto zaobserwowana została ujemna korelacja między stałą a wariancją nachyleń dla Testu Matryc Ravena w szkołach, co oznacza, że w placówkach o wyższych osiągnięciach siła badanej zależności jest słabsza. Sugeruje to, pomimo odrzucenia modeli zawierających nachylenia w przypadku analiz dla testów czytania i świadomości językowej, że szkoły osiągające lepsze wyniki pracują efektywnie z uczniami o różnych poziomach inteligencji płynnej. Brak zróżnicowania siły zależności inteligencja - osiągnięcia na poziomie oddziałów klasowych jest wynikiem zastanawiającym i wymaga interpretacji. Wydaje się, że procesy bezpośrednio powiązane ze zdobywaniem wiedzy, a więc zachodzące w klasie i w głównej mierze zależne od nauczyciela, choć częściowo powinny odpowiadać za siłę omawianej zależności. Uzyskane wyniki wskazują jednak, iż zróżnicowanie na poziomie klas pod tym względem nie występuje. Może być to z jednej strony wynikiem spójności systemu szkolnego na poziomie nauczania początkowego, mogącym manifesto- 230

231 wać się w obszarach takich jak posługiwanie się tymi samymi podręcznikami we wszystkich oddziałach na konkretnym poziomie nauczania, korzystanie z tych samych materiałów przez nauczycieli, rozwój kompetencji wszystkich nauczycieli, ujednolicone metody uczenia i sposoby pracy z uczniami, dobra współpraca między nauczycielami nauczania początkowego, a także prowadzenie zajęć wyrównawczych i/lub pozalekcyjnych dla uczniów z różnych oddziałów. Z drugiej strony wynik ten może być częściowo pochodną schematu doboru próby. Został on opisany w rozdziale 1, jednak przypomnijmy, iż w około 1/4 szkół badano jeden oddział klasowy (gdyż była to jedyna klasa w szkole), natomiast w pozostałych szkołach, co najmniej dwuoddziałowych, badano 2 klasy (losując je, gdy w szkole istniały więcej niż 2 oddziały). Stąd dane mogą nie w pełni odzwierciedlać faktyczne zróżnicowanie międzyoddziałowe. Inną przyczyną może być niewystarczające moc testów na istotność efektu losowego dla zróżnicowania siły zależności inteligencja osiągnięcia na poziomie klas. Problem ten wymaga więc dalszych badań. Kwestia wyjaśnienia zróżnicowania siły zależności między szkołami także wymaga interpretacji. Spośród potencjalnych czynników należy wymienić podobną ścieżkę rozwoju zawodowego nauczycieli w obrębie szkoły (spójny system wsparcia, podobny system szkoleniowy). Mogą być to także programy motywacyjne dla nauczycieli czy też różne metody nauczania wdrażane w różnych szkołach, np. metoda wspólnej nauki (por. Nisbett, 2011). Znaczenie mieć też może stopień integracji i współpracy nauczycieli, sieć wsparcia nauczycielskiego, czy sposób zarządzania szkołą (por. DuFour, 2011). Wszystkie te czynniki wymagają weryfikacji. Zróżnicowanie siły zależności inteligencja osiągnięcia matematyczne, które jako jedyne okazało się istotnie poprawiać dopasowanie modeli, może być częściowo związane z samym sposobem konceptualizacji inteligencji i narzędziem pomiaru przyjętymi w badaniu. Ściślej, mogą wchodzić w interakcję ze sposobami nauczania w szkole. Test Matryc Ravena mierzy m.in. zdolność do dostrzegania relacji między symbolami, czyli sprawdza zdolności ucznia w zakresie radzenia sobie z zadaniami, które wymagają oceny, porównań, szukania powiązań, a więc głównie sternbergerowskiej inteligencji analitycznej. Jeżeli całe szkoły przejawiają różne preferencje w zakresie rozwijania uzdolnień uczniów (np. w różnym stopniu koncentrują się na różnych rodzajach inteligencji w ujęciu Sterbnerga), wysoka zależność pomiędzy osiągnięciami a inteligencją może dotyczyć szkół, które wykorzystują i rozwijają potencjał uczniów głównie w zakresie inteligencji analitycznej. Z kolei szkoły, w których ta zależność jest słaba, mogą charakteryzować się skutecznym programem wspierającym i rozwijającym predyspozycje uczniów, np. zgodnie z triarchiczną koncepcją inteligencji Sternberga, mogą koncentrować się w swoich działaniach nie tylko na rozwiązywaniu przez uczniów problemów oderwanych od wcześniejszych doświadczeń, lecz także na twórczym i praktycznym aspekcie zdobywania i przekazywania wiedzy. Co więcej, szkoły te na początkowym etapie edukacji mogły wypracować spójny system pracy z uczniami ukierunkowany na redukcję dystraktorów pojawiających się na lekcjach i uporządkowanie pracy wszystkich uczniów w klasie, co kładzie nacisk na rozwój funkcji wykonawczych dzieci warunkujących rozwój zdolności uczniów do samoregulacji procesu uczenia. Odnosząc się jeszcze do zastosowanego narzędzia pomiaru inteligencji, istotny jest obserwowany wzrost wyników w Teście Matryc Progresywnych Ravena na przestrzeni lat. Od lat 50-tych XX wieku wyniki wzrosły średnio o 28 punktów, co uzasadniane jest m.in. zmianą w zakresie sposobu nauczania matematyki np. większym naciskiem na rozwiązywanie abstrakcyjnych zadań ćwiczących spostrzeganie (Williams, 1998), czy też popularność zadań wymagających licznych operacji sekwencyjnych, które z kolei sprzyjają rozwojowi pamięci roboczej (Blair i Razza, 2007). Pośrednio stoi za tym 231

232 także kwestia popularności i intensyfikacji bodźców wzrokowych (podręczniki, telewizja, gry komputerowe). Badania na temat powiązań między inteligencją płynną a pamięcią operacyjną w wyjaśnianiu ocen z matematyki pokazują silny związek funkcji przechowywania w trakcie przetwarzania z inteligencją płynną (Krejtz, 2012). Pamięć robocza odgrywa istotną rolę w zdolnościach matematycznych, różnicuje już siedmiolatków (Bull i Scariff, 2001; Gathercole i Pickering, 2000, 2000a) i jest traktowana jako predyktor trudności z opanowaniem materiału z zakresu matematyki u uczniów pierwszej klasy (Gersten, Jordan i Flojo, 2005; za: Cowan i Alloway, 2009). U dzieci uzyskujących niższe wyniki w obszarze funkcjonowania pamięci roboczej pojawiają się większe trudności z obliczeniami matematycznymi (Geary, Hoard i Hamson, 1999). Wydaje się więc, że kompetencje matematyczne, w opanowaniu której pamięć robocza odgrywa szczególną rolę, mogą być wrażliwe na metody nauczania oraz rodzaj materiałów i pomocy dydaktycznych (wykorzystujących w mniejszym lub większym stopniu nowe technologie), obowiązujących w konkretnej szkole. Może się to przekładać na duże obserwowane zróżnicowanie w obrębie siły zależności inteligencji płynnej z osiągnięciami z tego przedmiotu. Podkreślić też należy, iż w niniejszym badaniu opieraliśmy się na takim ujęciu inteligencji, które nie dopuszcza jej rozwoju w toku kształcenia i wychowania. Jednocześnie nie opisuje ono całości zdolności poznawczych człowieka, jest obrazem fragmentarycznym. Rozwijanie inteligencji jest możliwe (np. inteligencji skrystalizowanej) i zależy przede wszystkim od nauczycieli, metod i celów nauczania (Sękowski, 2001). Otrzymane wyniki pozwalają wyciągnąć wnioski odnośnie siły wyżej wspomnianej zależności w szkołach, przy czym warto przypomnieć o konieczności zachowania ostrożności w wyciąganiu kategorycznych wniosków o charakterze przyczynowym. Wynika to z korelacyjnego charakteru badania, które nie pozwala na wykazanie istnienia tego rodzaju zależności. Poza tym konkretny efekt wynikać może nie z wpływu samej inteligencji, lecz np. wsparcia, zachęt czy możliwości oferowanych osobom spostrzeganym jako bardziej inteligentne przez ludzi i instytucje, które inteligencję cenią (Sternberg i in., 2001). Opisywane zależności traktowano w kategoriach przyczynowo-skutkowych ze względu na przyjęcie w pracy założenia teoretycznego o wpływie inteligencji na osiągnięcia szkole Podumowanie W kontekście uzyskanych wyników wskazujących na istotne zróżnicowanie siły zależności pomiędzy inteligencją a osiągnięciami szkolnymi na poziomie szkół pojawia się pytanie o skutki wysokiej lub niskiej korelacji pomiędzy wyżej wspomnianymi dwoma konstruktami dla szkoły oraz możliwe działania podejmowane przez nią w celu dążenia do uzyskania konkretnej zależności. Otóż w lepszej sytuacji (w sensie możliwości wykorzystania własnego potencjału edukacyjnego) wydają się być szkoły, w których siła zależności jest niska, co może być powiązane z działaniami podejmowanymi przez szkołę, ukierunkowanymi na zrównanie szans dzieci o różnym poziomie inteligencji oraz wykorzystywanie potencjału wszystkich uczniów. Słaba siła zależności może wynikać także z powszechnie obowiązujących w obrębie szkoły metod nauczania, które zgodnie z koncepcją Sternberga, ukierunkowane są w równym stopniu na rozwijanie inteligencji analitycznej dzieci oraz inteligencji praktycznej i twórczej. Można ją także uzasadnić spójnym systemem pracy z uczniami wdrażanym od początku ich szkolnego życiorysu, który polega na porządkowaniu pracy uczniów na lekcji poprzez rozwój ich funkcji wykonawczych z naciskiem na koncentrację uwagi na treści lekcji. Tego typu działania rozwijają umiejętności uczniów w zakresie samoregulacji procesu uczenia. Powyższe hipotezy wymagają sprawdzenia w specjalnie przygotowanych i dostosowanych do polskich warunków programach interwencyjnych skoncentrowanych na rozwijaniu funkcji wykonawczych 232

233 oraz inteligencji w ujęciu Sternberga. Jednakże interwencje te należą do metod najczęściej opisywanych w kategoriach wspierania rozwoju potencjału intelektualnego uczniów w szkole podstawowej i mogą być wdrażane w szkołach Programy ukierunkowane na rozwój funkcji wykonawczych (klasy 1-3) Pojemność pamięci roboczej w dużym stopniu determinuje różne kompetencje poznawcze np. logiczne rozumowanie czy rozwiązywanie problemów, co znajduje potwierdzenie w badaniach nad neuroobrazowaniem pracy mózgu. Ich wyniki wskazują, iż zadania angażujące pamięć oraz zadania na inteligencję płynną aktywizują podobne sieci neuronalne, zlokalizowane w bocznej korze przedczołowej i ciemieniowej (Gray i in., 2003; Kane i Engle, 2002). Na tej podstawie tworzone są liczne interwencje i treningi mające rozwijać kompetencje poznawcze uczniów. Dotychczasowe oddziaływania w większości były skoncentrowane na uczniach z deficytami kontroli poznawczej (uczniowie z ADHD), a ich wyniki pozwalają wnioskować o poprawie w trenowanym zadaniu, ale także o efektach niespecyficznych, tj. transferze trenowanej zdolności na inne zadania (Olesen, Westerberg i Klingberg, 2004; Westerberg i Klingberg, 2007). Koncepcja treningów poznawczych traktowanych jako rodzaj korepetycji usprawniających proces przetwarzania informacji cały czas jest rozwijana, a poszczególne rodzaje treningów analizowane pod kątem generowanego stopnia transferu specyficznego i niespecyficznego. Celem tych badań w kontekście psychologii edukacyjnej jest stworzenie programów komputerowych opartych na klasycznych testach poznawczych, które będą funkcjonować jako kursy dostępne w sieci (Krejtz, 2012) i umożliwienie uczniom tym samym samodzielnego wykonywania ćwiczeń. Wyniki dotychczasowych badań pokazują różnice w wielkości transferu specyficznego i niespecyficznego na korzyść dzieci i młodszych dorosłych poddawanych treningom poznawczym (Olsen i in., 2004; Klingberg i in., 2005), warunkowane lepszą plastycznością mózgu dzieci. Właśnie w tej grupie obserwuje się efekty w postaci zmniejszania nasilenie symptomów ADHD czy też poprawę wyników testów mierzących inteligencje płynną. Interaktywna zabawa podejmowana w trakcie różnego rodzaju treningów polepsza odporność uczniów na dystraktory, poprawia funkcjonowanie pamięci roboczej, co w efekcie pozwala im lepiej funkcjonować w środowisku szkolnym. Na tej podstawie zaleca się wczesną diagnozę trudności dzieci w wieku przedszkolnym w zakresie koncentracji uwagi, umiejętności hamowania niepożądanych reakcji czy też pojemności pamięci roboczej i wprowadzanie, poczynając od szkoły podstawowej, odpowiednich treningów poznawczych. Trenowanie różnych aspektów poznawczego funkcjonowania ma na celu nie tylko pomagać uczniom ze stwierdzonymi już deficytami, ale przede wszystkim, bazując na transferze niespecyficznym przyczyniać się do zwiększenia efektywności uczenia wszystkich uczniów Nauczanie triarchiczne wg Sternberga (szkoła podstawowa) Teoria inteligencji sprzyjającej powodzeniu życiowemu Sternberga uwzględnia trzy rodzaje inteligencji: inteligencję analityczną, praktyczna i twórczą. Liczne badania (Grigorienko, Sternberg, Jarvin, 2002) potwierdzają skuteczność metod uczenia skoncentrowanych nie tylko na abstrakcyjnym charakterze zadań rozwiązywanych najczęściej w tradycyjnym systemie nauczania, ale także na twórczym i praktycznym wykorzystywaniu przekazywanej wiedzy. W przypadku uczenia myślenia twórczego metoda kładzie nacisk na umożliwienie uczniom sytuacji poszukiwania różnych dróg rozwiązań, nowych i oryginalnych pomysłów, podejmowania ryzyka związanego z wychodzeniem poza utarte schematy poznawcze. Jeśli chodzi o uczenie myślenia praktycznego, zadaniem nauczyciela jest przede wszystkim jak najczęstsze odnoszenie się do celu działania i efektu, który ma się pojawić w wyniku konkretnego działania (Sękowski, 2001). 233

234 Nauczyciel musi pamiętać, że tradycyjna nauka w szkole sprzyja rozwojowi inteligencji analitycznej, różnego rodzaju treningi twórczości rozwijają inteligencję twórczą, a różnorodność codziennych doświadczeń i możliwość przekładania przyswajanej wiedzy na praktyczne działania jest bardzo korzystna dla inteligencji praktycznej (Ledzińska, Czerniawska, 2011). Uwzględnianie wszystkich powyższych trzech konstruktów i praca skoncentrowana na adekwatnym do sytuacji doborze jednej z trzech strategii nauczania: dydaktycznej, opartej na faktach i dialogicznej, wzmacnia motywację ucznia do nauki i jego przekonanie o sensowności podejmowanych na lekcji działań oraz stwarza jeszcze więcej okazji do przekonania się o własnej skuteczności w konkretnym działaniu. Powyższa koncepcja ma bardzo pragmatyczny charakter, równolegle zmienia podejście do kwestii pomiaru osiągnięć oraz pomiaru inteligencji, nie mniej ma bardzo pozytywny wpływ na proces edukacji uczniów. Trzeba pamiętać, że zdolności jednostki w jednym z trzech przytaczanych obszarów nie pozwalają na przewidywanie inteligencji w pozostałych, dlatego każdy rodzaj inteligencji może przekładać się na osiąganie powodzenia w życiu, aczkolwiek różnie rozumianego. Rozwijanie wszystkich rodzajów inteligencji, zaproponowanych przez Sternberga w swojej koncepcji, już od początku szkoły podstawowej zwiększa szanse uczniów na powodzenie życiowe. Podsumowując, wskazane jest wprowadzanie w szkole takich strategii pracy z uczniami, które w toku nauczania będą wykorzystywać ich zróżnicowane zdolności, a tym samym pozwolą budować kompetencje w oparciu o mocne strony oraz rozwijać te, które są słabsze. Wiąże się to ze stosowaniem zróżnicowanych metod nauczania i stawianiem przed zróżnicowanymi zadaniami, które wykorzystywać będą także kreatywność dzieci oraz ich codzienne doświadczenie. Istotna jest także taka organizacja procesu nauczania i pracy uczniów, która z jednej strony uwzględniać będzie ograniczenia uczniów w zakresie samokontroli, uwagi dowolnej, a z drugiej strony pozwoli je trenować. Wziąwszy pod uwagę zróżnicowanie dzieci w tym zakresie, może to wymagać zindywidualizowania stawianych przed uczniami zadań i wymagań oraz weryfikowania czynionych przez nich postępów. Przekonani jesteśmy, że oba z tych nurtów działań dodatkowo sprzyjać będą odczuwaniu przez dzieci sprawstwa oraz poczucia kompetencji i będą wzmacniać ciekawość poznawczą, rozwijając tym samym motywację do nauki. W przypadku uczniów o szczególnych trudnościach w obszarze funkcji wykonawczych wskazane jest stosowanie odpowiednich treningów, które będą je rozwijać, pomagając dziecku funkcjonować w klasie szkolnej. Treningi te powinny być przygotowane przez specjalistów z tego zakresu i cechować się potwierdzoną w badaniach naukowych skutecznością. Ze swej natury muszą się odbywać poza zajęciami szkolnymi, stąd konieczna jest współpraca na linii rodzice wychowawca. Poprzedzić je musi odpowiednie rozpoznanie trudności dziecka (najlepiej już na etapie przejścia dziecka do szkoły podstawowej), stąd współpraca ta kluczowa jest nie tylko ze względu na konieczność wyrażenia przez rodziców zgody na takie zajęcia i wsparcia dziecka podczas nauki domowej, lecz także ze względu na jak najwcześniejszą identyfikację pojawiających się problemów. W kontekście powyższych zaleceń istotne jest rozwijanie profesjonalnych umiejętności nauczycieli zarówno w zakresie dydaktyki, jak i psychologii rozwojowej. Tak jak każda umiejętność, stosowanie niestandardowych metod nauczania, wymaga treningu. Ponadto wspieranie rozwoju funkcji wykonawczych czy samokontroli uczniów, jak również wstępne określenie, czy u dziecka pojawiają się problemy w tym zakresie, wymaga znajomości norm i prawidłowości rozwojowych, stąd kluczowa jest wiedza z tego obszaru. Wszystko to może być włączone w profesjonalne kształcenie nauczycieli zarówno na poziomie studiów, jak i rozwoju profesjonalnego (awansu zawodowego), stanowiąc jeden z naturalnych elementów podnoszenia kompetencji zawodowych. Powinno być także wsparte możliwością konsultacji ze specjalistą w zakresie metodyki nauczania oraz dostępem do odpowiednich materiałów samokształceniowych i dydaktycznych. 234

235 Literatura cytowana de Ayala, R.J. (2009). Theory and practice of Item Response Theory. New York, NY:Guilford Press. Adey, P., Csapo, B., Demetrieou, A., Hautamaki, J., Shayer, M. (2007). Can we be intelligent about intelligence? Why education needs the concept of plastic general ability. Educational Research Review, 2, Baddeley, A.D. (1986). Working memory. Oxford: Oxford University Press. Needham /heights, M.A: Allyn & Bacon. Blair, C., Razza, R.P. (2007). Relating effortful control, executive function, and false belief understanding to emerging math and literacy ability in kindergarten. Child Development, 78, Bossaert, G., Doument, S., Buyse, E., Verschueren, K. (2011). Predicting children s academic achievement after the transition to first grade: A two-year longitudinal study. Journal of Applied Developmental Psychology, 32, Bull, R. i Scerif, G. (2001). Executive functioning as a predictor of children s mathemathics ability: Inhibition, switching and working memory. Developmental Neuropsychology, 19, Carpenter, P.A., Just, M.A., Shell, P. (1990). What one intelligence test measures: A theoretical account of the processing in the Raven Progressive Matrices test. Psychological Review, 97(3), Cheng, H., Furnham, A. (2012). Childhood cognitive ability, education, and personality traits predict attainment n adult occupational prestige over 17 years. Journal of Vocational Behavior, 81, Cowan, N., Alloway, T. (2009). Development of working memory in childhood. [W:] M.L. Courage, N. Cowan (Eds.), The development of memory in infancy and childhood. Hove, East Sussex, UK: Psychology Press, Daneman, M., Carpenter, P.A. (1980). Individual differences in working memory and reading. Journal of Verbal Learning and Verbal Behavior, 19, Deary, I.J, Strand, S., Smith, P., Fernandes, C. (2007). Intelligence and educational achievement. Intelligence, 35, de Jong, P. F. i Das-Small, A. (1995). Attention and intelligence: The validity of the Star Counting Test. Journal of Educational Psychology, 87, Der, G., Batty, G.D, Deary, I.J., (2009). The association between IQ in adolescence and a range of health outcomes at 40 in the 1979 US National Longitudinal Study of Youth. Intelligence, 39(6), Dolata, R. (2008). Szkoła, segregacje, nierówności. Warszawa: UW. DuFour, R. (2011). What is a professional learning community? Educational Leadership, 61(8),

236 Engle, R.W., Sędek, G., von Hecker, U., McIntosh, D.N. (2004). Cognitive limitations in aging and psychopathology: Attention, working memory, and executive functions. Cambridge, UK: Cambridge University Press. Engle, R.W., Kane, M.J. & Tuholski, S.W. (1999). Individual differences in working memory capacity and what they tell us about controlled attention, general fluid intelligence and functions of the prefrontal cortex. In Miyake, A. & Shah, P. (Eds.) Models of working memory: Mechanisms of active maintenance and executive control. London: Cambridge Press. Ferrer, E., McArdle, J.J. (2004). An experimental analysis of dynamic hypotheses about cognitive abilities and achievement from childhood to early adulthood. Developmental Psychology, 40(6), Furnham, A., Chamorro-Premuzic, T., McDougall, F. (2003). Personality, cognitive ability, and beliefs about intelligence as predictors of academic performance. Learning and Individual Differences, 14, Galloway, C. (1988). Psychologia uczenia się i nauczania. Warszawa: PWN. Gathercole, S.E., Pickering, S.J. (2000). Working memory deficits in children with low achievements in the national curriculum at 7 years of age. British Journal of Educational Psychology, 70, Gathercole, S.E., Pickering, S.J. (2000a). Assessment of working memory in six-and seven-year old children. Journal of Educational Psychology, 92, Geary, D.C., Hoard, M.K., Hamson, C.O. (1999). Numerical and arithmetical cognition: Patterns of functions and deficits in children risk at risk for a mathematical disability. Journal of Experimental Child Psychology, 74, Gersten, R., Jordan, N.C., Flojo, J.R. (2005). Early identification and intervensions for students with mathematics difficulties. Journal of Learning Disabilities, 38, Glas, C.A. (2010). Preliminary manual of the software program Multidimentional Response Theory (MIRT). Pobrano z: Gray, J.R., Chabris, C.F., Braver, T.S. (2003). Neural mechanisms of general fluid intelligence. Nature Neuroscience, 6, Graziano, P.A., Reavis, R.D., Keane, S.P., Calkins, S.D. (2007). The role of emotion regulation in children's early academic success. Journal of School Psychology, 45, Greven, C.U., Harlaar, N., Kovas, Y., Chamorro-Premuzic, T., Plomin, R. (2009). School achievement is predicted by self-perceived abilities but for genetic rather environmental reasons. Psychological Science, 20(6), Grigorienko, E.L., Sternberg, R.J., Jarvin, L. (2002). School-based tests of the triarchic theory of intelligence: three settings, three samples, three syllabi. Contemporary Educational Psychology, 27, Halfort, G.S., Cowan, N., Andrew, G, (2007). Separating cognitive capacity from knowledge: A new hypothesis. Trends in Cognitive Sciences, 11,

237 Heaven, P.L., Ciarrochi, J. (2012). When IQ is not everything: Intelligence, personality and academic performance at school. Personality and Individual Differences, 53, Hofer, M., Kuhnle, C., Kilian, B., Fries, S. (2012). Cognitive ability and personality variables as predictors of school grades and test scores in adolescents. Learning and Instruction, 22, Jaworowska, A., Szustrowa, T. (2000). Test Matryc Ravena w wersji Standard. Formy: Klasyczna, Równoległa, Plus. Polskie standaryzacje. Wydanie drugie. Warszawa: Pracownia Testów PTP. Kane, M.J., Engle, R.W. (2002). The role of prefrontal cortex in working-memory capacity, executive attention, and general fluid intelligence: An individual-differences perspective. Psychonomic Bulletin & Review, 9, Klingberg, T., Fernell, E., Olsen, P.J., Johnson, M, Gustafsson, P., Dahlstrom, K., Gillberg, C.G., Forssberg, H. i Westerberg, H. (2005). Computerized training of working memory In children with ADHD a randomized, controlled trial. Journal of American Academy of Child and Adolescent Psychiatry, 44(2), Krejtz, I. (2012). Kompetencje poznawcze. Rola pamięci roboczej i kontroli uwagi w przewidywaniu osiągnięć szkolnych. Warszawa: Wydawnictwo Akademickie Sedno. Lin, P.C., Humphreys, L.G. (1977). Predictions of academic performance In graduale and Professional school. Applied Psychological Measurement, 1, Ledzińska, M., Czerniawska, E. (2011). Psychologia nauczania. Ujęcie poznawcze. Warszawa: Wydawnictwo Naukowe PWN. Morrison, E.F., Rimmm-Kauffman, S., Pianta, R. (2003). A longitudinal study of mother-child interactions at school entry and social and academic outcomes in middle school. Journal o School Psychology, 41, Nęcka, E. (2003). Inteligencja: geneza, struktura, funkcje. Gdańsk: GWP. Nęcka, E. (2009). Inteligencja jest procesem [w:] J. Kozielecki (red.). Nowe idee w psychologii. Gdańsk: GWP. Nisbett, R.E. (2010). Inteligencja. Sposoby oddziaływania na IQ. Sopot: Wydawnictwo Smak Słowa. Niesser, U, Boodoo, G, Bouchard, T.J., Boykin, A.W., Brody, N., Ceci, S.J., Halpern, D.F., Loehlin, J.C., Perloff, R., Sternberg, R., Urbina, S. (1996). Intelligence: Knowns and unknowns. American Psychologist, 26(2), Olesen, P., Westerberg, H., Klingberg, T. (2004). Increased prefrontal and parietal brain activity after training of working memory. Nature Neuroscience, 7(1), Perfetti, C.A. (1985). Reading ability.new York: Oxford University Press. Polczyk, R., Nęcka, E. (1997). Capacity and retention capability of working memory modify the strength of the RT/IQ correlation. Personality and Individual Differences, 23,

238 Rescorla, L., Rosenthal, A.S. (2004). Growth in standardized ability and achievement test scores from 3rd to 10th grade. Journal of Educational Psychology, 96(1), Reuhkala, M. (2001). Mathematical Skills in Ninth-graders: Relationship with visuospatial abilities and working memory. Educational Psychology, 21, Schatz, J., Kramer, J.H., Albin, A.,Matthay, K.K. (2000). Processing speed, working memory, and IQ. Neuropsychology, 14, Sękowski, A. (2001). Osiągnięcia uczniów zdolnych. Lublin: Wydawnictwo Towarzystwa Naukowego KUL. Sternberg, R. (2003). Wisdom, intelligence and creativity synthesized. Cambridge: Cambridge University Press. Sternberg, R., Giorenko, E.L., Bundy, D.A. (2001). The predictive power of IQ. Merrill-Palmer Quaterly, Vol. 47(1), Sternberg, R., Spear-Swerling, L. (2003). Jak nauczyć dzieci myślenia. Gdańsk: GWP. Strelau, J., Zawadzki, B. (2008). Psychologia różnic indywidualnych. W:J. Strelau i D. Doliński (red.). Psychologia. Podręcznik akademicki, tom 1 ( ), Gdańsk: GWP. Teo, A., Carlson, E., Mathieu, P.J., Egeland, B., Sroufe, A.L. (1996). Journal of School Psychology, Vol. 34(3), Unsworth, N., Heitz, R.P., Engle, R.W. (2005). Working Memory Capacity in Hot and Cold Cognition. [W:] R.W. Engle, G. Sędek, U. von Hecker, D.N. McIntosh (red.), Cognitive Limitations in Aging and Psychopatalogy. New York: Cambridge University Press, Verhelst, N. (2009). Probabilistyczna teoria wyniku zadania. [W:] H. Szaleniec (red.).teoria wyniku zadania IRT. Zastosowania w polskim systemie egzaminów zewnętrznych. Warszawa: CKE. Watkins, M.W., Lei, P-W., Canivez, G.L. (2007). Psychometric intelligence and achievement: A crosslagged panel analysis. Intelligence, 35, Welsh, M.C., Pennington, B.F. (1988). Assessing frontal lobe functioning in children: Views from developmental psychology. Developmental Neuropsychology, 4, Westerberg, H.,Klingberg, T.(2007). Changes in cortical activity after training of working memory - a single-subject analysis. Physilogy & Behavior, doi: /j.physbeh Williams, W.M. (1998). Are we raising smarter children today? School- and home-related influences on IQ. W: U.Neisser (red.), The rising curve: Long-term changes in IQ and related measures. Washington, DC: American Psychological Association. Wills, J.O., Dumont, R. Kaufman, A.S. (2011). Factor-analytic model of intelligence. [in:] R.J. Sternberg, S.B. Kaufman (Eds.) The Cambridge Handbook of Intelligence. New York, NY: Cambridge University Press. 238

239 Włodarski, Z., Matczak, A. (1996). Wprowadzenie do psychologii. Warszawa: WSiP. Wyrwicz, N. (2005). Zdolności poznawcze jako predykator osiągnięć szkolnych uczniów. Psychologia. Edukacja i Społeczeństwo, 2,

240 11. Status społeczny rodziny pochodzenia ucznia i jego korelaty a wyniki nauczania (Roman Dolata, Ewelina Jarnutowska) Pojęcie nierówności edukacyjnych i mechanizmy ich powstawania W rozdziale tym zajmiemy się poziomem nierówności edukacyjnych po zakończeniu I etapu edukacyjnego. Nierówności edukacyjne można zdefiniować jako nieidentyczny dostęp różnych grup społecznych do dóbr edukacyjnych (por. Sztompka 2002). Na potrzeby analiz miarą tych nierówności uczynimy korelację między statusem przypisanym ucznia a jego osiągnięciami szkolnymi. Z perspektywy procesów międzypokoleniowej ruchliwości społecznej największe znaczenie mają kategorie statusu przypisanego związane z systemem stratyfikacji społecznej, czyli taką segmentacją społeczeństwa, która jest skorelowana z dostępem do różnych dóbr społecznych. Pozycję w systemie stratyfikacji zwykle opisuje się za pomocą różnego typu wskaźników statusu ekonomiczno-społecznego SES. Nazwą tą określa się każdy wskaźnik, który ma na celu klasyfikację jednostek lub rodzin według takich wyznaczników jak zawód, dochód lub wykształcenie (por. Marshall 2005). Zajmować się będziemy zatem nierównościami edukacyjnymi związanymi ze statusem ekonomicznospołecznym rodziny pochodzenia ucznia. Inne typy charakterystyk społecznych ucznia będą nas interesować o tyle, o ile są znacząco skorelowane z SES i ich analiza może rzucić światło na mechanizm powstawania nierówności edukacyjnych. Będziemy badać związek osiągnięć szkolnych z wielkością miejscowości, w której uczy się dziecko, z pozycją rodziców na rynku pracy i wybranymi cechami struktury rodziny dziecka, takimi jak wielkość gospodarstwa domowego, wielopokoleniowość czy liczba dzieci w rodzinie. Na koniec sprawdzimy, czy na poziomie nauczania początkowego oddziały klasowe różnią się znacząco siłą korelacji między SES rodziny ucznia i jego osiągnięciami szkolnymi. Jeżeli tak, to spróbujemy wyjaśnić to zróżnicowanie takim cechami środowiska klasowego jak wielkość klasy czy używany podręcznik, a również takimi charakterystykami nauczyciela jak jego pochodzenie społeczne, doświadczenie zawodowe czy orientacja na dominację społeczną Nierówności edukacyjne z perspektywy międzypokoleniowej ruchliwości społecznej W pracy Social Mobility P. A. Sorokin napisał: kanały cyrkulacji pionowej istnieją w każdym uwarstwionym społeczeństwie i są równie niezbędne, jak kanały, którymi krąży krew w organizmie (za: Marshall 2005). Organicystyczna metafora klasyka badań nad międzypokoleniową ruchliwością społeczną wskazuje na wagę odświeżającej alokacji jednostek w strukturze społecznej. Zdaniem Sorokina najważniejszym kanałem międzypokoleniowej ruchliwości społecznej winna być edukacja. Choć współcześnie świadomi jesteśmy ograniczeń podejścia strukturalno-funkcjonalnego, to w dalszym ciągu problematyka nierówności społecznych w edukacji znajduje dobrą konceptualizację w teoriach międzypokoleniowej ruchliwości społecznej. Klasyczny model Blaua-Duncana opisuje kolejne fazy osiągania przez jednostkę finalnego statusu w strukturze społecznej i wskazuje na miejsce w tym procesie systemu oświaty. Status przypisany związany z pozycją w strukturze społecznej rodziny dziecka wyznacza realny dostęp, przebieg i efekty edukacji. Zgodnie z modelem Blaua-Duncana wpływ statusu przypisanego nie kończy się jednak w momencie ukończenia przez jednostkę szkoły. Choć osiągnięcia edukacyjne we współczesnych społeczeństwach są ważnym wyznacznikiem szans na rynku 240

241 pracy, to status przypisany może w sposób niezapośredniczony przez szkolne osiągnięcia wyznaczać powodzenie na tym rynku. O dalszej karierze zawodowej decydują w dużej mierze wcześniejsze sukcesy w pracy. Jednak również i na tym etapie osiągania statusu bezpośredni wpływ statusu przypisanego nie musi ustać. Ostatecznie status osiągnięty może być wynikiem działania trzech, tworzących hierarchiczną strukturę, łańcuchów przyczynowo-skutkowych: (1) status przypisany osiągnięcia szkolne wczesne osiągnięcia na rynku pracy status osiągnięty (2) status przypisany wczesne osiągnięcia na rynku pracy status osiągnięty (3) status przypisany status osiągnięty Jeżeli wszystkie te procesy zachodzą, międzypokoleniowa ruchliwość jest niewielka, czyli status osiągany jest wysoce zdeterminowany przez status przypisany. Ponieważ siła łańcucha przyczynowego osiągnięcia szkolne wczesne osiągnięcia na rynku pracy status osiągnięty jest kluczowym, pożądanym elementem ideologii merytokratycznej, mobilność społeczną można próbować zwiększać poprzez osłabianie procesów (2)-(3) oraz osłabienie korelacji statusu przypisanego i osiągnięć szkolnych. To wywiedziony z modelu osiągania statusu i ideologii merytokratycznej ideał równości szans (Dolata 2008). Klasyk podejścia strukturalno-funkcjonalnego T. Parsons w pracy Klasa szkolna jako system społeczny (1969) konstatuje, że podstawową funkcją szkoły jest selekcja. Funkcja ta polega na tym, że szkoła ma tak zróżnicować uczniów, by na podstawie tej dyferencjacji można było racjonalnie alokować zasoby ludzkie w strukturze społecznej. We współczesnych społeczeństwach szkoła ma zastąpić tradycyjne mechanizmy dziedziczenia pozycji. Wypełnianie funkcji selekcyjnej jest możliwe dzięki trzem powiązanym ze sobą procesom: (1) definiowaniu osiągnięć szkolnych przez uniwersalne - czyli takie same dla wszystkich - programy kształcenia, (2) kształceniu, które w wyniku zderzenia wymagań szkolnych z możliwościami uczniów, prowadzi do zróżnicowania osiągnięć szkolnych uczniów oraz (3) ocenianiu szkolnemu, czyli pomiarowi i wartościowaniu tych osiągnięć. Zdaniem funkcjonalistów procesy te będą tym lepiej służyć selekcji, a tym samym racjonalnej alokacji, im bardziej użyteczne społecznie i uniwersalne będą kryteria szkolnych sukcesów, im trafniej i rzetelniej będą mierzone osiągnięcia oraz im bardziej czytelnie będzie dokonywane ich wartościowanie. W perspektywie funkcjonalnej rozwój szkoły jako instytucji społecznej, to doskonalenie funkcji selekcyjnej, głównie poprzez upowszechnianie standaryzowanych testów osiągnięć szkolnych oraz rozwijanie systemu egzaminów (por. Kohlberg, Mayer 1993). Szkolne procesy selekcyjne to druga arena nierówności społecznych w edukacji. Procesy składające się na funkcję selekcyjną szkoły mogą - wbrew lub obok swojej funkcji jawnej - pełnić funkcje reprodukcyjne Nierówności edukacyjne a genetyczne dziedziczenie inteligencji Jeżeli inteligencja ogólna jest w dużym stopniu dziedziczona genetycznie, to korelacja między SES rodziny ucznia a jego osiągnięciami szkolnymi może być typową korelacją pozorną. Zwolennicy podejścia biologicznego do problematyki nierówności edukacyjnych zwracają uwagę na to, że działanie czynników społecznych należy odróżnić od efektu przekazu genetycznego. Wiele indywidualnych dyspozycji ucznia wyznaczających poziom osiągnięć szkolnych jest w znaczącym stopniu determinowanych genetycznie, co należy uwzględnić w wyjaśnianiu nierówności społecznych (Jensen 1969, 1991, Hernstein, Murray 1994, Plomin i inn. 2001). Podsumowując z perspektywy pedagogicznej wy- 241

242 niki badań nad odziedziczalnością J. R. Harris (2000) i S. Pinker (2005) dochodzą do dwóch kluczowych wniosków. Po pierwsze, wszystkie kluczowe cechy osobowości w tym inteligencja ogólna są w znaczącym stopniu determinowane genetycznie. Po drugie, wpływ wychowywania się w tej samej rodzinie na kształtowanie cech osobowości przy kontroli czynnika przekazu genetycznego jest słaby lub nie zachodzi. W jakim stopniu nasilenie nierówności edukacyjnych można zatem objaśnić dziedziczeniem genetycznym? R. Herrnstein i Ch. Murray (1994) w głośnej pracy The Bell Curve stawiają tezę, że systematycznie stwierdzane w społeczeństwie amerykańskim korelacje między IQ a różnymi wskaźnikami pozycji w szeroko rozumianej strukturze społecznej mogą być interpretowane jako dowód, że nierówności społeczne są mocno zakorzenione we wrodzonych (znaczy naturalnych ) różnicach między ludźmi. Krytycy podejścia biologicznego twierdzą, że mamy w tym wypadku do czynienia z recydywą darwinizmu społecznego. Jeżeli wrodzona inteligencja decyduje o możliwościach przystosowawczych jednostek czy grup społecznych, to wszelkie nierówności społeczne są tylko odzwierciedleniem różnego wyposażenia genetycznego. Szczegóły obecnych układów społecznych są nieuniknionymi przejawami oddziaływań genów, a zatem musimy uznać te układy za naturalne i niezmienne i afirmować status quo (por. Pinker 2005). Nie wdając się w dyskusję koncepcji naturalizujących strukturę społeczną, podsumujmy aktualny stan wiedzy. Po pierwsze, wyniki tradycyjnych testów inteligencji w znaczącym stopniu powiązane są z osiągnięciami szkolnymi. Kulturowe zakorzenienie osiągnięć szkolnych może modyfikować siłę tego związku, ale nawet w dwóch tak różnych kulturach edukacyjnych jak amerykańska i polska notujemy znaczący związek (patrz rozdział poświęcony inteligencji). Po drugie, współczesne ustalenia genetyki zachowania (Plomin 2001) w znacznym stopniu osłabiają fundament jansenizmu, czyli oszacowania wskaźnika odziedziczalności IQ na poziomie 80%. Jednak oszacowana dla dzieci wartość odziedziczalności inteligencji na poziomie 40% jest znacząca i pozwala utrzymać tezę, że za korelację między SES rodziny ucznia a jego osiągnięciami szkolnymi w dużym stopniu odpowiada działanie czynnika genetycznego. Po trzecie, podsumowując analizy związku IQ z pozycją społeczną jednostki musimy stwierdzić, że trudno odrzucić tezę o zakorzenieniu stratyfikacji społecznej w inteligencji ogólnej. Jednocześnie zgodnie z modelem osiągania statusu Blaua-Duncana (1967) nie możemy wykluczyć, że za korelację tę odpowiadają również czynniki statusu przypisanego. W jakim stopniu korelacja ta jest wynikiem czystego wpływu IQ status osiągnięty, a w jakim łańcucha przyczynowego status przypisany IQ status osiągnięty, trudno rozstrzygnąć (Dolata 2008). W sumie wydaje się, że biologiczne wyjaśnienie nierówności edukacyjnych jest niepewne i z pewnością niewystarczające. Uczula nas jednak na problem kontroli w badaniu czynnika inteligencji ogólnej. Jeżeli chcemy oszacować czysty wpływ czynników statusowych na osiągnięcia szkolne warto wśród zmiennych kontrolnych umieścić miarę inteligencji, najlepiej słabiej uwarunkowanej wpływami środowiskowymi inteligencji płynnej. Stąd w badaniu znalazł się pomiar inteligencji płynnej Testem Matryc Ravena Nierówności edukacyjne a dziedziczenie kapitałów O ile podejście biologiczne akcentuje dziedziczenie genetyczne, to teorie społeczne powstawania nierówności edukacyjnych eksploatują pojęcie dziedziczenia kapitału. Współczesne ujęcia socjologiczne wskazują na wielopostaciowość kapitałów i różnorodne mechanizmy ich konwersji. Krótko przeanalizujemy wpływ na osiągnięcia szkolne trzech typów kapitału - kulturowego, społecznego i ekonomicznego - oraz przyjrzymy się jednemu z mechanizmów konwersji - autoselekcji. Kapitał kulturowy. Kapitał kulturowy rodziny pochodzenia ucznia ma znaczący wpływ na jego funkcjonowanie w szkole. W badaniach nad rolą kapitału kulturowego brane są pod uwagę dobra kulturo- 242

243 we, znajdujące się w posiadaniu rodziny, takie jak książki czy dzieła sztuki, wykształcenie i styl życia rodziców, ich podejście do edukacji dziecka lub partycypacja kulturowa samych uczniów. Myślenie o roli kapitału kulturowego w osiąganiu sukcesów szkolnych zapoczątkował Pierre Bourdieu (1990). Wyróżnił kapitał uprzedmiotowiony (posiadane dobra kultury), zinstytucjonalizowany (świadectwa ukończenia instytucji edukacyjnych, stopnie naukowe) oraz kapitał ucieleśniony (maniery, preferencje estetyczne i kulturalne). Jego zdaniem kapitał kulturowy człowieka jest podstawowym mechanizmem reprodukowania się podziałów społecznych. Przyszłą pozycję w strukturze społecznej wyznacza środowisko wychowawcze dziecka, a następnie uczęszczanie do szkół o określonej renomie. Uczniowie oceniani są na podstawie posiadanego kapitału kulturowego, opartego na elementach kultury wysokiej. Uczniowie z rodzin o niskim statusie społeczno ekonomicznym uzyskują znacznie niższe wyniki, gdyż dla nich szkoła to środowisko kulturowo obce. Tym samym szkoła odpowiada za utrwalanie nierówności społecznych. Jak wynika z ogólnopolskich badań osiągnięć uczniów trzecich klas szkoły podstawowej, szeroko rozumiany kapitał kulturowy domu rodzinnego ma istotny wpływ na osiągnięcia szkolne uczniów. Dzieci, które mają w domu książki (także te dla dzieci), aktualne czasopisma dziecięce, słowniki, encyklopedie i atlasy, mają w badanym obszarze umiejętności językowych i matematycznych wyniki istotnie lepsze od swoich rówieśników, którzy takich zasobów nie posiadają (Dąbrowski i Żytko, 2007). Również sposób spędzania wolnego czasu z dzieckiem od pierwszych miesięcy jego życia ma znaczący wpływ na kształtowanie i rozwijanie jego umiejętności, rozbudzanie zainteresowań oraz osiągnięcia szkolne. Rozwojowi np. zdolności czytania w okresie wczesnoszkolnym sprzyjają wczesne kontakty dziecka ze słowem pisanym, których organizacja przychodzi łatwiej rodzicom zainteresowanym czytaniem. Z badania PIRLS 2006 (Konarzewski, 2007) wynika, że wskaźniki takie jak: postawa rodziców wobec czytania, liczba książek w domu i niezależnie liczba książek dla dzieci, są istotnie związane z wynikami testowania, także przy kontroli SES. Istotnym czynnikiem jest również wczesna aktywność czytelnicza dzieci, za którą odpowiedzialni są rodzice to oni czytają dziecku książki od najmłodszych lat, opowiadają mu bajki, śpiewają piosenki czy grają z nim w gry z wykorzystaniem liter. Wyniki badań TIMSS i PIRLS 2011 (Konarzewski, 2012) potwierdzają związek liczby posiadanych w domu książek z osiągnięciami dziecka. Wyniki badań wskazują, że wpływ kapitału kulturowego różni się w zależności od okresu w karierze szkolnej największą rolę odgrywa na etapie przejścia ze szkoły podstawowej do średniej. Wraz z nabywaniem nowej wiedzy i doświadczeń jego znaczenie maleje (Aschaffenburg i Maas, 1997). Kapitał społeczny. Według Roberta Putnama (2008) kapitał społeczny jest równoznaczny z poziomem zaangażowania społecznego mieszkańców, ich aktywnością i członkostwem w stowarzyszeniach, świadomością obywatelską, intensywnością kontaktów w ramach lokalnej społeczności, słowem z istnieniem silnych więzi społecznych w danej zbiorowości. To zaufanie, sieci i normy wzajemności w rodzinie, szkole, grupie rówieśniczej i całej społeczności, w której wzrasta dziecko, mają wpływ na jego rozwój, możliwości i dokonywane wybory życiowe. Z prowadzonych przez niego badań wynika, że w stanach o wysokim kapitale społecznym dzieci osiągały lepsze wyniki edukacyjne. W y- korzystywany w badaniach Indeks Kapitału Społecznego okazał się wysoce skorelowany z liczbą punktów zdobytych przez uczniów w standardowych testach, zarówno w szkołach podstawowych jak i gimnazjach czy liceach. Korelacje utrzymywały się także wtedy, kiedy brano pod uwagę inne czynniki, które mogły mieć wpływ na wysokie wyniki testów w poszczególnych stanach, takie jak: skład rasowy, zamożność, nierówności ekonomiczne, wydatki na edukację, płace nauczycieli czy liczebność klas. Istotne z perspektywy niniejszych rozważań jest poczynione przez Colemana (1988) rozróżnienie pomiędzy kapitałem społecznym, rozumianym jako konfiguracja norm zachowań, zaufania i sieci społecznych, a wewnątrzrodzinnym kapitałem społecznym. Na osiągnięcia szkolne dzieci w USA mają 243

244 wpływ relacje między rodzicami a dziećmi, struktura rodziny, zaangażowanie rodziców w edukację, ich aspiracje względem dzieci oraz stopień kontroli, jaką nad nimi sprawują. Ważne jest to, czy dziecko wychowuje się w pełnej rodzinie, czy jego więź z rodzicami jest silna, czy otrzymuje od nich wsparcie i pomoc w nauce oraz czy rodzice znają jego kolegów. Z badań Colemana wynika, że jeśli dzieci wychowują się w rodzinach niepełnych lub takich, w których relacje między dziećmi a rodzicami nie są właściwe, wzrasta prawdopodobieństwo porzucenia przez nie nauki. Niższe osiągnięcia mają też dzieci z rodzin wielodzietnych. Obok kapitału społecznego Coleman wyróżnia kapitał finansowy zapewniający materialne zasoby potrzebne do podjęcia nauki oraz kapitał ludzki, operacjonalizowany przez poziom wykształcenia rodziców. Zdaniem Colemana niskie wykształcenie rodziców nie musi przekładać się na zmniejszanie szans edukacyjnych dzieci, pod warunkiem, że kompensują to dużym zaangażowaniem w proces ich nauki. Prowadzone przez niego badania wykazały, że dzieci azjatyckich emigrantów posiadały po dwa egzemplarze podręczników szkolnych. Jeden z nich przeznaczony był dla matek, które uczyły się, by móc pomagać swoim dzieciom w nauce szkolnej. Pozarodzinny kapitał społeczny, na który składa się sieć kontaktów towarzyskich, członkostwo w organizacjach czy praktyki religijne, także ma wpływ na osiągnięcia uczniów. Dobre relacje między rodzicami, a także między rodzicami a szkołą i innymi członkami zbiorowości, pozwalają na podjęcie kompleksowych działań mających na celu podniesienie jakości pracy szkoły, czy zapobieganie powstawaniu problemów wychowawczych i szkolnych lub ich rozwiązywanie. Ścisła sieć relacji między rówieśnikami, której przejawem może być koleżeńska pomoc w nauce i odrabianiu lekcji, także jest korzystna z punktu widzenia szkolnych osiągnięć dziecka. Kapitał społeczny w ujęciu Bourdieu (2001) jest sumą zasobów jednostki lub sieci jednostek, należną im z tytułu posiadania sieci relacji, znajomości i wzajemnego uznania. Ważna jest nie tylko liczba i rozległość kontaktów społecznych, które umożliwiają dostęp do innych zasobów, ale też jakość tych kontaktów, a więc pytanie o kapitał kulturowy i ekonomiczny osób, z którymi się kontaktujemy. Od różnego sposobu posługiwania się kapitałem społecznym zależeć może poziom osiągnięć szkolnych. Wyższych wyników uczniów możemy spodziewać się w środowiskach lokalnych, w których jest wyższy kapitał społeczny. Zdaniem Bourdieu przy pomocy różnych form kapitału społecznego reprodukowane są nierówności społeczne. Może on bowiem nie tylko spajać grupy ludzi, ale też powodować ich zamknięcie na przedstawicieli innych grup społecznych, które nie pozostają z nimi w ścisłych relacjach tworzących struktury kapitału społecznego. Zbiorowości o silnym kapitale społecznym i wysokim statusie ekonomicznym mogą dążyć do izolacji od reszty społeczeństwa. Grupy, w których więzy społeczne są bardzo silne, mają duży wpływ na indywidualne działania i wybory jej członków. Od charakteru i wartości promowanych w grupie odniesienia, mogą zależeć losy edukacyjne jednostek do niej należących. Kapitał ekonomiczny. Czynniki ekonomiczne, takie jak sytuacja materialna gospodarstwa domowego w którym wychowuje się uczeń, mają wpływ na osiągane przez niego wyniki w nauce. Wyniki badań nad czynnikami wpływającymi na zróżnicowanie wyników egzaminów zewnętrznych polskich gimnazjalistów (Jakubowski, 2007) pokazują, że zależność między dochodami gospodarstw domowych uczniów a ich wynikami na egzaminach zewnętrznych jest bardzo silna. Im wyższe dochody gospodarstwa domowego ucznia, tym wyższy jego wynik na egzaminie gimnazjalnym. Co więcej, wyniki uczniów pochodzących z gospodarstw o podobnym poziomie wykształcenia rosną wraz ze wzrostem dochodów w tychże gospodarstwach. Ważny jest nie tyle dochód przypadający na całą rodzinę, co zasoby gospodarstwa domowego w przeliczeniu na osobę. Uczniowie z gospodarstw trzy- i czteroosobowych, w których dochód jest najwyższy, osiągają najlepsze wyniki. Im więcej osób w gospodarstwie domowym, tym niższy dochód na członka rodziny i słabsze wyniki uczniów z nich pochodzących. Uczniowie z rodzin, w których pracuje dwoje rodziców, osiągają najlepsze rezultaty na egzaminie gimnazjalnym. Dodatkowym wsparciem są dla nich także płatne zajęcia pozaszkolne lub kursy 244

245 przygotowujące do egzaminu, na opłacenie których pozwolić sobie mogą zamożniejsi rodzice o wyższym poziomie wykształcenia uczniowie korzystający z tych kursów uzyskali wyższe wyniki, niż uczniowie, którzy z nich nie korzystali. Autoselekcja aspiracje i oczekiwania edukacyjne, aktywny wybór szkoły. Decyzję o wyborze szkoły podstawowej, do której uczęszczać będzie dziecko, podejmują jego rodzice. Mają oni często różną perspektywę poznawczą, różny stosunek do edukacji, dysponują różnymi zasobami. Rodzice, którzy dostrzegają korzyści związane z edukacją oraz jej wpływ na pozycję dziecka w przyszłości, świadomi są zróżnicowania szkół oraz konsekwencji takiej decyzji i pragną aktywnie dokonać wyboru placówki edukacyjnej, do której uczęszczać będzie ich dziecko. Aby móc podjąć decyzję, muszą znaleźć odpowiedzi na wiele pytań: czy wybrać szkołę publiczną czy prywatną, jakimi kryteriami kierować się przy wyborze szkoły, jak zdobyć informacje na jej temat? Z reguły zadają sobie te pytania rodzice o wysokim kapitale kulturowym, wysokim statusie, posiadający wyższe wykształcenie, mający większe aspiracje dotyczące edukacji swoich dzieci (PISA 2009). Badanie na losowej próbce warszawskich publicznych szkół podstawowych (Murawska, 2004) wykazało, że 25% uczniów klas pierwszych uczęszczało do szkoły poza rejonem. Uczęszczanie do szkoły spoza rejonu jest związane z wykształceniem rodziców uczniów ci z wyższym wykształceniem częściej wybierają szkoły dla swoich dzieci. Z danych ogólnokrajowych za rok szkolny 2011/2012 (GUS, 2012) wynika, że ponad 25% uczniów szkół podstawowych uczęszcza do szkół spoza rejonu. Rodzicom z wyższym kapitałem społecznym łatwiej jest dotrzeć do różnych źródeł informacji o szkołach, uczących w nich nauczycielach, wyposażeniu, ofercie zajęć dodatkowych czy efektach nauczania, dzięki wykorzystaniu sieci rodziny, przyjaciół i znajomych, którzy w szkołach uczą, znają jej pracowników bądź już wcześniej posłali do nich swoje dzieci. Wybór szkoły prywatnej, bądź innej niż rejonowa szkoły publicznej, wiąże się zazwyczaj z większymi nakładami finansów i czasu, na co pozwolić sobie mogą rodzice o wysokim kapitale ekonomicznym. Rodzice w zbiorowości o wysokim kapitale społecznym mogą także dążyć do poprawy warunków funkcjonowania miejscowej szkoły, stowarzyszając się. Im więcej rodziców zaangażuje się w działanie, tym silniejsze naciski mogą wywierać na miejscowe władze, by te udzieliły finansowego i organizacyjnego wsparcia szkołom. To, że aspiracje oświatowe rodziców są dobrym predyktorem osiągnięć szkolnych dzieci potwierdzają najnowsze wyniki badania PIRLS i TIMSS 2011 (Konarzewski, 2012). Rodziców uczniów klas trzecich zapytano o ich aspiracje względem przyszłej edukacji dzieci. Są one powiązane ze statusem socjoekonomicznym rodziny. Ponad połowa badanych rodzin marzy, że ich dziecko ukończy studia wyższe, z czego aż 94% rodziców z wysokim statusem. Zakończenia edukacji na zasadniczej szkole zawodowej życzy swoim dzieciom nieco ponad 2% rodzin, ale tylko z grupy o niskim statusie. Plany rodziców, dotyczące kariery edukacyjnej ich dzieci, przekładają się na wyniki kształcenia, gdyż są powiązane z licznymi działaniami podejmowanymi, by te marzenia urzeczywistnić. Rodzice inwestują czas i pieniądze w edukację dzieci, wspierają je, pomagają w nauce, wysyłają na dodatkowe zajęcia, korepetycje słowem budują klimat sprzyjający motywacji do nauki. Rodzice o wyższym statusie społeczno-ekonomicznym oraz większym kapitale kulturowym, dostrzegają korzyści związane z edukacją, jej wpływ na pozycję dziecka w przyszłości. Podejmują więc stosowne działania w celu kształtowania motywacji dziecka do nauki, przeznaczają fundusze na dodatkowe zajęcia czy pomoce naukowe, traktując je jako inwestycję. Rodzice, którym zależy na wykształceniu dziecka, dążą także do wyboru szkoły lepiej przygotowującej do dalszej drogi edukacyjnej. Badanie PISA (2006) pokazuje, że polscy uczniowie z lepiej sytuowanych rodzin trafią do lepszych szkół, nawet jeśli ich indywidualne wyniki nie są zbyt wysokie. 245

246 Szkolne czynniki wpływające na nasilenie nierówności edukacyjnych i dynamika nierówności Areną, na której mają miejsce procesy prowadzące do powstawania nierówności edukacyjnych, jest klasa szkolna. To na niej działają mechanizmy odpowiedzialne za konwersję SES ucznia na osiągnięcia szkolne. Do tej pory koncertowaliśmy się na czynnikach odpowiedzialnych za powstawanie nierówności edukacyjnych. Można jednak zadać pytanie, czy w każdej klasie nierówności są wytwarzane tak samo intensywnie? Można rozważać szereg hipotez wyjaśniających ewentualnie zróżnicowanie. Jest sprawą faktu, że wskaźniki nierówności edukacyjnych przybierają w poszczególnych klasach szkolnych różne wartości (Dolata, Murawska 1996). Choć koncentrujemy się na znalezieniu przyczyn współzmienności statusu przypisanego i szkolnych osiągnięć ucznia, to w tle tego problemu znajduje się pytanie o to, co sprawia, że w pewnych klasach szkolnych ta korelacja jest słaba lub nie ma jej wcale. Wielkość klasy szkolnej, wykorzystywany podręcznik, doświadczenie nauczyciela, jego pochodzenie społeczne czy orientacja na dominację - to tylko niektóre z czynników, które w świetle istniejących teorii i wyników badań należy rozważyć, szukając mechanizmów konstruowania nierówności edukacyjnych w klasie (por. Graue, Raucher 2009, Dolata, Murawska 1996; Van Laar, Sidanius 2001). Sprawdzona zostanie również zależność nasilenia nierówności od lokalizacji szkoły (Dolata 2002). Ponieważ omównie wszytkich hipotez znacznie przepracza ramy raportu, bliżej przyjrzyjmy się najlepiej chyba teoretycznie zakorzenionej hipotezie wpływu nauczycielskiej orientacji na społeczną dominację SDO (Sidanius, Prattto 1999). Koncepcja ta wyrasta z nurtu badań nad osobowością autorytarną, ale SDO jest konstruktem oryginalnym, odrębnym zarówno na poziomie teoretycznym jak i empirycznym (korelacje ze skalą F wynoszą około 0,2). Potrzeba hierarchizacji świata społecznego jest uniwersalna, ale istnieją znaczące różnice indywidualne co do jej centralności w systemie przekonań jednostki i jej natężenia. SDO definiuje się jako skłonność jednostki do hierarchicznego strukturowania i nieegalitarnego ujmowania relacji między grupami społecznymi. SDO uważa się za zjawisko determinowane przez wiele czynników. Częściowo jest funkcją społecznego kontekstu i czynników sytuacyjnych, w których znajduje się jednostka, w dużej mierze jest jednak cechą osobowości wykazującą dużą międzysytuacyjną stałość. Jednostki należące do grup o wyższym statusie społecznym generalnie charakteryzują się wyższym SDO. SDO powiązane jest z niezwykle szerokim spektrum zjawisk. Koreluje znacząco z orientacjami ideologicznymi - z rasizmem, nacjonalizmem, seksizmem czy polityczno-ekonomicznym konserwatyzmem. Wiąże się z postawami wobec programów społecznych nastawionych na wyrównywanie szans (np. akcje afirmatywne, programy kompensacyjne typu Head Start). Okazało się też, że SDO negatywnie koreluje z altruizmem, tolerancją i nastawieniem na dobro wspólne. Taki zestaw cech współwystępujących z SDO pozwala postawić hipotezę, że osoby o wysokim SDO mogą wytwarzać nierówności edukacyjne. Jak jest dynamika nierówności edukacyjnych na kolejnych poziomach edukacji? Nierówności związane z SES rodziny pochodzenia ucznia nie są fenomenem powstającym dopiero w trakcie szkolnej edukacji. Dzieci stając się uczniami są w różnym stopniu gotowe do nauki szkolnej i poziom tej gotowości jest znacząco powiązany z SES rodziny. Prawdopodobnie za siłę tej korelacji odpowiada z jednej strony zróżnicowany kapitał rodzin, z drugiej strony nierówności w realnym dostępie do edukacji przedszkolnej sprzężone z SES. Z badań nad społecznymi uwarunkowaniami umiejętności uczniów na progu szkoły (Murawska, 2004) wynika, że status społeczno ekonomiczny rodziny pochodzenia ucznia jest ich istotnym wyznacznikiem, ale siła tego związku nie jest duża: SES wyjaśnia 5% zmienności wskaźnika czytania, 3% pisania i 4% wskaźnika umiejętności matematycznych. Po trzech latach edukacji szkolnej siła oddziaływania SES na wyniki uczniów rośnie. Międzynarodowe badanie biegłości w czytaniu PIRLS (Konarzewski, 2007), przeprowadzane na reprezentatywnej próbie uczniów klas trzecich szkół podstawowych wykazało, że SES rodziny dziecka pozwala przewidzieć 11% część 246

247 zróżnicowania wyników z testu biegłości czytania. Poziom nierówności edukacyjnych w grupie 15- latków znamy dokładnie dzięki temu, że Polska bierze udział w Programie Międzynarodowej Oceny Umiejętności Uczniów (OECD PISA). Analizę porównawczą wyników analizy nierówności na podstawie danych z PISA i programu SUEK przedstawimy w tym rozdziale Stosowane w analizach nierówności edukacyjnych wskaźniki SES W badaniach socjologicznych procesów ruchliwości zwykle stosuje się miary SES, które wskazują na pozycję jednostki w strukturze społecznej na podstawie wykonywanego zawodu. Zawód traktuje się jako swoisty łącznik między nakładami koniecznymi, by objąć daną pozycję społeczną, a nagrodami otrzymywanymi za jej pełnienie. Takie widzenie zawodu wywodzi się z funkcjonalnej teorii uwarstwienia Davisa i Moore a (2006, oryg. 1945). Zgodnie z twierdzeniami tej teorii zawód pozwala na wnioskowanie ze znacznym prawdopodobieństwem o innych cechach pozycji społecznej jednostki. Praktyczną zaletą wskaźnika SES wykorzystującego zawód jest łatwość dotarcia do tej informacji. W praktyce badań nad stratyfikacją wypracowano standardowe kategorie, które w łatwy sposób pozwalają na porównywanie wyników badań między sobą. Najbardziej znaną klasyfikacją jest International Standard Classification of Occupations (ISCO). Gdy w badaniu potrzebujemy miary dystansu między kategoriami zawodowymi, używamy skal zawodów. Popularną skalą jest ISEI (International Socioeconomic Index of Occupational Status), czyli skala statusu społeczno-ekonomicznego. Stosowany w badaniu SUEK wskaźnik ISEI-08 jest indeksem statusu społeczno-ekonomicznego, którego wartości przypisane są do poszczególnych kategorii zawodowych klasyfikacji ISCO-08. Wartość indeksu jest ważoną średnią wykształcenia mierzonego liczbą lat nauki oraz zarobków wśród reprezentantów poszczególnych grup zawodowych przebadanych w ramach międzynarodowego badania standaryzacyjnego. W przypadku ISEI-08 jako dane służące do standaryzacji posłużyły wyniki International Social Survey Programme z lat W Polsce w ramach tego programu przeprowadzane jest badanie Polski Generalny Sondaż Społeczny (patrz: Żółtak 2012). Skala ISEI będzie w prezentowanych analizach kluczową miarą statusu ekonomiczno-społecznego rodziny pochodzenia ucznia. Uzupełnią ją dwie połączone z nią na poziomie teoretycznym miary poziom wykształcenia rodziców dziecka i indeks zasobów materialnych rodziny dziecka. ISEI, poziom wykształcenia rodziców i indeks zasobów materialnych rodziny dziecka będą traktowane jako komplementarne miary SES. Należy podkreślić, że miary SES traktujemy w analizach jako względnie stałe w czasie charakterystyki rodziny ucznia, co jest oczywiście uproszczeniem. Takie cechy jak wykonywany zawód, wykształcenie czy posiadane dobra mogą się zmieniać. Należy pamiętać o tym przy interpretacji wyników. Charakterystykę treściową zmiennej ISEI zawiera poniższa tabela. 247

248 Tabela Przykładowe kategorie ISCO 2008 i wartości skalowe ISEI kategoria ISCO Źródło: opracowanie własne opis ISEI 2612 sędziowie 88, lekarze 88, dentyści 88, nauczyciele szkół średnich 82, nauczyciele szkół podstawowych 76, strażacy 46, maszynista lokomotywy 45, pracownicy biurowi, sekretarki 44, robotnicy leśni 12, robotnicy rolni 11,74 Zamieszczono w niej zawody o najwyższej, przeciętnej i najniższej wartości wskaźnika ISEI. Jako ciekawostkę zamieszczono również wartości tego wskaźnika dla zawodów nauczycielskich. Korelacja między ISEI matki i ojca 0,501. Wzorem badań PISA wskaźnikiem SES rodziny ucznia uczyniono wartość wskaźnika ISEI dla tego rodzica, dla którego przebiera on wyższą wartość. W wypadku braku danych dla jednego z rodziców, przypisywano wartość ISEI drugiego. Zmienną tę będziemy skrótowo nazywać HISEI. Druga miara SES rodziny ucznia to poziom wykształcenia rodziców. Wyróżnionym w ankiecie skierowanej do rodziców poziomom wykształcenia przepisano wartości skalowe w latach nauki. Pewne decyzje podjęto arbitralnie. Na przykład przepisanie niepełnemu podstawowemu 6 lat nauki jest uproszczeniem, choć faktycznie przez długi czas utrzymywała się w Polskiej szkole praktyka, że dopiero po ukończeniu VI klasy można było kierować mocno przerośniętych uczniów do przysposobienia zawodowego. Bardziej arbitralne jest przypisanie do kategorii stopień doktora, doktora habilitowanego lub profesora wartości skalowej 20. Sposób wyskalowania wszystkich kategorii wykształcenia w latach nauki pokazuje poniższa tabela. Tabela Przeliczenie poziomu wykształcenia rodziców na lata nauki poziom wykształcenia liczba lat nauki procent wśród ojców procent wśród matek Źródło: opracowanie własne a) nieukończone podstawowe 6 0,4 0,2 b) podstawowe 8 6,9 6,8 c) zasadnicze zawodowe 10 43,6 26,9 d) średnie: technikum, liceum zawodowe 13 23,1 20,2 e) średnie: liceum profilowane 12 1,2 2,9 f) średnie: liceum ogólnokształcące 12 4,5 7,7 g) policealne lub pomaturalne 13 2,9 9,4 h) licencjackie lub inżynierskie 15 3,7 5,3 i) wyższe studia magisterskie lub lekarskie 17 11,6 19,9 j) stopień doktora, doktora habilitowanego lub profesora 20 0,4 0,4 k) nie wiem - 1,8 0,2 248

249 Korelacja między wyskalowanym poziomem wykształcenia matki i ojca wynosi 0,593. Wskaźnikiem SES uczyniono wartość wskaźnika poziomu wykształcenia dla tego rodzica, dla którego przebiera on wyższą wartość. W wypadku braku danych dla jednego z rodziców, przypisywano wartość wykształcenia drugiego. Zmienną tę będziemy skrótowo nazywać HEDU. Najbardziej złożonym konstruktem jest indeks zasobów materialnych rodziny ucznia. Powstał on z trzech pozycji ankiety kierowanej do rodziców. Pierwsze pytanie dotyczyło liczby książek w domu, drugie - liczby książek dla dzieci, trzecie - wyposażenia domu w dobra materialne o charakterze edukacyjnym. Przeprowadzano eksploracyjną analizę czynnikową, która wskazała na zasadniczo jednowymiarowy charakter indeksu dóbr. Czynnik ten wyjaśniał 30% wariancji całkowitej wszystkich pozycji. Miary dopasowania nie były wysokie, ale w wypadku tego typu indeksu do przyjęcia (RMSEA=0,175, TLI=0,428) (Żółtak 2012). Indeks powstał dzięki zastosowaniu skalowania IRT (model 2PL/GRM). Wyniki wystandaryzowano (średnia 100, SD 15). Poniższa tabela zawiera charakterystyki poszczególnych pozycji ankietowych składających się na konstrukt indeksu zasobów materialnych rodziny ucznia. Podano w niej wartości parametru dyskryminacji, w wypadku listy dóbr - odsetek pozytywnych wskazań oraz wartości skalowe (pogrubione) przysługujące poszczególnym pozycjom. Tabela x.x. Pozycje z ankiety rodzicielskiej składające się na indeks zasobów materialnych rodziny ucznia i ich miary dyskryminacji i ulokowanie ( trudność) lub punkty odcięcia (dla kategorii liczby książek) na skali o średniej 100 i odchyleniu standardowym 15 (parametry modelu 2PL/GRM). Przy treści pozycji ankietowych poza książkami - procent pozytywnych wskazań. Tabela Charakterystyka pozycji składających się na indeks zasobów materialnych rodziny ucznia deklaracje dotyczące liczby książek: dyskryminacja 10/11 ulokowanie pozycji na skali 100/15 25/ / / / liczba książek dla dzieci: 1, liczba pozostałych książek 1, deklaracje dotyczące pozostałych pozycji: dyskryminacja (odsetek wskazań) kalkulator 1,20 (96%) 50 spokojne miejsce do nauki dla dziecka 1,45 (96%) 57 biurko do nauki wyłącznie dla dziecka 1,15 (93%) 59 aparat fotograficzny 1,37 (93%) 62 słowniki 2,25 (97%) 64 gry edukacyjne (np. scrabble), puzzle edukacyjne 1,82 (99%) 68 komputer, którego dziecko może używać do nauki 1,81 (93%) 68 atlasy 1,59 (91%) 70 oddzielny pokój dla dziecka 0,75 (78%) 72 encyklopedie 1,76 (90%) 72 dostęp do internetu 1,35 (84%) 74 edukacyjne programy komputerowe 1,58 (82%) 79 szachy 0,86 (67%) 85 instrumenty muzyczne 0,97 (59%) 93 globus 0,83 (49%) 101 sztalugi, palety, akcesoria do malowania 0,79 (44%) 104 mikroskop 1,14 (14%) 128 luneta 0,88 (11%) 140 model anatomiczny człowieka 0,95 (8%)

250 model układu słonecznego 0,91 (9%) 144 Źródło: opracowanie własne Jeżeli np. przy kalkulatorze znajduje się wartość 50, to oznacza, że w rodzinie ucznia z taką wartością indeksu z prawdopodobieństwem 0,5 jest kalkulator. Bliską średniej skali wartość (101) ma przypisany globus. Oznacza to, że gdy rodzinie ucznia przypisano wartość 101, to prawdopodobieństwo, że dysponuje ona tym dobrem wynosi 0,5. Trochę inaczej należy interpretować wartości skalowe podane przy deklarowanej w ankiecie liczbie książek. Np. jeżeli do progu 100/101 książek dla dzieci w domu ucznia przepisano wartość skalową 125, to oznacza, że w rodzinie, której przypisano tę wartość, bardziej staje się prawdopodobne posiadanie ponad 100 książek, niż mniej niż 100 książek. Poniższa tabela zawiera podstawowe parametry rozkładu wskaźników SES. Tabela Parametry rozkładu w próbie wskaźników SES wskaźnik średnia odchylenie standardowe minimum maksimum skośność HISEI 45,85 20,46 11,74 88,96 0,35 HEDU 13,10 2, ,26 zasoby domu 100,07 a 14,84 a 43,67 147,59-0,20 a niewielkie odstępstwa od założonych parametrów 100/15 wynikają ze skalowania na pełnym zbiorze danych z ankiety rodzicielskiej Źródło: opracowanie własne Korelacje miedzy miarami SES pokazuje poniższa tabela. Tabela Korelacje między wskaźnikami SES wskaźnik HISEI HEDU HISEI - - HEDU 0,751 - indeks zasobów 0,539 0,551 Źródło: opracowanie własne Najsilniej skorelowane są wskaźniki HISEI i HEDU. Nie dziwi to, ponieważ na poziomie teoretycznym są mocno powiązane Charakterystyka pozostałych zmiennych użytych w analizach Dane pochodzą z ankiety rodzicielskiej. Wszystkie analizy prowadzone są na danych ważonych. Pierwszą ze zmiennych będących korelatami SES rodziny ucznia jest pozycja na rynku pracy. Wyróżniono cztery sytuacje, piąta zbiera sytuacje nietypowe i odpowiedzi nie wiem. W pierwszej kategorii dominuje praca stała, praca dorywcza stanowi absolutny margines. 250

251 Tabela Rozkłady procentowe zmiennej: pozycja na rynku pracy Źródło: opracowanie własne matka ojciec praca stała lub dorywcza 68,5 84,8 bezrobocie 9,4 3,7 emerytura, renta 1,8 3,4 zajmowanie się domem 18,3 0,4 inne 1,9 7,7 Należy podkreślić, że zmienna ta, podobnie jak następne, opisuje status na rynku pracy w momencie badania (III klasa). Niestety nie dysponujemy danymi dotyczącymi zmian w tym zakresie w całym okresie nauczania początkowego. Kolejna zmienna opisująca rodzinę ucznia to wielkość gospodarstwa domowego, rozumiana jako liczba osób mieszkających we wspólnym gospodarstwie. Tabela Rozkład procentowy zmiennej: wielkość gospodarstwa domowego liczba osób i więcej odsetek 3,1 17,1 41,3 20, ,7 1,6 0,6 0,5 Źródło: opracowanie własne W analizach uwarunkowań rodzinnych osiągnięć szkolnych szczególną pozycję zajmuje liczba dzieci w rodzinie. Tabela Rozkład procentowy zmiennej: liczba dzieci w rodzinie liczba dzieci odsetek 19,2 47,1 20,4 7,4 3,5 1,5 0,4 0,5 Źródło: opracowanie własne Modalna wartość zmiennej liczba dzieci to 2, ale jest grupa rodzin z ośmiorgiem dzieci (te 0,5% to w próbie 26 przypadków). W analizach struktury rodziny ważne jest, kto wychowuje dziecko. 251

252 Tabela Rozkład procentowy zmiennej: kto wychowuje dziecko kto wychowuje matka i ojciec tylko matka tylko ojciec rodzina zrekonstruowana inne odsetek 83,2 10,3 0,9 4,1 1,6 Źródło: opracowanie własne Dominują rodziny pełne, co 10 uczeń wychowywany jest przez samotną matkę, 4% zgodnie z deklaracjami wypełniających ankietę uczniów żyje w rodzinach zrekonstruowanych. W analizach uwarunkowań osiągnięć szkolnych wskazuje się na czynnik wielopokoleniowości. Jaki odsetek uczniów klas III mieszka razem z dziadkami? Tabela Dziadkowie we wspólnym gospodarstwie domowym, rozkład procentowy dziadkowie we wspólnym gospodarstwie babcia dziadek odsetek 24,1 14,5 Źródło: opracowanie własne Co 4 uczeń mieszka razem z babcią, razem z dziadkiem już tylko co siódmy. W niektórych analizach wykorzystywana będzie zmienna lokalizacja szkoły. Pochodzi ona z baz systemu egzaminacyjnego. Na potrzeby analiz wyników egzaminacyjnych CKE wyróżnia 4 kategorie lokalizacji szkoły. Tabela Procentowy rozkład zmiennej lokalizacja szkoły lokalizacja odsetek uczniów Źródło: opracowanie własne wieś miasto do 20 tys. mieszkańców miasto od 20 tys. do 100 tys. mieszkańców miasto ponad 100 tys. mieszkańców 38,6 17,5 24,0 19,9 Rozkład ten z dobrym przybliżeniem odpowiada rozkładowi w całej populacji szkół podstawowych. Kolejna zmienna to liczba uczniów w oddziale klasowym. Parametry jej rozkładu w próbie zawiera poniższa tabela. Tabela Parametry rozkładu: liczba uczniów w oddziałach klasowych odchylenie średnia standardowe minimum maksimum skośność 21,58 4, ,22 252

253 Źródło: opracowanie własne Średnia wielkość oddziału jest wyraźnie powyżej średniej dla całej populacji szkół, ale wynika to z wykluczania z populacji badanej szkół nietypowych i poniżej 11 uczniów (patrz: opis próby). W analizach szkolnych uwarunkowań nasilenia nierówności edukacyjnych używana będzie informacja o wykorzystywanym w danym oddziale klasowym podręczniku szkolnym. W analizach tych użyte zostaną również zmienne opisujące charakterystyki nauczyciela: staż pracy, poziom wykształcenia rodziców nauczyciela, gdy miał 14 lat, poziom deklarowanej ogólnej satysfakcji życiowej i satysfakcji zawodowej oraz poziom orientacji na dominację (SDO). Zmienne te są szczegółowo opisane w rozdziale poświęconym nauczycielom, więc w tym miejscu nie będą opisywane Międzyszkolne i międzyoddziałowe zróżnicowanie statusu ekonomiczno-społecznego rodziny ucznia Analizy rozpoczniemy od wyznaczenia wielkości międzyszkolnego i międzyoddziałowego zróżnicowania miar statusu ekonomiczno-społecznego rodziny ucznia. Zróżnicowanie to jest interesujące samo w sobie, jako miara tzw. segregacji społecznych w oświacie (Dolata 2008). Dodatkowo uzyskane wyniki pozwolą porównać to zróżnicowanie z dyferencjacją szkół i oddziałów ze względu na osiągnięcia szkolne. Poniższa tabela zawiera wyniki trzypoziomowych analiz regresji, w których zmiennymi wyjaśnianymi są użyte w badaniu SUEK miary SES. Wykorzystane modele z losową stałą bez zmiennych wyjaśniających pozwalają oszacować wariancję międzyszkolną i międzyoddziałową. Tabela Międzyszkolne i międzyoddziałowe zróżnicowanie wskaźników SES rodziny ucznia: HISEI, HEDU i indeks zasobów materialnych rodziny dziecka. Wyniki trzypoziomowych analiz regresji, modele puste, odporne (robust) oszacowania błędów standardowych Zmienna zależna: HISEI HEDU Zasoby rodziny Oszacowanie efektów stałych stała 43,17 (0,81) Oszacowanie efektów losowych 12,76 (0,10) 98,69 (0,57) Wariancja efektów szkół 56,77 0,824 23,54 Wariancja efektów oddziałów klasowych 13,75 0,279 8,70 Wariancja na poziomie ucznia 414,64 5, ,11 Współczynniki korelacji wewnątrzgrupowej: Poziom szkół 0,137 0,142 0,106 Poziom klas 0,033 0,040 0,039 Poziom klas i szkół łącznie 0,170 0,182 0,145 Podsumowanie Liczba uczniów Liczba klas Liczba szkół

254 pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe Źródło: opracowanie własne Łącznie podział uczniów na szkoły i oddziały wyjaśnia około 17% wariancji wskaźnika HISEI, 18% zmienności wskaźnika wykształcenia rodziców i 15% indeksu zasobów materialnych rodziny dziecka. Bardziej zróżnicowane są szkoły, 11%-14% wariancji wyjaśnianej, znacznie mniej oddziały w obrębie szkół, 3-4% zmienności wskaźników SES. Gdy porównamy międzyszkolne i międzyoddziałowe zróżnicowanie SES ze zróżnicowaniem ze względu na osiągnięcia szkolne to widać, że zróżnicowanie międzyszkolne ze względu na SES jest 2-3 krotnie większe niż ze względu na osiągnięcia, natomiast wariancja międzyoddziałowa w obrębie szkół jest dla SES i osiągnięć na tym samym poziomie. Oznacza to, że na podstawie zróżnicowania międzyszkolnego ze względu na SES możny by się spodziewać większej wariancji międzyszkolnej, niż faktycznie obserwujemy. Choć wariancja międzyszkolna ze względu na SES nie jest wysoka, to jednak porównując szkoły o najwyższym i najniższym średnim SES widzimy jak duże różnice w skrajnych przypadkach to oznacza. Dobrze to ilustrują poniższe wykresy. Pierwszy z nich pokazuje zróżnicowanie szkół ze względu na HISEI. Rysunek Średnie HISEI wraz z 95% przedziałami ufności dla wszystkich szkół w próbie. Na wykresie zaznaczono wartości pierwszego kwartyla, średniej i trzeciego kwartyla indywidualnego rozkładu HISEI Źródło: opracowanie własne Na wykresie szkoły uporządkowano ze względu na średnią wskaźnika HISEI, odcinki pokazują szerokość przedziałów ufności dla oszacowania średnich. Taki sposób prezentacji pozwala określać, które szkoły istotnie statystycznie różnią się od średniej czy też innej wyznaczonej wartości kryterialnej. 254

255 Na wykresie zaznaczono średnią wskaźnika dla wszystkich szkół (czerwona lina) oraz wartość pierwszego i trzeciego kwartylu indywidualnego rozkładu wskaźnika HISEI rodziny ucznia. W żadnej szkole średnia nie jest wyższa niż trzeci kwartyl, w 3 szkołach średnia jest poniżej 1 kwartylu. Rysunek Średnie HEDU wraz z 95% przedziałami ufności dla wszystkich szkół w próbie. Na wykresie zaznaczono wartości pierwszego kwartyla, średniej i trzeciego kwartyla indywidualnego rozkładu HEDU Źródło: opracowanie własne Kolejny rysunek pokazuje analogiczny wykres dla wskaźnika wykształcenia rodziców uczniów. Dla tego wskaźnika wariancja międzyszkolna była relatywnie wyższa niż dla HISEI i widać to na wykresie. Szczególnie po prawej stronie jest więcej placówek ze średnią HEDU blisko 3 kwartyli. Ostatni wykres pokazuje zróżnicowanie szkół ze względu na wartość indeksu zasobów materialnych rodziny ucznia. 255