Tajemnica sukcesu, przyczyny porażki: Edukacyjna Wartość Dodana w liceach ogólnokształcących RAPORT Z JAKOŚCIOWEGO MODUŁU BADANIA NASZA DALSZA NAUKA I PRACA SZKOŁY POGIMNAZJALNE BADANIE REALIZOWANE W RAMACH PROJEKTU BADANIA DOTYCZĄCE ROZWOJU METODOLOGII SZACOWANIA WSKAŹNIKA EDUKACYJNEJ WARTOŚCI DODANEJ OPRACOWANY PRZEZ ŁUCJĘ KRZYŻANOWSKĄ I DR MAGDALENĘ STEC Warszawa, marzec 2011
Raport przygotowały: Łucja Krzyżanowska Dr Magdalena Stec Koordynacja badania: Łucja Krzyżanowska Dr Magdalena Stec Badanie zostało zrealizowane przez Zespół w składzie: Anna Baczko-Dombi Agnieszka Białek Michał Danielewicz Aleksandra Daszkowska-Kamińska Adam Gołubowski Aleksandra Gołdys Katarzyna Górkiewicz Paweł Hess Rafał Klepacz Agata Maksimowska Agata Nowotny Agnieszka Ogrocka-Klepacz Monika Probosz Magdalena Smak-Wójcicka Monika Skrzyńska Magda Stec Monika Stec Bartosz Stodulski Agata Komendant-Brodowska Łucja Krzyżanowska Paulina Jędrzejewska 2
WERSJA UDOSTĘPNIANA PUBLICZNIE: ABY ZAPEWNIĆ ANONIMOWOŚĆ BADANYM SZKOŁOM USUNIĘTO ELEMENTY FOTOGRAFICZNE I ANEKSY
KRÓTKI PRZEWODNIK PO RAPORCIE Raport Tajemnica sukcesu, przyczyny porażki: Edukacyjna Wartość Dodana w liceach ogólnokształcących, to odpowiedź na pytanie, czym charakteryzuje się dobra szkoła oraz czym dobra szkoła różni się od szkoły złej. Raport, który oddajemy do Państwa rąk, jest efektem badania przeprowadzonego przez zespół socjologów na zalecenie Centralnej Komisji Egzaminacyjnej. W okresie od września do listopada 2010 roku odwiedziliśmy trzydzieści liceów ogólnokształcących w całej Polski. Byliśmy w szkołach bardzo dobrych i bardzo złych. W małych, kameralnych liceach z niemal domową atmosferą i w ogromnych zespołach szkół. Rozmawialiśmy z dyrektorami, uczniami, nauczycielami, rodzicami, ale także woźnymi, ochroniarzami i ajentami szkolnych sklepików. Braliśmy udział w lekcjach i odbywaliśmy wycieczki po szkołach. Czytaliśmy gazetki szkolne i odwiedzaliśmy szkolne strony internetowe. Staraliśmy się przy tym jak najlepiej zrozumieć, z jakich przyczyn pewne szkoły osiągają lepsze wyniki, a inne gorsze. Słowem, dlaczego jedne uczą lepiej, a inne gorzej. W raporcie pokazujemy, że lepsze szkoły to nowoczesne organizacje, z jasno nakreśloną i konsekwentnie wdrażaną misją i wizją, w której centrum stoją uczniowie, a nauczyciele są kierowani w zgodzie z ich kompetencjami i atutami do odpowiednich zadań. Słowem: dobra szkoła potrafi lepiej zarządzać zasobami ludzkimi zarówno w postaci nauczycieli, jak i uczniów. I co ważne, rodzice są takiej szkole potrzebni jedynie jako wsparcie, a nie jako stały partner w codziennej pracy. Raport, prezentujący najważniejsze obserwacje i wnioski z badania, rozpoczynamy od szczegółowego opisu metodologii i samego procesu badawczego. Wyjaśniamy również pojęcie Edukacyjnej Wartości Dodanej, które jest podstawowym używanym przez nas wskaźnikiem. Rozdziały 1-3: CELE BADANIA I METODOLOGIA, s. 10-26 Następnie prezentujemy cztery modele szkół. Dwie z nich nazwane przez nas szkoła sukcesu i szkoła wspierająca prowadzą do sukcesów dydaktycznych i są efektywne z punktu 4
widzenia wyników uzyskiwanych na egzaminie maturalnym. A dwie szkoła niewykorzystanych możliwości i szkoła wymagająca wsparcia wręcz przeciwnie: albo nie wykorzystują potencjału uczniów, albo sprawiają, że ich wyniki edukacyjne pogarszają się. Rozdział 4: MODELE SZKÓŁ, s. 30-51 W kolejnych rozdziałach opisujemy elementy kluczowe dla funkcjonowania zbadanych przez nas szkół licealnych. W rozdziale Niż demograficzny i walka o ucznia opisujemy sposoby radzenia sobie z negatywnymi skutkami niżu demograficznego i metody stosowane przez szkoły do pozyskania kolejnych roczników uczniów. Geografia ma znacznie, to podrozdział, w którym pokrótce omawiamy, jakie konsekwencje dla funkcjonowania szkoły ma jej lokalizacja, to czy działa w małej czy w dużej miejscowości. Rozdział 5: KONTEKST DZIAŁANIA SZKÓŁ, s. 52-67 Następnie opisujemy różnorodne misje, które stawiają przed sobą badane instytucje. Przez misje rozumiemy odpowiedź na pytanie: po co jest szkoła? Charakteryzujemy również sylwetki idealnych absolwentów różnych szkół. Dzięki temu dowiadujemy się, co w całym procesie dydaktycznym jest dla szkół ważne. Rozdział 6: CZYNNIKI W ZASIĘGU ODDZIAŁYWANIA SZKOŁY, s. 68-83 Kolejny rozdział Wewnętrzna organizacja pracy w szkole koncentruje się na tym, jakie znaczenie dla efektywności pracy ma rozmiar szkoły. Piszemy tu również o centralnej dla szkoły postaci tj. o dyrektorze. Podkreślamy także rolę wewnętrznych mechanizmów kontroli jakości pracy nauczycieli. Rozdział 7: WEWNĘTRZNA ORGANIZACJA SZKOŁY, s. 84-100 W dalszych podrozdziałach dużo miejsca poświęcamy najważniejszym aktorom związanym ze szkołom: nauczycielom, uczniom i rodzicom. Piszemy zarówno o tym, co dla nauczycieli jest ważne w ich pracy zawodowej, jak i o tym, jakie znaczenie dla ich pracy ma wyposażenie szkoły i konflikty w gronie pedagogicznym. Opisujemy motywacje uczniów związane z wyborem 5
konkretnych szkół, a także o kapitale społecznym. W dalszej kolejności zastanawiamy się nad tym, po co szkole potrzebni są rodzice. Rozdział 7: WEWNĘTRZNA ORGANIZACJA SZKOŁY, s. 101-126 Raport zamyka podsumowanie najważniejszych wniosków płynących z badania oraz rekomendacje, które wprowadzone w życie mogą poprawić efektywność pracy niektórych szkół. Podsumowanie zostało pomyślane w taki sposób, żeby można je było czytać jako odrębną całość a potem zgłębiać szczegółowe kwestie w odpowiednich rozdziałach. Rozdział 8 PODSUMOWANIE, s. 126-132 6
ĘŚĆ I: ĘŚĆ II: SPIS TREŚCI CELE BADANIA I METODOLOGIA 10. PODSTAWOWE INFORMACJE O BADANIU 10. CELE BADANIA 10. METODOLOGIA BADANIA 13.1. DOBÓR SZKÓŁ DO BADANIA Artur Pokropek 16.1.1. MODEL SZACOWANIA EWD 17.1.2. SKALOWANIE EGZAMINÓW MATURALNYCH 17.1.3. MODELOWANIE WSKAŹNIKÓW 19.1.4. ZMIENNE INSTRUMENTALNE 20.1.5. LOSOWANIE SZKÓŁ 21.2. OPIS NARZĘDZI BADAWCZYCH 23 WYNIKI BADANIA 27. MODELE DZIAŁANIA SZKÓŁ 30.1. SZKOŁA SUKCESU 32.2. SZKOŁA NIEWYKORZYSTANYCH MOŻLIWOŚCI 38.3. SZKOŁA WYMAGAJĄCA WSPRACIA 43.4. SZKOŁA WSPIERAJĄCA 47.5. 4 MODELE NAJWAŻNIEJSZE WNIOSKI 49. KONTEKST DZIAŁANIA SZKÓŁ CZYNNIKI ODDZIAŁUJĄCE NA SZKOŁĘ 52 7
.1. GEOGRAFIA MA ZNACZENIE 52.2. NIŻ DEMOGRAFICZNY I WALKA O UCZNIA 54.3. PODSUMOWANIE 65. CZYNNIKI W ZASIĘGU ODDZIAŁYWANIA SZKOŁY 68.1. MISJA SZKOŁY 68.2. SYLWETKA ABSOLWENTA 81.3. PODSUMOWANIE 83. WEWNĘTRZNA ORGANIZACJA SZKOŁY 84.1. TYP I ROZMIAR SZKOŁY 84.2. ROLA DYREKTORA SZKOŁY 87.3. DOBÓR NAUCZYCIELI I KONTROLA JAKOŚCI ICH PRACY 89.4. DEMOKRACJA W SZKOLE 91.5. ORGAN NADZORUJĄCY PRACĘ SZKOŁY 94.6. NAUCZYCIELE 94.6.1. POCZĄTKI, DROGA DO ZAWODU 95.6.2. POJĘCIE MISJI NAUCZYCIELA 96.6.3. DYSCYPLINA W SZKOLE 98.6.4. STOSUNEK DO UCZNIA 100.6.5. KONFLIKTY W GRONIE PEDAGOGICZNYM 102.6.6. WYPOSAŻENIE SZKOŁY 104.6.7. PODSUMOWANIE 105.7. UCZNIOWIE 107.7.1. CO DECYDUJE O WYBORZE SZKOŁY? 107 8
ŁĄCZNIK NR.7.2. KAPITAŁ SPOŁECZNY UCZNIA 110.7.3. ZRÓŻNICOWANIE UCZNIÓW 111.7.4. PODSUMOWANIE 113.8. RODZICE 1144.8.1. ZAANGAŻOWANIE W ŻYCIE SZKOŁY 1155.8.2. POWODY BRAKU ZAANGAŻOWANIA 1166.8.3. KONTAKTY NA LINII SZKOŁA - RODZICE 119.8.4. KONFLIKTY Z RODZICAMI 121.8.5. PODSUMOWANIE 122.9. ZAJĘCIA POZALEKCYJNE 123.9.1. PODSUMOWANIE 126. PODSUMOWANIE 127. REKOMENDACJE 133. LITERATURA 135. ZAŁĄCZNIKI 137 1 ZESPÓŁ BADAWCZY 137 9
CZĘŚĆ I: Cele badania i metodologia 1. PODSTAWOWE INFORMACJE O BADANIU 1 Program badawczy Nasza dalsza nauka i praca ma charakter wieloletni i stanowi element projektu Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej. Program realizowany jest wyłącznie w szkołach ponadgimnazjalnych (szkoły zasadnicze, technika, licea profilowane i licea ogólnokształcące), które zostały wylosowane do badania PISA w roku szkolnym 2008/2009. W sumie jest to 200 szkół z całej Polski. Pierwszym etapem programu było badanie zrealizowane w marcu 2009 roku był to Program Międzynarodowej Oceny Umiejętności Uczniów (tytuł oryginalny: Programme for International Student Assessment PISA). Drugi etap został zrealizowany w listopadzie 2009 roku. Były to 4 kwestionariusze, pozwalające określić kompetencje poznawcze i społeczne, samoocenę oraz relacje rówieśnicze. Opisywane w niniejszym raporcie badanie stanowi trzeci etap projektu Nasza dalsza nauka i praca. Jest to moduł jakościowy, w ramach którego badaniem objęto 30 szkół (spośród 200 uczestniczących we wcześniejszych etapach badaniach), przy czym w związku z zapotrzebowaniem zgłoszonym przez Zamawiającego badanie ograniczono wyłącznie do liceów ogólnokształcących. 2. CELE BADANIA Głównym celem jakościowego etapu badania było zrozumienie, z jakich przyczyn pewne szkoły osiągają lepsze, a inne gorsze wyniki w zakresie wskaźnika edukacyjnej wartości dodanej. Pojęcie edukacyjnej wartości dodanej (EWD) wywodzi się z ekonomii, gdzie wartość dodana to tyle, co przyrost wartości dóbr w wyniku danego procesu produkcyjnego. Analogicznie edukacyjną wartość dodaną można zdefiniować jako przyrost wiedzy uczniów w wyniku procesu edukacyjnego. Pojęcie edukacyjnej wartości dodanej pojawiło się w połowie lat 1970-1 Na podstawie: http://www.ifispan.waw.pl/pliki/informacja.pdf oraz materiałów wewnętrznych przygotowanych na potrzeby projektu (prezentacja przygotowana przez Marka Smulczyka). 10
tych, jako kontynuacja idei rozliczalności szkół (school accountability). Ogólna idea edukacyjnej wartości dodanej była konkretyzowana na wiele sposobów. Proste rozumienie wartości dodanej odnosi się do idei postępu uczniów w nauce mierzonych egzaminami zewnętrznymi. Celem badania jakościowego było zrozumienie, z czego wynika to, że uczniowie jednych szkół robią większe postępy w nauce, a w innych przyrost wiedzy jest mniejszy lub w ogóle nie następuje. Słowem, z czego wynika to, że jedna szkoły uczą lepiej, a inne gorzej? Dlaczego w niektórych szkołach poziom zdawalności egzaminu maturalnego i wyniki na nim uzyskiwane są wysokie, a w innych niskie? Badanie koncentrowało się na kulturze organizacyjnej szkoły (jej świecie wewnętrznym wewnętrznej organizacji, sposobie zarządzania, jakości kadry, powiązaniami nieformalnymi) oraz na tym, co wokół niej, tj. na osadzeniu szkoły w szerszym kontekście społecznym i instytucjonalnym, z uwzględnieniem następujących elementów: zakorzenienie w lokalnym systemie władzy/administracji oraz w społeczności. Uwzględniono również perspektywę uczniów i rodziców. Badanie jakościowe miało zmierzać do rekonstrukcji etosu danej szkoły. Przez etos rozumieć należy charakterystyczny dla danej placówki zbiór wartości, postaw i norm zachowania uczniów i nauczycieli. Na podstawie wstępnych analiz wyłoniono listę czynników, które mogą przyczyniać się do bardziej lub mniej efektywnego działania szkoły jako placówki edukacyjnej: 1. Czas: szacunek dla czasu, jego wykorzystania (np. wagary, spóźnienia uczniów i nauczycieli, efektywność wykorzystania czasu); 2. Osiągnięcia szkolne: sposób ich definiowania, istnienie klimatu szacunku dla wysokich osiągnięć, dynamika wymagań, dostosowanie wymagań do możliwości uczniów; 3. Motywacja: nagradzanie za osiągnięcia, skuteczne obarczenie uczniów współodpowiedzialnością za wyniki nauczania, nagradzanie wysiłku i postępów w nauce; 4. Zasoby uczniowskie: mechanizm wyboru szkoły, cenienie sobie szkoły, poziom uczniów na wejściu ; 5. Zasoby nauczycielskie: mechanizm wyboru zawodu, cenienie sobie szkoły, sposób definiowania roli nauczyciela, wypalenie zawodowe; 11
6. Zasoby materialne: wykorzystanie i tworzenie zasobów materialnych szkoły; 7. Indywidualny warsztat pracy nauczyciela: informacje zwrotne o efektach nauczania, wspieranie w przypadku trudności, styl prowadzenia zajęć przez nauczycieli; 8. Współpraca: tworzenie zasobów grupowych (pomysły i pomoce dydaktyczne np. scenariusze lekcji, testy, wspólne projekty dydaktyczne, wewnętrzne szkolenia), wykorzystywanie zasobów rówieśniczych, partycypacja uczniów w procesach decyzyjnych; 9. Relacje między rówieśnikami: czy klasa podziela te same normy, czy jest homogeniczna, czy raczej istnieją grupki (kliki) uczniowskie; 10. Odtworzenie klimatu w klasie: czy istnieje tam rywalizacja, jak są traktowani dobrzy uczniowie, czy jest klimat do nauki, jaki jest stosunek uczniów do przyszłości, jakie są ich plany, marzenia, na czym im w życiu zależy; 11. Nauczyciel w oczach uczniów oraz uczniowie w oczach nauczyciela na wymiarze kompetencji, władzy i oczekiwań; 12. Relacje pomiędzy nauczycielami oraz między nauczycielami a dyrektorem; 13. Nadprogramowa działalność szkoły: uczestnictwo w konkursach, wydawanie gazetki, sukcesy sportowe, współpraca zagraniczna, współpraca z gminą, etc.; 14. Stosunek nauczycieli do egzaminów: czy wprowadzenie egzaminów zewnętrznych było dobrym pomysłem, czy zmieniło się przez to nauczanie; 15. Ewaluacja pracy nauczycieli: znaczenia egzaminów zewnętrznych (matury, egzaminów gimnazjalnych) oraz rola dyrekcji, rodziców przy ocenie pracy nauczycieli; 16. Stosunek nauczycieli do ich pracy zawodowej, awansu zawodowego i kariery nauczycielskiej; 17. Charakterystyka najbliższego otoczenia lokalnego z punktu widzenia potrzeb edukacyjnych młodzieży bliskość instytucji kulturalnych, oświatowych, prężne domy kultury lub inne instytucje, podstawowe problemy w danym rejonie; 12
18. Korepetycje i kursy (zwłaszcza te przygotowujące do matur): opinia uczniów, nauczycieli, stopień rozpowszechnienia; 19. Perspektywy na przyszłość dla uczniów danej szkoły w oczach nauczycieli i uczniów; 20. Ocena współpracy z rodzicami: obszary współpracy z rodzicami, potrzeby i bariery. 3. METODOLOGIA BADANIA Przed badaniem postawiono wiele celów szczegółowych, mających prowadzić do znalezienia odpowiedzi na pytanie zasadnicze: co przesądza o skuteczności bądź jej braku w zakresie wyników egzaminacyjnych. Realizacja tych celów wymaga indywidualnego podejścia do sytuacji, w jakiej znajduje się każda szkoła. Taki sposób badania możliwy jest jedynie w ujęciu jakościowym pozwala ono bowiem na elastyczne dopasowanie do każdego przypadku zarówno w kwestii tematów (i ich względnej ważności), jakie zostaną podjęte w ramach badania (chodzi tu przede wszystkim o możliwość rozszerzenia repertuaru badanych zagadnień), jak i w zakresie technicznych warunków prowadzenia badania. Taki sposób badania pozwala na zidentyfikowanie różnorodnych czynników, które są istotne z punktu widzenia efektywności pracy danej szkoły. Ponadto, metodologia jakościowa pozwala dotrzeć także do tych treści, z których badani sami nie zdają sobie sprawy lub o których trudno jest mówić badani nie zawsze uświadamiają sobie, co wpływa na pracę ich szkoły, jakie są jej mocne i słabe strony, więc pytanie o te kwestie wprost jest nieskuteczne. Konieczne było zatem wykorzystanie technik swobodnych, które w przeciwieństwie do technik ankietowych umożliwiają elastyczne reagowanie na wypowiedzi respondenta i pogłębianie pojawiających się informacji. Zdecydowano więc, że badanie kultury organizacyjnej szkół przebiegać będzie poprzez konfrontację danych odnośnie wskaźnika EWD (uzyskanego z podejścia ilościowego) z danymi pozyskanymi za pomocą technik jakościowych: obserwacji, wywiadów pogłębionych z dyrektorami szkół, nauczycielami, rodzicami oraz wywiadów grupowych z uczniami. 13
Metodologia jakościowa niesie ze sobą pewne ograniczenia. Związane są one z generalizowaniem wniosków sformułowanych na podstawie badań. Dlatego w niniejszym raporcie nie pojawiają się zastawienia liczbowe, a wszelkie informacje o częstościach mają charakter ilustracyjny i należy je traktować z dużą ostrożnością. Celem badań jakościowych nie jest bowiem rozpoznanie skali zjawiska, ale zrozumienie jego specyfiki, analiza różnych jego aspektów i zrozumienie ich wzajemnych powiązań. Ze względu na te kwestie oraz uwzględniając fakt, że metody jakościowe są czasochłonne (szczególnie na etapie analizy i interpretacji danych) i kosztowne, nie mogą być one realizowane na próbach równie licznych co badania ilościowe. Konieczne było więc zawężenie próby (uczestniczącej we wcześniejszych etapach badania) i wybranie spośród 200 szkół mniejszej ich liczby. W tym celu przyjęto następującą strategię: na podstawie wyników pierwszego pomiaru wiadomości i umiejętności szkolnych (po klasie I ) oraz wyników szkół na egzaminie maturalnym z lat ubiegłych wyselekcjonowano dwa typy szkół: Szkoły o relatywnie wysokich wynikach końcowych oraz wysokiej efektywności nauczania (w skrócie wysokie EWD ) Szkoły o relatywnie niskich wynikach końcowych oraz niskiej efektywności nauczania ( niskie EWD ) Efektywność nauczania oszacowano metodą edukacyjnej wartości dodanej (Dolata, Pokropek, 2007; Pokropek, 2008). W każdej z dwóch grup znalazło się po 15 szkół. Dodatkowo zdecydowano o dalszym podziale szkół wybranych do badania na takie, w których zostanie przeprowadzone badanie w bardziej rozbudowanej wersji (tzw. duży case ) uwzględniające zarówno to, co dzieje się w ramach szkoły (czyli opinię dyrekcji, nauczycieli oraz uczniów), jak i kontekst, w którym jest ona osadzona (władze lokalne, instytucje nadzorujące pracę danej placówki oraz rodzice). W pozostałych szkołach przeprowadzono badanie w okrojonej wersji (tzw. mały case ) ograniczając się do tego, co bezpośrednio dotyczyło szkoły (tzn. uwzględniono perspektywę dyrekcji, nauczycieli oraz uczniów, ale z pominięciem kontekstu zewnętrznego). Małe case y zostały pomyślane jako rodzaj weryfikacji zależności wykrytych w dużych case ach. Zaplanowano, że w 10 lokalizacjach zostanie zrealizowane badanie w wersji 14
rozbudowanej ( duże case y ), a w 20 w wersji okrojonej ( małe case y). Położenie geograficzne było zmienną towarzyszącą, która nie została uwzględniona jako kryterium doboru szkół do badania. Więcej informacji na temat procedury doboru szkół do badania zamieszczono w rozdziale 4-tym. W ramach każdego typu case u realizowane były zarówno indywidualne wywiady pogłębione (IDI), jak i zogniskowane wywiady grupowe (FGI). W ramach dużego case a realizowane były następujące wywiady: IDI z dyrektorem FGI z nauczycielami 2 x FGI z uczniami IDI z nauczycielem przedmiotów humanistycznych IDI z nauczycielem matematyki lub fizyki IDI z nauczycielem chemii lub biologii IDI z nauczycielem doświadczonym (tj. nauczycielem z ponad dziesięcioletnim stażem pracy) IDI z nauczycielem początkującym (tj. z rocznym lub dwuletnim stażem pracy) IDI z nauczycielem aktywnym (prowadzącym liczne zajęcia pozalekcyjne, kółka przedmiotowe, realizującym projekty) IDI z pedagogiem szkolnym IDI z pracownikiem administracji (np. pracownikiem sekretariatu) IDI z woźną/woźnym lub ochroniarzem IDI z rodzicami 15
IDI z przedstawicielami władzy lokalnej (z jednostki nadzorującej) Uwzględniono wiec perspektywę różnych informatorów. Każdy z nich patrzył na szkołę pod nieco innym kątem i zwracał uwagę na inne elementy. Skonfrontowanie tych opinii pozwoliło na uzyskanie wieloaspektowego oglądu badanej instytucji. Natomiast w skład małych case ów wchodziły: IDI z dyrektorem FGI z nauczycielami FGI z uczniami Zarówno w dużych, jak i w małych case ach badacze wypełniali rozbudowaną kartę obserwacji szkoły oraz robili zdjęcia, które stanowią fotograficzną dokumentację badania. Efektem końcowym każdego z case ów był mini-raport. W części szkół dodatkowo przeprowadzona została mini sonda wśród uczniów. W szkole ustawione zostały dwa pudełka (urny), do których uczniowie wrzucali karteczki, na których wypisywali, za co lubią swoją szkołę, a za co jej nie lubią. 3.1. DOBÓR SZKÓŁ DO BADANIA Artur Pokropek Wylosowanie szkół do badania jakościowego wymagało skonstruowania wskaźnika edukacyjnej wartości dodanej (EWD) dla szkół maturalnych. Po obliczeniu wskaźnika, szkoły zostały przypisane do dwóch kategorii: szkoły z wysokim wskaźnikiem edukacyjnej wartości dodanej i szkoły z niskim wskaźnikiem edukacyjnej wartości dodanej. Z obydwu kategorii szkoły zostały losowane do dwóch typów badań: badania ogólnego ( mały case ) oraz badania rozszerzonego ( duży case ). Poniżej przedstawiono sposób estymacji wskaźnika edukacyjnej wartości dodanej, na podstawie którego odbyło się losowanie. Lista wylosowanych szkół ma charakter poufny i nie będzie tu prezentowana. 16
3.1.1. MODEL SZACOWANIA EWD Podstawowym problemem podczas szacowania wskaźnika edukacyjnej wartości dodanej dla szkół maturalnych jest zrównanie wyników egzaminacyjnych z egzaminu maturalnego. Aby móc estymować odpowiedni model wartości dodanej niezbędna jest wiedza na temat wskaźnika osiągnięć szkolnych, opartego na wynikach maturalnych. Wskaźnik taki musi zostać skonstruowany przy użyciu metod zapewniających zrównanie egzaminów z różnych przedmiotów maturalnych (por. Pokropek, 2008). Wskaźnik sumaryczny oszacowany został na podstawie danych ogólnopolskich za pomocą modelu IRT, co zostanie szczegółowo opisane w następnej sekcji. Po skonstruowaniu wskaźnika sumarycznego dla każdego ucznia wykorzystano modelowanie wielopoziomowe (por. Pokropek, 2010), na podstawie którego oszacowano wskaźniki edukacyjnej wartości dodanej. Model wykorzystany do szacowania EWD został opisany w kolejnych sekcjach. Do konstrukcji ogólnego wskaźnika osiągnięć szkolnych i modeli edukacyjnej wartości dodanej wykorzystane zostały ogólnopolskie dane z 2009 roku. 3.1.2. SKALOWANIE EGZAMINÓW MATURALNYCH Do zrównywania wyników maturalnych i oszacowania końcowego wskaźnika osiągnięć wykorzystano model odpowiedzi częściowej (ang. Partial Credit Model). Model odpowiedzi częściowej jest prostym rozszerzeniem modelu Rascha (szczegóły można znaleźć w: Jakubowski i Pokropek, 2009). Model Rascha możemy zapisać następująco: (1) Gdzie Pi(θ) jest prawdopodobieństwem poprawnej odpowiedzi na pytanie i, które może być wyrażone prawą częścią równania gdzie e = 2.718, a D jest tak zwanym scaling factor w większości przypadków równym jeden 1 (metryka logistyczna), niekiedy używa się stałej 1.7 (metryka normalna). W naszym wypadku D=1.7. Model odpowiedzi częściowej jest rozszerzeniem modelu Rascha tak, że: 17
(2) gdzie (θ) otrzymania 1 punktu na pytanie i, a (θ) jest prawdopodobieństwem otrzymania 0 dla danego pytania, dla ucznia o umiejętności θ. W uogólnieniu na szerszą ilość odpowiedzi równanie 2 można zapisać jako: (3), x= 1, 2,, mi, gdzie (θ) i -1(θ) są prawdopodobieństwami ucznia o umiejętności θ, otrzymania odpowiednio x oraz x-1 wyniku. Równanie 3 można oczywiście tak zaaranżować, by otrzymać prawdopodobieństwo poprawnej odpowiedzi na dowolną x kategorię: (4), x= 1, 2,, mi. Na podstawie tego modelu estymowane były jednocześnie trudności wszystkich pytań oraz umiejętności uczniów zdających maturę. Utworzono jedną macierz odpowiedzi na wszystkie pytania. W przypadku gdy uczeń nie zdawał danego egzaminu, w miejscach odpowiedzi na pytania otrzymywał znacznik braku danych. Taki sposób estymacji zapewnił automatyczne zrównywanie przedmiotów podczas estymacji wykorzystywana była bowiem informacja o wszystkich uczniach. Z estymacji wyłączone zostały przedmioty, w których liczba egzaminowanych nie przekraczała 400 w całej populacji. 18
3.1.3. MODELOWANIE WSKAŹNIKÓW Model wyjściowy Wskaźnik edukacyjnej wartości dodanej (EWD) obliczany dla szkół kończących się egzaminem maturalnym, pod względem formalnym (konstrukcja wskaźnika, modelowanie zależności, typy modeli regresyjnych i estymacji), nie różni się zasadniczo od konstrukcji wskaźnika EWD stosowanego w Polsce dla szkół gimnazjalnych (por. Pokropek, 2009). W tej części omówione zostaną krótko podstawy modelu wielopoziomowego wykorzystanego do estymacji wskaźników edukacyjnej wartości dodanej. Na model taki można patrzeć jako na rozszerzenie klasycznej regresji jednej zmiennej o informacje dotyczące pogrupowania jednostek. Model z efektem losowym dla stałej regresji zapisujemy następująco (zapis dla jednej zmiennej niezależnej): y = β0 + β1 x + r Poziom jednostki (1): ij j j ij ij gdzie: (5) Poziom szkoły (2): β = γ + u 0 j 00 0 j β 1 j = γ 10 gdzie: γ 10 to efekt stały współczynnik nachylenia krzywej regresji Jak widać, w tym modelu współczynnik nachylenia β 1 j uznajemy za stałą dla wszystkich grup, β = tak jak w klasycznej regresji, i zapisujemy jako: j 10, jednak pozostajemy przy założeniu 1 γ z poprzedniego modelu związanym ze stałą regresji, którą traktujemy jako zmienną losową. Do wyrazu wolnego (stałej regresji) dołączony zostanie efekt losowy: β = γ 0 j 00 + u 0 j. Cały model można przedstawić w jednym równaniu liniowym w następujący sposób: 19
y = γ + γ x + u + r ij 00 10 ij 0 j ij (6) Załóżmy, że zmienną wyjaśnianą jest wynik egzaminu gimnazjalnego, a zmienną wyjaśniającą sprawdzian po szkole podstawowej. W przypadku modelu wielopoziomowego możemy zapisać to następująco: y = ( γ + u ) + γ x + r ij 00 0 j 10 ij ij (7) Co oznacza? Jest to efekt szkoły szacowany dla indywidualnego wyniku, a precyzyjniej relatywny efekt szkoły w stosunku do wartości przewidywanej dla całej populacji szkół. Ale jest to efekt warunkowy, czyli przy założeniu, że wszystkie inne czynniki pozostają bez zmian. W naszym przypadku tym innym czynnikiem wyrażonym explicite jest wartość wyniku γ 00 sprawdzianu po szkole podstawowej. Wartość jest zatem tym, co szkoła dodała (lub dodałaby, gdyby chodzili do niej inni uczniowie) bez względu na to, jakie wyniki otrzymali ze sprawdzianu po szkole podstawowej. To w edukacji nazywamy wartością dodaną. Dzięki modelom wielopoziomowym możliwe jest zatem estymowanie wartości dodanej dla szkół. 3.1.4. ZMIENNE INSTRUMENTALNE W modelu szacowania edukacyjnej wartości dodanej wykorzystany został szereg zmiennych instrumentalnych. Lista zmiennych przedstawiona została w poniższej tabeli. Tabela 1, Lista zmiennych występujących w modelach Lp Nazwa zmiennej lub parametru 1 Efekt losowy 2 Przekształcony wynik wejściowy 3 Przekształcony wynik wejściowy 2 4 Dysleksja w liceum 5 Dysleksja w gimnazjum 6 Interakcja dysleksja 20
7 Płeć 8 Stała regresji Dwa parametry wymagają dodatkowego wyjaśnienia, pozostałe są stosowane standardowo w szacowaniu modeli EWD (por. Pokropek, 2009): Przekształcony wynik wejściowy i Przekształcony wynik wejściowy 2. Zależność miedzy egzaminem gimnazjalnym nie jest tutaj modelowana na podstawie dopasowania opartego na wielomianie danego stopnia, używane jest natomiast dopasowanie nazywane w literaturze: Fractional Polynominal Model. Wybrany został model 2. rzędu, czyli z dwoma potęgami. Model ten polega na tym, iż wartości potęg wybierane są z całego przedziału liczb rzeczywistych (nie tylko liczby całkowite), algorytm za pomocą funkcji największej wiarygodności estymuje dwie najbardziej dogodne wartości potęg, które to wykorzystywane są dalej w modelu. 3.1.5. LOSOWANIE SZKÓŁ Informacje ogólne Po obliczeniu wskaźników edukacyjnej wartości dodanej szkoły zostały przydzielone do dwóch kategorii. W pierwszej znalazły się szkoły o wysokich wynikach edukacyjnej wartości dodanej, w drugiej szkoły o niskiej wartości wskaźnika edukacyjnej wartości dodanej. Następnie zostały podzielone według schematu, który dzieli szkoły na dwie kategorie ze względu na szczegółowość badań jakościowych. Zastosowany podwójny podział sprawia, iż szkoły zostały podzielone na cztery kategorie, tak jak zostało to przedstawione w tabeli 2. Tabela 2. Kategoryzacja szkół ze względu na dwa kryteria. Wyniki/Szczegółowość badania Badanie ogólne Badanie rozszerzone Razem Wysokie wyniki EWD Kategoria A (10 szkół) Kategoria B (5 szkół) 15 szkół 21
Niskie wyniki EWD Kategoria C (10 szkół) Kategoria D (5 szkół) 15 szkół Razem 20 szkół 10 szkół 30 szkół Z każdej kategorii wylosowano w sposób prosty określoną liczbę szkół. W tabeli 2 znajdują się informacje o założonej liczby szkół z każdej kategorii. Razem wylosowano 30 szkół, 20 do badania ogólnego ( mały case ) i 10 do rozszerzonego ( duży case ). W 30 wylosowanych szkołach znalazło się 15 szkół z wysokimi wynikami EWD i 15 z niskimi wynikami EWD. Ponieważ udział w badaniu jest dobrowolny, postanowiono przygotować rezerwową listę szkół. Można było z niej skorzystać w następujących przypadkach: gdy szkoła odmówi udziału w badaniu; gdy badanie nie odbędzie się w terminie przewidzianym na realizację badania; gdy nie będzie możliwości nawiązania kontaktu ze szkołą, ze względu na trudności komunikacyjne. Wylosowano 6 szkół rezerwowych dla badania ogólnego (po 3 dla niskiego EWD i 3 dla wysokiego EWD) oraz 14 szkół rezerwowych do badania rozszerzonego (po 7 dla niskiego EWD i 7 dla wysokiego EWD). Szczegółowa lista kategorii przedstawiona została w tabeli 3. Tabela 3. Szczegółowa lista kategorii lp Kategorie wylosowanych szkół Liczba szkół 1 szkoła o wysokich wynikach EWD do badania rozszerzonego 5 2 szkoła o wysokich wynikach EWD do badania ogólnego 10 3 rezerwa szkoła o wysokich EWD wynikach do badania rozszerzonego 3 4 rezerwa szkoła o wysokich EWD wynikach do badania ogólnego 7 5 szkoła o niskich wynikach EWD do badania rozszerzonego 5 22
6 szkoła o niskich wynikach EWD do badania ogólnego 10 7 rezerwa szkoła o niskich EWD wynikach do badania rozszerzonego 3 8 rezerwa szkoła o niskich EWD wynikach do badania ogólnego 7 3.2. OPIS NARZĘDZI BADAWCZYCH Aby osiągnięcie zakładanych celów było możliwe oraz aby uzyskać możliwie pełne i szczegółowe odpowiedzi na postawione pytania badawcze, zastosowane zostały zróżnicowane metody. W badanie wykorzystano trzy techniki badawcze: wywiady indywidualne (In-Depth- Interview; IDI), grupowe (Focus Group Interview; FGI) oraz obserwację. Narzędzia zostały skonsultowane z zespołem Centralnej Komisji Egzaminacyjnej oraz koordynatorem badania panelowego. Badacze przeprowadzali wywiady posługując się listą zagadnień, czyli uszczegółowionymi problemami badawczymi, zachowując jednocześnie dużą swobodę formułowania pytań oraz kolejności ich zadawania. Forma wywiadu indywidualnego, zbliżona do zwykłej rozmowy, dała możliwość poszerzenia listy problemów badawczych o zagadnienia sygnalizowane przez badanych na bieżąco. Narzędzia zostały skonstruowane w oparciu o teoretyczne założenia badania, które przedstawia poniższych schemat: Do każdego typu badanego dyrektor, nauczyciel, pracownik szkoły, przedstawiciel samorządu, rodzice przygotowano odpowiedni scenariusz wywiadu 2. Znaczna część dyspozycji do badania była wspólna dla wszystkich badanych. Poszczególne wersje różniły się miedzy sobą modułami, które skierowane były do konkretnego typu rozmówcy. 2 Scenariusze wszystkich wywiadów znajdują się w załączniku nr 2 (DODANO: dostępne w serwisie internetowym badania: http://ifispan.waw.pl/index.php?lang=pl&m=page&pg_id=220) 23