Dwa lata ewaluacji wewnętrznej w opiniach środowisk edukacyjnych Doniesienie z badań

Dr Danuta Elsner Mgr Krzysztof Bednarek Dwa lata ewaluacji wewnętrznej w opiniach środowisk edukacyjnych Doniesienie z badań Spis treści 1. Wprowadzenie 2. Uzasadnienie wyboru tematu badań 3. Założenia metodologiczne badań 3.1. Cele i przedmiot badań 3.2. Problemy badawcze 3.3. Źródła informacji 3.4. Wybór metod badań i jego uzasadnienie 3.5. Dobór badanych osób i szkół oraz ich charakterystyka 3.6. Opis przebiegu badań 4. Opis wyników badań 4.1. Ewaluacja wewnętrzna stan istniejący 4.1.1. Rozumienie pojęcia ewaluacja wewnętrzna 4.1.2. Opinie praktyków na temat przeprowadzania ewaluacji wewnętrznej 4.1.3. Informacje na temat ewaluacji wewnętrznej w raportach z ewaluacji zewnętrznej 4.1.4. Podsumowanie 4.2. Ewaluacja wewnętrzna stan pożądany 4.2.1. Cechy efektywnej ewaluacji wewnętrznej w świetle literatury 4.2.2. Cechy efektywnej ewaluacji wewnętrznej w opiniach praktyków

4.2.3. Podsumowanie 4.3. Ewaluacja wewnętrzna przyczyny rozbieżności między stanem istniejącym a pożądanym 4.3.1. Pojęciowe qui pro quo 4.3.2. Przyczyny rozbieżności między stanem istniejącym a pożądanym w literaturze i opiniach praktyków 4.3.3. Przyczyny rozbieżności między stanem istniejącym a pożądanym wyłącznie w opiniach praktyków 4.3.4. Podsumowanie 4.4. Ewaluacja wewnętrzna propozycje usprawnień 4.4.1. Propozycje usprawnień w świetle literatury 4.4.1.1. Wskazówki dobrej praktyki 4.4.1.2. Standardy ewaluacji wewnętrznej 4.4.1.3. Wsparcie krytycznego przyjaciela w procesie ewaluacji wewnętrznej 4.4.1.4. Inne sposoby wsparcia procesu ewaluacji wewnętrznej 4.4.2. Propozycje usprawnień w opiniach praktyków 4.4.3. Podsumowanie 4.5. Wyniki badań w świetle wypowiedzi ekspertów 5. Kierunki pożądanych zmian 5.1. Kierunki zmian w praktyce ewaluacji wewnętrznej 5.2. Kierunki zmian w praktyce ewaluacji zewnętrznej 5.3. Kierunki zmian w prawie oświatowym 5.4. Kierunki zmian w systemie nadzoru pedagogicznego 6. Zakończenie 7. Aneksy 7.1. Narzędzia badawcze 7.1.1. Narzędzia do analizy dokumentów i studium przypadku 7.1.2. Narzędzia do wywiadu grupowego

7.1.3. Narzędzie do wywiadu eksperckiego 7.2. Zestawienie wykorzystanej literatury drukowanej i elektronicznej 7.3. Inne źródła 7.4. Akty prawne 1. Wprowadzenie Badania na temat postrzegania ewaluacji wewnętrznej przez środowiska edukacyjne zostały przeprowadzone w ramach Programu Wzmocnienia Efektywności Nadzoru Pedagogicznego i Oceny Jakości Pracy Szkoły Etap 2, realizowanego przez Ośrodek Rozwoju Edukacji w partnerstwie z Uniwersytetem Jagiellońskim w ramach III Priorytetu Programu Operacyjnego Kapitał Ludzki, Działanie 3.1. współfinansowanego przez Europejski Fundusz Społeczny. Badania zrealizowano w okresie od listopada 2011 r. do marca 2012 r. Natomiast prezentację i przedyskutowanie wyników zaplanowano podczas konferencji pt. Jakość edukacji i/czy jakość ewaluacji, która ma odbyć się w Krakowie w dniach od 30 marca do 2 kwietnia 2012. Podstawę prezentacji stanowi niniejsze doniesienie. W zgromadzeniu materiału badawczego pomogło nam wiele osób, którym pragniemy założyć serdecznie podziękowania. Adresujemy je przede wszystkim do dyrektorów szkół, przedszkoli i placówek oświatowych uczestniczących w wywiadach grupowych oraz pracowników szkół, w których przeprowadziliśmy studia przypadku. Ponadto, słowa wdzięczności kierujemy do: mgr Elżbiety Drobiec, konsultantki Regionalnego Ośrodka Doskonalenia Nauczycieli WOM w Katowicach, mgr Małgorzaty Jaśko, kierowniczki Działu Doskonalenia i Doradztwa w Małopolskim Centrum Doskonalenia Nauczycieli, Oddziale Doskonalenia Nauczycieli w Tarnowie, konsultantki ds. kadry kierowniczej,

mgr Ewy Kędrackiej, konsultantki w Ośrodku Edukacji Informatycznej i Zastosowań Komputerów w Warszawie, mgr Jarosława Kordzińskiego, niezależnego eksperta edukacyjnego, mgr Anny Kozowskiej, wizytatorki ewaluatorki Śląskiego Kuratorium Oświaty w Katowicach, mgr Cezarego Lempy, konsultanta Regionalnego Ośrodka Doskonalenia Nauczycieli WOM w Katowicach, mgr Kazimiery Podczaszy, dyrektorki Szkoły Podstawowej nr 2 w Świętochłowicach, mgr Izabeli Suckiel, konsultantki w Centrum Edukacji Nauczycieli w Koszalinie, mgr Klemensa Stróżyńskiego, autora wielu publikacji na temat ewaluacji oświatowej, szkoleniowca i eksperta, mgr Teresy Szczęsnej, dyrektorki Szkoły Podstawowej nr 19 w Świętochłowicach, mgr Jacka Tarkoty, dyrektora Gliwickiego Ośrodka Metodycznego, mgr Marii Utrackiej, wizytatorki ewaluatorki Śląskiego Kuratorium Oświaty w Katowicach. Katowice, dnia 20 marca 2012 Danuta Elsner i Krzysztof Bednarek 2. Uzasadnienie wyboru tematu badań Z powodzeniem można przyjąć, że właśnie mija dwa lata od nałożenia na szkoły, przedszkola i placówki oświatowe obowiązku przeprowadzania ewaluacji wewnętrznej, choć trudno określić w tym względzie dokładną cezurę czasu. Rozporządzenie Ministra Edukacji Narodowej w sprawie nadzoru pedagogicznego wydane zostało 7 października 2009 r., 1 natomiast weszło w życie po upływie 30 dni od daty ogłoszenia, z tym jednak, że pewne przepisy odnoszące się do szkół jeszcze o 14 dni później. Jeśli założyć, że faktyczne wchodzenie w życie nowych przepisów prawnych jest procesem trwającym przynajmniej kilka miesięcy, to założenie przyjęte na wstępie można uznać za zasadne. 1 Rozporządzenie Ministra Edukacji Narodowej z dnia 7 października 2009 r. w sprawie nadzoru pedagogicznego (Dz. U. 09.168.1324)

Pomimo upływu, umownie przyjmując, dwuletniego okresu informacje na temat przebiegu wdrożenia postanowień ww. rozporządzenia w zakresie ewaluacji wewnętrznej są rozproszone. Utrudnia to odpowiedź na pytanie jak jest ona realizowana w szkołach, przedszkolach oraz placówkach oświatowych. A w dalszej kolejności, jak powinna być przeprowadzana, dlaczego nie jest tak wykonywana jak być powinna i w końcu, co zrobić, aby udoskonalić stan istniejący. Podniesioną wyżej sprawę dodatkowo komplikuje fakt, że przepisy prawne dotyczące ewaluacji wewnętrznej, w porównaniu z objętością całego rozporządzenia o nadzorze pedagogicznym są nader skąpe. Stwarza to możliwość zarówno ograniczania się do ich przestrzegania, jak i korzystania z daleko idącej swobody prawnej. Brakuje jednak rozeznania, w jakim kierunku poszły szkoły. Tymczasem doskonalenie praktyki, a w konsekwencji i regulacji prawnych w zakresie ewaluacji wewnętrznej wymaga wiedzy, jak jest ona postrzegana przez środowiska edukacyjne i realizowana przez adresatów rozporządzenia. 3. Założenia metodologiczne badań 3.1. Cele i przedmiot badań Przystępując do badań postawiliśmy sobie trzy cele: a. Zgromadzenie informacji, jak jest realizowane rozporządzenie MEN w sprawie nadzoru pedagogicznego w części dotyczącej ewaluacji wewnętrznej. b. Zebranie propozycji usprawnień. c. Zaproponowanie rozwiązań pozwalających udoskonalić: Praktykę. Przepisy prawa. System nadzoru pedagogicznego. Tak zarysowane cele badawcze sprawiły, że przedmiotem badań uczyniliśmy: a. Materiały drukowane i elektroniczne na temat ewaluacji wewnętrznej.

b. Opinie badanych. Zarówno w przypadku materiałów, jak i opinii skupiliśmy się na: Rozumieniu pojęcia ewaluacja wewnętrzna. Najtrudniejszych/najłatwiejszych do wdrożenia aspektach ewaluacji wewnętrznej. Przyczynach trudności związanych z jej wdrażaniem. Propozycjach, co do możliwych zakresów usprawnień. 3.2. Problemy badawcze Mając na względzie podane wyżej cele oraz przedmiot badań postawiliśmy następujące problemy badawcze: a. Jak jest rozumiane pojęcie ewaluacja wewnętrzna? b. Jak jest ona przeprowadzana w szkołach, przedszkolach i placówkach oświatowych? c. Jak powinna być realizowana? d. Dlaczego nie jest wykonywana, tak jak być powinna? e. Co w związku z tym należy zrobić, aby udoskonalić stan istniejący? Problemy badawcze zostały sformułowane w oparciu o strukturę metody metaplan. Natomiast odpowiedzi na postawione w nich pytania są w dalszej treści podstawą kompozycji doniesienia z badań (zob. rozdz. 4). 3.3. Źródła informacji Źródłami informacji dla pozyskania danych były: a. Materiały drukowane i elektroniczne, a w tym zakresie czasopisma, publikacje zwarte, strony internetowe, raporty z ewaluacji zewnętrznej (w zakresie wymagania 4.2). b. Dyrektorzy szkół, przedszkoli i placówek oświatowych (wybrane grupy z woj. śląskiego). c. Członkowie zespołów ewaluacyjnych i kadra kierownicza z wybranych szkół.

d. Eksperci m.in. ewaluatorzy zewnętrzni, trenerzy i szkoleniowcy, uczestnicy projektu SEO, autorzy publikacji. 3.4. Wybór metod badawczych i jego uzasadnienie Dla uzyskania odpowiedzi na postawione w pkt. 3.2. problemy badawcze zastosowaliśmy następujące metody: a. Analizę dokumentów (przegląd, analiza treści publikacji drukowanych i elektronicznych, przepisów prawnych, stron internetowych). b. Wywiady grupowe (z dyrektorami szkół, przedszkoli i placówek oświatowych). c. Studia przypadków (przeprowadzone w wybranych szkołach). d. Wywiady eksperckie (z wykorzystaniem przekazanej ekspertom listy pytań do udostępnionych im wyników badań). Metody jakościowe wybraliśmy dlatego, gdyż w przypadku takiego badania - jak zostało przez nas przeprowadzone - można było skoncentrować się na jakościowym opisie rzeczywistości. Dzięki nim mogliśmy zwrócić baczniejszą uwagę na różnorodność zjawisk, a nie częstotliwość ich występowania, co jest cechą charakterystyczną badania ilościowego. 2 Bliższa wydała nam się w tym wypadku perspektywa badacza podróżnika aniżeli górnika, którą to prezentuje w swojej książce Earl Babbie. 3 Górnik zakłada określoną teorię i poszukuje do niej danych, wie czego szuka. Podróżnik wędruje w nieznane i w oparciu o zdobyte informacje tworzy dopiero obraz, teorię. Podobnie charakteryzuje badania jakościowe i ilościowe Krzysztof Konarzewski. 4 I nie ma tu sprzeczności z bliską nam opinią innych autorów 5, którzy uzależniają dobór konkretnych metod od celu/celów badania, problemów badawczych, charakterystyki analizowanych zjawisk społecznych oraz wielowymiarowości badanej rzeczywistości społecznej, a nie od tego, czy ma się określone predyspozycje, preferencje, czy też kwalifikacje do badania ilościowego lub jakościowego. 2 D. Maison, Zogniskowane wywiady grupowe. Jakościowa metoda badań marketingowych. Wyd. Naukowe PWN, Warszawa 2001, s. 15. 3 E. Babbie, Badania społeczne w praktyce. Wyd. Naukowe PWN, Warszawa 2004, s. 327-328. 4 K. Konarzewski, Jak uprawiać badania oświatowe. Metodologia praktyczna. Wyd. WSiP, Warszawa 2000, s. 25 5 M. Jasiński, Fałszywa sprzeczność: metodologia jakościowa czy ilościowa? W: Chaber A.(red.) Ewaluacja ex-post. Teoria i praktyka badawcza. Wyd. Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2007, s. 100-101.

To badanie dotyczące zagadnień ewaluacji wewnętrznej powinno być niemal z definicji jakościowe, a co za tym idzie szczególnie wykorzystujące mechanizmy triangulacji. Triangulacji rozumianej 6 jako zwielokrotnienie (użycie kilku jednocześnie) i dotyczące nie tylko zastosowanych metod badawczych, ale także w naszym przypadku: źródeł informacji, typów wykorzystanych danych, technik ich analizy. 3.5. Dobór badanych osób i szkół oraz ich charakterystyka W wywiadach grupowych i studiach przypadków uczestniczyły osoby pracujące na terenie województwa śląskiego oraz szkoły zlokalizowane tamże. W wywiadach przeprowadzonych w czterech grupach wzięło udział łącznie 37 osób, a w tym: 10 dyrektorów przedszkoli, 8 dyrektorów szkół podstawowych (w tym jedna z oddziałami integracyjnymi dla dzieci romskich), 5 dyrektorów gimnazjum (w tym jednego dla młodzieży i dorosłych), 8 dyrektorów zespołów szkół (w tym zespołów szkolno przedszkolnych, przedszkolno szkolno gimnazjalnych, zrzeszających gimnazjum i liceum ogólnokształcące, gimnazjum i technikum, szkoły ponadgimnazjalne), 1 dyrektor szkoły specjalnej, 1 dyrektor młodzieżowego ośrodka socjoterapii, 1 dyrektor specjalnego ośrodka szkolno wychowawczego, 1 wizytator, 2 konsultanci placówek doskonalenia nauczycieli (w tym 1 dyrektor placówki). Uczestnikami wywiadów grupowych byli członkowie dość regularnie spotykających się grup, których celem jest m. in. wymiana doświadczeń. Pomimo, że wywiady przeprowadzono w Katowicach (2 grupy), Sosnowcu (1 grupa) i w Gliwicach (1 grupa) nasi rozmówcy pochodzili z różnych miast województwa śląskiego. 6 Ibidem.

Studia przypadku przeprowadziliśmy w dwóch szkołach podstawowych zlokalizowanych w tym samym mieście. Szkoły te wybraliśmy dlatego, że z posiadanych przez nas już wcześniej informacji ich relacje dotyczące ewaluacji wewnętrznej mogłyby być względem siebie komplementarne, a nawet można tu mówić o możliwości wykorzystania podejścia quasieksperymentalnego. 7 Dzięki temu uzyskaliśmy wystarczająco szeroki horyzont badawczy w bardzo porównywalnym kontekście środowiskowym. Ponadto, w jednej z tych szkół była niedawno przeprowadzona ewaluacja zewnętrzna, druga z nich nie miała jeszcze takich doświadczeń. W toku przeprowadzania studiów przypadku: Odbyliśmy rozmowy z dyrektorami i przewodniczącymi zespołów ewaluacyjnych. Dokonaliśmy analizy dokumentów związanych z realizacją nadzoru pedagogicznego. W dalszej treści szkoły te nazywamy SP X i SP Y. Wyniki badań skonfrontowaliśmy z opiniami zapoznanych z nimi ekspertów, którym przekazaliśmy także listę naszych pytań, przeprowadzając w taki dość nietypowy sposób wywiady indywidualne z wykorzystaniem Internetu. Dokonując wyboru ekspertów kierowaliśmy się przede wszystkim ich wiedzą i doświadczeniem w badanym temacie, a nie miejscem zamieszkania. W związku z tym dla przeprowadzenia eksperckich wywiadów indywidualnych skorzystaliśmy nie tyle z naocznych kontaktów, co z możliwości stwarzanych przez Internet. 3.6. Opis przebiegu badań Badania rozpoczęliśmy w listopadzie 2011 r., a zakończyliśmy w marcu 2012 r. Przebiegały w następujących etapach: a) Przygotowanie koncepcji badań (listopad 2011r.). b) Przeprowadzenie przeglądu literatury, innych dokumentów nadzoru pedagogicznego oraz wywiadów grupowych (grudzień/styczeń 2012). c) Przeprowadzenie 2 studiów przypadku (styczeń 2012). d) Opracowanie zgromadzonego materiału badawczego (luty 2012). 7 M. Łobocki, Metody i techniki badań pedagogicznych. Wyd. Oficyna Wydawnicza Impuls, Kraków 2000, s. 133-139.

e) Przeprowadzenie wywiadów eksperckich na temat zgromadzonego materiału badawczego (marzec 2012). f) Opracowanie wniosków końcowych i przygotowanie doniesienia z badań (koniec marca 2012). 4. Opis wyników badań Prezentowany w niniejszym rozdziale opis wyników badań odpowiada na postawione problemy badawcze (rozdz. 3.2.) i jak już wyżej wspomniano jest oparty na strukturze metody metaplan. W związku z tym w pierwszych czterech podrozdziałach zamieszczamy odpowiedzi na zawarte w niej pytania, a mianowicie: a) Jak jest? (rozdz. 4.1.). W tym rozdziale skupiamy się na opisie stanu istniejącego w zakresie ewaluacji wewnętrznej w literaturze i praktyce. b) Jak być powinno? (rozdz. 4.2). Tu przedstawiamy postulaty teoretyków, wyniki badań zagranicznych i opinie praktyków na temat stanu pożądanego. c) Dlaczego nie jest tak, jak być powinno? (rozdz. 4.3.). W tej części omawiamy przyczyny rozbieżności między stanem istniejącym a pożądanym w literaturze i praktyce. d) Co zrobić, aby było tak, jak być powinno (rozdz. 4.4.). W tym miejscu przedstawiamy propozycje udoskonaleń w świetle teorii i praktyki. Natomiast w ostatnim podrozdziale (rozdz. 4.5.) prezentujemy opinie ekspertów na temat przedstawionych im wyników naszych badań. 4.1. Ewaluacja wewnętrzna stan istniejący 4.1.1. Rozumienie pojęcia ewaluacja wewnętrzna

Opis stanu istniejącego celowo rozpoczynamy od spraw terminologicznych (wracamy do nich jeszcze w rozdz. 4.3.1.). Sposób rozumienia pojęcia ewaluacja wewnętrzna rzutuje bowiem zarówno na treści prezentowane w literaturze, jak i praktykę, pod którą kryją się nie tylko działania podejmowane w szkołach, ale także informacje przekazywane dyrektorom i nauczycielom podczas szkoleń. Rozumienie pojęcia ewaluacja w ogóle, a ewaluacja wewnętrzna w szczególności rozpatrujemy w trzech zakresach: W prawie oświatowym. W teorii, czyli literaturze prezentującej główne założenia i filozofię ewaluacji. W praktyce, tj. w opiniach uczestników wywiadów grupowych oraz pracowników szkół, w których przeprowadziliśmy studia przypadków, a także w literaturze omawiającej aspekty wykonawcze ewaluacji wewnętrznej. Wskazanych zakresów nie traktujemy odrębnie nie poświęcamy im oddzielnych rozdziałów. Rozważamy je łącznie konfrontując różne stanowiska. Z tym jednak, że rozpoczynamy od kwestii prawnych. Tak najczęściej zachowują się dyrektorzy szkół. Najpierw sięgają po nowe regulacje prawne, gdyż za ich nieprzestrzeganie grożą konsekwencje, a dopiero później, nierzadko w obliczu trudności szukają wyjaśnień w literaturze (drukowanej i elektronicznej). Pojecie ewaluacji jest obecne w przepisach prawnych już od szeregu lat, a stan w tym zakresie zwięźle charakteryzuje Izabela Suckiel. W latach 2004 2006 na podstawie rozporządzenia w sprawie zasad sprawowania nadzoru pedagogicznego, ewaluacja była jednym z działań służących mierzeniu jakości pracy szkoły i definiowana jako ocena przydatności i skuteczności podejmowanych działań dydaktycznych, wychowawczych i opiekuńczych w odniesieniu do założonych celów. 8 W praktyce oznaczało to, że szkoły miały mierzyć jakość swojej pracy, diagnozując stopień spełniania standardów jakości zawartych w rozporządzeniu, diagnozując osiągnięcia edukacyjne uczniów, monitoru- 8 Rozporządzenie Ministra Edukacji Narodowej i Sportu z dnia 23 kwietnia 2004 r. w sprawie szczegółowych zasad sprawowania nadzoru pedagogicznego, wykazu stanowisk wymagających kwalifikacji pedagogicznych, kwalifikacji niezbędnych do sprawowania nadzoru pedagogicznego, a także kwalifikacji osób, którym można zlecić prowadzenie badań i opracowywanie ekspertyz (Dz. U. 04.89.845 oraz Dz. U. 05.41.386)

jąc podejmowane przez szkołę oraz nauczycieli działania oraz dokonując ewaluacji. ( ) Gdy zaczęto powoli przyzwyczajać się do nowego nadzoru pedagogicznego w grudniu 2006 (po 20 miesiącach) nastąpiła zmiana rozporządzenia. Nie mówiło się już o ewaluacji, ale o działalności diagnostyczno oceniającej, prowadzonej w formie badania wybranych zakresów pracy dydaktycznej, wychowawczej i opiekuńczej oraz innej działalności statutowej szkół i placówek. Na tej podstawie miała być dokonywana ocena działalności szkół, w całości lub w wybranych zakresach. 9 Zniknęły również standardy jakości pracy. 10 Kolejne rozporządzenie MEN o nadzorze pedagogicznym z dnia 7 października 2009 r. (w dalszej treści zwane nowym rozporządzeniem o nadzorze), 11 weszło w życie w niespełna trzy lata po poprzednim nakładając na szkoły obowiązek przeprowadzania ewaluacji i zmuszając praktyków do poszukiwania sposobów przystosowania się do nowej sytuacji. Dobrze to ilustruje jedna z wypowiedzi uczestnika wywiadu grupowego. W naszej oświacie bolączką są ciągłe zmiany. Mieliśmy mierzenie jakości teraz jest ewaluacja. Zmieniła się nazwa, a my robimy to samo. Mając powyższe na względzie trudno nie zgodzić się ze stwierdzeniem Sławomira Krzychały, że nazbyt często, te pospieszne mody kończą się przyjęciem nowej frazeologii dla niezmienionych praktyk. 12 W nowym rozporządzeniu o nadzorze pedagogicznym ewaluacja (zewnętrzna i wewnętrzna) jest określana jako praktyczne badanie oceniające ( 1, pkt.4). O ile termin badanie nie wywołuje kontrowersji wśród teoretyków ewaluacja jest specyficznym rodzajem stosowanych badań społecznych 13 o tyle wzbudza je termin ocena. Natomiast u praktyków, ewa- 9 Rozporządzenie Ministra Edukacji Narodowej z dnia 15 grudnia 2006 r. w sprawie szczegółowych zasad sprawowania nadzoru pedagogicznego, wykazu stanowisk wymagających kwalifikacji pedagogicznych, kwalifikacji niezbędnych do sprawowania nadzoru pedagogicznego, a także kwalifikacji osób, którym można zlecić prowadzenie badań i opracowywanie ekspertyz (Dz. U. 06.235.1703). 10 I. Suckiel, Ewaluacja wewnętrzna w szkole, czyli róbcie, jak czujecie. W: Niemierko B., Szmigel M. K. (red.) Ewaluacja w edukacji. Koncepcje, metody, perspektywy. Wyd. PTDE, Kraków 2011. 11 Rozporządzenie MEN z dnia 7 pażdziernika 2009 r. op. cit. 12 S. Krzychała, Czy polska szkoła jest przystosowana do działania w stanie niekończących się reform?. W: J. Szomburg, P. Zbieranek (red.) Edukacja dla rozwoju. Wyd. Polskie Forum Obywatelskie. Gdańsk 2010, s. 53. 13 H. Mizerek Ewaluacja w szkole. Od czego zacząć? s.5, www.nadzorpedagogiczny.edu.pl

luacja wewnętrzna jest traktowania jako badanie i/lub ocenianie. Poniżej kilka wypowiedzi na ten temat uczestników wywiadów grupowych. Ewaluacja wewnętrzna jest ciągłym badaniem jakości naszej pracy. Ewaluacja wewnętrzna podobnie jak ewaluacja zewnętrzna jest oceną naszej pracy. Nauczyciele chcą być oceniani obiektywnie. Ewaluacja wewnętrzna to umożliwia. Jest samooceną nauczycieli przez nauczycieli, a nie oceną przeprowadzoną przez dyrektora szkoły. Tymczasem teoretycy odżegnują się od łączenia ewaluacji z oceną. Na przykład, Henryk Mizerek uważa: w rozporządzeniu znalazł się niezbyt fortunny zapis definiujący ewaluację jako badanie praktyczne i oceniające. Potraktowanie ewaluacji jako badania praktycznego zgodne jest z tym, co na jej temat pisze się w bardzo obszernej literaturze przedmiotu. Natomiast sformułowanie badanie oceniające może budzić szereg wątpliwości. Dla mnie połączenie badania z ocenianiem nie jest możliwe. 14 H. Mizerkowi wtóruje Stefan Wlazło. W artykule opublikowanym na łamach poczytnego miesięcznika Dyrektor Szkoły, stanowczo stwierdza: ewaluacja nie jest oceną tylko diagnozowaniem, zatem wszystkie zdania związane z twierdzeniem, że nowy nadzór pedagogiczny jest oceną są nieprawdziwe. 15 W dalszej treści wyjaśnia, że powodem użycia terminu ocena w rozporządzeniu jest konieczność jego zgodności z art. 33 ust. 1 pkt. 1 ustawy o systemie oświaty, w którym nadzór pedagogiczny jest powiązany właśnie z ocenianiem. 16 Nie dziwią zatem pytania postawione przez Krzysztofa Bednarka. To w końcu jak to jest z TĄ ewaluacją? Jest w TEJ ewaluacji element oceny i oceniania, czy nie? Jeśli tak, to jak TA ewaluacja jest powiązana z oceną? A może mamy w TEJ ewaluacji unikać słów ocena i ocenianie, a może nie? 17 14 Mizerek H. Siła ewaluacji tkwi w mądrości. Głos Pedagogiczny 1/2010. 15 Wlazło S. Ewaluacja to nie mierzenie jakości wersja 2.0. Dyrektor Szkoły 2/2010. 16 Ustawa z dnia 7 września 1991r. o systemie oświaty (Dz. U. 2004.256.2572 z późniejszymi zm.). 17 Bednarek K. Pytanie o ewaluację Forum Nauczycieli 1/2010, Wyd. RODN WOM Katowice.

Kontrowersje wokół powiązania/niepowiązania ewaluacji z oceną nie interesują praktyków, tak jak i literatura na jej temat. Żaden z uczestników wywiadów grupowych nie wskazał literatury jako źródła informacji o tym procesie. Podobnie uczestnicy studiów przypadku. Tymczasem właśnie w literaturze pojęcie ewaluacji w obszarze działań szkoły zostało upowszechnione przed kilkunastu laty, głównie za sprawą publikacji Leszka Korporowicza, a przede wszystkim często cytowanej ksiązki pt. Ewaluacja w edukacji wydanej w roku 1997. 18 W jego dalszych i bardziej współczesnych rozważaniach ewaluacja nie może być zabiegiem prowadzonym jedynie dla anonimowych potrzeb biurokratycznej maszyny administracji. Najistotniejszym jej celem jest odkrywanie i animowanie wewnętrznych potencjałów rozwoju ewaluowanego programu. Równoważenie i uspołecznienie cech systemu ewaluacji oświaty wymaga dojrzałego i świadomego zamysłu, jest też realizacją potrzeby dialogiczności. Tak rozumiana ewaluacja może nabrać cech animacji, być wezwaniem do działania poprzez umiejętną analizę, interpretację oraz pobudzanie zasobów, jakimi dysponują ludzie, proces i program kształcenia. 19 Stwierdzenia te w równym stopniu można odnieść do ewaluacji zewnętrznej, co wewnętrznej. Z wypowiedzi uczestników wywiadów grupowych wynika, że ewaluacja wewnętrzna jest podejmowana przede wszystkim jak to zostało podane w przytoczonym cytacie dla potrzeb biurokratycznej maszyny administracji. Ewaluacja wewnętrzna kojarzy nam się głównie z papierami i biurokracją. Tymczasem niezależnie od tych papierów i nakazanego badania doskonalimy w szkole, to co trzeba (przykład jednej z typowych wypowiedzi na ten temat uczestnika wywiadu grupowego). Natomiast w opiniach praktyków z jednym wyjątkiem brak było odniesień świadczących o tym, by ewaluacja jak to wyżej stwierdza L. Korporowicz była dla nich wezwaniem do działania poprzez umiejętną analizę, interpretację oraz pobudzanie zasobów, jakimi dysponują ludzie, proces i program kształcenia. 18 L. Korporowicz (red.), Ewaluacja w edukacji, Oficyna Naukowa, Warszawa 1997. 19 L. Korporowicz, Ewaluacja zorientowana na rozwój. Dyrektor Szkoły 10/2010.

Tym wyjątkiem była SP X (szkoła podstawowa, w której przeprowadzaliśmy studium przypadku). Dociekając powodu tego stanu rzeczy usłyszeliśmy od dyrektora, że ewaluację realizują już od niemalże dwudziestu lat. Nauczyli się jej dzięki uczestnictwu w programie Szkół Promujących Zdrowie, do którego przystąpili jako jedni z pierwszych w kraju. Następnie uczestniczyli jeszcze w wielu w innych projektach. W każdym istnieje wymóg przeprowadzania ewaluacji. Z tego powodu dzisiaj nie sprawia im trudności, choć początki jak wynikało z wypowiedzi dyrektora nie były łatwe. Ma zatem rację Cezary Kocon, gdy twierdzi: zachęcanie szkół do przeprowadzania samoewaluacji może przyczynić się do podniesienia jakości pracy, ale by tak się stało, trzeba wielu lat doświadczeń, koniecznych między innymi do zbudowania właściwych relacji, do zbudowania wzajemnego zaufania. 20 SP X jest dobrym przykładem, co pokazujemy w dalszej treści, jak owocuje wspomniane przez C. Kocona budowanie relacji międzyludzkich opartych na zaufaniu. Ujmując pojęcie ewaluacji ex post i ex ante L. Korporowicz przedstawia etapy jego rozwoju kolejne generacje badań ewaluacyjnych: 1. Pomiarowa (zdominowana przez pytania co i jak można mierzyć). 2. Opisowa (ogarniająca to, co nie da się zmierzyć). 3. Zorientowana na rozwój (czyli obserwowanie zmiany, jaka dokonuje się w procesie). 4. Dialogiczna (ukierunkowana na dyskurs, wymianę doświadczeń, uspołecznienie) 5. Przyszłościowa (funkcjonująca w warunkach rodzącego się już społeczeństwa wiedzy). Jak wynika z naszych badań na pewno jesteśmy na poziomie pierwszej generacji pomiarowej. Dowodzą tego zarówno charakter najczęściej stosowanych narzędzi badawczych, jak i oczekiwania stawiane uzyskiwanym dzięki nim wynikom. Rzadziej mamy do czynienia z drugą generacją opisową (w przypadku stosowania metod jakościowych innych niż przy ewaluacji zewnętrznej, co w praktyce zdarza się rzadko), a nawet trzecią (pojmowania ewaluacji jako procesu uczenia się i zmiany, gdy uczestnicy wywiadów grupowych mówią o reflek- 20 C. Kocon, Mierzenie jakości wersja 2.0. Część II. Dyrektor Szkoły 10/2009.

sji i namyśle nad działaniem). We wspomnianej SP X można nawet dopatrzeć się pewnych elementów generacji czwartej ewaluacji dialogicznej w wymianie doświadczeń i uspołecznieniu, zarówno w szkole, jak i poza jej murami, gdyż od czterech lata działa w sieci uczących się szkół. Duży wpływ na ugruntowanie pomiarowego podejścia do ewaluacji miały m. in. działania i publikacje Bolesława Niemierko. Jego zdaniem, ewaluacja dydaktyczna jest systematycznym zbieraniem informacji o warunkach, przebiegu i wynikach działań dydaktycznych w celu ulepszenia tych działań lub podjęcia decyzji o ich powodzeniu ( ), jest pogłębionym sprawdzaniem i ocenianiem osiągnięć uczniów obejmującym analizę warunków przebiegu i wyników nauczania nastawionym na ulepszanie procesu dydaktycznego. 21 Zestawienie różnic i podobieństw między diagnostyką i ewaluacją podaje w syntetycznym skrócie Klemens Stróżyński w relacji z XVII Krajowej Konferencji Diagnostyki Edukacyjnej. Zgodzono się, że diagnostyka obejmuje szerszy obszar działań, a ewaluacja ( ) węższy, działania inne, (dotyczące zasad wartościowania czy materialnych warunków działań), niejako nadbudowane na diagnostyce. Zgodzono się także, że w wielu wypadkach, zwłaszcza badania działania, a nie efektu lub warunków, trudno rozdzielić czynności z zakresu diagnostyki i ewaluacji. 22 Natomiast Henryk Mizerek na pytanie co odróżnia ewaluację od diagnostyki odpowiada: najkrócej mówiąc sposób wykorzystania wyników. 23 Odniesienia do diagnostyki edukacyjnej w pracach na temat ewaluacji wewnętrznej można znaleźć m. in. u K. Stróżyńskiego, S. Wlazło, Bogdana Jankowskiego (zob. wykaz literatury podanej w rozdz. 7.2.) oraz w odosobnionej wypowiedzi uczestnika wywiadu grupowego. Ewaluacja wewnętrzna jest diagnozą różnych obszarów pracy szkoły. 21 Niemierko B. Ewaluacja dydaktyczna. Standardy edukacyjne. Elementy statystyki opisowej. Wyd. UG, Gdańsk 1998 r. 22 Stróżyński K. Ewaluacja na niwie naukowej. Dyrektor Szkoły 1/2012. 23 Mizerek H. Czy trzeba bać się ewaluacji? Sedno. Magazyn Dyrektora Szkoły 5/2009.

Takie diagnostyczne podejście do ewaluacji wewnętrznej można też pośrednio wyprowadzić z wypowiedzi uczestników wywiadów grupowych odnoszących się do stosowania metod ilościowych. Do tego podejścia nawiązują też definicje ewaluacji podane w pracach powstałych w ramach Programu Wzmocnienia Nadzoru Pedagogicznego i Oceny Jakości Pracy Szkoły, udostępnione na stronie www.nadzorpedagogiczny.edu.pl. Główne autorytety tego Programu Grzegorz Mazurkiewicz i Henryk Mizerek powołując się na Helen Simons proponują następujące definicje ewaluacji. Pierwszy widzi w niej proces poszukiwania, gromadzenia i komunikowania w sposób jawny informacji mających pomóc w podejmowaniu decyzji ( ). 24 Natomiast drugi stwierdza: warto byłoby zadbać o upowszechnienie takiego sposobu rozumienia szkolnej autoewaluacji, który został określony przez światowy autorytet w dziedzinie ewaluacji edukacyjnej Helen Simons. Definiuje ona autoewaluację, jako proces gromadzenia i komunikowania informacji ułatwiających podejmowanie decyzji, ustalanie wartości (działań przyp. HM) oraz ustanawianie publicznego zaufania do szkoły 25 Takiego podejścia do rozumienia ewaluacji wewnętrznej nie znaleźliśmy w wypowiedziach uczestników wywiadów grupowych oraz uczestników studium przypadku. W materiałach powołanego Programu owo zbieranie czy gromadzenie informacji jest też utożsamiane z procesem uczenia się. Zdaniem G. Mazurkiewicza następuje to poprzez zdobywanie informacji zwrotnej o sobie. Ewaluacja wewnętrzna jest zbieraniem informacji o tym, jak nam idzie, procesem profesjonalizującym działania zespołu i jednocześnie procesem uczenia się (indywidualnego i or- 24 G. Mazurkiewicz, Reforma nadzoru pedagogicznego jako projekt cywilizacyjny. W: Mazurkiewicz G. (red.) Ewaluacja w nadzorze pedagogicznym. Refleksje. Wyd. UJ. Kraków 2011, s. 17. 25 H. Mizerek, Ewaluacja w szkole. Od op. cit. s. 7. Tekst w cudzysłowie Simons H. Samoewaluacja szkoły. W: Mizerek H. (red.)ewaluacja w szkole. Wybór tekstów. Wyd. MG, Olsztyn 1997, s. 59.

ganizacyjnego). Dlatego powinno się ją potraktować jako proces uczenia się, umożliwiając aktywne uczestnictwo i społeczne interakcje. 26 Tę sprawę na warsztat rozważań biorą, na przykład, Danuta Elsner, 27 Michaela Prášilová i Jana Vaštátková. 28 Ewaluację wewnętrzną postrzegają jako jeden ze sposobów służących przekształcaniu szkoły w uczącą się organizację. W wypowiedziach uczestników wywiadów grupowych na temat ewaluacji wewnętrznej też pojawiają się odniesienia do procesu uczenia się: poprzez odkrywanie (pierwsza wypowiedź poniżej), metodą prób i błędów (druga i trzecia wypowiedź), poprzez wymianę doświadczeń (czwarta wypowiedź). Ewaluacja wewnętrzna jest procesem uczenia się poprzez odkrywanie spraw i problemów niedostrzeganych i tych dobrych i złych. U nas z roku na rok doskonalimy ewaluację wewnętrzną. Najpierw robił ją zespół kierowniczy. W kolejnym roku zostały powołane cztery zespoły do zbadania czterech obszarów. W tym roku wywiesiliśmy kartki z zagadnieniami do badania i nauczyciele sami decydowali, gdzie się zapiszą. Współpraca ze środowiskiem nie zainteresowała nikogo. Natomiast zagadnienia do badania dotyczyły tych wymagań, w których słabo wypadliśmy w ewaluacji zewnętrznej. Otrzymaliśmy C i D. Dzięki daniu nauczycielom możliwości wyboru badanego zagadnienia udało nam się zebrać sporo przemyśleń. Jak będzie w kolejnym roku? Nie wiem. Pewnie znowu coś udoskonalimy. Moim podstawowym błędem było to, że w pierwszym roku zarządziłam ewaluację wewnętrzną w odniesieniu do wszystkich wymagań. Napisanie raportu nas przerosło. Wyszło wielkie tomisko i nie bardzo było wiadomo, co z tym dalej robić. Badając wszystko nie zbadaliśmy nic. Dopiero w następnym roku poszliśmy po rozum do głowy. 26 G. Mazurkiewicz, Po co szkołom ewaluacja? W: Mazurkiewicz G. (red.) Ewaluacja w nadzorze pedagogicznym. Autonomia. Wyd, UJ Kraków 2010, s. 12. 27 D. Elsner, Ewaluacja wewnętrzna milowym krokiem ku uczącej się organizacji. Dyrektor Szkoły 10/2010. 28 J. Vaštátková, M. Prášilová, Autoewaluacja drogą do uczącej się organizacji Dyrektor Szkoły 5/2010.

Najpierw przeszkoliłam chętnych i z nich powołałam pierwszy zespół ewaluacyjny. Potem zastosowaliśmy rotację. Część członków zespołu odchodzi, a na ich miejsce przychodzą kolejni chętni. Jedni od drugich uczą się. Na jeden z niezbędnych elementów procesu uczenia się w toku ewaluacji wewnętrznej refleksję zwraca uwagę szereg autorów. H. Mizerek twierdzi, że siłą ewaluacji a jednocześnie jej istotą jest zbiorowy proces autorefleksji, nie tylko nad wartością skutków działania, ale także jego celów. 29 W podobnym duchu wypowiada się Małgorzata Tołoczyńska-Lekacz stwierdzając, że w ewaluacji wewnętrznej istotna jest ( ) refleksja nad tym, jak pracujemy i czy potrafimy zrobić to lepiej. 30 A Dorota Jastrzębska wręcz uważa, iż najważniejszymi cechami nowej formy nadzoru są jej możliwości zachęcania czy wzbudzania refleksji dyrektorów i nauczycieli nad poprawianiem pracy szkół/placówek. 31 Analizując wypowiedzi uczestników wywiadów grupowych można odnieść wrażenie, że przynajmniej niektórzy mają świadomość owej siły refleksji. Termin ten pojawia się w nich kilkakrotnie. Poniżej przykłady. Jeśli podejść do niej rzetelnie to ewaluacja wewnętrzna ma sens. Ale koniecznie trzeba ją zrobić solidnie. Myśmy tak starali się zrobić i niektóre wyniki były dla nas zaskoczeniem. Potem jak je przemyśleliśmy, to dały nam wskazówki do dalszej pracy. I to jest duży plus ewaluacji wewnętrznej. Już w trakcie wyboru obszaru do badania pojawia się refleksja, co robimy źle lub o czym nie wiemy. Przeprowadzając ewaluację wewnętrzną trzeba używać takich narzędzi, które sprzyjają refleksji nad pracą szkoły. 29 H. Mizerek, Czy trzeba bać się ewaluacji? op.cit. 30 M.Tołoczyńska-Lekacz, Tworzenie zespołów ewaluacyjnych w szkołach. Doradca Dyrektora Szkoły 15/2011. 31 D. Jastrzębska, Ewaluacja zewnętrzna. Oświata Mazowiecka 1/2010.

Jednocześnie niedostatek refleksji w wypowiedziach uczestników wywiadów grupowych był postrzegany jako słaba strona ewaluacji wewnętrznej. Brakuje w naszej szkole zbiorowej refleksji na tym, co robimy, ale do tego potrzeba zmiany mentalnej nauczycieli. Diametralnie różna sytuacja w tym zakresie zaistniała w SP X i SP Y (szkołach podstawowych, w których przeprowadziliśmy studia przypadków). W SP X mającej długoletnie doświadczenia w pracy zespołowej dzięki uczestnictwu w różnych projektach krajowych i zagranicznych refleksja nauczycieli nad działaniami szkoły była swoistym modus operandi. W roku szkolnym 2011/12 wszyscy członkowie rady pedagogicznej byli członkami jednego z trzech zespołów ewaluacyjnych. Odbywali regularne spotkania w zespołach i całej radzie pedagogicznej wymieniali się spostrzeżeniami, doświadczenia i snuli refleksję nad pracą własną i szkoły. Jak wynikało z wypowiedzi dyrektora było to pokłosiem stworzenia nauczycielom bezpiecznego środowiska uczenia się. O tym, że zajęło mu to około dwudziestu lat już wcześniej wspominaliśmy. Natomiast w SP Y zabrakło warunków do refleksji. Niedawno przebyta ewaluacja zewnętrzna została zakończona negatywną oceną (efekty na poziomie E) postrzeganą przez nauczycieli jako niesprawiedliwa, gdyż nie uwzględniała kontekstu pracy szkoły wyjątkowo trudnego, często wręcz patologicznego środowiska. Ewaluacja zewnętrzna nie wytworzyła właściwej atmosfery i stworzyła nerwową sytuację w szkole, nie uwzględniono środowiska społecznego uczniów. Poza tym ewaluację przeprowadzały ewaluatorki z innej delegatury, a do tego jedna od szkolnictwa zawodowego. Jeszcze nic nie zaczęły, a już powiedziały, że będzie E. To fakt, że uczniowie nie robią postępów w nauce, bo nie są wspierani przez rodziców, mają natomiast osiągnięcia w sporcie. Ale tego nie uwzględniono. (wypowiedź dyrektora). W końcu, znaleźć można w literaturze metaforyczne określenia ewaluacji wewnętrznej. G. Mazurkiewicz widzi w niej zaproszenie do wzięcia odpowiedzialności za własne działania, a jednocześnie narzędzie, które daje szansę na branie odpowiedzialności w sposób sensowny,