Dwa lata ewaluacji wewnętrznej w opiniach środowisk edukacyjnych Doniesienie z badań

Transkrypt

1 Dr Danuta Elsner Mgr Krzysztof Bednarek Dwa lata ewaluacji wewnętrznej w opiniach środowisk edukacyjnych Doniesienie z badań Spis treści 1. Wprowadzenie 2. Uzasadnienie wyboru tematu badań 3. Założenia metodologiczne badań 3.1. Cele i przedmiot badań 3.2. Problemy badawcze 3.3. Źródła informacji 3.4. Wybór metod badań i jego uzasadnienie 3.5. Dobór badanych osób i szkół oraz ich charakterystyka 3.6. Opis przebiegu badań 4. Opis wyników badań 4.1. Ewaluacja wewnętrzna stan istniejący Rozumienie pojęcia ewaluacja wewnętrzna Opinie praktyków na temat przeprowadzania ewaluacji wewnętrznej Informacje na temat ewaluacji wewnętrznej w raportach z ewaluacji zewnętrznej Podsumowanie 4.2. Ewaluacja wewnętrzna stan pożądany Cechy efektywnej ewaluacji wewnętrznej w świetle literatury Cechy efektywnej ewaluacji wewnętrznej w opiniach praktyków

2 Podsumowanie 4.3. Ewaluacja wewnętrzna przyczyny rozbieżności między stanem istniejącym a pożądanym Pojęciowe qui pro quo Przyczyny rozbieżności między stanem istniejącym a pożądanym w literaturze i opiniach praktyków Przyczyny rozbieżności między stanem istniejącym a pożądanym wyłącznie w opiniach praktyków Podsumowanie 4.4. Ewaluacja wewnętrzna propozycje usprawnień Propozycje usprawnień w świetle literatury Wskazówki dobrej praktyki Standardy ewaluacji wewnętrznej Wsparcie krytycznego przyjaciela w procesie ewaluacji wewnętrznej Inne sposoby wsparcia procesu ewaluacji wewnętrznej Propozycje usprawnień w opiniach praktyków Podsumowanie 4.5. Wyniki badań w świetle wypowiedzi ekspertów 5. Kierunki pożądanych zmian 5.1. Kierunki zmian w praktyce ewaluacji wewnętrznej 5.2. Kierunki zmian w praktyce ewaluacji zewnętrznej 5.3. Kierunki zmian w prawie oświatowym 5.4. Kierunki zmian w systemie nadzoru pedagogicznego 6. Zakończenie 7. Aneksy 7.1. Narzędzia badawcze Narzędzia do analizy dokumentów i studium przypadku Narzędzia do wywiadu grupowego

3 Narzędzie do wywiadu eksperckiego 7.2. Zestawienie wykorzystanej literatury drukowanej i elektronicznej 7.3. Inne źródła 7.4. Akty prawne 1. Wprowadzenie Badania na temat postrzegania ewaluacji wewnętrznej przez środowiska edukacyjne zostały przeprowadzone w ramach Programu Wzmocnienia Efektywności Nadzoru Pedagogicznego i Oceny Jakości Pracy Szkoły Etap 2, realizowanego przez Ośrodek Rozwoju Edukacji w partnerstwie z Uniwersytetem Jagiellońskim w ramach III Priorytetu Programu Operacyjnego Kapitał Ludzki, Działanie 3.1. współfinansowanego przez Europejski Fundusz Społeczny. Badania zrealizowano w okresie od listopada 2011 r. do marca 2012 r. Natomiast prezentację i przedyskutowanie wyników zaplanowano podczas konferencji pt. Jakość edukacji i/czy jakość ewaluacji, która ma odbyć się w Krakowie w dniach od 30 marca do 2 kwietnia Podstawę prezentacji stanowi niniejsze doniesienie. W zgromadzeniu materiału badawczego pomogło nam wiele osób, którym pragniemy założyć serdecznie podziękowania. Adresujemy je przede wszystkim do dyrektorów szkół, przedszkoli i placówek oświatowych uczestniczących w wywiadach grupowych oraz pracowników szkół, w których przeprowadziliśmy studia przypadku. Ponadto, słowa wdzięczności kierujemy do: mgr Elżbiety Drobiec, konsultantki Regionalnego Ośrodka Doskonalenia Nauczycieli WOM w Katowicach, mgr Małgorzaty Jaśko, kierowniczki Działu Doskonalenia i Doradztwa w Małopolskim Centrum Doskonalenia Nauczycieli, Oddziale Doskonalenia Nauczycieli w Tarnowie, konsultantki ds. kadry kierowniczej,

4 mgr Ewy Kędrackiej, konsultantki w Ośrodku Edukacji Informatycznej i Zastosowań Komputerów w Warszawie, mgr Jarosława Kordzińskiego, niezależnego eksperta edukacyjnego, mgr Anny Kozowskiej, wizytatorki ewaluatorki Śląskiego Kuratorium Oświaty w Katowicach, mgr Cezarego Lempy, konsultanta Regionalnego Ośrodka Doskonalenia Nauczycieli WOM w Katowicach, mgr Kazimiery Podczaszy, dyrektorki Szkoły Podstawowej nr 2 w Świętochłowicach, mgr Izabeli Suckiel, konsultantki w Centrum Edukacji Nauczycieli w Koszalinie, mgr Klemensa Stróżyńskiego, autora wielu publikacji na temat ewaluacji oświatowej, szkoleniowca i eksperta, mgr Teresy Szczęsnej, dyrektorki Szkoły Podstawowej nr 19 w Świętochłowicach, mgr Jacka Tarkoty, dyrektora Gliwickiego Ośrodka Metodycznego, mgr Marii Utrackiej, wizytatorki ewaluatorki Śląskiego Kuratorium Oświaty w Katowicach. Katowice, dnia 20 marca 2012 Danuta Elsner i Krzysztof Bednarek 2. Uzasadnienie wyboru tematu badań Z powodzeniem można przyjąć, że właśnie mija dwa lata od nałożenia na szkoły, przedszkola i placówki oświatowe obowiązku przeprowadzania ewaluacji wewnętrznej, choć trudno określić w tym względzie dokładną cezurę czasu. Rozporządzenie Ministra Edukacji Narodowej w sprawie nadzoru pedagogicznego wydane zostało 7 października 2009 r., 1 natomiast weszło w życie po upływie 30 dni od daty ogłoszenia, z tym jednak, że pewne przepisy odnoszące się do szkół jeszcze o 14 dni później. Jeśli założyć, że faktyczne wchodzenie w życie nowych przepisów prawnych jest procesem trwającym przynajmniej kilka miesięcy, to założenie przyjęte na wstępie można uznać za zasadne. 1 Rozporządzenie Ministra Edukacji Narodowej z dnia 7 października 2009 r. w sprawie nadzoru pedagogicznego (Dz. U )

5 Pomimo upływu, umownie przyjmując, dwuletniego okresu informacje na temat przebiegu wdrożenia postanowień ww. rozporządzenia w zakresie ewaluacji wewnętrznej są rozproszone. Utrudnia to odpowiedź na pytanie jak jest ona realizowana w szkołach, przedszkolach oraz placówkach oświatowych. A w dalszej kolejności, jak powinna być przeprowadzana, dlaczego nie jest tak wykonywana jak być powinna i w końcu, co zrobić, aby udoskonalić stan istniejący. Podniesioną wyżej sprawę dodatkowo komplikuje fakt, że przepisy prawne dotyczące ewaluacji wewnętrznej, w porównaniu z objętością całego rozporządzenia o nadzorze pedagogicznym są nader skąpe. Stwarza to możliwość zarówno ograniczania się do ich przestrzegania, jak i korzystania z daleko idącej swobody prawnej. Brakuje jednak rozeznania, w jakim kierunku poszły szkoły. Tymczasem doskonalenie praktyki, a w konsekwencji i regulacji prawnych w zakresie ewaluacji wewnętrznej wymaga wiedzy, jak jest ona postrzegana przez środowiska edukacyjne i realizowana przez adresatów rozporządzenia. 3. Założenia metodologiczne badań 3.1. Cele i przedmiot badań Przystępując do badań postawiliśmy sobie trzy cele: a. Zgromadzenie informacji, jak jest realizowane rozporządzenie MEN w sprawie nadzoru pedagogicznego w części dotyczącej ewaluacji wewnętrznej. b. Zebranie propozycji usprawnień. c. Zaproponowanie rozwiązań pozwalających udoskonalić: Praktykę. Przepisy prawa. System nadzoru pedagogicznego. Tak zarysowane cele badawcze sprawiły, że przedmiotem badań uczyniliśmy: a. Materiały drukowane i elektroniczne na temat ewaluacji wewnętrznej.

6 b. Opinie badanych. Zarówno w przypadku materiałów, jak i opinii skupiliśmy się na: Rozumieniu pojęcia ewaluacja wewnętrzna. Najtrudniejszych/najłatwiejszych do wdrożenia aspektach ewaluacji wewnętrznej. Przyczynach trudności związanych z jej wdrażaniem. Propozycjach, co do możliwych zakresów usprawnień Problemy badawcze Mając na względzie podane wyżej cele oraz przedmiot badań postawiliśmy następujące problemy badawcze: a. Jak jest rozumiane pojęcie ewaluacja wewnętrzna? b. Jak jest ona przeprowadzana w szkołach, przedszkolach i placówkach oświatowych? c. Jak powinna być realizowana? d. Dlaczego nie jest wykonywana, tak jak być powinna? e. Co w związku z tym należy zrobić, aby udoskonalić stan istniejący? Problemy badawcze zostały sformułowane w oparciu o strukturę metody metaplan. Natomiast odpowiedzi na postawione w nich pytania są w dalszej treści podstawą kompozycji doniesienia z badań (zob. rozdz. 4) Źródła informacji Źródłami informacji dla pozyskania danych były: a. Materiały drukowane i elektroniczne, a w tym zakresie czasopisma, publikacje zwarte, strony internetowe, raporty z ewaluacji zewnętrznej (w zakresie wymagania 4.2). b. Dyrektorzy szkół, przedszkoli i placówek oświatowych (wybrane grupy z woj. śląskiego). c. Członkowie zespołów ewaluacyjnych i kadra kierownicza z wybranych szkół.

7 d. Eksperci m.in. ewaluatorzy zewnętrzni, trenerzy i szkoleniowcy, uczestnicy projektu SEO, autorzy publikacji Wybór metod badawczych i jego uzasadnienie Dla uzyskania odpowiedzi na postawione w pkt problemy badawcze zastosowaliśmy następujące metody: a. Analizę dokumentów (przegląd, analiza treści publikacji drukowanych i elektronicznych, przepisów prawnych, stron internetowych). b. Wywiady grupowe (z dyrektorami szkół, przedszkoli i placówek oświatowych). c. Studia przypadków (przeprowadzone w wybranych szkołach). d. Wywiady eksperckie (z wykorzystaniem przekazanej ekspertom listy pytań do udostępnionych im wyników badań). Metody jakościowe wybraliśmy dlatego, gdyż w przypadku takiego badania - jak zostało przez nas przeprowadzone - można było skoncentrować się na jakościowym opisie rzeczywistości. Dzięki nim mogliśmy zwrócić baczniejszą uwagę na różnorodność zjawisk, a nie częstotliwość ich występowania, co jest cechą charakterystyczną badania ilościowego. 2 Bliższa wydała nam się w tym wypadku perspektywa badacza podróżnika aniżeli górnika, którą to prezentuje w swojej książce Earl Babbie. 3 Górnik zakłada określoną teorię i poszukuje do niej danych, wie czego szuka. Podróżnik wędruje w nieznane i w oparciu o zdobyte informacje tworzy dopiero obraz, teorię. Podobnie charakteryzuje badania jakościowe i ilościowe Krzysztof Konarzewski. 4 I nie ma tu sprzeczności z bliską nam opinią innych autorów 5, którzy uzależniają dobór konkretnych metod od celu/celów badania, problemów badawczych, charakterystyki analizowanych zjawisk społecznych oraz wielowymiarowości badanej rzeczywistości społecznej, a nie od tego, czy ma się określone predyspozycje, preferencje, czy też kwalifikacje do badania ilościowego lub jakościowego. 2 D. Maison, Zogniskowane wywiady grupowe. Jakościowa metoda badań marketingowych. Wyd. Naukowe PWN, Warszawa 2001, s E. Babbie, Badania społeczne w praktyce. Wyd. Naukowe PWN, Warszawa 2004, s K. Konarzewski, Jak uprawiać badania oświatowe. Metodologia praktyczna. Wyd. WSiP, Warszawa 2000, s M. Jasiński, Fałszywa sprzeczność: metodologia jakościowa czy ilościowa? W: Chaber A.(red.) Ewaluacja ex-post. Teoria i praktyka badawcza. Wyd. Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2007, s

8 To badanie dotyczące zagadnień ewaluacji wewnętrznej powinno być niemal z definicji jakościowe, a co za tym idzie szczególnie wykorzystujące mechanizmy triangulacji. Triangulacji rozumianej 6 jako zwielokrotnienie (użycie kilku jednocześnie) i dotyczące nie tylko zastosowanych metod badawczych, ale także w naszym przypadku: źródeł informacji, typów wykorzystanych danych, technik ich analizy Dobór badanych osób i szkół oraz ich charakterystyka W wywiadach grupowych i studiach przypadków uczestniczyły osoby pracujące na terenie województwa śląskiego oraz szkoły zlokalizowane tamże. W wywiadach przeprowadzonych w czterech grupach wzięło udział łącznie 37 osób, a w tym: 10 dyrektorów przedszkoli, 8 dyrektorów szkół podstawowych (w tym jedna z oddziałami integracyjnymi dla dzieci romskich), 5 dyrektorów gimnazjum (w tym jednego dla młodzieży i dorosłych), 8 dyrektorów zespołów szkół (w tym zespołów szkolno przedszkolnych, przedszkolno szkolno gimnazjalnych, zrzeszających gimnazjum i liceum ogólnokształcące, gimnazjum i technikum, szkoły ponadgimnazjalne), 1 dyrektor szkoły specjalnej, 1 dyrektor młodzieżowego ośrodka socjoterapii, 1 dyrektor specjalnego ośrodka szkolno wychowawczego, 1 wizytator, 2 konsultanci placówek doskonalenia nauczycieli (w tym 1 dyrektor placówki). Uczestnikami wywiadów grupowych byli członkowie dość regularnie spotykających się grup, których celem jest m. in. wymiana doświadczeń. Pomimo, że wywiady przeprowadzono w Katowicach (2 grupy), Sosnowcu (1 grupa) i w Gliwicach (1 grupa) nasi rozmówcy pochodzili z różnych miast województwa śląskiego. 6 Ibidem.

9 Studia przypadku przeprowadziliśmy w dwóch szkołach podstawowych zlokalizowanych w tym samym mieście. Szkoły te wybraliśmy dlatego, że z posiadanych przez nas już wcześniej informacji ich relacje dotyczące ewaluacji wewnętrznej mogłyby być względem siebie komplementarne, a nawet można tu mówić o możliwości wykorzystania podejścia quasieksperymentalnego. 7 Dzięki temu uzyskaliśmy wystarczająco szeroki horyzont badawczy w bardzo porównywalnym kontekście środowiskowym. Ponadto, w jednej z tych szkół była niedawno przeprowadzona ewaluacja zewnętrzna, druga z nich nie miała jeszcze takich doświadczeń. W toku przeprowadzania studiów przypadku: Odbyliśmy rozmowy z dyrektorami i przewodniczącymi zespołów ewaluacyjnych. Dokonaliśmy analizy dokumentów związanych z realizacją nadzoru pedagogicznego. W dalszej treści szkoły te nazywamy SP X i SP Y. Wyniki badań skonfrontowaliśmy z opiniami zapoznanych z nimi ekspertów, którym przekazaliśmy także listę naszych pytań, przeprowadzając w taki dość nietypowy sposób wywiady indywidualne z wykorzystaniem Internetu. Dokonując wyboru ekspertów kierowaliśmy się przede wszystkim ich wiedzą i doświadczeniem w badanym temacie, a nie miejscem zamieszkania. W związku z tym dla przeprowadzenia eksperckich wywiadów indywidualnych skorzystaliśmy nie tyle z naocznych kontaktów, co z możliwości stwarzanych przez Internet Opis przebiegu badań Badania rozpoczęliśmy w listopadzie 2011 r., a zakończyliśmy w marcu 2012 r. Przebiegały w następujących etapach: a) Przygotowanie koncepcji badań (listopad 2011r.). b) Przeprowadzenie przeglądu literatury, innych dokumentów nadzoru pedagogicznego oraz wywiadów grupowych (grudzień/styczeń 2012). c) Przeprowadzenie 2 studiów przypadku (styczeń 2012). d) Opracowanie zgromadzonego materiału badawczego (luty 2012). 7 M. Łobocki, Metody i techniki badań pedagogicznych. Wyd. Oficyna Wydawnicza Impuls, Kraków 2000, s

10 e) Przeprowadzenie wywiadów eksperckich na temat zgromadzonego materiału badawczego (marzec 2012). f) Opracowanie wniosków końcowych i przygotowanie doniesienia z badań (koniec marca 2012). 4. Opis wyników badań Prezentowany w niniejszym rozdziale opis wyników badań odpowiada na postawione problemy badawcze (rozdz. 3.2.) i jak już wyżej wspomniano jest oparty na strukturze metody metaplan. W związku z tym w pierwszych czterech podrozdziałach zamieszczamy odpowiedzi na zawarte w niej pytania, a mianowicie: a) Jak jest? (rozdz. 4.1.). W tym rozdziale skupiamy się na opisie stanu istniejącego w zakresie ewaluacji wewnętrznej w literaturze i praktyce. b) Jak być powinno? (rozdz. 4.2). Tu przedstawiamy postulaty teoretyków, wyniki badań zagranicznych i opinie praktyków na temat stanu pożądanego. c) Dlaczego nie jest tak, jak być powinno? (rozdz. 4.3.). W tej części omawiamy przyczyny rozbieżności między stanem istniejącym a pożądanym w literaturze i praktyce. d) Co zrobić, aby było tak, jak być powinno (rozdz. 4.4.). W tym miejscu przedstawiamy propozycje udoskonaleń w świetle teorii i praktyki. Natomiast w ostatnim podrozdziale (rozdz. 4.5.) prezentujemy opinie ekspertów na temat przedstawionych im wyników naszych badań Ewaluacja wewnętrzna stan istniejący Rozumienie pojęcia ewaluacja wewnętrzna

11 Opis stanu istniejącego celowo rozpoczynamy od spraw terminologicznych (wracamy do nich jeszcze w rozdz ). Sposób rozumienia pojęcia ewaluacja wewnętrzna rzutuje bowiem zarówno na treści prezentowane w literaturze, jak i praktykę, pod którą kryją się nie tylko działania podejmowane w szkołach, ale także informacje przekazywane dyrektorom i nauczycielom podczas szkoleń. Rozumienie pojęcia ewaluacja w ogóle, a ewaluacja wewnętrzna w szczególności rozpatrujemy w trzech zakresach: W prawie oświatowym. W teorii, czyli literaturze prezentującej główne założenia i filozofię ewaluacji. W praktyce, tj. w opiniach uczestników wywiadów grupowych oraz pracowników szkół, w których przeprowadziliśmy studia przypadków, a także w literaturze omawiającej aspekty wykonawcze ewaluacji wewnętrznej. Wskazanych zakresów nie traktujemy odrębnie nie poświęcamy im oddzielnych rozdziałów. Rozważamy je łącznie konfrontując różne stanowiska. Z tym jednak, że rozpoczynamy od kwestii prawnych. Tak najczęściej zachowują się dyrektorzy szkół. Najpierw sięgają po nowe regulacje prawne, gdyż za ich nieprzestrzeganie grożą konsekwencje, a dopiero później, nierzadko w obliczu trudności szukają wyjaśnień w literaturze (drukowanej i elektronicznej). Pojecie ewaluacji jest obecne w przepisach prawnych już od szeregu lat, a stan w tym zakresie zwięźle charakteryzuje Izabela Suckiel. W latach na podstawie rozporządzenia w sprawie zasad sprawowania nadzoru pedagogicznego, ewaluacja była jednym z działań służących mierzeniu jakości pracy szkoły i definiowana jako ocena przydatności i skuteczności podejmowanych działań dydaktycznych, wychowawczych i opiekuńczych w odniesieniu do założonych celów. 8 W praktyce oznaczało to, że szkoły miały mierzyć jakość swojej pracy, diagnozując stopień spełniania standardów jakości zawartych w rozporządzeniu, diagnozując osiągnięcia edukacyjne uczniów, monitoru- 8 Rozporządzenie Ministra Edukacji Narodowej i Sportu z dnia 23 kwietnia 2004 r. w sprawie szczegółowych zasad sprawowania nadzoru pedagogicznego, wykazu stanowisk wymagających kwalifikacji pedagogicznych, kwalifikacji niezbędnych do sprawowania nadzoru pedagogicznego, a także kwalifikacji osób, którym można zlecić prowadzenie badań i opracowywanie ekspertyz (Dz. U oraz Dz. U )

12 jąc podejmowane przez szkołę oraz nauczycieli działania oraz dokonując ewaluacji. ( ) Gdy zaczęto powoli przyzwyczajać się do nowego nadzoru pedagogicznego w grudniu 2006 (po 20 miesiącach) nastąpiła zmiana rozporządzenia. Nie mówiło się już o ewaluacji, ale o działalności diagnostyczno oceniającej, prowadzonej w formie badania wybranych zakresów pracy dydaktycznej, wychowawczej i opiekuńczej oraz innej działalności statutowej szkół i placówek. Na tej podstawie miała być dokonywana ocena działalności szkół, w całości lub w wybranych zakresach. 9 Zniknęły również standardy jakości pracy. 10 Kolejne rozporządzenie MEN o nadzorze pedagogicznym z dnia 7 października 2009 r. (w dalszej treści zwane nowym rozporządzeniem o nadzorze), 11 weszło w życie w niespełna trzy lata po poprzednim nakładając na szkoły obowiązek przeprowadzania ewaluacji i zmuszając praktyków do poszukiwania sposobów przystosowania się do nowej sytuacji. Dobrze to ilustruje jedna z wypowiedzi uczestnika wywiadu grupowego. W naszej oświacie bolączką są ciągłe zmiany. Mieliśmy mierzenie jakości teraz jest ewaluacja. Zmieniła się nazwa, a my robimy to samo. Mając powyższe na względzie trudno nie zgodzić się ze stwierdzeniem Sławomira Krzychały, że nazbyt często, te pospieszne mody kończą się przyjęciem nowej frazeologii dla niezmienionych praktyk. 12 W nowym rozporządzeniu o nadzorze pedagogicznym ewaluacja (zewnętrzna i wewnętrzna) jest określana jako praktyczne badanie oceniające ( 1, pkt.4). O ile termin badanie nie wywołuje kontrowersji wśród teoretyków ewaluacja jest specyficznym rodzajem stosowanych badań społecznych 13 o tyle wzbudza je termin ocena. Natomiast u praktyków, ewa- 9 Rozporządzenie Ministra Edukacji Narodowej z dnia 15 grudnia 2006 r. w sprawie szczegółowych zasad sprawowania nadzoru pedagogicznego, wykazu stanowisk wymagających kwalifikacji pedagogicznych, kwalifikacji niezbędnych do sprawowania nadzoru pedagogicznego, a także kwalifikacji osób, którym można zlecić prowadzenie badań i opracowywanie ekspertyz (Dz. U ). 10 I. Suckiel, Ewaluacja wewnętrzna w szkole, czyli róbcie, jak czujecie. W: Niemierko B., Szmigel M. K. (red.) Ewaluacja w edukacji. Koncepcje, metody, perspektywy. Wyd. PTDE, Kraków Rozporządzenie MEN z dnia 7 pażdziernika 2009 r. op. cit. 12 S. Krzychała, Czy polska szkoła jest przystosowana do działania w stanie niekończących się reform?. W: J. Szomburg, P. Zbieranek (red.) Edukacja dla rozwoju. Wyd. Polskie Forum Obywatelskie. Gdańsk 2010, s H. Mizerek Ewaluacja w szkole. Od czego zacząć? s.5,

13 luacja wewnętrzna jest traktowania jako badanie i/lub ocenianie. Poniżej kilka wypowiedzi na ten temat uczestników wywiadów grupowych. Ewaluacja wewnętrzna jest ciągłym badaniem jakości naszej pracy. Ewaluacja wewnętrzna podobnie jak ewaluacja zewnętrzna jest oceną naszej pracy. Nauczyciele chcą być oceniani obiektywnie. Ewaluacja wewnętrzna to umożliwia. Jest samooceną nauczycieli przez nauczycieli, a nie oceną przeprowadzoną przez dyrektora szkoły. Tymczasem teoretycy odżegnują się od łączenia ewaluacji z oceną. Na przykład, Henryk Mizerek uważa: w rozporządzeniu znalazł się niezbyt fortunny zapis definiujący ewaluację jako badanie praktyczne i oceniające. Potraktowanie ewaluacji jako badania praktycznego zgodne jest z tym, co na jej temat pisze się w bardzo obszernej literaturze przedmiotu. Natomiast sformułowanie badanie oceniające może budzić szereg wątpliwości. Dla mnie połączenie badania z ocenianiem nie jest możliwe. 14 H. Mizerkowi wtóruje Stefan Wlazło. W artykule opublikowanym na łamach poczytnego miesięcznika Dyrektor Szkoły, stanowczo stwierdza: ewaluacja nie jest oceną tylko diagnozowaniem, zatem wszystkie zdania związane z twierdzeniem, że nowy nadzór pedagogiczny jest oceną są nieprawdziwe. 15 W dalszej treści wyjaśnia, że powodem użycia terminu ocena w rozporządzeniu jest konieczność jego zgodności z art. 33 ust. 1 pkt. 1 ustawy o systemie oświaty, w którym nadzór pedagogiczny jest powiązany właśnie z ocenianiem. 16 Nie dziwią zatem pytania postawione przez Krzysztofa Bednarka. To w końcu jak to jest z TĄ ewaluacją? Jest w TEJ ewaluacji element oceny i oceniania, czy nie? Jeśli tak, to jak TA ewaluacja jest powiązana z oceną? A może mamy w TEJ ewaluacji unikać słów ocena i ocenianie, a może nie? Mizerek H. Siła ewaluacji tkwi w mądrości. Głos Pedagogiczny 1/ Wlazło S. Ewaluacja to nie mierzenie jakości wersja 2.0. Dyrektor Szkoły 2/ Ustawa z dnia 7 września 1991r. o systemie oświaty (Dz. U z późniejszymi zm.). 17 Bednarek K. Pytanie o ewaluację Forum Nauczycieli 1/2010, Wyd. RODN WOM Katowice.

14 Kontrowersje wokół powiązania/niepowiązania ewaluacji z oceną nie interesują praktyków, tak jak i literatura na jej temat. Żaden z uczestników wywiadów grupowych nie wskazał literatury jako źródła informacji o tym procesie. Podobnie uczestnicy studiów przypadku. Tymczasem właśnie w literaturze pojęcie ewaluacji w obszarze działań szkoły zostało upowszechnione przed kilkunastu laty, głównie za sprawą publikacji Leszka Korporowicza, a przede wszystkim często cytowanej ksiązki pt. Ewaluacja w edukacji wydanej w roku W jego dalszych i bardziej współczesnych rozważaniach ewaluacja nie może być zabiegiem prowadzonym jedynie dla anonimowych potrzeb biurokratycznej maszyny administracji. Najistotniejszym jej celem jest odkrywanie i animowanie wewnętrznych potencjałów rozwoju ewaluowanego programu. Równoważenie i uspołecznienie cech systemu ewaluacji oświaty wymaga dojrzałego i świadomego zamysłu, jest też realizacją potrzeby dialogiczności. Tak rozumiana ewaluacja może nabrać cech animacji, być wezwaniem do działania poprzez umiejętną analizę, interpretację oraz pobudzanie zasobów, jakimi dysponują ludzie, proces i program kształcenia. 19 Stwierdzenia te w równym stopniu można odnieść do ewaluacji zewnętrznej, co wewnętrznej. Z wypowiedzi uczestników wywiadów grupowych wynika, że ewaluacja wewnętrzna jest podejmowana przede wszystkim jak to zostało podane w przytoczonym cytacie dla potrzeb biurokratycznej maszyny administracji. Ewaluacja wewnętrzna kojarzy nam się głównie z papierami i biurokracją. Tymczasem niezależnie od tych papierów i nakazanego badania doskonalimy w szkole, to co trzeba (przykład jednej z typowych wypowiedzi na ten temat uczestnika wywiadu grupowego). Natomiast w opiniach praktyków z jednym wyjątkiem brak było odniesień świadczących o tym, by ewaluacja jak to wyżej stwierdza L. Korporowicz była dla nich wezwaniem do działania poprzez umiejętną analizę, interpretację oraz pobudzanie zasobów, jakimi dysponują ludzie, proces i program kształcenia. 18 L. Korporowicz (red.), Ewaluacja w edukacji, Oficyna Naukowa, Warszawa L. Korporowicz, Ewaluacja zorientowana na rozwój. Dyrektor Szkoły 10/2010.

15 Tym wyjątkiem była SP X (szkoła podstawowa, w której przeprowadzaliśmy studium przypadku). Dociekając powodu tego stanu rzeczy usłyszeliśmy od dyrektora, że ewaluację realizują już od niemalże dwudziestu lat. Nauczyli się jej dzięki uczestnictwu w programie Szkół Promujących Zdrowie, do którego przystąpili jako jedni z pierwszych w kraju. Następnie uczestniczyli jeszcze w wielu w innych projektach. W każdym istnieje wymóg przeprowadzania ewaluacji. Z tego powodu dzisiaj nie sprawia im trudności, choć początki jak wynikało z wypowiedzi dyrektora nie były łatwe. Ma zatem rację Cezary Kocon, gdy twierdzi: zachęcanie szkół do przeprowadzania samoewaluacji może przyczynić się do podniesienia jakości pracy, ale by tak się stało, trzeba wielu lat doświadczeń, koniecznych między innymi do zbudowania właściwych relacji, do zbudowania wzajemnego zaufania. 20 SP X jest dobrym przykładem, co pokazujemy w dalszej treści, jak owocuje wspomniane przez C. Kocona budowanie relacji międzyludzkich opartych na zaufaniu. Ujmując pojęcie ewaluacji ex post i ex ante L. Korporowicz przedstawia etapy jego rozwoju kolejne generacje badań ewaluacyjnych: 1. Pomiarowa (zdominowana przez pytania co i jak można mierzyć). 2. Opisowa (ogarniająca to, co nie da się zmierzyć). 3. Zorientowana na rozwój (czyli obserwowanie zmiany, jaka dokonuje się w procesie). 4. Dialogiczna (ukierunkowana na dyskurs, wymianę doświadczeń, uspołecznienie) 5. Przyszłościowa (funkcjonująca w warunkach rodzącego się już społeczeństwa wiedzy). Jak wynika z naszych badań na pewno jesteśmy na poziomie pierwszej generacji pomiarowej. Dowodzą tego zarówno charakter najczęściej stosowanych narzędzi badawczych, jak i oczekiwania stawiane uzyskiwanym dzięki nim wynikom. Rzadziej mamy do czynienia z drugą generacją opisową (w przypadku stosowania metod jakościowych innych niż przy ewaluacji zewnętrznej, co w praktyce zdarza się rzadko), a nawet trzecią (pojmowania ewaluacji jako procesu uczenia się i zmiany, gdy uczestnicy wywiadów grupowych mówią o reflek- 20 C. Kocon, Mierzenie jakości wersja 2.0. Część II. Dyrektor Szkoły 10/2009.

16 sji i namyśle nad działaniem). We wspomnianej SP X można nawet dopatrzeć się pewnych elementów generacji czwartej ewaluacji dialogicznej w wymianie doświadczeń i uspołecznieniu, zarówno w szkole, jak i poza jej murami, gdyż od czterech lata działa w sieci uczących się szkół. Duży wpływ na ugruntowanie pomiarowego podejścia do ewaluacji miały m. in. działania i publikacje Bolesława Niemierko. Jego zdaniem, ewaluacja dydaktyczna jest systematycznym zbieraniem informacji o warunkach, przebiegu i wynikach działań dydaktycznych w celu ulepszenia tych działań lub podjęcia decyzji o ich powodzeniu ( ), jest pogłębionym sprawdzaniem i ocenianiem osiągnięć uczniów obejmującym analizę warunków przebiegu i wyników nauczania nastawionym na ulepszanie procesu dydaktycznego. 21 Zestawienie różnic i podobieństw między diagnostyką i ewaluacją podaje w syntetycznym skrócie Klemens Stróżyński w relacji z XVII Krajowej Konferencji Diagnostyki Edukacyjnej. Zgodzono się, że diagnostyka obejmuje szerszy obszar działań, a ewaluacja ( ) węższy, działania inne, (dotyczące zasad wartościowania czy materialnych warunków działań), niejako nadbudowane na diagnostyce. Zgodzono się także, że w wielu wypadkach, zwłaszcza badania działania, a nie efektu lub warunków, trudno rozdzielić czynności z zakresu diagnostyki i ewaluacji. 22 Natomiast Henryk Mizerek na pytanie co odróżnia ewaluację od diagnostyki odpowiada: najkrócej mówiąc sposób wykorzystania wyników. 23 Odniesienia do diagnostyki edukacyjnej w pracach na temat ewaluacji wewnętrznej można znaleźć m. in. u K. Stróżyńskiego, S. Wlazło, Bogdana Jankowskiego (zob. wykaz literatury podanej w rozdz. 7.2.) oraz w odosobnionej wypowiedzi uczestnika wywiadu grupowego. Ewaluacja wewnętrzna jest diagnozą różnych obszarów pracy szkoły. 21 Niemierko B. Ewaluacja dydaktyczna. Standardy edukacyjne. Elementy statystyki opisowej. Wyd. UG, Gdańsk 1998 r. 22 Stróżyński K. Ewaluacja na niwie naukowej. Dyrektor Szkoły 1/ Mizerek H. Czy trzeba bać się ewaluacji? Sedno. Magazyn Dyrektora Szkoły 5/2009.

17 Takie diagnostyczne podejście do ewaluacji wewnętrznej można też pośrednio wyprowadzić z wypowiedzi uczestników wywiadów grupowych odnoszących się do stosowania metod ilościowych. Do tego podejścia nawiązują też definicje ewaluacji podane w pracach powstałych w ramach Programu Wzmocnienia Nadzoru Pedagogicznego i Oceny Jakości Pracy Szkoły, udostępnione na stronie Główne autorytety tego Programu Grzegorz Mazurkiewicz i Henryk Mizerek powołując się na Helen Simons proponują następujące definicje ewaluacji. Pierwszy widzi w niej proces poszukiwania, gromadzenia i komunikowania w sposób jawny informacji mających pomóc w podejmowaniu decyzji ( ). 24 Natomiast drugi stwierdza: warto byłoby zadbać o upowszechnienie takiego sposobu rozumienia szkolnej autoewaluacji, który został określony przez światowy autorytet w dziedzinie ewaluacji edukacyjnej Helen Simons. Definiuje ona autoewaluację, jako proces gromadzenia i komunikowania informacji ułatwiających podejmowanie decyzji, ustalanie wartości (działań przyp. HM) oraz ustanawianie publicznego zaufania do szkoły 25 Takiego podejścia do rozumienia ewaluacji wewnętrznej nie znaleźliśmy w wypowiedziach uczestników wywiadów grupowych oraz uczestników studium przypadku. W materiałach powołanego Programu owo zbieranie czy gromadzenie informacji jest też utożsamiane z procesem uczenia się. Zdaniem G. Mazurkiewicza następuje to poprzez zdobywanie informacji zwrotnej o sobie. Ewaluacja wewnętrzna jest zbieraniem informacji o tym, jak nam idzie, procesem profesjonalizującym działania zespołu i jednocześnie procesem uczenia się (indywidualnego i or- 24 G. Mazurkiewicz, Reforma nadzoru pedagogicznego jako projekt cywilizacyjny. W: Mazurkiewicz G. (red.) Ewaluacja w nadzorze pedagogicznym. Refleksje. Wyd. UJ. Kraków 2011, s H. Mizerek, Ewaluacja w szkole. Od op. cit. s. 7. Tekst w cudzysłowie Simons H. Samoewaluacja szkoły. W: Mizerek H. (red.)ewaluacja w szkole. Wybór tekstów. Wyd. MG, Olsztyn 1997, s. 59.

18 ganizacyjnego). Dlatego powinno się ją potraktować jako proces uczenia się, umożliwiając aktywne uczestnictwo i społeczne interakcje. 26 Tę sprawę na warsztat rozważań biorą, na przykład, Danuta Elsner, 27 Michaela Prášilová i Jana Vaštátková. 28 Ewaluację wewnętrzną postrzegają jako jeden ze sposobów służących przekształcaniu szkoły w uczącą się organizację. W wypowiedziach uczestników wywiadów grupowych na temat ewaluacji wewnętrznej też pojawiają się odniesienia do procesu uczenia się: poprzez odkrywanie (pierwsza wypowiedź poniżej), metodą prób i błędów (druga i trzecia wypowiedź), poprzez wymianę doświadczeń (czwarta wypowiedź). Ewaluacja wewnętrzna jest procesem uczenia się poprzez odkrywanie spraw i problemów niedostrzeganych i tych dobrych i złych. U nas z roku na rok doskonalimy ewaluację wewnętrzną. Najpierw robił ją zespół kierowniczy. W kolejnym roku zostały powołane cztery zespoły do zbadania czterech obszarów. W tym roku wywiesiliśmy kartki z zagadnieniami do badania i nauczyciele sami decydowali, gdzie się zapiszą. Współpraca ze środowiskiem nie zainteresowała nikogo. Natomiast zagadnienia do badania dotyczyły tych wymagań, w których słabo wypadliśmy w ewaluacji zewnętrznej. Otrzymaliśmy C i D. Dzięki daniu nauczycielom możliwości wyboru badanego zagadnienia udało nam się zebrać sporo przemyśleń. Jak będzie w kolejnym roku? Nie wiem. Pewnie znowu coś udoskonalimy. Moim podstawowym błędem było to, że w pierwszym roku zarządziłam ewaluację wewnętrzną w odniesieniu do wszystkich wymagań. Napisanie raportu nas przerosło. Wyszło wielkie tomisko i nie bardzo było wiadomo, co z tym dalej robić. Badając wszystko nie zbadaliśmy nic. Dopiero w następnym roku poszliśmy po rozum do głowy. 26 G. Mazurkiewicz, Po co szkołom ewaluacja? W: Mazurkiewicz G. (red.) Ewaluacja w nadzorze pedagogicznym. Autonomia. Wyd, UJ Kraków 2010, s D. Elsner, Ewaluacja wewnętrzna milowym krokiem ku uczącej się organizacji. Dyrektor Szkoły 10/ J. Vaštátková, M. Prášilová, Autoewaluacja drogą do uczącej się organizacji Dyrektor Szkoły 5/2010.

19 Najpierw przeszkoliłam chętnych i z nich powołałam pierwszy zespół ewaluacyjny. Potem zastosowaliśmy rotację. Część członków zespołu odchodzi, a na ich miejsce przychodzą kolejni chętni. Jedni od drugich uczą się. Na jeden z niezbędnych elementów procesu uczenia się w toku ewaluacji wewnętrznej refleksję zwraca uwagę szereg autorów. H. Mizerek twierdzi, że siłą ewaluacji a jednocześnie jej istotą jest zbiorowy proces autorefleksji, nie tylko nad wartością skutków działania, ale także jego celów. 29 W podobnym duchu wypowiada się Małgorzata Tołoczyńska-Lekacz stwierdzając, że w ewaluacji wewnętrznej istotna jest ( ) refleksja nad tym, jak pracujemy i czy potrafimy zrobić to lepiej. 30 A Dorota Jastrzębska wręcz uważa, iż najważniejszymi cechami nowej formy nadzoru są jej możliwości zachęcania czy wzbudzania refleksji dyrektorów i nauczycieli nad poprawianiem pracy szkół/placówek. 31 Analizując wypowiedzi uczestników wywiadów grupowych można odnieść wrażenie, że przynajmniej niektórzy mają świadomość owej siły refleksji. Termin ten pojawia się w nich kilkakrotnie. Poniżej przykłady. Jeśli podejść do niej rzetelnie to ewaluacja wewnętrzna ma sens. Ale koniecznie trzeba ją zrobić solidnie. Myśmy tak starali się zrobić i niektóre wyniki były dla nas zaskoczeniem. Potem jak je przemyśleliśmy, to dały nam wskazówki do dalszej pracy. I to jest duży plus ewaluacji wewnętrznej. Już w trakcie wyboru obszaru do badania pojawia się refleksja, co robimy źle lub o czym nie wiemy. Przeprowadzając ewaluację wewnętrzną trzeba używać takich narzędzi, które sprzyjają refleksji nad pracą szkoły. 29 H. Mizerek, Czy trzeba bać się ewaluacji? op.cit. 30 M.Tołoczyńska-Lekacz, Tworzenie zespołów ewaluacyjnych w szkołach. Doradca Dyrektora Szkoły 15/ D. Jastrzębska, Ewaluacja zewnętrzna. Oświata Mazowiecka 1/2010.

20 Jednocześnie niedostatek refleksji w wypowiedziach uczestników wywiadów grupowych był postrzegany jako słaba strona ewaluacji wewnętrznej. Brakuje w naszej szkole zbiorowej refleksji na tym, co robimy, ale do tego potrzeba zmiany mentalnej nauczycieli. Diametralnie różna sytuacja w tym zakresie zaistniała w SP X i SP Y (szkołach podstawowych, w których przeprowadziliśmy studia przypadków). W SP X mającej długoletnie doświadczenia w pracy zespołowej dzięki uczestnictwu w różnych projektach krajowych i zagranicznych refleksja nauczycieli nad działaniami szkoły była swoistym modus operandi. W roku szkolnym 2011/12 wszyscy członkowie rady pedagogicznej byli członkami jednego z trzech zespołów ewaluacyjnych. Odbywali regularne spotkania w zespołach i całej radzie pedagogicznej wymieniali się spostrzeżeniami, doświadczenia i snuli refleksję nad pracą własną i szkoły. Jak wynikało z wypowiedzi dyrektora było to pokłosiem stworzenia nauczycielom bezpiecznego środowiska uczenia się. O tym, że zajęło mu to około dwudziestu lat już wcześniej wspominaliśmy. Natomiast w SP Y zabrakło warunków do refleksji. Niedawno przebyta ewaluacja zewnętrzna została zakończona negatywną oceną (efekty na poziomie E) postrzeganą przez nauczycieli jako niesprawiedliwa, gdyż nie uwzględniała kontekstu pracy szkoły wyjątkowo trudnego, często wręcz patologicznego środowiska. Ewaluacja zewnętrzna nie wytworzyła właściwej atmosfery i stworzyła nerwową sytuację w szkole, nie uwzględniono środowiska społecznego uczniów. Poza tym ewaluację przeprowadzały ewaluatorki z innej delegatury, a do tego jedna od szkolnictwa zawodowego. Jeszcze nic nie zaczęły, a już powiedziały, że będzie E. To fakt, że uczniowie nie robią postępów w nauce, bo nie są wspierani przez rodziców, mają natomiast osiągnięcia w sporcie. Ale tego nie uwzględniono. (wypowiedź dyrektora). W końcu, znaleźć można w literaturze metaforyczne określenia ewaluacji wewnętrznej. G. Mazurkiewicz widzi w niej zaproszenie do wzięcia odpowiedzialności za własne działania, a jednocześnie narzędzie, które daje szansę na branie odpowiedzialności w sposób sensowny,

21 dzięki możliwości podejmowania decyzji na podstawie danych i sprawdzania rezultatów decyzji. 32 W wypowiedziach uczestników wywiadów grupowych zdarzały się też określenia metaforyczne, choć w innym duchu, zarówno pozytywne (pierwsza wypowiedź) jak i negatywne (druga wypowiedź). Ewaluacja wewnętrzna jest dla nas drogowskazem wskazującym jak mamy poprawiać jakość pracy naszej placówki. Zaczynamy być specjalistami od tego, jak robić, aby nie robić. Ewaluacja wewnętrzna przypomina teatr marionetek. Nawet EWD można oszukać, tym bardziej w ewaluacji robionej w szkole można tworzyć fikcję Opinie praktyków na temat przeprowadzania ewaluacji wewnętrznej Większość przepisów nowego rozporządzenia o nadzorze odnosi się do ewaluacji zewnętrznej, a jedynie kilka ( od 20 do 22) reguluje sprawy wewnętrznej. Stanowią one o obowiązkach dyrektora szkoły, określają przedmiot ewaluacji wewnętrznej oraz regulują sprawę planowania nadzoru pedagogicznego i składania sprawozdań z jego realizacji. Inne kwestie związane z przeprowadzaniem ewaluacji wewnętrznej pozostają w warstwie domyślnej tekstu (formy i metody realizacji ewaluacji wewnętrznej, zadania nauczycieli w tym zakresie, wykorzystanie wyników ewaluacji wewnętrznej w doskonaleniu pracy szkoły, itp.). Jak podaje Beata Ciężka jest to zabieg celowy. Nowa koncepcja nadzoru pedagogicznego oferuje nam szczegółowe wytyczne dotyczące realizacji procesu ewaluacji zewnętrznej, niewiele zaś wskazówek uzyskujemy dla przeprowadzanie ewaluacji wewnętrznej w szkołach. Jest to celowy zabieg pomysłodawców nowego nadzoru pedagogicznego, aby decyzje odnośnie prowadzenia ewaluacji wewnętrznej pozostawić zespołom ewaluacyjnym w poszczególnych placówkach G. Mazurkiewicz, Po co szkołom ewaluacja...op. cit. s B. Ciężka, Czy możliwa jest ewaluacja uczestnicząca w życiu szkoły?

22 Celowość działań twórców nowego nadzoru pedagogicznego znakomicie uchwycili wydawcy. Niekoniecznie natomiast organa zewnętrznego nadzoru pedagogicznego. Krytyczne opinie na ten temat uczestników wywiadów grupowych podajemy w dalszej treści rozdziału, natomiast propozycje zmiany przepisów prawnych w duchu wypowiedzi B. Ciężkiej w rozdz Minimalizm legislacyjny w sprawie przeprowadzania ewaluacji wewnętrznej w szkole poskutkował wysypem publikacji drukowanych i elektronicznych na temat jej prawnych oraz praktycznych aspektów. Rozpoczął się on już na parę miesięcy przed wejściem w życie nowego rozporządzenia o nadzorze pedagogicznym i trwa do dzisiaj, choć ostatnio zmniejsza się jego natężenie. Wprowadzenie nowej organizacji pomocy psychologiczno pedagogicznej sprawiło, że wydawcy przenieśli siły i środki na to zagadnienie. O ile publikacje na temat aspektów prawnych ewaluacji wewnętrznej sprowadzały się głównie do przedstawiania wykładni językowej przepisów nowego rozporządzenia o nadzorze, o tyle w tych ukierunkowanych praktycznie przeważało podejście narzędziowe. Jeden z uczestników wywiadów grupowych skwitował tę sytuację następującym stwierdzeniem. Dzwonią do nas i mówią, zapłaćcie 300 złotych, a my przyślemy wam gotowe materiały, a jak chcecie to nawet przyjedziemy i za was wszystko zrobimy. Firmy wydawnicze i prowadzące portale edukacyjne stosują bardzo agresywny marketing. Nie tylko telefonicznie i elektronicznie komunikują się ze szkołami, przesyłają materiały reklamowe, ale nawet ogłaszają się na różnych, znanych portalach. Ponadto, używają bardzo podobnych, a przez to mylących, adresów internetowych. Na przykład, na portalach pojawia się od dawna reklama następującej treści Nadzór pedagogiczny Kompleksowa dokumentacja dla dyrektorów placówek oświatowych, a obok Wystarczy kliknąć, aby dowiedzieć się, że jest to pierwszy portal z gotową dokumentacją dla dyrektorów placówek oświatowych Cytat ze str. z dnia 29 stycznia 2012.

23 Pomimo obiekcji jednego z uczestników wywiadów grupowych (cytat powyżej) materiały narzędziowe cieszą się sporym zainteresowaniem, co wynika choćby z wypowiedzi B. Jankowskiego wyprowadzonej na podstawie własnych doświadczeń szkoleniowca. Tworzenie planu nadzoru pedagogicznego lub projektowanie ewaluacji wewnętrznej przez dyrektorów i nauczycieli często sprowadza się do szukania w Internecie gotowych wzorów planów, narzędzi, a nawet sprawozdań i wykorzystywania ich w swojej szkole. 35 Do sprawy tej jeszcze w tym rozdziale powracamy. Tymczasem wypowiedzi uczestników wywiadów grupowych oraz przedstawicieli szkół podstawowych, w których przeprowadziliśmy studia przypadku zdominowały następujące sprawy: Brak wiedzy metodologicznej. Problemy z przekonaniem nauczycieli do wartości ewaluacji wewnętrznej. Poszukiwanie związków między mierzeniem jakości a ewaluacją wewnętrzną. Rola dyrektora w procesie ewaluacji wewnętrznej. Emocje, jakie narosły wokół ewaluacji wewnętrznej. Największą trudnością jest w opiniach praktyków brak wiedzy metodologicznej nauczycieli uniemożliwiający rzetelne przeprowadzanie ewaluacji wewnętrznej. Przy czym do rangi największego problemu urasta brak umiejętności tworzenia narzędzi (cytat). Problem ten zgłaszała prawie połowa uczestników wywiadów grupowych oraz dyrektor jednej ze szkół, w której przeprowadzaliśmy studium przypadku. Inne problemy metodologiczne praktyków to: Sposób wyboru przedmiotu ewaluacji wewnętrznej. Sposób przeprowadzenia badania. Żaden uczestnik wywiadów grupowych nie zgłaszał trudności odnoszących się do opracowania założeń projektu ewaluacyjnego, wyboru metod badawczych, analizy i interpretacji materiału badawczego, sporządzenia rekomendacji czy raportu. Natomiast jeden z dyrektorów 35 B. Jankowski, Nadzór pedagogiczny po roku: uwagi i refleksje. Sedno. Magazyn Dyrektora Szkoły 6/2011.

24 szkoły, w której przeprowadzaliśmy studium przypadku chętnie przyjąłby pomoc w napisaniu raportu. Stworzenie możliwości korzystania z gotowych narzędzi badawczych (np. wypracowanych z myślą o ewaluacji zewnętrznej) przy przeprowadzaniu ewaluacji wewnętrznej zgłaszali uczestnicy wywiadów grupowych we wszystkich czterech grupach, choć mieli świadomość wynikających z tego zagrożeń. Poniżej jedna z wiele dających do myślenia wypowiedzi na ten temat. Jeśli ewaluację wewnętrzną przeprowadzi się z wykorzystaniem narzędzi ze strony SEO, to wtedy ewaluacja zewnętrzna wypadnie bardzo dobrze, chociaż znajdujące się tam kwestionariusze nie dotyczą konkretnej szkoły, nie są napisane językiem uczniów, rodziców, a nawet nauczycieli. Takie kwestionariusze należałoby najpierw dostosować, ale jeśli się tego nie zrobi nie ma się co potem dziwić, że ewaluacja wewnętrzna będzie zafałszowana. Narzędzia badawcze prawie wyłącznie kojarzą się uczestnikom wywiadów grupowych z kwestionariuszami ankiety. Czy jest to wpływ przeankietowania mierzenia jakości czy też wzorowanie się na narzędziach ewaluacji zewnętrznej? Tego nie badaliśmy, choć już na ten temat kiedyś wypowiadaliśmy się. 36 Ponadto, uczestnicy wywiadów grupowych mieli świadomość, że źle skonstruowane narzędzia przyczyniają się do nierzetelnego przeprowadzenia badań i tworzenia nieprawdziwego wizerunku szkoły. Jednak w ich wypowiedziach nie padły stwierdzenia, że warto je tworzyć jak podaje B. Ciężka samodzielnie i na własny użytek. 37 Temat gotowych narzędzi tak bardzo pochłonął uczestników wywiadów grupowych, że z pola widzenia uszła sprawa, iż konstruowanie narzędzi jest pokłosiem wyboru metod badawczych. Jeśli już na ich temat wypowiadano się to poza ankietą wskazywano na wywiad i analizę dokumentów. 36 K. Bednarek, Diagnoza szkoły bez ankiety? W: B. Niemierko (red.) Diagnostyka edukacyjna. Teoria i praktyka. Wyd. PTDE. Kraków B. Ciężka, Praktyczne aspekty autoewaluacji refleksje oparte na doświadczeniach polskich i zagranicznych. Wystąpienie na konferencji pt. Przestrzenie dla autoewaluacji w nowym systemie nadzoru pedagogicznego konteksty, dylematy, dobre praktyki.

25 Takie też metody ewaluacji znalazły się w planie nadzoru pedagogicznego w SP Y (ankieta, wywiad, analiza dokumentów) I choć w dalszej treści była też mowa o obserwacji, odnoszono ją tylko do nauczycieli ubiegających się o awans zawodowy. Natomiast w planie nadzoru pedagogicznego SP X w rubryce metody badania podano: rozmowa, dyskusja, burza mózgów, ankieta dla uczniów, analiza sprawozdań, obserwacja, analiza arkuszy obserwacyjnych, spacer obserwacyjny. Ponadto, odrębnie przygotowano harmonogram obserwacji lekcji i zajęć dodatkowych wszystkich nauczycieli. Kolejną trudnością, na jaką wskazali uczestnicy wywiadów grupowych był brak przekonania nauczycieli do wartości ewaluacji wewnętrznej i nieangażowanie się w ten proces. Wypowiadający się na ten temat podnosili, że nauczyciele obawiają się samooceny, zwłaszcza ujawnienia błędów. Natomiast, jeśli już zostaną obnażone jakieś szkolne nieprawidłowości nie potrafią oddzielić problemu od osoby. Słowa krytyki kierowano przede wszystkim pod adresem nauczycieli starszych, którzy jak stwierdził jeden z uczestników wywiadów grupowych są zaszufladkowani, boją się nowości i nie chcą się uczyć, bo za 2 3 lata idą na emeryturę. Kolejną, najbardziej krytykowaną grupą członków rady pedagogicznej byli nauczyciele dyplomowani. W ich przypadku podnoszono przede wszystkim brak zaangażowania. Tylko sporadycznie uczestnicy wywiadów grupowych wskazywali na brak problemów z przekonaniem nauczycieli do ewaluacji wewnętrznej. Poniżej jedna z świadczących o tym wypowiedzi. Przekonanie rady pedagogicznej zaczęliśmy od zbadania naszego problemu związanego z funkcjonowaniem świetlicy. Wynikły z tego propozycje różnych zmian, a jak je wdrożyliśmy to praca szkoły została usprawniona. I to pomogło mi przekonać nauczycieli, że ewaluacja wewnętrzna ma sens. Trudności z przekonaniem nauczycieli do ewaluacji wewnętrznej nie miał też dyrektor SP X. Jak już wspominaliśmy (rozdz ) od wielu lat przeprowadzali ewaluację projektów, w których uczestniczyła szkoła. Być może to właśnie sprawiło, że potrafili oderwać się od wymagań podanych w załączniku do nowego rozporządzenia o nadzorze pedagogicznym i

26 ukierunkować ewaluację wewnętrzną na inne ( 20 ust. 2) własne zagadnienia, wynikające z wniosków z nadzoru pedagogicznego z poprzedniego roku szkolnego, a mianowicie: 1. Podniesienie efektywności uczenia się i nauczania poprzez stosowanie różnorodnych strategii i nowoczesnych technologii umożliwiających efektywne wykorzystanie czasu na lekcjach i innych zajęciach. 2. Rozwijanie umiejętności radzenia sobie w sytuacjach konfliktowych poprzez stosowanie różnorodnych technik porozumiewania się bez przemocy z elementami mediacji i dialogu. 3. Podniesienie jakości i efektywności nauczania poprzez prawidłowe wdrażanie podstawy programowej oraz doskonalenie warsztatu pracy nauczycieli wykorzystując umiejętności nabyte w czasie realizacji przez szkołę programów: Rozwijanie uczenia się i nauczania, Comenius, SUS. 4. Stwarzanie uczniom sytuacji do nabycia przez nich umiejętności samodzielnego uczenia się, dostosowanie warunków do ich możliwości i potrzeb. (cytat z planu nadzoru pedagogicznego na rok 2011/12) Na podstawie ww. zagadnień sformułowane zostały w SP X trzy cele ewaluacji i obecnie są przeprowadzane trzy projekty ewaluacyjne przez trzy zespoły. W wypowiedziach praktyków na temat ewaluacji wewnętrznej wielokrotnie nawiązywano do mierzenia jakości. Najczęściej czynili to dyrektorzy z dłuższym stażem pracy, co zostało przypadkowo ujawnione w trakcie wywiadów grupowych. Mierzenie jakości było przez nich postrzegane jako proces dobrze znany i oswojony. Podobny pogląd prezentował dyrektor SP Y. Ewaluacja wewnętrzna to dla nas duży problem. Łatwiej było mierzyć jakość. Z mierzenia można się było wiele dowiedzieć o szkole. Służyło doskonaleniu pracy, rozwijało radę pedagogiczną i scalało społeczność szkolną. Tymczasem ewaluacja wewnętrzna jest procesem

27 bezdusznym, robionym pod ewaluację zewnętrzną, w której szkoły chcą dobrze wypaść z uwagi na literki. Praktycy zwracali też uwagę na zbieżność pewnych elementów tych dwóch procesów. Poniżej dwie ilustrujące to wypowiedzi. W ewaluacji wewnętrznej jest wiele elementów wspólnych z mierzeniem jakości. Przekonanie rady pedagogicznej zaczęliśmy u nas od porównania mierzenie jakości i ewaluacji wewnętrznej oraz pokazania co jest w niej nowego. Ułatwiło nam to wprowadzenie zmiany, bo postrzegano ją jako modyfikację tego, co było. Szkoda, że w literaturze nie tylko, że nie pokazano drogi przejścia od mierzenia jakości do ewaluacji wewnętrznej, ale wręcz torpedowano takie próby. Kiedy C. Kocon pisze na temat ewaluacji w nowym nadzorze pedagogicznym, jako o mierzeniu jakości wersja 2.0, 38 S. Wlazło odpowiada mu artykułem pt. Ewaluacja to nie mierzenie jakości Podobnie twierdzi L. Korporowicz. Ewaluacja nie powinna ( ) być utożsamiana z popularnym w Polsce, na skutek upowszechnienia wiedzy o TQM mierzeniem jakości. Wydaje się, że nie ma żadnego rozsądnego i dającego się obronić argumentu, dla którego warto poszerzyć słowo mierzenie poza jego semantyczne granice, a więc na sytuacje, w których niczego już nie mierzymy. 40 A H. Mizerek uważa nawet, że bzdury plotą ci, którzy twierdzą, że ewaluacja niczym się nie różni od mierzenia jakości. Niestety, różnice są ogromne i dotyczą głównie praktyki projektowania i prowadzenia obu rodzajów badań. 41 Żaden uczestnik wywiadów grupowych nie stwierdził, że dyrektor jest czynnie zaangażowany w przeprowadzanie ewaluacji wewnętrznej. Nie jestem członkiem zespołu ewaluacyjnego to typowa wypowiedź. Wskazywano natomiast, że działania dyrektora skupiają się na: Powołaniu zespołu ewaluacyjnego. 38 C. Kocon, Mierzenie jakości wersja 2.0. Cześć 1. Dyrektor Szkoły 9/2009, część 2. Dyrektor Szkoły 10/ E. Wlazło, Ewaluacja to nie mierzenie jakości 2.0. op.cit. 40 L. Korporowicz, Interakcyjna misja ewaluacji. W: G. Mazurkiewicz (red.) Ewaluacja w nadzorze pedagogicznym. Konteksty. Wyd. UJ, Kraktów 2010, s Żadna z placówek nie istnieje sama dla siebie Wywiad z H. Mizerkiem. Oświata Mazowiecka 4/2010.