Jaki jest odbiór raportu z ewaluacji zewnętrznej prowadzonej w przedszkolach, ch i placówkach oświatowych? W dniach 9-14 października 2011 roku przeprowadzono badanie dotyczące odbioru badań ewaluacyjnych i ich wyników przez otoczenie szkoły. Badanie skierowane było do szkół województwa wielkopolskiego, w których w latach 2010-2011 przeprowadzono ewaluację zewnętrzną. Ankieta zawierała 14 pytań dotyczących: danych o szkole, rodzaju i terminu ewaluacji (3 pytania), sygnałów o czytaniu i komentowaniu raportu przez środowisko, z określeniem podmiotu i części raportu, którego komentarz dotyczy (5 pytań), form informowania środowiska przez szkołę o wynikach raportu (4 pytania), u raportu na opinię o szkole (1 pytanie) oraz wskazanie przeszkód w odbiorze raportu (1 pytanie) /ankieta załącznik nr 1/. Ankietę przesłano drogą elektroniczną do 122 szkół i placówek oświatowych (28 przedszkoli, 27 szkół podstawowych, 29 gimnazjów, 29 szkół ponadgimnazjalnych, 9 placówek oświatowych). Uzyskano 44 odpowiedzi, co stanowi 36% zapytanych podmiotów. Najwyższy odsetek odpowiedzi uzyskano z przedszkoli (50%), a zdecydowanie najniższy ze szkół gimnazjalnych (17%). Analizując poniższe dane należy pamiętać, że pochodzą one ze szkół i placówek, które są zadowolone z wyników przeprowadzonego badania (tab.1). Nikt z respondentów nie uznał, że ewaluacja zmieniła w sposób negatywny postrzeganie szkoły. Brak u sygnalizuje 2/5 szkół ponadgimnazjalnych i 1/4 przedszkoli. Natomiast znaczący pozytywny zaobserwowano w co najmniej połowie szkół podstawowych i ponadgimnazjalnych oraz we wszystkich placówkach oświatowych. Tab.1 Wpływ przeprowadzenia ewaluacji i publikacji raportu na postrzeganie szkoły przez środowisko w zależności od typu szkoły /wyrażony w % odpowiedzi respondentów/ Rodzaj u brak u niewielki pozytywny znaczący pozytywny niewielki negatywny znaczący negatywny przedszkole 25 42 33 0 0 podstawowa 10 30 60 0 0 gimnazjum 0 75 25 0 0 40 10 50 0 0 placówka oświatowa 0 0 100 0 0 Sygnały o czytaniu raportu dotarły do 97 % ankietowanych placówek, w tym dotyczyły one: - jednej grupy odbiorców - w 30% szkół, - dwóch grup odbiorców - w 27%, - trzech lub czterech grup - w pozostałych 40% szkół. Ilość odbiorców nie zależała w sposób znaczący od typu szkoły. Najczęściej raport czytali partnerzy (73%) i rodzice (70%). Rzadziej samorząd (57%), a najmniej uczniowie (27%). Zależność ta dotyczy wszystkich typów szkół, choć wśród odbiorców rośnie liczba uczniów (w ch ponadgimnazjalnych), samorządów (w ch podstawowych)
rodzice samorząd partnerzy uczniowie treść wnioski oznaczenia i partnerów (w gimnazjach). W placówkach oświatowych odbiorcami są partnerzy i samorząd lokalny. Najczęściej czytaną częścią raportu są wnioski (75%), nieco rzadziej treść (60%) i oznaczenia (około 60%). Treść raportu najczęściej czytana jest w przedszkolach, a oznaczenia w dużej ilości szkół podstawowych i gimnazjów. Raport był komentowany w 84% szkół, z czego najczęściej w ch podstawowych i gimnazjach, najrzadziej w placówkach oświatowych. Najczęściej komentowały te same grupy odbiorców, które czytały raport, czyli rodzice i partnerzy (około 2/3 szkół), nieco rzadziej samorządy, a rzadko uczniowie (tab.2). Co ciekawe, ilość komentujących w gimnazjach jest większa od liczby czytających, a w ch ponadgimnazjalnych tendencja jest odwrotna. Częściej komentowana była treść i wnioski (ponad 60%), nieco rzadziej oznaczenia (50%). Treści najczęściej komentowano w przedszkolach i placówkach oświatowych, wnioski i określenia w ch podstawowych i gimnazjach. Z przedstawionej analizy wynika, że najwięcej komentarzy raport budzi w otoczeniu szkół podstawowych i gimnazjów, choć nie jest tam najczęściej czytany. Badanie nie potwierdza tezy, że najczęściej czytaną i komentowaną częścią raportu są oznaczenia. Tab.2 Sygnały o komentowaniu raportu w otoczeniu w zależności od typu szkoły /wyrażone w % odpowiedzi respondentów/ Określenie grupy komentującej Komentowane części raportu przedszkole 71 36 57 14 57 36 43 podstawowa 82 64 73 18 82 82 64 gimnazjum 80 80 100 40 40 100 80 55 64 55 18 64 73 45 placówka oświatowa 33 33 67 0 67 0 0 średnia 68 55 66 18 64 61 50 Wraz z upływającym czasem i zwiększająca się ilością ewaluacji zmienia się zainteresowanie raportem. Rośnie liczba szkół, w których wyniki ewaluacji są komentowane przez środowisko (z poziomu nieco ponad 50% do 90%). Wzrasta zainteresowanie samorządu i partnerów, na podobnym poziomie utrzymuje się zainteresowanie rodziców, maleje uczniów. Rośnie zainteresowanie wnioskami (tab3).
rodzice samorząd partnerzy uczniowie treść wnioski oznaczenia Tab.3 Sygnały o komentowaniu raportu w otoczeniu szkół w zależności od terminu ewaluacji /wyrażone w % odpowiedzi respondentów/ Termin ewaluacji Określenie grupy komentującej Komentowane części raportu I półrocze 2010 57 43 43 0 43 43 57 II półrocze 2010 73 33 67 27 80 40 47 2011 68 73 73 18 59 82 50 średnia 68 55 66 18 64 61 50 Raport był przedstawiany otoczeniu przez większość respondentów (95%), w tym wszystkie przedszkola, szkoły podstawowe i gimnazja (najrzadziej przez placówki oświatowe). Informacja o wynikach najczęściej była kierowana do rodziców (89% szkół i placówek), rzadziej do samorządu (70%). Około 60% szkół i placówek oświatowych informowało o raporcie partnerów i uczniów (tab4). Najczęściej, i do najbardziej różnorodnych grup odbiorców, informacje o raporcie przekazywały szkoły podstawowe oraz gimnazja. W przedszkolach rzadko informowano dzieci, a w ch ponadgimnazjalnych partnerów. Natomiast w placówkach oświatowych informację kierowano przede wszystkim do partnerów. Informacja, przedstawiana przez szkoły, dotyczyła przed wszystkim wniosków (84%), nieco rzadziej treści (73%), a najrzadziej określeń literowych (61%). W przekazywanych informacjach przedszkola zwracały uwagę przede wszystkim na treści i wnioski, szkoły podstawowe i gimnazja na wnioski i oznaczenia. W ch ponadgimnazjalnych informowano przede wszystkim o wnioskach, a w placówkach oświatowych o treści raportu. W zależności od terminu przeprowadzenia ewaluacji zmniejsza się nieco częstotliwość informowania otoczenia (z poziomu 100% na początku do 90 % obecnie). Cały czas najczęściej informacja kierowana jest do rodziców. Istotnie zmniejsza się częstość przekazywania informacji uczniom, a w mniejszym zakresie również partnerom. Bez względu na datę ewaluacji informacja najczęściej dotyczy wniosków, nieco zmniejsza się częstość informowania o treściach i określeniach literowych.
rodzice samorząd partnerzy uczniowie treść wnioski oznaczenia Tab.4 Informacja o raporcie przedstawiana otoczeniu szkół w zależności od typu szkoły /wyrażona w % odpowiedzi respondentów/ Określenie grupy otrzymującej informację Części raportu, których dotyczyła informacja przedszkole 93 50 64 14 79 79 50 podstawowa 100 91 73 91 73 100 91 gimnazjum 100 100 80 80 60 100 80 91 73 27 73 64 82 55 placówka 0 33 100 33 100 33 0 średnia 89 71 61 57 73 84 61 Bez względu na rodzaj placówki i termin przeprowadzenia ewaluacji zdecydowanie najczęściej stosowaną formą przekazywania informacji o ewaluacji jest bezpośrednia rozmowa i dyskusja na jej temat (tab5). Prawie połowa szkół ponadgimnazjalnych podaje informacje mediom i zamieszcza je w internecie. Często z informowania na własnej stronie internetowej korzystają szkoły gimnazjalne. Wraz z upowszechnieniem badań ewaluacyjnych przeprowadzenie ewaluacji przestaje być informacją medialną. W roku 2010 media informowało 43% szkół, a obecnie 9%. Tab.5 Forma przedstawiania otoczeniu szkół informacji o raporcie w zależności od typu szkoły/wyrażona w % odpowiedzi respondentów/ Określenie formy przekazywania informacji bezpośrednia rozmowa i dyskusja ulotka, folder informacja w mediach strona internetowa inna forma przedszkole 93 7 0 21 7 podstawowa 100 9 18 18 18 gimnazjum 100 20 20 40 20 100 0 46 46 0 placówka 100 0 0 0 0 średnia 98 7 18 27 9 Na podstawie uzyskanych wyników można założyć występowanie korelacji między informacją przekazywaną przez szkoły a ilością i rodzajem występujących komentarzy. Współczynnik korelacji określający siłę związku między parametrami przekazywanej informacji a występowaniem komentarzy jest wysoki i wynosi 0,64 dla związku między kierunkiem informacji a oddźwiękiem poszczególnych grup odbiorców i 0,78 dla zależności między naciskiem na informację o danej części raportu a częstością jej komentowania (tab6).
przedszkole podstawowa gimnazjum placówka przekazywanie informacji komentowanie raportu przekazywanie informacji komentowanie raportu Tab.6 Zależność między częstością przekazywanej przez szkoły informacji a częstością komentowania przez otoczenie wyniku ewaluacji. Określenie formy przekazywania informacji grupy odbiorców części raportu rodzice 89 68 treści 73 64 samorząd 71 55 wnioski 84 61 partnerzy 61 66 określenia 61 50 uczniowie 57 18 współczynnik 0,64 korelacji współczynnik korelacji Prawie połowa ankietowanych szkół (45%) uznaje, że nie ma przeszkód w odbiorze raportu przez środowisko (tab7). W 1/4 szkół uznano, że największą trudność stanowi brak zainteresowania ze strony odbiorców. Niektórzy respondenci (po kilkanaście %) uważają, że problemem jest brak informacji o ewaluacji i raporcie, jego długość i zbyt trudny język. Natomiast tylko w pojedynczych ch wskazywano na trudność z dotarciem do raportu lub brak istotności dla środowiska zawartych w nim treści. Najmniejszy brak zainteresowania raportem sygnalizowany jest w przedszkolach i gimnazjach. Tylko w gimnazjach dostrzegano problem z dotarciem do raportu. Natomiast język raportu został uznany za przystępny przez wszystkie przedszkola i placówki oświatowe. Tab.7 Trudności w odbiorze raportu przez środowisko w zależności od typu szkoły /wyrażone w % odpowiedzi respondentów/ 0,78 Rodzaj trudności RAZEM nie ma takich przeszkód 36 55 20 45 100 45 brak zainteresowania ze strony odbiorców 43 9 40 18 0 25 zbyt długi raport 14 27 20 18 0 18, trudny język raportu 0 27 20 18 0 14 brak informacji istotnych dla środowiska brak wiedzy odbiorców o istnieniu raportu trudność z dotarciem do treści raportu niewielka informacja o ewaluacji 7 9 0 0 0 5 14 18 0 27 0 16 7 0 20 0 0 5 21 18 20 9 0 16
Podsumowanie Zainteresowanie raportem z ewaluacji zewnętrznej zależy w znacznym stopniu od ilości i rodzaju informacji kierowanej do otoczenia szkoły. Najwięcej informacji otoczeniu przekazują szkoły podstawowe oraz gimnazja i środowisko tych szkół jest najbardziej zainteresowane wynikami badań. Bez względu na typ szkoły najczęstszą formą przekazywania informacji o raporcie jest bezpośrednie informowanie odbiorców. Wraz z upływem czasu i zwiększaniem się ilości ewaluacji raport przestaje być informacją medialną. Najczęściej raport czytali partnerzy i rodzice, rzadziej samorząd, a najmniej uczniowie. Największe zainteresowanie dotyczy wniosków. Prawie połowa szkół uznaje, że nie ma przeszkód w odbiorze raportu, a pozostali najczęściej wskazują na brak zainteresowania odbiorców powiązany z niewielką informacją o ewaluacji. Raporty przedszkoli wyróżnia łatwy dla odbiorców język oraz przedstawianie i komentowanie treści raportu głównie przez rodziców. Szkoły podstawowe i gimnazja cechuje największa aktywność w informowaniu otoczenia przekładająca się na największe zainteresowanie raportem (przede wszystkim wnioskami i oznaczeniami literowymi). Informacja przedstawiana przez szkoły ponadgimnazjalne dotyczy przede wszystkim wniosków i jest kierowana głównie do samorządu lokalnego oraz rodziców. Raporty te często komentowane są przez partnerów szkoły, a informacje o nich przedstawiane są w mediach. Raporty placówek oświatowych przedstawiane są głównie partnerom i przez nich są komentowane (podobnie jak w przedszkolach, podkreśla się łatwość języka w odbiorze). Anna Kaczmarek i Barbara Milecka KO w Poznaniu Delegatura w Kaliszu