EWALUACJA W PRACY NAUCZYCIELA. Opracowanie: Teresa Kozioł konsultant LSCDN

Transkrypt

1 EWALUACJA W PRACY NAUCZYCIELA Opracowanie: Teresa Kozioł konsultant LSCDN

2 Wstęp Priorytetem pracy każdej szkoły powinno być nauczanie i wychowanie. W szkołach efektywnych nauczanie i wychowanie ma wyraźnie określone cele i zadania, jest dobrze zorganizowane i przeprowadzane. Jednak, aby szkoła znała efekty swojej działalności i mogła określić stopień osiągania zakładanych celów prowadzony jest ciągły monitoring, a uzyskane informacje służą refleksji i planowaniu dalszych działań.

3 Monitorowanie Monitorowanie to systematyczne i zorganizowane obserwowanie osiąganej jakości pracy. Monitorowanie to działania mające na celu zmianę sytuacji na lepsze, śledzenie działań, obserwowanie przebiegu, zbieranie informacji, rejestrowanie postępów, gromadzenie danych, weryfikowanie tempa zgodności z harmonogramem. Monitorowanie to sprawdzanie. To bieżąca, ciągła rejestracja.

4 Ewaluacja a monitorowanie monitoring dostarcza danych i informacji do dokonania ewaluacji, czyli analizy i wnioskowania; monitoring jest dla ewaluacji bazą - bez danych zbieranych w procesie monitoringu trudno byłoby prowadzić ewaluację ewaluacja przeprowadzana jest w określonych momentach, określa wartości danego zjawiska, jest związana z jakością działań, monitoring zaś jest prowadzony cały czas.

5 Co to jest ewaluacja? proces gromadzenia, opracowywania i komunikowania informacji na temat wartości przypisywanej działaniom podejmowanym w szkole/placówce....systematyczny proces obejmujący zbieranie informacji oraz zdawanie relacji (w postaci raportu) z tego, jak się rzeczy mają, z intencją dostarczenia danych ułatwiających podejmowanie decyzji- H. Mizerek to proces zbierania danych i ich interpretacja w celu podejmowania decyzji- Ch. Galloway...to systematyczne badanie wartości lub cech konkretnego programu, działania lub obiektu z punktu widzenia przyjętych w tym celu kryteriów w celu jego usprawnienia, rozwoju lub lepszego zrozumienia- L. Korporowicz

6 Co to jest ewaluacja? Ewaluacja jest terminem zaczerpniętym z języka angielskiego i oznacza zbieranie, analizę i interpretację danych związanych z oceną efektywności przedsięwzięć edukacyjnych. Ewaluacja to proces zbierania danych i ich interpretacja w celu podejmowania decyzji. /Komorowska, 1995/ Ewaluacja w edukacji proces zmierzający do stwierdzenia, w jakim stopniu założone cele edukacyjne są rzeczywiście realizowane. /Tyler, 1950/

7 Ewaluacja w edukacji Ewaluacja w edukacji zaplanowane i systematyczne działanie, uwidaczniające, w jakim stopniu zostały osiągnięte cele kształcenia; proces diagnostyczno-oceniający, zawierający w sobie elementy pomiaru, osądu i decyzji. /J.J. Guilbert, 1983/

8 Ewaluacja w dydaktyce Ewaluacja w dydaktyce nastawiona być powinna na systematyczne zbieranie informacji o warunkach, przebiegu i wynikach dydaktycznych w celu ulepszenia tych działań lub podjęcia decyzji o ich prowadzeniu. /B. Niemierko/

9 Cechy wspólne definicji: Ewaluacja w szkole to systematyczne gromadzenie, porządkowanie i ocena jakości danych dotyczących dokumentów, działań i osób. Ewaluację przeprowadzamy według ustalonych kryteriów w celu podjęcia decyzji dotyczących przyszłych działań. Ewaluacja to: zbieranie danych analiza zebranych informacji wyciąganie wniosków formułowanie decyzji, jakie powinny być podjęte;

10 Rozporządzenie MEN Według nowego rozporządzenia MEN z dnia 7 października 2009 roku w sprawie nadzoru pedagogicznego: ewaluacja to praktyczne badanie oceniające przeprowadzane w szkole lub placówce. Badanie polega na zbieraniu i analizowaniu informacji w obszarach opisanych w załączniku do rozporządzenia, a ocenianie na ustaleniu poziomu spełnienia przez szkołę lub placówkę poszczególnych wymagań.

11 Rozporządzenie MEN Dyrektor szkoły lub placówki publicznej we współpracy z innymi nauczycielami zajmującymi stanowiska kierownicze, w ramach sprawowanego nadzoru pedagogicznego: 1) przeprowadza ewaluację wewnętrzną i wykorzystuje jej wyniki do doskonalenia jakości pracy szkoły lub placówki;

12 Rozporządzenie 2. Ewaluację wewnętrzną przeprowadza się w odniesieniu do wszystkich lub wybranych wymagań, o których mowa w 7 ust. 4 (wymagania określone w załączniku), lub do innych zagadnień uznanych w szkole lub placówce za istotne w działalności szkoły lub placówki.

13 Rozporządzenie MEN 3. W celu realizacji zadań, o których mowa w ust. 1, dyrektor szkoły lub placówki w szczególności obserwuje prowadzone przez nauczycieli zajęcia dydaktyczne, wychowawcze i opiekuńcze oraz inne zajęcia i czynności wynikające z działalności statutowej szkoły lub placówki.

14 Rozporządzenie MEN Dyrektor szkoły lub placówki publicznej opracowuje na każdy rok szkolny plan nadzoru pedagogicznego, który przedstawia radzie pedagogicznej w terminie do dnia 15 września roku szkolnego, którego dotyczy plan. 2. Plan nadzoru, o którym mowa w ust. 1, zawiera w szczególności: 1) cele, przedmiot ewaluacji wewnętrznej oraz jej harmonogram;

15 Rozporządzenie MEN Z zapisów umieszczonych w załączniku do rozporządzenia w sprawie nadzoru pedagogicznego wynika, że ewaluacja wewnętrzna powinna być prowadzona z udziałem zespołów nauczycieli.

16 Dobór osób do zespołu Należy powołać nauczycieli, którzy posiadają: Doświadczenie w zakresie pomiaru dydaktycznego, diagnozy, ewaluacji, EWD. Umiejętność planowania, pisania projektu. Dobrą znajomość i doświadczenie w posługiwaniu się technologią informacyjną. Znajomość metod, technik i narzędzi badawczych. Umiejętność przeprowadzania wywiadów, obserwacji, konstruowania kwestionariuszy i posługiwania się nimi. Umiejętność analizy danych, trafnego wyciągania wniosków, pisania raportów, formułowania rekomendacji. Umiejętność współpracy w zespole, otwartość na zmiany, samodyscyplina, dobry kontakt z przełożonymi

17 Ewaluacja to proces badawczy Ewaluacja nie jest działaniem okazjonalnym, lecz procesem badawczym i ma służyć poprawie konkretnych efektów pracy szkoły lub placówki.

18 W wyniku ewaluacji można dokonać oceny bądź określić wartość: potrzeb, oczekiwań, wymagań; stanu zadowolenia (tych, którym działanie ma służyć); znaczenia działań; efektywności działań; spójności celów, treści, metod; oddziaływania, wpływu na otoczenie. Dobrze przeprowadzona ewaluacja daje nam odpowiedź na pytania: Co należy zmienić? W jaki sposób? Czy już wprowadzone zmiany przynoszą efekty?

19 Cele ewaluacji wewnętrznej Celem ewaluacji wewnętrznej szkoły nie może być tylko kontrola efektów końcowych. Ewaluacja ta służy głównie optymalizacji i ciągłemu rozwojowi pracy pedagogicznej. Początkiem tej drogi musi być refleksja i podsumowanie własnej pracy, co w rezultacie pozwala na dokonanie zmian i zaplanowanie dalszych działań.

20 Jakie są rodzaje ewaluacji? Ewaluacja powinna być dokładnie zaplanowana i zrealizowana. Zanim rozpoczniemy planowanie ewaluacji, powinniśmy określić jej cel i rodzaj.

21 Rodzaje ewaluacji W zależności od tego, kto prowadzi ewaluację, wyróżniamy: ewaluację zewnętrzną jest ona prowadzona przez osoby spoza danej placówki lub niezaangażowane bezpośrednio w realizację danego programu; ewaluację wewnętrzną prowadzona przez osoby zatrudnione w placówce lub przy realizacji programu; autoewaluację prowadzoną przez osoby zaangażowane w działanie placówki lub programu, ale nastawiona na refleksję nad własnymi działaniami i pogłębienie samoświadomości.

22 Autoewaluacja Cechą odróżniającą autoewaluację od ewaluacji jest fakt, iż w toku autoewaluacji podejmujemy trud określenia wartości własnych działań (dwie role: ewaluatora i decydenta). W przypadku autoewealuacji nauczyciel przyjmuje rolę badacza własnej praktyki.

23 Autoewaluacja jest to proces Autoewaluacja jest to proces gromadzenia i komunikowania informacji ułatwiających podejmowanie decyzji, ustalanie wartości działań oraz ustanawianie publicznego zaufania do szkoły Helen Simons. Zdaniem Simons kluczowe znaczenie w ustalaniu istoty autoewaluacji mają takie terminy jak: jawność (projekt omawiany na radzie ped., dyskusja), wartość (formułowanie sądów wartościujących), komunikacja (wspomaganie procesu podejmowania decyzji w szkole) i cel (np. budowanie zaufania do szkoły jako instytucji).

24 Rodzaje ewaluacji W zależności od tego, w którym momencie prowadzimy ewaluację, wyróżniamy: ewaluację na wejściu na początku przedsięwzięcia, zwaną również diagnozującą; ewaluację formatywną (kształtującą, bieżącą, cząstkową ) realizowana jest w trakcie trwania ewaluowanego programu i wspomagać ma jego realizację poprzez bieżącą analizę danych w celu ewentualnej korekty obserwowanych działań;

25 Rodzaje ewaluacji ewaluację konkluzywną (sumującą / sumatywną) jest to ewaluacja końcowa, koncentruje się na analizie rezultatów lub skutków programu zarówno założonych przed realizacją, jak i niepożądanych. Wnioski z analizy tych rezultatów są często rekomendacjami, które wykorzystuje się przy realizacji przyszłych programów; ewaluację odroczoną ewaluacja przeprowadzona po pewnym czasie od zakończenia danego programu, daje najbardziej wiarygodną analizę rezultatów i skutków danego programu. (A. Wojtyna)

26 Ewaluacja formatywna Ewaluacja formatywna daje nam wiedzę na temat działania, towarzyszy działaniu. Ewaluację formatywną dzielimy ze względu na cel na: 1/ rozjaśniającą określa to, co na co dzień jest mniej widoczne: np. kulturę, klimat, potrzeby, konflikty, przekonania;

27 Ewaluacja interaktywna 2/ interaktywną w celu poprawy funkcjonowania konkretnego działania, programu, będącego przedmiotem ewaluacji; jej kryteria: możliwość realizacji założonych celów, zgodność z potrzebami adresatów, adekwatność celów do treści, do możliwości czy potrzeb odbiorców; (Najczęściej wykorzystywaną strategią jest tu studium przypadku. Dane są zbierane w toku obserwacji, wywiadów, analizy dokumentów.)

28 Ewaluacja monitorująca 3/ ewaluację monitorującą dostarcza wiedzy ułatwiającej bieżące zarządzania realizowanym działaniem. Pozwala na rejestrowanie postępów uzyskiwanych w trakcie realizacji, ustalenia zgodności działań z przyjętym harmonogramem; ma charakter badań ilościowych. (J.Owen, P.Rogers)

29 Przebieg ewaluacji Ewaluacja niezależnie od rodzaju, niezależnie od tego, jakim obiektem się zajmuje, ma charakterystyczne etapy i przebieg. Składa się z trzech etapów:

30 Przebieg ewaluacji - fazy I. PRZYGOTOWANIE: zaplanowanie działań (plan ewaluacji), projekt ewaluacji (określenie przedmiotu ewaluacji, pytań kluczowych, kryteriów, metod, harmonogramu i formy raportu). II. REALIZACJA zbieranie danych (wykorzystanie narzędzi). III. PODSUMOWANIE analiza danych, wyciąganie wniosków, rekomendacje, sporządzenie raportu, upowszechnienie wyników i zaplanowanie dalszych działań.

31 1. Etapy procesu planowania ewaluacji: Zdefiniowanie celów ewaluacji: Po co będziemy przeprowadzać ewaluację, Jaki problem chcemy rozwiązać? Wskazanie odbiorców ewaluacji - Dla kogo będziemy przeprowadzać badania (główny odbiorca, pozostali odbiorcy, osoby zainteresowane)? Określenie zasobów (czasowe, finansowe, ludzkie) - Ile czasu możemy przeznaczyć na ewaluację? Na kiedy potrzebne nam są wyniki? Czym dysponujemy na początku (bazy danych)? Jakie będą koszty przedsięwzięcia? Wskazanie wykonawców ewaluacji - Kto będzie zaangażowany w przeprowadzenie ewaluacji? Jakie będą zadania i funkcje poszczególnych osób?

32 2. Projekt ewaluacji przedmiot badania ewaluacyjnego Kolejnym krokiem jest opracowanie projektu ewaluacji, czyli założeń merytorycznych i metodologicznych badania ewaluacyjnego. Projekt ewaluacji składa się z następujących elementów: Przedmiot badania ewaluacyjnego (obszar, obiekt, przedmiot ewaluacji, zagadnienie, problem badawczy); Jest to określenie, co będzie poddawane ewaluacji czyli TEMAT BADANIA EWALUACYJNEGO. Może to być szeroko pojęta działalność lub obszar, np. współpraca z rodzicami, rozpoznawanie problemu przemocy w klasie itp. Przedmiot ewaluacji jest uzależniony od celów oraz rodzaju ewaluacji.

33 Projekt ewaluacji pytania kluczowe pytania kluczowe (badawcze) Czego chcemy się dowiedzieć? Są to pytania sformułowane w sposób problemowy. Nie są to pytania bezpośrednio zadane osobom objętym ewaluacją, np. uczniom czy rodzicom. Są to pytania, na które poszukuje się odpowiedzi w trakcie procesu badawczego. Nie powinno ich być zbyt wiele.

34 Projekt ewaluacji - kryteria kryteria ewaluacji (Co będzie stanowić o sukcesie?, Co jest wartością w badanym przedmiocie ewaluacji? ) np. skuteczność do jakiego stopnia cele zostały osiągnięte?, efektywność poziom ekonomiczności czyli stosunek poniesionych nakładów do uzyskanych wyników, użyteczność w jakim stopniu przedsięwzięcie przyniosło pożytek beneficjentom?, trafność czy dobrze zostały dobrane metody działań?, trwałość jak długo mogą trwać pozytywne rezultaty); zgodność z potrzebami uczniów, atrakcyjność dla uczniów, zgodność z podstawą programową, elastyczność, adekwatność do potrzeb uczących się, do możliwości, Kryteria stanowią rodzaj standardów. Zapisujemy je w formie równoważników. Do kryteriów odwołujemy się w fazie analizy danych oraz podczas formułowania wniosków ewaluacyjnych.

35 Projekt ewaluacji metody badawcze Metody zbierania danych powinny być ustalone w zależności od celu ewaluacji, obszaru badania, postawionych pytań, dostępności informacji, respondentów oraz czasu przewidzianego na badanie. Najczęściej stosowane w ewaluacji metody badawcze i narzędzia: badanie ankietowe kwestionariusz ankiety; obserwacja arkusz obserwacji; wywiad, rozmowa lista pytań; analiza dokumentów arkusz informacyjny, dyspozycje do analizy dokumentów w formie pytań czy punktów; - pomiar dydaktyczny test, różne odmiany. Czasami stosuje się również: - dyskusja grupowa (grupa fokusowa zaprojektowana według określonego scenariusza, dyskusja prowadzona przez określoną osobę) - scenariusz dyskusji; - studium przypadku ( z zastosowaniem wywiadu, obserwacji, analizy dokumentów) schemat, pytania; - metody graficzne np. tarcza strzelecka, róża wiatrów, kosz i walizka, słoneczko, statki, termometr ewaluacyjny, buźki, itp.

36 Triangulacja różne metody i różne próby badawcze W ramach prowadzonej ewaluacji powinniśmy gromadzić informacje z różnych źródeł i przy użyciu różnych metod TRIANGULACJA Służy zebraniu informacji pełnych i uwzględniających różne punkty widzenia, np. podczas ewaluacji zajęć pozalekcyjnych możemy przeprowadzić i badania ankietowe wśród uczniów i rodziców i wywiady z nauczycielami i obserwację zajęć.

37 Próba badawcza Próba badawcza jest to grupa uczestników badania (respondentów) wyodrębniona z określonej populacji w sposób losowy lub celowy. Dobierając próbę badawczą, czyli osoby, które powinny zostać objęte badaniem, należy się zastanowić ile osób w najpełniejszy sposób będzie mogło udzielić informacji na temat kwestii objętych ewaluacją.

38 Dobór próby badawczej Musimy przewidzieć, jakie osoby mogą nam dostarczyć niezbędnych informacji, zastanowić się, kto będzie mógł udzielić nam najpełniejszej informacji na dany temat; wziąć pod uwagę wszystkie grupy klientów szkoły; określić, ile osób i z jakich grup obejmie dana metoda badawcza oraz, jakiego typu narzędzia będą nam potrzebne dla danej grupy. W zależności od rodzaju i przedmiotu ewaluacji dobór próby może być celowy lub losowy.

39 Projekt ewaluacji - Harmonogram Jest to określenie ram czasowych ewaluacji. Co już zrobiliśmy? Co mamy do zrobienia i ile mamy jeszcze na to czasu? (monitoring ewaluacji stałe kontrolowanie). W harmonogramie warto określić datę rozpoczęcia, zakończenia ewaluacji oraz określić daty realizacji głównych etapów badania: planowania, projektowania, etapu realizacji, etapu analizy danych i pisania raportu, omawiania wyników, termin zakończenia badania.

40 Projekt ewaluacji - Raport - Określamy, jaka formę będzie miała relacja z przeprowadzonej ewaluacji. - Jaka będzie struktura raportu? - Komu i przy jakiej okazji raport zostanie przedstawiony? Struktura raportu może być następująca: - spis treści, - wprowadzenie, cel ewaluacji, przedmiot ewaluacji, określenie zasobów, zastosowane pytania kluczowe i kryteria, - opis zastosowanej metodologii, - prezentacja wyników ewaluacji, - wnioski, rekomendacje, - aneksy (tabele z zestawieniami wyników badań, narzędzia badawcze). Raport może też mieć inną strukturę, może być przygotowany w formie prezentacji PowerPoint, zależy to od zakresu badania lub oczekiwań odbiorców.

41 Metody zbierania danych 1. BADANIE ANKIETOWE: Badanie przy pomocy ankiet stosujemy, gdy zależy nam na zdobyciu informacji od dużej grupy osób, kiedy pragniemy poznać opinie tych osób na jakiś temat lub gdy temat badania jest drażliwy i możemy liczyć na szczere odpowiedzi tylko w przypadku ankiety anonimowej.

42 Metody zbierania danych 2. OBSERWACJA: Wykorzystując metodę obserwacji musimy zastanowić się: Co będziemy obserwować? W jakim stopniu obserwator będzie zaangażowany w obserwowane przedsięwzięcie? W przypadku obserwacji uczestniczącej obserwator jest jednocześnie uczestnikiem sytuacji, którą obserwuje, np. nauczyciel na zebraniu rady pedagogicznej. W przypadku obserwacji nieuczestniczącej obserwator jest osobą z zewnątrznp. nauczyciel na lekcji koleżeńskiej.

43 Metody zbierania danych WYWIAD: Wywiad zakłada bezpośrednie komunikowanie się badacza i badanego. Wymaga od osoby przeprowadzającej przygotowania pytań i umiejętności komunikacji.

44 Metody zbierania danych ANALIZA DOKUMENTÓW Analiza dokumentów jest jedną z ważniejszych metod i jak najczęściej powinniśmy planować jej wykorzystanie w ewaluacji - jako bardzo istotną bazę danych, zwłaszcza na temat wiedzy i umiejętności czy postępów.

45 Dokumenty pisane: Np. Szkolne i domowe prace pisemne uczniów. Testy osiągnięć. Dzienniki lekcyjne, arkusze ocen. Artykuły prasowe o szkole. Sprawozdania i protokoły z posiedzeń zespołów szkolnych. Opinie, świadectwa, zapisy rozmów protokołowanych. Archiwalia.

46 Dokumenty cyfrowe: Opracowania liczbowe, którymi dysponuje szkoła - wyniki klasyfikacji, egzaminów zewnętrznych, frekwencji uczniów. Centralne opracowania zawarte w oficjalnych wydawnictwach statystycznych. Statystyki lokalne dotyczące oświaty, sporządzane dla potrzeb władz terenowych.

47 Dokumenty obrazowe i obrazowo- dźwiękowe Rysunki i inne prace ręczne uczniów Fotografie Nagrania magnetofonowe, video, płyty CD

48 Podsumowanie Ewaluacja jest związana z badaniem jakości działań, do jej prowadzenia służą te same, co do badania jakości, metody i narzędzia. Do zbierania informacji można więc wykorzystać; ankiety, kwestionariusze wywiadów, arkusze obserwacji, testy różnego rodzaju, metody graficzne, dyskusje czy studium przypadku.

49 Podsumowanie Wdrażanie ewaluacji jest niezbędne do prawidłowego funkcjonowania szkoły i jej ustawicznego rozwoju oraz szeroko rozumianego postępu. Zarówno sama wiedza o ewaluacji, jak również znajomość metod i technik jej prowadzenia, powinny stać się jednym z priorytetów placówek oświatowych.

50 Opracowanie Opracowanie: Teresa Kozioł, konsultant LSCDN Oddział w Chełmie na podstawie: G. Mazurkiewicz [red.], Ewaluacja w nadzorze pedagogicznym, Kraków L. Korporowicz, [red], Ewaluacja w edukacji, Oficyna Wydawnicza, Warszawa B. Ciężka, Planowanie ewaluacji wewnętrznej w szkole, [ w: ] :] G. Mazurkiewicz (red.), Ewaluacja w nadzorze pedagogicznym, Kraków H. Mizerek, Efektywna autoewaluacja w szkole, [w:] G. Mazurkiewicz (red.), Ewaluacja w nadzorze pedagogicznym, Kraków Rozporządzenie MEN z dnia 7 października 2009 roku w sprawie nadzoru pedagogicznego. A. Wojtyna, Ewaluacja w szkole, [w: ] Ad rem, nr 22, III 2010.