EWALUACJA WEWNĘTRZNA PRZEDMIOT BADANIA PROCESY WSPIERANIA ROZWOJU I EDUKACJI DZIECI SĄ ZORGANIZOWANE W SPOSÓB SPRZYJAJĄCY UCZENIU SIĘ KD - 6/ 2016-2017 Opracowała i zajęcia prowadzi: Maria M. Ferenc, konsultant ds. ewaluacji i oceniania
RAMOWY PROGRAM Opracowanie projektów ewaluacji. Konstruowanie narzędzi do zebrania danych w ramach realizowanego projektu ewaluacyjnego. Analiza i interpretacja wyników badania. Struktura i zasady opracowania raportu z ewaluacji. Formułowanie rekomendacji i sposoby ich wykorzystania. 2
LITERATURA 1. Babie E. (2005) Badania społeczne w praktyce, Warszawa 2. Konarzewski K. (2000) Jak uprawiać badania oświatowe. Metodologia praktyczna, Warszawa 3. Tołwińska - Królikowska E. red. (2010) Autoewaluacja w szkole, Warszawa 4. Trutkowski C, Mandes S. (2009) Wybrane metody badań społecznych w ocenie pracy szkół, Warszawa 5. Sagor R. (2008) Badanie przez działanie. Jak wspólnie badać, żeby lepiej uczyć, Warszawa 3
PODSTAWA PRAWNA EWALUACJI Rozporządzenie MEN w sp. nadzoru pedagogicz. 2. Ilekroć w rozporządzeniu jest mowa o: 4) ewaluacji należy przez to rozumieć proces gromadzenia, analizowania i komunikowania informacji na temat wartości działań podejmowanych przez szkołę lub placówkę; wyniki ewaluacji są wykorzystywane w procesie podejmowania decyzji skierowanych na zapewnienie wysokiej jakości organizacji procesów kształcenia, wychowania i opieki oraz ich efektów w szkole lub placówce. 4
CEL EWALUACJI Badanie Przygotowanie Działanie Program Realizacja Podsumowanie Wdrażanie 5
DEFINICJE EWALUACJI Refleksyjne rozpoznawanie wartości konkretnego działania lub obiektu w oparciu o przyjętą metodę i kryteria, w wyniku uspołecznionego procesu, którego celem jest jego poznanie, zrozumienie i rozwój. (L. Korporowicz) Zaplanowane i systematyczne działanie uwidaczniające, w jakim stopniu cele zostały osiągnięte. (H. Simons) 6
ZASTOSOWANIA EWALUACJI Poziom systemowy: ewaluacja zewnętrzna szkół i placówek cel podnoszenie efektywności w systemie oświaty Poziom instytucjonalny: ewaluacja programów (WDN, programy profilaktyki, programy wychowania przedszkolnego, diagnoza przedszkolna) cel podnoszenie jakości pracy szkoły Poziom indywidualny: autoewaluacja pracy nauczyciela (zajęcia, nowe metody, treści, programy, style) cel podnoszenie poziomu profesjonalizmu 7
SENS EWALUACJI W odróżnieniu od badań naukowych ewaluacja ma: sprzyjać kreowaniu rozwoju, pomagać w rozwiązywaniu praktycznych problemów, pozwalać na podejmowanie racjonalnych decyzji. Dla przeprowadzenia takiego badania niezbędne jest ustalenie kryteriów jakości, dlatego Rozporządzenie MEN podaje wymagania państwa wobec poszczególnych typów szkół i placówek. 8
WYMAGANIA WOBEC PLACÓWEK Przyjęta koncepcja godzi dwa aspekty nadzoru: ocenę ze strony państwa z zachowaniem autonomii szkoły. Poziom podstawowy jest obowiązujący i oznacza przyzwoitą pracę. Praca szkoły poniżej tego poziomu wymaga natychmiastowej poprawy. Praca szkoły w różnych aspektach może być powyżej tego poziomu i mogą to być działania zaliczane do poziomu wysokiego. 9
ZASIĘG EWALUACJI WEWNĘTRZNEJ Ewaluację wewnętrzną przeprowadza się w odniesieniu do wszystkich lub wybranych wymagań, o których mowa w rozporządzeniu MEN lub do innych zagadnień uznanych za istotne. W celu realizacji tych zadań dyrektor w szczególności obserwuje prowadzone przez nauczycieli zajęcia dydaktyczne, wychowawcze i opiekuńcze oraz inne zajęcia i czynności wynikające z działalności statutowej szkoły lub placówki. 10
ORGANIZACJA EWALUACJI WEWNĘTRZNEJ Dyrektor szkoły lub placówki publicznej opracowuje na każdy rok szkolny plan nadzoru pedagogicznego, który przedstawia radzie pedagogicznej do dnia 15 września roku szkolnego, którego plan dotyczy. 2. Plan nadzoru, o którym mowa w ust. 1, zawiera w szczególności: 3. przedmiot ewaluacji wewnętrznej oraz termin jej przeprowadzenia. 11
SENS EWALUACJI WEWNĘTRZNEJ W myśl nowej koncepcji nadzoru pedagogicznego ewaluacja ma być dokonywana przede wszystkim zespołowo. Jako podstawowy organ nadzoru dyrektor staje się organizatorem zespołowego działania ewaluacyjnego. To zmiana rewolucyjna, gdyż zakłada, że jedynie rozbudzając refleksje nauczycieli nad samooceną i samorozwojem placówki, można dokonywać istotnych zmian w jej funkcjonowaniu. 12
ZASADA TRIANGLUACJI Tzw. triangulacja, czyli różnorodność technik gromadzenia i analizy informacji : pozwala lepiej poznać i zrozumieć badany obiekt, stwarza możliwość dokonywania odniesień i porównań. Triangulacja może być zastosowana nie tylko wobec metod zbierania danych (różnorodność zastosowanych metod), ale także do źródeł informacji (zbieranie danych od różnych grup respondentów). Powstaje w ten sposób szerszy materiał badawczy do oceny i wnioskowania. 13
ETAPY EWALUACJI I. BADANIE 1. Plan i projekt 2. Gromadzenie danych 3. Analiza danych II. ROZPOWSZECHNIANIE WYNIKÓW 1. Raport 2. Prezentacje III. WYKORZYSTANIE WYNIKÓW 1. Dyskusja 2. Ewentualne ponowienie badań 3. Decyzje 14
PLANOWANIE EWALUACJI Szukanie odpowiedzi na pytania: co? określenie przedmiotu ewaluacji po co? ustalenie celu (zastosowanie ewaluacji) kto? powołanie zespołu badawczego kiedy? ramy czasowe procesu badawczego jak? wybór strategii badawczej 15
PROJEKTOWANIE EWALUACJI Budowanie projektu ewaluacji ma charakter bardziej liniowy niż systemowy, jednak praktyka pokazuje, że na projekt ewaluacji trzeba również patrzeć całościowo. Wybór przedmiotu ewaluacji kieruje nas w stronę problemów, które powinny zostać zbadane. Ocena uzyskanych informacji jest możliwa tylko wtedy, gdy znane są nam kryteria tej oceny. Z kolei postawienie określonych pytań kluczowych pociąga za sobą konieczność wyboru adekwatnych metod badawczych. 16
ELEMENTY PROJEKU Projekt powinien zawierać następujące elementy: 1. Opis przedmiotu ewaluacji 2. Pytania kluczowe (badawcze) 3. Kryteria oceny (wymagania/wskaźniki) 4. Określenie szczegółowej metodologii badania (techniki gromadzenia i analizy danych), dobór próby badawczej 5. Ustalenia organizacyjne podział zadań, harmonogram, wykaz niezbędnych środków 6. Określenie rodzaju (formatu) raportu 17
PYTANIA KLUCZOWE (BADAWCZE) Pytania kluczowe to pytania sformułowane w dość ogólny, ale konkretny sposób. Na ogół nie są pytaniami, które bezpośrednio zostaną zadane osobom ewaluaowanym, rzadko mogą być im zadane wprost. Są to pytania, na które będziemy poszukiwać odpowiedzi w trakcie całego procesu badawczego. Odpowiedzi na te pytania staną się kanwą raportu ewaluacyjnego. 18
PRZYKŁADY PYTAŃ Jak działania placówki zaspokajają indywidualne potrzeby edukacyjne dzieci i uwzględniają ich możliwości psychofizyczne? Jak przez organizację przestrzeni wspiera się rozwój dzieci? Jakie są rezultaty działań podjętych na podstawie wniosków z monitorowania? W jakim zakresie rozwiązania edukacyjne w przedszkolu są nowatorskie? 19
ĆWICZENIE Proszę do podanych pytań badawczych sformułować pytania szczegółowe (narzędziowe). 20
KRYTERIA EWALUACJI Adekwatność działań przedszkola do potrzeb i możliwości wychowanków. Współpraca nauczycieli w organizowaniu procesów wspomagania rozwoju i edukacji dzieci. Skuteczność działań podejmowanych na podstawie wniosków z monitorowania. Wykraczanie poza zalecane warunki i sposoby realizacji podstawy programowej. Skuteczność nowatorskich rozwiązań. 21
ĆWICZENIE Proszę do podanych pytań badawczych dobrać kryteria ewaluacji (oceny). 22
ŹRÓDŁA DOWODÓW W EWALUACJI Istnieją cztery główne źródła dowodów, na których opiera się proces ewaluacji: właściwa dokumentacja, dane własne dotyczące działań, opinie partnerów i informacje zwrotne, bezpośrednia obserwacja. Dowody mają potwierdzać ścisły związek pomiędzy skutecznym przywództwem, bieżącym zarządzaniem, wiarygodną ewaluacją wewnętrzną i rozwojem. 23
ĆWICZENIE Do swoich pytań szczegółowych proszę wskazać źródła danych. 24
PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH Jak działania placówki zaspokajają indywidualne potrzeby edukacyjne dzieci i uwzględniają ich możliwości psychofizyczne? Jakie sposoby rozpoznawania indywidualnych potrzeb i możliwości są stosowane w przedszkolu? Które działania wynikają z tak prowadzonej diagnozy? W jakim stopniu organizacja zajęć odpowiada potrzebom i możliwościom dzieci? W jakim stopniu nauczyciele i specjaliści współpracują w zaspokajaniu potrzeb i rozwijaniu zdolności dzieci? 25
PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH Jak przez organizację przestrzeni wspiera się rozwój dzieci? Jakie rozwiązania w zakresie przestrzeni wyzwalają aktywność dzieci? W jaki sposób otoczenie fizyczne wpływa na samopoczucie dzieci? Które elementy wyposażenia pozwalają na indywidualizację? 26
PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH Jakie są rezultaty działań podjętych na podstawie wniosków z monitorowania? W jaki sposób procesy wspomagania rozwoju i edukacji dzieci są monitorowane? Które działania przedszkola wynikają z wniosków z monitorowania? Jaki wpływ na rozwój dzieci miało wdrożenie wniosków z monitorowania? Co świadczy o efektach podjętych działań? 27
PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH W jakim zakresie rozwiązania edukacyjne w przedszkolu są nowatorskie? o Które rozwiązania wykraczają poza zalecane warunki i sposoby realizacji podstawy programowej? o Na ile te nowatorskie rozwiązania są systemowe? o Z czego wynikają podjęte działania nowatorskie? o Jaki jest rzeczywisty wpływ działań nowatorskich na rozwój dzieci? 28
STRATEGIE BADAWCZE Możliwe jest zastosowanie podejścia wyłącznie jakościowego, wyłącznie ilościowego lub mieszanego. Najbardziej uchwytna różnica między badaniem ilościowym i jakościowym tkwi w rodzaju surowych danych, jakie badacz gromadzi. W tym pierwszym mają one postać liczb, a w drugim postać tekstu. To wymusza różne metody analizy zebranego materiału. Zbiory liczb analizuje się metodami statystycznymi, zestawy tekstów - metodami analizy znaczeń (interpretacja i kodowanie). 29
METODY BADAWCZE Metoda badań - określony, powtarzalny sposób rozwiązania problemu badawczego z zastosowaniem odpowiedniej techniki badawczej, przy pomocy właściwych dla tej techniki narzędzi. Metody badań pedagogicznych - ilościowe eksperyment pedagogiczny monografia pedagogiczna metoda indywidualnych przypadków metoda sondażu diagnostycznego Metody badań pedagogicznych - jakościowe wywiad metoda biograficzna jakościowa analiza tekstu obserwacja 30
WYBÓR METODY Jest uzależniony od specyfiki badanego obiektu (np. liczby badanych osób) i sytuacji (gdzie, w jakich warunkach przeprowadzane jest badanie). Wybór ten jest nadrzędny wobec wyboru techniki i narzędzi. Prawidłowe przygotowanie do badań powinno obejmować wybór metody, techniki i narzędzi - według podanej kolejności. 31
TECHNIKI BADAWCZE Technika badań to czynności praktyczne, regulowane wypracowanymi drogą doświadczenia dyrektywami, pozwalające na otrzymanie optymalnie sprawdzalnych informacji. Techniki badań pedagogicznych obserwacja uczestnicząca wywiad indywidualny ankieta audytoryjna badanie dokumentów analiza treści techniki projekcyjne 32
NARZĘDZIA BADAWCZE Narzędziem badawczym nazywamy każdy przedmiot służący realizacji wybranej techniki badań. Główne narzędzia badawcze: kwestionariusz wywiadu/ dyspozycje do wywiadu kwestionariusz ankiety narzędzia socjometrii arkusze obserwacji/ dyspozycje do obserwacji skale 33
ĆWICZENIE Do przygotowanych pytań i źródeł proszę dobrać metody, techniki i narzędzia. 34
DOBÓR PRÓBY Dobierając próbę badawczą, czyli osoby, które powinny zostać objęte badaniem, należy zastanowić się, kto w najpełniejszy sposób będzie mógł udzielić informacji na temat kwestii objętych ewaluacją. Metody doboru przydatne w ewaluacji: losowy (prosty bez zwracania) - zapewnia możliwość wnioskowania o rozkładzie zmiennych w populacji, ale musi być więcej niż 120 przypadków do analizy; nielosowy (przypadkowy, typowy lub celowy) daje możliwość wnioskowania o badanym przypadku). 35
WIELKOŚĆ PRÓBY Wielkość próby w zależności od wielkości populacji przy założeniu +/- 5% błędu pomiaru. Populacja Próba 100 80 200 132 300 169 400-500 200-220 36
ĆWICZENIE Proszę określić sposób doboru i wielkość prób badawczych do projektowanej ewaluacji wewnętrznej. 37
TWORZENIE OPERATU LOSOWANIA Zasady : 1. odpowiedniość - wykaz powinien wiernie odzwierciedlać populację i być zaktualizowany, 2. kompletność - wykaz powinien zawierać wszystkie jednostki badanej populacji, 3. wyłączność - każdy element powinien występować w wykazie tylko raz, 4. dokładność - wykaz nie może zawierać jednostek nieistniejących lub nienależących do populacji, 5. dogodność - wykaz powinien być ponumerowany i łatwo dostępny. 38
JAKOŚĆ EWALUACJI Model, a nie recepta Richard Sagor Wszystkie przykłady i propozycje można traktować jedynie jako punkt wyjścia!!! 39
PSEUDO EWALUACJE MASYWNA mierzona obszernością opracowania; pozorowana, bo polega na wykorzystaniu sieci administracyjnej i technologii, a minimalnym stosowaniu metodologii. TOWARZYSKA jest oparta na kontaktach osobistych między stronami procesu, wiele energii zabierają deklaracje pokojowych intencji. TANDETNA szybka i pobieżna, zebrane przypadkowe dane są opatrzone zdroworozsądkowym komentarzem. 40
STANDARDY EWALUACJI użyteczność - ewaluacja ma sens tylko wtedy, gdy jest szansa na wykorzystanie jej rezultatów. wykonalność - ewaluację należy wykonywać wtedy, gdy jest to rzeczywiście możliwe ze względów praktycznych, a koszty równoważą nakłady. poprawność - ewaluacja musi być przeprowadzana uczciwie, z zachowaniem norm etycznych. stosowność badanie ewaluacyjne trzeba wykonać fachowo i precyzyjnie. 41
RZETELNOŚĆ BADANIA Pytania badawcze są odpowiednio sformułowane adekwatność pytań Źródła informacji są właściwie dobrane trafność źródeł Próba badawcza jest dobrze dobrana wiarygodność statystyczna Dane pochodzą z różnych źródeł różnorodność źródeł Zbieranie informacji odbywa się zgodnie z procedurami standaryzacja procedur i szkolenie badaczy jakościowych Dane są poparte dowodami udokumentowanie danych Zachowuje się granice między tym, co zostało zgromadzone, a tym, co wywnioskowane poprawność analizy 42
ferenc@odnlomza.pl