Opracowały: Izabela Kazimierska, Indira Lachowicz, Laura Piotrowska EWALUACJA WEWNĘTRZNA: WYKORZYSTANIE W PODSUMOWANIU RPW Publikacja powstała w ramach programu System doskonalenia oparty na ogólnodostępnym kompleksowym wspomaganiu szkół realizowanego przez Ośrodek Rozwoju Edukacji projekt współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego Creative Commons - Uznanie autorstwa-użycie niekomercyjne-na tych samych warunkach 3.0 Polska
Szkolny organizator rozwoju edukacji (SORE) może zaproponować dyrektorowi, aby w szkole zaplanowano i realizowano ewaluację wewnętrzną dotyczącą zagadnienia, którego wspomaganie (zwane dalej także projektem lub zmianą) w danym roku szkolnym dotyczy. Celem takiego postepowania jest zapewnienie spójności pomiędzy różnymi działaniami, które zachodzą w szkole ewaluacją i wspomaganiem. Dzięki temu SORE i rada pedagogiczna łatwiej podsumują roczny planu wspomagania (RPW), a wyniki i wnioski skuteczniej mogą służyć dalszemu rozwojowi szkoły. Ewaluacja może być określona jako proces gromadzenia informacji, który prowadzi do: wartościowania tego, co zostało osiągnięte; wyjaśnienia, jak do tego doszło; lepszego planowania kolejnych projektów. podjęcia decyzji przez radę pedagogiczną PLANOWANIE I PROJEKTOWANIE EWALUACJI Planowanie ewaluacji powinno być jednoczesne z planowaniem projektu zmiany, dzięki czemu obydwa procesy będą mogły przebiegać równolegle wraz ze zmianą następować będzie jej wartościowanie. Planowanie ewaluacji obejmuje: określenie celów ewaluacji i odbiorców wyników ewaluacji - dlaczego ewaluacja jest niezbędna? kto jej potrzebuje?; określenie przedmiotu ewaluacji; postawienie pytań kluczowych; ustalenie wskaźników; określenie kryteriów; określenie sposobu zbierania informacji (metody, narzędzia); określenie źródeł informacji; ustalenie harmonogramu; określenie sposobu, w jaki zaprezentowane zostaną wyniki ewaluacji. 1/ Celem ewaluacji może być: sprawdzenie, w jakim stopniu zostały osiągnięte zakładane cele wspomagania; znalezienie możliwości ulepszania działań, których dotyczyła zmiana i realizowanie ich w sposób bardziej efektywny; poszukiwanie nowych rozwiązań; identyfikowanie mocnych i słabych stron wspomagania; pokazanie, że prowadzone działania mają sens i mogą być upowszechnione. Odbiorcami mogą być nauczyciele, rodzice, uczniowie szkoły, partnerzy szkoły - w tym SORE. 2/ Przedmiotem (obszarem) ewaluacji mogą być: osiągnięte rezultaty projektu wspomagania; realizowane cele; Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego 2
zarządzanie finansowe; wpływ wspomagania na organizację (szkołę); proces wprowadzanej w projekcie zmiany. 3/ Pytania kluczowe/badawcze to pytania, na które poszukuje się odpowiedzi w trakcie prowadzonych badań. Możemy wyróżnić trzy rodzaje pytań kluczowych: opisowe, których celem jest obserwacja i poznanie zmian określenie, co się stało; przyczynowo-skutkowe, które pozwalają zrozumieć relacje pomiędzy przyczynami i skutkami, a przede wszystkim starają się uchwycić, w jaki sposób i do jakiego stopnia zaobserwowane zmiany można przypisać projektowi; o charakterze normatywnym, odnoszące się do kanonu kryteriów ewaluacji. Przykładem pytania kluczowego mogą być pytania: Jakie działania realizowane w projekcie odpowiadają potrzebom edukacyjnym uczniów? Jakie umiejętności zdobyli nauczyciele? Jakie umiejętności uczniów są wynikiem zmiany wynikającej ze wspomagania? 4/ Kryteria ewaluacji to wartości ważne dla uczestników projektu. Na początku realizowanego projektu należy określić, jakie wartości są najważniejsze dla danego projektu. Dzięki tym wartościom (kryteriom) będzie można opisać lub ocenić wartość działań prowadzonych w ramach projektu. Zanim przystąpimy do orzekania o wartości działań oraz do szukania sposobów ich ulepszania, należy podjąć decyzję, jakie wartości są najważniejsze dla danego projektu, a co zatem idzie, jakie kryteria ewaluacji powinny być użyte. Dla określonej grupy osób zaangażowanych w realizację projektu wartością może być np. zespołowość podejmowanych w projekcie działań, użyteczność działań, zgodność działań w potrzebami edukacyjnymi uczniów itd. 5/ Ustalenie wskaźników, czyli odpowiedź na pytanie: po czym poznamy, że są osiągane kryteria ewaluacji? Wskaźniki mogą odnosić się do spodziewanych rezultatów projektu np. umiejętności nauczycieli nabytych w trakcie realizowanej zmiany, mogą odnosić się do działań realizowanych w projekcie np. formy samokształcenia zorganizowane w szkole przez nauczycieli, mogą być miarą faktów np. liczbą uczniów biorących udział w projekcie, liczbą godzin poświęconych na realizację projektu. Wskaźnikiem może być miara opinii np. stopień satysfakcji postępami uczniów. Wskaźnik musi przekazywać proste informacje w sposób zrozumiały zarówno dla osób, które go sformułowały, jak i dla osób, które będą z niego korzystać. 6/ Metody i narzędzia badawcze. Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego 3
W ewaluacji stosuje się różne metody badawcze, aby wzajemnie weryfikować dane (triangulacja), zbierać jak najpełniejsze informacje, wykorzystywać zalety stosowanych metod i niwelować ich wady. Główne metody badawcze stosowane w ewaluacji to: wywiad ankietę obserwację analizę dokumentów/danych zastanych Ważne jest, aby nie ograniczać się tylko do robienia ankiety i wykorzystywać informacje zdobywane poprzez rozmowy z uczestnikami projektu, obserwacje poczynione w trakcie jego realizacji. 7/ Źródła informacji: próba badawcza, czyli określenie, kto może dostarczyć informacji? W szkole takimi źródłami informacji mogą być uczniowie, nauczyciele, rodzice, partnerzy szkoły. W ewaluacji uzyskuje się dane z różnych źródeł (triangulacja), by poznać opinię różnych grup respondentów oraz zbierać najpełniejsze informacje. Przy określaniu próby badawczej należy rozważyć, jakie są możliwości dotarcia do informacji?; oraz: Jak liczne przypadki pozwolą nam na odpowiedzenie na pytania kluczowe i na wyciagnięcie wniosków dotyczących wartości prowadzonych działań? DOBÓR PRÓBY. Losowy dobór próby zakłada, że każdy elementów składających się na populację ma taką samą szansę być wylosowanym. Jest kilka sposobów doboru losowego. Losowanie indywidualne nieograniczone. Najprostszym sposobem stosowania tej metody jest skorzystanie z tablic liczb losowych. W pierwszym kroku numeruje się od 1 do N wszystkie elementy populacji (np. uczestników programu szkoleniowego). W drugim kroku wybiera się dowolną liczbę zamieszczoną na tablicy losowej. W kolejnych krokach czyta się kolejne liczby z tablic losowych (w dowolnym, ale zawsze tym samym kierunku). Każda odczytana liczba odpowiadająca numerowi na naszej liście wskazuje, który element populacji zostanie wybrany do próby. Losowanie systematyczne. Polega na wybieraniu każdego k-tego elementu z populacji, począwszy od pierwszego elementu, który zostanie wybrany w sposób losowy. Próby systematyczne jest łatwiej dobierać przy dużych populacjach lub gdy próba ma być bardzo liczna. Losowanie warstwowe. Próba warstwowa jest stosowana po to, by mieć pewność, że różne grupy składające się na populację są właściwie reprezentowane. Losowanie grupowe. Polega na wcześniejszym określeniu dużych zbiorowości zwanych grupami, a następnie losowanie określonej liczby grup za pomocą losowania indywidualnego nieograniczonego lub warstwowego. W zależności od problemu badawczego do próby można włączyć wszystkie elementy grupy lub wybrać określoną ich liczbę stosując losowanie indywidualne nieograniczone lub warstwowe. Nielosowy dobór próby. Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego 4
Dobór celowy. Dobranie próby na podstawie własnej wiedzy o badanej populacji oraz celach badań. Szansa zakwalifikowania określonej osoby do badania, zależy od subiektywnej oceny badacza. Dobór oparty na dostępności badanych. Badanie realizuje się na próbie, która w danym momencie jest dostępna, np. studenci na wykładach, rodzice na zebraniu w szkole, ludzie przechodzący ulicą. Metoda kuli śnieżnej. Metoda stosowana, gdy trudno jest odszukać członków jakiejś specyficznej populacji, np. osoby pracujące na czarno, osoby pracujące dorywczo za granicą. Badacz wyszukuje kilka osób z badanej grupy, z nimi prowadzi badanie, a potem prosi o informacje potrzebne do odszukania innych osób z badanej populacji. Dobór kwotowy. Celem jest uzyskanie maksymalnego podobieństwa do populacji wyjściowej. Najczęściej w próbie kwotowej wybiera się osoby ze względu na: płeć, wiek, miejsce zamieszkania. Np., jeśli w projekcie 30% osób stanowiły kobiety, to w badanej próbie ich odsetek też powinien wynieść 30%. 8/ Ustalenie harmonogram ewaluacji polega na odpowiedzi na pytania: Co? Kto? Kiedy? Wykaz zadań oraz ich wykonawców porządkuje się wedle terminów realizacji, rozpisanych w postaci czasookresów, konkretnych dat lub przybliżonych terminów realizacji. 9/ Ustalenie sposobu prezentacji informacji. Należy unikać pisania opasłych raportów, ponieważ istnieje obawa, że nikt nie będzie miał czasu ich czytać. O wartości ewaluacji stanowi to, że wyniki są znane i maja szansę być wykorzystane (mogą być wykorzystanie podobnie jak raport z ewaluacji zewnętrznej) Prosta informacja końcowa składa się ze wstępu, odwiedzi na pytanie kluczowe oraz wyników i wniosków odnoszących się do kryteriów. Informacja ta może przybrać formę uporządkowanych notatek, slajdów, sprawozdania ustnego zaprotokółowanego na radzie pedagogicznej lub innej zasadnej dla charakteru pozyskanych informacji. 1/ Wstęp zawiera odpowiedzi na pytania: Jakie kwestie były badane? Jakimi metodami były badane? Kto był objęty badaniem? Kto przeprowadził badanie i kiedy? 2/ Wyniki, czyli odpowiedzi na pytanie kluczowe, które przedstawiają np. zarówno większościowe opinie, jak opinie formułowane przez nieliczne osoby, przykłady podejmowanych działań, przyjęte sposoby wprowadzonych rozwiązań itd. 3/ Wnioski, które odnoszą się do przyjętych wartości (do kryteriów ewaluacji). Wnioski w ewaluacji traktowane są jak w każdym innym badaniu, tj. nie należy ich utożsamiać z potocznie rozumianym Co trzeba zrobić?, tylko interpretacją wyniku. Dla przykładu: wyniki są takie, że połowa nauczycieli jest zadowolona z badanego działania, a połowa nie. Wynika stąd wniosek, że nauczyciele nie są zgodni co do oceny tego działania. Należy zaznaczyć, że ewaluacja nie powinna kończyć się rekomendacjami one pojawiają się po przedstawieniu wyników i są wynikiem ich recepcji przez interesariuszy. Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego 5
ANALIZA DANYCH I FORMUŁOWANIE WNIOSKÓW. Przeprowadzone badania dostarczają danych, które należy przeanalizować. W analizie jakościowej istotne jest stwierdzenie, czy dane są adekwatne, a na końcu wyciagnięcie wniosków. W analizie ilościowej sprawdzamy: Co mówią braki danych? Co widać w centrum? Jaka jest charakterystyka rozkładu? Gdzie jest dominanta? Gdzie przypada większość wypowiedzi po przekształceniu częstości? Co widać na granicach? Co się kryje na krańcach? Co oznaczają minima? W czasie analizowania danych warto dokonać analizy porównawczej i odpowiedzieć na pytanie: Jak to wygląda gdzie indziej?; lub: Jak to wyglądało w latach poprzednich? Analiza porównawcza może dotyczyć odniesienia się do danych z innych klas, z innych lat, z innych szkół, innych badań prowadzonych np. w kraju, w Europie itd. PRZYGOTOWANIE I PREZENTACJA INFORMACJI KOŃCOWEJ Zakończeniem procesu ewaluacji jest przedstawienie informacji końcowej interesariuszom i wykorzystanie wyników i wniosków do zaplanowania rozwoju szkoły. BIBLIOGRAFIA: Babbie E. Podstawy Badań Społecznych, PWN, Warszawa 2008 Mazurkiewicz G. red. Ewaluacja w nadzorze pedagogicznym. Odpowiedzialność, Kraków 2010 Mazurkiewicz G. red. Ewaluacja w nadzorze pedagogicznym. Konteksty Kraków 2010 Strona poświęcona ewaluacji w nadzorze www.npseo.pl Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego 6
Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego 7