Ewaluacja projektów uczniowskich. Prowadzący: mgr Barbara Okleja/doradca metodyczny, wojewódzki ekspert do wdrażania nowej podstawy programowej/

Transkrypt

1 Ewaluacja projektów uczniowskich Prowadzący: mgr Barbara Okleja/doradca metodyczny, wojewódzki ekspert do wdrażania nowej podstawy programowej/

2 Cel szkolenia : Doskonalenie umiejętności nauczycieli w obszarze zaprojektowania i przeprowadzenia ewaluacji projektu gimnazjalnego i wypracowanie konstruktywnych wniosków do dalszej pracy Kształcenie u nauczycieli umiejętności przekładania wniosków z ewaluacji na działania w celu podwyższenia jakości pracy szkoły

3 Zakres monitorowania i ewaluacji projektu gimnazjalnego.

4 MONITOROWANIE PROJEKTU CO TO JEST MONITOROWANIE? Monitorowanie można zdefiniowad jako ciągłe śledzenie postępów (lub ich braku) w procesie działao na rzecz przyjętych celów. Monitorowanie pełni dodatkowo funkcję informacyjną. Dzięki stałej kontroli postępu prac i poziomu ich zaawansowania, wszyscy zainteresowani mogą posiadad niezbędną wiedze i informacje umożliwiające im podjęcie w razie konieczności działao korygujących. Dodatkowo, zbiorcze zestawienie informacji zgromadzonych w trakcie monitoringu pozwala na skuteczną i możliwie dokładną analizę efektywności i wydajności działao realizowanych w ramach projektu. Monitoring jest skutecznym narzędziem, które umożliwia nam odpowiedź na pytanie, czy projekt zakooczył się sukcesem?

5 Aby skutecznie monitorowad projekt, należy szukad odpowiedzi m.in. na następujące pytania: Czy podejmowane działania prowadzą do zaplanowanego rezultatu? Czy założenia tego działania wymagają przeformułowania? Czy osiągane rezultaty prowadzą do osiągania celów? Czy projekt przebiega zgodnie z harmonogramem? Czy realizatorzy projektów zachowują się zgodnie z oczekiwaniami?

6 WSKAŹNIKI W PROCESIE MONITOROWANIA Poprawne monitorowanie powinno cechowad się obiektywnością i rzetelnością, Wskaźniki powinny zostad opracowane na początku cyklu projektu, najlepiej na etapie fazy planowania. Opracowanie ich na tym etapie umożliwia precyzyjne określenie celów i produktów projektu. wskaźniki powinny pokazywad osiągnięte wyniki związane z realizacją projektu

7 Monitoring projektu: Realizacja projektu będzie systematycznie monitorowana poprzez: - obserwację i rozmowy ze społecznością szkolną, - analizę wytworów uczniów - udział i zaangażowanie społeczności szkolnej w realizację poszczególnych zadań, - wymiana doświadczeń pomiędzy realizatorami projektu - zapisy w kronice szkolnej i stronie internetowej

8 Ewaluacja projektów edukacyjnych: Każdy uczeo uczestniczący w wykonywaniu projektów edukacyjnych powinien otrzymad informację zwrotną o osiągniętych celach, mocnych i słabych stronach, jak poprawid słabe strony i jak wykonad pracę lepiej.

9 Ewaluacja projektów edukacyjnych: Nie chodzi tutaj tylko o ocenę jakości i efektów pracy ucznia. Ewaluacja ma znacznie szerszy charakter. Musimy dzięki niej uzyskad informacje, które pozwolą nam nie w ustaleniu przyczyn ewentualnych niepowodzeo, braków i problemów. Pozwolą także wyłonid i rozwinąd te obszary projektu, które okazały się szczególnie efektywne w osiąganiu naszych celów.

10 Ewaluacja projektów edukacyjnych: Projekty wykonywane w szkole dają możliwośd uczenia się na błędach. Dlatego też uczniowie po zakooczeniu projektu: powinni dokonad analizy osiągniętych sukcesów i błędów, które popełnili w czasie tej pracy. Nawet wówczas, gdy została wykonana poprawnie, nie ustrzegli się zapewne drobnych błędów, których uświadomienie sobie powinno wyeliminowad je z następnych projektów, czy z innych podejmowanych w przyszłości działao.

11 Ewaluacja projektów edukacyjnych: Taka analiza jest szczególnie potrzebna wtedy, gdy uczniom nie udało się osiągnąd zamierzonego celu lub gdy osiągnęli go tylko częściowo. W przypadku prac projektowych nie można powiedzied, że zakooczyły się one niepowodzeniem, jeżeli uczniowie poddadzą analizie wykonaną pracę i zaproponują sposoby uniknięcia w przyszłości podobnych błędów.

12 Ewaluacja projektów edukacyjnych: Warto poświęcid trochę czasu i zorganizowad spotkanie z zespołem projektowym lub klasą, w której wykonywane były projekty, i zainicjowad dyskusję o sukcesach i porażkach. Można również przygotowad dla uczniów pisemne informacje zwrotne, co powinno byd łatwiejsze, jeśli wcześniej nauczyciel dobrze zorganizował proces monitorowania pracy uczniów i oceny etapowej oraz gromadził sporządzane podczas realizacji projektów arkusze oceny i obserwacji.

13 Ewaluacja projektów edukacyjnych: W przygotowaniu i przeprowadzeniu dyskusji, podsumowującej pracę uczniów nad projektem może pomóc wcześniejsze wypełnienie przez uczniów ankiety, zawierającej pytania dotyczące pracy projektowej : W jakiej grupie pracowałeś? Jaki był temat projektu? Wymieo imiona członków swojej grupy roboczej? O czym chciałeś się najwięcej dowiedzied? Czy Twój zespół osiągnął ten cel?

14 Ewaluacja Przeprowadzana jest po zakooczeniu realizacji projektu/programu Ocenia na ile udało się osiągnąd założone cele Ocenia skutecznośd i efektywnośd interwencji oraz jej trafnośd i użytecznośd Bada długotrwałe efekty (oddziaływanie) projektu/programu oraz ich trwałośd Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji

15 Karta ewaluacyjna Zadanie Lider grupy Co było trudne? Co się podobało? Jaka była współpraca z opiekunem? Uwagi

16 Określenie próby i metod badawczych Badaniem ankietowym zostanie objętych zostanie min. 20% losowo wybranych uczniów z każdej grupy wiekowej oraz wszyscy bezpośredni realizatorzy działań edukacyjnych objętych projektem.

17 Metody, techniki, narzędzia badawcze: jakich metod badawczych użyjemy? Zalecana elastyczność w doborze metod. Zalecane proste, przyjazne dla respondentów narzędzia nie wymagające pracochłonnych analiz. Należy pamiętać o zasadach doboru metod.

18 Podstawowe metody badań BADANIA ANKIETOWE O odpowiedzi na pytania. WYWIAD R rodzaj uporządkowanej rozmowy. OBSERWACJA Obserwowanie zastanej sytuacji. ANALIZA DOKUMENTACJI dokumentów i danych Przegląd istniejących

19 Narzędzia badawcze Kwestionariusz ankiety Arkusz obserwacji Arkusz wywiadu Kwestionariusz analizy dokumentów

20 ANKIETA: Przy tworzeniu ankiety (kwestionariusza ankiety) należy pamiętać o pewnych kwestiach, które dotyczą: poprawności formułowania pytań rodzajów pytań konstrukcji kwestionariusza instrukcji dla respondenta

21 PYTANIA ANKIETY 1. Zamknięte, które pozwalają udzielid odpowiedzi w ramach możliwości określonych przez badacza w formie skali bądź listy możliwych odpowiedzi Pytanie do rozstrzygnięcia- TAK, NIE, TRUDNO POWIEDZIED Pytanie pojedynczego wyboru Pytanie wielokrotnego wyboru Pytanie z uszeregowaniem odpowiedzi 2. Otwarte, które dają pełną swobodę przy udzielaniu odpowiedzi (trudne do przeanalizowania i sformułowania konkretnych wniosków) 3. Półotwarte, które zawierają listę odpowiedzi i jednocześnie dają możliwośd udzielenia odpowiedzi innej, dowolnej.

22 Jak układad pytania ankiety? Układaj krótkie pytania; Formułuj pytania jasno i precyzyjnie bez fachowego żargonu, nie zadawaj pytao w negatywnej formie!; Staraj się zawierad pytania jednowymiarowe na przykłąd nie pytaj jednocześnie o kilka spraw, unikaj stosowania spójników i, lub, poważnie zastanów się nad używaniem przecinków; Używaj kompletnej listy odpowiedzi; Pamiętaj, aby nie zadawad pytao mogących wprawid respondenta w zakłopotanie; Zdecydowanie unikaj zadawania pytao sugerujących odpowiedź

23 Konstrukcja kwestionariusza (ankiety ) Kwestionariusz możemy podzielid na 3 części: wstęp- informacje dotyczące autorów badania,, tytuł badania, jego cel a także prośbę o szczere i wyczerpujące odpowiedzi, zapewnienie o poufności i podziękowanie za wzięcie udziału w badaniu rozwinięcie- gdzie zamieszczamy pytania związane z badaną kwestią, układając je w kolejności od pytao ogólnych do szczegółowych zakooczenie- umieszczamy tutaj tzw. metryczkę- zbiór informacji o osobie, która wypełniała kwestionariusz, typu:wiek, płed, wykształcenie itp.

24 OBSERWACJA: Czynnośd badawcza, polegająca na gromadzeniu danych drogą spostrzeżeo.

25 OBSERWACJA Co będziemy obserwować? W jakim stopniu obserwator będzie zaangażowany w obserwowane przedsięwzięcie? Czy będziemy prowadzić obserwację jawną, czy ukrytą? Kiedy będziemy prowadzić obserwację? Jaki będzie zasięg prowadzonej obserwacji?

26 Cele obserwacji- przykłady diagnoza efektów kształcenia, regulowanie pracy nauczyciela w tych działaniach, gdzie zdarzyłyby się błędy w przestrzeganiu zasad nauczania; diagnozowanie zjawisk pedagogicznych w szkole; poprawa nauczania; nagradzanie znakomitego kształcenia; zmiany w przydziale zadao; ocena systemu doboru nauczycieli; promowanie indywidualnego rozwoju i samooceny; diagnoza i poprawa jakości w wymiarze indywidualnym oraz organizacyjnym; rozwój metod kształcenia w kierunku większej skuteczności

27 ARKUSZ OBSERWACJI Arkusz obserwacyjny- kwestionariusz z wytypowanymi wszystkimi zagadnieniami, które objąć ma obserwacja. W określonych rubrykach pod określonym zagadnieniem rejestrowane są wszystkie spostrzeżone fakty, zdarzenia i okoliczności mające związek z danym zagadnieniem.

28 Arkusz obserwacji powinien zawierać Przedmiot badao: Problem badawczy treśd obserwacji - Przedmiot obserwacji: jakie są poszukiwane dane i informacje - lista kwestii podlegających obserwacji - Miejsce i czas trwania obserwacji - Dane osoby prowadzącej badanie - Metoda badawcza: obserwacja ilościowa, jakościowa - Sposób zapisu danych - Interpretacja zgromadzonego materiału wnioski

29 Arkusz obserwacji zachowań w grupie Zachowanie /Imię ucznia/uczennicy Uważnie słucha innych, nie przerywa cudzych wypowiedzi, czeka, żeby zabrać głos, aż inni skończą. Zwięźle przedstawia swoje opinie, nie robi dygresji. Swoje opinie i uczucia wyraża wprost, nie stosuje aluzji. Jej/jego komunikaty niewerbalne są zgodne z werbalnymi. Zadaje pytania i parafrazuje wypowiedzi innych, by upewnić się, czy dobrze je rozumie. Rafał Magda Franek Kuba

30 Karta obserwacji - przykład KARTA OBSERWACJI dotyczy obserwacji apelu, akademii szkolnej konkursu itp.) Imię i nazwisko nauczyciela Rodzaj/ nazwa imprezy Data cele Uwagi o realizacji Zalecenia i rekomendacje Podpis nauczyciela Podpis dyrektora

31 Wywiad Wywiad jest techniką zbierania danych, która zakłada bezpośrednie komunikowanie się badacza i badanego.

32 Wywiad Przygotowanie wywiadu: Przygotowanie metryczki kwestionariusza wywiadu Określenie celu wywiadu Przedmiot badao: obszar Poszukiwane dane i informacje Określenie liczby respondentów Osoby odpowiedzialne za przeprowadzenie wywiadu Określenie sposobu przeprowadzenia wywiadu Przygotowanie listy pytao Opracowanie kwestionariusza Przykład arkusza wywiadu dla 3 respondentów: Cel wywiadu:.

33 Scenariusz wywiadu - przykład Jak oceniasz program wydarzenia/nauczania/ uroczystości? Jak oceniasz realizację wydarzenia/programu? Uzasadnij swój wybór. Co było/jest największą zaletą wydarzenia/programu? Uzasadnij swój wybór. Dlaczego wzięłaś/wziąłeś udział w wydarzeniu/programie? Czy nauczyłaś /łeś się czegoś o? Jeżeli tak, to czego? Co o tym wydarzeniu/ programie mówią inne osoby, które znasz? Gdy byś miał/a okazję, to uczesniczyłbyś/łabyś w podobnym wydarzeniu/programie? Uzasadnij swoje zdanie.

34 Przykład arkusza wywiadu dla 3 respondentów Dane dotyczące metryczki Metryczka 1 Metryczka 2 Metryczka 3 1. Miejsce i czas wywiadu 2. Charakterystyka respondenta 3. Osoba prowadząca wywiad Przedmiot badań: obszar Lp. pytania Treść pytania Uzyskana odpowiedź Uzyskana odpowiedź Uzyskana odpowiedź

35 ANALIZA DOKUMENTÓW Technika badawcza służącą gromadzeniu wstępnych, opisowych, także ilościowych informacji o badanej instytucji czy zjawisku wychowawczym, poznawania biografii jednostek, opinii wyrażonych w dokumentach. Dzięki analizie dokumentów uzyskujemy wiedzę na temat podstaw formalnoprawnych wszelkich działao realizowanych w szkole lub w placówce oraz podejmowanych decyzji różnego rodzaju, w tym decyzji administracyjnych.

36 RODZAJE DOKUMENTÓW Analiza dokumentów jest koniecznym uzupełnieniem innych metod i zawsze powinniśmy planowad jej wykorzystanie w ewaluacji- jako punkt wyjścia do zbierania innych danych lub jako uzupełnienie informacji uzyskanych z innych źródeł. Wyróżniamy: dokumenty pisane (sprawozdania i protokoły z różnych posiedzeo szkolnych, opinie i świadectwa, szkolne i domowe prace pisemne uczniów, dzienniki lekcyjne artykuły prasowe o szkole, archiwalia, statystyki) dokumenty cyfrowe (centralne opracowania zawarte w oficjalnych wydawnictwach statystycznych, statystyki lokalne dotyczące oświaty, sporządzane dla potrzeb władz terenowych, opracowania liczbowe, którymi dysponuje szkoła- wyniki klasyfikacji, egzaminów zewnętrznych, frekwencji uczniów. dokumenty obrazowe i obrazowo- dźwiękowe (rysunki i inne prace ręczne uczniów, fotografie, nagrania magnetofonowe i video)

37 Kwestionariusz analizy dokumentów Kwestionariusz analizy dokumentów powinien zawierad: - cel badania, - przedmiot badania: obszar, - poszukiwane dane i informacje ( pytania), - rodzaj i liczbę dokumentów poddanych analizie, - dane osób odpowiedzialnych, - uzyskane dane, - wnioski.

38 Przykład kwestionariusza analizy dokumentów: Rodzaj dokumentu Liczba dokumentów Potrzebne dane i informacje (przykład) Uzyskane dane i informacje (przykład) Karty pracy

39 Ewaluacja projektów edukacyjnych. Narzędzia do oceny pracy w grupie; Narzędzia do samooceny; Narzędzia do oceniania prezentacji

40 Wykorzystanie wyników ewaluacji Materiały z ewaluacji zostaną wykorzystane w sprawozdaniu merytorycznym w następującym zakresie: a) przy opisie stanu realizacji działań, a zwłaszcza przedstawianiu przyczyn niezgodności realizacji działań z harmonogramem i przy uzasadnieniu proponowanych działań naprawczych oraz w opisie problemów zaistniałych podczas realizacji działań,

41 Działania Zadanie Działanie Termin Osoba odpowiedzialna

42 Wnioski z ewaluacji Opis przedmiotu ewaluacji Cel ewaluacji Sposób prezentacji wyników ewaluacji Wyniki ewaluacji Co robimy dobrze? Co jest naszym problemem do rozwiązania? Co proponujemy zrobić, aby poprawić realizacje projektu?

43 Literatura. Aspinwall K. i inni: Co to jest ewaluacja? *w:+ Ewaluacja w szkole. Wybór tekstów. Red. H. Mizerek przy współpracy Aldony Hildenbrandt. Olsztyn 1997 s Brzdąk J.: Autoewaluacja w szkole. *w:+ Materiały seminaryjne. Ewaluacja wdrażania reformy systemu edukacji. Program Phare SMART PL , Subcomponent B. Warszawa 1999, s Schratz Michael: Metodologia samoewaluacji. *w:+ Ewaluacja w szkole. Wybór tekstów. Red. H. Mizerek przy współpracy Aldony Hildenbrandt. Olsztyn 1997, s Simons H.: Proces ewaluacji w szkołach. *w:+ Ewaluacja w szkole. Wybór tekstów. Red. H. Mizereka przy współpracy Aldony Hildenbrandt. Olsztyn 1997; Simons H.: Polityczne implikacje teorii ewaluacyjnych. [w:] Korporowicz L.: Ewaluacja w edukacji, 1997; Weiss Carol H.: Evaluation. Inc New Jerssey: Prentice Hall, Kasprzyk K. Bednarek K.*w+ Ewaluacja Krok po kroku 6.CiężkaB. Ewaluacja w szkole- planowanie i prowadzenie ewaluacji w: Ewaluacja wdrażania reformy systemu edukacji. Materiały seminaryjne, W-wa Królikowska E., Autoewaluacja w szkole, CODN, Warszawa 2002

44 EWALUACJA JEST KONIECZNA, ALE PROWADZONA W SPOSÓB ROZWAŻNY! POWODZENIA

45

46 Dziękuje za uwagę! mgr Barbara Okleja/doradca metodyczny, wojewódzki ekspert do wdrażania nowej podstawy programowej/