Raport końcowy z monitoringu i ewaluacji projektu:

Transkrypt

1 Raport końcowy z monitoringu i ewaluacji projektu: MUZ-ART-TECH interdyscyplinarne programy nauczania dla III etapu kształcenia z wykorzystaniem narzędzi informatycznych Instytut Rynku Elektronicznego Sp. z o.o. Warszawa, wrzesień 2014 Strona 1

2 RAPORT KOŃCOWY Z MONITORINGU I EWALUACJI projektu MUZ-ART-TECH interdyscyplinarne programy nauczania dla III etapu kształcenia z wykorzystaniem narzędzi informatycznych realizowanego zgodnie z umową nr UDA-POKL /12-00 wykonywaną w ramach poddziałania Modernizacja treści i metod kształcenia, działanie 3.3 Poprawa jakości kształcenia, osi priorytetowej 3 Wysoka jakość systemu oświaty, Programu Operacyjnego Kapitał Ludzki w okresie: od r. Projekt realizowany przez: Społeczne Towarzystwo Oświatowe ul. Nowy Świat Warszawa tel.: faks Wykonawca badań ewaluacyjnych: Instytut Rynku Elektronicznego Sp. z o.o. Warszawa, dn r. Strona 2

3 Spis treści 1. OPIS PRZEDSIĘWZIĘCIA Cel projektu: Grupa docelowa Oczekiwane rezultaty projektu: Zagadnienia badawcze: Wykonane badania i opracowania w ramach monitoringu i ewaluacji Narzędzia zastosowane do badania efektywności kształcenia Wyniki badania efektywności kształcenia Program MUZ-INFO... 9 Program ART-INFO Program TECH-INFO Badanie wskaźnika wzrostu poziomu wiedzy i umiejętności u nauczycieli Ankiety nauczycieli WNIOSKI KOŃCOWE Strona 3

4 1. OPIS PRZEDSIĘWZIĘCIA 1.1. Cel projektu: Projekt ma na celu Wzrost jakości nauczania w szkołach gimnazjalnych w III etapie edukacji poprzez opracowanie i wdrożenie 3 innowacyjnych programów interdyscyplinarnego nauczania w module podstawowym i z rozszerzeniami dla ucznia uzdolnionego z wykorzystaniem narzędzi informatycznych. Osiągnięcie celu głównego projektu jest możliwe poprzez realizację wdrożeń w zakresie trzech opracowanych w wyniku dotychczasowej realizacji projektu programów nauczania MUZ-INFO, ART-INFO oraz TECH-INFO w sześciu szkołach gimnazjalnych biorących udział w projekcie Grupa docelowa Grupę docelową stanowią uczniowie (134 osoby) oraz nauczyciele (36 osób) z sześciu szkół gimnazjalnych (3 szkoły publiczne i 3 szkoły niepubliczne) z miast: 1. Białystok: Gimnazjum nr 29 im. A. Mickiewicza i Społeczne Gimnazjum nr 2 STO 2. Siedlce: Publiczne Gimnazjum nr 5 i Społeczne Gimnazjum STO 3. Warszawa: Gimnazjum nr 94 i Społeczne Gimnazjum nr 1 STO 1.3. Oczekiwane rezultaty projektu: Aby zrealizować zdefiniowany powyżej (w punkcie 1.1.) cel główny projektu, w wyniku realizacji projektu oczekiwane jest osiągniecie następujących rezultatów: 1. Opracowanie i wdrożenie innowacyjnego interdyscyplinarnego programu nauczania MUZ-INFO; 2. Wzrost wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem MUZ-INFO; 3. Osiągnięcie liczby 40 uczniów objętych wdrożeniem programu MUZ-INFO; Strona 4

5 4. Opracowanie i wdrożenie innowacyjnego interdyscyplinarnego programu nauczania ART-INFO; 5. Wzrost wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem ART-INFO; 6. Osiągnięcie liczby 40 uczniów objętych wdrożeniem programu ART-INFO; 7. Opracowanie i wdrożenie innowacyjnego interdyscyplinarnego programu nauczania TECH-INFO; 8. Wzrost wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem TECH-INFO; 9. Osiągnięcie liczby 40 uczniów objętych wdrożeniem programu TECH-INFO; 10. Wzrost poziomu wiedzy nauczycieli w zakresie nauczania programów interdyscyplinarnych 11. Osiągnięcie liczby 36 nauczycieli przeszkolonych w zakresie opracowanych programów. Miarą osiągniecia powyższych rezultatów są przyjęte we wniosku o dofinansowanie realizacji projektu i zaprezentowane powyżej - wskaźniki pomiaru celów. Wskaźniki powinny zostać osiągnięte najpóźniej do dnia 30 września 2014 roku. Okres realizacji ewaluowanego projektu r Zagadnienia badawcze: Celem działań monitorujących było zapewnienie zgodności realizacji projektu z przyjętym harmonogramem oraz budżetem poprzez zbieranie obiektywnych dowodów potwierdzających poprawną realizację projektu, a także wywołanie odpowiednich działań naprawczych w przypadku stwierdzenia przekroczenia zadanych tolerancji projektu. Monitoringowi podlegały zatem wszelkie działania prowadzone przez Zespoły uczestniczące w realizacji projektu oraz wszelkie szeroko rozumiane produkty związane z projektem (umowy, dokumenty merytoryczne i finansowe, prezentacje, materiały reklamowe itp.) służące osiągnięciu celów projektu pod kątem ich zgodności merytorycznej, produktowej z celami projektu oraz harmonogramem i budżetem projektu. Tabela 1 zawiera elementy projektu poddane procesowi monitoringu. Strona 5

6 Tabela 1. Monitorowane projektu. Lp Nazwa elementu projektu Parametry monitorowane Okres monitorowania 1 Struktura organizacyjna projektu Stałość i stabilność struktury organizacyjnej projektu co kwartał 2 Struktura zadaniowa projektu Przydział zadań, odpowiedzialność, co kwartał 3 Harmonogram zadaniowy Osiąganie założonych projektem etapów co kwartał 4 Tabela wskaźników twardych (produktów) Produkty projektu - merytoryczne co kwartał 5 Tabela wskaźników miękkich (korzyści) Korzyści dostarczane przez projekt co kwartał 6 Harmonogram budżetowy Zgodność działań finansowych z założeniami projektu co miesiąc 7 Katalog rodzajowy kosztów kwalifikowanych Zgodność wydatków z rodzajami kosztów kwalifikowanych co miesiąc 8 Lista uczestników Analiza i statystyka projektowa w zakresie Uczestników Indywidualnych i Instytucjonalnych co kwartał 9 Testy umiejętności Uczestników Indywidualnych Wiedza i umiejętności uczniów co pół roku Natomiast prace prowadzone w ramach ewaluacji miały za zadanie pozyskanie wiedzy w zakresie następujących zagadnień: 1. jak postrzegana jest koncepcja projektu przez grupę docelową?; 2. jak odbierana jest interdyscyplinarność opracowanych programów nauczania?; 3. jak postrzegane są opisy i kryteria służące weryfikacji przyswojonej wiedzy w zakresie opracowanych programów nauczania?; Strona 6

7 4. jak wykorzystywane są technologie informacyjno-komunikacyjne w opracowanych programach?; 5. jakie jest oddziaływanie opracowanych programów w procesie nauczania?; 6. jakie są odczucia w zakresie planowanego wykorzystania doświadczenia i wiedzy nabytej w trakcie realizacji projektu?; 7. zauważonych przez beneficjentów ostatecznych słabych stron opracowanych i wdrażanych programów?. Zagadnienia badawcze zostały przetransformowane w narzędzia badawcze (ankiety) a te zostały udostępnione grupom badawczym w celu anonimowego udzielenia odpowiedzi. Uzyskane wyniki zostały omówione w poniżej wymienionych Raportach Wykonane badania i opracowania w ramach monitoringu i ewaluacji. W ramach realizacji projektu przez cały okres jego trwania były prowadzone działania monitorujące i badania ewaluacyjne. W wyniku działań w zakresie monitoringu opracowane zostały następujące dokumenty obejmujące okresy: Raport cząstkowy nr 1 - styczeń - sierpień 2013 r. Raport cząstkowy nr 2 - wrzesień -listopad 2013 r. Raport cząstkowy nr 3 - grudzień luty 2014 r. Raport cząstkowy nr 4 - marzec - maj 2014 r. Raport podsumowujący wdrażanie nr 5 - czerwiec 2014 r. W wyniku badań w zakresie ewaluacji opracowane zostały następujące dokumenty: Raport nr 1, obejmujący okres do lutego 2014r. Raport nr 2, obejmujący okres do 30 czerwca 2014r Ponadto badania związane z weryfikacją uzyskanych rezultatów w zakresie: a/ Wzrostu wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem MUZ- INFO; b/ Wzrostu wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem ART- INFO; c/ Wzrostu wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem TECH- INFO; d/ Wzrostu poziomu wiedzy nauczycieli w zakresie nauczania programów interdyscyplinarnych, były prowadzone na poziomie realizacji każdego programu w ramach badania efektywności kształcenia. Polegały one na przeprowadzeniu na początku i na końcu wdrożenia testów Strona 7

8 wiedzy wśród uczennic i uczniów biorących udział w projekcie. Ankietowaniu podlegali również nauczyciele w celu weryfikacji zmiany ich poziomu wiedzy w zakresie nauczania ww. programów. Wyniki tych badań zostały ujęte w dokumentach: Raport z badania efektywności kształcenia programu MUZ-INFO. Raport z badania efektywności kształcenia programu ART.-INFO. Raport z badania efektywności kształcenia programu TECH-INFO. Ponieważ badanie efektywności nie było przedstawione we wcześniejszych raportach z monitoringu i ewaluacji, poniżej zamieszczono omówienie niniejszego zagadnienia Narzędzia zastosowane do badania efektywności kształcenia. 1. testy diagnostyczne Niniejsze badania obejmowały trzy programy, przy czym każdy z programów składał się z trzech przedmiotów, które stanowią cześć podstawy programowej dla III etapu edukacyjnego. Programy te, więc musiały być zgodny z zapisami ww. podstawy programowej i proporcjonalnie, do zakładanego wymiaru godzin realizować jej założenia. Dlatego też opracowane zostały testy diagnozujące umiejętności uczniów wynikające zarówno z podstawy programowej, jak i stanowiące podstawowe cele nauczania danego programu. Uczniowie dwukrotnie przystąpili do rozwiązywania testów. Raz we wrześniu przed przystąpieniem do pracy z programem, i drugi raz w czerwcu po 10 - miesięcznym pilotażu i pracy z materiałami dydaktycznym. Treść testów zamieszczona jest w raportach z badania efektywności. Dla każdego ucznia obliczono jego indywidualne EWD (wskaźnik edukacyjnej wartości dodanej), uwzględniając każde z pytań testu diagnozującego w obrębie poszczególnych przedmiotów. Jest to najważniejszy wskaźnik obrazujący efektywność kształcenia w oparciu o nowy program nauczania. Wyniki zestawień dla poszczególnych uczniów i programów zostały zestawione w tabelach poniżej. 2. semestralne raporty Semestralne raporty badania efektywności kształcenie i realizacji wdrożenia opracowywali nauczyciele każdej ze szkół biorących udział w pilotażowym wdrożeniu nowych interdyscyplinarnych programach. Raporty były pisane po każdym semestrze wdrożenia, przez wszystkich nauczycieli biorących w nim udział (łącznie 36 osób). 3. informacje wynikające z dyskusji podczas spotkań konsultacyjnych organizowanych przez ZZP Strona 8

9 1.7. Wyniki badania efektywności kształcenia. Omówienie wyników zostało zestawione poniżej dla poszczególnych programów. Program MUZ-INFO Edukacyjną wartość dodaną dla całej grupy ujęto, jako, % przyrostu wiedzy w całej badanej grupie i obliczał, jako iloraz: (różnicy ilości uczniów, którzy we IX 13 osiągnęli niezadowalający wynik i tych którzy w VI 2014 mieli niezadowalający wynik) / (ilość uczniów, którzy we IX 13 osiągnęli niezadowalający wynik). Takie obliczenie pozwoli pokazać na ile działania wszystkich nauczycieli pracujących w programie Muz-Info i zaangażowanie uczniów zmienia wiedzę i umiejętności całej grupy uczniów. Tab. 1 Sprawdzian wiedzy i umiejętności programu Muz-Info SSP nr 2 STO PG 29 Razem Sprawdzenie wiedzy na wstępie (IX'2013) i na zakończeniu (VI'2014) wdrożenia Muz-Info 1 - Odp popr IX'13 VI'14 EWD IX'13 VI'14 EWD EWD 0- Brak lub nie Wymień najważniejsze elementy muzyki % % 85,7% 2. Uzupełnij brakujące wartości w poniższych taktach % % 87,9% 3. W poniższych taktach brakuje kresek taktowych. Wpisz je w odpowiednich miejscach % % 84,8% (przykłady nutowe) 4. Podpisz nuty nazwami literowymi i solmizacyjnymi % % 84,4% (przykłady nutowe) 5.Wielokrotnie powtarzany motyw rytmiczny lub melodyczny to: % % 82,1% A. Ostinato B. Staccato C. Maestoso 6. Dynamika to: % % 87,5% A. instrument strunowy B. głośne i ciche dźwięki w utworze Strona 9

10 C. szybka gra na instrumencie 7. Crescendo oznacza % % 82,8% A. stopniowe zmniejszanie głośności dźwięków B. szybka gra na inst. C. stopniowe zwiększanie głośności dźwięków 8. Artykulacja to: % % 94,1% A. sposób wykonania utworu np. legato lub staccato B. instrument szarpany strunowy C. taniec pochodzący z Węgier 9. Podpisz nazwy instrumentów (pod zamieszczonymi obrazkami) % % 85,7% 10.Wpisz rodzaje głosów od najniższego do najwyższego % % 83,3% 11.Napisz ilu muzyków gra % % 90,0% W trio W kwartecie W kwintecie 12. Człowiek renesansu to: % % 90,9% A. architekt tworzący renesansowe katedry B. artysta żyjący w epoce renesansu C. wszechstronny twórca wybitny geniusz w kilku dziedzinach. 13. Jan Sebastian Bach był: % % 100,0% A kompozytorem B kantorem C. organistą Strona 10

11 14. Fryderyk Chopin komponował: % % 97,2% A. mazurki, polonezy, etiudy B. polonezy koncerty, etiudy C. suity, balety, opery 15. Polskie tańce narodowe to: % % 83,3% A. walc, polonez, krakowiak, mazur, kujawiak B. polonez, oberek, kujawiak, czardasz, mazur C. polonez, krakowiak, mazur, kujawiak, oberek 16.Wielokrotnie powtarzana melodia lub rytm to: % % 93,8% A. spianato B. spiccato C. ostinato 17. Rapujaca muzyka z melorecytacją to: % % 100,0% A. Hop hop B. Hip hop C. Hula hop 18. Pałeczka dyrygenta to: % % 88,9% A. batuta B. bagietka C. metrum 19. Pogrupuj w tabeli niżej wymienione instrumenty: % % 88,9% strunowe Skrzypce; altówka; gitara fortepian dęte Strona 11

12 Trąbka flet saksofon klarnet perkusyjne Kastaniety kotły marakas bęben 20. Napisz, co oznaczają następujące określenia: % % 84,4% Diminuendo Forte Allegro a capella 21. Wstaw przymiotniki występujące w tytułach utworów % % 88,2% A rapsodia G. Gerschwina B.Koncert.J.S. Bacha C dwór S. Moniuszki SSP 2 STO PG ,2% ,2% 88,0% Cała grupa uczniów uzyskała ze wszystkich pytań wyniki 88% przyrostu wiedzy (EWD), przy czy w PG 29 wynosił 87, 2%, zaś w SSP 2 STO uzyskano wynik 90,2 %. Na poszczególne pytania sprawdzianu wiedzy zawartego w ankiecie wszyscy uczniowie, po zakończeniu pilotażu uzyskali przyrost wiedzy zawarty od 82 do 100%. Program nauczania Muz-Info oraz skrypt ucznia w szkołach biorących udział w pilotażu po bliższym poznaniu, zdobyciu pełnej wiedzy (o programie i skrypcie) przez ucznia jest akceptowany przez 97%, (100% w PG 29 i 92% w SSP nr 2 STO). Można więc stwierdzić, że uczniowie zrozumieli i zaakceptowali interdyscyplinarny sposób nauczania, zdobyli wiedzę i umiejętności: wzrost u 89% (100% w PG 29 i 86% w SSP nr 2 STO) uczniów biorących udział we wdrożeniu. Strona 12

13 Program ART-INFO Program ART-INFO to interdyscyplinarne ujęcie treści nauczania z trzech przedmiotów: zajęć artystycznych, plastyki i informatyki. Dla każdego ucznia obliczono jego indywidualne EWD (wskaźnik edukacyjnej wartości dodanej), uwzględniając każde z pytań testu diagnozującego w obrębie poszczególnych przedmiotów. Dla 45 uczniów biorących udział we wdrożeniu programu ART-INFO w siedleckich gimnazjach uzyskano następujące wyniki EWD z poszczególnych przedmiotów: Zajęcia artystyczne: EWD< 0 EWD = 0 EWD > 0 Uczniowie: Społeczne Gimnazjum STO Publiczne Gimnazjum nr 5 4.4% 0% 95.6% procent uczniów: Plastyka: EWD < 0 EWD = 0 EWD > 0 Uczniowie: Społeczne Gimnazjum STO Publiczne Gimnazjum nr 5 4.4% 11% 85.6% procent uczniów: Informatyka: EWD < 0 EWD = 0 EWD > 0 Uczniowie: Społeczne Gimnazjum STO Publiczne Gimnazjum nr 5 2.2% 4.4% 93.4% procent uczniów: Jak pokazują powyższe zestawienia, u znacznej większości uczniów, biorących udział w pilotażowym wdrażaniu programu ART-INFO nastąpił przyrost wiedzy i umiejętności. Analiza porównawcza wyników testu diagnozującego z września i czerwca jednoznacznie wskazuje przyrost u 91,5 % uczniów biorących udział we wdrożeniu. Strona 13

14 Program TECH-INFO We wdrożeniu programu wzięło udział 12 nauczycieli i 50 uczniów z obu szkół. Zarówno test diagnozujący jak i sprawdzający zawierał 17 pytań oraz instrukcję wypełnienia. W teście przeważały zadania zamknięte, w których uczeń wybierał prawidłową odpowiedź z pośród podanych lub zadania na dobieranie. Zadania otwarte wymagały od ucznia samodzielnego sformułowania krótkiej odpowiedzi. Dla każdego ucznia obliczono jego indywidualne EWD (wskaźnik edukacyjnej wartości dodanej) uwzględniającej każde z pytań testu diagnozującego. Jest to najważniejszy wskaźnik obrazujący efektywność kształcenia w oparciu o nowy program nauczania TECH-INFO. Wyniki zestawień dotyczące obliczenia indywidualnego wskaźnika edukacyjnej wartości dodanej zostały zestawione jak poniżej: 2 uczniów (4%) uzyskało wynik EWD < 0; 2 uczniów (4%) uzyskało wynik EWD = 0; 46 uczniów (92%) uzyskało wynik EWD > 0 Średnia wartość EWD obliczona dla wszystkich uczniów biorących udział w projekcie wnosi +8 i stanowi 20% wszystkich punktów możliwych do zdobycia w teście diagnozującym przyrost wiedzy i umiejętności. Wszyscy uczniowie tj. 100% biorący udział w realizacji programu uzyskali udokumentowany badaniem porównawczym przyrost wiedzy i umiejętności. Strona 14

15 1.8. Badanie wskaźnika wzrostu poziomu wiedzy i umiejętności u nauczycieli Ankiety nauczycieli Badanie wskaźnika wzrostu poziomu wiedzy i umiejętności u nauczycieli przeprowadzone zostało poprzez dokonanie samooceny. W wyniku przeprowadzonego badania ankietowego spośród 36 nauczycieli na pytanie Czy zaobserwowałaś/eś u siebie wzrost poziomu wiedzy i umiejętności w zakresie nauczania programów interdyscyplinarnych? zdecydowana większość tj. 97% odpowiedziała twierdząco. Strona 15

16 2. WNIOSKI KOŃCOWE. W efekcie przeprowadzonych badań monitorujących (tj weryfikacji przebiegu projektu) i ewaluacyjnych (tj. sprawdzania osiągniecie celów i rezultatów) dotyczących realizacji projektu MUZ-ART-TECH interdyscyplinarne programy nauczania dla III etapu kształcenia z wykorzystaniem narzędzi informatycznych, realizowanego zgodnie z umową nr UDA- POKL /12-00, wykonywaną w ramach działania Modernizacja treści i metod kształcenia, w osi priorytetowej 3 Programu Operacyjnego Kapitał Ludzki w okresie od r. do r., stwierdza się co następuje: 1. przebieg działań projektowych był zgodny z harmonogramem 2. wydatki w projekcie nie przekroczyły zakładanej wartości ujętej we Wniosku o dofinansowanie 3. rezultaty twarde (produkty) zostały osiągnięte w wyznaczonym terminie i z nieprzekroczeniem budżetu 4. rezultaty miękkie (efekty) zostały osiągnięte w zakreślonym terminie 5. cel główny projektu został osiągnięty 6. ścieżka realizacyjna projektu została oceniona jako optymalna dla osiągnięcia założonych celów. W związku z powyższym uznaje się, że projekt został zrealizowany właściwie i może stanowić podstawę do wdrażania opracowanych w nim programów na terenie całego kraju. Strona 16