Raport końcowy z monitoringu i ewaluacji projektu:

Raport końcowy z monitoringu i ewaluacji projektu: MUZ-ART-TECH interdyscyplinarne programy nauczania dla III etapu kształcenia z wykorzystaniem narzędzi informatycznych Instytut Rynku Elektronicznego Sp. z o.o. Warszawa, wrzesień 2014 Strona 1

RAPORT KOŃCOWY Z MONITORINGU I EWALUACJI projektu MUZ-ART-TECH interdyscyplinarne programy nauczania dla III etapu kształcenia z wykorzystaniem narzędzi informatycznych realizowanego zgodnie z umową nr UDA-POKL.03.03.04-00-186/12-00 wykonywaną w ramach poddziałania 3.3.4 Modernizacja treści i metod kształcenia, działanie 3.3 Poprawa jakości kształcenia, osi priorytetowej 3 Wysoka jakość systemu oświaty, Programu Operacyjnego Kapitał Ludzki w okresie: od 01.12.2012-30.09.2014r. Projekt realizowany przez: Społeczne Towarzystwo Oświatowe ul. Nowy Świat 39 00-029 Warszawa tel.: + 48 22 826 7864 faks + 48 22 826 7864 Wykonawca badań ewaluacyjnych: Instytut Rynku Elektronicznego Sp. z o.o. Warszawa, dn. 29.09.2014r. Strona 2

Spis treści 1. OPIS PRZEDSIĘWZIĘCIA... 4 1.1. Cel projektu:... 4 1.2. Grupa docelowa... 4 1.3. Oczekiwane rezultaty projektu:... 4 1.4. Zagadnienia badawcze:... 5 1.5. Wykonane badania i opracowania w ramach monitoringu i ewaluacji.... 7 1.6. Narzędzia zastosowane do badania efektywności kształcenia.... 8 1.7. Wyniki badania efektywności kształcenia.... 9 Program MUZ-INFO... 9 Program ART-INFO... 13 Program TECH-INFO... 14 1.8. Badanie wskaźnika wzrostu poziomu wiedzy i umiejętności u nauczycieli....15 1.8.1 Ankiety nauczycieli... 15 2. WNIOSKI KOŃCOWE.... 16 Strona 3

1. OPIS PRZEDSIĘWZIĘCIA 1.1. Cel projektu: Projekt ma na celu Wzrost jakości nauczania w szkołach gimnazjalnych w III etapie edukacji poprzez opracowanie i wdrożenie 3 innowacyjnych programów interdyscyplinarnego nauczania w module podstawowym i z rozszerzeniami dla ucznia uzdolnionego z wykorzystaniem narzędzi informatycznych. Osiągnięcie celu głównego projektu jest możliwe poprzez realizację wdrożeń w zakresie trzech opracowanych w wyniku dotychczasowej realizacji projektu programów nauczania MUZ-INFO, ART-INFO oraz TECH-INFO w sześciu szkołach gimnazjalnych biorących udział w projekcie. 1.2. Grupa docelowa Grupę docelową stanowią uczniowie (134 osoby) oraz nauczyciele (36 osób) z sześciu szkół gimnazjalnych (3 szkoły publiczne i 3 szkoły niepubliczne) z miast: 1. Białystok: Gimnazjum nr 29 im. A. Mickiewicza i Społeczne Gimnazjum nr 2 STO 2. Siedlce: Publiczne Gimnazjum nr 5 i Społeczne Gimnazjum STO 3. Warszawa: Gimnazjum nr 94 i Społeczne Gimnazjum nr 1 STO 1.3. Oczekiwane rezultaty projektu: Aby zrealizować zdefiniowany powyżej (w punkcie 1.1.) cel główny projektu, w wyniku realizacji projektu oczekiwane jest osiągniecie następujących rezultatów: 1. Opracowanie i wdrożenie innowacyjnego interdyscyplinarnego programu nauczania MUZ-INFO; 2. Wzrost wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem MUZ-INFO; 3. Osiągnięcie liczby 40 uczniów objętych wdrożeniem programu MUZ-INFO; Strona 4

4. Opracowanie i wdrożenie innowacyjnego interdyscyplinarnego programu nauczania ART-INFO; 5. Wzrost wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem ART-INFO; 6. Osiągnięcie liczby 40 uczniów objętych wdrożeniem programu ART-INFO; 7. Opracowanie i wdrożenie innowacyjnego interdyscyplinarnego programu nauczania TECH-INFO; 8. Wzrost wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem TECH-INFO; 9. Osiągnięcie liczby 40 uczniów objętych wdrożeniem programu TECH-INFO; 10. Wzrost poziomu wiedzy nauczycieli w zakresie nauczania programów interdyscyplinarnych 11. Osiągnięcie liczby 36 nauczycieli przeszkolonych w zakresie opracowanych programów. Miarą osiągniecia powyższych rezultatów są przyjęte we wniosku o dofinansowanie realizacji projektu i zaprezentowane powyżej - wskaźniki pomiaru celów. Wskaźniki powinny zostać osiągnięte najpóźniej do dnia 30 września 2014 roku. Okres realizacji ewaluowanego projektu - 01.12.2012-30.09.2014r. 1.4. Zagadnienia badawcze: Celem działań monitorujących było zapewnienie zgodności realizacji projektu z przyjętym harmonogramem oraz budżetem poprzez zbieranie obiektywnych dowodów potwierdzających poprawną realizację projektu, a także wywołanie odpowiednich działań naprawczych w przypadku stwierdzenia przekroczenia zadanych tolerancji projektu. Monitoringowi podlegały zatem wszelkie działania prowadzone przez Zespoły uczestniczące w realizacji projektu oraz wszelkie szeroko rozumiane produkty związane z projektem (umowy, dokumenty merytoryczne i finansowe, prezentacje, materiały reklamowe itp.) służące osiągnięciu celów projektu pod kątem ich zgodności merytorycznej, produktowej z celami projektu oraz harmonogramem i budżetem projektu. Tabela 1 zawiera elementy projektu poddane procesowi monitoringu. Strona 5

Tabela 1. Monitorowane projektu. Lp Nazwa elementu projektu Parametry monitorowane Okres monitorowania 1 Struktura organizacyjna projektu Stałość i stabilność struktury organizacyjnej projektu co kwartał 2 Struktura zadaniowa projektu Przydział zadań, odpowiedzialność, co kwartał 3 Harmonogram zadaniowy Osiąganie założonych projektem etapów co kwartał 4 Tabela wskaźników twardych (produktów) Produkty projektu - merytoryczne co kwartał 5 Tabela wskaźników miękkich (korzyści) Korzyści dostarczane przez projekt co kwartał 6 Harmonogram budżetowy Zgodność działań finansowych z założeniami projektu co miesiąc 7 Katalog rodzajowy kosztów kwalifikowanych Zgodność wydatków z rodzajami kosztów kwalifikowanych co miesiąc 8 Lista uczestników Analiza i statystyka projektowa w zakresie Uczestników Indywidualnych i Instytucjonalnych co kwartał 9 Testy umiejętności Uczestników Indywidualnych Wiedza i umiejętności uczniów co pół roku Natomiast prace prowadzone w ramach ewaluacji miały za zadanie pozyskanie wiedzy w zakresie następujących zagadnień: 1. jak postrzegana jest koncepcja projektu przez grupę docelową?; 2. jak odbierana jest interdyscyplinarność opracowanych programów nauczania?; 3. jak postrzegane są opisy i kryteria służące weryfikacji przyswojonej wiedzy w zakresie opracowanych programów nauczania?; Strona 6

4. jak wykorzystywane są technologie informacyjno-komunikacyjne w opracowanych programach?; 5. jakie jest oddziaływanie opracowanych programów w procesie nauczania?; 6. jakie są odczucia w zakresie planowanego wykorzystania doświadczenia i wiedzy nabytej w trakcie realizacji projektu?; 7. zauważonych przez beneficjentów ostatecznych słabych stron opracowanych i wdrażanych programów?. Zagadnienia badawcze zostały przetransformowane w narzędzia badawcze (ankiety) a te zostały udostępnione grupom badawczym w celu anonimowego udzielenia odpowiedzi. Uzyskane wyniki zostały omówione w poniżej wymienionych Raportach. 1.5. Wykonane badania i opracowania w ramach monitoringu i ewaluacji. W ramach realizacji projektu przez cały okres jego trwania były prowadzone działania monitorujące i badania ewaluacyjne. W wyniku działań w zakresie monitoringu opracowane zostały następujące dokumenty obejmujące okresy: Raport cząstkowy nr 1 - styczeń - sierpień 2013 r. Raport cząstkowy nr 2 - wrzesień -listopad 2013 r. Raport cząstkowy nr 3 - grudzień 2013 -luty 2014 r. Raport cząstkowy nr 4 - marzec - maj 2014 r. Raport podsumowujący wdrażanie nr 5 - czerwiec 2014 r. W wyniku badań w zakresie ewaluacji opracowane zostały następujące dokumenty: Raport nr 1, obejmujący okres do lutego 2014r. Raport nr 2, obejmujący okres do 30 czerwca 2014r Ponadto badania związane z weryfikacją uzyskanych rezultatów w zakresie: a/ Wzrostu wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem MUZ- INFO; b/ Wzrostu wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem ART- INFO; c/ Wzrostu wiedzy u 80% uczniów (32 osoby) z dziedzin objętych programem TECH- INFO; d/ Wzrostu poziomu wiedzy nauczycieli w zakresie nauczania programów interdyscyplinarnych, były prowadzone na poziomie realizacji każdego programu w ramach badania efektywności kształcenia. Polegały one na przeprowadzeniu na początku i na końcu wdrożenia testów Strona 7

wiedzy wśród uczennic i uczniów biorących udział w projekcie. Ankietowaniu podlegali również nauczyciele w celu weryfikacji zmiany ich poziomu wiedzy w zakresie nauczania ww. programów. Wyniki tych badań zostały ujęte w dokumentach: Raport z badania efektywności kształcenia programu MUZ-INFO. Raport z badania efektywności kształcenia programu ART.-INFO. Raport z badania efektywności kształcenia programu TECH-INFO. Ponieważ badanie efektywności nie było przedstawione we wcześniejszych raportach z monitoringu i ewaluacji, poniżej zamieszczono omówienie niniejszego zagadnienia. 1.6. Narzędzia zastosowane do badania efektywności kształcenia. 1. testy diagnostyczne Niniejsze badania obejmowały trzy programy, przy czym każdy z programów składał się z trzech przedmiotów, które stanowią cześć podstawy programowej dla III etapu edukacyjnego. Programy te, więc musiały być zgodny z zapisami ww. podstawy programowej i proporcjonalnie, do zakładanego wymiaru godzin realizować jej założenia. Dlatego też opracowane zostały testy diagnozujące umiejętności uczniów wynikające zarówno z podstawy programowej, jak i stanowiące podstawowe cele nauczania danego programu. Uczniowie dwukrotnie przystąpili do rozwiązywania testów. Raz we wrześniu przed przystąpieniem do pracy z programem, i drugi raz w czerwcu po 10 - miesięcznym pilotażu i pracy z materiałami dydaktycznym. Treść testów zamieszczona jest w raportach z badania efektywności. Dla każdego ucznia obliczono jego indywidualne EWD (wskaźnik edukacyjnej wartości dodanej), uwzględniając każde z pytań testu diagnozującego w obrębie poszczególnych przedmiotów. Jest to najważniejszy wskaźnik obrazujący efektywność kształcenia w oparciu o nowy program nauczania. Wyniki zestawień dla poszczególnych uczniów i programów zostały zestawione w tabelach poniżej. 2. semestralne raporty Semestralne raporty badania efektywności kształcenie i realizacji wdrożenia opracowywali nauczyciele każdej ze szkół biorących udział w pilotażowym wdrożeniu nowych interdyscyplinarnych programach. Raporty były pisane po każdym semestrze wdrożenia, przez wszystkich nauczycieli biorących w nim udział (łącznie 36 osób). 3. informacje wynikające z dyskusji podczas spotkań konsultacyjnych organizowanych przez ZZP Strona 8

1.7. Wyniki badania efektywności kształcenia. Omówienie wyników zostało zestawione poniżej dla poszczególnych programów. Program MUZ-INFO Edukacyjną wartość dodaną dla całej grupy ujęto, jako, % przyrostu wiedzy w całej badanej grupie i obliczał, jako iloraz: (różnicy ilości uczniów, którzy we IX 13 osiągnęli niezadowalający wynik i tych którzy w VI 2014 mieli niezadowalający wynik) / (ilość uczniów, którzy we IX 13 osiągnęli niezadowalający wynik). Takie obliczenie pozwoli pokazać na ile działania wszystkich nauczycieli pracujących w programie Muz-Info i zaangażowanie uczniów zmienia wiedzę i umiejętności całej grupy uczniów. Tab. 1 Sprawdzian wiedzy i umiejętności programu Muz-Info SSP nr 2 STO PG 29 Razem Sprawdzenie wiedzy na wstępie (IX'2013) i na zakończeniu (VI'2014) wdrożenia Muz-Info 1 - Odp popr IX'13 VI'14 EWD IX'13 VI'14 EWD EWD 0- Brak lub nie 1 0 1 0 1 0 1. Wymień najważniejsze elementy muzyki. 9 3 12 0 100% 8 18 21 3 83% 85,7% 2. Uzupełnij brakujące wartości w poniższych taktach. 3 9 11 1 89% 2 24 21 3 88% 87,9% 3. W poniższych taktach brakuje kresek taktowych. Wpisz je w odpowiednich miejscach. 3 9 11 1 89% 2 24 20 4 83% 84,8% (przykłady nutowe) 4. Podpisz nuty nazwami literowymi i solmizacyjnymi. 5 7 11 1 86% 1 25 22 4 84% 84,4% (przykłady nutowe) 5.Wielokrotnie powtarzany motyw rytmiczny lub melodyczny to: 1 11 12 2 82% 9 17 23 3 82% 82,1% A. Ostinato B. Staccato C. Maestoso 6. Dynamika to: 5 7 11 1 86% 17 9 25 1 89% 87,5% A. instrument strunowy B. głośne i ciche dźwięki w utworze Strona 9

C. szybka gra na instrumencie 7. Crescendo oznacza 1 11 10 2 82% 8 18 23 3 83% 82,8% A. stopniowe zmniejszanie głośności dźwięków B. szybka gra na inst. C. stopniowe zwiększanie głośności dźwięków 8. Artykulacja to: 10 2 12 0 100% 11 15 25 1 93% 94,1% A. sposób wykonania utworu np. legato lub staccato B. instrument szarpany strunowy C. taniec pochodzący z Węgier 9. Podpisz nazwy instrumentów (pod zamieszczonymi obrazkami) 10 2 12 0 100% 14 12 22 2 83% 85,7% 10.Wpisz rodzaje głosów od najniższego do najwyższego 5 7 11 1 86% 3 23 22 4 83% 83,3% 11.Napisz ilu muzyków gra 9 3 12 0 100% 9 17 24 2 88% 90,0% W trio W kwartecie W kwintecie 12. Człowiek renesansu to: 7 5 12 0 100% 9 17 24 2 88% 90,9% A. architekt tworzący renesansowe katedry B. artysta żyjący w epoce renesansu C. wszechstronny twórca wybitny geniusz w kilku dziedzinach. 13. Jan Sebastian Bach był: 11 1 12 0 100% 20 6 26 0 100% 100,0% A kompozytorem B kantorem C. organistą Strona 10

14. Fryderyk Chopin komponował: 1 11 12 0 100% 1 25 25 1 96% 97,2% A. mazurki, polonezy, etiudy B. polonezy koncerty, etiudy C. suity, balety, opery 15. Polskie tańce narodowe to: 11 1 12 0 100% 15 11 24 2 82% 83,3% A. walc, polonez, krakowiak, mazur, kujawiak B. polonez, oberek, kujawiak, czardasz, mazur C. polonez, krakowiak, mazur, kujawiak, oberek 16.Wielokrotnie powtarzana melodia lub rytm to: 4 8 12 0 100% 2 24 24 2 92% 93,8% A. spianato B. spiccato C. ostinato 17. Rapujaca muzyka z melorecytacją to: 11 1 12 0 100% 18 8 26 0 100% 100,0% A. Hop hop B. Hip hop C. Hula hop 18. Pałeczka dyrygenta to: 11 1 12 0 100% 18 8 25 1 88% 88,9% A. batuta B. bagietka C. metrum 19. Pogrupuj w tabeli niżej wymienione instrumenty: 7 5 12 0 100% 21 4 25 1 75% 88,9% strunowe Skrzypce; altówka; gitara fortepian dęte Strona 11

Trąbka flet saksofon klarnet perkusyjne Kastaniety kotły marakas bęben 20. Napisz, co oznaczają następujące określenia: 4 8 11 1 88% 2 24 22 4 83% 84,4% Diminuendo Forte Allegro a capella 21. Wstaw przymiotniki występujące w tytułach utworów 1 11 10 2 82% 2 23 24 2 91% 88,2% A rapsodia G. Gerschwina B.Koncert.J.S. Bacha C dwór S. Moniuszki SSP 2 STO PG 29 123 12 90,2% 352 45 87,2% 88,0% Cała grupa uczniów uzyskała ze wszystkich pytań wyniki 88% przyrostu wiedzy (EWD), przy czy w PG 29 wynosił 87, 2%, zaś w SSP 2 STO uzyskano wynik 90,2 %. Na poszczególne pytania sprawdzianu wiedzy zawartego w ankiecie wszyscy uczniowie, po zakończeniu pilotażu uzyskali przyrost wiedzy zawarty od 82 do 100%. Program nauczania Muz-Info oraz skrypt ucznia w szkołach biorących udział w pilotażu po bliższym poznaniu, zdobyciu pełnej wiedzy (o programie i skrypcie) przez ucznia jest akceptowany przez 97%, (100% w PG 29 i 92% w SSP nr 2 STO). Można więc stwierdzić, że uczniowie zrozumieli i zaakceptowali interdyscyplinarny sposób nauczania, zdobyli wiedzę i umiejętności: wzrost u 89% (100% w PG 29 i 86% w SSP nr 2 STO) uczniów biorących udział we wdrożeniu. Strona 12

Program ART-INFO Program ART-INFO to interdyscyplinarne ujęcie treści nauczania z trzech przedmiotów: zajęć artystycznych, plastyki i informatyki. Dla każdego ucznia obliczono jego indywidualne EWD (wskaźnik edukacyjnej wartości dodanej), uwzględniając każde z pytań testu diagnozującego w obrębie poszczególnych przedmiotów. Dla 45 uczniów biorących udział we wdrożeniu programu ART-INFO w siedleckich gimnazjach uzyskano następujące wyniki EWD z poszczególnych przedmiotów: Zajęcia artystyczne: EWD< 0 EWD = 0 EWD > 0 Uczniowie: 1 0 16 Społeczne Gimnazjum STO 1 0 27 Publiczne Gimnazjum nr 5 4.4% 0% 95.6% procent uczniów: Plastyka: EWD < 0 EWD = 0 EWD > 0 Uczniowie: 0 0 17 Społeczne Gimnazjum STO 2 5 25 Publiczne Gimnazjum nr 5 4.4% 11% 85.6% procent uczniów: Informatyka: EWD < 0 EWD = 0 EWD > 0 Uczniowie: 0 0 17 Społeczne Gimnazjum STO 1 2 25 Publiczne Gimnazjum nr 5 2.2% 4.4% 93.4% procent uczniów: Jak pokazują powyższe zestawienia, u znacznej większości uczniów, biorących udział w pilotażowym wdrażaniu programu ART-INFO nastąpił przyrost wiedzy i umiejętności. Analiza porównawcza wyników testu diagnozującego z września i czerwca jednoznacznie wskazuje przyrost u 91,5 % uczniów biorących udział we wdrożeniu. Strona 13

Program TECH-INFO We wdrożeniu programu wzięło udział 12 nauczycieli i 50 uczniów z obu szkół. Zarówno test diagnozujący jak i sprawdzający zawierał 17 pytań oraz instrukcję wypełnienia. W teście przeważały zadania zamknięte, w których uczeń wybierał prawidłową odpowiedź z pośród podanych lub zadania na dobieranie. Zadania otwarte wymagały od ucznia samodzielnego sformułowania krótkiej odpowiedzi. Dla każdego ucznia obliczono jego indywidualne EWD (wskaźnik edukacyjnej wartości dodanej) uwzględniającej każde z pytań testu diagnozującego. Jest to najważniejszy wskaźnik obrazujący efektywność kształcenia w oparciu o nowy program nauczania TECH-INFO. Wyniki zestawień dotyczące obliczenia indywidualnego wskaźnika edukacyjnej wartości dodanej zostały zestawione jak poniżej: 2 uczniów (4%) uzyskało wynik EWD < 0; 2 uczniów (4%) uzyskało wynik EWD = 0; 46 uczniów (92%) uzyskało wynik EWD > 0 Średnia wartość EWD obliczona dla wszystkich uczniów biorących udział w projekcie wnosi +8 i stanowi 20% wszystkich punktów możliwych do zdobycia w teście diagnozującym przyrost wiedzy i umiejętności. Wszyscy uczniowie tj. 100% biorący udział w realizacji programu uzyskali udokumentowany badaniem porównawczym przyrost wiedzy i umiejętności. Strona 14

1.8. Badanie wskaźnika wzrostu poziomu wiedzy i umiejętności u nauczycieli. 1.8.1 Ankiety nauczycieli Badanie wskaźnika wzrostu poziomu wiedzy i umiejętności u nauczycieli przeprowadzone zostało poprzez dokonanie samooceny. W wyniku przeprowadzonego badania ankietowego spośród 36 nauczycieli na pytanie Czy zaobserwowałaś/eś u siebie wzrost poziomu wiedzy i umiejętności w zakresie nauczania programów interdyscyplinarnych? zdecydowana większość tj. 97% odpowiedziała twierdząco. Strona 15

2. WNIOSKI KOŃCOWE. W efekcie przeprowadzonych badań monitorujących (tj weryfikacji przebiegu projektu) i ewaluacyjnych (tj. sprawdzania osiągniecie celów i rezultatów) dotyczących realizacji projektu MUZ-ART-TECH interdyscyplinarne programy nauczania dla III etapu kształcenia z wykorzystaniem narzędzi informatycznych, realizowanego zgodnie z umową nr UDA- POKL.03.03.04-00-186/12-00, wykonywaną w ramach działania 3.3.4 Modernizacja treści i metod kształcenia, w osi priorytetowej 3 Programu Operacyjnego Kapitał Ludzki 2007-2013 w okresie od 01-12-2012r. do 30-09-2014r., stwierdza się co następuje: 1. przebieg działań projektowych był zgodny z harmonogramem 2. wydatki w projekcie nie przekroczyły zakładanej wartości ujętej we Wniosku o dofinansowanie 3. rezultaty twarde (produkty) zostały osiągnięte w wyznaczonym terminie i z nieprzekroczeniem budżetu 4. rezultaty miękkie (efekty) zostały osiągnięte w zakreślonym terminie 5. cel główny projektu został osiągnięty 6. ścieżka realizacyjna projektu została oceniona jako optymalna dla osiągnięcia założonych celów. W związku z powyższym uznaje się, że projekt został zrealizowany właściwie i może stanowić podstawę do wdrażania opracowanych w nim programów na terenie całego kraju. Strona 16