INNOWACYJNE METODY MODERNIZACJI OFERTY EDUKACYJNEJ Z ZASTOSOWANIEM ROZWIĄZAŃ MODUŁOWEGO SYSTEMU KSZTAŁCENIA

Transkrypt

1 RAPORT EWALUACYJNY MES INNOWACYJNE METODY MODERNIZACJI OFERTY EDUKACYJNEJ Z ZASTOSOWANIEM ROZWIĄZAŃ MODUŁOWEGO SYSTEMU KSZTAŁCENIA

2 SPIS TREŚCI Struktura raportu ewaluacyjnego wg, standardu KIW STRONA OPIS PRZEDMIOTU BADANIA 4 Przedmiot badania model MOE z MES 5 Produkty finalne związane z modelem MOE z MES 11 KRYTERIA OCENY 12 Kryteria ewaluacyjne badania ilościowe UŻYTECZNOŚĆ, SKUTECZNOŚĆ, TRAFNOŚĆ 13 Kryteria ewaluacyjne badania ilościowe TRAFNOŚĆ, RZETELENOŚĆ, EFEKTYWNOŚĆ 13 PYTANIA EWALUACYJNE 15 Pytania ogólne dla kryteriów oceny 16 Pytania szczegółowe dla poziomów modernizacji 17 Zestawienie kryteriów, pytań i metod oceny 18 OPIS METOD BADAWCZYCH 19 Zastosowane METODY BADAWCZE 20 CATI - (Computer Assisted Telephone Interview) ankiety telefoniczne 21 CAWI - (Computer Assisted Web Interview) ankiety internetowe 21 FGI (Focused Group Interview) - Zogniskowany wywiad grupowy 22 OPIS PRÓBY BADAWCZEJ 23 Termin i miejsce realizacji badania CATI, CAWI 24 Dobór respondentów do badania CATI, CAWI 24 Termin i miejsce realizacji badania FGI_O 25 Dobór respondentów do badania FGI_O 25 Termin i miejsce realizacji badania FGI_U 26 Dobór respondentów do badania FGI_U 26 PREZENTACJA WYNIKÓW - Badanie ILOŚCIOWE 27 Ocena UŻYTECZNOŚCI wypracowanego modelu 28 Użyteczność IP4 3 narzędzia modernizacji na poziomie UCZNIA 28 Użyteczność IP5 3 narzędzia modernizacji na poziomie SZKOŁY 30 Użyteczność IP6 3 narzędzia modernizacji na poziomie OTOCZENIA 33 Użyteczność Modelu MOE z MES - Wnioski 35

3 Ocena SKUTECZNOŚCI wypracowanego modelu 37 Skuteczność IP4 3 narzędzia modernizacji na poziomie UCZNIA 37 Skuteczność IP5 3 narzędzia modernizacji na poziomie SZKOŁY 39 Skuteczność IP6 3 narzędzia modernizacji na poziomie OTOCZENIA 40 Skuteczność Modelu MOE z MES - Wnioski 43 Ocena TRAFNOŚCI wypracowanego modelu 45 Trafność IP4 3 narzędzia modernizacji na poziomie UCZNIA 45 Trafność IP5 3 narzędzia modernizacji na poziomie SZKOŁY 47 Trafność IP6 3 narzędzia modernizacji na poziomie OTOCZENIA 48 Trafność Modelu MOE z MES - Wnioski 50 PREZENTACJA WYNIKÓW - Badanie JAKOŚCIOWE 52 Ocena TRAFNOŚCI wypracowanego modelu 53 Trafność procedury testowania modelu MOE z MES w opinii uczestników testu 54 Trafność modelu MOE z MES w opinii potencjalnych użytkowników 58 Trafność Modelu MOE z MES Wnioski 62 Ocena RZETELNOŚCI wypracowanego modelu 63 Rzetelność procedury testowania modelu MOE z MES w opinii uczestników testu 64 Rzetelność modelu MOE z MES w opinii potencjalnych użytkowników 68 Rzetelność Modelu MOE z MES - Wnioski 72 Ocena UŻYTECZNOŚCI wypracowanego modelu 73 Użyteczność modelu MOE z MES w opinii uczestników testu 74 Użyteczność modelu MOE z MES w opinii potencjalnych użytkowników 80 Użyteczność Modelu MOE z MES - Wnioski 84 Ocena EFEKTYWNOŚCI wypracowanego modelu 85 Efektywność modelu MOE z MES w opinii uczestników testu 85 Efektywność Modelu MOE z MES - Wnioski 90 WNIOSKI I REKOMENDACJE 91 Kryteria walidacyjne modeli I narzędzi MOE z MES 92 Efektywność narzędzi modernizacyjnych 92 Empowerment, czyli zaangażowanie grup docelowych 93 Multiplikowalność modeli IP4, IP5, IP6 i dostępność narzędzi 94 Jakość narzędzi 95

4 Ocena porównawcza wewnętrzna i zewnętrzna MOE z MES 96 Porównanie oceny modeli IP4, IP5 i IP6 w ramach MOE z MES 97 Porównanie oceny MOE dla obszarów problemowych DSK, MES i DOZ 98 Schematy wdrożeniowe MOE z MES 99 Upowszechnianie i mainstreaming narzędzi na poziomie UCZNIA 100 Upowszechnianie i mainstreaming narzędzi na poziomie SZKOŁY 101 Upowszechnianie i mainstreaming narzędzi na poziomie OTOCZENIA 102 Załączniki 103 Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie UCZNIA 1-3 Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie SZKOŁY 1-3 Załącznik 3. Ankieta CAWI opinia o modelu MOE z MES na poziomie OTOCZENIA 1-4 Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 1-13 Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNICY modelu 1-13

5 OPIS PRZEDMIOTU BADANIA Strona 4

6 Przedmiot badania Model MOE z MES Dostosowanie oferty edukacyjnej szkół zawodowych do potrzeb lokalnego rynku pracy to proces złożony obejmujący wiele aspektów funkcjonowania szkoły, takich jak współpraca z lokalnymi przedsiębiorcami w zakresie Dualnego Systemu Kształcenia (DSK), zwiększenie elastyczności absolwentów na lokalnym rynku pracy poprzez potwierdzanie kwalifikacji dla zadań zawodowych w ramach Modułowego Systemu Kształcenia (MES) czy też realizacja zadań doradztwa i orientacji zawodowej we współpracy z lokalnymi instytucjami rynku pracy (DOZ). Zagadnieniom tym poświęcono z osobna trzy obszary modernizacji oferty edukacyjnej szkoły zawodowej. W opracowaniu tym opisano wyniki ewaluacji złożonego modelu modernizacji szkoły zawodowej z wykorzystaniem elementów MES. Ocenie poddano 3 modele (schematy interwencji) związane z MES na poziomie organizacji pracy z uczniem, organizacji pracy szkoły jako instytucji oraz organizacji współpracy szkoły z otoczeniem. Analogicznie w przypadku dwóch pozostałych obszarów problemowych, czyli modernizacji szkoły zawodowej z wykorzystaniem elementów DSK lub DOZ opracowano i oceniono dalszych sześć modeli modernizacyjnych, na poziomie ucznia, szkoły i jej otoczenia. Niniejszy raport z ewaluacji metod modernizacji oferty edukacyjnej szkoły zawodowej dotyczy narzędzi związanych z Modułowym Systemem Kształcenia (MES). Metody te i związane z nimi narzędzia modernizacji szkoły opracowane zostały przez zespół specjalistów rynku pracy z Fundacji Forum Inicjatyw Rozwojowych, Narodowego Forum Doradztwa Kariery oraz nauczycieli skupionych wokół Zespołu Szkół Gastronomicznych w Białymstoku we współpracy ponadnarodowej z partnerami z Niemiec, Strona 5

7 Hiszpanii i Francji w ramach projektu Innowacyjnego PI WP: INNOWACJE EDUKACYJNE program testowania i wdrażania nowych metod modernizacji oferty kształcenia zawodowego w woj. podlaskim. Na podstawie przeprowadzonego testu opracowano opis 9 narzędzi składających się na 3 Produkty Finalne Laboratorium MES Wyniki przeprowadzonej ewaluacji, opisanej w poniższym raporcie są podstawą do sformułowania rekomendacji na temat możliwości i zasadności wdrożenia tych produktów w innych szkołach na terenie województwa podlaskiego. Jaku już wspomniano, kluczowym założeniem modelu modernizacji z wykorzystaniem elementów modułowego systemu kształcenia (MES) jest komplementarne oddziaływanie na szkołę w trzech aspektach jej funkcjonowania: pracy z uczniem, kompetencji kadr i wewnętrznego funkcjonowania szkoły oraz otoczenia szkoły. Trzem poziomom wsparcia szkoły odpowiadają 3 modele modernizacji oferty edukacyjnej poddane ocenie. (innowacyjne produkty IP4, IP5 i IP6), na które z kolei składają się konkretne narzędzia modernizacyjne łącznie 9 narzędzi wykorzystujących rozwiązania MES. Narzędzia te przedstawione są na poniższym schemacie tworząc razem pakiet narzędzi Modernizacji Oferty Edukacyjnej (MOE) szkoły zawodowej za zastosowaniem elementów MES. Należy w tym miejscu podkreślić, iż celem testowanych innowacji nie było wdrożenie Modułowego Systemu Kształcenia jako takiego, lecz wykorzystanie jego elementów do poprawy jakości kształcenia i modernizacji szkoły z uwzględnieniem jej otoczenia. W tym przypadku kluczowym kontekstem zmiany w szkole, definiującym otoczenie szkoły, byli lokalni pracodawcy, przedsiębiorcy współtworzący MES w szkole. Pakiet dziewięciu narzędzi modernizacyjnych nawiązujący do MES przedstawia poniższy schemat. Strona 6

8 Zgodnie z założeniami projektu, na każdym poziomie funkcjonowania szkoły testowano i oceniano po 3 narzędzia modernizacyjne: Oceniana metodologia modernizacji zakładała na każdym poziomie funkcjonowania szkoły 3 kroki modernizacji o odmiennych znaczeniu i charakterze, powiązane ze sobą logicznie w związku przyczynowoskutkowym: każdy krok powodował krok następny, uzasadniając go oraz nadając mu konkretny kierunek. Zależność i powiązanie ze sobą kolejnych kroków modernizacji (3 narzędzi w każdym modelu interwencji poziomie funkcjonowania szkoły) było między innymi przedmiotem badania ewaluacyjnego, w poszukiwaniu odpowiedzi na pytanie, czy za każdym razem wykonanie wymienionych 3 korków było niezbędne i korzystne dla projektowanej zmiany modernizacyjnej. Poszczególnym krokom odpowiadały inne etapy modernizacji, a tym samym kolejnym 3 narzędziom modernizacyjnym odmienne, powiązane ze sobą funkcje: funkcję badawczą (związaną z diagnozą problemu, obszaru zmiany), Strona 7

9 funkcję edukacyjną (związaną z przygotowaniem niezbędnych kompetencji do zmiany lub usunięcia zdiagnozowanego problemu) oraz funkcję strategiczną związaną z wdrożeniem planu modernizacji lub stałych rozwiązań wypracowanych na rzecz rozwiązania zdiagnozowanego problemu lub pomysłów na rozwój szkoły w określonym obszarze zmiany. Zgodnie z przedstawioną metodologią diagnoza problemu z zastosowaniem narzędzia badawczego (ankiety) stanowiła w na każdym poziomie modernizacji 1 krok na drodze do trafnej i trwałej zmiany. Kluczowym założeniem realizowanym w ramach testu, co także poddane zostało ocenie w badaniu ewaluacyjnym, była troska o to, by diagnoza ta odbywała się z udziałem wszystkich interesariuszy zmiany, w szczególności z udziałem otoczenia reprezentowanego przez lokalnych pracodawców. Na podstawie i w wyniku przeprowadzonej diagnozy z użyciem narzędzi badawczych planowany i realizowany był 2 krok na drodze modernizacji, związany z podniesieniem lub uzupełnieniem kwalifikacji (kadry szkoły). Etap ten realizowany był z wykorzystaniem narzędzi edukacyjnych (programów szkleń, programu spotkań) wykorzystanych na poziomie ucznia, szkoły i otoczenia. Po określeniu problemu, czyli obszaru zmiany oraz przygotowaniu kadry szkoły do rozwiązania problemu lub przeprowadzenia zmiany następował 3 krok związany z narzędziem o charakterze strategicznym, planistycznym, gdzie testowano i oceniano narzędzia porządkujące i wpisujące działania modernizacyjne w dłuższą perspektywę czasową lub inaczej, w życie szkoły poprzez nowy program nauczania, wieloletni program szkoleń czy strategię lokalnej współpracy. I tak na poziomie ucznia, czyli modernizacji szkoły w zakresie metod pracy z uczniem testowano następujące narzędzia: Strona 8

10 Ankieta modułów MES to w tym przypadku narzędzie badawcze określające moduły zawodowe (zadania zawodowe) dla danego zawodu. Narzędzie to, ze zrozumiałych względów skierowane zostało zarówno do uczniów jak też pracodawców z otoczenia szkoły. Wydzielenie modułów zawodowych w ramach modułowego systemu kształcenia i współpracy z pracodawcami jest w tym przypadku głównym kontekstem, obszarem, dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy. By kształcenia praktyczne ucznia było bardziej dostosowane do oczekiwań pracodawców niezbędne było przygotowanie nauczycieli praktycznej nauki zawodu do pracy z wydzielonymi zadaniami zawodowymi. W tym celu przygotowano program szkolenia nauczycieli z MES, czyli narzędzie edukacyjne kierowane do nauczycieli praktycznej nauki zawodu. W programie szkolenia przewidziano treści związane z wydzielaniem zadań zawodowych oraz przygotowujące kadry do egzaminowania i przygotowania uczniów do potwierdzania kwalifikacji dla zadań zawodowych. Treści szkolenia o charakterze wdrożeniowym w postaci projektu zmian lub korekt do nowego programu nauczania sformułowane zostały w formie rekomendacji programowych MES stanowiących narzędzie strategiczne modernizacji oferty edukacyjnej, wpisując zmiany w dokumenty strategiczne szkoły (program nauczania zawodu) w drodze uchwały Rady Pedagogicznej. Na poziomie szkoły, czyli modernizacji oferty edukacyjnej w zakresie metod zarządzania placówką edukacyjną i kompetencjami w organizacji testowano następujące narzędzia: Ankieta audytu MES to w tym przypadku narzędzie badawcze oceniające kompetencje Kadr Dydaktyczno-Administracyjnych (KDA) do realizacji zajęć Strona 9

11 edukacyjnych z zastosowaniem MES. Narzędzie to skierowane zostało zarówno do nauczycieli jak tez pracowników administracyjnych, odpowiedzialnych za kontakty z pracodawcami. W wyniku tego narzędzia określono potrzeby edukacyjne kadry szkoły, niezbędne do zastosowania MES w zakresie przygotowania ucznia do potwierdzania zadań zawodowych. Tym razem nie chodziło jednak o warsztat pracy nauczycieli praktycznej nauki zawodu, lecz o całą kadrę szkoły i wdrożenie MES do organizacji. Karta potrzeb szkoleniowych MES to narzędzie edukacyjne umożliwiające przygotowanie KDA do MES. Kolejnym krokiem modernizacji było w tym przypadku zaplanowanie szkoleń dla całej kadry, w ramach wieloletniego planu rozwoju szkoły. Narzędziem modernizacyjnym realizującym ten cel o charakterze planistycznym był Program szkolenia KDA z MES zastosowany w tym przypadku jako narzędzie strategiczne w procesie modernizacji oferty edukacyjnej szkoły na poziomie organizacji, placówki edukacyjnej. Na poziomie otoczenia, czyli modernizacji oferty edukacyjnej w zakresie metod współpracy szkoły z lokalnymi pracodawcami i instytucjami rynku testowano następujące narzędzia: Karta potrzeb koalicji MES to w tym przypadku narzędzie badawcze określające potrzeby wszystkich uczestników lokalnej współpracy. Zważywszy na fakt, iż narzędzie to musiało być użyte w ramach cyklu spotkań lokalnej kolacji, wcześniej zastosowano Program 5 spotkań koalicji MES traktowano w tym przypadku jako narzędzie edukacyjne przygotowujące uczestników lokalnej kolacji do wypracowania wspólnej Strategii współpracy na rzecz MES zastosowanej w tym przypadku jako narzędzie strategiczne określające wspólne cele i plan działań, projektów związanych z wdrożeniem MES w lokalną współpracę szkoły z otoczeniem. Strona 10

12 Produkty finalne związane z modelem MOE z MES Zgodnie z opracowanym raportem metodologicznym, na etapie przygotowania badań ewaluacyjnych w projekcie, ustalono, iż przedmiotem ewaluacji (zarówno wewnętrznej jak i zewnętrznej) skierowanej do uczestników procesu testowania oraz przedstawicieli otoczenia (pracodawców i instytucji rynku pracy) jest określenie użyteczności, skuteczności, trafności i rzetelności wypracowanych w fazie testowania produktów finalnych (IP). W ocenianym obszarze modernizacji oferty edukacyjnej ocenie poddanych zostanie 9 narzędzi modernizacyjnych składających się na 3 modele MOE (na poziomie uczeń - IP4, szkoła IP5, otoczenia IP6) z zastosowaniem Modułowego Sytemu Kształcenia: Ankieta wydzielająca moduły MES (IP4_1) Program szkolenia Nauczycieli Praktycznej Nauki Zawodu z MES (IP4_2) Wzór rekomendacji programowych MES (IP4_3) Wzór ankiety audytu MES (IP5_4) Wzór karty potrzeb szkoleniowych MES (IP5_5) Program szkolenia KDA z MES (IP5_6) Program 5 spotkań koalicji MES (IP6_7) Wzór karty potrzeb Lokalnej Koalicji MES (IP6_8) Wzór strategii współpracy na rzecz MES (IP6_9) Mając na uwadze założone poziomy modernizacji oferty edukacyjnej oraz cel badania ewaluacyjnego zmierzający do analizy i oceny rzeczywistych efektów testowanych produktów w odniesieniu do grup użytkowników i odbiorców, oceny potencjału wdrożeniowego oraz wypracowania rekomendacji, konieczne było zbadanie opinii wśród odbiorców i użytkowników wypracowanych produktów finalnych: uczniów i słuchaczy szkół zawodowych; kadry dydaktyczno-administracyjnej (nauczycieli, dyrektorów szkół); przedstawicieli otoczenia szkoły pracodawców, organizacji pozarządowych oraz urzędów pracy. Strona 11

13 KRYTERIA OCENY Strona 12

14 Kryteria ewaluacyjne badania ilościowe Celem oceny produktów finalnych w ramach badania ilościowego, w tym procesu przygotowania i testowania tych produktów określono 3 kryteria ewaluacyjne, którym przyporządkowano pytania w ankietach CATI i CAWI: Użyteczność - kryterium to pozwala ocenić faktyczny wpływ zaoferowanego wsparcia na poprawę sytuacji odbiorców i użytkowników spoza testu odpowiadając na pytanie dotyczące możliwości zastosowań modeli, narzędzi w praktyce poza projektowej. Kryterium to realizowane jest w każdym modelu interwencji głównie poprzez narzędzia strategiczne lokujące narzędzia modernizacyjne i model interwencji w dłuższej perspektywie czasowej z zaangażowaniem szerszej puli instytucji. Skuteczność - kryterium to pozwala ocenić odniesienie rzeczywistych efektów realizacji projektu (produktów finalnych) do jego zakładanych celów (modernizacji oferty edukacyjnej) i pozwala odpowiedzieć na pytanie o stopień realizacji założonych celów projektu. W kontekście produktów finalnych odpowiada na pytanie, czy wypracowane narzędzia faktycznie ułatwiają modernizację oferty edukacyjnej i jej dostosowanie do potrzeb lokalnego rynku pracy. Kryterium to realizowane jest w każdym modelu interwencji głównie poprzez narzędzia edukacyjne zwiększające skuteczność podejmowanych działań modernizacyjnych. Trafność - kryterium to pozwala ocenić, w jakim stopniu wypracowane produktu finalne odpowiadają zidentyfikowanym w trakcie badań przed rozpoczęciem testów problemom w obszarze objętym projektem i specyficznym potrzebom beneficjentów (odbiorców i użytkowników wypracowanych produktów finalnych). Kryterium to realizowane jest w każdym modelu interwencji przede wszystkim poprzez narzędzia badawcze zwiększające trafność wypracowywanych metod modernizacji i związanych z nimi narzędzi edukacyjnych i strategicznych. Strona 13

15 Kryteria ewaluacyjne badania jakościowe Celem oceny produktów finalnych w ramach badania jakościowego, w tym procesu przygotowania i testowania tych produktów określono 3 kryteria ewaluacyjne, którym przyporządkowano pytania w scenariuszach FGI: Trafność - kryterium to pozwala ocenić, w jakim stopniu wypracowane produktu finalne odpowiadają zidentyfikowanym w trakcie badań przed rozpoczęciem testów problemom w obszarze objętym projektem i specyficznym potrzebom beneficjentów (odbiorców i użytkowników wypracowanych produktów finalnych). Kryterium to realizowane jest w każdym modelu interwencji przede wszystkim poprzez narzędzia badawcze zwiększające trafność wypracowywanych metod modernizacji i związanych z nimi narzędzi edukacyjnych i strategicznych. Rzetelność kryterium pozwalające ocenić, w jakim stopniu zrealizowane wsparcie zapewnia udział odbiorców i użytkowników w wypracowywaniu produktów finalnych zarówno w zakresie opracowania koncepcji narzędzia jak też w procesie jego testowania, wpływu na jego modyfikacje i korekty. Kryterium to realizowane jest w każdym modelu interwencji głównie zastosowanie zasady Empowerment. Efektywność kryterium pozwalające ocenić, w jakim stopniu zaprojektowane produkty finalne są efektywne w relacji nakładów i kosztów do uzyskanych efektów modernizacji oferty edukacyjnej. Wyniki oceny w tym zakresie są podstawą formułowania rekomendacji wdrożeniowych dla innych szkół i organów prowadzących szkoły zainteresowanych kosztem uzyskania zakładanych efektów modernizacyjnych, na które składają się nie tylko koszty finansowe, ale także koszty organizacyjne, osobowe czy zarządcze związane z wdrożeniem poszczególnych modeli modernizacji. Strona 14

16 PYTANIA EWALUACYJNE Strona 15

17 Pytania ogólne dla kryteriów oceny Efektem ewaluacji powinno być określenie warunków (rekomendacji wdrożeniowych), w jakich testowane produkty finalne będą nadawały się do użytkowania i wdrożenia oraz że ich zastosowanie będzie możliwe dla szerszej grupy użytkowników. Ocena produktów finalnych oraz opracowanie rekomendacji wdrożeniowych przeprowadzone zostały poprzez próbę odpowiedzi na następujące pytania ewaluacyjne: Czy wypracowane produkty finalne odnoszą się do rzeczywistych potrzeb rynku pracy i czy gwarantują możliwość szerokiego ich zastosowania? (użyteczność) Czy wypracowane produkty przyczyniają się do realizacji celów projektu, czy modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy poprzez zastosowanie innowacji edukacyjnych? (skuteczność) Czy proces modernizacji oferty edukacyjnej odpowiada na potrzeby uczestników procesu testowania? (uczeń, kadra, otoczenie)? (trafność) W jakim stopniu przeprowadzony proces testowania uwzględniał udział przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi? (rzetelność) Czy wypracowane narzędzia są efektywne w relacji nakładu kosztów do zyskanych efektów modernizacyjnych? (efektywność) Zastosowany w badaniu ewaluacyjnym zestaw metod badawczych miał charakter komplementarny. Wykorzystanie różnorodnych, jakościowych i ilościowych metod pozwolił na zebranie kompleksowych i wyczerpujących informacji, pozyskanych od szerokiego kręgu osób i instytucji, realizując następujące cele szczegółowe: Poznanie poziomu wykorzystania i zastosowania przez uczniów i słuchaczy badanych szkół zawodowych, KDA oraz otoczenia modelowych schematów działań w obszarze MSE, DSK, DOZ (użyteczność). Dokonanie analizy poziomu modernizacji oferty edukacyjnej (skuteczność). Dokonanie oceny poziomu trafności wypracowanych modeli w odniesieniu do potrzeb Beneficjentów na rynku pracy (trafność). Dokonanie oceny stopnia zaangażowania w proces testowania przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi? (rzetelność) Strona 16

18 Pytania szczegółowe dla poziomów modernizacji W ramach badania produktów finalnych i procesu ich testowania w Laboratorium MES poszukiwano rozwiązań na następujące problemy szczegółowe: Na poziomie UCZNIA: W jakim stopniu wprowadzenie modeli MES przyczyniło się do poprawy organizacji pracy szkoły i pracodawcy z uczniem, do wzrostu praktycznych umiejętności wykonywania zawodu, do niwelowania barier związanych ze przestarzałą bazą szkoleniową, do niwelowania luk w wykształceniu uczniów w stosunku do oczekiwań pracodawców, do zbliżenia umiejętności absolwentów do potrzeb rynku pracy czy oczekiwań pracodawców? Na poziomie SZKOŁY: Czy zastosowane modele przyczyniły się do wzrostu kompetencji kadr? W jaki sposób zmiany programowe przygotowały szkołę do pracy z uczniem lub zbliżyły szkołę do rynku pracy? Czy model wprowadza podejście marketingowe, tj. czy określanie klientów wewnętrznych szkoły zwiększa współpracę KDA? Czy modele angażują nauczycieli w roli trenerów? Czy model angażuje pracodawców do szkolenia KDA w roli moderatorów, trenerów? Na poziomie OTOCZENIA: Jakie korzyści przyniosła współpraca lokalna w kontekście dopasowania oferty edukacyjnej do potrzeb rynku pracy? Czy współpraca z otoczeniem ułatwia projektowanie nowych metod edukacyjnych lub ich modyfikację? Czy organizowanie współpracy lokalnej ułatwia wypracowanie lokalnej strategii współpracy, określenie klientów szkoły, ich potrzeb i interesów oraz czy motywuje uczestników do współpracy? Czy model ułatwia wykorzystanie potencjału edukacyjnego otoczenia szkoły? Strona 17

19 Zestawienie kryteriów, pytań i metod oceny Zestawienie celów, pytań ewaluacyjnych oraz kryteriów oceny produktów finalnych i procesu testowania pozwala określić optymalne narzędzia badawcze dla każdego obszaru ewaluacji, omawiane w dalszej części raportu: Cel ewaluacji Pytanie ewaluacyjne Kryterium Metoda badawcza Poznanie poziomu wykorzystania i zastosowania przez uczniów i słuchaczy badanych szkół zawodowych, KDA oraz otoczenia modelowych schematów działań w obszarze MSE, DSK, DOZ Czy wypracowane produkty finalne odpowiadają na potrzeby uczestników rynku pracy i czy gwarantują możliwość szerokiego ich zastosowania? Użyteczność U CATI CAWI FGI Dokonanie analizy poziomu modernizacji oferty edukacyjnej Czy wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy Skuteczność S CATI CAWI Dokonanie oceny poziomu trafności wypracowanych modeli w odniesieniu do potrzeb Beneficjentów na rynku pracy Czy proces modernizacji oferty odpowiada na zidentyfikowane problemy i potrzeby wszystkich klientów szkoły? (uczeń, kadra, otoczenie)? Trafność T CATI CAWI FGI Dokonanie oceny stopnia zaangażowania w proces testowania przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi. Czy proces modernizacji oferty edukacyjnej gwarantuje udział odbiorców i użytkowników? Rzetelność R FGI Dokonanie oceny relacji nakładu kosztów do uzyskanych efektów modernizacyjnych narzędzi i modeli wypracowanych w ramach projektu w opinii uczestników eksperymentu oraz przedstawicieli otoczenia. Czy wypracowane narzędzia są efektywne w relacji nakładu kosztów do zyskanych efektów modernizacyjnych? Efektywność E FGI Strona 18

20 OPIS METOD BADAWCZYCH Strona 19

21 Zastosowane METODY BADAWCZE Złożoność wypracowanych produktów finalnych, w szczególności różnorodne konteksty ich zastosowania (różne poziomy funkcjonowania szkoły generujące różnorodne grupy odbiorców I użytkowników), różne funkcje wypracowanych narzędzi modernizacyjnych (diagnoza, edukacja, strategia) oraz konieczność oceny samych produktów jak też procesu ich tworzenia I testowania (różne grupy badawcze związane z testem odbiorczy, uczestnicy testu jak też niezwiązane z testem użytkownicy, przedstawiciele otoczenia testu) wymaga zastosowania różnorodnych metod badawczych. Dlatego też zespół Badawczy zastosuje: triangulację metod badawczych łączenie różnych metod badawczych, co umożliwi lepsze rozpoznanie badanych zdarzeń, triangulację źródeł danych badaniem zostaną objęte dane zastane i dane wywołane, triangulację perspektyw oceny badawczych badanie będzie przeprowadzone przez zespół badawczy, co pozwoli uzyskać pełny, różnorodny I bardziej obiektywny obraz przedmiotu badania. W związku z faktem, iż całe badanie ewaluacyjne posiada zróżnicowaną strukturę 3 raportów dla każdego obszaru modernizacji oferty edukacyjnej (DSK, MES i DOZ) w raporcie metodologicznym przedstawiono triangulację dla całego badania ewaluacyjnego: OBSZAR POZIOM Laboratorium DSK Laboratorium MES Laboratorium DOZ Uczeń Szkoła Otoczenie Uczeń Szkoła Otoczenie Uczeń Szkoła Otoczenie EWALUACJA ZEWNĘTRZNA IDI ME EWALUACJA WEWNĘTRZNA - RAPORTY (Innowacyjne metody MOE dla 3 obszarów problemowych ) DR FGI CATI CAWI Strona 20

22 CATI - Computer Assisted Telephone Interview Telefoniczny wywiad metodą ankietową przeprowadzony został na podstawie kwestionariuszy badawczych przygotowanych na potrzeby badania specjalnie dla poszczególnych modeli (poziomów) modernizacji oraz specjalnie dla poszczególnych grup badawczych (uczestnicy testu uczniowie, kadra szkoły). W związku z powyższym na potrzeby badania CATI powstały dwa kwestionariusze badawcze: Kwestionariusz CATI dla narzędzi związanych z IP4 (metody pracy z uczniem dla pierwszego poziomu modernizacji UCZEŃ) kierowany do uczniów biorących udział w pracach testujących w ramach Laboratorium MES - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie UCZNIA Kwestionariusz CATI dla narzędzi związanych z IP5 (metody organizacji pracy placówki edukacyjnej i zarządzania kompetencjami kadr dydaktyczno-administracyjnych dla drugiego poziomu modernizacji SZKOŁA) kierowany do nauczycieli biorących udział w pracach testujących w ramach Laboratorium MES - Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie SZKOŁY CAWI - Computer Assisted Web Interview Telefoniczny wywiad metodą ankietową przeprowadzony został na podstawie kwestionariusza badawczego przygotowanego dla 3 modelu (poziomu) modernizacji oraz dla grupy badawczej nie związanej bezpośrednio z testem (pracownicy szkoły nie biorący udziału w teście, pracownicy innych szkół oraz instytucji otoczenia szkoły). Ankietę skonstruowano w taki sposób, by wypełniający mógł przed oceną produktów finalnych poznać ich założenia i funkcje. Zastosowanie CAWI otoczenie szkoły umożliwiło pozyskanie opinii od osób z niską motywacją do udziału w nadaniach (nie związanych bezpośrednio z testem i nie angażowanych do realizacji projektu) a zakres problemowy związany ze współpracą ankietowanego ze szkołą zachęcały do udzielenia odpowiedzi i wyrażenia opinii na temat modelu tej współpracy. Na potrzeby badania CAWI powstał: Kwestionariusz CAWI dla narzędzi związanych z IP6 (metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium MES - Załącznik 3. Ankieta CAWI opinia o modelu MOE z MES na poziomie OTOCZENIA Strona 21

23 FGI - (Focused Group Interview) - Zogniskowany wywiad grupowy W ramach ewaluacji wypracowanych produktów finalnych oraz procedury ich tworzenia i testowania przeprowadzono wywiady fokusowe z uczestnikami projektu i procesu testowania oraz z otoczeniem nie biorącym udziału w teście. Wywiady przeprowadzono w oparciu o scenariusz spotkania pozwoliły na szersze ujęcie oceny prowadzonego projektu oraz umożliwiły zaprezentowanie i wspólną analizę wypracowanych modeli interwencji modernizacyjnej. W szczególności formuła spotkania fokusowego dała szansę na wypracowanie rekomendacji do wdrożeń, w zakresie kompleksowości lub uniwersalności wypracowanych modeli (możliwości uproszczenia schematów działań, powiązania narzędzi pomiędzy poziomami modernizacji, wskazówki lub dobre rady dla przyszłych użytkowników wypracowanych narzędzi). Zważywszy na fakt, iż zaplanowano spotkania fokusowe zarówno z uczestnikami testu jak też przedstawicielami otoczenia, którzy nie brali udziału w procesie testowania i nie posiadali szczegółowej wiedzy na temat ocenianych produktów finalnych zaplanowano dwa rodzaje spotkań o różnym poziomie szczegółowości i odmiennym akcencie edukacyjnym. W przypadku uczestników badań spoza testu konieczne było omówienie wypracowanego modelu i związanych z nim narzędzi. W związku z powyższym na potrzeby badania FGI powstały dwa scenariusze spotkań fokusowych. Scenariusz FGI dla uczestników testu ODBIORCÓW narzędzi związanych z IP4, IP5 i IP6 (metody pracy z uczniem dla pierwszego poziomu modernizacji UCZEŃ, metody organizacji pracy placówki edukacyjnej i zarządzania kompetencjami kadr dydaktycznoadministracyjnych dla drugiego poziomu modernizacji SZKOŁA oraz metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia biorących udział w teście - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu Scenariusz FGI dla otoczenia testu UŻYTKOWNIKÓW modeli IP4, IP5 i IP6 (metody pracy z uczniem dla poziomu UCZEŃ, metody organizacji pracy placówki edukacyjnej dla poziomu SZKOŁA a w szczególności metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia biorących udział w teście - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNICY modelu Strona 22

24 OPIS PRÓBY BADAWCZEJ Strona 23

25 Termin i miejsce realizacji badania Badanie ilościowe z zastosowaniem opisanych ankiet i metod badawczych realizowane było w terminie od z udziałem pracowników szkoły biorącej udział w testowaniu ocenianych narzędzi oraz przedstawicieli instytucji z otoczenia tej szkoły. Zważywszy na zdalny charakter badań (rozmowa telefoniczna, ankieta internetowa) nie można wskazać konkretnego miejsca realizacji badań, jednak zgodnie z założeniami odnośnie grupy docelowej projektu (miejsce zamieszkania, miejsce siedziby pracodawcy) należy uznać, iż badania prowadzone były na terenie województwa podlaskiego, w szczególności powiecie białostockim i mieście Białystok. Dobór respondentów do badania Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych (modeli modernizacji szkoły na trzech poziomach funkcjonowania szkoły z odpowiadającymi tym poziomom odbiorcami i użytkownikami produktów finalnych), w szczególności: UCZEŃ Zespołu Szkół Gastronomicznych w Białymstoku biorący udział w pracach testujących w zakresie użycia ankiety wydzielającej moduły MES z udziałem nauczycieli praktycznej nauki zawodu po szkoleniach przygotowujących do wydzielania modułów MES i przygotowania do potwierdzania zadań zawodowych - 20 osób, 8 chłopców, 12 dziewcząt. Pięciu respondentów miało wiek lat, pozostali mieli lat. KADRA DYDAKTYCZNO-ADMINISTRACYJNA Zespołu Szkół Gastronomicznych w Białymstoku biorąca udział w pracach testujących w zakresie użycia ankiety wydzielającej moduły MES z udziałem nauczycieli praktycznej nauki zawodu po szkoleniach przygotowujących do wydzielania modułów MES i przygotowania do potwierdzania zadań zawodowych, wzoru ankiety audytu szkoły w zakresie rozwiązań MES, karty potrzeb szkoleniowych oraz programu szkolenia KDA z MES - 5 osób, w tym wszystkie kobiety, 2 pracownice administracyjne i 3 pracownice dydaktycznych. PRZEDSTAWICIELE OTOCZENIA Zespołu Szkół Gastronomicznych w Białymstoku nie biorący udziału w pracach testujących lecz związanych ze szkołą, w tym inni pracownicy szkoły - 13 osób, w tym 12 kobiet, 1 mężczyzna, 10 pracowników szkoły, 2 pracodawców i 1 przedstawiciel innej instytucji. - 2 (15%), Inne - 1 (7%). Strona 24

26 Badanie opinii UCZESTNIKÓW testu ODBIORCÓW modelu Badanie jakościowe FGI z udziałem uczestników testu ODBIORCÓW koncentrowało się na ocenie procedury testowania, celem wypracowania rekomendacji wdrożeniowych dla innych szkół i instytucji zainteresowanych model modernizacji, W tym przypadku prace realizowane w ramach Laboratorium MES były traktowane w ocenie jako pierwowzór procesu wdrożeniowego, dlatego też kluczowe było zebranie podsumowujących informacji zwrotnych z tego procesu oraz analiza możliwości uproszczenia lub zuniwersalizowania wypracowanego modelu. Drugim aspektem była ocena trafności, rzetelności i użyteczności wypracowanych rozwiązań. Termin i miejsce realizacji badania FGI_O Badanie jakościowe FGI z zastosowaniem scenariusza FGI dla uczestników testu ODBIORCÓW zrealizowane zostało w terminie 17 maja 2012 roku w Zespole Szkół Gastronomicznych w Białymstoku. Miejsce realizacji badania wybrano pod kątem dostępu do wszystkich osób biorących udział w testowaniu ocenianych rozwiązań, w szczególności pracowników szkoły biorącej udział w testowaniu narzędzi związanych z modelem MOE z MES. Dobór respondentów do badania FGI_O Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych (modeli modernizacji szkoły na trzech poziomach funkcjonowania szkoły z odpowiadającymi tym poziomom odbiorcami i użytkownikami produktów finalnych), w szczególności: KADRA DYDAKTYCZNO-ADMINISTRACYJNA Zespołu Szkół Gastronomicznych w Białymstoku biorąca udział w pracach testujących 9 narzędzi w ramach IP4, IP5 i IP6-7 osób, w tym 7 kobiet i 1 osoba w wieku powyżej 50 lat, wszyscy z wykształceniem wyższym, w tym 2 wicedyrektorów szkoły, 5 nauczycieli przedmiotów zawodowych. Wszyscy uczestnicy spotkania byli zorientowani w procedurze testowania oraz efektach prac wdrożeniowych w szkole, wykazując zainteresowanie podzielenia się swoimi doświadczeniami z potencjalnymi użytkownikami wypracowanych rozwiązań. PRZEDSTAWICIELE OTOCZENIA Zespołu Szkół Gastronomicznych w Białymstoku biorących udział w pracach testujących lub związanych ze szkołą - 1 osoba, 1 kobieta, przedstawiciel instytucji szkoleniowych opracowujących programy rozwojowe szkół zawodowych w ramach 9.2. PO KL. Strona 25

27 Badanie opinii OTOCZENIA testu UŻYTKOWNIKÓW modelu Badanie jakościowe FGI z udziałem otocznia testu UŻYTKOWNIKÓW koncentrowało się na ocenie wypracowanych produktów, ich uniwersalności, zrozumiałości oraz złożoności. Szczególnie istotne było poznanie opinii przedstawicieli instytucji nie biorących udziału w teście, lecz potencjalnie zainteresowanych zastosowanie wypracowanych rozwiązań, wsparciem kształcenia zawodowego lub współpracą lokalną ze szkołami zawodowymi. W ramach spotkania fokusowego akcent położony został na przedstawienie modelu oraz funkcji poszczególnych narzędzi wchodzących w skład modelu. Istotnym zadaniem było wypracowanie skutecznej komunikacji i sposobów prezentacji modeli dla osób nie związanych z projektem, które byłyby przydatne w procesie upowszechniania i wdrożeń rozwiązań poza projektem. Ocena trafności, rzetelności i użyteczności wypracowanych rozwiązań opierała się na ocenie całego modelu interwencji oraz powiązań funkcjonalnych i logicznych poszczególnych narzędzi. Analizowane były możliwości uproszczenia procedury wdrożeniowej lub wyboru narzędzi najistotniejszych, które mogłyby funkcjonować niezależnie od modelu. Termin i miejsce realizacji badania FGI_U Badanie jakościowe FGI z zastosowaniem scenariusza FGI dla otoczenia testu UŻYTKOWNIKÓW zrealizowane zostało w terminie 29 czerwca 2012 roku w Podlaskim Kuratorium Oświaty w Białymstoku. Miejsce realizacji badania wybrano pod kątem dostępu do osób zarządzających oświatą oraz przedstawicieli instytucji szkoleniowych wspierających szkolnictwo zawodowe w ramach projektów EFS. Miejsce spotkania było dogodne dla osób zainteresowanych stosowaniem narzędzi związanych z modelem MOE z MES. Dobór respondentów do badania FGI_U Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych, w szczególności: PRZEDSTAWICIELE OTOCZENIA szkół zawodowych w zakresie MES - Podlaskiego Kuratorium Oświaty w Białymstoku, instytucji szkoleniowych - 5 osób, 3 mężczyzn i 2 kobiety, 5 osób z wykształceniem wyższym, w tym 3 specjalistów projektów EFS, 2 przedstawicieli instytucji opracowujących programy rozwojowe szkół zawodowych z modułowym systemem kształcenia i potwierdzaniem kwalifikacji dla zadań zawodowych w ramach PO KL. Strona 26

28 PREZENTACJA WYNIKÓW BADANIA ILOŚCIOWE Strona 27

29 Ocena UŻYTECZNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach ilościowego badania ewaluacyjnego zastosowano kryterium UŻYTECZNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 8 pytań: 2 pytania w kwestionariuszu CATI dla narzędzi związanych z IP4 kierowanym do uczniów biorących udział w pracach testujących w ramach Laboratorium MES - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie UCZNIA 4 pytania w kwestionariuszu CATI dla narzędzi związanych z IP5 kierowanym do nauczycieli biorących udział w pracach testujących w ramach Laboratorium MES - Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie SZKOŁY 2 pytania w kwestionariuszu CAWI dla narzędzi związanych z IP6 kierowanym do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium MES- Załącznik 3. Ankieta CAWI opinia o modelu MOE z MES na poziomie OTOCZENIA W efekcie przeprowadzonych wywiadów telefonicznych oraz ankietyzacji internetowej uzyskano wyniki oceny dla poszczególnych narzędzi związanych z 3 poziomami modernizacji oferty edukacyjnej szkoły zawodowej z zastosowaniem elementów MES. Użyteczność IP4 3 narzędzia modernizacji na poziomie UCZNIA Oceny użyteczności zastosowania pierwszego produktu finalnego IP4 wydzielającego moduły MES dokonano w oparciu o wyniki badania telefonicznego CATI, które było skierowane do uczniów, którzy uczestniczyli w projekcie i testowali wypracowane podczas trwania projektu narzędzia. W badaniu wzięło udział 20 uczniów, 40% stanowili chłopcy, 60% dziewczynki. Pięciu respondentów miało wiek lat, pozostali mieli lat. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie: Czy wypracowane produkty finalne odpowiadają na potrzeby ucznia i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 1. Czy ankieta wydzielająca moduły pozwoliła ocenić Twoje potrzeby edukacyjne? Aż 95% uczniów stwierdziło, że ankieta pozwoliła im na ocenę własnych potrzeb edukacyjnych. Rozkład uzyskanych rang dla użyteczności narzędzia prezentuje wykres 1. Strona 28

30 10% 5% 5% 10% 55% 15% Wykres 1. Rozkład uzyskanych rang dla użyteczności narzędzia IP4 Ankieta wydzielająca moduły MES. Źródło: opracowanie własne. 55% respondentów oceniło użyteczność narzędzia 8 punktów w skali 10 punktowej, 15% przyznało 7 pkt. Tylko jedna uczennica stwierdził, że narzędzie te jest dla nich nieużyteczne. Pytanie 2. Czy Twoim zdaniem ankieta może być wykorzystana w innej klasie lub szkole? Narzędzie to oceniono jako bardzo użyteczne i przydatne (100% odpowiedzi tak) do oceny potrzeb edukacyjnych także innych uczniów, z innych klas. Rozkład odpowiedzi na to pytanie prezentuje wykres 2. 20% 20% 5% 5% 35% 15% Wykres 2. Rozkład uzyskanych rang dla użyteczności narzędzia IP4 Ankieta Wydzielająca moduły MES dla innych uczniów i klas. Źródło: opracowanie własne. Strona 29

31 Najwięcej bo ponad 1/3 uczniów oceniła narzędzie na 8 pkt. w skali 10 pkt., po 20% przyznało 9 pkt. i 10 pkt. Najniższą rangę jaką uzyskano to 5 pkt. Podsumowując stwierdzić można, że w opinii uczniów narzędzia modernizacyjne związane z modelem IP4 na poziomie ucznia są przydatne zarówno do wydzielania modułów MES w Szkole biorącej udział w teście jak i może być przydatne dla uczniów innych klas i szkół. Wypracowane produkty finalne odpowiadają na potrzeby ucznia i gwarantują możliwość szerokiego ich zastosowania. Użyteczność IP5 3 narzędzia modernizacji na poziomie SZKOŁY Badanie użyteczności narzędzia IP5 odbyło się poprzez badanie telefoniczne kadry dydaktyczno-administracyjnej biorącej udział w testowaniu. Respondentkami były same kobiety. Kadra dydaktyczna stanowiła 60%, a kadra administracyjna - 40%. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane produkty finalne (IP5) odpowiadają na potrzeby SZKOŁY i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 3. Czy model dostosowania programu nauczania do wyników ankiety audytu szkoły pozwala uwzględnić w edukacji potrzeby ucznia i pracodawców? Wszyscy respondenci uważają, że model audytu pozwala uwzględnić w edukacji potrzeby ucznia i pracodawców. Dwie osoby uważają, że narzędzie to jest użyteczne w skali 10-cio punktowej na 8 pkt. 20% 20% % % Wykres 3. Rozkład uzyskanych rang dla użyteczności narzędzia IP5 w zakresie uwzględnienia w edukacji potrzeby ucznia i pracodawców. Źródło: opracowanie własne. Strona 30

32 Pytanie 4. Czy ten sposób modernizowania programów nauczania można zastosować w innej szkole? W przypadku tego pytania 80% respondentek uznało bardzo wysoką użyteczność tego narzędzia do zastosowania w innych placówkach. Jedna osoba wskazała, że takie narzędzie jest nieużyteczne (ranga 1). 40% respondentek przyznało rangę 8 w skali 10 punktowej, zaś po 20% przyznało rangę 10 i 6. 20% 20% 20% 20% % Wykres 4. Rozkład uzyskanych rang dla użyteczności IP5 w modernizowaniu programów nauczania dla innych placówek. Źródło: opracowanie własne. Pytanie 5. Czy model szkolenia kadr dydaktyczno-administracyjnych w odniesieniu do wyników audytu dostępnych w szkole kompetencji MES umożliwia modernizację szkoły? 20% 40% 20% % Wykres 5. Rozkład uzyskanych rang dla użyteczności IP5 w ocenie modelu szkolenia kadr dydaktyczno-administracyjnych jako narzędzia modernizacji szkoły, Źródło: opracowanie własne. Strona 31

33 Respondentki jednogłośnie stwierdziły, że zaproponowane narzędzie IP5 program szkolenia kadr jest użytecznym narzędziem modernizacji szkoły. Narzędziu temu przyznało rangi odpowiednio 4, 5 i 8 po 20% respondentów, 10 40%. Pytanie 6. Czy ten sposób modernizowania szkoły można zastosować w innej placówce kształcenia zawodowego? Wszyscy nauczyciele stwierdzili, że modernizacja innej placówki oświatowej może odbywać się poprzez zastosowanie powyższego narzędzia. Użyteczność tego narzędzia oceniono jednak niejednomyślnie: 2, 4, 5, 9 i 10 takie rangi przyznała każda z respondentek. 20% 20% 20% 20% % Wykres 6. Rozkład uzyskanych rang dla użyteczności IP5 w zakresie możliwości zastosowania narzędzia modernizacyjnego inną placówkę oświatową w opinii respondentów CATI. Źródło: opracowanie własne. Reasumując należy stwierdzić, że w opinii nauczycieli narzędzia modernizacyjne związane z modelem IP5 na poziomie szkoły są użytecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Narzędzia modernizacyjne wypracowane w ramach produktu finalnego (IP5) odpowiadają na potrzeby SZKOŁY i gwarantują możliwość szerokiego ich zastosowania. Strona 32

34 Użyteczność IP6 3 narzędzia modernizacji na poziomie OTOCZENIA Ocenę użyteczności produktu finalnego IP6 dokonano w oparciu o wyniki badania internetowego CAWI. W badaniu wzięło udział 13 respondentów: 12 kobiet - 92%, 1- mężczyzna -8%. Respondenci pochodzili z następujących instytucji: szkoły 10 osób (77%), pracodawcy - 2 (15%), Inne - 1 (7%). Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane produkty finalne (IP6) odpowiadają na potrzeby OTOCZENIA i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 7. Czy model prac lokalnej koalicji w oparciu o program spotkań, kartę potrzeb oraz strategię rozwijającą MES tworzy minimalne warunki do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły? 100% respondentów stwierdziło, że zaproponowany model prac lokalnej koalicji daje co najmniej minimalne warunki do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły. 15% 8% 1 3 8% 8% 31% % 8% 8% 9 10 Wykres 7. Rozkład uzyskanych rang dla użyteczności IP6 w zakresie tworzenia co najmniej minimalnych warunków do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły. Źródło: opracowanie własne. Jedna osoba nadał rangę 1 dla modelu lokalnej koalicji, tym samym uważa go za nie istotny, pozostałe osoby oceniły średnio model. Średnia ranga wyniosła 5 pkt. Cztery osoby nadały modelowi rangę 4. Strona 33

35 Pytanie 8. Czy w Państwa opinii taki model budowania współpracy jest uniwersalny, i jako taki czy można zastosować w innej szkole, mieście lub powiecie, jako model budowania relacji szkoły z otoczeniem? 8% 15% 8% 15% % % % Wykres 8. Rozkład uzyskanych rang dla użyteczności IP6 w zakresie możliwości budowania współpracy w innej szkole, mieście lub powiecie, jako modelu budowania relacji szkoły z otoczeniem. Źródło własne. Trzynaście osób (100%) potwierdziło użyteczność zaproponowanych rozwiązań dla innych instytucji. Jedna osoba stwierdziła, że model ten jest nie istotny, co oznacza najniższą rangę. Pozostałe osoby oceniły średnio model. Średnia ranga przyznanych ocen wyniosła 6 pkt. Dwie osoby nadały modelowi najwyższą rangę 10. Reasumując należy stwierdzić, że w opinii otoczenia narzędzia modernizacyjne związane z modelem IP6 na poziomie współpracy szkoły z instytucjami otoczenia i pracodawcami są użytecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Narzędzia wypracowane w ramach produktu finalnego (IP6) odpowiadają na potrzeby OTOCZENIA i gwarantują możliwość szerokiego ich zastosowania. Strona 34

36 Użyteczność Modelu MOE z MES - Wnioski Podsumowując ocenę użyteczności modelu modernizowania oferty edukacyjnej z zastosowaniem MES z zastosowaniem 9 narzędzi modernizacyjnych, należy stwierdzić, iż zarówno uczniowie, nauczyciele jak i otoczenie szkoły pozytywnie ocenia wypracowane rozwiązanie w zakresie możliwości jego wdrożenia w innych szkołach oraz możliwości realizowania z ich użyciem faktycznej zmiany modernizacyjnej w szkole. Ocena użyteczności modeli jest jednak nieznacznie różna w zależności do grup oceniających i faktycznej możliwości zastosowań rozwiązań w innych szkołach na różnych poziomach modernizacji, co przedstawia poniższy wykres: 8,5 8 7,5 7 6,5 6 5, Wykres 9. Średnie rangi dla poszczególnych pytań dotyczących użyteczności IP4, IP5 i IP6 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. W porównaniu poszczególnych odpowiedzi, należy podkreślić, iż najniższą rangę uzyskała użyteczność w opinii otoczenia (pytanie 7). Powodowane jest to faktem, iż otoczenie, a w szczególności pracodawcy nie posiadają podstawowej wiedzy na temat MES oraz konsekwencji wdrożenie Modułowego Systemu Kształcenia dla rynku pracy. Przedstawiciele otoczenia biorący udział w badaniu ilościowym nie mieli bezpośredniego kontaktu z testowanym produktem a w związku z tym bazowali na potocznej wiedzy o zadaniach zawodowych. Konstrukcja ankiety oceniającej przedstawiała założenia modelu i narzędzia modernizacyjne, jednak osoby badane nie miały okazji wyrobić własnej opinii o zadaniach zawodowych w pływu możliwości potwierdzania kwalifikacji dla zadań zawodowych na rynek pracy, takich jak większa elastyczność absolwentów szkół wdrażających MES. Strona 35

37 8,5 8 7,5 7 6,5 6 5,5 5 IP4 IP5 IP6 Wykres 10. Średnie rangi dla użyteczności IP4, IP4 i IP6 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło: opracowanie własne. Użyteczność MOE z MES jest największa w opinii uczniów, co potwierdza, iż MES jest najważniejszy dla ucznia, gdyż daje mu potwierdzone kwalifikacje w obszarze zadań zawodowych. Dużo niższa użyteczność modelu na drugim poziomie modernizacji oferty edukacyjnej wskazuje na konieczność, podobnie jak w przypadku poziomu otoczenia, podjęcia dodatkowych działań edukacyjnych i informacyjnych ukazujących walory i wymierne korzyści z wdrażania zadań zawodowych w potwierdzaniu kwalifikacji zawodowych oraz orli KDA w procesie prawidłowego wydzielenia zadań zawodowych w poszczególnych zawodach, w szczególności powiązania tego procesu z nauczaniem przedmiotów ogólnych. Strona 36

38 Ocena SKUTECZNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach ilościowego badania ewaluacyjnego zastosowano kryterium SKUTECZNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 7 pytań: 2 pytania w kwestionariuszu CATI dla narzędzi związanych z IP4 kierowanym do uczniów biorących udział w pracach testujących w ramach Laboratorium MES- Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie UCZNIA 1 pytanie w kwestionariuszu CATI dla narzędzi związanych z IP5 kierowanym do nauczycieli biorących udział w pracach testujących w ramach Laboratorium MES- Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z MES na poziomie SZKOŁY 4 pytania w kwestionariuszu CAWI dla narzędzi związanych z IP6 kierowanym do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium MES - Załącznik 3. Ankieta CAWI opinia o modelu MOE z MES na poziomie OTOCZENIA W efekcie przeprowadzonych wywiadów telefonicznych oraz ankietyzacji internetowej uzyskano wyniki oceny dla poszczególnych narzędzi związanych z 3 poziomami modernizacji oferty edukacyjnej szkoły zawodowej z zastosowaniem elementów MES. Skuteczność IP4 3 narzędzia modernizacji na poziomie UCZNIA Oceny skuteczności produktu finalnego IP4 wydzielającego moduły dokonano w oparciu o wyniki badania telefonicznego CATI uczniów uczestniczących w teście. W badaniu wzięło udział 20 uczniów, 40% stanowili chłopcy, 60% dziewczynki. Pięciu respondentów miało wiek lat, pozostali mieli lat. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie: Czy wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy? Pytanie 1. Czy zastosowanie ankiety pomogło Twoim zdaniem dostosować program nauczania do potrzeb rynku pracy lub lokalnych pracodawców? 90% respondentów stwierdziło, że innowacyjne narzędzie IP4 może służyć dostosowaniu programu nauczania do potrzeb rynku pracy lub lokalnych pracodawców, zaś 10% stwierdziło, że nie może służyć temu celowi. Strona 37