INNOWACYJNE METODY MODERNIZACJI OFERTY EDUKACYJNEJ Z ZASTOSOWANIEM ROZWIĄZAŃ DORADZTWA I ORIENATCJI ZAWODOWEJ

Transkrypt

1 RAPORT EWALUACYJNY DOZ INNOWACYJNE METODY MODERNIZACJI OFERTY EDUKACYJNEJ Z ZASTOSOWANIEM ROZWIĄZAŃ DORADZTWA I ORIENATCJI ZAWODOWEJ

2 SPIS TREŚCI Struktura raportu ewaluacyjnego wg, standardu KIW STRONA OPIS PRZEDMIOTU BADANIA 4 Przedmiot badania model MOE z DOZ 5 Produkty finalne związane z modelem MOE z DOZ 11 KRYTERIA OCENY 12 Kryteria ewaluacyjne badania ilościowe UŻYTECZNOŚĆ, SKUTECZNOŚĆ, TRAFNOŚĆ 13 Kryteria ewaluacyjne badania ilościowe TRAFNOŚĆ, RZETELENOŚĆ, EFEKTYWNOŚĆ 13 PYTANIA EWALUACYJNE 15 Pytania ogólne dla kryteriów oceny 16 Pytania szczegółowe dla poziomów modernizacji 17 Zestawienie kryteriów, pytań i metod oceny 18 OPIS METOD BADAWCZYCH 19 Zastosowane METODY BADAWCZE 20 CATI - (Computer Assisted Telephone Interview) ankiety telefoniczne 21 CAWI - (Computer Assisted Web Interview) ankiety internetowe 21 FGI (Focused Group Interview) - Zogniskowany wywiad grupowy 22 OPIS PRÓBY BADAWCZEJ 23 Termin i miejsce realizacji badania CATI, CAWI 24 Dobór respondentów do badania CATI, CAWI 24 Termin i miejsce realizacji badania FGI_O 25 Dobór respondentów do badania FGI_O 25 Termin i miejsce realizacji badania FGI_U 26 Dobór respondentów do badania FGI_U 26 PREZENTACJA WYNIKÓW - Badanie ILOŚCIOWE 27 Ocena UŻYTECZNOŚCI wypracowanego modelu 28 Użyteczność IP7 3 narzędzia modernizacji na poziomie UCZNIA 28 Użyteczność IP8 3 narzędzia modernizacji na poziomie SZKOŁY 30 Użyteczność IP9 3 narzędzia modernizacji na poziomie OTOCZENIA 33 Użyteczność Modelu MOE z DOZ - Wnioski 35

3 Ocena SKUTECZNOŚCI wypracowanego modelu 37 Skuteczność IP7 3 narzędzia modernizacji na poziomie UCZNIA 37 Skuteczność IP8 3 narzędzia modernizacji na poziomie SZKOŁY 39 Skuteczność IP9 3 narzędzia modernizacji na poziomie OTOCZENIA 40 Skuteczność Modelu MOE z DOZ - Wnioski 43 Ocena TRAFNOŚCI wypracowanego modelu 45 Trafność IP7 3 narzędzia modernizacji na poziomie UCZNIA 45 Trafność IP8 3 narzędzia modernizacji na poziomie SZKOŁY 47 Trafność IP9 3 narzędzia modernizacji na poziomie OTOCZENIA 48 Trafność Modelu MOE z DOZ - Wnioski 51 PREZENTACJA WYNIKÓW - Badanie JAKOŚCIOWE 53 Ocena TRAFNOŚCI wypracowanego modelu 54 Trafność procedury testowania modelu MOE z DOZ w opinii uczestników testu 55 Trafność modelu MOE z DOZ w opinii potencjalnych użytkowników 58 Trafność Modelu MOE z DOZ Wnioski 61 Ocena RZETELNOŚCI wypracowanego modelu 62 Rzetelność procedury testowania modelu MOE z DOZ w opinii uczestników testu 63 Rzetelność modelu MOE z DOZ w opinii potencjalnych użytkowników 66 Rzetelność Modelu MOE z DOZ - Wnioski 69 Ocena UŻYTECZNOŚCI wypracowanego modelu 70 Użyteczność modelu MOE z DOZ w opinii uczestników testu 71 Użyteczność modelu MOE z DOZ w opinii potencjalnych użytkowników 75 Użyteczność Modelu MOE z DOZ - Wnioski 79 Ocena EFEKTYWNOŚCI wypracowanego modelu 80 Efektywność modelu MOE z DOZ w opinii uczestników testu 80 Efektywność Modelu MOE z DOZ - Wnioski 85 WNIOSKI I REKOMENDACJE 86 Kryteria walidacyjne modeli I narzędzi MOE z DOZ 87 Efektywność narzędzi modernizacyjnych 87 Empowerment, czyli zaangażowanie grup docelowych 88 Multiplikowalność modeli IP7, IP8, IP9 i dostępność narzędzi 89 Jakość narzędzi 90

4 Ocena porównawcza wewnętrzna i zewnętrzna MOE z DOZ 91 Porównanie oceny modeli IP7, IP8 i IP9 w ramach MOE z DOZ 92 Porównanie oceny MOE dla obszarów problemowych DSK, MES i DOZ 93 Schematy wdrożeniowe MOE z DOZ 94 Upowszechnianie i mainstreaming narzędzi na poziomie UCZNIA 95 Upowszechnianie i mainstreaming narzędzi na poziomie SZKOŁY 96 Upowszechnianie i mainstreaming narzędzi na poziomie OTOCZENIA 97 Załączniki 98 Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DOZ na poziomie UCZNIA 1-3 Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DOZ na poziomie SZKOŁY 1-3 Załącznik 3. Ankieta CAWI opinia o modelu MOE z DOZ na poziomie OTOCZENIA 1-4 Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 1-13 Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNICY modelu 1-13

5 OPIS PRZEDMIOTU BADANIA Strona 4

6 Przedmiot badania Model MOE z DOZ Dostosowanie oferty edukacyjnej szkół zawodowych do potrzeb lokalnego rynku pracy to proces złożony obejmujący wiele aspektów funkcjonowania szkoły, takich jak współpraca z lokalnymi przedsiębiorcami w zakresie Dualnego Systemu Kształcenia (DSK), zwiększenie elastyczności absolwentów na lokalnym rynku pracy poprzez potwierdzanie kwalifikacji dla zadań zawodowych w ramach Modułowego Systemu Kształcenia (MES) czy też realizacja zadań doradztwa i orientacji zawodowej we współpracy z lokalnymi instytucjami rynku pracy (DOZ). Zagadnieniom tym poświęcono z osobna trzy obszary modernizacji oferty edukacyjnej szkoły zawodowej. W opracowaniu tym opisano wyniki ewaluacji złożonego modelu modernizacji szkoły zawodowej z wykorzystaniem elementów DOZ. Ocenie poddano 3 modele (schematy interwencji) związane z DOZ na poziomie organizacji pracy z uczniem, organizacji pracy szkoły jako instytucji oraz organizacji współpracy szkoły z otoczeniem. Analogicznie w przypadku dwóch pozostałych obszarów problemowych, czyli modernizacji szkoły zawodowej z wykorzystaniem elementów MES lub DSK opracowano i oceniono dalszych sześć modeli modernizacyjnych, na poziomie ucznia, szkoły i jej otoczenia. Niniejszy raport z ewaluacji metod modernizacji oferty edukacyjnej szkoły zawodowej dotyczy narzędzi związanych z Doradztwem i orientacją zawodową (DOZ). Metody te i związane z nimi narzędzia modernizacji szkoły opracowane zostały przez zespół specjalistów rynku pracy z Fundacji Forum Inicjatyw Rozwojowych, Narodowego Forum Doradztwa Kariery oraz nauczycieli skupionych wokół Zespołu Szkół w Wojewodzinie Budowlanych we współpracy ponadnarodowej z partnerami z Niemiec, Hiszpanii i Francji w Strona 5

7 ramach projektu Innowacyjnego PI WP: INNOWACJE EDUKACYJNE program testowania i wdrażania nowych metod modernizacji oferty kształcenia zawodowego w woj. podlaskim. Na podstawie przeprowadzonego testu opracowano opis 9 narzędzi składających się na 3 Produkty Finalne Laboratorium DOZ. Wyniki przeprowadzonej ewaluacji, opisanej w poniższym raporcie są podstawą do sformułowania rekomendacji na temat możliwości i zasadności wdrożenia tych produktów w innych szkołach na terenie województwa podlaskiego. Jaku już wspomniano, kluczowym założeniem modelu modernizacji z wykorzystaniem elementów doradztwa i orientacji zawodowej (DOZ) jest komplementarne oddziaływanie na szkołę w trzech aspektach jej funkcjonowania: pracy z uczniem, kompetencji kadr i wewnętrznego funkcjonowania szkoły oraz otoczenia szkoły. Trzem poziomom wsparcia szkoły odpowiadają 3 modele modernizacji oferty edukacyjnej poddane ocenie. (innowacyjne produkty IP7, IP8 i IP9), na które z kolei składają się konkretne narzędzia modernizacyjne łącznie 9 narzędzi wykorzystujących rozwiązania DOZ. Narzędzia te przedstawione są na poniższym schemacie tworząc razem pakiet narzędzi Modernizacji Oferty Edukacyjnej (MOE) szkoły zawodowej za zastosowaniem elementów DOZ. Należy w tym miejscu podkreślić, iż celem testowanych innowacji nie było wdrożenie doradztwa i orientacji zawodowej jako takiego, lecz wykorzystanie jego elementów do poprawy jakości kształcenia i modernizacji szkoły z uwzględnieniem jej otoczenia. W tym przypadku kluczowym kontekstem zmiany w szkole, definiującym otoczenie szkoły, były instytucje rynku pracy: urzędy pracy, firmy doradcze i szkoleniowe współtworzące DOZ w szkole. Pakiet dziewięciu narzędzi modernizacyjnych nawiązujący do DOZ przedstawia poniższy schemat. Strona 6

8 Zgodnie z założeniami projektu, na każdym poziomie funkcjonowania szkoły testowano i oceniano po 3 narzędzia modernizacyjne: Oceniana metodologia modernizacji zakładała na każdym poziomie funkcjonowania szkoły 3 kroki modernizacji o odmiennych znaczeniu i charakterze, powiązane ze sobą logicznie w związku przyczynowoskutkowym: każdy krok powodował krok następny, uzasadniając go oraz nadając mu konkretny kierunek. Zależność i powiązanie ze sobą kolejnych kroków modernizacji (3 narzędzi w każdym modelu interwencji poziomie funkcjonowania szkoły) było między innymi przedmiotem badania ewaluacyjnego, w poszukiwaniu odpowiedzi na pytanie, czy za każdym razem wykonanie wymienionych 3 korków było niezbędne i korzystne dla projektowanej zmiany modernizacyjnej. Poszczególnym krokom odpowiadały inne etapy modernizacji, a tym samym kolejnym 3 narzędziom modernizacyjnym odmienne, powiązane ze sobą funkcje: funkcję badawczą (związaną z diagnozą problemu, obszaru zmiany), funkcję edukacyjną (związaną z przygotowaniem niezbędnych kompetencji Strona 7

9 do zmiany lub usunięcia zdiagnozowanego problemu) oraz funkcję strategiczną związaną z wdrożeniem planu modernizacji lub stałych rozwiązań wypracowanych na rzecz rozwiązania zdiagnozowanego problemu lub pomysłów na rozwój szkoły w określonym obszarze zmiany. Zgodnie z przedstawioną metodologią diagnoza problemu z zastosowaniem narzędzia badawczego (ankiety) stanowiła w na każdym poziomie modernizacji 1 krok na drodze do trafnej i trwałej zmiany. Kluczowym założeniem realizowanym w ramach testu, co także poddane zostało ocenie w badaniu ewaluacyjnym, była troska o to, by diagnoza ta odbywała się z udziałem wszystkich interesariuszy zmiany, w szczególności z udziałem otoczenia reprezentowanego przez lokalnych pracodawców. Na podstawie i w wyniku przeprowadzonej diagnozy z użyciem narzędzi badawczych planowany i realizowany był 2 krok na drodze modernizacji, związany z podniesieniem lub uzupełnieniem kwalifikacji (kadry szkoły). Etap ten realizowany był z wykorzystaniem narzędzi edukacyjnych (programów szkleń, programu spotkań) wykorzystanych na poziomie ucznia, szkoły i otoczenia. Po określeniu problemu, czyli obszaru zmiany oraz przygotowaniu kadry szkoły do rozwiązania problemu lub przeprowadzenia zmiany następował 3 krok związany z narzędziem o charakterze strategicznym, planistycznym, gdzie testowano i oceniano narzędzia porządkujące i wpisujące działania modernizacyjne w dłuższą perspektywę czasową lub inaczej, w życie szkoły poprzez nowy program nauczania, wieloletni program szkoleń czy strategię lokalnej współpracy. I tak na poziomie ucznia, czyli modernizacji szkoły w zakresie metod pracy z uczniem testowano następujące narzędzia: Ankieta modułów DOZ to w tym przypadku narzędzie badawcze określające rozbieżność pomiędzy tym czego oczekują pracodawcy (rynek Strona 8

10 pracy) a tym co potrafią absolwenci. Narzędzie to, ze zrozumiałych względów skierowane zostało zarówno do uczniów jak też pracodawców z otoczenia szkoły. Wydzielenie modułów doradztwa i orientacji zawodowej oraz współpraca z pracodawcami jest w tym przypadku głównym kontekstem, obszarem, dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy. By kształcenia praktyczne ucznia było bardziej dostosowane do oczekiwań pracodawców niezbędne było przygotowanie nauczycieli praktycznej nauki zawodu do realizacji modułów poradnictwa zawodowego i IPD w ramach zajęć dydaktycznych. W tym celu przygotowano program szkolenia nauczycieli z DOZ czyli narzędzie edukacyjne kierowane do nauczycieli praktycznej nauki zawodu. W programie szkolenia przewidziano treści związane z podstawami teoretycznymi i prawnymi doradztwa zawodowego (kariery), standardami usług poradnictwa zawodowego, psychologicznymi i socjologicznymi aspektami doradztwa zawodowego, informacją edukacyjną i zawodową, kompetencjami doradcy kariery, poradnictwem indywidualnym i grupowym, metodologią tworzenia Indywidualnego Planu Działania (IPD), aktywnymi metodami poruszania się po rynku pracy oraz współpracą z pracodawcami i otoczeniem szkoły w kontekście DOZ. Treści szkolenia o charakterze wdrożeniowym w postaci projektu zmian lub korekt do nowego programu nauczania sformułowane zostały w formie rekomendacji programowych DOZ stanowiących narzędzie strategiczne modernizacji oferty edukacyjnej, wpisując zmiany w dokumenty strategiczne szkoły (program nauczania zawodu) w drodze uchwały Rady Pedagogicznej. Na poziomie szkoły, czyli modernizacji oferty edukacyjnej w zakresie metod zarządzania placówką edukacyjną i kompetencjami w organizacji testowano następujące narzędzia: Strona 9

11 Ankieta audytu DOZ to w tym przypadku narzędzie badawcze oceniające kompetencje Kadr Dydaktyczno-Administracyjnych (KDA) do realizacji zajęć edukacyjnych z zastosowaniem DOZ. Narzędzie to skierowane zostało zarówno do nauczycieli jak też pracowników administracyjnych, odpowiedzialnych za kontakty z pracodawcami. W wyniku tego narzędzia określono potrzeby edukacyjne kadry szkoły, niezbędne do zastosowania DOZ. Tym razem nie chodziło jednak o warsztat pracy nauczycieli praktycznej nauki zawodu, lecz o całą kadrę szkoły i wdrożenie DOZ do organizacji. Karta potrzeb szkoleniowych DOZ to narzędzie edukacyjne umożliwiające przygotowanie KDA do DOZ. Kolejnym krokiem modernizacji było w tym przypadku zaplanowanie szkoleń dla całej kadry, w ramach wieloletniego planu rozwoju szkoły. Narzędziem modernizacyjnym realizującym ten cel o charakterze planistycznym był Program szkolenia KDA z DOZ zastosowany w tym przypadku jako narzędzie strategiczne w procesie modernizacji oferty edukacyjnej szkoły na poziomie organizacji, placówki edukacyjnej. Na poziomie otoczenia, czyli modernizacji oferty edukacyjnej w zakresie metod współpracy szkoły z lokalnymi pracodawcami i instytucjami rynku testowano następujące narzędzia: Karta potrzeb koalicji DOZ to w tym przypadku narzędzie badawcze określające potrzeby wszystkich uczestników lokalnej współpracy. Zważywszy na fakt, iż narzędzie to musiało być użyte w ramach cyklu spotkań lokalnej kolacji, wcześniej zastosowano Program 5 spotkań koalicji DOZ traktowano w tym przypadku jako narzędzie edukacyjne przygotowujące uczestników lokalnej kolacji do wypracowania wspólnej Strategii współpracy na rzecz DOZ zastosowanej w tym przypadku jako narzędzie strategiczne określające wspólne cele i plan działań, projektów związanych z wdrożeniem DOZ w lokalną współpracę szkoły z otoczeniem. Strona 10

12 Produkty finalne związane z modelem MOE z MES Zgodnie z opracowanym raportem metodologicznym, na etapie przygotowania badań ewaluacyjnych w projekcie, ustalono, iż przedmiotem ewaluacji (zarówno wewnętrznej jak i zewnętrznej) skierowanej do uczestników procesu testowania oraz przedstawicieli otoczenia (pracodawców i instytucji rynku pracy) jest określenie użyteczności, skuteczności, trafności i rzetelności wypracowanych w fazie testowania produktów finalnych (IP). W ocenianym obszarze modernizacji oferty edukacyjnej ocenie poddanych zostanie 9 narzędzi modernizacyjnych składających się na 3 modele MOE (na poziomie uczeń - IP7, szkoła IP8, otoczenia IP9) z zastosowaniem doradztwa i orientacji zawodowej: Wzór ankiety wydzielającej moduły DOZ (IP7_1) Program szkolenia Nauczycieli Praktycznej Nauki Zawodu z DOZ (IP7_2) Wzór rekomendacji programowych DOZ (IP7_3) Wzór ankiety audytu DOZ (IP8_4) Wzór karty potrzeb szkoleniowych DOZ (IP8_5) Program szkolenia KDA z DOZ(IP8_6) Program 5 spotkań koalicji DOZ(IP9_7) Wzór karty potrzeb Lokalnej Koalicji DOZ (IP9_8) Wzór strategii współpracy na rzecz DOZ(IP9_9) Mając na uwadze założone poziomy modernizacji oferty edukacyjnej oraz cel badania ewaluacyjnego zmierzający do analizy i oceny rzeczywistych efektów testowanych produktów w odniesieniu do grup użytkowników i odbiorców, oceny potencjału wdrożeniowego oraz wypracowania rekomendacji, konieczne było zbadanie opinii wśród odbiorców i użytkowników wypracowanych produktów finalnych: uczniów i słuchaczy szkół zawodowych; kadry dydaktyczno-administracyjnej (nauczycieli, dyrektorów szkół); przedstawicieli otoczenia szkoły pracodawców, organizacji pozarządowych oraz urzędów pracy. Strona 11

13 KRYTERIA OCENY Strona 12

14 Kryteria ewaluacyjne badania ilościowe Celem oceny produktów finalnych w ramach badania ilościowego, w tym procesu przygotowania i testowania tych produktów określono 3 kryteria ewaluacyjne, którym przyporządkowano pytania w ankietach CATI i CAWI: Użyteczność - kryterium to pozwala ocenić faktyczny wpływ zaoferowanego wsparcia na poprawę sytuacji odbiorców i użytkowników spoza testu odpowiadając na pytanie dotyczące możliwości zastosowań modeli, narzędzi w praktyce poza projektowej. Kryterium to realizowane jest w każdym modelu interwencji głównie poprzez narzędzia strategiczne lokujące narzędzia modernizacyjne i model interwencji w dłuższej perspektywie czasowej z zaangażowaniem szerszej puli instytucji. Skuteczność - kryterium to pozwala ocenić odniesienie rzeczywistych efektów realizacji projektu (produktów finalnych) do jego zakładanych celów (modernizacji oferty edukacyjnej) i pozwala odpowiedzieć na pytanie o stopień realizacji założonych celów projektu. W kontekście produktów finalnych odpowiada na pytanie, czy wypracowane narzędzia faktycznie ułatwiają modernizację oferty edukacyjnej i jej dostosowanie do potrzeb lokalnego rynku pracy. Kryterium to realizowane jest w każdym modelu interwencji głównie poprzez narzędzia edukacyjne zwiększające skuteczność podejmowanych działań modernizacyjnych. Trafność - kryterium to pozwala ocenić, w jakim stopniu wypracowane produktu finalne odpowiadają zidentyfikowanym w trakcie badań przed rozpoczęciem testów problemom w obszarze objętym projektem i specyficznym potrzebom beneficjentów (odbiorców i użytkowników wypracowanych produktów finalnych). Kryterium to realizowane jest w każdym modelu interwencji przede wszystkim poprzez narzędzia badawcze zwiększające trafność wypracowywanych metod modernizacji i związanych z nimi narzędzi edukacyjnych i strategicznych. Strona 13

15 Kryteria ewaluacyjne badania jakościowe Celem oceny produktów finalnych w ramach badania jakościowego, w tym procesu przygotowania i testowania tych produktów określono 3 kryteria ewaluacyjne, którym przyporządkowano pytania w scenariuszach FGI: Trafność - kryterium to pozwala ocenić, w jakim stopniu wypracowane produktu finalne odpowiadają zidentyfikowanym w trakcie badań przed rozpoczęciem testów problemom w obszarze objętym projektem i specyficznym potrzebom beneficjentów (odbiorców i użytkowników wypracowanych produktów finalnych). Kryterium to realizowane jest w każdym modelu interwencji przede wszystkim poprzez narzędzia badawcze zwiększające trafność wypracowywanych metod modernizacji i związanych z nimi narzędzi edukacyjnych i strategicznych. Rzetelność kryterium pozwalające ocenić, w jakim stopniu zrealizowane wsparcie zapewnia udział odbiorców i użytkowników w wypracowywaniu produktów finalnych zarówno w zakresie opracowania koncepcji narzędzia jak też w procesie jego testowania, wpływu na jego modyfikacje i korekty. Kryterium to realizowane jest w każdym modelu interwencji głównie zastosowanie zasady Empowerment. Efektywność kryterium pozwalające ocenić, w jakim stopniu zaprojektowane produkty finalne są efektywne w relacji nakładów i kosztów do uzyskanych efektów modernizacji oferty edukacyjnej. Wyniki oceny w tym zakresie są podstawą formułowania rekomendacji wdrożeniowych dla innych szkół i organów prowadzących szkoły zainteresowanych kosztem uzyskania zakładanych efektów modernizacyjnych, na które składają się nie tylko koszty finansowe, ale także koszty organizacyjne, osobowe czy zarządcze związane z wdrożeniem poszczególnych modeli modernizacji. Strona 14

16 PYTANIA EWALUACYJNE Strona 15

17 Pytania ogólne dla kryteriów oceny Efektem ewaluacji powinno być określenie warunków (rekomendacji wdrożeniowych), w jakich testowane produkty finalne będą nadawały się do użytkowania i wdrożenia oraz że ich zastosowanie będzie możliwe dla szerszej grupy użytkowników. Ocena produktów finalnych oraz opracowanie rekomendacji wdrożeniowych przeprowadzone zostały poprzez próbę odpowiedzi na następujące pytania ewaluacyjne: Czy wypracowane produkty finalne odnoszą się do rzeczywistych potrzeb rynku pracy i czy gwarantują możliwość szerokiego ich zastosowania? (użyteczność) Czy wypracowane produkty przyczyniają się do realizacji celów projektu, czy modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy poprzez zastosowanie innowacji edukacyjnych? (skuteczność) Czy proces modernizacji oferty edukacyjnej odpowiada na potrzeby uczestników procesu testowania? (uczeń, kadra, otoczenie)? (trafność) W jakim stopniu przeprowadzony proces testowania uwzględniał udział przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi? (rzetelność) Czy wypracowane narzędzia są efektywne w relacji nakładu kosztów do zyskanych efektów modernizacyjnych? (efektywność) Zastosowany w badaniu ewaluacyjnym zestaw metod badawczych miał charakter komplementarny. Wykorzystanie różnorodnych, jakościowych i ilościowych metod pozwolił na zebranie kompleksowych i wyczerpujących informacji, pozyskanych od szerokiego kręgu osób i instytucji, realizując następujące cele szczegółowe: Poznanie poziomu wykorzystania i zastosowania przez uczniów i słuchaczy badanych szkół zawodowych, KDA oraz otoczenia modelowych schematów działań w obszarze MSE, DSK, DOZ (użyteczność). Dokonanie analizy poziomu modernizacji oferty edukacyjnej (skuteczność). Dokonanie oceny poziomu trafności wypracowanych modeli w odniesieniu do potrzeb Beneficjentów na rynku pracy (trafność). Dokonanie oceny stopnia zaangażowania w proces testowania przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi? (rzetelność) Strona 16

18 Pytania szczegółowe dla poziomów modernizacji W ramach badania produktów finalnych i procesu ich testowania w Laboratorium DOZ poszukiwano rozwiązań na następujące problemy szczegółowe: Na poziomie UCZNIA: W jakim stopniu wprowadzenie modeli DOZ przyczyniło się do poprawy organizacji pracy szkoły i pracodawcy z uczniem, do wzrostu praktycznych umiejętności wykonywania zawodu, do niwelowania barier związanych ze przestarzałą bazą szkoleniową, do niwelowania luk w wykształceniu uczniów w stosunku do oczekiwań pracodawców, do zbliżenia umiejętności absolwentów do potrzeb rynku pracy czy oczekiwań pracodawców? Na poziomie SZKOŁY: Czy zastosowane modele przyczyniły się do wzrostu kompetencji kadr? W jaki sposób zmiany programowe przygotowały szkołę do pracy z uczniem lub zbliżyły szkołę do rynku pracy? Czy model wprowadza podejście marketingowe, tj. czy określanie klientów wewnętrznych szkoły zwiększa współpracę KDA? Czy modele angażują nauczycieli w roli trenerów? Czy model angażuje pracodawców do szkolenia KDA w roli moderatorów, trenerów? Na poziomie OTOCZENIA: Jakie korzyści przyniosła współpraca lokalna w kontekście dopasowania oferty edukacyjnej do potrzeb rynku pracy? Czy współpraca z otoczeniem ułatwia projektowanie nowych metod edukacyjnych lub ich modyfikację? Czy organizowanie współpracy lokalnej ułatwia wypracowanie lokalnej strategii współpracy, określenie klientów szkoły, ich potrzeb i interesów oraz czy motywuje uczestników do współpracy? Czy model ułatwia wykorzystanie potencjału edukacyjnego otoczenia szkoły? Strona 17

19 Zestawienie kryteriów, pytań i metod oceny Zestawienie celów, pytań ewaluacyjnych oraz kryteriów oceny produktów finalnych i procesu testowania pozwala określić optymalne narzędzia badawcze dla każdego obszaru ewaluacji, omawiane w dalszej części raportu: Cel ewaluacji Pytanie ewaluacyjne Kryterium Metoda badawcza Poznanie poziomu wykorzystania i zastosowania przez uczniów i słuchaczy badanych szkół zawodowych, KDA oraz otoczenia modelowych schematów działań w obszarze MSE, DSK, DOZ Czy wypracowane produkty finalne odpowiadają na potrzeby uczestników rynku pracy i czy gwarantują możliwość szerokiego ich zastosowania? Użyteczność U CATI CAWI FGI Dokonanie analizy poziomu modernizacji oferty edukacyjnej Czy wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy Skuteczność S CATI CAWI Dokonanie oceny poziomu trafności wypracowanych modeli w odniesieniu do potrzeb Beneficjentów na rynku pracy Czy proces modernizacji oferty odpowiada na zidentyfikowane problemy i potrzeby wszystkich klientów szkoły? (uczeń, kadra, otoczenie)? Trafność T CATI CAWI FGI Dokonanie oceny stopnia zaangażowania w proces testowania przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi. Czy proces modernizacji oferty edukacyjnej gwarantuje udział odbiorców i użytkowników? Rzetelność R FGI Dokonanie oceny relacji nakładu kosztów do uzyskanych efektów modernizacyjnych narzędzi i modeli wypracowanych w ramach projektu w opinii uczestników eksperymentu oraz przedstawicieli otoczenia. Czy wypracowane narzędzia są efektywne w relacji nakładu kosztów do zyskanych efektów modernizacyjnych? Efektywność E FGI Strona 18

20 OPIS METOD BADAWCZYCH Strona 19

21 Zastosowane METODY BADAWCZE Złożoność wypracowanych produktów finalnych, w szczególności różnorodne konteksty ich zastosowania (różne poziomy funkcjonowania szkoły generujące różnorodne grupy odbiorców I użytkowników), różne funkcje wypracowanych narzędzi modernizacyjnych (diagnoza, edukacja, strategia) oraz konieczność oceny samych produktów jak też procesu ich tworzenia I testowania (różne grupy badawcze związane z testem odbiorczy, uczestnicy testu jak też niezwiązane z testem użytkownicy, przedstawiciele otoczenia testu) wymaga zastosowania różnorodnych metod badawczych. Dlatego też zespół Badawczy zastosuje: triangulację metod badawczych łączenie różnych metod badawczych, co umożliwi lepsze rozpoznanie badanych zdarzeń, triangulację źródeł danych badaniem zostaną objęte dane zastane i dane wywołane, triangulację perspektyw oceny badawczych badanie będzie przeprowadzone przez zespół badawczy, co pozwoli uzyskać pełny, różnorodny I bardziej obiektywny obraz przedmiotu badania. W związku z faktem, iż całe badanie ewaluacyjne posiada zróżnicowaną strukturę 3 raportów dla każdego obszaru modernizacji oferty edukacyjnej (DSK, MES i DOZ) w raporcie metodologicznym przedstawiono triangulację dla całego badania ewaluacyjnego: OBSZAR POZIOM Laboratorium DSK Laboratorium MES Laboratorium DOZ Uczeń Szkoła Otoczenie Uczeń Szkoła Otoczenie Uczeń Szkoła Otoczenie EWALUACJA ZEWNĘTRZNA IDI ME EWALUACJA WEWNĘTRZNA - RAPORTY (Innowacyjne metody MOE dla 3 obszarów problemowych ) DR FGI CATI CAWI Strona 20

22 CATI - Computer Assisted Telephone Interview Telefoniczny wywiad metodą ankietową przeprowadzony został na podstawie kwestionariuszy badawczych przygotowanych na potrzeby badania specjalnie dla poszczególnych modeli (poziomów) modernizacji oraz specjalnie dla poszczególnych grup badawczych (uczestnicy testu uczniowie, kadra szkoły). W związku z powyższym na potrzeby badania CATI powstały dwa kwestionariusze badawcze: Kwestionariusz CATI dla narzędzi związanych z IP7 (metody pracy z uczniem dla pierwszego poziomu modernizacji UCZEŃ) kierowany do uczniów biorących udział w pracach testujących w ramach Laboratorium DOZ - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DOZ na poziomie UCZNIA Kwestionariusz CATI dla narzędzi związanych z IP8 (metody organizacji pracy placówki edukacyjnej i zarządzania kompetencjami kadr dydaktyczno-administracyjnych dla drugiego poziomu modernizacji SZKOŁA) kierowany do nauczycieli biorących udział w pracach testujących w ramach Laboratorium DOZ - Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DOZ na poziomie SZKOŁY CAWI - Computer Assisted Web Interview Telefoniczny wywiad metodą ankietową przeprowadzony został na podstawie kwestionariusza badawczego przygotowanego dla 3 modelu (poziomu) modernizacji oraz dla grupy badawczej niezwiązanej bezpośrednio z testem (pracownicy szkoły niebiorący udziału w teście, pracownicy innych szkół oraz instytucji otoczenia szkoły). Ankietę skonstruowano w taki sposób, by wypełniający mógł przed oceną produktów finalnych poznać ich założenia i funkcje. Zastosowanie CAWI otoczenie szkoły umożliwiło pozyskanie opinii od osób z niską motywacją do udziału w nadaniach (niezwiązanych bezpośrednio z testem i nieangażowanych do realizacji projektu) a zakres problemowy związany ze współpracą ankietowanego ze szkołą zachęcały do udzielenia odpowiedzi i wyrażenia opinii na temat modelu tej współpracy. Na potrzeby badania CAWI powstał: Kwestionariusz CAWI dla narzędzi związanych z IP9 (metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium DOZ - Załącznik 3. Ankieta CAWI opinia o modelu MOE z DOZ na poziomie OTOCZENIA Strona 21

23 FGI - (Focused Group Interview) - Zogniskowany wywiad grupowy W ramach ewaluacji wypracowanych produktów finalnych oraz procedury ich tworzenia i testowania przeprowadzono wywiady fokusowe z uczestnikami projektu i procesu testowania oraz z otoczeniem nie biorącym udziału w teście. Wywiady przeprowadzono w oparciu o scenariusz spotkania pozwoliły na szersze ujęcie oceny prowadzonego projektu oraz umożliwiły zaprezentowanie i wspólną analizę wypracowanych modeli interwencji modernizacyjnej. W szczególności formuła spotkania fokusowego dała szansę na wypracowanie rekomendacji do wdrożeń, w zakresie kompleksowości lub uniwersalności wypracowanych modeli (możliwości uproszczenia schematów działań, powiązania narzędzi pomiędzy poziomami modernizacji, wskazówki lub dobre rady dla przyszłych użytkowników wypracowanych narzędzi). Zważywszy na fakt, iż zaplanowano spotkania fokusowe zarówno z uczestnikami testu jak też przedstawicielami otoczenia, którzy nie brali udziału w procesie testowania i nie posiadali szczegółowej wiedzy na temat ocenianych produktów finalnych zaplanowano dwa rodzaje spotkań o różnym poziomie szczegółowości i odmiennym akcencie edukacyjnym. W przypadku uczestników badań spoza testu konieczne było omówienie wypracowanego modelu i związanych z nim narzędzi. W związku z powyższym na potrzeby badania FGI powstały dwa scenariusze spotkań fokusowych. Scenariusz FGI dla uczestników testu ODBIORCÓW narzędzi związanych z IP7, IP8 i IP9 (metody pracy z uczniem dla pierwszego poziomu modernizacji UCZEŃ, metody organizacji pracy placówki edukacyjnej i zarządzania kompetencjami kadr dydaktycznoadministracyjnych dla drugiego poziomu modernizacji SZKOŁA oraz metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia biorących udział w teście - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu Scenariusz FGI dla otoczenia testu UŻYTKOWNIKÓW modeli IP7, IP8 i IP9 (metody pracy z uczniem dla poziomu UCZEŃ, metody organizacji pracy placówki edukacyjnej dla poziomu SZKOŁA a w szczególności metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia biorących udział w teście - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNICY modelu Strona 22

24 OPIS PRÓBY BADAWCZEJ Strona 23

25 Termin i miejsce realizacji badania Badanie ilościowe z zastosowaniem opisanych ankiet i metod badawczych realizowane było w terminie od z udziałem pracowników szkoły biorącej udział w testowaniu ocenianych narzędzi oraz przedstawicieli instytucji z otoczenia tej szkoły. Zważywszy na zdalny charakter badań (rozmowa telefoniczna, ankieta internetowa) nie można wskazać konkretnego miejsca realizacji badań, jednak zgodnie z założeniami odnośnie grupy docelowej projektu (miejsce zamieszkania, miejsce siedziby pracodawcy) należy uznać, iż badania prowadzone były na terenie województwa podlaskiego, w szczególności powiecie grajewskim i mieście Grajewo. Dobór respondentów do badania Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych (modeli modernizacji szkoły na trzech poziomach funkcjonowania szkoły z odpowiadającymi tym poziomom odbiorcami i użytkownikami produktów finalnych), w szczególności: UCZEŃ Zespołu Szkół w Wojewodzinie biorący udział w pracach testujących w zakresie użycia ankiety wydzielającej moduły DOZ oraz zajęć praktycznej nauki zawodu z udziałem nauczycieli praktycznej nauki zawodu po szkoleniach przygotowujących do zastosowania elementów DOZ - 20 osób, w tym 11 kobiet i 9 mężczyzn. Wszyscy uczniowie w wieku lat. KADRA DYDAKTYCZNO-ADMINISTRACYJNA Zespołu Szkół w Wojewodzinie biorąca udział w pracach testujących w zakresie użycia ankiety wydzielającej moduły DOZ oraz zajęć praktycznej nauki zawodu z udziałem nauczycieli praktycznej nauki zawodu po szkoleniach przygotowujących do zastosowania elementów DOZ, wzoru ankiety audytu szkoły w zakresie rozwiązań DOZ, karty potrzeb szkoleniowych oraz programu szkolenia KDA z DOZ - 5 osób, w tym wszystkie kobiety, 5 pracownic dydaktycznych. PRZEDSTAWICIELE OTOCZENIA Zespołu Szkół w Wojewodzinie nie biorący udziału w pracach testujących lecz związanych ze szkołą, 60 respondentów, w tym 47 kobiet, 14 mężczyzn, w tym 50 osób ze szkoły, 5 pracodawców i 5 przedstawicieli innych instytucji. Strona 24

26 Badanie opinii UCZESTNIKÓW testu ODBIORCÓW modelu Badanie jakościowe FGI z udziałem uczestników testu ODBIORCÓW koncentrowało się na ocenie procedury testowania, celem wypracowania rekomendacji wdrożeniowych dla innych szkół i instytucji zainteresowanych model modernizacji, W tym przypadku prace realizowane w ramach Laboratorium DOZ były traktowane w ocenie jako pierwowzór procesu wdrożeniowego, dlatego też kluczowe było zebranie podsumowujących informacji zwrotnych z tego procesu oraz analiza możliwości uproszczenia lub zuniwersalizowania wypracowanego modelu. Drugim aspektem była ocena trafności, rzetelności i użyteczności wypracowanych rozwiązań. Termin i miejsce realizacji badania FGI_O Badanie jakościowe FGI z zastosowaniem scenariusza FGI dla uczestników testu ODBIORCÓW zrealizowane zostało w terminie 17 maja 2012 roku w Zespole Szkół w Wojewodzinie. Miejsce realizacji badania wybrano pod kątem dostępu do wszystkich osób biorących udział w testowaniu ocenianych rozwiązań, w szczególności pracowników szkoły biorącej udział w testowaniu narzędzi związanych z modelem MOE z DOZ. Dobór respondentów do badania FGI_O Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych (modeli modernizacji szkoły na trzech poziomach funkcjonowania szkoły z odpowiadającymi tym poziomom odbiorcami i użytkownikami produktów finalnych), w szczególności: KADRA DYDAKTYCZNO-ADMINISTRACYJNA Zespołu Szkół w Wojewodzinie biorąca udział w pracach testujących 9 narzędzi w ramach IP7, IP8 i IP9-7 uczestników, przedstawicieli uczestników testu jak i użytkowników, w tym 2 mężczyzn, 4 osoby w wieku powyżej 50 lat, 7 osób z wykształceniem wyższym, 2 wicedyrektorów, nauczyciel informatyk, polonista, bibliotekarz, opiekun internatu wychowawca oraz nauczyciele przedmiotowi. Wszyscy uczestnicy byli zorientowani w procedurze testowania oraz efektach prac wdrożeniowych w szkole, wykazując zainteresowanie podzielenia się swoimi doświadczeniami z potencjalnymi użytkownikami wypracowanych rozwiązań. PRZEDSTAWICIELE OTOCZENIA Zespołu Szkół w Wojewodzinie Budowlanych w Bielsku Podlaskim biorących udział w pracach testujących lub związanych ze szkołą - 3 osoby, 1 mężczyzna, 2 kobiety, 2 pracodawców i 1 przedstawiciel OHP. Strona 25

27 Badanie opinii OTOCZENIA testu UŻYTKOWNIKÓW modelu Badanie jakościowe FGI z udziałem otocznia testu UŻYTKOWNIKÓW koncentrowało się na ocenie wypracowanych produktów, ich uniwersalności, zrozumiałości oraz złożoności. Szczególnie istotne było poznanie opinii przedstawicieli instytucji nie biorących udziału w teście, lecz potencjalnie zainteresowanych zastosowanie wypracowanych rozwiązań, wsparciem kształcenia zawodowego lub współpracą lokalną ze szkołami zawodowymi. W ramach spotkania fokusowego akcent położony został na przedstawienie modelu oraz funkcji poszczególnych narzędzi wchodzących w skład modelu. Istotnym zadaniem było wypracowanie skutecznej komunikacji i sposobów prezentacji modeli dla osób nie związanych z projektem, które byłyby przydatne w procesie upowszechniania i wdrożeń rozwiązań poza projektem. Ocena trafności, rzetelności i użyteczności wypracowanych rozwiązań opierała się na ocenie całego modelu interwencji oraz powiązań funkcjonalnych i logicznych poszczególnych narzędzi. Analizowane były możliwości uproszczenia procedury wdrożeniowej lub wyboru narzędzi najistotniejszych, które mogłyby funkcjonować niezależnie od modelu. Termin i miejsce realizacji badania FGI_U Badanie jakościowe FGI z zastosowaniem scenariusza FGI dla otoczenia testu UŻYTKOWNIKÓW zrealizowane zostało w terminie 20 czerwca 2012 roku w Powiatowym Urzędzie Pracy w Sejnach. Miejsce realizacji badania wybrano pod kątem pozyskania informacji od instytucji zajmującej się realizacją doradztwa i poradnictwa zawodowego. Miejsce spotkania było dogodne dla instytucji zainteresowanych stosowaniem narzędzi związanych z modelem MOE z DOZ. Dobór respondentów do badania FGI_U Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych, w szczególności: PRZEDSTAWICIELE OTOCZENIA szkół zawodowych w zakresie DOZ - pracownicy Powiatowego Urzędu Pracy, doradcy zawodowi z urzędu oraz przedstawiciel innych szkół zawodowych, opiekun Szkolnego Ośrodka Kariery w innej szkole i powiecie - 7 osób, 1 mężczyzna i 6 kobiet, 6 osób z wykształceniem wyższym, 1 z wykształceniem średnim. Wszyscy uczestnicy byli zorientowani w procedurach doradztwa zawodowego w instytucjach rynku pracy i oświacie. Strona 26

28 PREZENTACJA WYNIKÓW BADANIA ILOŚCIOWE Strona 27

29 Ocena UŻYTECZNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach ilościowego badania ewaluacyjnego zastosowano kryterium UŻYTECZNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 8 pytań: 2 pytania w kwestionariuszu CATI dla narzędzi związanych z IP7 kierowanym do uczniów biorących udział w pracach testujących w ramach Laboratorium DOZ - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DOZ na poziomie UCZNIA 4 pytania w kwestionariuszu CATI dla narzędzi związanych z IP8 kierowanym do nauczycieli biorących udział w pracach testujących w ramach Laboratorium DOZ- Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DOZ na poziomie SZKOŁY 2 pytania w kwestionariuszu CAWI dla narzędzi związanych z IP9 kierowanym do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium DOZ - Załącznik 3. Ankieta CAWI opinia o modelu MOE z DOZ na poziomie OTOCZENIA W efekcie przeprowadzonych wywiadów telefonicznych oraz ankietyzacji internetowej uzyskano wyniki oceny dla poszczególnych narzędzi związanych z 3 poziomami modernizacji oferty edukacyjnej szkoły zawodowej z zastosowaniem elementów DOZ. Użyteczność IP7 3 narzędzia modernizacji na poziomie UCZNIA Oceny użyteczności zastosowania pierwszego produktu finalnego IP7 w laboratorium DOZ badającego moduły DOZ dokonano w oparciu o wyniki badania telefonicznego CATI, które było skierowane do uczniów, którzy uczestniczyli w projekcie i testowali wypracowane podczas trwania projektu narzędzia. W badaniu wzięło udział 20 uczniów, 45% stanowili chłopcy, 55 dziewczęta. Wszyscy respondenci mieli lat. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie: Czy wypracowane produkty finalne odpowiadają na potrzeby ucznia i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 1. Czy ankieta modułów DOZ pozwoliła ocenić Twoje potrzeby edukacyjne? Aż 95% uczniów stwierdziło, że ankieta pozwoliła im na ocenę własnych potrzeb edukacyjnych. Rozkład uzyskanych rang dla użyteczności narzędzia prezentuje wykres poniżej. Strona 28

30 15% 5% 5% % % 9 Wykres 1. Rozkład uzyskanych rang dla użyteczności narzędzia IP7 wzór ankiety wydzielającej moduły DOZ. Źródło: opracowanie własne. 65% respondentów oceniło użyteczność narzędzia na 8 i 9 punktów w skali 10 punktowej, zaś jedna osoba przyznała 1 pkt. tym samym stwierdziła, że narzędzie te jest dla nich nieużyteczne. Pytanie 2. Czy Twoim zdaniem ankieta wydzielająca moduły DOZ może być wykorzystana w innej klasie lub szkole? Narzędzie to oceniono jako bardzo użyteczne i przydatne (100% odpowiedzi tak) do oceny potrzeb edukacyjnych także innych uczniów, z innych klas. Rozkład odpowiedzi na to pytanie prezentuje wykres 2. 5% 5% 25% 5 20% % % Wykres 2. Rozkład uzyskanych rang dla użyteczności narzędzia IP7 Wzór ankiety wydzielającej moduły DOZ dla innych uczniów i klas. Źródło: opracowanie własne. Strona 29

31 Najwięcej, bo 1/3 uczniów oceniła narzędzie na 8 pkt. w skali 10 pkt., 25% przyznało 10 pkt., 15% -9 i 20% - 7 pkt. Podsumowując stwierdzić można, że w opinii uczniów narzędzia modernizacyjne związane z modelem IP7 na poziomie ucznia są przydatne zarówno do wydzielania modułów DOZ w Szkole biorącej udział w teście jak i może być przydatne dla uczniów innych klas i szkół. Wypracowane produkty finalne odpowiadają na potrzeby ucznia i gwarantują możliwość szerokiego ich zastosowania. Użyteczność IP8 3 narzędzia modernizacji na poziomie SZKOŁY Badanie użyteczności narzędzia IP8 odbyło się poprzez badanie telefoniczne kadry dydaktyczno-administracyjnej biorącej udział w testowaniu. Respondentkami były kobiety (100%). Kadra dydaktyczna stanowiła 100%. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane produkty finalne (IP2) odpowiadają na potrzeby SZKOŁY i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 3. Czy model dostosowania programu nauczania do wyników ankiety audytu Szkoły pozwala uwzględnić w edukacji potrzeby ucznia i pracodawców? Wszyscy respondenci uważają, że model dostosowania programu nauczania do wyników ankiety narzędzie IP8 pozwala uwzględnić w edukacji potrzeby ucznia i pracodawców. 20% 20% 20% 20% % Wykres 3. Rozkład uzyskanych rang dla użyteczności narzędzia IP8 w zakresie uwzględnienia w edukacji potrzeby ucznia i pracodawców. Źródło własne. Pytanie 4. Czy ten sposób modernizowania programów nauczania można zastosować w innej szkole? Strona 30

32 Podobnie jak w przypadku poprzedniego pytania wszyscy respondenci (100%) uznali bardzo wysoką użyteczność tego narzędzia do zastosowania w innych placówkach. 60% respondentów przyznało rangę 7 w skali 10 punktowej, zaś 40% przyznało rangę % 60% 7 10 Wykres 4. Rozkład uzyskanych rang dla użyteczności IP8 w modernizowaniu programów nauczania dla innych placówek. Źródło własne. Pytanie 5. Czy model szkolenia kadr dydaktyczno-administracyjnych w odniesieniu do wyników audytu dostępnych w szkole kompetencji DOZ umożliwia modernizację szkoły? 20% 20% 20% % Wykres 5. Rozkład uzyskanych rang dla użyteczności IP8 w ocenie modelu szkolenia KDA, jako narzędzia modernizacji szkoły, Źródło: opracowanie własne. Respondenci jednogłośnie stwierdzili, że zaproponowane narzędzie IP82 program szkolenia kadr jest użytecznym narzędziem modernizacji szkoły. Narzędziu temu przyznało rangi odpowiednio 6, 8 i 9 po 20% respondentów, 7 40%. Strona 31

33 Pytanie 6. Czy ten sposób modernizowania szkoły można zastosować w innej placówce kształcenia zawodowego? Wszyscy nauczyciele stwierdzili, że modernizacja innej placówki oświatowej może odbywać się poprzez zastosowanie powyższego narzędzia. Użyteczność tego narzędzia oceniono: 7-60% respondentów, po 20% - 9 i % 20% 60% Wykres 6. Rozkład uzyskanych rang dla użyteczności IP8 w zakresie możliwości zastosowania narzędzia modernizacyjnego inną placówkę oświatową w opinii respondentów CATI. Źródło: opracowanie własne. Reasumując należy stwierdzić, że w opinii nauczycieli narzędzia modernizacyjne związane z modelem IP8 na poziomie szkoły są użytecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Narzędzia modernizacyjne wypracowane w ramach produktu finalnego (IP8) odpowiadają na potrzeby SZKOŁY i gwarantują możliwość szerokiego ich zastosowania. Strona 32

34 Użyteczność IP9 3 narzędzia modernizacji na poziomie OTOCZENIA Ocenę użyteczności produktu finalnego IP9 dokonano w oparciu o wyniki badania internetowego CAWI. W badaniu wzięło udział 60 respondentów: 47 kobiet - 76%, 14- mężczyzn -23%. Respondenci pochodzili z następujących instytucji: szkoły 50 osób (84%), pracodawcy - 5 (8%), Inne - 5 (8%). Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane produkty finalne (IP9) odpowiadają na potrzeby OTOCZENIA i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 7. Czy model prac lokalnej koalicji w oparciu o program spotkań, kartę potrzeb oraz strategię rozwijającą DOZ tworzy minimalne warunki do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły? Sześćdziesiąt osób (100% respondentów) stwierdziło, że zaproponowany model prac lokalnej koalicji daje co najmniej minimalne warunki do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły. 35% 17% 23% 3% 2% 2% 5% 2% 12% Wykres 7. Rozkład uzyskanych rang dla użyteczności IP9 w zakresie tworzenia co najmniej minimalnych warunków do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły. Źródło: opracowanie własne. Czternaście osób nadało rangę 1 dla modelu lokalnej koalicji, tym samym uważają go za nie istotny, pozostałe osoby oceniły średnio model. Średnia ranga wyniosła 7 pkt. dwadzieścia jedne osób (35%) nadało modelowi najwyższą rangę 10. Strona 33

35 Pytanie 8. Czy w Państwa opinii taki model budowania współpracy jest uniwersalny, i jako taki czy można zastosować w innej szkole, mieście lub powiecie, jako model budowania relacji szkoły z otoczeniem? Pięćdziesiąt dziewięć osób (98%) potwierdziło użyteczność zaproponowanych rozwiązań dla innych instytucji, jedna osoba była innego zdania. Dwanaście osób stwierdziło, że model ten jest nie istotny, co oznacza najniższą rangę. Pozostałe osoby oceniły średnio model. Średnia ranga przyznanych ocen wyniosła 6 pkt. Dwadzieścia trzy osoby nadały modelowi najwyższe rangi 9 i % 20% % 2% 5 23% 20% 7% 3% 5% 2% Wykres 8. Rozkład uzyskanych rang dla użyteczności IP9 w zakresie możliwości budowania współpracy w innej szkole, mieście lub powiecie, jako modelu budowania relacji szkoły z otoczeniem. Źródło własne. Reasumując należy stwierdzić, że w opinii otoczenia narzędzia modernizacyjne związane z modelem IP9 na poziomie współpracy szkoły z instytucjami otoczenia i pracodawcami są użytecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Narzędzia wypracowane w ramach produktu finalnego (IP9) odpowiadają na potrzeby OTOCZENIA i gwarantują możliwość szerokiego ich zastosowania. Strona 34

36 Użyteczność Modelu MOE z DOZ - Wnioski Podsumowując ocenę użyteczności modelu modernizowania oferty edukacyjnej z zastosowaniem DOZ z zastosowaniem 9 narzędzi modernizacyjnych, należy stwierdzić, iż zarówno uczniowie, nauczyciele jak i otoczenie szkoły pozytywnie ocenia wypracowane rozwiązanie w zakresie możliwości jego wdrożenia w innych szkołach oraz możliwości realizowania z ich użyciem faktycznej zmiany modernizacyjnej w szkole. Ocena użyteczności modeli jest jednak nieznacznie różna w zależności do grup oceniających i faktycznej możliwości zastosowań rozwiązań w innych szkołach na różnych poziomach modernizacji, co przedstawia poniższy wykres: 8,5 8 7,5 7 6,5 6 5, Wykres 9. Średnie rangi dla poszczególnych pytań dotyczących użyteczności IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. W porównaniu poszczególnych odpowiedzi, należy podkreślić, iż najniższą rangę uzyskała użyteczność w opinii otoczenia w zakresie uniwersalności i możliwości zastosowania, jako model budowania relacji szkoły z otoczeniem (pytanie 8). Jednocześnie największą rangę w zakresie użyteczności modelu w opinii nauczycieli ma możliwość zastosowania modelu do modernizowania oferty edukacyjnej (pytanie 4). Należy jednak podkreślić, iż różnice w poziomie eoceny poszczególnych poziomów modernizacji oferty edukacyjnej są niewielkie i wskazują na wysoką użyteczność całego modelu MOE z DOZ, co szczególnie wyraźne jest w kontekście porównania tego modelu z innymi obszarami modernizacji (DSK, MES), gdzie poziomy ocen różnią się znacznie pomiędzy środowiskiem szkolnym a otoczeniem szkoły. Świadczy to o dużej świadomości problematyki doradztwa i orientacji zawodowej (DOZ) wśród pracodawców i instytucji otoczenia szkoły, pośród których przeważają instytucje rynku pracy. Wysoka świadomość społeczna problematyki i korzyści z zastosowania DOZ w szkole ponadgimnazjalnej przekłada się na wysokie Strona 35

37 oceny użyteczności modelu modernizacji przez otoczenie szkoły oraz szerokie kadry dydaktyczno-administracyjne szkoły (KDA). Tak dobrej i zrównoważonej oceny nie będzie w przypadku Dualnego Systemu Kształcenia (DSK) oraz Modułowego Systemu Kształcenia (MES), gdzie świadomość korzyści z zastosowania tych modeli wśród osób nie związanych bezpośrednio z eksperymentem jest dużo niższa. Jest to wyraźna przewaga modelu MOE z DOZ, którą należy wykorzystać we wdrażaniu modelu, mając komfort przesuwania akcentu z działań o charakterze edukacyjnym i informacyjnym na zadania o charakterze jakościowym, związane z wypracowaniem nowego standardu usług. Zależności te dla całych modeli IP7, IP8 i IP9 dla poszczególnych poziomów modernizacji przedstawia poniższy wykres; 8,5 8 7,5 7 6,5 6 5,5 5 IP7 IP8 IP9 Wykres 10. Średnie rangi dla użyteczności IP7, IP8 i IP9 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło: opracowanie własne. Użyteczność MOE z DOZ jest największa w opinii uczniów i nauczycieli, co potwierdza, iż DOZ jest naturalnym i zrozumiałym dla środowiska szkolnego obszarem modernizacji szkoły. Nieznacznie niższe oceny ze strony otoczenia, dotyczące użyteczności narzędzi związanych z lokalną współpracą wynika z faktu, iż szkoły zawodowe standardowo nie współpracują z instytucjami rynku pracy i jest to obszar wymagający największego wysiłku w tworzeniu trwałych relacji z otoczeniem, szerszym niż OHP czy poradnie psychologicznopedagogiczne. Szczelnie dużym wyzwaniem jest budowanie relacji współpracy na rzecz doradztwa i orientacji zawodowej z pracodawcami, którzy mogą i powinni wspierać proces orientacji zawodowej uczniów. Strona 36