INNOWACYJNE METODY MODERNIZACJI OFERTY EDUKACYJNEJ Z ZASTOSOWANIEM ROZWIĄZAŃ DUALNEGO SYSTEMU KSZTAŁCENIA

Transkrypt

1 RAPORT EWALUACYJNY DSK INNOWACYJNE METODY MODERNIZACJI OFERTY EDUKACYJNEJ Z ZASTOSOWANIEM ROZWIĄZAŃ DUALNEGO SYSTEMU KSZTAŁCENIA

2 SPIS TREŚCI Struktura raportu ewaluacyjnego wg, standardu KIW STRONA OPIS PRZEDMIOTU BADANIA 4 Przedmiot badania model MOE z DSK 5 Produkty finalne związane z modelem MOE z DSK 11 KRYTERIA OCENY 12 Kryteria ewaluacyjne badania ilościowe UŻYTECZNOŚĆ, SKUTECZNOŚĆ, TRAFNOŚĆ 13 Kryteria ewaluacyjne badania ilościowe TRAFNOŚĆ, RZETELENOŚĆ, EFEKTYWNOŚĆ 13 PYTANIA EWALUACYJNE 15 Pytania ogólne dla kryteriów oceny 16 Pytania szczegółowe dla poziomów modernizacji 17 Zestawienie kryteriów, pytań i metod oceny 18 OPIS METOD BADAWCZYCH 19 Zastosowane METODY BADAWCZE 20 CATI - (Computer Assisted Telephone Interview) ankiety telefoniczne 21 CAWI - (Computer Assisted Web Interview) ankiety internetowe 21 FGI (Focused Group Interview) - Zogniskowany wywiad grupowy 22 OPIS PRÓBY BADAWCZEJ 23 Termin i miejsce realizacji badania CATI, CAWI 24 Dobór respondentów do badania CATI, CAWI 24 Termin i miejsce realizacji badania FGI_O 25 Dobór respondentów do badania FGI_O 25 Termin i miejsce realizacji badania FGI_U 26 Dobór respondentów do badania FGI_U 26 PREZENTACJA WYNIKÓW - Badanie ILOŚCIOWE 27 Ocena UŻYTECZNOŚCI wypracowanego modelu 28 Użyteczność IP1 3 narzędzia modernizacji na poziomie UCZNIA 28 Użyteczność IP2 3 narzędzia modernizacji na poziomie SZKOŁY 30 Użyteczność IP3 3 narzędzia modernizacji na poziomie OTOCZENIA 32 Użyteczność Modelu MOE z DSK - Wnioski 34

3 Ocena SKUTECZNOŚCI wypracowanego modelu 36 Skuteczność IP1 3 narzędzia modernizacji na poziomie UCZNIA 36 Skuteczność IP2 3 narzędzia modernizacji na poziomie SZKOŁY 38 Skuteczność IP3 3 narzędzia modernizacji na poziomie OTOCZENIA 39 Skuteczność Modelu MOE z DSK - Wnioski 42 Ocena TRAFNOŚCI wypracowanego modelu 44 Trafność IP1 3 narzędzia modernizacji na poziomie UCZNIA 44 Trafność IP2 3 narzędzia modernizacji na poziomie SZKOŁY 46 Trafność IP3 3 narzędzia modernizacji na poziomie OTOCZENIA 47 Trafność Modelu MOE z DSK - Wnioski 49 PREZENTACJA WYNIKÓW - Badanie JAKOŚCIOWE 51 Ocena TRAFNOŚCI wypracowanego modelu 52 Trafność procedury testowania modelu MOE z DSK w opinii uczestników testu 53 Trafność modelu MOE z DSK w opinii potencjalnych użytkowników 58 Trafność Modelu MOE z DSK - Wnioski 62 Ocena RZETELNOŚCI wypracowanego modelu 63 Rzetelność procedury testowania modelu MOE z DSK w opinii uczestników testu 64 Rzetelność modelu MOE z DSK w opinii potencjalnych użytkowników 68 Rzetelność Modelu MOE z DSK - Wnioski 71 Ocena UŻYTECZNOŚCI wypracowanego modelu 72 Użyteczność modelu MOE z DSK w opinii uczestników testu 73 Użyteczność modelu MOE z DSK w opinii potencjalnych użytkowników 78 Użyteczność Modelu MOE z DSK - Wnioski 83 Ocena EFEKTYWNOŚCI wypracowanego modelu 84 Efektywność modelu MOE z DSK w opinii uczestników testu 84 Efektywność Modelu MOE z DSK - Wnioski 89 WNIOSKI I REKOMENDACJE 90 Kryteria walidacyjne modeli I narzędzi MOE z DSK 91 Efektywność narzędzi modernizacyjnych 91 Empowerment, czyli zaangażowanie grup docelowych 92 Multiplikowalność modeli IP1, IP2, IP3 i dostępność narzędzi 93 Jakość narzędzi 94

4 Ocena porównawcza wewnętrzna i zewnętrzna MOE z DSK 95 Porównanie oceny modeli IP1, IP2 i IP3 w ramach MOE z DSK 96 Porównanie oceny MOE dla obszarów problemowych DSK, MES i DOZ 97 Schematy wdrożeniowe MOE z DSK 98 Upowszechnianie i mainstreaming narzędzi na poziomie UCZNIA 99 Upowszechnianie i mainstreaming narzędzi na poziomie SZKOŁY 100 Upowszechnianie i mainstreaming narzędzi na poziomie OTOCZENIA 101 Załączniki 102 Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie UCZNIA 1-3 Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie SZKOŁY 1-3 Załącznik 3. Ankieta CAWI opinia o modelu MOE z DSK na poziomie OTOCZENIA 1-4 Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 1-13 Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNICY modelu 1-13

5 OPIS PRZEDMIOTU BADANIA Strona 4

6 Przedmiot badania Model MOE z DSK Dostosowanie oferty edukacyjnej szkół zawodowych do potrzeb lokalnego rynku pracy to proces złożony obejmujący wiele aspektów funkcjonowania szkoły, takich jak współpraca z lokalnymi przedsiębiorcami w zakresie Dualnego Systemu Kształcenia (DSK), zwiększenie elastyczności absolwentów na lokalnym rynku pracy poprzez potwierdzanie kwalifikacji dla zadań zawodowych w ramach Modułowego Systemu Kształcenia (MES) czy też realizacja zadań doradztwa i orientacji zawodowej we współpracy z lokalnymi instytucjami rynku pracy (DOZ). Zagadnieniom tym poświęcono z osobna trzy obszary modernizacji oferty edukacyjnej szkoły zawodowej. W opracowaniu tym opisano wyniki ewaluacji złożonego modelu modernizacji szkoły zawodowej z wykorzystaniem elementów DSK. Ocenie poddano 3 modele (schematy interwencji) związane z DSK na poziomie organizacji pracy z uczniem, organizacji pracy szkoły jako instytucji oraz organizacji współpracy szkoły z otoczeniem. Analogicznie w przypadku dwóch pozostałych obszarów problemowych, czyli modernizacji szkoły zawodowej z wykorzystaniem elementów MES lub DOZ opracowano i oceniono dalszych sześć modeli modernizacyjnych, na poziomie ucznia, szkoły i jej otoczenia. Niniejszy raport z ewaluacji metod modernizacji oferty edukacyjnej szkoły zawodowej dotyczy narzędzi związanych z Dualnym Systemem Kształcenia (DSK). Metody te i związane z nimi narzędzia modernizacji szkoły opracowane zostały przez zespół specjalistów rynku pracy z Fundacji Forum Inicjatyw Rozwojowych, Narodowego Forum Doradztwa Kariery oraz nauczycieli skupionych wokół Zespołu Szkół Budowlanych w Bielsku Podlaskim we współpracy ponadnarodowej z partnerami z Niemiec, Hiszpanii i Francji w Strona 5

7 ramach projektu Innowacyjnego PI WP: INNOWACJE EDUKACYJNE program testowania i wdrażania nowych metod modernizacji oferty kształcenia zawodowego w woj. podlaskim. Na podstawie przeprowadzonego testu opracowano opis 9 narzędzi składających się na 3 Produkty Finalne Laboratorium DSK. Wyniki przeprowadzonej ewaluacji, opisanej w poniższym raporcie są podstawą do sformułowania rekomendacji na temat możliwości i zasadności wdrożenia tych produktów w innych szkołach na terenie województwa podlaskiego. Jaku już wspomniano, kluczowym założeniem modelu modernizacji z wykorzystaniem elementów dualnego sytemu kształcenia (DSK) jest komplementarne oddziaływanie na szkołę w trzech aspektach jej funkcjonowania: pracy z uczniem, kompetencji kadr i wewnętrznego funkcjonowania szkoły oraz otoczenia szkoły. Trzem poziomom wsparcia szkoły odpowiadają 3 modele modernizacji oferty edukacyjnej poddane ocenie. (innowacyjne produkty IP1, IP2 i IP3), na które z kolei składają się konkretne narzędzia modernizacyjne łącznie 9 narzędzi wykorzystujących rozwiązania DSK. Narzędzia te przedstawione są na poniższym schemacie tworząc razem pakiet narzędzi Modernizacji Oferty Edukacyjnej (MOE) szkoły zawodowej za zastosowaniem elementów DSK. Należy w tym miejscu podkreślić, iż celem testowanych innowacji nie było wdrożenie Dualnego Systemu Kształcenia jako takiego, lecz wykorzystanie jego elementów do poprawy jakości kształcenia i modernizacji szkoły z uwzględnieniem jej otoczenia. W tym przypadku kluczowym kontekstem zmiany w szkole, definiującym otoczenie szkoły, byli lokalni pracodawcy, przedsiębiorcy współtworzący DSK w szkole. Pakiet dziewięciu narzędzi modernizacyjnych nawiązujący do DSK przedstawia poniższy schemat. Strona 6

8 Zgodnie z założeniami projektu, na każdym poziomie funkcjonowania szkoły testowano i oceniano po 3 narzędzia modernizacyjne: Oceniana metodologia modernizacji zakładała na każdym poziomie funkcjonowania szkoły 3 kroki modernizacji o odmiennych znaczeniu i charakterze, powiązane ze sobą logicznie w związku przyczynowoskutkowym: każdy krok powodował krok następny, uzasadniając go oraz nadając mu konkretny kierunek. Zależność i powiązanie ze sobą kolejnych kroków modernizacji (3 narzędzi w każdym modelu interwencji poziomie funkcjonowania szkoły) było między innymi przedmiotem badania ewaluacyjnego, w poszukiwaniu odpowiedzi na pytanie, czy za każdym razem wykonanie wymienionych 3 korków było niezbędne i korzystne dla projektowanej zmiany modernizacyjnej. Poszczególnym krokom odpowiadały inne etapy modernizacji, a tym samym kolejnym 3 narzędziom modernizacyjnym odmienne, powiązane ze sobą funkcje: funkcję badawczą (związaną z diagnozą problemu, obszaru zmiany), Strona 7

9 funkcję edukacyjną (związaną z przygotowaniem niezbędnych kompetencji do zmiany lub usunięcia zdiagnozowanego problemu) oraz funkcję strategiczną związaną z wdrożeniem planu modernizacji lub stałych rozwiązań wypracowanych na rzecz rozwiązania zdiagnozowanego problemu lub pomysłów na rozwój szkoły w określonym obszarze zmiany. Zgodnie z przedstawioną metodologią diagnoza problemu z zastosowaniem narzędzia badawczego (ankiety) stanowiła w na każdym poziomie modernizacji 1 krok na drodze do trafnej i trwałej zmiany. Kluczowym założeniem realizowanym w ramach testu, co także poddane zostało ocenie w badaniu ewaluacyjnym, była troska o to, by diagnoza ta odbywała się z udziałem wszystkich interesariuszy zmiany, w szczególności z udziałem otoczenia reprezentowanego przez lokalnych pracodawców. Na podstawie i w wyniku przeprowadzonej diagnozy z użyciem narzędzi badawczych planowany i realizowany był 2 krok na drodze modernizacji, związany z podniesieniem lub uzupełnieniem kwalifikacji (kadry szkoły). Etap ten realizowany był z wykorzystaniem narzędzi edukacyjnych (programów szkleń, programu spotkań) wykorzystanych na poziomie ucznia, szkoły i otoczenia. Po określeniu problemu, czyli obszaru zmiany oraz przygotowaniu kadry szkoły do rozwiązania problemu lub przeprowadzenia zmiany następował 3 krok związany z narzędziem o charakterze strategicznym, planistycznym, gdzie testowano i oceniano narzędzia porządkujące i wpisujące działania modernizacyjne w dłuższą perspektywę czasową lub inaczej, w życie szkoły poprzez nowy program nauczania, wieloletni program szkoleń czy strategię lokalnej współpracy. I tak na poziomie ucznia, czyli modernizacji szkoły w zakresie metod pracy z uczniem testowano następujące narzędzia: Strona 8

10 Test luk kompetencyjnych to w tym przypadku narzędzie badawcze określające rozbieżność pomiędzy tym czego oczekują pracodawcy (rynek pracy) a tym co potrafią absolwenci. Narzędzie to, ze zrozumiałych względów skierowane zostało zarówno do uczniów jak tez pracodawców z otoczenia szkoły. Zniwelowanie luki kompetencyjnej poprzez dualny system kształcenia i współpracę z pracodawcami jest w tym przypadku głównym kontekstem, obszarem, dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy. By kształcenia praktyczne ucznia było bardziej dostosowane do oczekiwań pracodawców niezbędne było przygotowanie nauczycieli praktycznej nauki zawodu do pracy niwelującej zdiagnozowane rozbieżności. W tym celu przygotowano program szkolenia nauczycieli z DSK czyli narzędzie edukacyjne kierowane do nauczycieli praktycznej nauki zawodu. W programie szkolenia przewidziano treści identyfikujące obszary rozbieżności, luki kompetencyjne uczniów oraz metody ich niwelowania poprzez współpracę szkoły z pracodawcami w ramach DSK. Treści szkolenia o charakterze wdrożeniowym w postaci projektu zmian lub korekt do nowego programu nauczania sformułowane zostały w formie rekomendacji programowych DSK stanowiących narzędzie strategiczne modernizacji oferty edukacyjnej, wpisując zmiany w dokumenty strategiczne szkoły (program nauczania zawodu) w drodze uchwały Rady Pedagogicznej. Na poziomie szkoły, czyli modernizacji oferty edukacyjnej w zakresie metod zarządzania placówką edukacyjną i kompetencjami w organizacji testowano następujące narzędzia: Ankieta audytu DSK to w tym przypadku narzędzie badawcze oceniające kompetencje Kadr Dydaktyczno-Administracyjnych (KDA) do realizacji zajęć edukacyjnych z zastosowaniem DSK. Narzędzie to skierowane zostało Strona 9

11 zarówno do nauczycieli jak tez pracowników administracyjnych, odpowiedzialnych za kontakty z pracodawcami. W wyniku tego narzędzia określono potrzeby edukacyjne kadry szkoły, niezbędne do zastosowania DSK niwelowaniu luk kompetencyjnych uczniów. Tym razem nie chodziło jednak o warsztat pracy nauczycieli praktycznej nauki zawodu, lecz o całą kadrę szkoły i wdrożenie DSK do organizacji. Karta potrzeb szkoleniowych DSK to narzędzie edukacyjne umożliwiające przygotowanie KDA do DSK. Kolejnym krokiem modernizacji było w tym przypadku zaplanowanie szkoleń dla całej kadry, w ramach wieloletniego planu rozwoju szkoły. Narzędziem modernizacyjnym realizującym ten cel o charakterze planistycznym był Program szkolenia KDA z DSK zastosowany w tym przypadku jako narzędzie strategiczne w procesie modernizacji oferty edukacyjnej szkoły na poziomie organizacji, placówki edukacyjnej. Na poziomie otoczenia, czyli modernizacji oferty edukacyjnej w zakresie metod współpracy szkoły z lokalnymi pracodawcami i instytucjami rynku testowano następujące narzędzia: Karta potrzeb koalicji DSK to w tym przypadku narzędzie badawcze określające potrzeby wszystkich uczestników lokalnej współpracy. Zważywszy na fakt, iż narzędzie to musiało być użyte w ramach cyklu spotkań lokalnej kolacji, wcześniej zastosowano Program 5 spotkań koalicji DSK traktowano w tym przypadku jako narzędzie edukacyjne przygotowujące uczestników lokalnej kolacji do wypracowania wspólnej Strategii współpracy na rzecz DSK zastosowanej w tym przypadku jako narzędzie strategiczne określające wspólne cele i plan działań, projektów związanych z wdrożeniem DSK w lokalną współpracę szkoły z otoczeniem. Strona 10

12 Produkty finalne związane z modelem MOE z DSK Zgodnie z opracowanym raportem metodologicznym, na etapie przygotowania badań ewaluacyjnych w projekcie, ustalono, iż przedmiotem ewaluacji (zarówno wewnętrznej jak i zewnętrznej) skierowanej do uczestników procesu testowania oraz przedstawicieli otoczenia (pracodawców i instytucji rynku pracy) jest określenie użyteczności, skuteczności, trafności i rzetelności wypracowanych w fazie testowania produktów finalnych (IP). W ocenianym obszarze modernizacji oferty edukacyjnej ocenie poddanych zostanie 9 narzędzi modernizacyjnych składających się na 3 modele MOE (na poziomie uczeń - IP1, szkoła - IP2, otoczenia IP3) z zastosowaniem Dualnego Sytemu Kształcenia: Wzór testu badającego luki kompetencyjne (IP1_1) Program szkolenia Nauczycieli Praktycznej Nauki Zawodu z DSK (IP1_2) Wzór rekomendacji programowych DSK (IP1_3) Wzór ankiety audytu DSK (IP2_4) Wzór karty potrzeb szkoleniowych DSK (IP2_5) Program szkolenia KDA z DSK (IP2_6) Program 5 spotkań koalicji DSK (IP3_7) Wzór karty potrzeb Lokalnej Koalicji DSK (IP3_8) Wzór strategii współpracy na rzecz DSK (IP3_9) Mając na uwadze założone poziomy modernizacji oferty edukacyjnej oraz cel badania ewaluacyjnego zmierzający do analizy i oceny rzeczywistych efektów testowanych produktów w odniesieniu do grup użytkowników i odbiorców, oceny potencjału wdrożeniowego oraz wypracowania rekomendacji, konieczne było zbadanie opinii wśród odbiorców i użytkowników wypracowanych produktów finalnych: uczniów i słuchaczy szkół zawodowych; kadry dydaktyczno-administracyjnej (nauczycieli, dyrektorów szkół); przedstawicieli otoczenia szkoły pracodawców, organizacji pozarządowych oraz urzędów pracy. Strona 11

13 KRYTERIA OCENY Strona 12

14 Kryteria ewaluacyjne badania ilościowe Celem oceny produktów finalnych w ramach badania ilościowego, w tym procesu przygotowania i testowania tych produktów określono 3 kryteria ewaluacyjne, którym przyporządkowano pytania w ankietach CATI i CAWI: Użyteczność - kryterium to pozwala ocenić faktyczny wpływ zaoferowanego wsparcia na poprawę sytuacji odbiorców i użytkowników spoza testu odpowiadając na pytanie dotyczące możliwości zastosowań modeli, narzędzi w praktyce poza projektowej. Kryterium to realizowane jest w każdym modelu interwencji głównie poprzez narzędzia strategiczne lokujące narzędzia modernizacyjne i model interwencji w dłuższej perspektywie czasowej z zaangażowaniem szerszej puli instytucji. Skuteczność - kryterium to pozwala ocenić odniesienie rzeczywistych efektów realizacji projektu (produktów finalnych) do jego zakładanych celów (modernizacji oferty edukacyjnej) i pozwala odpowiedzieć na pytanie o stopień realizacji założonych celów projektu. W kontekście produktów finalnych odpowiada na pytanie, czy wypracowane narzędzia faktycznie ułatwiają modernizację oferty edukacyjnej i jej dostosowanie do potrzeb lokalnego rynku pracy. Kryterium to realizowane jest w każdym modelu interwencji głównie poprzez narzędzia edukacyjne zwiększające skuteczność podejmowanych działań modernizacyjnych. Trafność - kryterium to pozwala ocenić, w jakim stopniu wypracowane produktu finalne odpowiadają zidentyfikowanym w trakcie badań przed rozpoczęciem testów problemom w obszarze objętym projektem i specyficznym potrzebom beneficjentów (odbiorców i użytkowników wypracowanych produktów finalnych). Kryterium to realizowane jest w każdym modelu interwencji przede wszystkim poprzez narzędzia badawcze zwiększające trafność wypracowywanych metod modernizacji i związanych z nimi narzędzi edukacyjnych i strategicznych. Strona 13

15 Kryteria ewaluacyjne badania jakościowe Celem oceny produktów finalnych w ramach badania jakościowego, w tym procesu przygotowania i testowania tych produktów określono 3 kryteria ewaluacyjne, którym przyporządkowano pytania w scenariuszach FGI: Trafność - kryterium to pozwala ocenić, w jakim stopniu wypracowane produktu finalne odpowiadają zidentyfikowanym w trakcie badań przed rozpoczęciem testów problemom w obszarze objętym projektem i specyficznym potrzebom beneficjentów (odbiorców i użytkowników wypracowanych produktów finalnych). Kryterium to realizowane jest w każdym modelu interwencji przede wszystkim poprzez narzędzia badawcze zwiększające trafność wypracowywanych metod modernizacji i związanych z nimi narzędzi edukacyjnych i strategicznych. Rzetelność kryterium pozwalające ocenić, w jakim stopniu zrealizowane wsparcie zapewnia udział odbiorców i użytkowników w wypracowywaniu produktów finalnych zarówno w zakresie opracowania koncepcji narzędzia jak też w procesie jego testowania, wpływu na jego modyfikacje i korekty. Kryterium to realizowane jest w każdym modelu interwencji głównie zastosowanie zasady Empowerment. Efektywność kryterium pozwalające ocenić, w jakim stopniu zaprojektowane produkty finalne są efektywne w relacji nakładów i kosztów do uzyskanych efektów modernizacji oferty edukacyjnej. Wyniki oceny w tym zakresie są podstawą formułowania rekomendacji wdrożeniowych dla innych szkół i organów prowadzących szkoły zainteresowanych kosztem uzyskania zakładanych efektów modernizacyjnych, na które składają się nie tylko koszty finansowe, ale także koszty organizacyjne, osobowe czy zarządcze związane z wdrożeniem poszczególnych modeli modernizacji. Strona 14

16 PYTANIA EWALUACYJNE Strona 15

17 Pytania ogólne dla kryteriów oceny Efektem ewaluacji powinno być określenie warunków (rekomendacji wdrożeniowych), w jakich testowane produkty finalne będą nadawały się do użytkowania i wdrożenia oraz że ich zastosowanie będzie możliwe dla szerszej grupy użytkowników. Ocena produktów finalnych oraz opracowanie rekomendacji wdrożeniowych przeprowadzone zostały poprzez próbę odpowiedzi na następujące pytania ewaluacyjne: Czy wypracowane produkty finalne odnoszą się do rzeczywistych potrzeb rynku pracy i czy gwarantują możliwość szerokiego ich zastosowania? (użyteczność) Czy wypracowane produkty przyczyniają się do realizacji celów projektu, czy modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy poprzez zastosowanie innowacji edukacyjnych? (skuteczność) Czy proces modernizacji oferty edukacyjnej odpowiada na potrzeby uczestników procesu testowania? (uczeń, kadra, otoczenie)? (trafność) W jakim stopniu przeprowadzony proces testowania uwzględniał udział przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi? (rzetelność) Czy wypracowane narzędzia są efektywne w relacji nakładu kosztów do zyskanych efektów modernizacyjnych? (efektywność) Zastosowany w badaniu ewaluacyjnym zestaw metod badawczych miał charakter komplementarny. Wykorzystanie różnorodnych, jakościowych i ilościowych metod pozwolił na zebranie kompleksowych i wyczerpujących informacji, pozyskanych od szerokiego kręgu osób i instytucji, realizując następujące cele szczegółowe: Poznanie poziomu wykorzystania i zastosowania przez uczniów i słuchaczy badanych szkół zawodowych, KDA oraz otoczenia modelowych schematów działań w obszarze MSE, DSK, DOZ (użyteczność). Dokonanie analizy poziomu modernizacji oferty edukacyjnej (skuteczność). Dokonanie oceny poziomu trafności wypracowanych modeli w odniesieniu do potrzeb Beneficjentów na rynku pracy (trafność). Dokonanie oceny stopnia zaangażowania w proces testowania przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi? (rzetelność) Strona 16

18 Pytania szczegółowe dla poziomów modernizacji W ramach badania produktów finalnych i procesu ich testowania w Laboratorium DSK poszukiwano rozwiązań na następujące problemy szczegółowe: Na poziomie UCZNIA: W jakim stopniu wprowadzenie modeli DSK przyczyniło się do poprawy organizacji pracy szkoły i pracodawcy z uczniem, do wzrostu praktycznych umiejętności wykonywania zawodu, do niwelowania barier związanych ze przestarzałą bazą szkoleniową, do niwelowania luk w wykształceniu uczniów w stosunku do oczekiwań pracodawców, do zbliżenia umiejętności absolwentów do potrzeb rynku pracy czy oczekiwań pracodawców? Na poziomie SZKOŁY: Czy zastosowane modele przyczyniły się do wzrostu kompetencji kadr? W jaki sposób zmiany programowe przygotowały szkołę do pracy z uczniem lub zbliżyły szkołę do rynku pracy? Czy model wprowadza podejście marketingowe, tj. czy określanie klientów wewnętrznych szkoły zwiększa współpracę KDA? Czy modele angażują nauczycieli w roli trenerów? Czy model angażuje pracodawców do szkolenia KDA w roli moderatorów, trenerów? Na poziomie OTOCZENIA: Jakie korzyści przyniosła współpraca lokalna w kontekście dopasowania oferty edukacyjnej do potrzeb rynku pracy? Czy współpraca z otoczeniem ułatwia projektowanie nowych metod edukacyjnych lub ich modyfikację? Czy organizowanie współpracy lokalnej ułatwia wypracowanie lokalnej strategii współpracy, określenie klientów szkoły, ich potrzeb i interesów oraz czy motywuje uczestników do współpracy? Czy model ułatwia wykorzystanie potencjału edukacyjnego otoczenia szkoły? Strona 17

19 Zestawienie kryteriów, pytań i metod oceny Zestawienie celów, pytań ewaluacyjnych oraz kryteriów oceny produktów finalnych i procesu testowania pozwala określić optymalne narzędzia badawcze dla każdego obszaru ewaluacji, omawiane w dalszej części raportu: Cel ewaluacji Pytanie ewaluacyjne Kryterium Metoda badawcza Poznanie poziomu wykorzystania i zastosowania przez uczniów i słuchaczy badanych szkół zawodowych, KDA oraz otoczenia modelowych schematów działań w obszarze MSE, DSK, DOZ Czy wypracowane produkty finalne odpowiadają na potrzeby uczestników rynku pracy i czy gwarantują możliwość szerokiego ich zastosowania? Użyteczność U CATI CAWI FGI Dokonanie analizy poziomu modernizacji oferty edukacyjnej Czy wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy Skuteczność S CATI CAWI Dokonanie oceny poziomu trafności wypracowanych modeli w odniesieniu do potrzeb Beneficjentów na rynku pracy Czy proces modernizacji oferty odpowiada na zidentyfikowane problemy i potrzeby wszystkich klientów szkoły? (uczeń, kadra, otoczenie)? Trafność T CATI CAWI FGI Dokonanie oceny stopnia zaangażowania w proces testowania przedstawicieli odbiorców i użytkowników wypracowywanych narzędzi. Czy proces modernizacji oferty edukacyjnej gwarantuje udział odbiorców i użytkowników? Rzetelność R FGI Dokonanie oceny relacji nakładu kosztów do uzyskanych efektów modernizacyjnych narzędzi i modeli wypracowanych w ramach projektu w opinii uczestników eksperymentu oraz przedstawicieli otoczenia. Czy wypracowane narzędzia są efektywne w relacji nakładu kosztów do zyskanych efektów modernizacyjnych? Efektywność E FGI Strona 18

20 OPIS METOD BADAWCZYCH Strona 19

21 Zastosowane METODY BADAWCZE Złożoność wypracowanych produktów finalnych, w szczególności różnorodne konteksty ich zastosowania (różne poziomy funkcjonowania szkoły generujące różnorodne grupy odbiorców I użytkowników), różne funkcje wypracowanych narzędzi modernizacyjnych (diagnoza, edukacja, strategia) oraz konieczność oceny samych produktów jak też procesu ich tworzenia I testowania (różne grupy badawcze związane z testem odbiorczy, uczestnicy testu jak też niezwiązane z testem użytkownicy, przedstawiciele otoczenia testu) wymaga zastosowania różnorodnych metod badawczych. Dlatego też zespół Badawczy zastosuje: triangulację metod badawczych łączenie różnych metod badawczych, co umożliwi lepsze rozpoznanie badanych zdarzeń, triangulację źródeł danych badaniem zostaną objęte dane zastane i dane wywołane, triangulację perspektyw oceny badawczych badanie będzie przeprowadzone przez zespół badawczy, co pozwoli uzyskać pełny, różnorodny I bardziej obiektywny obraz przedmiotu badania. W związku z faktem, iż całe badanie ewaluacyjne posiada zróżnicowaną strukturę 3 raportów dla każdego obszaru modernizacji oferty edukacyjnej (DSK, MES i DOZ) w raporcie metodologicznym przedstawiono triangulację dla całego badania ewaluacyjnego: OBSZAR POZIOM Laboratorium DSK Laboratorium MES Laboratorium DOZ Uczeń Szkoła Otoczenie Uczeń Szkoła Otoczenie Uczeń Szkoła Otoczenie EWALUACJA ZEWNĘTRZNA IDI ME EWALUACJA WEWNĘTRZNA - RAPORTY (Innowacyjne metody MOE dla 3 obszarów problemowych ) DR FGI CATI CAWI Strona 20

22 CATI - Computer Assisted Telephone Interview Telefoniczny wywiad metodą ankietową przeprowadzony został na podstawie kwestionariuszy badawczych przygotowanych na potrzeby badania specjalnie dla poszczególnych modeli (poziomów) modernizacji oraz specjalnie dla poszczególnych grup badawczych (uczestnicy testu uczniowie, kadra szkoły). W związku z powyższym na potrzeby badania CATI powstały dwa kwestionariusze badawcze: Kwestionariusz CATI dla narzędzi związanych z IP1 (metody pracy z uczniem dla pierwszego poziomu modernizacji UCZEŃ) kierowany do uczniów biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie UCZNIA Kwestionariusz CATI dla narzędzi związanych z IP2 (metody organizacji pracy placówki edukacyjnej i zarządzania kompetencjami kadr dydaktyczno-administracyjnych dla drugiego poziomu modernizacji SZKOŁA) kierowany do nauczycieli biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie SZKOŁY CAWI - Computer Assisted Web Interview Telefoniczny wywiad metodą ankietową przeprowadzony został na podstawie kwestionariusza badawczego przygotowanego dla 3 modelu (poziomu) modernizacji oraz dla grupy badawczej nie związanej bezpośrednio z testem (pracownicy szkoły nie biorący udziału w teście, pracownicy innych szkół oraz instytucji otoczenia szkoły). Ankietę skonstruowano w taki sposób, by wypełniający mógł przed oceną produktów finalnych poznać ich założenia i funkcje. Zastosowanie CAWI otoczenie szkoły umożliwiło pozyskanie opinii od osób z niską motywacją do udziału w nadaniach (nie związanych bezpośrednio z testem i nie angażowanych do realizacji projektu) a zakres problemowy związany ze współpracą ankietowanego ze szkołą zachęcały do udzielenia odpowiedzi i wyrażenia opinii na temat modelu tej współpracy. Na potrzeby badania CAWI powstał: Kwestionariusz CAWI dla narzędzi związanych z IP3 (metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium DSK - Załącznik 3. Ankieta CAWI opinia o modelu MOE z DSK na poziomie OTOCZENIA Strona 21

23 FGI - (Focused Group Interview) - Zogniskowany wywiad grupowy W ramach ewaluacji wypracowanych produktów finalnych oraz procedury ich tworzenia i testowania przeprowadzono wywiady fokusowe z uczestnikami projektu i procesu testowania oraz z otoczeniem nie biorącym udziału w teście. Wywiady przeprowadzono w oparciu o scenariusz spotkania pozwoliły na szersze ujęcie oceny prowadzonego projektu oraz umożliwiły zaprezentowanie i wspólną analizę wypracowanych modeli interwencji modernizacyjnej. W szczególności formuła spotkania fokusowego dała szansę na wypracowanie rekomendacji do wdrożeń, w zakresie kompleksowości lub uniwersalności wypracowanych modeli (możliwości uproszczenia schematów działań, powiązania narzędzi pomiędzy poziomami modernizacji, wskazówki lub dobre rady dla przyszłych użytkowników wypracowanych narzędzi). Zważywszy na fakt, iż zaplanowano spotkania fokusowe zarówno z uczestnikami testu jak też przedstawicielami otoczenia, którzy nie brali udziału w procesie testowania i nie posiadali szczegółowej wiedzy na temat ocenianych produktów finalnych zaplanowano dwa rodzaje spotkań o różnym poziomie szczegółowości i odmiennym akcencie edukacyjnym. W przypadku uczestników badań spoza testu konieczne było omówienie wypracowanego modelu i związanych z nim narzędzi. W związku z powyższym na potrzeby badania FGI powstały dwa scenariusze spotkań fokusowych. Scenariusz FGI dla uczestników testu ODBIORCÓW narzędzi związanych z IP1, IP2 i IP3 (metody pracy z uczniem dla pierwszego poziomu modernizacji UCZEŃ, metody organizacji pracy placówki edukacyjnej i zarządzania kompetencjami kadr dydaktycznoadministracyjnych dla drugiego poziomu modernizacji SZKOŁA oraz metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia biorących udział w teście - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu Scenariusz FGI dla otoczenia testu UŻYTKOWNIKÓW modeli IP1, IP2 i IP3 (metody pracy z uczniem dla poziomu UCZEŃ, metody organizacji pracy placówki edukacyjnej dla poziomu SZKOŁA a w szczególności metody organizacji współpracy lokalnej dla trzeciego poziomu modernizacji OTOCZENIE) kierowany do nauczycieli i przedstawicieli otoczenia biorących udział w teście - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNICY modelu Strona 22

24 OPIS PRÓBY BADAWCZEJ Strona 23

25 Termin i miejsce realizacji badania CATI, CAWI Badanie ilościowe z zastosowaniem opisanych ankiet i metod badawczych realizowane było w terminie od z udziałem pracowników szkoły biorącej udział w testowaniu ocenianych narzędzi oraz przedstawicieli instytucji z otoczenia tej szkoły. Zważywszy na zdalny charakter badań (rozmowa telefoniczna, ankieta internetowa) nie można wskazać konkretnego miejsca realizacji badań, jednak zgodnie z założeniami odnośnie grupy docelowej projektu (miejsce zamieszkania, miejsce siedziby pracodawcy) należy uznać, iż badania prowadzone były na terenie województwa podlaskiego, w szczególności powiecie bielskim i mieście Bielsk Podlaski. Dobór respondentów do badania CATI, CAWI Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych (modeli modernizacji szkoły na trzech poziomach funkcjonowania szkoły z odpowiadającymi tym poziomom odbiorcami i użytkownikami produktów finalnych), w szczególności: UCZEŃ Zespołu Szkół Budowlanych w Bielsku Podlaskim biorący udział w pracach testujących w zakresie użycia wzoru testu luk kompetencyjnych oraz zajęć praktycznej nauki zawodu z udziałem nauczycieli praktycznej nauki zawodu po szkoleniach przygotowujących do niwelowania zdiagnozowanych luk kompetencyjnych - 20 osób, w tym 1 kobieta i 19 mężczyzn. Wszyscy uczniowie w wieku lat. KADRA DYDAKTYCZNO-ADMINISTRACYJNA Zespołu Szkół Budowlanych w Bielsku Podlaskim biorąca udział w pracach testujących w zakresie użycia wzoru testu luk kompetencyjnych oraz zajęć praktycznej nauki zawodu z udziałem nauczycieli praktycznej nauki zawodu po szkoleniach przygotowujących do niwelowania zdiagnozowanych luk kompetencyjnych, wzoru ankiety audytu szkoły w zakresie rozwiązań DSK, karty potrzeb szkoleniowych oraz programu szkolenia KDA z DSK - 5 osób, w tym 3 kobiety i 2mężczyzn, 1 pracownik administracyjny i 4 pracowników dydaktycznych. PRZEDSTAWICIELE OTOCZENIA Zespołu Szkół Budowlanych w Bielsku Podlaskim nie biorący udziału w pracach testujących lecz związanych ze szkołą, w tym inni pracownicy szkoły - 51 osób, w tym 41 kobiet i 10 mężczyzn, 30 pracowników szkoły, 9 pracodawców, 4 przedstawicieli JST i 8 pracowników innych instytucji. Strona 24

26 Badanie opinii UCZESTNIKÓW testu ODBIORCÓW modelu Badanie jakościowe FGI z udziałem uczestników testu ODBIORCÓW koncentrowało się na ocenie procedury testowania, celem wypracowania rekomendacji wdrożeniowych dla innych szkół i instytucji zainteresowanych model modernizacji, W tym przypadku prace realizowane w ramach Laboratorium DSK były traktowane w ocenie jako pierwowzór procesu wdrożeniowego, dlatego też kluczowe było zebranie podsumowujących informacji zwrotnych z tego procesu oraz analiza możliwości uproszczenia lub zuniwersalizowania wypracowanego modelu. Drugim aspektem była ocena trafności, rzetelności i użyteczności wypracowanych rozwiązań. Termin i miejsce realizacji badania FGI_O Badanie jakościowe FGI z zastosowaniem scenariusza FGI dla uczestników testu ODBIORCÓW zrealizowane zostało w terminie 22 czerwca 2012 roku w Zespole Szkół Budowlanych w Bielsku Podlaskim. Miejsce realizacji badania wybrano pod kątem dostępu do wszystkich osób biorących udział w testowaniu ocenianych rozwiązań, w szczególności pracowników szkoły biorącej udział w testowaniu narzędzi związanych z modelem MOE z DSK. Dobór respondentów do badania FGI_O Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych (modeli modernizacji szkoły na trzech poziomach funkcjonowania szkoły z odpowiadającymi tym poziomom odbiorcami i użytkownikami produktów finalnych), w szczególności: KADRA DYDAKTYCZNO-ADMINISTRACYJNA Zespołu Szkół Budowlanych w Bielsku Podlaskim biorąca udział w pracach testujących 9 narzędzi w ramach IP1, IP2 i IP3-5 osób, w tym 2 kobiety i 3 mężczyzn, 4 osoby w wieku powyżej 50 lat, wszyscy z wykształceniem wyższym, w tym dyrektor szkoły, wicedyrektor szkoły nauczyciel oraz 3 nauczycieli przedmiotowych. Wszyscy uczestnicy spotkania byli zorientowani w procedurze testowania oraz efektach prac wdrożeniowych w szkole, wykazując zainteresowanie podzielenia się swoimi doświadczeniami z potencjalnymi użytkownikami wypracowanych rozwiązań. PRZEDSTAWICIELE OTOCZENIA Zespołu Szkół Budowlanych w Bielsku Podlaskim biorących udział w pracach testujących lub związanych ze szkołą - 2 osoby, 1 mężczyzna i 1 kobieta, przedstawiciele instytucji szkoleniowych opracowujących programy rozwojowe szkół zawodowych w ramach 9.2. PO KL. Strona 25

27 Badanie opinii OTOCZENIA testu UŻYTKOWNIKÓW modelu Badanie jakościowe FGI z udziałem otocznia testu UŻYTKOWNIKÓW koncentrowało się na ocenie wypracowanych produktów, ich uniwersalności, zrozumiałości oraz złożoności. Szczególnie istotne było poznanie opinii przedstawicieli instytucji nie biorących udziału w teście, lecz potencjalnie zainteresowanych zastosowanie wypracowanych rozwiązań, wsparciem kształcenia zawodowego lub współpracą lokalną ze szkołami zawodowymi. W ramach spotkania fokusowego akcent położony został na przedstawienie modelu oraz funkcji poszczególnych narzędzi wchodzących w skład modelu. Istotnym zadaniem było wypracowanie skutecznej komunikacji i sposobów prezentacji modeli dla osób nie związanych z projektem, które byłyby przydatne w procesie upowszechniania i wdrożeń rozwiązań poza projektem. Ocena trafności, rzetelności i użyteczności wypracowanych rozwiązań opierała się na ocenie całego modelu interwencji oraz powiązań funkcjonalnych i logicznych poszczególnych narzędzi. Analizowane były możliwości uproszczenia procedury wdrożeniowej lub wyboru narzędzi najistotniejszych, które mogłyby funkcjonować niezależnie od modelu. Termin i miejsce realizacji badania FGI_U Badanie jakościowe FGI z zastosowaniem scenariusza FGI dla otoczenia testu UŻYTKOWNIKÓW zrealizowane zostało w terminie 29 czerwca 2012 roku w Izbie Rzemieślniczej i Przedsiębiorczości w Białymstoku. Miejsce realizacji badania wybrano pod kątem dostępu do przedstawicieli pracodawców izba jest organizacją pracodawców o rozbudowanych strukturach z terenu całego województwa, w szczególności MŚP i rzemieślników stanowiących obiecujących partnerów DSK na podstawie dobrych praktyk francuskich i niemieckich. Miejsce spotkania było dogodne dla rzemieślników zainteresowanych stosowaniem narzędzi związanych z modelem MOE z DSK. Dobór respondentów do badania FGI_U Dobór respondentów badania wynikał z wcześniej opisanej metodologii dotyczącej produktów finalnych, w szczególności: PRZEDSTAWICIELE OTOCZENIA szkół zawodowych w zakresie DSK - organizacje pracodawców, rzemieślnicy, instytucje szkoleniowe organizujące staże - 6 osób, 5 mężczyzn i 1 kobieta, 4 osoby z wykształceniem wyższym, 2 z zawodowym, w tym 3 rzemieślników, 3 przedstawicieli instytucji opracowujących programy rozwojowe szkół zawodowych ze stażami zawodowymi i DSK w ramach PO KL. Strona 26

28 PREZENTACJA WYNIKÓW BADANIA ILOŚCIOWE Strona 27

29 Ocena UŻYTECZNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach ilościowego badania ewaluacyjnego zastosowano kryterium UŻYTECZNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 8 pytań: 2 pytania w kwestionariuszu CATI dla narzędzi związanych z IP1 kierowanym do uczniów biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie UCZNIA 4 pytania w kwestionariuszu CATI dla narzędzi związanych z IP2 kierowanym do nauczycieli biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie SZKOŁY 2 pytania w kwestionariuszu CAWI dla narzędzi związanych z IP3 kierowanym do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium DSK - Załącznik 3. Ankieta CAWI opinia o modelu MOE z DSK na poziomie OTOCZENIA W efekcie przeprowadzonych wywiadów telefonicznych oraz ankietyzacji internetowej uzyskano wyniki oceny dla poszczególnych narzędzi związanych z 3 poziomami modernizacji oferty edukacyjnej szkoły zawodowej z zastosowaniem elementów DSK. Użyteczność IP1 3 narzędzia modernizacji na poziomie UCZNIA Oceny użyteczności zastosowania pierwszego produktu finalnego IP1 badającego luki kompetencyjne dokonano w oparciu o wyniki badania telefonicznego CATI, które było skierowane do uczniów, którzy uczestniczyli w projekcie i testowali wypracowane podczas trwania projektu narzędzia. W badaniu wzięło udział 20 uczniów, 95% stanowili chłopcy. Wszyscy respondenci mieli lat. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie: Czy wypracowane produkty finalne odpowiadają na potrzeby ucznia i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 1. Czy test luk kompetencyjnych pozwolił ocenić Twoje potrzeby edukacyjne? Aż 75% uczniów stwierdziło, że test pozwolił im na ocenę własnych potrzeb edukacyjnych. Rozkład uzyskanych rang dla użyteczności narzędzia prezentuje wykres 1. Strona 28

30 10% 25% % 5% % Wykres 1. Rozkład uzyskanych rang dla użyteczności narzędzia IP1 Wzór testu badający luki kompetencyjne. Źródło własne. 60% respondentów oceniło użyteczność narzędzia na 7 i 8 punktów w skali 10 punktowej, 5% przyznało 5 pkt., zaś 10% przyznało najwyższą rangę 10 pkt. Tylko 5 uczniów stwierdziło, że narzędzie te jest dla nich nieużyteczne. Pytanie 2. Czy Twoim zdaniem test luk kompetencyjnych może być wykorzystany w innej klasie lub szkole? Narzędzie to oceniono jako bardzo użyteczne i przydatne (95% odpowiedzi tak) do oceny potrzeb edukacyjnych także innych uczniów, z innych klas. 15% 5% 5% 10% % % 25% 9 10 Wykres 2. Rozkład uzyskanych rang dla użyteczności narzędzia IP1 Wzór testu badający luki kompetencyjne dla innych uczniów i klas. Źródło: opracowanie własne. Strona 29

31 Najwięcej bo 1/3 uczniów oceniła narzędzie na 8 pkt. w skali 10 pkt., 25% przyznało 7 pkt., 10% -6 i 15% - 5 pkt. Jedynie jedna osoba oceniła narzędzie na 1 jako nieprzydatne. Podsumowując stwierdzić można, że w opinii uczniów narzędzia modernizacyjne związane z modelem IP1 na poziomie ucznia są przydatne zarówno do badania luk kompetencyjnych w Szkole biorącej udział w teście jak i może być przydatne dla uczniów innych klas i szkół. Wypracowane produkty finalne odpowiadają na potrzeby ucznia i gwarantują możliwość szerokiego ich zastosowania. Użyteczność IP2 3 narzędzia modernizacji na poziomie SZKOŁY Badanie użyteczności narzędzia IP2 odbyło się poprzez badanie telefoniczne kadry dydaktyczno-administracyjnej biorącej udział w testowaniu. Respondentami byli: kobiety-3 (60%) i mężczyźni - 2 (40%). Kadra dydaktyczna stanowiła 80%, a kadra administracyjna - 20%. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane produkty finalne (IP2) odpowiadają na potrzeby SZKOŁY i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 3. Czy model dostosowania programu nauczania do zdiagnozowanych luk kompetencyjnych pozwala uwzględnić w edukacji potrzeby ucznia i pracodawców? Wszyscy respondenci uważają, że model dostosowania programu nauczania do zdiagnozowanych luk kompetencyjnych narzędzie IP2 pozwala uwzględnić w edukacji potrzeby ucznia i pracodawców. 20% 20% % % Wykres 3. Rozkład uzyskanych rang dla użyteczności narzędzia IP2 w zakresie uwzględnienia w edukacji potrzeby ucznia i pracodawców. Źródło własne. Strona 30

32 Pytanie 4. Czy ten sposób modernizowania programów nauczania można zastosować w innej szkole? Podobnie jak w przypadku poprzedniego pytania wszyscy respondenci (100%) uznali bardzo wysoką użyteczność tego narzędzia do zastosowania w innych placówkach. 60% respondentów przyznało rangę 6 w skali 10 punktowej, zaś po 20% przyznało rangę 5 i 9. 20% 20% % Wykres 4. Rozkład uzyskanych rang dla użyteczności IP2 w modernizowaniu programów nauczania dla innych placówek. Źródło własne. Pytanie 5. Czy model szkolenia kadr dydaktyczno-administracyjnych w odniesieniu do wyników audytu dostępnych w szkole kompetencji DSK umożliwia modernizację szkoły? 20% 40% % Wykres 5. Rozkład uzyskanych rang dla użyteczności IP2 w ocenie modelu szkolenia kadr dydaktyczno-administracyjnych jako narzędzia modernizacji szkoły, Źródło własne. Strona 31

33 Respondenci jednogłośnie stwierdzili, że zaproponowane narzędzie IP2 program szkolenia kadr jest użytecznym narzędziem modernizacji szkoły. Narzędziu temu przyznało rangi odpowiednio 5 i 9 po 40% respondentów, 8 20%. Pytanie 6. Czy ten sposób modernizowania szkoły można zastosować w innej placówce kształcenia zawodowego? Wszyscy nauczyciele stwierdzili, że modernizacja innej placówki oświatowej może odbywać się poprzez zastosowanie powyższego narzędzia. Użyteczność tego narzędzia oceniono: 5- i 9 po 40% respondentów, 20% % 40% % Wykres 6. Rozkład uzyskanych rang dla użyteczności IP2 w zakresie możliwości zastosowania narzędzia modernizacyjnego inną placówkę oświatową w opinii respondentów CATI. Źródło własne. Reasumując należy stwierdzić, że w opinii nauczycieli narzędzia modernizacyjne związane z modelem IP2 na poziomie szkoły są użytecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Narzędzia modernizacyjne wypracowane w ramach produktu finalnego (IP2) odpowiadają na potrzeby SZKOŁY i gwarantują możliwość szerokiego ich zastosowania? Użyteczność IP3 3 narzędzia modernizacji na poziomie OTOCZENIA Ocenę użyteczności produktu finalnego IP3 dokonano w oparciu o wyniki badania internetowego CAWI. W badaniu wzięło udział 51 respondentów: 41 kobiet - 80%, 10- Mężczyzn -20%. Respondenci pochodzili z następujących instytucji: szkoły 30 osób (58%), pracodawcy - 9 (17%), JST - 4 (7%), Inne - 8 (15%). Zadane pytania ankietowe miały odpowiedzieć na następujące Strona 32

34 pytanie ewaluacyjne: Czy wypracowane produkty finalne (IP3) odpowiadają na potrzeby OTOCZENIA i czy gwarantują możliwość szerokiego ich zastosowania? Pytanie 7. Czy model prac lokalnej koalicji w oparciu o program spotkań, kartę potrzeb oraz strategię rozwijającą DSK tworzy minimalne warunki do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły? Pięćdziesiąt osób (98% respondentów) stwierdziło, że zaproponowany model prac lokalnej koalicji daje co najmniej minimalne warunki do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły. 1 osoba była odmiennego zdania. 10% 16% 6% 2% 14% % 18% % 10 Wykres 7. Rozkład uzyskanych rang dla użyteczności IP3 w zakresie tworzenia co najmniej minimalnych warunków do diagnozy potrzeb i pomysłów wszystkich uczestników lokalnej współpracy, w szczególności instytucji otoczenia szkoły. Źródło własne. Trzy osoby nadały rangę 1 dla modelu lokalnej koalicji, tym samym uważają go za nie istotny, pozostałe osoby oceniły wysoko model. Średnia ranga wyniosła 7 pkt. Osiem osób nadało modelowi najwyższą rangę 10. Pytanie 8. Czy w Państwa opinii taki model budowania współpracy jest uniwersalny, i jako taki czy można zastosować w innej szkole, mieście lub powiecie, jako model budowania relacji szkoły z otoczeniem? Strona 33

35 22% 14% 8% 6% % % 9 16% 10 Wykres 8. Rozkład uzyskanych rang dla użyteczności IP3 w zakresie możliwości budowania współpracy w innej szkole, mieście lub powiecie, jako modelu budowania relacji szkoły z otoczeniem. Źródło własne. Czterdzieści dziewięć osób (96%) potwierdziło użyteczność zaproponowanych rozwiązań dla innych instytucji, dwie osoby były innego zdania. Cztery osoby stwierdziły, że model ten jest nie istotny, co oznacza najniższą rangę. Pozostałe osoby oceniły wysoko model. Średnia ranga przyznanych ocen wyniosła 7 pkt. Siedem osób nadało modelowi najwyższą rangę 10. Reasumując należy stwierdzić, że w opinii otoczenia narzędzia modernizacyjne związane z modelem IP3 na poziomie współpracy szkoły z instytucjami otoczenia i pracodawcami są użytecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Narzędzia wypracowane w ramach produktu finalnego (IP3) odpowiadają na potrzeby OTOCZENIA i gwarantują możliwość szerokiego ich zastosowania. Użyteczność Modelu MOE z DSK - Wnioski Podsumowując ocenę użyteczności modelu modernizowania oferty edukacyjnej z zastosowaniem DSK z zastosowaniem 9 narzędzi modernizacyjnych, należy stwierdzić, iż zarówno uczniowie, nauczyciele jak i otoczenie szkoły pozytywnie ocenia wypracowane rozwiązanie w zakresie możliwości jego wdrożenia w innych szkołach oraz możliwości realizowania z ich użyciem faktycznej zmiany modernizacyjnej w szkole. Ocena użyteczności modeli jest jednak nieznacznie różna w zależności do grup oceniających i faktycznej możliwości zastosowań rozwiązań w innych szkołach na różnych poziomach modernizacji, co przedstawia poniższy wykres: Strona 34

36 8,5 8 7,5 7 6,5 6 5, Wykres 9. Średnie rangi dla poszczególnych pytań dotyczących użyteczności IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. W porównaniu poszczególnych odpowiedzi, należy podkreślić, iż najniższą rangę uzyskała użyteczność w opinii uczniów testu luk kompetencyjnych w zakresie możliwości określania potrzeb edukacyjnych (pytanie 1). Jednocześnie największą rangę w zakresie użyteczności modelu w opinii nauczycieli ma możliwość uwzględnienia potrzeb edukacyjnych uczniów i pracodawców. Porównanie to wskazuje na konieczność uwzględnienia w badaniu luk kompetencyjnych obszarów edukacyjnych interesujących nie tylko dla pracodawców i nauczycieli ale także ciekawych dla uczniów (zajęcia pozalekcyjne, hobbistyczne, poza przedmiotowe) 8,5 8 7,5 7 6,5 6 5,5 5 IP1 IP2 IP3 Wykres 10. Średnie rangi dla użyteczności IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. Użyteczność MOE z DSK jest największa w opinii instytucji otoczenia, co potwierdza, iż DSK jest naturalnym obszarem współpracy z otoczeniem szkoły. Strona 35

37 Ocena SKUTECZNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach ilościowego badania ewaluacyjnego zastosowano kryterium SKUTECZNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 7 pytań: 2 pytania w kwestionariuszu CATI dla narzędzi związanych z IP1 kierowanym do uczniów biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie UCZNIA 1 pytanie w kwestionariuszu CATI dla narzędzi związanych z IP2 kierowanym do nauczycieli biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie SZKOŁY 4 pytania w kwestionariuszu CAWI dla narzędzi związanych z IP3 kierowanym do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium DSK - Załącznik 3. Ankieta CAWI opinia o modelu MOE z DSK na poziomie OTOCZENIA W efekcie przeprowadzonych wywiadów telefonicznych oraz ankietyzacji internetowej uzyskano wyniki oceny dla poszczególnych narzędzi związanych z 3 poziomami modernizacji oferty edukacyjnej szkoły zawodowej z zastosowaniem elementów DSK. Skuteczność IP1 3 narzędzia modernizacji na poziomie UCZNIA Oceny skuteczności zastosowania pierwszego produktu finalnego IP1 badającego luki kompetencyjne dokonano w oparciu o wyniki badania telefonicznego CATI, które było skierowane do uczniów, którzy uczestniczyli w projekcie i testowali wypracowane podczas trwania projektu narzędzia. W badaniu wzięło udział 20 uczniów, 95% stanowili chłopcy. Wszyscy respondenci mieli lat. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie: Czy wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy? Pytanie 1. Czy zastosowanie testu luk kompetencyjnych pomogło Twoim zdaniem dostosować program nauczania do potrzeb rynku pracy lub lokalnych pracodawców? Strona 36

38 75 procent respondentów stwierdziło, że innowacyjne narzędzie IP1 może służyć dostosowaniu programu nauczania do potrzeb rynku pracy lub lokalnych pracodawców, zaś 25% stwierdziło, że nie może służyć temu celowi. Rozkład uzyskanych rang dla użyteczności narzędzia prezentuje wykres 1. 15% 25% % 6 15% 15% 15% 5% Wykres 1. Rozkład uzyskanych rang dla skuteczności narzędzia IP1 Wzór testu badający luki kompetencyjne w zakresie dostosowania programu nauczania do potrzeb rynku pracy lub lokalnych pracodawców Źródło własne. 60% respondentów oceniło użyteczność narzędzia na 7 i 8 punktów w skali 10 punktowej, 5% przyznało 5 pkt., zaś 10% przyznało najwyższą rangę 10 pkt. Tylko 5 uczniów stwierdziło, że narzędzie te jest dla nich nieużyteczne. Pytanie 2. Czy zastosowanie testu luk kompetencyjnych w stosunku do ucznia i lokalnych pracodawców pozwala nauczycielom odpowiednio zmienić tematy i metody nauczania? Aż 80 % uczniów (16 osób) uważa, że narzędzie IP1pozwala nauczycielom dostosować tematy i metody nauczania do wykrytych luk. Na poniższym wykresie przedstawiono rozkład przyznanych rang punktowych. Aż 75% uczniów uważa, że jest to bardzo skuteczne narzędzie (rangi 7,8,9), na podstawie którego można zmienić tematykę zajęć przez nauczyciela i dzięki temu dostosować zajęcia do potrzeb uczniów. Czterech uczniów stwierdziło, że narzędzie takie nie jest skutecznym instrumentem zamiany metod pracy nauczycieli. Strona 37

39 35% 15% 20% 25% 5% Wykres 2. Rozkład uzyskanych rang dla skuteczności narzędzia IP1 Ocena skuteczności narzędzia w zakresie zmiany metod pracy przez nauczycieli Źródło własne. Podsumowując, można stwierdzić, ze w opinii uczniów innowacyjne narzędzie IP1 Wzór test luk kompetencyjnych jest skutecznym instrumentem zapewniającym modernizację oferty edukacyjnej w oparciu o zdiagnozowane potrzeby edukacyjne uczniów i pracodawców. Wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy. Skuteczność IP2 3 narzędzia modernizacji na poziomie SZKOŁY Badanie skuteczności narzędzia IP2 odbyło się poprzez badanie telefoniczne kadry dydaktyczno-administracyjnej biorącej udział w testowaniu. Respondentami byli: kobiety-3 (60%) i mężczyźni - 2 (40%). Kadra dydaktyczna stanowiła 80%, a kadra administracyjna - 20%. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy? Pytanie 3. Czy modele modernizowania oferty edukacyjnej i zarządzania kompetencjami w szkole pozwalają dostosować ofertę edukacyjną do potrzeb lokalnego rynku pracy? Wszyscy nauczyciele stwierdzili, że zaproponowany model modernizacji oferty edukacyjnej posiada wysoką skuteczność. Każdy z respondentów przyznał jednak inną rangę: 4, 7, 8, 9,10. Strona 38

40 20% 20% 20% 20% % Wykres 3. Rozkład uzyskanych rang dla skuteczności narzędzia IP2 - Ocena skuteczności zaproponowanego modelu do modernizacji placówki oświatowej. Źródło własne. Reasumując należy stwierdzić, że w opinii nauczycieli narzędzia modernizacyjne związane z modelem IP2 na poziomie szkoły są skutecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy? Skuteczność IP3 3 narzędzia modernizacji na poziomie OTOCZENIA Ocenę użyteczności produktu finalnego IP3 dokonano w oparciu o wyniki badania internetowego CAWI. W badaniu wzięło udział 51 respondentów: 41 kobiet - 80%, 10- Mężczyzn -20%. Respondenci pochodzili z następujących instytucji: szkoły 30 osób (58%), pracodawcy - 9 (17%), JST - 4 (7%), Inne - 8 (15%). Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy? Pytanie 4. Czy model prac lokalnej kolacji diagnozujący potrzeby instytucji otoczenia szkoły a następnie uwzględniający te potrzeby w programach nauczania lub programie rozwojowym szkoły jest w stanie zmienić ofertę szkoły i dostosować ją do potrzeb lokalnego rynku pracy? Czterdzieści dziewięć osób- 96% stwierdziło, że model ten jest skuteczny, zaś dwie osoby, stwierdziły że model ten nie może zmienić oferty szkoły i dostosować ją do potrzeb lokalnego rynku pracy. Strona 39

41 16% 6% 2% 14% % 6 16% 18% % 10 Wykres 4. Rozkład uzyskanych rang dla skuteczności IP3 - Skuteczność modelu lokalnej koalicji do zmiany oferty szkoły i dostosowania jej do potrzeb lokalnego rynku pracy. Źródło własne. Podobnie jak w poprzednich pytaniach średnia ranga przyznana przez respondentów wynosi 7. Prawie 1/3 respondentów - 14 osób przyznało modelowi najwyższą rangę 10 punktów tym samym uważając model za bardzo skuteczny w dostosowaniu oferty edukacyjnej do potrzeb rynku pracy. Pytanie 5. Czy współpraca z otoczeniem szkoły zaproponowana w modelu może wpływać na współpracę Państwa instytucji ze szkołą zawodową poprzez wypracowanie, wskazanie lub uświadomienie nowych potrzeb, celów lub obszarów działań, jakie mogłaby Państwa instytucja zrealizować we współpracy ze szkołą zawodową (wspólnie z jej pracownikami lub uczniami)? Podobnie jak w poprzednich pytaniach średnia ranga przyznana przez respondentów wynosi 7. Po 20 procent respondentów przyznało modelowi najwyższą rangę 10 punktów i 7. Tylko jedna osoba przyznała rangę 3 punktów. Powyżej 5 punktów ulokowało się jednak 78 procent wszystkich odpowiedzi co wskazuje na pozytywną ocenę narzędzia. W przypadku 3 odpowiedzi z rangą 1 stwierdzono, iż w przypadku tych respondentów wszystkie pytania zostały udzielone na poziomie rangi 1 co świadczy o możliwości błędnego wypełnienia ankiety. W związku z powyższym odpowiedzi tych można nie analizować pod kątem oceny skuteczności narzędzi. Strona 40

42 12% 20% 16% 6% 2% 10% 16% 20% Wykres 5. Rozkład uzyskanych rang dla skuteczności IP3 w zakresie możliwości określania nowych obszarów współpracy ze szkołą zawodową. Źródło własne. Pytanie 6. Czy w Państwa opinii współpraca z otoczeniem szkoły, w zakresie identyfikacji potrzeb otoczenia oraz możliwych obszarów współpracy powinna być elementem procesu modernizowania oferty edukacyjnej szkoły zawodowej? 27% 22% 8% 2% 2% 4% 8% 10% 18% Wykres 6. Rozkład uzyskanych rang dla skuteczności IP3 w zakresie w zakresie identyfikacji potrzeb otoczenia oraz możliwych obszarów współpracy, jako elementu procesu modernizowania oferty edukacyjnej szkoły zawodowej. Źródło własne. Wszyscy respondenci jednogłośnie stwierdzili, że współpraca z otoczeniem szkoły, w zakresie identyfikacji potrzeb otoczenia oraz możliwych obszarów współpracy powinna być elementem procesu modernizowania oferty edukacyjnej szkoły zawodowej. 10% respondentów nadało nieistotną rangę współpracy szkoły z otoczeniem, zaś prawie 50% oceniło ja jako bardzo istotną (nadając rangę 10 i 9). Strona 41

43 Pytanie 7. Czy w Państwa opinii taki model lokalnej współpracy zwiększa tempo i skuteczność zmian modernizacyjnych w szkole? Większość respondentów 50 osób 98% stwierdziło, że model takiej współpracy zwiększa tempo i skuteczność zmian modernizacyjnych wprowadzanych w szkole. Najwięcej osób przyznało rangę 10 i 7 punktów. Podobnie jak w poprzednim pytaniu także i tu 10% respondentów oceniło, że skuteczność modelu w zakresie zwiększenia tempa wprowadzanych zmian jest bardzo mała- wręcz nieistotna 14% 22% 14% 8% 2% 2% 8% 12% 20% Wykres 7. Rozkład uzyskanych rang dla skuteczności IP3 w zakresie oceny szybkości narzędzia we wprowadzaniu zmian modernizacyjnych. Źródło własne. Reasumując należy stwierdzić, że w opinii otoczenia narzędzia modernizacyjne związane z modelem IP3 na poziomie współpracy szkoły z instytucjami otoczenia i pracodawcami są skutecznym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Wypracowane produkty modernizują szkołę w zakresie dostosowania oferty edukacyjnej do potrzeb lokalnego rynku pracy. Skuteczność Modelu MOE z DSK - Wnioski Podsumowując ocenę skuteczności modelu modernizowania oferty edukacyjnej z zastosowaniem DSK z zastosowaniem 9 narzędzi modernizacyjnych, należy stwierdzić, iż zarówno uczniowie, nauczyciele jak i otoczenie szkoły pozytywnie ocenia wypracowane rozwiązanie w zakresie możliwości kreowania za pomocą tych narzędzi faktycznej zmiany modernizacyjnej w szkole. Ocena użyteczności modeli jest jednak nieznacznie różna w zależności do grup oceniających i faktycznej możliwości zastosowań Strona 42

44 rozwiązań w innych szkołach na różnych poziomach modernizacji, co przedstawia poniższy wykres: 8,5 8 7,5 7 6,5 6 5, Wykres 8. Średnie rangi dla poszczególnych pytań dotyczących skuteczności IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. W porównaniu poszczególnych odpowiedzi, należy podkreślić, iż najniższą rangę uzyskała skuteczność modelu dostosowaniu programu nauczania do potrzeb lokalnego rynku pracy (pytanie 1) a najwyższą w opinii otoczenia konieczność uwzględnienia współpracy lokalnej w modernizowaniu oferty edukacyjnej (pytanie 6). Różnice w ocenie skuteczności poszczególnych modeli w opinii ich odbiorców ukazuje też poniższy wykres: 8,5 8 7,5 7 6,5 6 5,5 5 IP1 IP2 IP3 Wykres 9. Średnie rangi dla skuteczności IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. Strona 43

45 Ocena TRAFNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach ilościowego badania ewaluacyjnego zastosowano kryterium TRAFNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 6 pytań: 2 pytania w kwestionariuszu CATI dla narzędzi związanych z IP1 kierowanym do uczniów biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 1. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie UCZNIA 1 pytanie w kwestionariuszu CATI dla narzędzi związanych z IP2 kierowanym do nauczycieli biorących udział w pracach testujących w ramach Laboratorium DSK - Załącznik 2. Ankieta CATI ewaluacji narzędzi MOE z DSK na poziomie SZKOŁY 3 pytania w kwestionariuszu CAWI dla narzędzi związanych z IP3 kierowanym do nauczycieli i przedstawicieli otoczenia nie biorących udziału w pracach testujących w ramach Laboratorium DSK - Załącznik 3. Ankieta CAWI opinia o modelu MOE z DSK na poziomie OTOCZENIA W efekcie przeprowadzonych wywiadów telefonicznych oraz ankietyzacji internetowej uzyskano wyniki oceny dla poszczególnych narzędzi związanych z 3 poziomami modernizacji oferty edukacyjnej szkoły zawodowej z zastosowaniem elementów DSK. Trafność IP1 3 narzędzia modernizacji na poziomie UCZNIA Oceny trafności pierwszego produktu finalnego IP1 badającego luki kompetencyjne dokonano w oparciu o wyniki badania telefonicznego CATI, które było skierowane do uczniów, którzy uczestniczyli w projekcie i testowali wypracowane podczas trwania projektu narzędzia. W badaniu wzięło udział 20 uczniów, 95% stanowili chłopcy. Wszyscy respondenci mieli lat. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy proces modernizacji oferty odpowiada na zidentyfikowane problemy i potrzeby ucznia? Pytanie 1. Czy zmiana programu nauczania pod potrzeby lokalnych pracodawców zwiększy Twoje szanse na rynku pracy? Osiemnastu z dwudziestu uczniów (90%) uważa, że zmiana programu nauczania zgodnie z oczekiwaniami lokalnych pracodawców może podnieść ich szanse na rynku pracy (rangi odpowiednio 5-10%, 6-10%, 7-20%, 8-35%, Strona 44

46 9-5% i 10-10%). Jedynie dwóch uczniów (w tym 1 dziewczynka) nie widzi związku pomiędzy dostosowanym programu nauczania do oczekiwań pracodawców, a zwiększeniem szans na rynku pracy. 35% 5% 10% 10% 1 10% % % 10 Wykres 1. Rozkład uzyskanych rang dla trafności narzędzia IP1 Wzór testu badający luki kompetencyjne w zakresie w zakresie zwiększenia szans na rynku pracy. Źródło własne. Pytanie 2. Czy uwzględnienie Dualnego Systemu Kształcenia w Twojej szkole, poprzez angażowanie lokalnych pracodawców w kształcenie praktyczne podnosi jest dla Ciebie ważne? Dziewiętnastu uczniów (95%) uważa, że dualny system kształcenia uwzględniający w procesie nauki pracodawców jest ważny. Jedynie jedna dziewczynka nie docenia wagi procesu nauki w realnym środowisku pracy. 25% 25% 5% 5% 25% 15% Wykres 2. Rozkład uzyskanych rang dla trafności narzędzia IP1 w zakresie uwzględnienia pracodawców w procesie nauki praktycznej zawodu. Źródło własne. Strona 45

47 Podsumowując, można stwierdzić, ze w opinii uczniów innowacyjne narzędzie IP1 Wzór test luk kompetencyjnych jest trafnym uwzględniającym potrzeby uczniów. Zaproponowany proces modernizacji oferty edukacyjnej szkoły odpowiada na zidentyfikowane problemy i potrzeby ucznia. Trafność IP2 3 narzędzia modernizacji na poziomie SZKOŁY Badanie trafności narzędzia IP2 odbyło się poprzez badanie telefoniczne kadry dydaktyczno-administracyjnej biorącej udział w testowaniu. Respondentami byli: kobiety-3 (60%) i mężczyźni - 2 (40%). Kadra dydaktyczna stanowiła 80%, a kadra administracyjna - 20%. Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy proces modernizacji oferty odpowiada na potrzeby KADRY szkoły? Pytanie 3. Czy model modernizowania oferty edukacyjnej z wykorzystaniem elementów DSK odpowiada na potrzeby rozwojowe lub edukacyjne kadry szkoły? Wszyscy respondenci stwierdzili, że zaproponowane rozwiązania są w stanie zmodernizować szkołę zawodową. Tym samym można stwierdzić, że osiągnięto zamierzone cele projektowe. 20% 20% 40% 20% Wykres 3. Rozkład uzyskanych rang dla trafności narzędzia IP2. Źródło własne. Reasumując należy stwierdzić, że w opinii nauczycieli narzędzia modernizacyjne związane z modelem IP2 na poziomie szkoły są trafnym instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Proces modernizacji oferty odpowiada na potrzeby KADRY szkoły. Strona 46

48 Trafność IP3 3 narzędzia modernizacji na poziomie OTOCZENIA Ocenę trafności produktu finalnego IP3 dokonano w oparciu o wyniki badania internetowego CAWI. W badaniu wzięło udział 51 respondentów: 41 kobiet - 80%, 10- Mężczyzn -20%. Respondenci pochodzili z następujących instytucji: szkoły 30 osób (58%), pracodawcy - 9 (17%), JST - 4 (7%), Inne - 8 (15%). Zadane pytania ankietowe miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy proces modernizacji oferty odpowiada na zidentyfikowane problemy i potrzeby OTOCZENIA szkoły? Pytanie 4. Czy strategia współpracy wypracowywana w ramach spotkań koalicji umożliwia Państwa zdaniem wypracowanie wspólnych działań korzystnych nie tylko dla szkoły ale także Państwa instytucji? 98% respondentów stwierdziło, że strategia współpracy umożliwia wypracowanie wspólnych działań korzystnych nie tylko dla szkoły ale także dla innych instytucji. 6% 25% 25% 6% 6% 8% 14% 10% Wykres 4. Rozkład uzyskanych rang dla trafności IP3 - Trafność modelu w zakresie możliwości wypracowania wspólnych działań korzystnych dla innych instytucji. Źródło własne. 25 procent respondentów oceniła bardzo wysoko (ranga 10) trafność tego narzędzia w zakresie wypracowania rozwiązań korzystnych także dla innych instytucji i wysoko (ranga 8). Trzy osoby uznały te narzędzie za bardzo mało trafne w zakresie tworzenia korzyści dla innych instytucji, kolejne trzy za mało trafne. Pytanie 5. Czy wypracowany model współpracy umożliwia Państwa zdaniem uwzględnienie w lokalnej polityce lub lokalnej współpracy problemów społecznych istotnych dla Państwa instytucji? Strona 47

49 10 procent respondentów stwierdziła bardzo małą lub małą trafność narzędzia w zakresie możliwości uwzględnienia w lokalnej polityce lub lokalnej współpracy problemów społecznych istotnych dla innych instytucji, 32% uważa, że trafność jest średnia, 40%, że wysoka, zaś 20% że bardzo wysoka. 20% 4% 2% 4% % % 16% % 10 Wykres 5. Rozkład uzyskanych rang dla trafności IP3 w zakresie uwzględnienia w lokalnej polityce problemów społecznych istotnych dla innych instytucji. Źródło własne. Pytanie 6. Czy wypracowany model współpracy zwiększa szansę realizacji Państwa celów i potrzeb? 4% 4% 4% 4% % 12% % 8% 20% Wykres 6. Rozkład uzyskanych rang dla trafności IP3 w zakresie w zakresie możliwości realizowania celów instytucji. Źródło własne. 96% respondentów (49 osób) uważa, że wypracowany model zwiększa szansę realizacji celów i potrzeb innych instytucji tworzących lokalna koalicję. Tylko dwie osoby przedstawiciel innej instytucji oraz przedstawicielka jednostki samorządu terytorialnego uznały, że cele instytucji, które reprezentują nie będą miały większych szans realizacji. 41% uczestników badania CAWI Strona 48

50 stwierdziło, że taki model zwiesza szanse realizacji celów instytucji uczestniczących w lokalnej koalicji. Reasumując należy stwierdzić, że w opinii otoczenia narzędzia modernizacyjne związane z modelem IP3 na poziomie współpracy szkoły z instytucjami otoczenia i pracodawcami są trafnymi instrumentem modernizacji oferty edukacyjnej w szkołach zawodowych. Proces modernizacji oferty odpowiada na zidentyfikowane problemy i potrzeby OTOCZENIA szkoły. Trafność Modelu MOE z DSK - Wnioski Podsumowując ocenę trafności modelu modernizowania oferty edukacyjnej z zastosowaniem DSK z zastosowaniem 9 narzędzi modernizacyjnych, należy stwierdzić, iż zarówno uczniowie, nauczyciele jak i otoczenie szkoły pozytywnie ocenia wypracowane rozwiązanie w zakresie możliwości kreowania za pomocą tych narzędzi faktycznej zmiany modernizacyjnej w szkole. Ocena trafności modeli jest jednak nieznacznie różna w zależności do grup oceniających i faktycznej możliwości zastosowań rozwiązań w innych szkołach na różnych poziomach modernizacji, co przedstawia poniższy wykres: 8,5 8 7,5 7 6,5 6 5, Wykres 7. Średnie rangi dla poszczególnych pytań dotyczących trafności IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. W porównaniu poszczególnych odpowiedzi, należy podkreślić, iż najniższą rangę uzyskała w opinii uczniów trafność modelu w dostosowaniu programu nauczania do potrzeb ucznia (pytanie 1) a najwyższą w opinii ucznia waga angażowania lokalnych pracodawców w DSK (pytanie 2) oraz w opinii szkoły trafność modelu w zakresie uwzględnienia w audycie szkoły i programie szkoleń potrzeb kadr dydaktyczno-administracyjnych szkoły. (pytanie 3). Różnice w ocenie trafności poszczególnych modeli w opinii ich odbiorców ukazuje też poniższy wykres: Strona 49

51 8,5 8 7,5 7 6,5 6 5,5 5 IP1 IP2 IP3 Wykres 8. Średnie rangi dla trafności IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. Podsumowując wyniki badań ilościowych można stwierdzić, iż w opinii uczestników testu oraz jego otoczenia 9 narzędzi MOE z DSK uzyskało pozytywną ocenę zarówno w aspekcie ich użyteczności, skuteczności jak i trafności. Najwyższe oceny uzyskały modele IP1, IP2 i IP3 w zakresie TRAFNOŚCI, co świadczy, iż modele te uwzględniają potrzeby wszystkich interesariuszy, przy czym w najwyższym stopniu potrzeby kadr dydaktycznoadministracyjnych modernizowanej szkoły. (Trafność wykres 8). Inaczej sytuacja wygląda w przypadku SKUTECZNOŚCI, gdzie najwyżej modele IP1, IP2 oraz IP3 ocenili przedstawiciele otoczenia. To głównie pracodawcy i instytucje rynku pracy największe nadzieje kładą we wspólnym modernizowaniu oferty edukacyjnej szkoły zawodowej i doceniają swoją rolę w określaniu kierunków zmian w szkole. W przypadku UŻYTECZNOŚCI oceny są wyrównane, gdzie zarówno uczniowie, kadra szkoły jak i przedstawiciele otoczenia na podobnym poziomie oceniają możliwość upowszechnienia wypracowanych produktów i ich wpływ na modernizację oferty edukacyjnej w innych szkołach i powiatach. Strona 50

52 PREZENTACJA WYNIKÓW BADANIA JAKOŚCIOWE Strona 51

53 Ocena TRAFNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach jakościowego badania zastosowano kryterium TRAFNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 6 pytań w scenariuszu dla uczestników testu ODBIORCÓW produktów finalnych, z podziałem na poziomy interwencji : 2 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP1 w zakresie modernizacji metod pracy na poziomie UCZEŃ - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 2 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP2 w zakresie modernizacji metod zarządzania kompetencjami w placówce edukacyjnej na poziomie SZKOŁA - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 2 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP3 w zakresie modernizacji metod współpracy lokalnej szkoły na poziomie OTOCZENIE - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu Analogicznie, zgodnie z założeniami metodologicznymi ewaluacji w ramach badania jakościowego zastosowano odmienne scenariusze dla przedstawicieli instytucji nie biorących udziału w teście w tym przypadku także zastosowano kryterium TRAFNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadały 3 pytania w scenariuszu dla otoczenia testu - UŻYTOWNIKÓW produktów finalnych, z podziałem na poziomy interwencji : 1 pytanie w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP1 w zakresie modernizacji metod pracy na poziomie UCZEŃ - Załącznik 5. Scenariusz FGI ocena i opnie otoczenia UŻYTKOWNIKÓW modelu 1 pytanie w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP2 w zakresie modernizacji metod zarządzania kompetencjami w placówce edukacyjnej na poziomie SZKOŁA - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNIKÓW modelu 1 pytanie w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP3 w zakresie modernizacji metod współpracy lokalnej szkoły na poziomie OTOCZENIE - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNIKÓW modelu Strona 52

54 Trafność procedury testowania modelu MOE z DSK w opinii uczestników testu Oceny trafności modelu i związanych z nim narzędzi modernizacyjnych dokonano na podstawie rozmowy ewaluacyjnej w ramach FGI dla uczestników testu ODBIORCÓW produktów finalnych z udziałem 5 osób reprezentujących kadry dydaktyczno-administracyjne szkoły (Zespołu Szkół Budowlanych w Bielsku Podlaskim) oraz 2 osób reprezentujących instytucje szkoleniowe oraz rynku pracy wspierające szkolnictwo zawodowe. Zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) uwzględniają potrzeby wszystkich interesariuszy modelu? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania ewaluacyjnego analizowano zagadnienia szczegółowe po 2 dla każdego poziomu interwencji: dla MOE z DSK na poziomie UCZNIA: Oceniając trafność 3 narzędzi wchodzących w skład IP1 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK uwzględniają potrzeby UCZNIA? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. W jakim stopniu uczniowie uczestniczyli w tworzeniu narzędzi modernizujących metody pracy z uczniem? Czy Test Luk Kompetencyjnych uwzględniał potrzeby uczniów w zakresie praktycznej nauki zawodu? Pytanie 2. W jakim stopniu Program szkolenia nauczycieli z DSK uwzględnił potrzeby i potencjał nauczycieli do realizacji praktycznej nauki zawodu we współpracy z lokalnymi pracodawcami? Według opinii uczestników FGI test luk kompetencyjnych uwzględniał potrzeby uczniów w zakresie praktycznej nauki zawodu. Zaletą takiego testu jest zdiagnozowanie stanu wiedzy uczniów. test luk kompetencyjnych kilka grup tematycznych, tam gdzie była wiedza zawodowa można było zorientować się, jaka jest Strona 53

55 wiedza ucznia, na jakim poziomie się kształtuje, przy czym jeżeli to test luk kompetencyjnych to te kompetencje odnoszą się do wiadomości a nie umiejętności, natomiast.. pracodawcy najczęściej mówią o umiejętnościach a nie wiadomościach. Lukę kompetencyjną by lepiej poznać, należy zrobić test praktyczny, z opisów trudno jest mówić o umiejętnościach praktycznych. Uczestnicy FGI zwrócili też uwagę na otrzymane wyniki testu luk kompetencyjnych oraz rozbieżności pomiędzy nimi a opiniami przedsiębiorców. uczniowie mają wiedzę z procedury rekrutacji z testu wychodzi że przygotowani, pracodawcy zgłaszają, że umiejętności społeczne to największy problem Z wypowiedzi tej wynika, iż uczestnicy testu rozumieli istotę badania luki kompetencyjnej, gdzie uwaga zwrócona jest nie tyle na ocenę kompetencji ucznia co na różnicę pomiędzy kompetencjami absolwenta szkoły a oczekiwaniami pracodawcy. W tym przypadku oczywiste jest zastosowanie testu luk kompetencyjnych w taki sposób, by różnice tą uwydatnić, czyli kierowanie testu zarówno do uczniów jak i pracodawców. Charakter badawczy narzędzia gwarantuje więc uwzględnienie potrzeb osób badanych jednak nie tylko uczniów ale i pracodawców. W opinii uczestników wywiadu badanie luk kompetencyjnych jest także wyzwaniem dla samych nauczycieli. W uzasadnionych wypadkach, gdy na przykład utrudniony jest dostęp do pracodawców lub współpraca z nimi nie układa się najlepiej, drugą stroną oceny mogą być nauczyciele przedmiotowi określający idealny stan, układ czy poziom kompetencji absolwenta szkoły a luka kompetencyjna tworzona byłaby pomiędzy tym co uczeń potrafi a tym co powinien potrafić w opinii nauczających. Dlatego w programie ich szkolenia należy uwzględnić ten aspekt. Rozwiązanie takie różniłoby się od typowej oceny okresowej ucznia, gdyż dotyczyłoby obszarów określonych w teście luk kompetencyjnych a nie w podstawach programowych, a obszary te w większym stopniu dotyczą potrzeb pracodawców i rynku pracy niż egzaminatorów. Należy jednak podkreślić, iż obiektywność takiego pomiaru wzrosłaby, gdyby druga stroną oceny nie byli nauczyciele ocenianego przedmiotu, lecz szeroka kadra dydaktyczno-administracyjna szkoły. Podsumowując ocenę trafności 3 narzędzi wchodzących w skład IP1 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK uwzględniają potrzeby UCZNIA. Strona 54

56 dla MOE z DSK na poziomie SZKOŁA: Oceniając trafność 3 narzędzi wchodzących w skład IP2 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK uwzględniają potrzeby kadry dydaktyczno-administracyjnej (KDA) SZKOŁY? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. W jakim stopniu nauczyciele uczestniczyli w tworzeniu narzędzi modernizujących metody zarządzania szkołą? Czy Ankieta Audytu DSK uwzględniała potrzeby KDA? Pytanie 2. W jakim stopniu Karta Potrzeb Szkoleniowych DSK uwzględniła potrzeby i potencjał nauczycieli do Dualnego Systemu Kształcenia? W opinii uczestników spotkania ewaluacyjnego program szkolenia KDA z DSK uwzględniał potrzeby i potencjał nauczycieli do realizacji praktycznej nauki zawodu we współpracy z lokalnymi pracodawcami. w szkoleniu było dobre: możliwość spotkania i przedyskutowania wspólnie z pracodawcą czy nauczycielami zajęć praktycznych, którzy tam prowadza zajęcia z uczniami bezpośrednio u pracodawcy, nauczyciele ze szkoły. Możliwość przekazania instruktorom czy pracodawcom głównie rzecz biorąc informacji o tym, czy wiedzy o tym jak zorganizowana jest nauka w szkole i przedyskutowanie dostosowania, oprócz realizowania programu szkoleń to również powstał taki program odbywania zajęć praktycznych w zakładzie pracy z uporządkowaniem: w tej klasie to oni u nas uzyskują taką wiedzę czyli wy powinniście to realizować na tym i na tym, w tym i, w tym momencie... Nawiązując do wcześniejszych ustaleń warto w programie szkolenia KDA uwzględnić przygotowanie szerokich kadr szkoły do stosowania testu luk kompetencyjnych w przypadku ograniczonego dostępu do opinii pracodawców. Zaangażowanie kadry szkolnej nie związanej bezpośrednio z ocenianym przedmiotem zwiększa obiektywność zdiagnozowanej luki kompetencyjnej, jednak rozwiązanie to wymaga podstawowej wiedzy na temat obszarów oceny przewidzianych w teście luk kompetencyjnych. Strona 55

57 W opinii uczestników testu oraz spotkania ewaluacyjnego, KDA miała kluczowy wpływ na wypracowane rozwiązania w ramach IP2. W przypadku Laboratorium DSK nauczyciel zostali zaangażowani w tworzenie narzędzi z IP1 i IP2, jako autorzy opracowań. Rozwiązanie to zwiększa trafność narzędzia a w szczególności możliwość jego zastosowania w szkole zgodnie z zasadą jako sobie pościelisz tak się wyśpisz lub zgodnie z psychologiczną zasadą zaangażowania. Sam fakt udziału w opracowaniu narzędzi skłania lub motywuję do ich późniejszego stosowania. Angażowanie nauczycieli w opracowanie narzędzi w ramach modelu IP1 i IP2 pełni więc rolę marketingu wewnętrznego tych modeli jest sposobem na przekonanie KDA do ich stosowania w praktyce codziennej szkoły po zakończeniu projektu. Uczestnicy spotkania uznali, iż rozwiązanie takie (zaangażowania KDA w tworzenie narzędzi) powinno być stosowane w każdej innej szkole. Sytuacja wdrożenia modelu MOE z DSK jest w tym przypadku analogiczna do jego testowania, z tą różnicą, iż poszczególne narzędzia nie są tworzone z udziałem KDA, lecz modyfikowane do specyficznych potrzeb danej placówki edukacyjnej (na przykład do innego zawodu). Uczestnicy spotkania zasugerowali wręcz, by narzędzia w ramach IP1 i IP2 oferowane innym szkołom nie były z założenia gotowe do użycia a wymagały modelowo interwencji i zaangażowania KDA w ich dostosowanie, modyfikacje do potrzeb szkoły. Podsumowując ocenę trafności 3 narzędzi wchodzących w skład IP2 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK uwzględniają potrzeby kadry dydaktyczno-administracyjnej SZKOŁY. dla MOE z DSK na poziomie OTOCZENIE: Oceniając trafność 3 narzędzi wchodzących w skład IP3 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK uwzględniają potrzeby instytucji współpracujących ze szkołą z OTOCZENIA szkoły? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. W jakim Instytucje Otoczenia, MŚP, Urzędy Pracy uczestniczyły w tworzeniu narzędzi budowania lokalnej współpracy? Pytanie 2. W jakim stopniu Karta potrzeb koalicji DSK uwzględniła potrzeby i potencjał OTOCZENIA do tworzenia Dualnego Systemu Kształcenia? Strona 56

58 W opinii uczestników FGI Karta potrzeb lokalnej koalicji zastosowana w ramach cyklu spotkań tj. jej połączenie funkcjonalne z Programem 5 spotkań lokalnej koalicji daje szkole możliwość poznania swojego otoczenia i zdiagnozowania swoich i jego potrzeb. te narzędzia działają w dwie strony- to nie tylko służą nam, ale także pracodawcom, żeby uściślić swoją wiedzę i sprecyzować szkole swoje potrzeby Kluczowym stwierdzeniem jest w tym przypadku obustronna trafność narzędzi związanych z IP3, czyli fakt, iż służą one do uwidocznienia potrzeb nie tylko samej szkoły ale ich instytucji otoczenia szkoły. Uczestnicy spotkania ewaluacyjnego uznali, iż ta obustronność jest kluczem do budowania prawdziwej współpracy lokalnej, opartej na wzajemności. Zasada ta gwarantuje trwałość tej współpracy, gdyż pozwala określić cele istotne dla szerszej grupy instytucji. Tworzy do szerszą pulę celów i sam ten fakt wydłuża okres współpracy im więcej celów tym więcej współpracy. Innym aspektem obustronności jest zwrócenie uwagi pracodawcom, iż są także klientami szkoły że można przełamać stereotyp, będący jednocześnie największą barierą DSK, iż szkoła wykorzystuje pracodawców do kształcenia praktycznego w sytuacji, gdy sama nie może tego kształcenia poprawnie zrealizować (redukcja kosztów edukacji). Orientacja na potrzeby pracodawców ukazuje drugą stronę medalu, na której to pracodawca stawia szkole wymagania i oczekiwania. Budowanie tej świadomości, ukazywanie korzyści ze współpracy ze szkołą jest w opinii uczestników badania najważniejszym wyzwaniem w budowaniu DSK, dlatego narzędzia aktywizujące pracodawców w wyrażaniu swoich potrzeb są tak ważne. Uczestnicy FGI biorący jednocześnie udział w samym testowaniu oceniają pozytywnie zaangażowanie pracodawców w tworzenie samych narzędzi a tym samym ich trafność dla pracodawców. Uczestnicy spotkań lokalnej koalicji mogli modyfikować Program 5 spotkań lokalnej koalicji zarówno co do terminy jak i tematu spotkania, Większym wyzwaniem byłoby jednak zaangażowanie pracodawców w tworzenie Karty potrzeb lokalnej koalicji, ustalenie jej zawartości i ocenianych obszarów jednak sam fakt jej wypełnienia był formą tworzenia tego narzędzia, podobnie jak w przypadku Strategii działania lokalnej kolacji na rzecz DSK. Podsumowując ocenę trafności 3 narzędzi wchodzących w skład IP3 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK uwzględniają potrzeby instytucji współpracujących ze szkołą z OTOCZENIA szkoły. Strona 57

59 Trafność modelu MOE z DSK w opinii potencjalnych użytkowników Oceny trafności modelu i związanych z nim narzędzi modernizacyjnych dokonano na podstawie rozmowy ewaluacyjnej w ramach FGI dla otoczenia testu UŻYTKOWNIKÓW produktów finalnych z udziałem 6 osób reprezentujących organizację pracodawców, pracodawców oraz instytucje rynku pracy, w szczególności z udziałem 2 osób z Izby Rzemieślniczej i Przedsiębiorczości w Białymstoku, 3 rzemieślników i 1 osoby z ramienia instytucji szkoleniowej wspierającej szkoły zawodowe. Zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeby wszystkich interesariuszy modelu? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania ewaluacyjnego analizowano zagadnienia szczegółowe po 1 dla każdego poziomu interwencji: dla MOE z DSK na poziomie UCZNIA: Oceniając trafność modelu IP1 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeb UCZNIA? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy OTOCZENIE powinno uczestniczyć w diagnozie Luk Kompetencyjnych, wskazując na braki kompetencyjne uczniów w poszczególnych zawodach? W opinii uczestników badania potencjalnych użytkowników nie związanych z opracowaniem i testowaniem narzędzi wchodzących w skład IP1 Test luk kompetencyjnych uwzględnia potrzeby uczniów w zakresie praktycznej nauki zawodu, gdyż jest kierowany do ucznia. Zaletą takiego testu jest zdiagnozowanie stanu wiedzy uczniów. zdiagnozowanie testem luk kompetencyjnych daje większe szanse na przyjęcie do pracy lub na praktykę, gdyż pracodawca nie będzie obawiał się, że jego maszyny zostaną zniszczone. Jeżeli Strona 58

60 przychodzi do mnie osoba.., ja zatrudniam młodych ludzi na umowę zlecenie, na taki okres, znaczy się ja byłem przygotowany, że mogę ponieść z tym związane jakieś koszta, z jakimiś uszkodzeniem W opinii uczestnika FGI, rzemieślnika zatrudniającego młodych pracowników, test luki kompetencyjnej jest instrumentem ułatwiającym uczniom znalezienie pracy po zakończeniu edukacji, gdyż przekonuje pracodawcę, iż uczeń gotowy jest do podjęcia pracy w jego zakładzie, jeżeli oceniono na etapie jego edukacji zakres niezbędnych w danym zakładzie kompetencji. Ma to szczególne znaczenie w obniżeniu kosztów przygotowania, wdrożenia do pracy u konkretnego pracodawcy. W podobny sposób narzędzie to może rozwiązać jedną z kluczowych barier w rozwoju DSK, jaką jest ryzyko uszkodzenia urządzeń w trakcie nauki praktycznej nauki zawodu (praktyk, staży) u pracodawców. Test luk kompetencyjnych umożliwia przygotowanie uczniów do nauki u pracodawców. praktyka czyni mistrza w każdym zawodzie czy to będzie lekarz czy to zdun czy stolarz W opinii uczestników spotkania ewaluacyjnego rozwiązanie to zwiększa trafność edukacji w każdym zawodzie, także w profesjach wykraczających poza szkolnictwo zawodowe i warto rozważyć jego szersze zastosowanie nawet w kształceniu na poziomie wyższym (współpracy firm z uczelniami). szkoła nie nauczy nowości, co innego książka a co innego praktyka współpraca taka (pomiędzy pracodawcą a szkołą) jest potrzebna i jedyna pracodawca niech prowadzi najbardziej archaiczny zakład to i tak jest na bieżąco z nowinkami technologicznymi, bo rynek to wymusi (...) natomiast warsztat w szkole jest zawsze opóźniony Uczestnicy spotkania zwrócili uwagę na zasadność angażowania w DSK także mniejszych firm, w tym rzemieślniczych, które do tej pory są pomijane w edukacji uczniów szkół zawodowych. Wskazano w tym przypadku na inne walory praktycznej nauki zawodu, takie kultura pracy czy doświadczenia w relacjach z pracodawcą, które mogą rekompensować gorszy technologicznie warsztat pracy w MSP. Podsumowując ocenę trafności modelu IP1 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeb UCZNIA. Strona 59

61 dla MOE z DSK na poziomie SZKOŁA: Oceniając trafność modelu IP2 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeb kadry dydaktyczno-administracyjnej (KDA) SZKOŁY? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy OTOCZENIE powinno uczestniczyć w opracowaniu programu szkolenia kadr, na przykład poprzez wskazanie niezbędnych obszarów podniesienia kwalifikacji w Ankiecie Audytu DSK? Jak stwierdzili uczestnicy wywiadów audyt jest dobrym narzędziem diagnozy własnych zasobów szkoły. trzeba zacząć od tego, co się ma, jeżeli nie ma się to trzeba sięgać dalej, np. do rzemieślników, zakładów rzemieślniczych czy innych... kierować się dobrem ucznia Po raz kolejny uczestnicy spotkania zwrócili uwagę na fakt powiązania narzędzi badawczych w ramach IP1 i IP2 z potrzebami otoczenia. W tym przypadku pozytywnie ocenili trafność narzędzi IP2 w kontekście kadr dydaktyczno-administracyjnych szkoły, jednak zwrócili uwagę też na to, że ocena posiadanych w szkole zasobów (kadrowych, kompetencyjnych) otwiera szkołę na otoczenie (na zasoby kompetencyjne w instytucjach z otoczenia szkoły). Uczestnicy FGI zwrócili w tym przypadku uwagę na fakt, iż szkoły w małym stopniu korzystają z zasobów i potrzeb małych firm rzemieślniczych orientując się na potencjalne edukacyjnym większych firm, z dużym warsztatem lub kadrami przygotowanymi pedagogicznie. Tym czasem rzemieślnicy tworzą więcej miejsc pracy niż niejedna firma, posiadają najnowszą wiedzę o zawodzie, są bardziej elastyczni i otwarci na potrzeby rynkowe i mogą wspierać szkołę w praktycznej nauce zawodu. Jednak mali przedsiębiorcy i rzemieślnicy nie mają uprawnień pedagogicznych, dlatego mogliby być zapraszani do szkoleń dla KDA w ramach modelu IP2. Podsumowując ocenę trafność modelu IP2 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeb kadry dydaktycznoadministracyjnej SZKOŁY. Strona 60

62 dla MOE z DSK na poziomie OTOCZENIE: Oceniając trafność modelu IP3 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeb instytucji współpracujących ze szkołą z OTOCZENIA szkoły? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy OTOCZENIE powinno uczestniczyć w opracowaniu strategii rozwoju szkoły poprzez udział i wspólną realizację Programu 5 spotkań Lokalnej Kolacji DSK? Według opinii uczestników FGI Karta potrzeb lokalnej koalicji oraz Program 5 spotkań lokalnej koalicji tworzą niezbędne warunki do uwzględnienia potrzeb instytucji z otoczenia szkoły, możliwość poznania swojego otoczenia i zdiagnozowania jego potrzeb. taka karta może służyć analizie potrzeb Rzemieślnicy obecni na spotkaniu stwierdzili, iż nie byli nigdy zapraszani przez szkołę zawodową do współpracy i nie mieli nigdy okazji wyrazić swoich opinii i potrzeb w zakresie kształcenia zawodowego. Karta potrzeb lokalnej koalicji daje szanse szkole zauważyć, iż w otoczeniu szkoły są także rzemieślnicy: szkoły nie wiedzą, że istnieją rzemieślnicy w niektórych zawodach Uczestnicy spotkania wyrazili zainteresowanie współpracą ze szkoła zawodową, a Karta potrzeb lokalnej koalicji pozwala ukazać rzemieślników swój potencjał edukacyjny, gdyż nie orientuje isę tylko na potrzeby ale także na kapitał każdego uczestnika, pozwalając określić, co kto może wnieść w lokalną współpracę. Daje to szanse przełamania stereotypów o rzemiośle oraz okazje pokazania co rzemieślnicy mogą wnieść w proces edukacyjny. Rozumowanie to jest zgodne z praktykami francuskimi w zakresie DSK, które pokazują, iż małe firmy są poważnym partnerem edukacyjnym szkoły, lecz szkoły te rozumieją, iż obok warsztatu narzędziowego bezpośrednia relacja z pracodawcą (uczeń mistrz) jest równie ważna w edukacji młodzieży. Podsumowując ocenę trafność 3 narzędzi wchodzących w skład IP3 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeb instytucji współpracujących ze szkołą z OTOCZENIA szkoły. Strona 61

63 Trafność Modelu MOE z DSK - Wnioski Podsumowując ocenę TRAFNOŚCI narzędzi związanych z IP1, IP2 i IP3 należy stwierdzić, iż zarówno uczestnicy testu ODBIORCY wypracowanych produktów finalnych jak i otoczenie testu potencjalni UŻYTKOWNICY modeli uznali, iż narzędzia te uwzględniają potrzeby UCZNIA, SZKOŁY I OTOCZENIA. Uczestnicy testu stwierdzili, znając procedurę i przebieg testowania, a w szczególności mając udział w opracowaniu i testowym użyciu narzędzi, iż orientują się one z założenia na potrzeby szerszej grupy klientów szkoły. Uwzględnienie w modelu modernizacji trzech poziomów funkcjonowania szkoły, daje szanse a nawet gwarantuje uwzględnienie potrzeb ucznia oraz nauczycieli praktycznej nauki zawodu dla pierwszego poziomu modernizacji, potrzeb szkoły jako organizacji oraz potrzeb szerokiej kadry szkoły, w tym nauczycieli przedmiotowych czy dyrekcji szkoły dla drugiego poziomu modernizacji oraz, co być może najważniejsze, pracodawców dla trzeciego poziomu modernizacji. Należy podkreślić, iż uczestnicy FGI stwierdzali powiązanie narzędzi z potrzebami pracodawców na wszystkich poziomach modernizacji oferty edukacyjnej, zarówno w aspekcie oceny luk kompetencyjnych na poziomie ucznia, w aspekcie oceny dostępnych zasobów edukacyjnych w placówce edukacyjnej i możliwości uzupełnienia tych zasobów przez personel z otoczenia szkoły na drugim poziomie modernizacji oferty edukacyjnej oraz na poziomie otoczenia, gdzie pracodawcy byli kluczowym partnerem dwustronnej współpracy szkoły z lokalnymi instytucjami. Uczestnicy FGI nie biorący udziału w testowaniu produktów orientowali się w swoich ocenach głównie na trafności narzędzi w zakresie uwzględnienia potrzeb i kapitału otoczenia na wszystkich poziomach modernizacji oferty edukacyjnej. Stwierdzili, iż angażowanie pracodawców i rzemiosła realizuje potrzeby uczniów zwiększając szansę ich zatrudnienia czy praktycznej nauki zawodu u pracodawcy, realizuje potrzeb kadry dydaktycznej zwiększając ich wiedzę o zawodach oraz realizuje potrzeby otoczenia, poprzez kreowanie warunków do współpracy szkoły z szerszą grupą pracodawców, w tym rzemieślników, którzy są pomijani w lokalnej współpracy i edukacji zawodowej młodych ludzi w systemie oświaty. Mając na uwadze wyrażone oceny i opinie na podstawie badań jakościowych modele MOE z DSK można stwierdzić, iż Wypracowane modele Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) uwzględniają potrzeby wszystkich interesariuszy modelu a wypracowane modele MOE z DSK umożliwiają lub tworzą warunki do uwzględnienia potrzeby wszystkich interesariuszy modelu. Strona 62

64 Ocena RZETELNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach jakościowego badania zastosowano kryterium RZETELNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 3 pytania w scenariuszu dla uczestników testu ODBIORCÓW produktów finalnych, z podziałem na poziomy interwencji : 1 pytanie w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP1 w zakresie modernizacji metod pracy na poziomie UCZEŃ - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 1 pytanie w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP2 w zakresie modernizacji metod zarządzania kompetencjami w placówce edukacyjnej na poziomie SZKOŁA - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 1 pytanie w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP3 w zakresie modernizacji metod współpracy lokalnej szkoły na poziomie OTOCZENIE - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu Analogicznie, zgodnie z założeniami metodologicznymi ewaluacji w ramach badania jakościowego zastosowano odmienne scenariusze dla przedstawicieli instytucji nie biorących udziału w teście w tym przypadku także zastosowano kryterium RZETELNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadały 3 pytania w scenariuszu dla otoczenia testu - UŻYTOWNIKÓW produktów finalnych, z podziałem na poziomy interwencji : 1 pytanie w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP1 w zakresie modernizacji metod pracy na poziomie UCZEŃ - Załącznik 5. Scenariusz FGI ocena i opnie otoczenia UŻYTKOWNIKÓW modelu 1 pytanie w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP2 w zakresie modernizacji metod zarządzania kompetencjami w placówce edukacyjnej na poziomie SZKOŁA - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNIKÓW modelu 1 pytanie w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP3 w zakresie modernizacji metod współpracy lokalnej szkoły na poziomie OTOCZENIE - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNIKÓW modelu Strona 63

65 Rzetelność procedury testowania modelu MOE z DSK w opinii uczestników testu Oceny rzetelności modelu i związanych z nim narzędzi modernizacyjnych dokonano na podstawie rozmowy ewaluacyjnej w ramach FGI dla uczestników testu ODBIORCÓW produktów finalnych z udziałem 5 osób reprezentujących kadry dydaktyczno-administracyjne szkoły (Zespołu Szkół Budowlanych w Bielsku Podlaskim) oraz 2 osób reprezentujących instytucje szkoleniowe oraz rynku pracy wspierające szkolnictwo zawodowe. Zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy interesariusze modelu mieli wpływ na tworzenie modeli Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK)? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania ewaluacyjnego analizowano zagadnienia szczegółowe po 1 dla każdego poziomu interwencji: dla MOE z DSK na poziomie UCZNIA: Oceniając rzetelność 3 narzędzi wchodzących w skład IP1 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy UCZNIOWIE i KDA mieli wpływa na wypracowane modele MOE z DSK na poziomie UCZNIA? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy pracownicy szkoły, uczniowie mieli wpływ na testowanie narzędzia na przykład poprzez zaproponowanie modułów testu luk kompetencyjnych, obszaru ankietyzacji lub pracowników realizujących dualny system kształcenia, zgłaszanie uwag i pomysłów do narzędzi? W opinii uczestników testu uczniowie uczestniczyli w procesie tworzenia narzędzia poprzez bezpośrednie konsultacje z zespołem nauczycieli odpowiedzialnym za jego powstanie. Jednocześnie byli stroną, do której było skierowane narzędzie. uczniowie mieli szanse wyrazić swoje opinie o narzędziach kierowanych do nich zarówno na etapie ich tworzenia ale przede wszystkim na etapie ich testowania kiedy wypełniali testy luk Strona 64

66 kompetencyjnych przy nauczycielach opracowujących to narzędzie Uczestnicy spotkania ewaluacyjnego stwierdzili, iż uczniowie mieli szansę kreowania narzędzia, jednak nie wykorzystywali jej spontanicznie i wymagało to specjalnych działań ze strony nauczycieli (pytanie o opinie, ocena zadowolenia z udziału w badaniu, ocena zadowolenia z udziału w dodatkowych zajęciach związanych z eksperymentem). Rozważyć można w przypadku kolejnych eksperymentów lub wdrożeń wypracowanych produktów w innych szkołach angażowanie przedstawicieli uczniów w prace zespołów roboczych lub wdrożeniowych, gdzie uczniowie mogliby sformułować i wyrazić swoją opinię o narzędziach przed ich zastosowaniem. Jednak nie należy przeceniać wkładu uczniów w metodykę nauczania. Należy podkreślić, iż uczniowie mieli wpływ na to co będzie im zaoferowane w projekcie, gdyż brali udział w ocenie luki kompetencyjnej a co za tym idzie mieli wpływ na edukacje nauczycieli praktycznej nauki zaowdu i zakres praktyk realizowanych z ich udziałem Podsumowując ocenę rzetelności 3 narzędzi wchodzących w skład IP1 należy stwierdzić, iż zgodnie z opiniami osób badanych UCZNIOWIE i KDA mieli wpływa na wypracowane modele MOE z DSK na poziomie UCZNIA. dla MOE z DSK na poziomie SZKOŁA: Oceniając rzetelność 3 narzędzi wchodzących w skład IP2 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy KDA miała wpływ na wypracowane modele MOE z DSK na poziomie SZKOŁY? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy pracownicy szkoły mieli wpływ na testowanie narzędzia na przykład poprzez zaproponowanie obszaru audytu szkoły, prowadzenie tego audytu lub zgłaszania uwag i pomysłów do narzędzi, programów szkoleniowych? W opinii uczestników badania także nauczyciele zostali zaangażowani do tworzenia programu szkolenia, który to był na bieżąco modyfikowany i dostosowywany do ich potrzeb i oczekiwań. Strona 65

67 jeżeli wchodzimy w temat DSK to w trakcie tych kontaktów wzajemnych jesteśmy w stanie wypracować formułę, która pozwala, że w okresie pobytu w szkole już ten uczeń rzeczywiście jest przygotowany Uczestnicy spotkania podkreślali, iż procedura tworzenia programu nauczania w oparciu o Ankietę audytu KDA gwarantuje ich wpływ na to, co zostanie wypracowane w ramach IP2. Podobnie angażowanie KDA w tworzenie i zastosowanie Testu luk kompetencyjnych zwiększa wspływ całej kadry szkoły na jakość i poziom kształcenia w placówce oraz modernizację oferty edukacyjnej. Uczestnicy podkreślali, iż angażowanie KDA w prace modernizacyjne (badawcze, edukacyjne i strategiczne) podnosi jakość współpracy pomiędzy pracownikami szkoły, zwiększa kooperację nauczycieli przedmiotowych tworząc ramy i warunki do wewnątrzszkolnego systemu DSK. Współpraca KDA podnosi jakość kształcenia poprzez szerszy wpływ kadry szkoły na standard tego kształcenia oraz synergiczne wykorzystanie walorów współpracy pomiędzy nauczycielami praktycznej nauki zawodu, nauczycielami przedmiotowymi oraz kadra administracyjną. W opinii uczestników ważne jest, by wszyscy angażowali się kształcenie w kontekście rynku pracy zarówno nauczyciel zawodowy poszukujący nowych rozwiązań technologicznych w otoczeniu szkoły, polonista wspierający wejście ucznia na rynek pracy jak też sekretarka szkolna budujące relacje z otoczeniem szkoły. Ważnym zagadnieniem poruszonym w tym kontekście było budowanie wizerunku szkoły zawodowej: szkoła zawodowa traktowana jest jako szkoła gorsza, w której nie jest istotne kształcenie ogólne. Rodzice obawiają się, że posyłając dziecko do takiej szkoły ryzykują, iż dziecko wprawdzie będzie umiało posługiwać się narzędziami jednak nie będzie umiał posługiwać się językiem polskim czy obcym, będąc po prostu źle wykształconym. Angażowanie nauczycieli przedmiotowych we współpracę szkoły z otoczeniem i DSK jest więc jedyną drogą do przełamania tego stereotypu Uczestnicy spotkania z ramienia dyrekcji szkoły zwrócili uwagę na kwestię angażowania tych nauczycieli w modernizację oferty edukacyjnej. Wskazując na ich naturalną motywację do dbania o wysoką rekrutację. Podsumowując ocenę rzetelności 3 narzędzi wchodzących w skład IP2 należy stwierdzić, iż zgodnie z opiniami osób badanych KDA miała wpływ na wypracowane modele MOE z DSK na poziomie SZKOŁY. Strona 66

68 dla MOE z DSK na poziomie OTOCZENIE: Oceniając rzetelność 3 narzędzi wchodzących w skład IP3 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy przedstawiciele instytucji rynku pracy lub pracodawcy mieli wpływ na wypracowane modele MOE z DSK na poziomie OTOCZENIA szkoły? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy przedstawiciele INSTYTUCJI OTOCZENIA mieli wpływ na testowanie narzędzia na przykład poprzez zaproponowanie tematyki spotkań, miejsca i czasu spotkań koalicji, formuły spotkań czy członków koalicji? Pracodawcy także dostali możliwość wypowiedzenia się. Uczestnicy potwierdzili, że istnieje sens i potrzeba angażowania pracodawców w tworzenie i korzystanie z narzędzi. Uczestnictwo w teście umożliwiło kontynuowanie i nawiązanie nowej współpracy. pracodawcy otrzymali wiedzę, w jakim zakresie mogą wprowadzać modernizację do programów nauczania Według opinii uczestników FGI model pełni funkcję edukacyjną dla pracodawców zwiększając świadomość ich wpływu. w momencie, gdy nie było tej współpracy wyobrażenie było takie, że przygotowujemy absolwenta, który spełni oczekiwania. A na proste pytanie jakie są wasze oczekiwania pada odpowiedź) a co nie wiecie? Model tworzy więc warunki do realnego zaangażowania pracodawców w kształtowanie oferty edukacyjnej. myśmy się mijali...oczekiwania pracodawców skupiają się tak naprawdę na bardzo wąskim zakresie Model tworzy też szanse rozszerzenia dotychczasowej współpracy o aspekty do tej pory ignorowane, takie np. jak współpraca w rozwoju kadr szkoły. Podsumowując ocenę rzetelności 3 narzędzi wchodzących w skład IP3 należy stwierdzić, iż zgodnie z opiniami osób badanych przedstawiciele instytucji rynku pracy lub pracodawcy mieli wpływ na wypracowane modele MOE z DSK na poziomie OTOCZENIA szkoły. Strona 67

69 Rzetelność modelu MOE z DSK w opinii potencjalnych użytkowników Oceny rzetelności modelu i związanych z nim narzędzi modernizacyjnych dokonano na podstawie rozmowy ewaluacyjnej w ramach FGI dla otoczenia testu UŻYTKOWNIKÓW produktów finalnych z udziałem 6 osób reprezentujących organizację pracodawców, pracodawców oraz instytucje rynku pracy, w szczególności z udziałem 2 osób z Izby Rzemieślniczej i Przedsiębiorczości w Białymstoku, 3 rzemieślników i 1 osoby z ramienia instytucji szkoleniowej wspierającej szkoły zawodowe. Zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK tworzą warunki do wpływu wszystkich interesariuszy modelu na modernizację szkoły? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania ewaluacyjnego analizowano zagadnienia szczegółowe po 1 dla każdego poziomu interwencji: dla MOE z DSK na poziomie UCZNIA: Oceniając trafność modelu IP1 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK tworzą warunki do wpływu UCZNIÓW I KDA na modernizację szkoły na poziomie UCZNIA? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy w przedstawionym modelu OTOCZENIE, pracodawcy mają wpływ na modernizację szkoły (poprzez skierowanie do otoczenia Testu Luk Kompetencyjnych? Uczestnicy FGI nie biorący udziału w teście ocenili pozytywnie model pod kątem tworzenia warunków do współpracy pracodawców ze szkołą w zakresie diagnozy i niwelowania luk kompetencyjnych: jeżeli dajemy pracodawcom (test luk) to możemy skonfrontować dwie strony. To narzędzie gwarantuje udział pracodawców Podsumowując ocenę rzetelności modelu IP1 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK tworzą warunki do wpływu UCZNIÓW I KDA na modernizację szkoły na poziomie UCZNIA. Strona 68

70 dla MOE z DSK na poziomie SZKOŁA: Oceniając rzetelność modelu IP2 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK tworzą warunki do wpływu KDA na modernizację szkoły na poziomie SZKOŁY? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy w przedstawionym modelu OTOCZENIE, pracodawcy mają wpływ na niwelowanie luk kompetencyjnych w szkole oraz wsparcie szkolenia kadr w tym zakresie poprzez uwzględnienie kompetencji otoczenia w Programie szkoleń DSK? W opinii uczestników badania pracodawcy powinni być partnerami w kształtowaniu kompetencji kadr dydaktycznych w szkole, szczególnie w zawodach ginących, mało popularnych, w których szkoła nie kształci. Zdaję sobie sprawę, że szkoła nie otworzy kierunku zdun, gdyż nigdy nie będzie tak dużego zainteresowania tym zawodem by tworzyć nowy kierunek kształcenia, tworzyć kadry pod tym kątem. Jest to zawód niszowy więc nie pasujący do systemu oświaty. W zawodach budowlanych można uwzględnić taką specjalizację a moje doświadczenie i wiedza mogłaby być wykorzystana w szkole Rzemieślnicy biorący udział w badaniu wyrażali zainteresowanie we współpracy z KDA w kształceniu w zawodach nietypowych, poprzez uzupełnienie zasobów kadrowych szkoły w pewnych specjalizacjach, jednak pojawiają się tu ograniczenia formalno-prawne. Fachowiec w zawodzie, jeżeli nie ma uprawnień pedagogicznych nie może włączyć się w edukację a szkoda. Mali pracodawcy nie mają czasu na te uprawnienia Pewnym rozwiązaniem jest tu angażowanie tych rzemieślników w opracowanie materiałów dydaktycznych dla KDA. Podsumowując ocenę rzetelności 3 narzędzi wchodzących w skład IP2 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK tworzą warunki do wpływu KDA na modernizację szkoły na poziomie SZKOŁY. Strona 69

71 dla MOE z DSK na poziomie OTOCZENIE: Oceniając rzetelność modelu IP3 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy wypracowane modele MOE z DSK tworzą warunki do wpływu instytucji współpracujących ze szkołą na modernizację szkoły na poziomie OTOCZENIA? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy w przedstawionym modelu OTOCZENIE, pracodawcy mają wpływ na opracowanie strategii poprzez możliwość wskazania swoich potrzeb i potencjałów w Karcie Potrzeb Koalicji DSK? W ocenie uczestników badania model tworzy warunki do współpracy szkoły z otoczeniem: Program lokalnej koalicji to takie rozwiązanie jakby systemowe, w którym nie da się pracować bez udziału lokalnych pracodawców z otoczenia szkoły. To rozwiązanie wymusza tą współpracę Jak już wspomniano wcześniej Karta potrzeb lokalnej koalicji nie tylko organizuje współpracę z otoczeniem (systematyczne spotkania, poszerzenie zakresu współpracy) ale co najważniejsze wymusza angażowanie szerszej grupy instytucji współpracującej ze szkoła. Część diagnostyczna karty potrzeb umożliwia bowiem dostrzeżenie w otoczeniu szkoły innych instytucji, nietypowych i ignorowanych do tej pory pracodawców, którzy zdaniem uczestników FGI mają szansę przedstawić swój potencjał edukacyjny, merytoryczny w zawodach, w których szkoła nie ma odpowiednich zasobów kadrowych. Szkoła powinna w dzisiejszych czasach, gdy szuka oszczędności poszukiwać zasobów w otoczeniu ale musi być bardziej otwarta i elastyczna, nie zasłaniać się przepisami W opinii uczestników wypracowane narzędzia współpracy lokalnej powalają szkole się otworzyć na nową współpracę. Podsumowując ocenę rzetelności 3 narzędzi wchodzących w skład IP3 należy stwierdzić, iż zgodnie z opiniami osób badanych wypracowane modele MOE z DSK tworzą warunki do wpływu instytucji współpracujących ze szkołą na modernizację szkoły na poziomie OTOCZENIA. Strona 70

72 Rzetelność Modelu MOE z DSK - Wnioski Podsumowując ocenę RZETELNOŚCI narzędzi związanych z IP1, IP2 i IP3 należy stwierdzić, iż zarówno uczestnicy testu ODBIORCY wypracowanych produktów finalnych jak i otoczenie testu potencjalni UŻYTKOWNICY modeli oceniają, iż narzędzia te uwzględniają wpływ UCZNIA, SZKOŁY I OTOCZENIA na proces ich tworzenia i wdrażania. Pracownicy szkoły biorący udział w pracach Laboratorium DSK stwierdzili przy swojej znajomości samego przebiegu testowania, iż wszyscy interesariusze mieli wpływ na rezultat tego testowania, mogąc wnosić uwagi do narzędzi na etapie ich tworzenia jak też w ramach ich użycia. Podkreślono, iż same powiązania funkcjonalne tych narzędzi gwarantują wpływ interesariuszy na ostateczny rezultat, efekt modernizacji, gdyż narzędzia o charakterze strategicznym bazują na efektach diagnozy, w której uczestniczą poszczególne grupy odbiorców (uczeń i pracodawcy wypełniający test luk kompetencyjnych, kadra dydaktyczno-administracyjna i pracodawcy uczestniczący a audycie szkoły czy wreszcie pracownicy szkoły i przedstawiciele instytucji otoczenia tworzący Kartę potrzeb lokalnej koalicji). Osobny wyzwaniem jest zaangażowanie uczniów (a także pracodawców) w proces tworzenia narzędzi diagnostycznych w ramach specjalnych zespołów roboczych, które mogłyby powstawać na etapie dostosowania produktów finalnych do specyficznych potrzeb danej szkoły. Uczestnicy FGI nie biorący udziału w testowaniu produktów orientowali się w swoich ocenach głównie na rzetelności modernizacji oferty edukacyjnej w zakresie angażowania w proces modernizacyjny szerszego grona pracodawców z otoczenia szkoły. Tu podkreślono potencjał edukacyjny Izby Rzemieślniczej czy samych rzemieślników, którzy są pomijani w tradycyjnych działaniach DSK a którzy posiadają najbardziej aktualną wiedzę o zawodzie będąc bardziej otwartym i elastycznym w kontekście wyzwań rynkowych, niż duże przedsiębiorstwa bazujące na kosztownej a co za tym idzie bardziej stabilnej (zamkniętej na potrzeby rynku) technologii. Wyzwaniem w tym przypadku jest przygotowanie rzemiosła do ról edukacyjnych w sytuacji braku w obszarze przygotowania pedagogicznego, a model umożliwia taką współpracę. Mając na uwadze wyrażone oceny i opinie na podstawie badań jakościowych modele MOE z DSK można stwierdzić, iż: Interesariusze modelu mieli wpływ na tworzenie modeli Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) a wypracowane modele MOE z DSK tworzą warunki do wpływu wszystkich interesariuszy modelu na modernizację szkoły. Strona 71

73 Ocena UŻYTECZNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach jakościowego badania zastosowano kryterium UŻYTECZNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 9 pytań w scenariuszu dla uczestników testu ODBIORCÓW produktów finalnych, z podziałem na poziomy interwencji : 3 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP1 w zakresie modernizacji metod pracy na poziomie UCZEŃ - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 3 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP2 w zakresie modernizacji metod zarządzania kompetencjami w placówce edukacyjnej na poziomie SZKOŁA - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 3 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP3 w zakresie modernizacji metod współpracy lokalnej szkoły na poziomie OTOCZENIE - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu Analogicznie, zgodnie z założeniami metodologicznymi ewaluacji w ramach badania jakościowego zastosowano odmienne scenariusze dla przedstawicieli instytucji nie biorących udziału w teście w tym przypadku także zastosowano kryterium UŻYTECZNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadały 9 pytań w scenariuszu dla otoczenia testu - UŻYTOWNIKÓW produktów finalnych, z podziałem na poziomy interwencji : 3 pytania w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP1 w zakresie modernizacji metod pracy na poziomie UCZEŃ - Załącznik 5. Scenariusz FGI ocena i opnie otoczenia UŻYTKOWNIKÓW modelu 3 pytania w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP2 w zakresie modernizacji metod zarządzania kompetencjami w placówce edukacyjnej na poziomie SZKOŁA - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNIKÓW modelu 3 pytania w SCENARIUSZU FGI dla UŻYTKOWNIKÓW narzędzi związanych z IP3 w zakresie modernizacji metod współpracy lokalnej szkoły na poziomie OTOCZENIE - Załącznik 5. Scenariusz FGI ocena i opinie otoczenia UŻYTKOWNIKÓW modelu Strona 72

74 Użyteczność modelu MOE z DSK w opinii uczestników testu Oceny użyteczności modelu i związanych z nim narzędzi modernizacyjnych dokonano na podstawie rozmowy ewaluacyjnej w ramach FGI dla uczestników testu ODBIORCÓW produktów finalnych z udziałem 5 osób reprezentujących kadry dydaktyczno-administracyjne szkoły (Zespołu Szkół Budowlanych w Bielsku Podlaskim) oraz 2 osób reprezentujących instytucje szkoleniowe oraz rynku pracy wspierające szkolnictwo zawodowe. Zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania ewaluacyjnego analizowano zagadnienia szczegółowe po 3 dla każdego poziomu interwencji: dla MOE z DSK na poziomie UCZNIA: Oceniając użyteczność 3 narzędzi wchodzących w skład IP1 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie UCZNIA jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Na schemacie powiązań narzędzi modernizujących programy nauczania wskazano ich komplementarność z innymi poziomami modernizacji. Proszę wskazać, które powiązania Państwa zdaniem są kluczowe dla ucznia? Pytanie 2. Które narzędzie Państwa zdaniem jest kluczowe (najbardziej wartościowe) i czy można go użyć osobno, poza modelem wsparcia? Pytanie 3. Czy narzędzia pozwalają stworzyć lub rozwijać Dualny System Kształcenia w szkole zawodowej? W opinii uczestników badania kluczowymi powiązaniami są powiązania pomiędzy poziomem ucznia a pracodawcami. Strona 73

75 bezwzględnie relacje z pracodawcami są najważniejsze, udział pracodawców jest wymagany w procesie dydaktycznym i nie wyobrażamy sobie, żeby mogło być inaczej.. Jednak w opinii uczestników procesu testowania nie można zredukować modelu modernizacji na poziomie UCZNIA do jednego czy dwóch narzędzi: żeby było szkolenie musi być test luk kompetencyjnych trzy narzędzia tworzą całość. Ocena luki jest niezbędna do zmian w programie nauczania a do tych zmian kadrę trzeba przygotować W opinii uczestników badania, wszystkie narzędzia powinny być wdrażane w innych szkołach a główną podpowiedzią jest konieczność zaangażowania w dostosowanie tych narzędzi całej kadry szkoły, uczniów i pracodawców. Narzędzia których używaliśmy w eksperymencie nie tylko pozwalają, lecz gwarantują zmianę Przedstawiciele szkoły zwrócili także uwagę na promocyjny (marketingowy) charakter modelu, zwiększający atrakcyjność edukacji zawodowej w oczach uczniów i pracodawców zaangażowanych w model. Dwustronny charakter diagnozy luk kompetencyjnych powoduje, iż modernizacją zainteresowany jest zarówno uczeń jak i pracodawca oceniający lukę kompetencyjną. To tworzy dobry wizerunek szkoły w oczach uczniów, co może wpływać na przełamanie stereotypu o szkole zawodowej, która jest zacofana edukacyjnie Podsumowując ocenę użyteczności 3 narzędzi wchodzących w skład IP1 należy stwierdzić, iż zgodnie z opiniami osób badanych, że model MOE z DSK na poziomie UCZNIA jest uniwersalny i można go szerzej zastosować w innych szkołach. dla MOE z DSK na poziomie SZKOŁA: Oceniając użyteczność 3 narzędzi wchodzących w skład IP2 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie SZKOŁY jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Strona 74

76 Pytanie 1. Na schemacie powiązań narzędzi modernizujących zarządzanie szkołą wskazano ich komplementarność z innymi poziomami modernizacji. Proszę wskazać, które powiązania Państwa zdaniem są kluczowe dla KDA? Pytanie 2. Które narzędzie Państwa zdaniem jest kluczowe (najbardziej wartościowe) i czy można go użyć osobno, poza modelem wsparcia? Pytanie 3. Czy narzędzia pozwalają stworzyć lub rozwijać Dualny System Kształcenia w szkole zawodowej? Zdaniem uczestników badania przygotowane na poziomie szkoły i ucznia narzędzia są uniwersalne do zastosowania w innych placówkach. Oczywiście test luk kompetencyjnych stworzony w obecnej formie jest przystosowany do zawodu technik budownictwa, jednakże może stanowić wzór jest możliwe na jego podstawie przygotowanie testu dla innych zawodów. Wymaga to jednak podsiadania wiedzy specjalistycznej z konkretnej dziedziny. Program szkolenia KDA jest także uniwersalny. Forma warsztatowa będzie gwarantowała spełnienie oczekiwań pracodawców umożliwia to wkomponowanie ról Uczestnicy testu zwracali uwagę wartości dodane samego eksperymentu, w zakresie współpracy kadr wewnątrz szkoły, co jest ich zdaniem poważnym argumentem za propagowaniem tej metody modernizacji w innych szkołach. wytwarzają się więzi interpersonalne, nie ma czegoś takiego jak spychologia, urealnienie wiedzy na temat rzeczywistego stanu Poszukując podpowiedzi dla innych szkół na temat tego, co można by poprawić w wypracowanym rozwiązaniu przedstawiciele kadry szkoły orientowali się na kwestii budowania warunków do współpracy w ramach szkoły w zakresie DSK a co za tym idzie takiej organizacji zajęć, szkoleń, która integrowała by kadry dydaktyczne zawodowe i przedmiotowe w administracją szkoły: tego typu szkolenia powinny być szkoleniami wyjazdowymi, kilkudniowymi Uczestnicy badania, mając doświadczenie w opracowaniu kolejnych narzędzi modelu na podstawie wyników zastosowania wcześniejszych narzędzie stwierdzili, iż model kompleksowy, ze wszystkimi narzędziami jest optymalnym sposobem wprowadzenia innowacji w szkole. Strona 75

77 wydaje się, iż najważniejszym narzędziem na tym poziomie jest Ankieta audytu szkoły, gdyż pozwala określić potrzeby edukacyjne kadr. Jednak wykonanie samego audytu bez opracowania programu szkolenia kadr, nie miałoby większego sensu Według opinii uczestników badania audytowanie szkoły jest kluczowym momentem modernizacji oferty edukacyjnej na poziomie szkoły. Lecz zgodnie z powiązaniami funkcjonalnymi wskazanymi na ocenianym schemacie wartość tego narzędzia ukazuje się dopiero wtedy, gdy szkoła zaczyna poszukiwać brakujących kadr, zasobów i kompetencji w otoczeniu szkoły, zwracając się do pracodawców. W ten sposób modernizowanie zasobów szkoły staje się okazją czy argumentem do rozpoczęcia lub zacieśnienia współpracy z lokalnymi pracodawcami a co za tym idzie budowania systemu DSK. Patrząc w ten sposób na narzędzia modernizacyjne w modelu IP2, należy twierdzić, iż pozwalają one modernizować szkołę oraz tworzą zachęty do zastosowania DSK na szerszą skalę, jako elementu merytorycznego wsparcia kadr szkoły. Podsumowując ocenę użyteczności 3 narzędzi wchodzących w skład IP2 należy stwierdzić, iż zgodnie z opiniami osób badanych, iż model MOE z DSK na poziomie SZKOŁY jest uniwersalny czy można go szerzej zastosować w innych szkołach. dla MOE z DSK na poziomie OTOCZENIE: Oceniając użyteczność 3 narzędzi wchodzących w skład IP3 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie OTOCZENIA jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Na schemacie powiązań narzędzi modernizujących współpracę lokalną wskazano ich komplementarność z innymi poziomami modernizacji. Proszę wskazać, które powiązania Państwa zdaniem są kluczowe dla OTOCZENIA? Pytanie 2. Które narzędzie Państwa zdaniem jest kluczowe (najbardziej wartościowe) i czy można go użyć osobno, poza modelem wsparcia? Strona 76

78 Pytanie 3. Czy narzędzia pozwalają stworzyć lub rozwijać Dualny System Kształcenia w szkole zawodowej? W opinii uczestników badań fokusowych z obszaru DSK wszystkie narzędzia są niezmiernie ważne i powinno się je stosować razem w odpowiedniej logicznej kolejności, jednak wskazują na możliwość użycia narzędzi osobno, w zależności od specyficznych potrzeb danej szkoły, poziomu jej współpracy z otoczeniem. wszystkie te trzy muszą występować, należy natomiast wypracować indywidualnie ile i jak użyć narzędzi w zależności od potrzeb W przypadku szkół słabo współpracujących konieczne jest użycie kompleksowego modelu, szczególnie badającego potrzeby i potencjału współpracy szerszej puli instytucji, do tej pory nie zauważanych przez szkołę. opinii uczestników badań fokusowych z obszaru DSK wszystkie narzędzia są niezmiernie ważne i powinno się je stosować razem w odpowiedniej logicznej kolejności. Przy czym optymalne jest rozwiązanie kompleksowe: niezależnie od typu szkoły i zakładu pracy wszystkie te trzy narzędzia muszą się znaleźć W opinii badanych wypracowane narzędzia na poziomie otoczenia dały możliwość wymiany doświadczeń między samymi pracodawcami. podczas tych spotkań lokalnych koalicji ważna była wymiana doświadczeń między pracodawcami w wyniku tej współpracy to pracodawcy szerzej patrzą na ten problem Według uczestników badania ewaluacyjnego wypracowane narzędzia zmieniają szkołę, która potrzebuję tej zmiany. w przypadku naszej szkoły mamy dobrą współpracę z pracodawcami, jednak dzięki tym spotkaniom pracodawcy zrozumieli swoją rolę w edukacji Jednak za każdym razem uporządkowanie i usystematyzowanie współpracy lokalnej podnosi jakość tej współpracy, co ostatecznie przekłada się na jakość edukacji i jej lepsze dostosowanie do potrzeb lokalnego rynku pracy. W opinii badanych kluczowym narzędziem na poziomie otoczenia jest Program 5 spotkań lokalnej kolacji, gdyż ułatwia i organizuje współprace Strona 77

79 lokalną oraz umożliwia wszystkich instytucjom otoczenia zaprezentowanie swoich celów i potrzeb. Formalizowanie tej współpracy czy planowanie działań strategicznych powinno wynikać z potrzeb wszystkich uczestników, zatem można sobie wyobrazić, iż w jakiejś szkole współpraca ta nie będzie formalizowana. Uczestnicy byli jednak przekonani, iż formalizowanie i planowanie współpracy może przełożyć się na bardziej konkretne działania: dzięki współpracy przygotujemy wspólny projekt EFS Podsumowując ocenę użyteczności 3 narzędzi wchodzących w skład IP3 należy stwierdzić, iż zgodnie z opiniami osób badanych, iż model MOE z DSK na poziomie OTOCZENIA jest uniwersalny i można go szerzej zastosować w innych szkołach. Strona 78

80 Użyteczność modelu MOE z DSK w opinii potencjalnych użytkowników Oceny użyteczności modelu i związanych z nim narzędzi modernizacyjnych dokonano na podstawie rozmowy ewaluacyjnej w ramach FGI dla otoczenia testu UŻYTKOWNIKÓW produktów finalnych z udziałem 6 osób reprezentujących organizację pracodawców, pracodawców oraz instytucje rynku pracy, w szczególności z udziałem 2 osób z Izby Rzemieślniczej i Przedsiębiorczości w Białymstoku, 3 rzemieślników i 1 osoby z ramienia instytucji szkoleniowej wspierającej szkoły zawodowe. Zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania ewaluacyjnego analizowano zagadnienia szczegółowe po 3 dla każdego poziomu interwencji: dla MOE z DSK na poziomie UCZNIA: Oceniając użyteczność modelu IP1 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie UCZNIA jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy zaprezentowany model powinien być upowszechniany w innych szkołach, miastach, powiatach? Pytanie 2. Jak oceniacie Państwo możliwość zastosowania przedstawionego modelu w innym mieście lub powiecie? Pytanie 3. Które narzędzie, etap modelu, jest Państwa zdaniem kluczowe (najbardziej wartościowe) i czy można go użyć osobno, poza modelem wsparcia? Czy przedstawiony model można uprościć, czy też powinien być rekomendowany kompleksowo? Strona 79

81 W opinii uczestników FGI, którzy nie brali udziału w pracach testujących najważniejszym narzędziem modelu jest Test luk kompetencyjnych, pod warunkiem, iż będzie on stosowany z udziałem pracodawców: Ten test wypełniony przez pracodawców to punkt wyjścia całej modernizacji Uczestnicy badania uznali, że z punktu widzenia pracodawców i rzemiosła z otoczenia szkoły kluczowe jest diagnozowanie luki kompetencyjnej a następnie angażowanie otoczenia w niwelowanie tej luki. Jesteśmy w stanie uczyć tego co w zawodach najważniejsze od strony klienta i pracodawcy, mamy realny a nie teoretyczny kontakt z zawodem. Rozumiemy naszych klientów w książkach i podręcznikach nic o tym nie ma W opinii uczestników FGI, model składający się z narzędzi edukacyjnych i programowych (strategicznych) jest w stanie trwale modernizować szkołę wprowadza zmianę na stałe. Podsumowując ocenę użyteczności modelu IP1 należy stwierdzić, iż zgodnie z opiniami osób badanych, iż model MOE z DSK na poziomie UCZNIA jest uniwersalny i czy można go szerzej zastosować w innych szkołach. dla MOE z DSK na poziomie SZKOŁA: Oceniając użyteczność modelu IP2 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie SZKOŁY jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy zaprezentowany model powinien być upowszechniany w innych szkołach, miastach, powiatach? Pytanie 2. Jak oceniacie Państwo możliwość zastosowania przedstawionego modelu w innym mieście lub powiecie? Pytanie 3. Które narzędzie, etap modelu, jest Państwa zdaniem kluczowe (najbardziej wartościowe) i czy można go użyć osobno, poza modelem Strona 80

82 wsparcia? Czy przedstawiony model można uprościć, czy też powinien być rekomendowany kompleksowo? Uczestnicy badania uznali, że wypracowany model należy wdrażać w innych szkołach, szczególnie w tych niewielkich, współpracujących z rzemiosłem. Ten model to przepis jak podnosić kwalifikacje kadr szkoły z udziałem kadr z otoczenia szkoły Z punktu widzenia pracodawców i rzemiosła z otoczenia szkoły kluczowe są szkolenia dla KDA. To narzędzie jest kluczowe w modelu, gdyż angażuje do szkoleń specjalistów z rynku. Dzięki temu narzędziu szkoła otwiera się na otoczenie, dlatego w schemacie powiązań najważniejsze są relacje narzędzi z drugiego poziomu modernizacyjnego (szkoła) z narzędziami z trzeciego poziomu modernizacyjnego (otoczenie). Ważne jest poszukiwanie wiedzy w otoczeniu szkoły gdyż szkoła, przy oszczędnościach w edukacji, przy niewielkim zainteresowaniu młodzieży edukacją zawodową, nigdy nie będzie na tyle bogata, by tworzyć kadry szkolne. Szkoła powinna czerpać i korzystać z wiedzy otoczenia, ta wiedza jest tańsza niż nauczyciele na etatach Uczestnicy badania FGI uznali, iż narzędzia modernizowania szkoły na poziomie szkoły powinny być upowszechniane w innych szkołach, Kluczowe w tym przypadku jest dobre przygotowanie szkoły do wdrożenia modelu. Pomocne w tym przypadku mogą być instytucje szkoleniowe tworzące i realizujące plan szkoleniowy dla kadr w ramach projektów EFS na przykład w priorytecie IX PO KL, gdzie przewidziano szkolenia dla kadr szkolnych. Innym rozwiązaniem jest przygotowanie programów rozwojowych szkoły w ramach 9.2. PO KL, gdzie przewiduje się szkolenia dla kadry szkoły oraz współpracę w tym zakresie z otoczeniem szkoły. Projekt taki mógłby finansować pracę rzemieślników jako trenerów, instruktorów, doradców w procesie doskonalenia programów nauczania w szkole lub uczestniczących w szkoleniach dla kadry szkoły. kurs pedagogiczny jest za drogi dla rzemieślnika Można by w ramach takiego projektu podnosić kwalifikacje pedagogiczne rzemieślników, którzy potem współpracowali by ze szkoła. Podsumowując ocenę użyteczności modelu IP2 należy stwierdzić, iż zgodnie z opiniami osób badanych, iż model MOE z DSK na poziomie SZKOŁY jest uniwersalny i czy można go szerzej zastosować w innych szkołach. Strona 81

83 dla MOE z DSK na poziomie OTOCZENIE: Oceniając użyteczność modelu IP3 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie OTOCZENIA jest uniwersalny i czy można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 1. Czy zaprezentowany model powinien być upowszechniany w innych szkołach, miastach, powiatach? Pytanie 2. Jak oceniacie Państwo możliwość zastosowania przedstawionego modelu w innym mieście lub powiecie? Pytanie 3. Które narzędzie, etap modelu, jest Państwa zdaniem kluczowe (najbardziej wartościowe) i czy można go użyć osobno, poza modelem wsparcia? Czy przedstawiony model można uprościć, czy też powinien być rekomendowany kompleksowo? W opinii uczestników FGI narzędzia trzeciego poziomu modernizacji są najważniejsze, co potwierdza fakt, iż wszystkie poziomy modernizacji łączą się funkcjonalnie z otoczeniem na przedstawionych schematach wdrożeniowych. wszystko co robi szkoła w tym modelu robi z udziałem otoczenia i to jest siłą tego rozwiązania niezależnie czy zmieniamy coś na poziomie ucznia czy szkoły, zawsze jest tu otoczenie Uczestnicy FGI stwierdzili, iż optymalne jest kompleksowe użycie narzędzi i takie rozwiązanie należy wdrażać w innych szkołach. rozwiązanie takie (angażowanie pracodawców w modernizację szkoły) powinno być zastosowane w każdej szkole Kluczowym narzędziem na poziomie otoczenia zdaniem uczestników badania była karta potrzeb lokalnej koalicji umożliwiająca mniejszym pracodawców ukazanie swoich walorów i potrzeb we współpracy. Podsumowując ocenę użyteczności modelu IP3 należy stwierdzić, iż zgodnie z opiniami osób badanych, iż model MOE z DSK na poziomie OTOCZENIA jest uniwersalny i czy można go szerzej zastosować w innych szkołach. Strona 82

84 Użyteczność Modelu MOE z DSK - Wnioski Podsumowując ocenę UŻYTECZNOŚCI narzędzi związanych z IP1, IP2 i IP3 należy stwierdzić, iż zarówno uczestnicy testu ODBIORCY wypracowanych produktów finalnych jak i otoczenie testu potencjalni UŻYTKOWNICY modeli uznali, iż narzędzia te są uniwersalne i gotowe do zastosowania w innych szkołach i powiatach. Pracownicy szkoły biorący udział w pracach Laboratorium DSK uznali, iż poszczególne narzędzia są ze sobą ściśle powiązane i ich kompleksowe użycie zwiększa efektywność całego modelu każde kolejne narzędzie jest konsekwencją poprzedniego i korzysta z jego wyników. Nauczyciele biorący udział w eksperymencie wskazali na wartości dodane wynikające z zastosowania narzędzi, szczególnie w zakresie promocji szkoły jako placówki nowoczesnej, otwartej na rynek pracy i potrzeby młodzieży oraz kształcącej na wysokim poziomie także w zakresie przedmiotów ogólnych. Z drugiej strony angażowanie KDA w proces modernizacji podwyższa jakość relacji wewnątrz szkoły, tworząc wewnątrzszkolny system rozwoju szkoły. Dlatego też należy szczególną uwagę zwrócić na motywowanie całej kadry szkoły, w tym administracyjnej do zastosowania modelu oraz tworzyć atrakcyjne warunki tego udziału (szkolenia wyjazdowe o charakterze integracyjnym, powiązanie nowego modelu promocji szkoły z wynikami rekrutacji i finansowaniem pracy KDA). Obszary te są szczególnie istotne dla szkół, które w miarę dobrze rozwinęły już współprace z pracodawcami. Uczestnicy FGI nie biorący udziału w testowaniu produktów orientowali się w swoich ocenach głównie na współpracy szkoły z otoczeniem, a w szczególności angażowaniu merytorycznym otoczenia w rozwój i modernizację szkoły. Przedstawiciel pracodawców i rzemiosła uznali, iż wypracowane rozwiązania powinny być wdrażane w innych szkołach, szczególnie w szkołach małych z obszarów wiejskich, które nie mają w otoczeniu dużych pracodawców i które powinny bazować na współpracy z MSP i rzemieślnikami. Przedstawiciele organizacji pracodawców i instytucji szkoleniowych doświadczone w realizacji projektów EFS wskazali na możliwości finansowania tych modeli z programów unijnych w tym priorytetu IX PO KL, co zwiększa ich użyteczność. Mając na uwadze wyrażone oceny i opinie na podstawie badań jakościowych modele MOE z DSK można stwierdzić, iż: Model Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) jest uniwersalny i można go szerzej zastosować w innych szkołach. Strona 83

85 Ocena EFEKTYWNOŚCI wypracowanego modelu Zgodnie z założeniami metodologicznymi ewaluacji w ramach jakościowego badania zastosowano kryterium EFEKTYWNOŚCI wypracowanych produktów finalnym. Kryterium temu odpowiadało 9 pytań w scenariuszu dla uczestników testu ODBIORCÓW produktów finalnych, z podziałem na poziomy interwencji : 3 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP1 w zakresie modernizacji metod pracy na poziomie UCZEŃ - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 3 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP2 w zakresie modernizacji metod zarządzania kompetencjami w placówce edukacyjnej na poziomie SZKOŁA - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu 3 pytania w SCENARIUSZU FGI dla ODBIORCÓW narzędzi związanych z IP3 w zakresie modernizacji metod współpracy lokalnej szkoły na poziomie OTOCZENIE - Załącznik 4. Scenariusz FGI ocena testu przez uczestników ODBIORCY modelu Efektywność modelu MOE z DSK w opinii uczestników testu Oceny efektywności modelu i związanych z nim narzędzi modernizacyjnych dokonano na podstawie rozmowy ewaluacyjnej w ramach FGI dla uczestników testu ODBIORCÓW produktów finalnych z udziałem 5 osób reprezentujących kadry dydaktyczno-administracyjne szkoły (Zespołu Szkół Budowlanych w Bielsku Podlaskim) oraz 2 osób reprezentujących instytucje szkoleniowe oraz rynku pracy wspierające szkolnictwo zawodowe. Zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) jest efektywny w kontekście nakładu kosztów do efektów modernizacji? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania ewaluacyjnego analizowano zagadnienia szczegółowe po 3 dla każdego poziomu interwencji: dla MOE z DSK na poziomie UCZNIA: Strona 84

86 Oceniając efektywność 3 narzędzi wchodzących w skład IP1 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie UCZNIA jest efektywny w relacji nakładów kosztów do uzyskanego efektu modernizacji i można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 4. Jak oceniacie Państwo możliwość zastosowania Testu Luk Kompetencyjnych w innych szkołach w relacji nakładów kosztów do uzyskanego efektu modernizacji? Pytanie 5. Jak oceniacie Państwo możliwość zastosowania Programu szkolenia nauczycieli z DSK w innych szkołach w relacji nakładów kosztów do uzyskanego efektu modernizacji? Pytanie 6. Jak oceniacie Państwo możliwość zastosowania Rekomendacji programowych DSK w innych szkołach w relacji nakładów kosztów do uzyskanego efektu modernizacji? W opinii uczestników badania zastosowanie narzędzi związanych z pierwszym poziomem modernizacji nie generuje wysokich kosztów. test luk kompetencyjny dla innej szkoły nie wymaga ponoszenia większych kosztów, mamy już gotowe narzędzie Możliwość zastosowania programu szkolenia kadr też jest wysoka w relacji nakładu kosztów do efektu szkoleń: Program szkolenia dostosowuje szklenie do konkretnych potrzeb, przez co takie szkolenie jest tańsze, można je realizować w ramach Rady pedagogicznej zapraszając specjalistów z innych szkół Podobnie zastosowanie wzoru rekomendacji programowych nie generuje dodatkowych kosztów dla szkoły. Mamy gotowy przepis, jak sformułować takie rekomendacje a jedynym kosztem tak jak w przypadku innych zajęć jest czas pracy, można tego oczekiwać w ramach pensum.. Podsumowując ocenę efektywności 3 narzędzi wchodzących w skład IP1 należy stwierdzić, iż zgodnie z opiniami osób badanych, że model MOE z DSK Strona 85

87 na poziomie UCZNIA jest efektywny w relacji nakładów kosztów do uzyskanego efektu modernizacji i można go szerzej zastosować w innych szkołach. dla MOE z DSK na poziomie SZKOŁA: Oceniając efektywność 3 narzędzi wchodzących w skład IP2 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie SZKOŁY jest efektywny w relacji nakładów kosztów do uzyskanego efektu modernizacji i można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 4. Jak oceniacie Państwo możliwość zastosowania Ankiety Audytu DSK w innych szkołach w relacji nakładów kosztów do uzyskanego efektu modernizacji? Pytanie 5. Jak oceniacie Państwo możliwość zastosowania Karty Potrzeb Szkoleniowych DSK w innych szkołach w relacji nakładów kosztów do uzyskanego efektu modernizacji? Pytanie 6. Jak oceniacie Państwo możliwość zastosowania Programu Szkolenia KDA z DSK w innych szkołach w relacji nakładów kosztów do uzyskanego efektu modernizacji? Zdaniem uczestników badania Ankieta Audytu DSK nie jest narzędziem kosztownym w zastosowaniu a przynosi wymierne efekty i korzyści dla całego procesu modernizacyjnego. Audytowanie szkoły pod kątem posiadanych zasobów dla DSK jest niezbędne, wymaga dobrej organizacji w związku z dystrybucją i opracowaniem ankiet, ale można to zrobić w ramach kadr szkoły Uczestnicy FGI zwrócili uwagę, iż koszty zastosowania Karty potrzeb szkoleniowych DSK są minimalne a przynoszą wyraźne efekty w zakresie obniżenia szkoleń dla KDA, poprzez dostosowanie szkoleń do ich potrzeb. zastosowanie tej kary nic nie kosztuje a przynosi potem duże oszczędności czasu i pieniędzy w szkoleniach Strona 86

88 Nawiązując do rekomendacji dotyczącej formy realizacji szkoleń dla KDA: tego typu szkolenia powinny być szkoleniami wyjazdowymi, kilkudniowymi Należy zwrócić uwagę na wyższe koszty takiej formy, które są jednak rekompensowane efektami i wartościami dodanymi takiego szkolenia, gdzie integrowanie KJDA na rzecz DSK, uznano za bardzo ważne. takie szkolenia można zrobić w ramach programu rozwojowego finansowanego z EFS albo przy okazji jakiegoś wyjazdu szkolnego Według opinii uczestników badania jedynym wysokim kosztem w ramach IP2 są szkolenia, jednak zastosowanie wypracowanego narzędzia, zaoferowane w ramach modelu, jakim jest wzór programu szkolenia KDA z DSK nie kosztuje nic, jeżeli ograniczymy jego zastosowanie do opracowani programu szkoleń KDA realizowanego wieloletnie z różnych środków własnych szkoły lub zewnętrznych. Podsumowując ocenę efektywności 3 narzędzi wchodzących w skład IP2 należy stwierdzić, iż zgodnie z opiniami osób badanych, iż model MOE z DSK na poziomie SZKOŁY jest efektywny w relacji nakładów kosztów do uzyskanego efektu modernizacji i można go szerzej zastosować w innych szkołach. dla MOE z DSK na poziomie OTOCZENIE: Oceniając efektywność 3 narzędzi wchodzących w skład IP3 zadane pytania w trakcie spotkania miały odpowiedzieć na następujące pytanie ewaluacyjne: Czy model MOE z DSK na poziomie OTOCZENIA efektywny w relacji nakładów kosztów do uzyskanego efektu modernizacji i można go szerzej zastosować w innych szkołach? Celem odpowiedzi na to pytanie ewaluacyjne w trakcie spotkania analizowano zagadnienia szczegółowe: Pytanie 4. Jak oceniacie Państwo możliwość zastosowania Programu 5 spotkań Lokalnej Kolacji DSK w innych szkołach lub powiatach w relacji nakładów kosztów do uzyskanego efektu modernizacji? Strona 87

89 Pytanie 5. Jak oceniacie Państwo możliwość zastosowania Karty potrzeb koalicji DSK w innych szkołach lub powiatach w relacji nakładów kosztów do uzyskanego efektu modernizacji? Pytanie 6. Jak oceniacie Państwo możliwość zastosowania Strategii współpracy na rzecz DSK w innych szkołach lub powiatach w relacji nakładów kosztów do uzyskanego efektu modernizacji? W opinii uczestników badań fokusowych z obszaru DSK wszystkie 3 narzędzia wypracowane w ramach IP3 są narzędziami w zasadzie bez kosztowymi. organizacja tych spotkań według wzoru programu spotkań czy analiza potrzeb w oparciu o tę kartę nie kosztuje nic, tyle co prąd, ciastka i kawa.. a przynosi olbrzymie korzyści dla szkoły, dla pracodawców Należy podkreślić, iż zastosowanie wzoru strategii lokalnej koalicji istotnie obniża koszty przygotowania strategii działania i planu działań lokalnej współpracy: mając ten wzór strategii w zasadzie nie musimy ponosić żadnych kosztów opracowania takiej strategii, nie musimy tego nikomu zlecać, wszystko dzieje się w ramach naszych spotkań Według uczestników badania ewaluacyjnego wypracowane narzędzia nie są kosztowne w użyciu i opierają się w zasadzie na nakładzie pracy kilku nauczycieli zainteresowanych wdrożeniem DSK nakład kosztów to w zasadzie nasza praca, nasz czas jaki poświeciliśmy do testowania tych narzędzi a efekty są fajne ( ) na taki koszt stać każdą szkołę, która chce się rozwijać Podsumowując ocenę efektywności 3 narzędzi wchodzących w skład IP3 należy stwierdzić, iż zgodnie z opiniami osób badanych, iż model MOE z DSK na poziomie OTOCZENIA efektywny w relacji nakładów kosztów do uzyskanego efektu modernizacji i można go szerzej zastosować w innych szkołach. Strona 88

90 Efektywność Modelu MOE z DSK - Wnioski Podsumowując ocenę EFEKTYWNOŚCI narzędzi związanych z IP1, IP2 i IP3 należy stwierdzić, iż ZASTOSOWANIE MODELI nie generuje w zasadzie żadnych kosztów poza nakładem pracy i czasu nauczycieli zainteresowanych wdrożeniem DSK. Produkt finalny związany z tym obszarem modernizacji oferuje innym szkołom WZORY ankiet, programów, kart, wymagających nieznacznej modyfikacji pod kątem specyficznych potrzeb szkoły. Instrukcja obsługi tych narzędzi nie wymaga angażowania ekspertów zewnętrznych spoza szkoły, zamawiania dodatkowych usług czy opracowań, każdorazowo opiera się na zespole nauczycieli, tworzących zespół wdrożeniowy. Pewne wątpliwości co do wysokości nakładów kosztów budzić mogą narzędzia o charakterze edukacyjnym. Należy podkreślić, iż w ramach produktu finalnego zaoferowano narzędzia ułatwiające projektowanie szkoleń, seminariów i innych działań edukacyjnych poprzez diagnozę potrzeb wszystkich nauczycieli i pracowników powiązanych z DSK oraz dostosowanie tematyki do faktycznych potrzeb KDA. Są to narzędzia optymalizujące proces edukacyjny a same szkolenia wykraczają poza użycie tych narzędzi, tak jak realizacja zajęć nową metodą wykracza poza rekomendacje programowe i koszty związane z opracowaniem tych rekomendacji. Należy jednak podkreślić, iż uczestnicy badania, nawet gdy sam proces edukacyjny traktować jako element modelu, oceniają iż koszt realizacji takich szkoleń nie jest zbyt wysoki w stosunku do wymiernych korzyści z tych szkoleń. Rekomendują w trakcie badań, iż szkoła jest w stanie pozyskiwać środki zewnętrzne na ich realizację, ze środków EFS w ramach programów rozwojowych w priorytecie IX PO KL czy w ramach szkoleń dla nauczycieli organizowanych przez ośrodki doskonalenia nauczycieli. Tym samy należy przyznać, iż koszty testowania i opracowania wzorów narzędzi nie są powielane na etapie zastosowania tych narzędzi a koszty ich zastosowania ograniczają się do nakładu pracy zespołu nauczycieli zainteresowanych wdrożeniem DSK i modernizacją szkoły w tym zakresie i są możliwe do zrealizowania w ramach pensum nauczyciela. Mając na uwadze wyrażone oceny i opinie na podstawie badań jakościowych modele MOE z DSK można stwierdzić, iż: model Modernizacji Oferty Edukacyjnej (MOE) z zastosowaniem rozwiązań Dualnego Systemu Kształcenia (DSK) jest efektywny w kontekście nakładu kosztów do efektów modernizacji. Strona 89

91 WNIOSKI I REKOMENDACJE Strona 90

92 Kryteria walidacyjne modelu MOE z DSK Tak więc kluczowym dla pozytywnej walidacji produktów finalnych obszarem ewaluacji jest połączenie oceny produktu finalnego i jego potencjału wdrożeniowego (użyteczność, skuteczność, efektywność) z oceną procesu jego tworzenia i testowania (trafność, rzetelność). Pozytywna ocena innowacyjnego rozwiązania musi łączyć ocenę jego skuteczności i uniwersalności z analizą i oceną procedury jego tworzenia, gwarantującej, że narzędzie jest nie tylko skuteczne i uniwersalne ale także w istocie innowacyjne i co być może najważniejsze, dostosowane do potrzeb odbiorców i potencjalnych użytkowników. Mając na uwadze walidację wypracowanych produktów, należy podsumować uzyskane oceny narzędzi i modeli oraz opinie o narzędziach pod kątem następujących kryteriów (czynników) walidacji produktów finalnych projektu innowacyjnego: Efektywność produktów finalnych w relacji nakładu do efektu Empowerment, czyli zaangażowanie grup docelowych Multiplikowalność modeli Dostępność narzędzi Jakość narzędzi Uwzględnienie powyższych czynników lub kryteriów walidacji możliwe jest poprzez analizę funkcji poszczególnych 5 kryteriów oceny zastosowanych w badaniach ilościowych i jakościowych oraz wniosków z przeprowadzonej analizy wyników tych badań. Efektywność narzędzi modernizacyjnych Efektywność narzędzi modernizacyjnych w modelach IP1, IP2 oraz IP3 oceniono w oparciu o FGI z uczestnikami testu poprzez analizę 9 zagadnień szczegółowych adekwatnie do 9 narzędzi modernizacyjnych składających się na 3 modele modernizacji oferty edukacyjnej, na poziomie UCZEŃ, SZKOŁA i OTOCZENIE. Uczestnicy badania ocenili, iż nakłady kosztów w relacji do efektów modernizacyjnych są niewysokie, uzasadniające zastosowanie narzędzi modernizacyjnych oraz rekomendowanie ich użycia dla innych szkół. Ocena ta opierała się na doświadczeniu z zastosowania narzędzi w szkole objętej testem w ramach Laboratorium DSK. Oceniający efektywność narzędzi, uczestnicy badania FGI dla UCZESTNIKÓW testu ODBIORCÓW produktów finalnych podkreślali, iż koszty zastosowania produktów finalnych ograniczają się w zasadzie do nakładu czasu pracy nauczycieli zaangażowanych we wdrażanie DSK, a nakład pracy w sensie ilościowym nie przekracza pensum nauczycieli poza zajęciami dydaktycznymi w okresie 3-4 Strona 91

93 miesięcy wdrożenia. Uczestnicy wskazali w ocenie na aspekt zastosowania samych narzędzi związanych z produktem finalnym. Wskazali też na koszty dodatkowe modernizacji związane z efektami lub konsekwencjami zastosowani tych narzędzi, takie, realizacja zajęć z uczniami nową metodą opracowaną i rekomendowaną do programu zajęć z zastosowaniem narzędzi na poziomie UCZNIA; realizacja szkoleń dla KDA zaprojektowanych z użyciem narzędzi na poziomie SZKOŁY lub realizacja programu rozwojowego szkoły opracowane w efekcie zastosowania narzędzi na poziomie OTOCZENIA. W opinii uczestników badania są to koszty funkcjonowania zmodernizowanej szkoły i nie dotyczą zastosowani produktów finalnych, ale nawet te wydatki są niewysokie i w pełni zrekompensowane efektem przeprowadzonej modernizacji, w zakresie podniesienia atrakcyjności jakości kształcenia w szkle zawodowej i dostosowanie oferty edukacyjnej do potrzeb lokalnego rynku pracy. Wysoka efektywność produktów finalnych oparta jest także na strategii wdrażania projektu innowacyjnego i realizowaniu zasady EMPOWERMENT na etapie opracowania i testowania narzędzi modernizacyjnych, co obniża nakłady kosztów. Mając powyższe na uwadze, należy stwierdzić, iż narzędzia wypracowane w ramach MOE z DSK są efektywne. Empowerment, czyli zaangażowanie grup docelowych Zaangażowanie grup docelowych w opracowanie i testowanie narzędzi modernizacyjnych w modelach IP1, IP2 oraz IP3 oceniono w oparciu o kryterium UŻYTECZNOŚCI w ankietach CAT i CAWI łącznie 3 pytania dotyczące udziału uczniów, nauczycieli i przedstawicieli otoczenia w diagnozie potrzeb (po jednym dla każdego poziomu modernizacji oferty edukacyjnej) oraz w oparciu o kryterium TRAFNOŚCI w ankietach CAT i CAWI łącznie 6 pytania dotyczące wpływu narzędzia na sytuację interesariuszy (2 na poziomie ucznia, 1 na poziomie szkoły oraz 3 na poziomie otoczenia). Z analizy oceny użyteczności i trafności produktów finalnych w 9 wymienionych pytaniach z badań ilościowych wynika, oceniający potwierdzili efekt zastosowania zasady Empowerment w opracowaniu i testowaniu produktów finalnych. Należy jednak podkreślić iż badania ilościowe, dotyczą efektu stosowania zasady w funkcjonalności, trafności ocenianego produktu. Więcej wiedzy na temat zasady Empowerment, przynoszą badania jakościowe. W tym przypadku w obu scenariuszach FGI uwzględniono kryterium TRAFNOŚCI, które podobnie jak w przypadku badania ilościowego odnosiło się do dostosowania procedur testowania i funkcji narzędzi do potrzeb uczniów, Strona 92

94 nauczycieli i przedstawicieli otoczenia. W ramach badania FGI kierowanego do użytkowników produktów finalnych spoza testu pytano o warunki udziału interesariuszy w modelu modernizacyjnym i zapewnienia procedur w modelu uwzględniających, diagnozujących potrzeby interesariuszy (odbiorców i użytkowników narzędzi modernizacyjnych a poziomie UCZEŃ, SZKOŁA I OTOCZENIE). Uczestnicy FGI, zarówno ODBIORCY (uczestnicy testu) jak i potencjalni UŻYTKOWNICY (spoza testu) uznali, iż zaproponowane narzędzia (głównie badawcze) oraz procedury ich zastosowania w modelu, gwarantują UDZIAŁ grup docelowych w modernizacji oferty edukacyjnej szkoły zawodowej w MOE z DSK. Podobnie, w obu scenariuszach FGI uwzględniono kryterium RZETELNOŚCI w 9 pytaniach, oceniające WPŁYW interesariuszy na ostateczny efekt testowania, czyli produktu finalne projekt oraz WPŁYW interesariuszy na poszczególne etapy wdrożenia modelu modernizacji na poziomie ucznia, szkoły i otoczenia. Uczestnicy badania jakościowego potwierdzili w tym przypadku wysoką RZETELNOŚĆ procedur testowania (w opinii uczestników testu) oraz procedur wdrożenia modeli modernizacyjnych (w opinii potencjalnych użytkowników spoza testu), co świadczy bezpośrednio o zastosowaniu zasady EMPOWERMENT w opracowaniu i testowaniu produktów finalnych oraz w procedurach wdrażania wypracowanych produktów finalnych. Należy podkreślić, iż strategia wdrażania projektu innowacyjnego, a w szczególności procedury i plan opracowania oraz testowania produktów finalnych zakładał realizowanie zasady Empowerment na etapie badań i testowania, poprzez angażowanie do opracowań i testów nauczycieli szkoły biorącej udział w teście oraz przedstawicieli otoczenia szkoły oraz uwzględnienie w modelu na każdym poziomie modernizacji narzędzi o charakterze badawczym (wpływających na trafność modelu) oraz narzędzi o charakterze strategicznym (wpływających na rzetelność modelu i wpływ interesariuszy na ostateczne efekty testowania i wdrożenia) Multiplikowalność modeli IP1, IP2, IP3 i Dostępność narzędzi MULTIPLIKOWALNOŚĆ MODELI modernizacyjnych oceniono na podstawie pytań i zagadnień dotyczących kryterium UŻYTECZNOŚCI produktów finalnych zarówno w badaniach ilościowych w 4 pytaniach dotyczących UNIWERSALNOŚCI produktów finalnych (1 na poziomie ucznia, 2 na poziomie szkoły oraz 1 na poziomie otoczenia) oraz w 18 pytaniach dotyczących użyteczności w scenariuszach FGI dla uczestników testu (ODBIORCÓW produktów finalnych) oraz potencjalnych UŻYTKOWNIKÓW produktów Strona 93

95 finalnych spoza testu. W obu badaniach oceniono wysoko uniwersalność, możliwość zastosowania narzędzi w innych szkołach i powiatach. Należy jednak podkreślić, iż uniwersalność dotyczy całej procedury wdrożenia, która ma zastosowanie niezależnie od rodzaju szkoły czy nauczanego zawodu, jednak zakłada większe lub mniejsze dostosowanie narzędzia do specyfiki szkoły. Zakres modyfikacji narzędzi w opinii uczestników badań nie wpływa na zmniejszenie ich uniwersalności, lecz gwarantuje zachowanie podobnego udziału interesariuszy w ostatecznej formie narzędzi i efektach modernizacji oferty edukacyjnej. Tym samym konieczność modyfikowania narzędzi w ramach uniwersalnej procedury związana jest bezpośrednio z zasadą Empowerment. OCENA DOSTĘPNOŚCI NARZĘDZI związana jest z jednej strony z poziomem ich UNIWERSALNOŚCI (nieco mniejsza dostępność narzędzi związana z koniecznością wniesienia modyfikacji na rzecz kreowania warunków do Empowerment) oraz ich EFEKTYWNOŚCI w kontekście niezbędnych nakładów, które oceniane zostały jako minimalne i bardzo niskie w relacji do spodziewanych efektów modernizacji. Mając powyższe na uwadze można twierdzić, iż w ramach badania ewaluacyjnego multiplikowalność i dostępność produktów finalnych oceniono wysoko. Jakość narzędzi Ocena JAKOŚCI produktów finalnych związana jest ze zgenerowaną oceną modeli i narzędzi na podstawie 5 kryteriów oceny, w szczególności trafności i rzetelności związanych z jakością procedury tworzenia i testowania produktów finalnych oraz użyteczności i skuteczności związanych z jakością samych produktów, w sensie ich wpływu na modernizację. Mając na uwadze przedstawione powyżej analizy dla poszczególnych kryteriów oceny, dla poszczególnych poziomów modernizacji jak tez poszczególnych modeli modernizacji w ramach MOE z DSK można uznać, iż wypracowane produkty finalne charakteryzują się wysoką jakością PROCESOWĄ I PRODUKTOWĄ, co jest argumentem za sformułowaniem pozytywnej oceny w ramach walidacji oraz rekomendacji do szerszego zastosowania, w innych szkołach i powiatach, wypracowanych modeli modernizacji oferty edukacyjnej z zastosowaniem rozwiązań Dualnego Systemu Kształcenia. Strona 94

96 Ocena porównawcza wewnętrzna i zewnętrzna MOE z DSK W podsumowaniu oceny wypracowanych modeli IP1, IP2 i IP3 oraz związanych z nimi 9 narzędzi modernizacyjnych istotne jest porównanie zbiorczych ocen poszczególnych modeli w ramach MOE z DSK poprzez wewnętrzną ocenę porównawczą. Ocena taka może być podstawą do tworzenia rekomendacji wdrożeniowych w zakresie uproszczenia modelu MOE z DSK lub przesunięcia akcentu na kluczowe zagadnienia w przypadku ograniczonego czasu na upowszechnianie, wdrażanie modelu lub w przypadku ograniczonych zasobów. Ocena tak pozwoli podjąć decyzję na temat tego, który z poziomów modernizacji jest ważniejszy, który z nich powinniśmy wybrać, gdy nie mamy czasu, zasobów kadrowych lub finansowych na przeprowadzenie modernizacji w całym zakresie. Ocena taka pozwala zarządzać modernizacją w czasie dając argumenty do wyboru poziomu modernizacji. Szkoła podejmująca taka decyzję, może zastosować kilka kryteriów wyboru, w zależności od przyjętych priorytetów (czy ważniejsza jest trafność i dostosowanie podejmowanych działań do potrzeb szkoły i jej otoczenia, czy też może ważniejsza jest użyteczność modelu gwarantująca łatwość wdrożenia i zastosowania w specyficznych warunkach danej szkoły?) Drugim aspektem oceny zbiorczej modelu MOE z DSK jest odniesienie tego modelu do pozostałych obszarów modernizacji oferty edukacyjnej testowanych w projekcie, a mianowicie do modernizacji szkoły z zastosowaniem rozwiązań Modułowego Systemu Kształcenia (MOE z MES) lub modernizacji szkoły z zastosowaniem rozwiązań Doradztwa i Orientacji Zawodowej (MOE z DOZ). Jest to kontekst oceny zewnętrznej modelu MOE z DSK poprzez porównanie go z innymi modelami. Podobnie jak w przypadku oceny wewnętrznej szkoła lub organ prowadzący planujący modernizację może zastosować trzy kryteria oceny modelu, w zależności od przyjętych priorytetów i wartości (dostosowanie do potrzeb, łatwość wdrożenia związana z uniwersalnością rozwiązania, trwałość zmiany modernizacyjnej). Można w tym przypadku wybrać taki obszar modernizacji, w którym kryterium priorytetowe dla szkoły lub zespołu modernizującego jest najwyższe. Wybór obszaru modernizacji jest zależny od specyficznych potrzeb placówki edukacyjnej (szkoły mają różny poziom współprac z MŚP w ramach DSK czy instytucjami rynku pracy w ramach DOZ), które są głównym kryterium wyboru obszaru modernizacji, jednak koszty wdrożeniowe zastosowania modelu i oczekiwane efekty modernizacji mogą być pomocne w ostatecznym wyborze oferty i przekonaniu do wyboru kierunku modernizacji interesariuszy innych obszarów problemowych. Strona 95

97 Porównanie oceny modeli IP1, IP2 i IP3 w ramach MOE z DSK Dokonując wewnętrznej oceny porównawczej należy stwierdzić, iż w wymiarze użyteczności i skuteczności najwyżej ocenione zostały narzędzia związane z trzecim poziomem modernizacji IP3 POZIOM otoczenia szkoły. Jest to zgodne z ideą DSK, która orientuje się na dostosowaniu szkoły do potrzeb pracodawców z otoczenia szkoły. 8,5 IP2 8 7,5 7 6,5 IP1 IP2 IP3 IP1 IP2 IP3 IP1 IP3 6 5,5 5 Użyteczność Skuteczność Trafność Wykres 1. Średnie rangi dla użyteczności, skuteczności i trafności, IP1, IP2 i IP3 w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. Niepokojące mogą być w tym kontekście stosunkowo niższe oceny modelu w opinii UCZNIÓW. Którzy nie dostrzegają tak wysokiego wpływu modelu na ich losy i efekty edukacyjne z ich udziałem. Przyczyną takiego stanu rzeczy może być fakt, iż uczniowie nie byli angażowani w metodykę DSK i modernizacji szkoły, w związku z czym nie są świadomi oddziaływania narzędzi i modelu na proces edukacyjny. Można spodziewać się, iż uczniowie mogą nie wiedzieć o przełożeniu wyników testu luk kompetencyjnych na program nauczania. Rekomendacja wdrożeniowa w tym zakresie powinna wskazywać na działania informacyjne i edukacyjne kierowane do uczniów (seminaria DSK z udziałem uczniów i rodziców prezentujące schemat interwencji na poziomie ucznia). Obiecujące są wysokie wyniki w obszarze trafności w ocenie modelu przez kadry szkoły w zakresie metod modernizowania zasobów dydaktycznych szkoły. Najwyższa trafność IP2 na poziomie SZKOŁY wskazuje, iż modernizacja szkoły może być realizowana z udziałem kadr tej szkoły, która wysoko ocenia dostosowanie do potrzeb KDA narzędzi modernizacyjnych kierowanych do szkoły jako organizacji. Strona 96

98 Porównanie oceny MOE dla obszarów problemowych DSK, MES i DOZ Dokonując zewnętrznej oceny porównawczej należy stwierdzić, iż w porównaniu z innymi obszarami modernizacji MOE z DSK uzyskało wysokie oceny zarówno w zakresie użyteczności, skuteczności i trafności. W kontekście trafności Model MOE z DSK uzyskał najwyższą ocenę i jest najbardziej dostosowany do potrzeb interesariuszy szkoły, zdecydowanie wyżej niż model z rozwiązaniami modułowego systemu kształcenia MOE z MES i nieznacznie wyżej niż model modernizacji oferty edukacyjnej poprzez rozwiązania z zakresu doradztwa i orientacji zawodowej MOE z DOZ. 8,5 8,0 DSK 7,5 DOZ DOZ 7,0 DSK MES DSK DOZ 6,5 MES MES 6,0 5,5 5,0 Użyteczność Skuteczność Trafność Wykres 2. Średnie rangi dla użyteczności, skuteczności i trafności MOE z DSK, MOE z MES i MOE z DOZ w ocenie uczniów, pracowników szkoły i instytucji jej otoczenia. Źródło własne. Z powyższego zestawienia wynika, wybierając MOE z DSK w strategii modernizacji szkoły mamy najwyższe prawdopodobieństwo zadowolenia z udziału w procesie interesariuszy szkoły, model ten przekłada się więc na najwyższy efekt marketingowy modernizacji i promocyjny dla szkoły. Rekomendacja wdrożeniowa w tym zakresie powinna wskazywać na wybór MOE z DSK w przypadku szkół, którym najbardziej zależy na efekcie promocyjnym i społecznym modernizacji oraz szeroki zaangażowaniu otoczenia (więcej korzyści i spełnionych potrzeb interesariuszy szkoły stwarza lepsze warunki do ich udziału). Z drugiej strony warto pamiętać, iż MOE z DOZ przynosi szybsze efekty modernizacyjne, jest łatwiejszy do zastosowania i szybciej wpływa na efekty zatrudnieniowe absolwentów szkoły. Model ten wymaga mniejszych nakładów pracy w modernizacji, jest bardziej uniwersalny i mniej absorbujący, co może być ważniejsze dla małych szkół. Strona 97

99 Schematy wdrożeniowe MOE z DSK Bazując na rekomendacjach z testu i badań ilościowych opracowano schematy modernizacji dla każdego poziomu MOE z DSK. Schematy te pokazują logiczne powiązanie 3 narzędzi modernizacyjnych w ramach danego poziomu modernizacji zależności pionowe ukazujące związki funkcjonale i przyczynowo skutkowe pomiędzy narzędziami o charakterze badawczym, narzędziami o charakterze edukacyjnym realizującymi ustalenia diagnozy (badania) oraz narzędziami strategicznymi odpowiadającymi na zdiagnozowane problemy, potencjały rozwoju z zastosowaniem nowych kompetencji wypracowanych poprzez narzędzia edukacyjne (BADANIA, EDUKACJA, STRATEGIA). Zależność ta była przedmiotem oceny jakościowej w ramach FGI. Uczestnicy spotkań ewaluacyjnych oceniali zasadność wspólnego użycia tych narzędzi, ich logiczna kolejność oraz instrukcje o charakterze wdrożeniowym (rekomendacje, instrukcje wdrożeniowe) zawarte na schemacie w kolejnych krokach w zależności pionowej, wykonywanych w ramach danego poziomu modernizacji. Uczestnicy spotkań FGI miel okazję ustosunkować się do tych instrukcji, zweryfikować je lub rozbudować o kolejne dobre rady czy uwagi dl a nowych użytkowników modelu. Wypracowane w ramach testu i ewaluacji schematy modernizacji ukazują też powiązania funkcjonalne narzędzi z danego poziomu modernizacji z narzędziami z innych poziomów modernizacji (6 kolejnych narzędzi z IP2 i IP3) w ramach analizy miedzy poziomami. W ten sposób zaproponowane zostały zależności poziome ukazujące szerszy kontekst zastosowania danego narzędzia oraz nowe możliwości zwiększenia jego efektywności czy skuteczności. Powiązania te generalnie podwyższają użyteczność całego modelu MOE z DSK, co było wielokrotnie podnoszone w ramach badania jakościowego. W tym ujęciu poszczególne narzędzia uzasadniają angażowanie poszczególnych grup klientów szkoły (UCZEŃ, SZKOŁA, OTOCZENIE) na każdym poziomi modernizacji co zwiększa spójność całego modelu. Zależności te były przedmiotem oceny jakościowej w ramach FGI. Uczestnicy spotkań ewaluacyjnych oceniali zasadność użycia tych narzędzi w połączeniu z narzędziami z innego poziomu modernizacji, oceniając na ile połączenie to zwiększy użyteczność całego modelu oraz trafność poszczególnych narzędzi. Tak opracowane schematy modernizacyjne stanowią czytelną ilustrację procedury wdrożenia MOE z DSK oraz poszczególnych narzędzi modelu na trzech poziomach modernizacji oferty edukacyjnej szkoły. Strona 98

100 Upowszechnianie i mainstreaming narzędzi na poziomie UCZNIA Badania jakościowe potwierdziły zależności funkcjonalne trzech narzędzi modernizacji oferty edukacyjnej szkoły na poziomie ucznia. Uczestnicy testu oraz przedstawiciele potencjalnych użytkowników wysoko ocenili kompleksowość modelu oraz wskazali na OTOCZENIE jako priorytetowy kontekst narzędzi zastosowanych w tym schemacie modernizacji. Schemat 1. Kluczowe rekomendacje dla poszczególnych narzędzi IP1 i ich powiązania funkcjonalne z narzędziami z IP2 i IP3. Źródło własne. Strona 99

101 Upowszechnianie i mainstreaming narzędzi na poziomie SZKOŁY Uczestnicy badań jakościowych wysoko ocenili kompleksowość modelu oraz powiązania logiczne pomiędzy 3 narzędziami modernizacji szkoły na poziomie zarządzani zasobami szkoły. Uczestnicy badań wskazali na poziom UCZNIA oraz OTOCZENIA jako dwa równoważne konteksty zastosowania tych narzędzi oraz obszary zwiększenia ich trafności. Schemat 2. Kluczowe rekomendacje dla poszczególnych narzędzi IP2 i ich powiązania funkcjonalne z narzędziami z IP1 i IP3. Źródło własne. Strona 100

102 Upowszechnianie i mainstreaming narzędzi na poziomie OTOCZENIA Uczestnicy testu prowadzone w ramach Laboratorium DSK oraz przedstawiciele otoczenia rekomendowali kompleksowe użycie narzędzi zgodnie z poniższym schematem oraz ich logiczne z powiązanie ze wskazanymi narzędziami modernizacji na poziomie UCZEŃ i SZKOŁA. Tak jak w przypadku 2 pozostałych schematów, wszystkie instrukcje należy uznać za wartościowe rekomendacje wdrożeniowe. Schemat 2. Kluczowe rekomendacje dla poszczególnych narzędzi IP3 i ich powiązania funkcjonalne z narzędziami z IP1 i IP2. Źródło własne. Strona 101

103 ZAŁĄCZNIKI Strona 102

104 ANKIETA EWALUACYJNA MODEL MODERNIZACJI OFERTY EDUKACYJNEJ Z ZASTOSOWANIEM DSK Model modernizacji programów nauczania w zakresie możliwości wprowadzenia dualnego sytemu kształcenia NARZĘDZIA MODERNIZACJI SZKOŁY NA POZIOMIE UCZEŃ: Wzór testu badającego luki kompetencyjne DSK (IP1_1) Program szkolenia Nauczycieli Praktycznej Nauki Zawodu z DSK (IP1_2) LABORATORIUM DSK: INNOWACYJNY PRODUKT IP1 ANKIETA EWALUACYJNA Strona 1 Wzór rekomendacji programowych DSK (IP1_3)