Małgorzata BARTOSIAK Łódzkie Centrum Doskonalenia Nauczycieli i Kształcenia Praktycznego Kształtowanie kompetencji personalnych i społecznych w szkole zawodowej drogą do sukcesu na rynku pracy Development of personal and social competence in vocational school as a way to be successful at the labour marke Słowa kluczowe: kompetencje personalne, kompetencje społeczne, szkolnictwo zawodowe, rynek pracy, poradnictwo zawodowe. Key words: personal competence, social competence, counselling. vocational education, labour market, career Abstract The article presents the results of the project Development of personal and social competence in vocational school as a way to be successful at the labour market, implemented by the Łódź Centre for Teachers Development and Practical Training. The project idea was to elaborate, disseminate and start the mainstreaming process in education area of the new solution: Innovative School Career Counselling Programme. The program place a particular emphasis on the development of personal and social competence of a learner. Projekt innowacyjny Kształtowanie kompetencji personalnych i społecznych w szkole zawodowej drogą do sukcesu na rynku pracy, realizowany przez Łódzkie Centrum Doskonalenia Nauczycieli i Kształcenia Praktycznego, powstał w odpowiedzi na problem związany z niewystarczającym dopasowaniem umiejętności i kompetencji absolwentów szkół zawodowych do potrzeb regionalnego rynku pracy, a także w związku z niewystarczającym uwzględnieniem zagadnień związanych z doradztwem edukacyjno-zawodowym w programach rozwojowych placówek edukacyjnych. Projekt zakładał wypracowanie, upowszechnienie i włączenie do głównego nurtu polityki edukacyjnej nowego rozwiązania w postaci Innowacyjnego Programu Szkolnego Doradztwa Zawodowego. Program ten szczególny nacisk kładzie na kształtowanie kompetencji personalnych i społecznych uczącego się. Nie pominięto takich zagadnień jak analiza rynku pracy, krajowa rama kwalifikacji, umiejętność pisania dokumentów aplikacyjnych czy planowania ścieżki edukacyjnej / ścieżki kariery zawodowej, jednak punkt ciężkości znajduje się zdecydowanie po stronie rozwoju kompetencji miękkich. Kompetencje te to, między innymi, umiejętności dokonania realnej samooceny, identyfikacji swoich mocnych i słabych stron, umiejętności komunikacyjne czy radzenia sobie ze stresem. Dotychczas w podstawie programowej kształcenia ogólnego w szkołach zawodowych brakowało propozycji tego rodzaju wsparcia psychopedagogicznego. Na współczesnym rynku pracy kompetencje społeczne stały się co najmniej tak ważne jak kompetencje merytoryczne zawodowe. Pracodawcy wymagają od pracowników umiejętności współpracy oraz komunikowania się zarówno z klientem wewnętrznym, jak i zewnętrznym, co zapewnia dobre psychospołeczne funkcjonowanie pracownika. Innowacyjny Program Szkolnego Doradztwa Zawodowego jest odpowiedzią na potrzebę uzupełnienia programu kształcenia w szkołach zawodowych o ten właśnie element. Zdiagnozowane problemy, na które odpowiada omawiana innowacja, to:
a) brak w strukturze systemu oświaty narzędzi interwencji służących niwelowaniu skutków niedopasowania kompetencji absolwentów ponadgimnazjalnych szkół zawodowych (technikum) do oczekiwań pracodawców i potrzeb rynku pracy, b) deficyt zajęć z zakresu psychologii, umiejętności miękkich, doradztwa edukacyjnego i zawodowego w technikach, c) niedostosowanie programów nauczania w szkołach ponadgimnazjalnych do dynamicznie zmieniających się uwarunkowań gospodarczych, d) niewystarczający nacisk w programach nauczania na elementy wpływające na wzrost kompetencji personalnych i społecznych młodzieży, pozwalających na świadome i skuteczne wejście na rynek pracy, e) znaczna luka informacyjna związana z procesem planowania kształcenia ustawicznego, ciągłego pogłębiania wiedzy i kształtowania umiejętności. Podczas pierwszego etapu realizacji projektu opracowano wstępną wersję produktu finalnego w postaci Innowacyjnego Programu Szkolnego Doradztwa Zawodowego Kim chciałbym być kim będę. Na podstawie przeprowadzonych wśród uczniów, nauczycieli, doradców zawodowych i pracodawców badań jakościowych (diagnoza I i II) oraz prac powołanego zespołu ekspertów z obszaru doradztwa zawodowego, szkolnictwa wyższego, instytucji rynku pracy oraz przedstawiciela pracodawców pod przewodnictwem eksperta merytorycznego został stworzony zarówno program, jak również pakiet edukacyjny w postaci Przewodnika dla uczącego się i Poradnika dla nauczyciela. Ponadto została opracowana strategia wdrażania wypracowanego programu w szkołach zawodowych zawierająca kompleksowe wytyczne odnośnie do działań wdrażających i upowszechniających nowo wypracowane rozwiązane. Powstały Innowacyjny Program Szkolnego Doradztwa Zawodowego obejmuje 25 godzin zajęć grupowych, na które składa się 5 modułów: I Poznaję siebie (6 godzin). II Kompetencje personalne i społeczne w kontekście rozwoju zawodowego (6 godzin). III Regionalny i ponadregionalny rynek pracy (5 godzin). IV Kwalifikacje zawodowe. Polskie i Europejskie Ramy Kwalifikacji (4 godziny). V Indywidualny Plan Działania (4 godziny) 1. Każdy moduł uwzględnia: cele operacyjne, materiał kształcenia, zestaw ćwiczeń, zalecenia metodyczne dla nauczycieli, spis środków dydaktycznych, propozycje oceny uczących się i polecaną literaturę. Ponadto obligatoryjnie program obejmuje także konsultacje indywidualne dla każdego uczącego się w wymiarze dwóch godzin 2. W pierwszym etapie realizacji projektu zrekrutowano 10 nauczycieli, którzy wzięli udział w dwudniowym szkoleniu, podczas którego przedstawiono założenia i elementy Innowacyjnego Programu Szkolnego Doradztwa Zawodowego wraz z pakietem edukacyjnym. Drugi etap wdrażania projektu polegał na testowaniu wypracowanych rozwiązań wśród 120 uczniów techników w pięciu Zespołach Szkół Ponadgimnazjalnych (ZSP 5, ZSP 10, ZSPM, ZSP 15 i ZSP 19) w Łodzi. Testowanie polegało na przeprowadzeniu dodatkowych zajęć w oparciu o założenia innowacyjnego programu. Warsztaty te prowadziła specjalnie wybrana kadra nauczycieli, która po udziale w warsztatach metodycznych nabyła odpowiednie umiejętności w tym zakresie. Ponadto na zajęciach gościli eksperci modułowi, tworzący Program i pakiet edukacyjny, którzy wspierali prowadzących w realizacji celów IPSzDZ. Cały proces testowania był monitorowany przez zespół ekspercki, ewaluacyjny i ewaluatora zewnętrznego. Zaplanowano proces ewaluacji w oparciu o szereg narzędzi, które miały zweryfikować, czy zostały osiągnięte zamierzone cele projektu: 1) Podwyższenie o 60% kompetencji personalnych i społecznych u 120 uczniów technikum (66 kobiet i 54 mężczyzn) ze szczególnym uwzględnieniem planowania ścieżki edukacyjnej i zawodowej w powiązaniu z gospodarką opartą na wiedzy w okresie IX 2012 VI 2013 r. poprzez uczestnictwo w całym cyklu zajęć. 2) Podwyższenie o 60% poziomu umiejętności 120 uczących się (66 kobiet i 54 mężczyzn) z zakresu IPSzDZ w okresie IX 2012 VI 2013 r. poprzez uczestnictwo w całym cyklu zajęć 3. 1 M. Bartosiak, E. Ciepucha, A. Falkowski, R. Mirys, M. Sienna, H. Skłodowski, Innowacyjny Program Szkolnego Doradztwa Zawodowego, Łódź 2013, s. 3 17. 2 M. Bartosiak, E. Ciepucha, A. Falkowski, R. Mirys, M. Sienna, H. Skłodowski, Tamże, s. 24 26. 3 M. Bartosiak, Wniosek o dofinansowanie projektu Kształtowanie Kompetencji Personalnych i Społecznych w szkole zawodowej drogą do sukcesu na rynku pracy, Łódź 2011, s. 4 5.
Dla weryfikacji umiejętności i kompetencji uczących się zaplanowani następujące narzędzia badawcze: a) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu I Poznaję siebie i obejmujący takie zagadnienia, jak: radzenie sobie ze stresem w pracy, samodzielne podejmowania decyzji, rozpoznawanie swoich mocnych i słabych stron, dostosowanie się do potrzeb i oczekiwań pracodawców (gotowość do podnoszenia kwalifikacji i nauki); b) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu II Kompetencje personalne i społeczne w kontekście rozwoju zawodowego weryfikujący kwestie: porozumiewania się w miejscu pracy, współdziałania z innymi w roli zarówno członka, jak i lidera zespołu; c) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu III Regionalny i ponadregionalny rynek pracy, czyli: efektywnego poszukiwania ofert pracy, pozyskiwania informacji o potrzebach rynku pracy; d) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu IV Kwalifikacje zawodowe. Polska i Europejskie Ramy Kwalifikacji, tzn.: porównywania swoich kompetencji zawodowych z innymi pracownikami, planowania kariery zawodowej (w tym podnoszenie i rozszerzanie kwalifikacji zawodowych); e) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu V Indywidualny Plan Działania, dotyczył takich kwestii jak: praktyczne stosowanie prawa pracy etc., prezentowanie swoich zainteresowań i kwalifikacji pod kątem wymogów pracodawcy. Każdy z testów sprawdzał wiedzę i umiejętności uczących się z zakresu kompetencji personalnych i społecznych omówionych powyżej. Ponadto testy umiejętności miały na celu weryfikację znajomości tematyki IPSzDZ, dlatego też oprócz zadań testowych, w których uczący się miał wybrać odpowiedź (znajomość tematyki IPSzDZ), znalazły się również zadania do wykonania (zastosowanie poznanej tematyki w praktyce); f) test ex ante i ex post kompetencji; Test kompetencji (personalnych i społecznych) zawierał scenki sytuacyjne, które miały zostać zinterpretowane przez uczących się na podstawie zadanych pytań. Celem testu była weryfikacja interpretacji sprzed uczestnictwa w zajęciach w ramach projektu oraz po jego zakończeniu. Zespół projektu chciał sprawdzić, czy program, tematyka zajęć, sposób ich przeprowadzenia odnosiły się do sytuacji problemowych zdiagnozowanych uprzednio i czy efektywność tych zajęć jest wysoka (tj. czy kompetencje wzmacniane podczas realizacji zajęć rzeczywiście wzrosły i osiągnęły oczekiwany poziom); g) ankieta samooceny ex post; Kwestionariusz samooceny uczących się jest częścią podręcznika, w którym każdy moduł kończy się podsumowaniem omówionego materiału przez samych uczących się. Początkowo nie planowano użycia tego narzędzia przez zespół ewaluacyjny do weryfikacji stopnia wzrostu umiejętności uczniów, jednakże jego kompleksowość i zbieżność tematyczna z testami umiejętności stanowiącymi zobiektywizowane źródło pomiaru spowodowały, że potraktowano je jako narzędzie pomocnicze. Dodatkowo zostało ono wykorzystane do zmiany programu (ocena przystępności treści przekazywanych na zajęciach dla ucznia uczeń stał się tym samym źródłem informacji nt. stopnia zrozumienia treści zawartych w programie); h) karta obserwacji uczącego się (on going); Nauczyciel miał za zadanie przeprowadzać systematyczną ocenę kompetencji i umiejętności uczniów po realizacji każdego z modułów zajęć. Dzięki temu narzędziu osiągnięto zobiektywizowane źródło informacji na temat wzrostu oczekiwanych kompetencji u uczniów. Stanowi ono narzędzie pomocnicze z uwagi na brak możliwości przełożenia otrzymanych danych na wartości procentowe.
Przyjmując, że celem projektu jest wzrost określonych umiejętności i kompetencji czyli niwelowanie różnic między ich poziomem posiadanym przez nauczycieli i uczących się przed udziałem w szkoleniu/zajęciach i konsultacjach indywidualnych, a poziomem po ich zakończeniu za podstawę pomiaru przyjmuje się różnicę między poziomem umiejętności i kompetencji przed projektem i po projekcie. Metodologia umożliwiająca ten pomiar uwzględnia miernik zaproponowany przez Petera Bramleya. Ustalony przez niego wskaźnik przyrostu wiedzy opiera się na teście opracowanym dla docelowych wymagań kompetencyjnych i odnoszących się do umiejętności. Wskaźnik pomiaru przyrostu wiedzy/umiejętności/kompetencji ustalany jest jako iloraz różnicy wiedzy/umiejętności/kompetencji (przed szkoleniem i po szkoleniu) i wiedzy możliwej do osiągnięcia w wyniku szkolenia, pomniejszonej o wiedzę posiadaną przed szkoleniem. Otrzymany wynik może być zawarty w przedziale od 0 do 100% i informuje, w jakim stopniu potrzebna wiedza/umiejętności/kompetencje zostały opanowane przez uczestnika zajęć 4. Wskaźnik ten obrazuje poniższy wzór: wyniki testu ex post minus wyniki testu ex ante Wskaźnik przyrostu = * 100% maksymalne wyniki możliwe do osiągnięcia minus wyniki testu ex ante Jednym z celów projektu na etapie testowania innowacyjnego produktu było Podwyższenie o 60% kompetencji personalnych i społecznych u 120 uczniów technikum ze szczególnym uwzględnieniem planowania ścieżki edukacyjnej i zawodowej w powiązaniu z gospodarką opartą na wiedzy w okresie IX 2012 VI 2013 poprzez uczestnictwo w całym cyklu zajęć 5. Projektodawca zakładał podwyższenie o co najmniej 60% poziomu kompetencji u 120 uczących się. Uczestnicy zajęć rozwiązali test, w którym można było uzyskać 34 punkty. Średnia ilość punktów zdobyta przez uczących się w teście ex ante wyniosła 6,77 punktu (kobiety 7,65, mężczyźni 5,69), natomiast z testu ex post 28,74 punktu (kobiety 28,89, mężczyźni 28,56). Następnie obliczono różnicę punktową między testami ex post i ex ante, po czym wyliczono procent wzrostu w stosunku do poziomu wyjściowego. Średni wynik uzyskany przez uczących się wyniósł 80,68% co oznacza znaczący przyrost w stosunku do poziomu sprzed udziału w projekcie. W tabeli wskazano wyniki testów kompetencji w odniesieniu do uczniów w podziale na szkoły uczestniczące w projekcie w wartościach punktowych i procentowych. 40,00 30,00 TEST KOMPETENCJI 28,83 29,04 29,25 30,38 26,21 20,00 10,00 6,17 4,21 7,42 10,50 5,54 ANTE POST 0,00 ZSP 5 ZSP 10 ZSPM ZSP 15 ZSP 19 Rys. 1. Średnie wyniki punktowe dla poszczególnych szkół 4 P. Bramley, Ocena efektywności szkoleń, Oficyna Ekonomiczna, Kraków 2001, s. 49 54. 5 M. Bartosiak, Wniosek o dofinansowanie projektu Kształtowanie Kompetencji Personalnych i Społecznych w szkole zawodowej drogą do sukcesu na rynku pracy, Łódź 2011, s. 4 5.
Tabela 1. Średnie wyniki procentowe dla poszczególnych szkół Średni wzrost kompetencji ZSP nr 5 ZSP nr 10 ZSPM ZSP nr 15 ZSP nr 19 81,42% 83,35% 82,13% 84,60% 72,63% Analiza wyników testów kompetencji wskazuje, iż przed przystąpieniem do projektu istniały różnice między uczącymi się z poszczególnych szkół, natomiast po przeprowadzonych zajęciach poziom kompetencji prezentowany przez młodzież z badanych placówek jest bardziej wyrównany. Przed rozpoczęciem zajęć uczący się prezentowali relatywnie niski poziom kompetencji od średniej punktowej 4,21 w ZSP 10 do 10,50 w ZSP 15. Po zakończeniu zajęć uczący się osiągnęli podobne wyniki punktowe, w większości oscylujące średnio przy wartości punktowej 29. Najwyższą wartość osiągnęli uczący się z ZSP 15 (powyżej 30), podczas gdy najsłabsze wyniki zaprezentowali uczestnicy projektu z ZSP 19 (26,21). W związku z powyższym podobnie przedstawia się poziom przyrostu kompetencji wśród uczących się z poszczególnych techników najwyższy przyrost został odnotowany w ZSP 15 84,60% podczas gdy najniższy w ZSP 19 72,63%. W pozostałych szkołach wzrost kompetencji osiągnął zbliżony poziom, ok. 82%. Ponadto w celu zbadania poziomu kompetencji uczących się biorących udział w projekcie, nauczyciele prowadzili podczas zajęć obserwację uczestników za pomocą specjalnie przygotowanych kart obserwacji uczących się, na których zaznaczali, czy uczestnicy rozwinęli poszczególne kompetencje w stopniu bardzo dobrym, dobrym, umiarkowanym czy też nie osiągnęli ich wcale. Poniżej znajduje się tabela ilustrująca obserwacje nauczycieli w postaci procentowej ilości uczniów, którzy uzyskali daną kompetencję na określonym poziomie. Tabela 2. Analiza kart obserwacji uczących się Potrafi rozpoznawać własne zainteresowania Potrafi określić swoje predyspozycje i zdolności Bardzo dobrze Dobrze Umiarkowanie Wcale 65,00% 32,50% 2,50% 0,00% 59,17% 31,67% 9,17% 0,00% Potrafi podejmować decyzje 49,17% 36,67% 14,17% 0,00% Potrafi pracować w grupie 60,00% 29,17% 10,83% 0,00% Potrafi umiejętnie się komunikować (komunikacja werbalna i niewerbalna) Potrafi radzić sobie w sytuacjach stresowych 55,00% 35,83% 9,17% 0,00% 38,33% 50,00% 11,67% 0,00% Potrafi identyfikować źródła informacji o rynku pracy Potrafi rozpoznawać stereotypy i uprzedzenia Potrafi interpretować dane dotyczące sytuacji na rynku pracy Potrafi porównać swoje kompetencje z innymi potencjalnymi pracownikami 42,50% 50,83% 6,67% 0,00% 50,00% 44,17% 5,83% 0,00% 33,33% 41,67% 24,17% 0,83% 44,17% 45,83% 10,00% 0,00% Potrafi planować ścieżkę edukacyjnozawodową dla wybranego zawodu Potrafi zaproponować sposoby uzupełnienia kwalifikacji 42,50% 47,50% 10,00% 0,00% 48,33% 40,00% 11,67% 0,00% Potrafi przygotować CV 42,50% 49,17% 8,33% 0,00%
Potrafi rozróżnić pojęcia dotyczące prawa pracy Potrafi wyszukać informacje nt. pracodawców 38,33% 48,33% 13,33% 0,00% 45,83% 45,00% 9,17% 0,00% Powyższa tabela wskazuje, że większość kompetencji uczący się opanowali w stopniu dobrym lub bardzo dobrym. Największy problem stanowiło zinterpretowanie danych dotyczących sytuacji na rynku pracy. Jednocześnie uczący się najlepiej radzili sobie z rozpoznawaniem własnych zainteresowań oraz potrafili określić swoje predyspozycje i zdolności. Drugim z celów planowanych do osiągnięcia na etapie testowania innowacyjnego produktu było Podwyższenie o 60% poziomu umiejętności 120 uczniów z zakresu Innowacyjnego Programu Szkolnego Doradztwa Zawodowego w okresie IX 2012 VI 2013 poprzez uczestnictwo w całym cyklu zajęć 6. Uczniowie rozwiązali łącznie 10 testów (5 testów ex ante przed rozpoczęciem zajęć oraz 5 testów ex post po jednym na zakończenie każdego modułu), w których łącznie można było uzyskać 33 punkty. Średnia ilość punktów zdobyta przez uczących się w testach ex ante wyniosła 8,53 punktu (kobiety 8,68, mężczyźni 8,33), natomiast z testów ex post 30,07 punktu (kobiety 30,18, mężczyźni 29,93). Wynik ten otrzymano po wyciągnięciu średniej arytmetycznej z wyników uzyskanych przez poszczególnych uczestników. Następnie obliczono różnicę punktową między testami ex post i ex ante, po czym wyliczono procent wzrostu w stosunku do poziomu wyjściowego. Średni wynik otrzymany przez uczniów wyniósł 88,03%. Oznacza to, że przeciętnie każdy uczeń podwyższył poziom swoich umiejętności o 88,03% w stosunku do poziomu sprzed udziału w projekcie. Poniżej tabela obrazująca średnie wyniki punktowe oraz procentowy przyrost poziomu umiejętności z poszczególnych modułów. Tabela 3. Średnie wyniki punktowe oraz procentowy przyrost poziomu umiejętności Średni wynik Średni przyrost ANTE Moduł I Moduł II Moduł III Moduł IV Moduł V POST ANTE POST ANTE POST ANTE POST ANTE POST 2,32 9,04 2,79 4,76 0,90 4,34 1,53 7,30 0,98 4,63 87,50% 89,14% 83,90% 89,18% 90,80% Analizując modułowe testy umiejętności można zaobserwować, iż w poszczególnych modułach część uczniów uzyskała wyniki poniżej poziomu 60%. W module I było to 5 osób, w module II 4 osoby, w module III 11 osób, w module IV 7 osób, natomiast w V 4 osoby. Niemniej jednak projektodawca zakładał, że uczestnicy podniosą poziom swoich umiejętności mierzony w oparciu o treść całego Innowacyjnego Programu Szkolnego Doradztwa Zawodowego obejmującego 5 modułów tematycznych, stąd ostateczny wynik każdego uczestnika jest wzrostowy przekraczający 60% w stosunku do poziomu wyjściowego. Zestawienia tabelaryczne wyników testów umiejętności każdego uczącego się w ramach każdego modułu w ujęciu procentowym stanowią załączniki do raportu. Poniżej przedstawiono wyniki punktowe oraz procentowe dla poszczególnych szkół biorących udział w projekcie. 6 M. Bartosiak, Wniosek o dofinansowanie projektu Kształtowanie Kompetencji Personalnych i Społecznych w szkole zawodowej drogą do sukcesu na rynku pracy, Łódź 2011, s. 4 5.
40,00 30,00 20,00 10,00 0,00 TEST UMIEJĘTNOŚCI 30,42 29,88 27,96 30,67 31,42 8,79 8,29 7,88 9,13 8,54 ZSP 5 ZSP 10 ZSPM ZSP 15 ZSP 19 ANTE POST Rys. 2. Średnie wyniki punktowe dla poszczególnych szkół Tabela 4. Średnie wyniki procentowe dla poszczególnych szkół ZSP nr 5 ZSP nr 10 ZSPM ZSP nr 15 ZSP nr 19 Średni wzrost 89,34% 87,37% 79,94% 90,24% 93,54% Z analizy przedstawionych danych procentowych wynika, że w przypadku testów umiejętności poziom reprezentowany przez wszystkie szkoły jest podobny. Najniższy wzrost poziomu umiejętności nastąpił wśród uczniów Zespołu Szkół Ponadgimnazjalnych nr 15, jednak przyczyną tego stanu jest fakt, iż uczniowie tej szkoły reprezentowali najwyższy poziom umiejętności przed przystąpieniem do projektu spośród wszystkich placówek. Interpretacja wyników przeprowadzonych pomiarów przyrostu umiejętności oraz kompetencji u uczących się jednoznacznie potwierdzają osiągnięcie założonych wskaźników. Zakładany 60% wskaźnik przyrostu umiejętności i kompetencji wśród uczących się podczas etapu testowania produktu został osiągnięty. W efekcie prac ewaluacyjnych i monitoringowych powstała ostateczna wersja produktu, która poddana została walidacji przez Regionalną Sieć Tematyczną. Zarówno ekspertka oceniająca Innowacyjny Program Szkolnego Doradztwa Zawodowego, jak i członkowie Sieci jednogłośnie zatwierdzili projekt do dalszej realizacji. Trzecim i ostatnim etapem realizacji projektu był etap upowszechniania i wdrożenia do głównego nurtu polityki wypracowanego innowacyjnego rozwiązania. Podczas tej fazy działań zaplanowano szereg inicjatyw promocyjnych, takich jak konferencje, artykuły w czasopismach branżowych, spotkania informacyjne, udział w targach i konferencjach, przygotowanie spotu telewizyjnego, konsultacje grupowe z nauczycielami i doradcami zawodowymi, jak również zajęcia i konsultacje indywidualne z uczącymi się. Celem ostatniej inicjatywy była weryfikacja ostatecznej wersji produktu wraz z pakietem edukacyjnym pod względem jego efektywności i przydatności. Zajęcia zostały przeprowadzone dla 128 uczących się w pięciu łódzkich zespołach szkół ponadgimnazjalnych: ZSPM, ZSP nr 5, ZSP nr 10, ZSP 15 i ZSP 19. Uczący się pracowali w dziesięciu grupach liczących od 10 do 16 osób, którymi opiekowali się Szkolni Eksperci IPSzDZ nauczyciele, którzy prowadzili zajęcia na etapie testowania i brali udział w nadaniu ostatecznego kształtu produktowi finalnemu. Zgodnie z przyjętą metodologią ewaluacji zastosowano testy kompetencji i umiejętność ex ante i ex post, jednak same kwestionariusze uległy znacznej zmianie. Korzystając z doświadczenia zdobytego na etapie testowania, zrezygnowano z testów umiejętności dla każdego modułu na rzecz jednego, krótszego testu zbiorczego. Podobnie postąpiono z testem kompetencji forma pozostała podobna, jednak ułożono nowe pytania testowe, syntezujące rozwijane dzięki różnym modułom programu kompetencje. Nie bez znaczenia była również chęć skonstruowania doskonalszego narzędzia ewaluacyjnego zachowującego wysoką czułość przy jednoczesnym wzroście efektywności (zmniejszenia nakładów czasu).
12 11 10 9 8 7 6 5 4 3 2 1 0 ex post ex ante 0,00% 5,00% 10,00% 15,00% 20,00% 25,00% 30,00% 35,00% Rys. 3. Suma punktów testu kompetencji ucznia etap III Maksymalnie uczący się mógł uzyskać 12 punktów, a średnia ich ilość wyniosła 5,22. Nie odnotowano ani maksymalnej liczby punktów, jak i wyniku równego 0. Sumy mieszczą się w przedziale od 1 do 8 punktów. W teście kompetencji ex post uzyskano wyniki jeszcze bardziej zróżnicowane. Rozkład uzyskanych sum punktów zawiera się w przedziale od 5 do 12 na 12 możliwych. Średni wynik to 9,22. Co ciekawe, wysoki odsetek uczących się uzyskał tu maksymalną ilość punktów jest to ponad 24%. Uzyskana wartość przyrostu kompetencji uczących się na tym etapie to zaledwie 56,34%. Na wynik ten ma wpływ fakt, że sześcioro (4,69%) uczących się uzyskało niższy wynik testu ex post niż ex ante, a w konsekwencji ujemną wartość przyrostu wskaźnika. Jednocześnie prawie jedna czwarta uczących się uzyskała przyrost kompetencji na poziomie 100%. Przyczyna takich wyników wydaje się być trojaka: przeważnie większa liczebność grup uczących się, mogąca powodować przeszkody w indywidualnym podejściu do każdego z uczących się; wypalenie/zmęczenie prowadzących zajęcia, pracujących z IPSzDZ drugi rok z rzędu; brak instytucjonalnej presji uzyskania określonego poziomu wskaźnika. Wszystkie te przyczyny sprowadzają się do jakości prowadzonych zajęć grupowych. Zdaniem ewaluatora zewnętrznego profesora Bogusława Śliwerskiego wartość tego programu (IPSzDZ) zależy bowiem głównie od umiejętności jego realizacji przez samych nauczycieli. Innego rodzaju przyczyną niższego niż na etapie II wyniku przyrostu kompetencji uczących się może być zmiana narzędzia badawczego.
14 12 10 8 6 ex post ex ante 4 2 0 0,00% 5,00% 10,00% 15,00% 20,00% 25,00% 30,00% 35,00% Rys. 4. Suma punktów testu umiejętności ucznia etap III W teście umiejętności ex ante uczący się najczęściej uzyskiwali 4 i 3 punkty na 14 możliwych. Nie było osoby, która zakończyłaby test wstępny z wynikiem 0, jednak najwyższy wynik to zaledwie połowa z możliwych do zdobycia punktów. Średnia ilość punktów to 3,56. Wynik testu ex post to średnio 12,04 punktu. Przeważa wynik 12 aż 25%. Wartość maksymalną uzyskała prawie jedna piąta badanych. Najniższa suma punktów w teście ex post to 8 (1,56% uczących się). Przyrost umiejętności wśród uczących się wyniósł średnio 80,71%, więc o 7,32 pp. mniej niż na etapie testowania. Możliwe, że nieznaczne obniżenie jakości prowadzonych zajęć grupowych wpływa nierównomiernie na osiągane efekty kształcenia. Wyniki dodatkowej ewaluacji na etapie III prowadzą ku hipotezie, że przyrost kompetencji uczących się podlega owym negatywnym wpływom silniej niż przyrost umiejętności. Końcowej oceny wartości interwencji publicznej, jaką jest projekt innowacyjny Kształtowanie kompetencji personalnych i społecznych w szkole zawodowej drogą do sukcesu na rynku pracy dokonano zgodnie z zaleceniem KIW według pięciu standardowych kryteriów 7 : Trafność (cele a potrzeby): Celem głównym projektu było wypracowanie, upowszechnienie i włączenie do głównego nurtu polityki edukacyjnej nowego rozwiązania w postaci Innowacyjnego Programu Szkolnego Doradztwa Zawodowego służącego modernizacji oferty szkół kształcenia zawodowego w terminie. Wysoką trafność projektu uzyskano poprzez przygotowanie produktu na podstawie drobiazgowo przygotowanej diagnozy. Dodatkowo trafność projektu wzmacnia fakt, że rozpoczęto jego realizację w roku 2011, antycypując wprowadzenie w wyniku modernizacji kształcenia zawodowego w 2012 r. nowej podstawy programowej kształcenia w zawodach. Na podstawę tę składają się m.in. obowiązkowe zestawy celów kształcenia i treści nauczania opisanych w formie oczekiwanych efektów kształcenia: wiedzy, umiejętności zawodowych oraz kompetencji personalnych i społecznych, niezbędnych dla zawodów. Wypracowanie, upowszechnienie i włączenie do głównego nurtu polityki edukacyjnej nowego rozwiązania, ukierunkowanego na kształtowanie kompetencji personalnych i społecznych, było właśnie tym, czego potrzebowało w owym czasie kształcenie zawodowe w Polsce. Efektywność (nakłady a efekty) W przypadku przedmiotowego projektu innowacyjnego ocena efektywności jest tym trudniejsza, że nie ma możliwości porównania z podobną interwencją. Podejmujemy próbę tej oceny głównie przez pryzmat jakości efektów projektu. Jeżeli chodzi o produkt, już jego wersja wstępna spotkała się z 7 Miniprzewodnik po ewaluacji w projektach innowacyjnych PO KL, Krajowa Instytucja Wspomagająca Centrum Projektów Europejskich, Warszawa 2012, s. 4.
pozytywną oceną ewaluatora zewnętrznego; pozytywna walidacja RST odbyła się praktycznie bez wprowadzania poprawek. Bez dodatkowych nakładów pracy wypracowano innowacyjne rozwiązanie działające co najmniej tak dobrze, jak założono. Patrząc na efekty kształcenia, wolno stwierdzić, że wyższe niż zakładane przyrosty kompetencji i umiejętności uczących się uzyskiwane są dzięki zaledwie 27 godzinom dydaktycznym. Skuteczność (plan a wykonanie) Wszystkie działania zrealizowano w zaplanowanych terminach, osiągając przy tym wszystkie bez wyjątku cele szczegółowe i cel główny. Uzyskano wartości wyższe, a w niektórych przypadkach znacznie wyższe niż wyznaczone poziomy wskaźników realizacji celów. W przypadku upowszechniania możemy mówić o wyjątkowej skuteczności, gdyż cele ze znaczną nadwyżką osiągnięto zdecydowanie wcześniej niż zakładano. Użyteczność (efekty a potrzeby) Pozytywną ocenę użyteczności projektu wyrażają najbardziej wiarygodnie jego uczestnicy/użytkownicy. W danych uzyskanych dzięki narzędziom monitoringowym, m.in. ankietom samooceny, ankietom satysfakcji, ankietom ewaluacyjnym, kartom obserwacji uczącego się dominują wyrazy poczucia spełnienia oczekiwań uczestników. Znakomita większość z nich, dzięki udziałowi w projekcie ocenia lepiej również siebie. Użyteczność znajduje również wyraz w zainteresowaniu potencjalnych odbiorców produktem finalnym. W przypadku podmiotowego projektu owo zainteresowanie jest bardzo zadowalające. Trwałość (oddziaływanie projektu po jego zakończeniu) Oddziaływanie projektu po jego zakończeniu zależy po pierwsze od trwałości efektów uczenia się u uczestników; po drugie od zakresu jego wdrożenia do głównego nurtu polityki lub praktyki. Pierwszego z wymienionych nie jesteśmy w stanie na razie ocenić. Sukcesem jest zadeklarowana chęć wdrażania IPSzDZ do programów nauczania na rok szkolny 2014/2015 w kilku łódzkich ZSP. Szeroki zakres wdrożenia może zapewnić wysokie zainteresowanie produktem finalnym, które zespół projektowy połączył z intensywną pracą nad jego upowszechnianiem. Udział w licznych konferencjach, publikacje w czasopismach branżowych i dziennikach, a także wyprodukowanie i emisja reportażu poświęconego projektowi bez wątpienia mają znaczący wpływ na jego trwałość. Podsumowując, należy stwierdzić, że prezentowana innowacja w stosunku do grupy użytkowników i odbiorców przybliża rozwiązanie opisanych na wstępie problemów. Prezentowany program przyczynia się do: 1. Przygotowania uczących się do podejmowania decyzji dotyczących wyboru zawodu, drogi zawodowej, jak i decyzji w ramach wykonywania danego zawodu. 2. Przygotowania uczących się do korzystania z wolności wyboru zawodu uwarunkowanej właściwym uruchomieniem potencjału wewnętrznego. 3. Kształtowania umiejętności komunikowania innym własnych intencji i przekonań, by osiągać określone cele interpersonalne. 4. Dostosowania zachowań społecznych do określonych warunków pracy i przygotowanie do radzenia sobie z psychologicznymi konsekwencjami funkcjonowania w środowisku zawodowym (stres w pracy i wypalenie zawodowe). 5. Przygotowania uczących się do identyfikowania zasad zrównoważonego rozwoju. 6. Kształtowania umiejętności wykorzystania informacji i danych, wynikających z analizowania rynku pracy dla planowania własnej ścieżki kształcenia/ścieżki zawodowej. 7. Ukształtowania umiejętności rozpoznania systemu osiągania i potwierdzania kwalifikacji zawodowych w Polsce (Polska Rama Kwalifikacji i Europejskie Ramy Kwalifikacji). 8. Przygotowania uczących się do korzystania z bazy standardów kwalifikacji zawodowych przy planowaniu dalszej ścieżki kariery edukacyjno-zawodowej. 9. Kształtowania umiejętności diagnozowania możliwości zatrudnienia w wyniku analizy własnych umiejętności zawodowych oraz prezentowania własnych kwalifikacji. 10. Przygotowania uczących się do dostosowywania się do zmiennych lub rosnących oczekiwań pracodawcy. Bibliografia
1. Bramley P., Ocena efektywności szkoleń, Oficyna Ekonomiczna, Kraków 2001. 2. Cichomska-Szpakowska P., Bartosiak M., Żulicki R., Kim chciałbym być kim będę, w: Edukator Zawodowy, KOWEZiU, 2014. Artykuł odstępny na stronie internetowej: http://edukator.koweziu.edu.pl/index.php/poradnictwo-zawodowe/1140-kim-chcialbym-byc-kim-bede-cz-1 (dostęp: 27.09.2014). 3. Bartosiak M., Ciepucha E., Falkowski A., Mirys R., Sienna M., Skłodowski H., Innowacyjny Program Szkolnego Doradztwa Zawodowego, Łódź 2013. 4. Bartosiak M., Ciepucha E., Falkowski A., Mirys R., Sienna M., Skłodowski H., Poradnik dla Nauczyciela, Łódź 2013. 5. Bartosiak M., Ciepucha E., Falkowski A., Mirys R., Sienna M., Skłodowski H., Przewodnik dla uczącego się, Łódź 2013. 6. Bartosiak M., Wniosek o dofinansowanie projektu Kształtowanie Kompetencji Personalnych i Społecznych w szkole zawodowej drogą do sukcesu na rynku pracy, Łódź 2011. 7. Miniprzewodnik po ewaluacji w projektach innowacyjnych PO KL, Krajowa Instytucja Wspomagająca Centrum Projektów Europejskich, Warszawa 2012.