Raport z ewaluacji wewnętrznej i monitoringu realizacji etapu testowania. w ramach projektu

Transkrypt

1 Raport z ewaluacji wewnętrznej i monitoringu realizacji etapu testowania w ramach projektu Kształtowanie kompetencji personalnych i społecznych w szkole zawodowej drogą do sukcesu na rynku pracy współfinansowanego przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Program Operacyjny Kapitał Ludzki: Priorytet IX Rozwój wykształcenia i kompetencji w regionach, Działanie 9.2 Podniesienie atrakcyjności i jakości szkolnictwa zawodowego realizowanego przez Miasto Łódź, Łódzkie Centrum Doskonalenia Nauczycieli i Kształcenia Praktycznego - 1 -

2 Spis treści: 1. Wprowadzenie; 2. Zakres projektu; 3. Cele i wskaźniki projektu; 4. Zakres i zasady monitoringu i ewaluacji projektu; 5. Narzędzia monitoringu i ewaluacji; 6. Wyniki prowadzonych badań ewaluacyjnych i monitoringu; 7. Wnioski; 8. Spis załączników; 9. Załączniki

3 1. Wprowadzenie Dokument ten stanowi raport z ewaluacji wewnętrznej i monitoringu projektu Kształtowanie kompetencji personalnych i społecznych w szkole zawodowej drogą do sukcesu na rynku pracy realizowanego przez Miasto Łódź Łódzkie Centrum Doskonalenia Nauczycieli i Kształcenia Praktycznego w Łodzi na etapie testowania innowacyjnego produktu. W ramach projektu został opracowany (I etap realizacji projektu) i przetestowany w 5 łódzkich szkołach ponadgimnazjalnych (II etap) Innowacyjny Program Szkolnego Doradztwa Zawodowego Kim chciałbym być kim będę, który w III etapie realizacji projektu będzie upowszechniany w kolejnych łódzkich placówkach edukacyjnych celem włączenia do głównego nurtu polityki edukacyjnej w szkołach zawodowych na poziomie ponadgimnazjalnym (technikum). W ramach projektu realizowanego od 1 grudnia 2011 roku do 30 czerwca 2014 roku, zgodnie z powyższymi informacjami wstępnymi, wyodrębniono 3 etapy. I. Etap pierwszy przygotowawczy, w skład którego wchodziły takie działania, jak: a) rekrutacja uczestników projektu oraz zaangażowanie (empowerment) grup docelowych; b) pogłębiona analiza potrzeb odbiorców i grup docelowych (diagnoza II); c) opracowanie wstępnej wersji produktu innowacyjnego; d) przygotowanie i obrona Strategii Wdrażania wypracowanego produktu innowacyjnego. II. Etap drugi testujący, składał się z takich działań, jak: a) przygotowanie produktu innowacyjnego do testowania; b) testowanie produktu innowacyjnego; c) weryfikacja produktu innowacyjnego, w tym analiza efektów testowania i realizacja badania ewaluacyjnego; d) opracowanie produktu finalnego; e) przekazanie ostatecznej wersji produktu finalnego do walidacji przez Regionalną Sieć Tematyczną

4 III. Etap trzeci upowszechniający, w którego skład wchodziły następujące działania: a) realizacja IPSzDZ przez szkolnych ekspertów; b) realizacja szkoleń dla nauczycieli dotyczących zastosowania innowacyjnego produktu finalnego; c) realizacja kampanii upowszechniającej produkt finalny. 2. Zakres projektu; Zaplanowane działania projektowe związane z opracowaniem mechanizmu interwencji w postaci Innowacyjnego Programu Szkolnego Doradztwa Zawodowego dla zawodowych szkół ponadgimnazjalnych (techników) wynikały z przeprowadzonej diagnozy wskazującej na problemy związane z niedostatecznie skutecznymi rozwiązaniami w obszarze doradztwa edukacyjno-zawodowego oraz trudnościami, na jakie napotykają uczący się na tym poziomie kształcenia. Autorzy i realizatorzy projektu innowacyjnego "Kształtowanie kompetencji personalnych i społecznych w szkole zawodowej drogą do sukcesu na rynku pracy", opierając się na ogólnopolskich badaniach, analizie literatury przedmiotu oraz własnych opracowaniach badawczych, zrealizowanych w ramach projektu (m.in. diagnoza I oraz diagnoza II), zidentyfikowali słabe punkty związane z upowszechnianiem w zawodowych szkołach ponadgimnazjalnych mechanizmów służących dostosowaniu kompetencji absolwentów do potrzeb rynku pracy. Odnosząc się do kwestii problemowych, stanowiących uzasadnienie realizacji projektu, warto wyodrębnić przede wszystkim takie, które są związane z zależnościami między systemem edukacji a rynkiem pracy, jakością kształcenia oraz doradztwem zawodowym. W związku z powyższym, szczególną uwagę należy zwrócić na elementy takie, jak: a) brak w strukturze systemu oświaty narzędzi interwencji służących niwelowaniu skutków niedopasowania kompetencji absolwentów ponadgimnazjalnych szkół zawodowych (technikum) do oczekiwań pracodawców i potrzeb rynku pracy; b) deficyt zajęć z zakresu psychologii, umiejętności miękkich, doradztwa edukacyjnego i zawodowego w technikach; c) niedostosowanie programów nauczania w szkołach ponadgimnazjalnych do dynamicznie zmieniających się uwarunkowań gospodarczych; - 4 -

5 d) brak w programach nauczania elementów wpływających na wzrost kompetencji personalnych i społecznych młodzieży, pozwalających na świadome i skuteczne wejście na rynek pracy; e) znaczna luka informacyjna związana z procesem planowania kształcenia ustawicznego, ciągłego pogłębiania wiedzy i kształtowania umiejętności. Mając na uwadze wymienione wyżej braki i słabe punkty edukacji ponadgimnazjalnej w odniesieniu do szkół technicznych oraz zapotrzebowanie na poprawę warunków kształcenia w omawianych obszarach, produktem finalnym w ramach realizowanego projektu będzie program szkolnego doradztwa zawodowego dla uczących się w szkołach zawodowych typu technikum w ujęciu modułowym wraz z oprzyrządowaniem, czyli pakietem edukacyjnym "Kim chciałbym być kim będę" również w ujęciu modułowym. Pierwszą częścią produktu jest Innowacyjny Program Szkolnego Doradztwa Zawodowego zawierający 5 modułów: I. Poznaję siebie (6h) z uwzględnieniem tematyki równości szans, a ściślej równości płci (gender equality); II. Kompetencje personalne i społeczne w kontekście rozwoju zawodowego (6h); III. Regionalny i ponadregionalny rynek pracy (5h) z uwzględnieniem tematyki: dotyczącej stereotypów tzw. zawodów "męskich" i "kobiecych" oraz zmiany takiego dychotomicznego myślenia; zasad zrównoważonego rozwoju. IV. Kwalifikacje zawodowe. Polska i Europejskie Ramy Kwalifikacji (4h); V. Indywidualny Plan Działania (4h). Każdy moduł uwzględnia: cele operacyjne, materiał kształcenia, zestaw ćwiczeń, zalecenia metodyczne dla nauczycieli, spis środków dydaktycznych, propozycje oceny uczących się, proponowaną liczbę godzin i polecaną literaturę. Łącznie jest to 25 godzin dydaktycznych zajęć warsztatowych. Program uwzględnia ponadto konsultacje indywidualne w wymiarze 2h na każdego uczącego się

6 Drugim elementem produktu finalnego jest pakiet edukacyjny składający się z: poradnika dla nauczyciela; przewodnika dla uczącego się. Poradnik dla nauczyciela składa się z: mini wykładów, ćwiczeń, zaleceń metodycznych, środków dydaktycznych propozycji oceniania, bogatego spisu literatury i załączników. Trzonem przewodnika dla ucznia są z kolei mini wykłady i ćwiczenia. Znajduje się w nich zbiór materiałów i narzędzi dydaktycznych (kwestionariusze ankiet, ćwiczenia, karty pracy) w tym również do pracy indywidualnej. Wspierającym elementem dla nauczycieli i uczących się jest materiał na płytach, który zawiera treści ww. pakietu edukacyjnego rozszerzone o druki rozporządzeń, prezentacje PPT i odnośniki do materiałów internetowych. W I etapie realizacji projektu zrekrutowano 10 nauczycieli (7 kobiet i 3 mężczyzn), którzy wzięli udział w dwudniowym szkoleniu, podczas którego przedstawiono założenia i elementy Innowacyjnego Programu Szkolnego Doradztwa Zawodowego wraz z omawianym powyżej pakietem edukacyjnym. Następnie, zgodnie z harmonogramem realizacji projektu przeprowadzono rekrutację 120 uczących się (66 kobiet, 54 mężczyzn) z techników funkcjonujących w ramach Zespołów Szkół Ponadgimnazjalnych: Zespół Szkół Ponadgimnazjalnych nr 5; Zespół Szkół Ponadgimnazjalnych nr 10; Zespół Szkół Przemysłu Mody; Zespół Szkół Ponadgimnazjalnych nr 15; Zespół Szkół Ponadgimnazjalnych nr 19. Uczący się w podziale na szkoły i płeć. Szkoła Kobiety Mężczyźni ZSP nr ZSP nr ZSPM 20 4 ZSP nr ZSP nr

7 W każdej szkole zrekrutowano 24 uczących się, których następnie podzielono na 12- osobowe grupy zajęciowe prowadzone przez nauczycieli i nauczycielki uczestniczących uprzednio w szkoleniu. W ramach zajęć przeprowadzono 25 godzin lekcyjnych warsztatów grupowych podczas których zapoznano uczących się z zagadnieniami zawartymi w Innowacyjnym Programie Szkolnego Doradztwa Zawodowego. Ponadto, każdy uczący się skorzystał z 2 godzin konsultacji indywidualnych podczas których miał możliwość pogłębienia swojej wiedzy na temat treści związanych z doradztwem zawodowym czy funkcjonowaniem na rynku pracy z perspektywy własnych potrzeb i oczekiwań. 3. Cele i wskaźniki projektu Celem głównym projektu jest: wypracowanie, upowszechnienie i włączenie do głównego nurtu polityki edukacyjnej nowego rozwiązania w postaci Innowacyjnego Programu Szkolnego Doradztwa Zawodowego służącego modernizacji oferty szkół kształcenia zawodowego w terminie 1 XII VI 2014 (zapis w strategii). Wskaźnikami realizacji celu głównego są: 1. Liczba szkół i placówek kształcenia zawodowego, które wdrożyły programy rozwojowe (5); 2. Liczba szkół i placówek kształcenia zawodowego, które zapoznały się z produktem finalnym projektu (18); 3. Powstanie produktu " IPSzDZ" (1); 4. Liczba przedstawicieli instytucji z kraju zapoznanych z produktem odpowiedzialnych za jego wprowadzenie do głównego nurtu polityki lub praktyki (40). Źródła weryfikacji wskaźników: 1. deklaracje szkół o przystąpieniu do projektu oświadczenia dyrektorów; 2. faktyczne rozpoczęcie realizacji zajęć; 3. wpisanie realizacji IPSzDZ do programu pracy szkoły; 4. monitorowanie realizacji zadań non stop przez zespół ewaluacyjny sprawozdania z wizyty przedstawiciela grupy ewaluacyjnej raz na kwartał; - 7 -

8 5. łączne listy obecności przedstawicieli ZSP biorących udział w konferencji upowszechniającej produkt lub konsultacjach z ekspertami lub konferencji podsumowującej; 6. publikacja programu, poradnika dla nauczyciela i przewodnika dla uczącego się (dwukrotnie: produkt do testowania i produkt finalny); 7. listy obecności na 3 konferencjach z podaniem nazwy instytucji i danych kontaktowych (z wyłączeniem powtarzających się nazwisk). Cele szczegółowe cel 1: Podwyższenie o 60% poziomu umiejętności 10 nauczycieli/ek (N) organizujących proces podnoszenia kompetencji personalnych i społecznych uczących się w zakresie wdrażania do praktyki edukacyjnej IPSzDZ w czasie trwania projektu poprzez uczestnictwo w szkoleniu i warsztatach. Wskaźnikami realizacji celu szczegółowego nr 1 są: a) liczba nauczycieli/szkolnych ekspertów, którzy podnieśli kompetencje personalne i społeczne uczniów w ramach projektu (10); b) procent (%), o jaki wzrośnie u nauczycieli kształtowana umiejętność (60%); Źródła weryfikacji wskaźników: a) deklaracja uczestnictwa nauczycieli; b) lista obecności na szkoleniu; c) umowy cywilno-prawne z nauczycielami; d) certyfikat szkolnego eksperta wydany nauczycielom; e) test wiedzy i umiejętności ex ante ex post wypełniany przez nauczycieli; f) autoocena umiejętności nauczycieli realizowana na początku i na końcu zajęć. Cele szczegółowe cel 2: Podwyższenie o 60% kompetencji personalnych i społecznych u 120 uczniów technikum (66 kobiet i 54 mężczyzn) ze szczególnym uwzględnieniem planowania ścieżki edukacyjnej - 8 -

9 i zawodowej w powiązaniu z gospodarką opartą na wiedzy w okresie IX 2012 VI 2013r poprzez uczestnictwo w całym cyklu zajęć. Wskaźnikami realizacji celu szczegółowego nr 2 są: a) liczba uczących się, którzy podnieśli swoje kompetencje personalne i społeczne w ramach projektu (120); b) procent (%), o jaki wzrośnie poziom kompetencji u 120 uczniów (60%) Źródła weryfikacji wskaźników: a) deklaracje uczących się o przystąpieniu do projektu; b) listy obecności na zajęciach/dzienniki zajęć; c) karty odbytych konsultacji indywidualnych; d) certyfikaty wydane uczącym się; e) test na początku i na końcu zajęć (ex ante i ex post); f) ankieta ewaluacyjna; g) hospitacje zajęć przez grupę ewaluacyjną; h) studium przypadku (na próbie 10 losowo wybranych uczących się). Cele szczegółowe cel 3: Podwyższenie o 60% poziomu umiejętności 120 uczących się (66 kobiet i 54 mężczyzn) z zakresu IPSzDZ w okresie IX 2012 VI 2013r poprzez uczestnictwo w całym cyklu zajęć. Językowe sformułowanie tego celu wynika z ograniczonej liczby znaków w generatorze wniosków aplikacyjnych. Z tego powodu zastosowano niejako skrót myślowy wskazując, iż podniesione zostaną umiejętności z zakresu IPSzDZ właściwym sformułowaniem jest tu jednak wzrost umiejętności z zakresu treści zawartych w IPSzDZ. Wskaźnikami realizacji celu szczegółowego nr 3 są: a) liczba uczących się, którzy podwyższyli swoje umiejętności z zakresu predyspozycji i orientacji zawodowej w ramach projektu (120); - 9 -

10 b) procent (%), o jaki wzrośnie u 120 uczących się umiejętność (60%) (umiejętności z zakresu treści zawartych w IPSzDZ). Źródła weryfikacji wskaźników: a) deklaracje uczących się o przystąpieniu do projektu; b) listy obecności na zajęciach / dziennik zajęć; c) karty odbytych konsultacji indywidualnych; d) certyfikaty wydane uczącym się; e) test na początku i na końcu każdej jednostki modułowej (5 jednostek, test ex ante i ex post dla każdej z nich); f) ankieta ewaluacyjna; g) hospitacje zajęć przez grupę ewaluacyjną; Cele szczegółowe cel 4: Podwyższenie o 30% kompetencji 180 nauczycieli w zakresie IPSzDZ na etapie upowszechniania, w okresie VII 2013 VI 2014r poprzez uczestnictwo w konferencjach i konsultacjach. Wskaźnikami realizacji celu szczegółowego nr 4 są: a) liczba nauczycieli, którzy podwyższyli swoje kompetencje w zakresie IPSzDz w ramach projektu (180); b) procent (%), o jaki wzrosną u 180 nauczycieli ww. kompetencje (30%). Źródła weryfikacji wskaźników: a) łączne listy obecności nauczycieli na konferencji upowszechniającej, konsultacjach grupowych i konferencji podsumowującej (z wyłączeniem powtarzających się nazwisk); b) test na początku i na końcu każdego z ww. spotkań (test ex ante i ex post);

11 Cele szczegółowe cel 5: Uzyskanie wiedzy przez 40 osób / decydentów nt. produktu podczas konferencji upowszechniającej i podsumowującej projekt. Wskaźnikiem realizacji celu szczegółowego nr 5 jest: a) liczba osób spoza szkół, które uzyskały wiedzę o produkcie w ramach projektu (40). Źródła weryfikacji wskaźników: a) fiszki (kopie) wysłanych listów informacyjnych wraz z produktem; b) listy obecności na konferencjach z nazwą instytucji i danymi kontaktaktowymi. Z uwagi na zakres prac testujących i cel niniejszego opracowania, na podstawie zrealizowanych badań przedmiotem raportu jest weryfikacja fazy testowania, a co za tym idzie celów szczegółowych od 1 do 3. Na potrzeby projektu przyjęto nomenklaturę fachową powszechnie obowiązującą w systemie edukacji odnoszącą się do pojęć: umiejętności i kompetencje. Umiejętności to zdolność do wykonywania zadań. W świetle tej definicji wyodrębnia się umiejętności: kognitywne (umiejętność stawiania celów, planowanie i uczenie się z zastosowaniem myślenia logicznego, intuicyjnego i kreatywnego); praktyczne (związane ze sprawnością manualną i korzystaniem z metod, materiałów, narzędzi i instrumentów). Pod pojęciem kompetencji rozumiemy zaś zdolność osoby do działania prowadzącego do osiągnięcia zamierzonego celu w danych warunkach i za pomocą określonych środków z uwzględnieniem umiejętności społecznych. Kompetencje są często również określane jako wiedza, umiejętności, zdolności postawy potrzebne do życia w zmieniającym się środowisku. Jest to gotowość do uczenia się przez całe życie

12 4. Zakres i zasady monitoringu i ewaluacji projektu Obowiązkowym elementem projektów innowacyjnych testujących jest zaplanowanie ewaluacji w dwóch wymiarach: wewnętrznym i zewnętrznym. Ewaluacja wewnętrzna ma na celu udzielenie odpowiedzi na pytania odnoszące się do stopnia osiągnięcia założonych celów projektu, realizacji wskaźników, funkcjonowania innowacyjnego produktu oraz zdiagnozowania ewentualnych problemów, które mogą wpływać na realizację projektu w wymiarze efektywności testowanego narzędzia. Cały proces ewaluacji etapu testowania produktu (II etap realizacji projektu) złożony jest z 4 etapów, którymi są: ETAP 1: zaplanowanie działań ewaluacyjnych (analiza celów i wskaźników zamieszczonych we wniosku o dofinansowanie, postawienie pytań badawczych i opracowanie narzędzi ewaluacyjnych, zaplanowanie harmonogramu prac); ETAP 2: gromadzenie danych (realizacja pomiarów na etapie testowania); ETAP 3: przeprowadzenie analizy ilościowej i jakościowej zebranego materiału badawczego; ETAP 4: weryfikacja pytań badawczych, sformułowanie wniosków i rekomendacji. Ponadto, z uwagi na fakt, iż proces ewaluacji powinien zostać uzupełniony o działania monitorujące, które pozwolą na zbudowanie bazy wiedzy wspomagającej wyjaśnianie przyczyn występowania pewnych zjawisk 1, zaplanowano narzędzia monitoringowe wspomagające ewaluację. W ciągu całej fazy testowania realizowano działania monitorujące uczestników projektu, jak również innowacyjny produkt i postęp jego wdrażania w praktykę edukacyjną. Drugim wymiarem prac ewaluacyjnych, jest ewaluacja zewnętrzna, służąca ocenie wstępnej wersji innowacyjnego produktu z punktu widzenia jego efektywności i znaczenia jako atrakcyjnego i jakościowo nowego podejścia. Ewaluacja zewnętrzna nie stanowi przedmiotu niniejszego opracowania. Ewaluacja prowadzona w toku realizacji przedmiotowego projektu ma charakter zarówno konkluzywny, jak i formatywny. Jej podstawowym celem jest podsumowanie zakończonych działań w ramach etapu testowania (II faza realizacji projektu), weryfikacja celów i wykorzystanie wypracowanych wniosków w kolejnej fazie realizacji projektu (etap 1 Miniprzewodnik po ewaluacji projektów innowacyjnych PO KL. Zalecenia Krajowej Instytucji Wspomagającej, Warszawa 2012, s

13 upowszechniania, czyli III). Jednakże biorąc pod uwagę specyfikę projektów innowacyjnych, założono również jako cel równorzędny charakter formatywny realizowanego przedsięwzięcia, zmierzający do poprawy i wprowadzania usprawnień w ramach bieżącej realizacji projektu w odniesieniu zarówno do produktu jak i uczestników. Mając również na względzie cele strategiczne ewaluacji opracowano pytania badawcze, narzędzia ewaluacyjne oraz zaplanowano proces działań ewaluacyjnych i monitorujących. W przedmiotowym raporcie z ewaluacji dotyczącym etapu testowania zostaną przedstawione wyniki prac ewaluacyjnych i monitoringowych w 3 obszarach, które posłużą jednocześnie jako odpowiedzi na 3 pytania badawcze: 1) Czy i w jakim stopniu zamierzone cele projektu odnoszące się do etapu testowania produktu zostały osiągnięte? Weryfikacja wskaźników pomiaru celu. 2) Jak przebiega testowanie produktu? Monitoring uczestników projektu i przebiegu procesu dydaktycznego podczas fazy testowania. 3) Jak funkcjonuje innowacyjny produkt? Weryfikacja IPSzDZ. W ramach wniosków zostanie ponadto podjęta próba odpowiedzi na pytania: a) W jaki sposób przebiega realizacja zasady empowerment? b) Jakie są ewentualne bariery i problemy uniemożliwiające prawidłową realizację projektu? Schemat działań ewaluacyjnych. Zespół ewaluacyjny przy wsparciu Eksperta merytorycznego i ekspertów modułowych Cele ewaluacji (weryfikacja osiągnięcia wskaźników pomiaru celów projektu) Narzędzia ewaluacji Przedmiot ewaluacji (umiejętności i kompetencje uczniów i umiejętności nauczycieli)

14 Monitoringowi został poddany cały proces realizacji projektu. Monitoring ma na celu zapewnienie zgodności realizacji projektu z założeniami i celami zatwierdzonymi we wniosku o dofinansowanie projektu. Monitorowanie spełnia funkcję wewnętrznej kontroli realizacji zadań. Kontrola ta obejmuje zaś kontrolę bieżącą potwierdzenie realizacji poszczególnych działań i ocenę ich skuteczności oraz sposobu realizacji pracy oraz kontrolę końcową czyli sprawdzenie czy wytyczone cele zostały zrealizowane. Monitoring stanowi jednakowoż dokumentowanie realizacji projektu, czyli zbieranie obiektywnych dowodów potwierdzających poprawne wdrażanie projektu. Działanie to jest procesem ciągłym, trwającym przez cały okres projektu. Schemat działań monitorujących Zespół ewaluacyjny przy wsparciu Eksperta merytorycznego i Koordynatora projektu Cel monitoringu (skuteczne wdrażanie projektu) Narzędzia monitoringu Przedmiot monitoringu (monitoring wdrażania produktu i monitoring uczestników) 5. Narzędzia ewaluacji i monitoringu Pierwszym etapem ewaluacji i monitoringu było zaplanowanie działań w tym zakresie uwzględniających przede wszystkim opracowanie narzędzi pomiaru i obserwacji. Zadanie to zostało zrealizowane przez zespół ewaluacyjny, eksperta merytorycznego i ekspertów odpowiedzialnych za treść poszczególnych modułów. Narzędzia zostały zaplanowane zgodnie z zapisami wniosku o dofinansowanie i strategią wdrażania. Uzupełniono je o dodatkowe elementy, których potrzebę zasygnalizowali eksperci oraz które wyniknęły w toku analizy celów ewaluacji w kontekście opracowanego produktu i warunków jego testowania

15 Ewaluacja, której głównym celem było znalezienie odpowiedzi na pytanie Czy i w jakim stopniu zamierzone cele projektu odnoszące się do etapu testowania produktu zostały osiągnięte? poprzez weryfikację wskaźników pomiaru celów szczegółowych, została podzielona na 2 bloki: 1 blok weryfikacja umiejętności nauczycieli: a) test sprawdzający wiedzę i umiejętności nauczycieli z zakresu tematyki IPSzDZ wykonywany przed szkoleniem dla nauczycieli (ex ante) i po przeprowadzeniu zajęć i konsultacji indywidualnych z uczącymi się (ex post); b) ankieta samooceny umiejętności nauczycieli w zakresie wdrażania do praktyki edukacyjnej IPSzDZ (ex ante i ex post). 2 blok weryfikacja umiejętności i kompetencji uczących się: a) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu I Poznaję siebie i obejmujący takie zagadnienia, jak: radzenie sobie ze stresem w pracy; samodzielne podejmowania decyzji; rozpoznawanie swoich mocnych i słabych stron; dostosowanie się do potrzeb i oczekiwań pracodawców (gotowość do podnoszenia kwalifikacji i nauki). b) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu II Kompetencje personalne i społeczne w kontekście rozwoju zawodowego weryfikujący kwestie: porozumiewania się w miejscu pracy; współdziałania z innymi w roli zarówno członka, jak i lidera zespołu. c) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu III Regionalny i ponadregionalny rynek pracy, czyli: efektywnego poszukiwania ofert pracy; pozyskiwania informacji o potrzebach rynku pracy. d) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu IV Kwalifikacje zawodowe. Polska i Europejskie Ramy Kwalifikacji, tzn.: porównywania swoich kompetencji zawodowych z innymi pracownikami; planowania kariery zawodowej (w tym podnoszenie i rozszerzanie kwalifikacji zawodowych)

16 e) test ex ante i ex post sprawdzający umiejętności z zakresu Modułu V Indywidualny Plan Działania, dotyczył takich kwestii jak: praktyczne stosowanie prawa pracy etc.; prezentowanie swoich zainteresowań i kwalifikacji pod kątem wymogów pracodawcy. Każdy z testów sprawdzał wiedzę i umiejętności uczących się z zakresu kompetencji personalnych i społecznych omówionych powyżej. Ponadto, testy umiejętności miały na celu weryfikację znajomości tematyki IPSzDZ, dlatego też oprócz zadań testowych, w których uczący się miał wybrać odpowiedź (znajomość tematyki IPSzDZ), znalazły się również zadania do wykonania (zastosowanie poznanej tematyki w praktyce). f) test ex ante i ex post kompetencji; Test kompetencji (personalnych i społecznych) zawierał scenki sytuacyjne, które miały zostać zinterpretowane przez uczących się na podstawie zadanych pytań. Celem testu była weryfikacja interpretacji sprzed uczestnictwa w zajęciach w ramach projektu oraz po jego zakończeniu. Zespół projektu chciał sprawdzić, czy program, tematyka zajęć, sposób ich przeprowadzenia odnosiły się do sytuacji problemowych zdiagnozowanych uprzednio i czy efektywność tych zajęć jest wysoka (tj. czy kompetencje wzmacniane podczas realizacji zajęć rzeczywiście wzrosły i osiągnęły oczekiwany poziom). UWAGA : W wyniku dyskusji nad strategią wdrażania projektu podczas RST pojawiła się sugestia by dla weryfikacji celów szczegółowych dotyczących uczących się wprowadzić grupę kontrolną. Wprowadzono to narzędzie w postaci wyboru 80 uczących się z tych samych szkół (po 16 osób z każdej placówki). Uczący ci w tym samym czasie co grupa właściwa wykonywali testy opisane w punktach a f (powyżej). g) ankieta samooceny ex post; Kwestionariusz samooceny uczących się jest częścią podręcznika, w którym każdy moduł kończy się podsumowaniem omówionego materiału przez samych uczących się. Początkowo nie planowano użycia tego narzędzia przez zespół ewaluacyjny do weryfikacji stopnia wzrostu umiejętności uczniów, jednakże jego kompleksowość i zbieżność tematyczna

17 z testami umiejętności stanowiącymi zobiektywizowane źródło pomiaru spowodowały, że potraktowano je jako narzędzie pomocnicze. Dodatkowo zostało ono wykorzystane do zmiany programu (ocena przystępności treści przekazywanych na zajęciach dla ucznia uczeń stał się tym samym źródłem informacji nt. stopnia zrozumienia treści zawartych w programie). h) karta obserwacji uczącego się (on going); Nauczyciel miał za zadanie przeprowadzać systematyczną ocenę kompetencji i umiejętności uczniów po realizacji każdego z modułów zajęć. Dzięki temu narzędziu osiągnięto zobiektywizowane źródło informacji na temat wzrostu oczekiwanych kompetencji u uczniów. Stanowi ono narzędzie pomocnicze z uwagi na brak możliwości przełożenia otrzymanych danych na wartości procentowe. W tabeli przedstawiono zestawienie narzędzi ewaluacyjnych dla dwóch grup badanych. Przedmiot ewaluacji Nauczyciele Uczniowie Umiejętności Umiejętności test umiejętności ex ante i ex post ankieta samooceny (ex ante i ex post)- Umiejętności - Umiejętności - Umiejętności - Umiejętności - test umiejętności z zakresu Modułu I ex ante i ex post test umiejętności z zakresu Modułu II ex ante i ex post test umiejętności z zakresu Modułu III ex ante i ex post test umiejętności z zakresu Modułu IV ex ante i ex post test umiejętności z zakresu Modułu V ex ante i ex post ankieta samooceny (ex post) Kompetencje - test kompetencji ex ante i ex-post Kompetencje karta obserwacji uczącego się (on going) Oprócz omówionych narzędzi ewaluacyjnych odnoszących się do weryfikacji osiągnięcia wskaźników celów szczegółowych 1 3 opracowano narzędzia monitorujące cały proces realizacji projektu oraz jego uczestników

18 Narzędzia monitorujące podzielono na dwie grupy: 1. monitorujące produkt zbierające opinie na temat produktu; 2. monitorujące proces testowania produktu i jego uczestników. W ramach narzędzi monitorujących produkt wymienić można: a) kartę oceny Innowacyjnego Programu Szkolnego Doradztwa Zawodowego (ex post); Narzędzie to zostało wykorzystane przez nauczycieli i nauczycielki testujących produkt w celu dokonania weryfikacji poszczególnych elementów Innowacyjnego Programu Szkolnego Doradztwa Zawodowego (miniwykłady, ćwiczenia, załączniki) oraz oceny pracy uczących się objętych wsparciem projektowym w kontekście atrakcyjności produktu. Zastosowanie karty oceny miało na celu uzyskanie informacji zwrotnej od osób testujących jako szkolnych ekspertów innowacyjnego produktu, którzy dzięki jego wdrażaniu w praktykę edukacyjną w poszczególnych szkołach mogli w sposób rzetelny wskazać na jego mocne i słabe strony oraz zidentyfikować obszary wymagające udoskonalenia lub zmiany. b) karta hospitacji zajęć (on going); Wykorzystanie karty hospitacji zajęć miało na celu dokonanie oceny jakości i atrakcyjności Innowacyjnego Programu Szkolnego Doradztwa Zawodowego w ramach danej jednostki lekcyjnej, jak również pracy nauczyciela w kontekście wytycznych Programu, a także pracy uczących się, w tym m.in. ich zaangażowania oraz aktywności na zajęciach. Hospitacje były realizowane przez eksperta merytorycznego jak i przez ekspertów zaangażowanych w opracowywanie poszczególnych modułów. c) karta konsultacji indywidualnych (on going); Najbardziej istotnym aspektem konsultacji indywidualnych było zapoznanie się z problemami uczących się w odniesieniu do planowania ścieżki edukacyjno-zawodowej oraz kompetencji personalnych i społecznych i dostosowanie tematyki konsultacji do indywidualnych potrzeb uczących się. W celu weryfikacji najczęściej pojawiających się problemów i tematów spotkań, opracowano karty konsultacji indywidualnych. W założeniu autorów narzędzia, karta miała służyć wskazaniu obszarów tematycznych, które wymagają udoskonalenia w treści Programu dzięki uzyskaniu informacji zwrotnej od uczących się. d) arkusz obserwacji diagnozującej studium przypadku (on going)

19 Każdy nauczyciel (nauczycielka) miał za zadanie wybrać jednego uczącego się, którego monitorował przez cały okres trwania zajęć w ramach prowadzenia pedagogicznego studium przypadku. Dla każdego modułu Programu określano badane umiejętności i standardy wymagań, diagnozowano aktualny poziom uczącego się w danym zakresie oraz prognozowano dalsze działania mające na celu wzmocnienie umiejętności. Prowadzący zajęcia mieli ocenić użyteczność i przystępność tematyki poszczególnych modułów. e) ankietę ewaluacyjną (ex post); Narzędzie miało na celu uzyskanie opinii uczącego na temat podniesienia poszczególnych kompetencji personalnych i społecznych poprzez uczestnictwo w zajęciach i konsultacjach indywidualnych w ramach projektu. f) protokoły ze spotkań zespołu eksperckiego z nauczycielami; Podczas spotkań zespołu eksperckiego z nauczycielami omawiano proces testowania produktu i poszczególne elementy Innowacyjnego Programu Szkolnego Doradztwa Zawodowego. Spotkania te organizowano w celu konfrontacji teoretycznych założeń autorów i współautorów produktu z praktycznym zastosowaniem zaproponowanych rozwiązań przez nauczycieli testujących produkt. Wnioski ze spotkań spisywano w formie protokołów. Protokoły pełniły zatem rolę wspomagającą, porządkującą porządek dyskusji poprzez zapisanie wniosków i w kwestii problemowych poruszanych podczas spotkania. Natomiast wśród narzędzi monitorujących proces testowania wskazuje się: a) ankietę satysfakcji z udziału w zajęciach wypełniana przez uczących się; Po zakończeniu zajęć uczący się zostali poproszeni o ocenę zajęć w aspekcie merytorycznym (poszczególnych modułów) jak również organizacyjnym (termin zajęć, sprzęt, płyta, podręcznik). Ponadto, dokonali oceny osoby prowadzącej zajęcia. b) arkusz obserwacji zajęć; Celem tego narzędzia było sprawowanie nadzoru nad zgodnością treści zajęć z Innowacyjnym Programem Szkolnego Doradztwa Zawodowego, weryfikacja przygotowania rzeczowego nauczycieli i organizacji zajęć w aspekcie wykorzystania czasu, doboru form pracy z uczącymi się, umiejętności komunikacyjnych nauczyciela, jak również wykorzystania środków dydaktycznych. Obserwacje były prowadzone przez eksperta merytorycznego i kierownika zespołu ewaluacyjnego

20 c) dzienniki zajęć; Pozwoliły prowadzić kompletną dokumentację zajęć i konsultacji indywidualnych (harmonogramy, terminy, tematykę), jak również monitorować frekwencję uczących się na zajęciach. d) listy obecności podczas spotkań zespołu eksperckiego Listy służyły monitoringowi frekwencji ekspertów oraz nauczycieli podczas spotkań. W tabeli przedstawiono zestawienie narzędzi monitorujących. Monitoring produktu (opinie) karta oceny innowacyjnego programu szkolnego doradztwa zawodowego (ex post) karta hospitacji zajęć (on going) karta konsultacji indywidualnych (on going) arkusz obserwacji diagnozującej studium przypadku (on going) ankieta ewaluacyjna (ex post) protokoły ze spotkań zespołu ekspertów z nauczycielami (on going) Monitoring procesu testowania ankieta satysfakcji z udziału w zajęciach (ex post) arkusz obserwacji zajęć (on going) arkusz obserwacji konsultacji indywidualnych (on going) dzienniki zajęć (on going) listy obecności podczas spotkań zespołu eksperckiego 6. Wyniki prowadzonych badań ewaluacyjnych i monitoringu Wyniki badań zostaną zaprezentowane w podziale na 3 części wynikające z opisanych trzech głównych pytań badawczych w 4. części niniejszego raportu. Podział ten dotyczy/ odnosi się do weryfikacji wskaźników pomiaru celów, monitoringu uczestników projektu i przebiegu procesu dydaktycznego podczas fazy testowania oraz weryfikacji Innowacyjnego Programu Szkolnego Doradztwa Zawodowego (IPSzDZ) Weryfikacja wskaźników pomiaru celu Metodologia obliczania wartości procentowej osiągniętych wskaźników Przyjmując, że celami projektu są wzrost określonych umiejętności i kompetencji czyli niwelowanie różnic między ich poziomem posiadanym przez nauczycieli i uczących się przed

21 udziałem w szkoleniu / zajęciach i konsultacjach indywidualnych, a poziomem po ich zakończeniu przyjmuje się za podstawę pomiaru różnicę między poziomem umiejętności i kompetencji przed projektem i po projekcie. Metodologia umożliwiająca ten pomiar uwzględnia miernik zaproponowany przez Petera Bramleya. Ustalony przez niego wskaźnik przyrostu wiedzy opiera się na teście opracowanym dla docelowych wymagań kompetencyjnych i odnoszących się do umiejętności. Wskaźnik pomiaru przyrostu wiedzy / umiejętności / kompetencji ustalany jest jako iloraz różnicy wiedzy / umiejętności / kompetencji (przed szkoleniem i po szkoleniu) i wiedzy możliwej do osiągnięcia w wyniku szkolenia, pomniejszonej o wiedzę posiadaną przed szkoleniem. Otrzymany wynik może być zawarty w przedziale od 0 do 100% i informuje, w jakim stopniu potrzebna wiedza / umiejętności / kompetencje zostały opanowane przez uczestnika zajęć. 2 Wskaźnik ten obrazuje poniższy wzór: wyniki testu ex post minus wyniki testu ex ante Wskaźnik przyrostu = * 100% maksymalne wyniki możliwe do osiągnięcia minus wyniki testu ex ante Poniżej przykład obrazujący metodologię zastosowaną do weryfikacji stopnia realizacji wskaźników: Uczący się przed przystąpieniem do projektu wypełnił test kompetencji ex ante. Maksymalna liczba punktów do zdobycia wynosiła 34, a on uzyskał punktów 10. Po zakończonych warsztatach uczący się ponownie wypełnił test kompetencji, tym razem test ex post. Jego wynik to 28 punktów. W celu obliczenia, o ile procent wzrósł poziom kompetencji uczącego się dokonano następujących obliczeń: wyliczono różnicę pomiędzy wartościami uzyskanymi w teście ex post i ex ante i podzielono wynik przez różnicę pomiędzy maksymalną liczbą punktów możliwą do uzyskania po rozwiązaniu testu a liczba punktów uzyskaną z testu ex ante. Wynik pomnożono przez 100% celem uzyskania wartości procentowej stopnia przyrostu kompetencji. 2 Bramley P., Ocena efektywności szkoleń, Oficyna Ekonomiczna, Kraków 2001, s

22 Wskaźnik przyrostu = 70,83% 28 pkt. 10 pkt. Wskaźnik przyrostu = * 100% 34 pkt. 10 pkt. Z powyższej kalkulacji wynika, że uczeń zwiększył poziom swoich kompetencji o 70,83% w stosunku do poziomu początkowego. Projektodawca założył, że uczestnicy w wyniku udziału w projekcie podwyższą poziom swoich kompetencji personalnych i społecznych oraz umiejętności o 60%. Po przeprowadzeniu testów ex ante obliczono, jaki jest poziom wiedzy każdego uczestnika na wejściu do projektu, natomiast wyniki osiągnięte w testach ex post miały dać odpowiedź, czy udział w zajęciach doprowadził do podwyższenia poziomu kompetencji i umiejętności uczestników o minimum 60% w stosunku do poziomu reprezentowanego przed przystąpieniem do projektu. Po przeprowadzeniu testów ex post porównano wyniki z testami ex ante i zweryfikowano, czy różnica miedzy ex post i ex ante wynosi minimum 60% poziomu, który uczestnik osiągnął w teście ex ante. Metodologia ta zakłada prezentowanie wyników w formie procentowej z dokładnością do dwóch miejsc po przecinku. Weryfikacja wskaźników pomiaru celu. Cel nr 1: Podwyższenie o 60% poziomu umiejętności 10 nauczycieli/ek organizujących proces podnoszenia kompetencji personalnych i społecznych uczniów w zakresie wdrażania do praktyki edukacyjnej Innowacyjnego Programu Szkolnego Doradztwa Zawodowego (IPSDZ) w czasie trwania projektu poprzez uczestnictwo w szkoleniu i warsztatach wyniki testów nauczycieli biorących udział w projekcie. Poniżej przedstawiono wykres obrazujący wyniki z testów ex ante oraz ex post przeprowadzonych wśród 10 nauczycieli i nauczycielek biorących udział w projekcie

23 Pomarańczowym kolorem zaznaczono wyniki testów ex ante, natomiast kolorem zielonym testów ex post. Wyniki testów umiejętności nauczycieli w ujęciu punktowym. Celem projektodawcy było podwyższenie o co najmniej 60% poziomu umiejętności u 10 nauczycieli. Uczestnicy rozwiązali test, w którym można było uzyskać 24 punkty. Średnia liczba punktów osiągnięta przez nauczycieli w teście ex ante wyniosła 6,5 punktu, natomiast z testu ex post 23,6 punktu. Średni wynik uzyskany przez nauczycieli wyniósł 98%, przy czym wskaźnik przyrostu był zróżnicowany u poszczególnych osób i wahał się między 89% a 100%. Zauważalną jest również odmienna wartość przyrostu u kobiet i mężczyzn, odpowiednio 99% i 94%. Rozkład wyników punktowych i procentowych w podziale na płeć. EX ANTE Średnia punktów w testach EX POST Przyrost poziomu umiejętności Kobiety 6,14 23,86 99% Mężczyźni 7,33 23,00 94%

24 Narzędziem wspomagającym pomiar stopnia zwiększenia umiejętności u nauczycieli była ankieta samooceny w odniesieniu do tych umiejętności zrealizowana przed udziałem w szkoleniu i po zakończeniu prowadzenia zajęć i konsultacji indywidualnych z uczącymi się. Zestawienie wyników samooceny nauczycieli ex ante. Lp. Wykaz wiedzy, czynności i umiejętności podlegających samoocenie Tak Nie 1. zidentyfikować zainteresowania, uzdolnienia, temperament, umiejętności praktyczne, dokonać analizy porównawczej informacji o zawodach uzyskanych zidentyfikować placówki udzielające porady zawodowej rozpoznać możliwości uzyskania pomocy w tym finansowej by zaplanować permanentny zidentyfikować poziom energetyczny organizmu wyjaśnić zasady równości szans i płci różnicować i nazywać doświadczane emocje określić przyczynę doświadczanego stresu prowadzić proces dydaktyczny by godzić interesy własne i grupy znajdować podstawy prawne obrony przed mobbingiem przygotować uczącego się do wywiadu jako kandydata do pracy określić proces powstawania stanu wypalenia zawodowego rozróżniać źródła informacji o rynku pracy wyszukiwać dane dotyczących regionalnego posługiwać się klasyfikacją zawodów i specjalności na potrzeby rynku pracy oceniać sytuację wybranych kategorii osób na rynku pracy, ze szczególnym uwzględnieniem prezentować stereotypy postrzegania zawodów kobiecych i męskich dobierać odpowiednie informacje i dane pod kątem prowadzenia ukierunkowanej analizy identyfikować podmioty (urzędy, instytucje itp.), które dysponują odpowiednimi zaprezentować zasady zrównoważonego rozwoju projektować ukierunkowaną (tematyczną) analizę rynku pracy dla potrzeb planowania dalszej porównać Europejskie Ramy Kwalifikacji z Polską Ramą Kwalifikacji wyodrębnić i scharakteryzować kształcenie formalne, pozaformalne i nieformalne dokonać analizy możliwości potwierdzania i uzupełniania kwalifikacji zaplanować ścieżkę edukacyjno-zawodową dla wybranego zawodu dokonać analizy standardu kwalifikacji dla wybranego zawodu, wskazać potencjalnych pracodawców do wybranych kwalifikacji scharakteryzować umowy o pracę i cywilnoprawne wyliczyć wynagrodzenia za pracę omówić europass określić prawa i obowiązki pracownika określić prawa i obowiązki pracownika analizować strategię firmy dobrać szkolenia dla potrzeb rozwoju

25 Zestawienie wyników samooceny nauczycieli ex post. Lp. Wykaz wiedzy, czynności i umiejętności podlegających samoocenie Tak Nie 1. zidentyfikować zainteresowania, uzdolnienia, temperament, umiejętności praktyczne dokonać analizy porównawczej informacji o zawodach uzyskanych zidentyfikować placówki udzielające porady zawodowej rozpoznać możliwości uzyskania pomocy w tym finansowej by zaplanować permanentny zidentyfikować poziom energetyczny organizmu wyjaśnić zasady równości szans i płci różnicować i nazywać doświadczane emocje określić przyczynę doświadczanego stresu prowadzić proces dydaktyczny by godzić interesy własne i grupy znajdować podstawy prawne obrony przed mobbingiem przygotować uczącego się do wywiadu jako kandydata do pracy określić proces powstawania stanu wypalenia zawodowego rozróżniać źródła informacji o rynku pracy wyszukiwać dane dotyczących regionalnego posługiwać się klasyfikacją zawodów i specjalności na potrzeby rynku pracy oceniać sytuację wybranych kategorii osób na rynku pracy, ze szczególnym uwzględnieniem prezentować stereotypy postrzegania zawodów kobiecych i męskich dobierać odpowiednie informacje i dane pod kątem prowadzenia ukierunkowanej analizy identyfikować podmioty (urzędy, instytucje itp.), które dysponują odpowiednimi zaprezentować zasady zrównoważonego rozwoju projektować ukierunkowaną (tematyczną) analizę rynku pracy dla potrzeb planowania dalszej porównać Europejskie Ramy Kwalifikacji z Polską Ramą Kwalifikacji wyodrębnić i scharakteryzować kształcenie formalne, pozaformalne i nieformalne dokonać analizy możliwości potwierdzania i uzupełniania kwalifikacji zaplanować ścieżkę edukacyjno-zawodową dla wybranego zawodu dokonać analizy standardu kwalifikacji dla wybranego zawodu, wskazać potencjalnych pracodawców do wybranych kwalifikacji scharakteryzować umowy o pracę i cywilnoprawne wyliczyć wynagrodzenia za pracę omówić europass określić prawa i obowiązki pracownika określić prawa i obowiązki pracownika analizować strategię firmy dobrać szkolenia dla potrzeb rozwoju 10 0 W wyniku przeprowadzonego naboru na stanowiska nauczycieli testujących Innowacyjny Program Szkolnego Doradztwa Zawodowego zostało wyłonionych dziesięć osób z 5 szkół, które przystąpiły do realizacji projektu. Osoby te posiadały wiedzę

26 i umiejętności z zakresu tematyki objętej zainteresowaniami projektu w różnym zakresie. Odzwierciedleniem tego jest test samooceny przed realizacją szkolenia dla przyszłych ekspertów. W związku z tym, że są to nauczyciele różnych przedmiotów i o różnym doświadczeniu w zakresie działań dotyczących planowania ścieżki edukacyjno-zawodowej uczącego się, wyniki na wstępie były różne. Ważną cechą tej grupy odbiorców jest chęć doskonalenia swoich umiejętności i uczestnictwa w innowacjach pedagogicznych. Dlatego też wyniki testu samooceny po przeprowadzeniu etapu testowania wśród nauczycieli wykazały znaczny wzrost umiejętności w zakresie organizacji procesu podnoszenia kompetencji personalnych i społecznych uczniów w zakresie wdrażania do praktyki edukacyjnej IPSzDZ. Takie wyniki są potwierdzeniem prawidłowości dydaktycznych, że najlepsze efekty uzyskuje się podczas procesu działania w naturalnych warunkach. Analiza samooceny nauczycieli była też podstawą do modyfikacji ostatecznej wersji produktu (uszczegółowienia tych zagadnień, które przysporzyły najwięcej wątpliwości), tak by był on jak najbardziej przydatny i dostępny dla grupy docelowej. Cel nr 2: Podwyższenie o 60% kompetencji personalnych i społecznych u 120 uczniów technikum ze szczególnym uwzględnieniem planowania ścieżki edukacyjnej i zawodowej w powiązaniu z gospodarką opartą na wiedzy w okresie IX 2012 VI 2013 poprzez uczestnictwo w całym cyklu zajęć wyniki testów kompetencji uczniów biorących udział w projekcie. Poniżej przedstawiono wykres obrazujący wyniki testów kompetencji ex ante i ex post przeprowadzonych wśród uczących się. Niebieskim kolorem zaznaczono wyniki osiągnięte przez uczących się w testach przed rozpoczęciem zajęć, natomiast czerwonym kolorem w testach przeprowadzonych po ich zakończeniu

27 - 27 -

28 - 28 -

29 Rozkład wyników punktowych i procentowych w podziale na płeć. EX ANTE Średnia punktów w testach EX POST Przyrost poziomu umiejętności Ogółem 6,77 28,74 80,68% Kobiety 7,65 28,89 80,61% Mężczyźni 5,69 28,56 80,78% Projektodawca zakładał podwyższenie o co najmniej 60% poziomu kompetencji u 120 uczących się. Uczestnicy zajęć rozwiązali test, w którym można było uzyskać 34 punkty. Średnia ilość punktów zdobyta przez uczących się w teście ex ante wyniosła 6,77 (kobiety 7,65, mężczyźni 5,69) punkta, natomiast z testu ex post 28,74 (kobiety 28,89, mężczyźni 28,56) punktu. Następnie obliczono różnicę punktową między testami ex post i ex ante, po czym wyliczono procent wzrostu w stosunku do poziomu wyjściowego. Średni wynik uzyskany przez uczących się wyniósł 80,68% co oznacza znaczący przyrost w stosunku do poziomu sprzed udziału w projekcie. Należy zauważyć, iż właściwie nie istnieją różnice między wynikami osiąganymi przez kobiety i mężczyzn - odpowiednio 80,61% oraz 80,78%. W tabeli wskazano procentowy przyrost kompetencji uczących się dla każdego uczestnika indywidualnie

30 - 30 -

31 - 31 -

32 Warto również odnieść się do wyników testów kompetencji w odniesieniu do szkół uczestniczących w projekcie. Średnie wyniki punktowe dla poszczególnych szkół. Średnie wyniki procentowe dla poszczególnych szkół. ZSP nr 5 ZSP nr 10 ZSPM ZSP nr 15 ZSP nr 19 Średni wzrost kompetencji 81,42% 83,35% 82,13% 84,60% 72,63% Analiza wyników testów kompetencji wskazuje, iż przed przystąpieniem do projektu istniały różnice między uczącymi się z poszczególnych szkół, natomiast po przeprowadzonych zajęciach poziom kompetencji prezentowany przez młodzież z badanych placówek jest bardziej wyrównany. Przed rozpoczęciem zajęć, uczący się prezentowali relatywnie niski poziom kompetencji od średniej punktowej 4,21 w ZSP 10 do 10,50 w ZSP 15. Po zakończeniu zajęć, uczący się osiągnęli podobne wyniki punktowe, w większości oscylujące średnio przy wartości punktowej 29. Najwyższą wartość osiągnęli uczący się z ZSP 15 (powyżej 30), podczas gdy najsłabsze wyniki zaprezentowali uczestnicy projektu z ZSP 19 (26,21). W związku z powyższym, podobnie przedstawia się poziom przyrostu kompetencji wśród uczących się z poszczególnych techników najwyższy przyrost został odnotowany w ZSP 15 84,60% podczas gdy najniższy w ZSP 19 72,63%. W pozostałych szkołach wzrost kompetencji osiągnął zbliżony poziom, ok. 82%

33 Odnosząc się do średnich wyników grupy kontrolnej i uczestników projektu można wyraźnie stwierdzić, że wśród uczących, którzy uczęszczali na zajęcia nastąpił znaczny wzrost poziomu kompetencji w stosunku do grupy kontrolnej, co wskazuje na użyteczność prowadzonych zajęć z Innowacyjnego Programu Szkolnego Doradztwa Zawodowego. Porównanie średnich wyników uczestników projektu i grupy kontrolnej. Średnia punktów w testach Przyrost poziomu umiejętności Uczestnicy Projektu Grupa kontrolna Uczestnicy Grupa EX ANTE EX POST EX ANTE EX POST Projektu kontrolna 6,77 28,74 6,96 8,40 80,68% 5,33% Ponadto, w celu zbadania poziomu kompetencji uczących się biorących udział w projekcie, nauczyciele prowadzili podczas zajęć obserwację uczestników za pomocą specjalnie przygotowanych kart obserwacji uczących się, na których zaznaczali, czy uczestnicy rozwinęli poszczególne kompetencje w stopniu bardzo dobrym, dobrym, umiarkowanym czy też nie osiągnęli ich wcale. Poniżej znajduje się tabela ilustrująca obserwacje nauczycieli w postaci procentowej ilości uczniów, którzy uzyskali daną kompetencję na określonym poziomie. Analiza kart obserwacji uczących się. Bardzo dobrze Dobrze Umiarkowanie Wcale Potrafi rozpoznawać własne 65,00% 32,50% 2,50% 0,00% zainteresowania Potrafi określić swoje 59,17% 31,67% 9,17% 0,00% predyspozycje i zdolności Potrafi podejmować decyzje 49,17% 36,67% 14,17% 0,00% Potrafi pracować w grupie 60,00% 29,17% 10,83% 0,00% Potrafi umiejętnie się komunikować (komunikacja werbalna i niewerbalna) Potrafi radzić sobie w sytuacjach stresowych Potrafi identyfikować źródła informacji o rynku pracy Potrafi rozpoznawać stereotypy i uprzedzenia 55,00% 35,83% 9,17% 0,00% 38,33% 50,00% 11,67% 0,00% 42,50% 50,83% 6,67% 0,00% 50,00% 44,17% 5,83% 0,00%

34 Potrafi interpretować dane dotyczące sytuacji na rynku pracy 33,33% 41,67% 24,17% 0,83% Potrafi porównać swoje 44,17% 45,83% 10,00% 0,00% kompetencje z innymi potencjalnymi pracownikami Potrafi planować ścieżkę 42,50% 47,50% 10,00% 0,00% edukacyjno-zawodową dla wybranego zawodu Potrafi zaproponować sposoby 48,33% 40,00% 11,67% 0,00% uzupełnienia kwalifikacji Potrafi przygotować CV 42,50% 49,17% 8,33% 0,00% Potrafi rozróżnić pojęcia dotyczące prawa pracy Potrafi wyszukać informacje nt. pracodawców 38,33% 48,33% 13,33% 0,00% 45,83% 45,00% 9,17% 0,00% Powyższa tabela wskazuje, że większość kompetencji uczący się opanowali w stopniu dobrym lub bardzo dobrym. Największy problem stanowiło zinterpretowanie danych dotyczących sytuacji na rynku pracy. Jednocześnie uczący się najlepiej radzili sobie z rozpoznawaniem własnych zainteresowań oraz potrafili określić swoje predyspozycje i zdolności. Cel nr 3: Podwyższenie o 60% poziomu umiejętności 120 uczniów z zakresu Innowacyjnego Programu Szkolnego Doradztwa Zawodowego w okresie IX 2012 VI 2013 poprzez uczestnictwo w całym cyklu zajęć wyniki testów umiejętności uczniów biorących udział w projekcie. Poniżej przedstawiono wykres obrazujący wyniki testów umiejętności uczniów przed oraz po ukończeniu zajęć i konsultacji indywidualnych. Niebieskim kolorem zaznaczono wyniki osiągnięte przez uczniów w testach ex ante, natomiast czerwonym kolorem w testach ex post

35 - 35 -

36 - 36 -

37 Rozkład wyników punktowych i procentowych w podziale na płeć. EX ANTE Średnia punktów w testach EX POST Przyrost poziomu umiejętności Ogółem 8,53 30,07 88,03% Kobiety 8,68 30,18 88,40% Mężczyźni 8,33 29,93 87,56% Celem projektodawcy było podwyższenie o co najmniej 60% poziomu umiejetności u 120 uczących się. Rozwiązali oni łącznie 10 testów (5 testów ex ante przed rozpoczęciem zajęć oraz 5 testów ex post po jednym na zakończenie każdego modułu), w których łącznie można było uzyskać 33 punkty. Średnia ilość punktów zdobyta przez uczących się w testach ex ante wyniosła 8,53 (kobiety 8,68, mężczyźni 8,33) punktu, natomiast z testów ex post 30,07 (kobiety 30,18, mężczyźni 29,93) punktu. Wynik ten otrzymano po wyciągnięciu średniej arytmetycznej z wyników uzyskanych przez poszczególnych uczestników. Następnie obliczono różnicę punktową między testami ex post i ex ante, po czym wyliczono procent wzrostu w stosunku do poziomu wyjściowego. Średni wynik otrzymany przez uczniów wyniósł 88,03%. Oznacza to, że przeciętnie każdy uczeń podwyższył poziom swoich umiejętności o 88,03% (kobiety 88,0%, mężczyźni 87,56%) w stosunku do poziomu sprzed udziału w projekcie. W tabeli wskazano procentowy przyrost umiejętności uczących się w ramach wszytskich 5 modułów dla każdego uczestnika indywidualnie