Raport z ewaluacji szkoleń Projekt Narzędzie do badania kompetencji

Projekt współfinansowany ze środków Unii Europejskiej W ramach Europejskiego Funduszu Społecznego Raport z ewaluacji szkoleń Projekt Narzędzie do badania kompetencji 31.03.2015 1

Spis treści I. INFORMACJE OGÓLNE... 3 II. WYNIKI EWALUACJI SZKOLEŃ... 4 III. ZAŁĄCZNIKI... 16 1. ANKIETY EWALUACYJNE... 16 Spis tabel Tabela 1 Średni poziom odpowiedzi na poszczególne pytania z ankiety ewaluacyjnej. 4 Tabela 2 Średni poziom oceny szkoleń w poszczególnych blokach. 4 Spis wykresów Wykres 1 Liczba szkoleń zrealizowanych w danej lokalizacji 3 Wykres 2 Średnie wyniki ocen w poszczególnych pytaniach 5 Wykres 3 Średni poziom oceny szkoleń w poszczególnych blokach 6 Wykres 4 Średnie wyniki ocen w poszczególnych blokach w podziale na lokalizacje 7 Wykres 5 Średnie wyniki ocen procesu rekrutacji w poszczególnych lokalizacjach 7 Wykres 6 Średnie wyniki ocen standardu ośrodka szkoleniowego w poszczególnych lokalizacjach 8 Wykres 7 Średnie wyniki ocen wyposażenia sal szkoleniowych w poszczególnych lokalizacjach 8 Wykres 8 Średnie wyniki ocen standardu wyżywienia w poszczególnych lokalizacjach 9 Wykres 9 Średnie wyniki ocen zakresu programu szkolenia w poszczególnych lokalizacjach 9 Wykres 10 Średnie wyniki ocen metod szkoleniowych w poszczególnych lokalizacjach 10 Wykres 11 Średnie wyniki ocen materiałów szkoleniowych w poszczególnych lokalizacjach 10 Wykres 12 Średnie wyniki ocen wiedzy merytorycznej, kompetencji i sposobu przekazywania wiedzy przez trenerów w poszczególnych lokalizacjach 11 Wykres 13 Średnie wyniki ocen przydatności wiedzy pozyskanej podczas szkolenia do wykonywanej pracy w poszczególnych lokalizacjach 11 Wykres 14 Średnie wyniki ocen przydatności nabytych umiejętności do stosowania NBK w poradnictwie zawodowym w poszczególnych lokalizacjach 12 Wykres 15 Średnie wyniki ocen funkcjonalności wersji internetowej NBK dla klientów w poszczególnych lokalizacjach 12 Wykres 16 Średnie wyniki ocen funkcjonalności wersji internetowej NBK dla doradców w poszczególnych lokalizacjach 13 Wykres 17 Średnie wyniki ocen wiedzy merytorycznej, kompetencji oraz sposobu przekazywania wiedzy przez każdego z trenerów 13 Wykres 18 Średnie wyniki ocen metod szkoleniowych stosowanych przez każdego z trenerów 14 Wykres 19 Średnie wyniki ocen pracy każdego z trenerów 15 2

I. INFORMACJE OGÓLNE Niniejszy raport dotyczy szkoleń zrealizowanych w okresie od 24.11.2014 do 04.03.2015 w ramach zamówienia o nazwie: Opracowanie narzędzia do badania kompetencji klientów publicznych służb zatrudnienia i Ochotniczych Hufców Pracy, w związku z projektem pn. Narzędzie do badania kompetencji, realizowanym w ramach Programu Operacyjnego Kapitał Ludzki (Priorytet I, Działanie 1.1), finansowanego ze środków Europejskiego Funduszu Społecznego. W terminie od 24.11.2014 do 04.03.2015 odbyło się 105 szkoleń, z których każde podlegało indywidualnej ocenie przez jego uczestników. Przeprowadzono 4 rodzaje szkoleń: 1) 97 trzydniowych szkoleń dla doradców zawodowych z obsługi NBK 2) 6 trzydniowych szkoleń dla trenerów wewnętrznych przygotowujących do prowadzenia szkoleń z zastosowania NBK dla przyszłych użytkowników narzędzia 3) 1 jednodniowe szkolenie dla administratorów technicznych elektronicznej wersji NBK 4) 1 jednodniowe szkolenie dla administratorów merytorycznych NBK W szkoleniach wzięło udział 1356 osób, z czego 71 przeszkolono dwukrotnie - 66 osób wzięło udział w szkoleniach dla doradców i trenerów wewnętrznych NBK, 3 osoby w szkoleniu dla doradców oraz dla administratorów merytorycznych, 2 osoby uczestniczyły w szkoleniu dla doradców i dla administratorów technicznych. Łącznie przeprowadzono 311 dni szkoleniowych, 4243 osobodni szkoleniowych, w których wzięło udział 1427 uczestników z 324 instytucji. Szkolenia odbywały się w 7 lokalizacjach. Liczba szkoleń zrealizowanych w danej lokalizacji zamieszczono na wykresie 1. 35 30 25 20 15 10 5 0 Liczba szkoleń zrealizowanych w danej lokalizacji 31 19 20 14 11 5 5 Białystok Szczecin Lublin Gdynia Katowice Poznań Warszawa Wykres 1 Liczba szkoleń zrealizowanych w danej lokalizacji 3

II. WYNIKI EWALUACJI SZKOLEŃ Uczestnicy w ramach szkoleń wypełniali papierowe ankiety ewaluacyjne. Zostali poproszeni o ocenę szkolenia na 5 stopniowej skali (1-bardzo słabo, 2-słabo, 3-przeciętnie, 4-dobrze, 5-bardzo dobrze) w kontekście zadanych im 12 pytań. poszczególne pytania zaprezentowano poniżej. Tabela 1 Średni poziom odpowiedzi na poszczególne pytania z ankiety ewaluacyjnej. LP. TREŚĆ PYTANIA Średni poziom odpowiedzi 1427 uczestników szkoleń na ŚREDNIA 1. Jak oceniasz proces rekrutacji? 4,38 2. Jak oceniasz standard ośrodka szkoleniowego? 4,39 3. Jak oceniasz wyposażenie sali szkoleniowej? 4,64 4. Jak oceniasz standard wyżywienia? 4,25 5. Jak oceniasz zakres programu szkolenia? 4,70 6. Jak oceniasz metody szkoleniowe stosowane podczas szkolenia? 4,79 7. Jak oceniasz materiały szkoleniowe? 4,76 8. Jak oceniasz wiedzę merytoryczną, kompetencje oraz sposób przekazywania wiedzy 4,87 przez prowadzącego szkolenie? 9. Jak oceniasz przydatność wiedzy pozyskanej podczas szkolenia do wykonywanej pracy? 4,56 10. Jak oceniasz przydatność nabytych umiejętności do stosowania NBK w poradnictwie zawodowym? 4,59 11. Jak oceniasz funkcjonalność wersji internetowej NBK dla doradcy? 4,59 12. Jak oceniasz funkcjonalność wersji internetowej NBK dla klientów? 4,49 Powyższe pytania umieszczono w ankiecie w trzech blokach: I. Ocena organizacji szkoleń (pytania: 1, 2, 3, 4) II. Ocena merytoryczna szkolenia (pytania: 5,6,7,8) III. Ocena przydatności szkolenia w pracy doradcy zawodowego (pytania: 9, 10, 11, 12) Średnie wyniki w tych trzech blokach zamieszczono w tabeli 2. Tabela 2 Średni poziom oceny szkoleń w poszczególnych blokach. OCENA ORGANIZACJI SZKOLENIA: OCENA MERYTORYCZNEJ SZKOLENIA: OCENA PRZYDATNOŚCI SZKOLENIA W PRACY DORADCY ZAWODOWEGO: 4,41 4,78 4,56 Poniżej zamieszczono graficzną reprezentację wyników. 4

4,90 Średnie wyniki ocen w poszczególnych pytaniach 4,87 4,79 4,76 4,70 4,64 4,70 4,56 4,59 4,59 4,50 4,49 4,38 4,39 4,30 4,25 4,10 1. Jak oceniasz proces rekrutacji? 2. Jak oceniasz standard ośrodka szkoleniowego? 3. Jak oceniasz wyposażenie sali szkoleniowej? 4. Jak oceniasz standard wyżywienia? 5. Jak oceniasz zakres programu szkolenia? 6. Jak oceniasz metody szkoleniowe stosowane podczas szkolenia? 7. Jak oceniasz materiały szkoleniowe? 8. Jak oceniasz wiedzę merytoryczną, kompetencje oraz sposób przekazywania wiedzy przez prowadzącego szkolenie? 9. Jak oceniasz przydatność wiedzy pozyskanej podczas szkolenia do wykonywanej pracy? 10. Jak oceniasz przydatność nabytych umiejętności do stosowania NBK w poradnictwie zawodowym? 11. Jak oceniasz funkcjonalność wersji internetowej NBK dla doradcy? 12. Jak oceniasz funkcjonalność wersji internetowej NBK dla klientów? Wykres 2 Średnie wyniki ocen w poszczególnych pytaniach 5

Na wykresie 2 zamieszczono graficzną prezentację średnich wyników w poszczególnych pytaniach. Najwyżej (4,87) uczestnicy szkoleń ocenili wiedzę merytoryczną, kompetencje oraz sposób prowadzenia szkoleń przez trenerów. Najgorzej choć wciąż na wysokim poziomie ocenili standard wyżywienia (4,25). Na wykresie 3 przedstawiono średni poziom oceny szkoleń w poszczególnych blokach. Najwyżej uczestnicy ocenili jakość merytoryczną szkolenia, najsłabiej zaś organizację. 5 4,9 4,8 4,7 4,6 4,5 4,4 4,3 4,2 4,1 4 Średni poziom oceny szkoleń w poszczególnych blokach 4,41 4,78 Ocena organizacji szkolenia Ocena merytoryczna szkolenia Ocena przydatnosci szkolenia w pracy doradcy zawodowego 4,56 Wykres 3 Średni poziom oceny szkoleń w poszczególnych blokach Szkolenia realizowano w 7 lokalizacjach w: Białymstoku, Gdyni, Katowicach, Lublinie, Poznaniu, Szczecinie i Warszawie. Na wykresie 4 przedstawiono średnie ocen w poszczególnych blokach w każdej z wymienionych wyżej lokalizacji. Organizacje szkoleń najniżej (4,21) ocenili uczestnicy biorący udział w szkoleniu w Warszawie, najwyżej zaś w Białymstoku (4,69). Ocena merytoryczna była bardzo wyrównana we wszystkich lokalizacjach, niemniej jednak najlepiej ocenione zostały szkolenia realizowane w Szczecinie (4,92), najsłabiej w Gdyni (4,61). Ocena przydatności szkoleń w pracy doradcy zawodowego mieści się w zakresie od 4,46 (Gdynia) do 4,69 (Szczecin). 6

4,69 4,30 Średnie wyniki ocen w poszczególnych blokach w podziale na lokalizacje 4,65 4,55 4,394,38 4,21 4,73 4,61 4,92 4,85 4,78 4,79 4,69 4,61 4,62 4,61 4,55 4,46 4,50 Ocena organizacji szkoleń Ocena merytoryczna szkoleń Ocena przydatności szkolenia w pracy doradcy zawodowego Wykres 4 Średnie wyniki ocen w poszczególnych blokach w podziale na lokalizacje Na wykresach od 5 do 16 zaprezentowano średnie wyniki ocen każdego z 12 pytań znajdujących się w ankiecie w podziale na lokalizacje. Proces rekrutacji najwyżej ocenili uczestnicy szkoleń w Białymstoku (4,66) najniżej zaś uczestnicy z Gdyni (4,25). Jak oceniasz proces rekrutacji? 4,66 4,59 4,45 4,35 4,25 4,32 Wykres 5 Średnie wyniki ocen procesu rekrutacji w poszczególnych lokalizacjach Oceny standardu ośrodka szkoleniowego mieściły się w granicach od dla Warszawy do 4,81 w Białegostoku. Szczegółowe wyniki zamieszczono na wykresie 6. 7

Jak oceniasz standard ośrodka szkoleniowego? 4,81 4,73 4,69 4,37 4,25 Wykres 6 Średnie wyniki ocen standardu ośrodka szkoleniowego w poszczególnych lokalizacjach Najwyżej poziom wyposażenia sali szkoleniowej ocenili uczestnicy szkoleń realizowanych w Katowicach (4,79), najniżej zaś w Gdyni (4,41). Jak oceniasz wyposażenie sali szkoleniowej? 4,79 4,77 4,61 4,63 4,68 4,41 Wykres 7 Średnie wyniki ocen wyposażenia sal szkoleniowych w poszczególnych lokalizacjach Najbardziej rozbieżne oceny dotyczyły standardu wyżywienia. Najniżej ocenione zostało przez uczestników szkoleń organizowanych w Szczecinie (3,87), najwyżej zaś w Białymstoku (4,70). Szczegółowe dane zaprezentowano na wykresie 8. 8

Jak oceniasz standard wyżywienia? 4,70 4,67 4,28 4,28 4,19 3,87 3,93 Wykres 8 Średnie wyniki ocen standardu wyżywienia w poszczególnych lokalizacjach Programy szkoleń zostały ocenione na podobnym poziomie w każdej z lokalizacji. Wyniki kształtują się w przedziale od 4,52 (Gdynia) do 4,85 (Szczecin). Jak oceniasz zakres programu szkolenia? 4,81 4,85 4,66 4,71 4,68 4,71 4,52 Wykres 9 Średnie wyniki ocen zakresu programu szkolenia w poszczególnych lokalizacjach Najwyżej uczestnicy ocenili metody stosowane przez trenerów prowadzących szkolenia w lokalizacji szczecińskiej (4,94), najniżej zaś w gdyńskiej (4,58). Na wykresie 10 zaprezentowano szczegółowe wyniki. 9

Jak oceniasz metody szkoleniowe stosowane podczas szkolenia? 4,94 4,76 4,82 4,87 4,78 4,82 4,58 Wykres 10 Średnie wyniki ocen metod szkoleniowych w poszczególnych lokalizacjach Jakość materiałów szkoleniowych została oceniona najwyżej przez uczestników szkoleń organizowanych w Szczecinie (4,91), najniżej zaś w Gdyni (4,64). Jak oceniasz materiały szkoleniowe? 4,91 4,82 4,75 4,71 4,73 4,79 4,64 Wykres 11 Średnie wyniki ocen materiałów szkoleniowych w poszczególnych lokalizacjach Uczestnicy wszystkich szkoleń wysoko ocenili wiedzę merytoryczną, kompetencje oraz sposób przekazywania wiedzy przez trenerów. Oceny mieszczą się w granicach od 4,71 (Gdynia) do 4,99 (Lublin i Szczecin). 10

Jak oceniasz wiedzę merytoryczną, kompetencje oraz sposób przekazywania wiedzy przez prowadzącego szkolenie? 4,87 4,76 4,71 4,99 4,86 4,99 4,89 Wykres 12 Średnie wyniki ocen wiedzy merytorycznej, kompetencji i sposobu przekazywania wiedzy przez trenerów w poszczególnych lokalizacjach Uczestnicy szkoleń ocenili przydatność wiedzy pozyskanej podczas szkolenia do wykonywanej pracy na poziomie od 4,46 do 4,81. Szczegółowe wyniki zaprezentowano na wykresie 13. Jak oceniasz przydatność wiedzy pozyskanej podczas szkolenia do wykonywanej pracy? 4,64 4,46 4,47 4,68 4,52 4,81 4,61 Wykres 13 Średnie wyniki ocen przydatności wiedzy pozyskanej podczas szkolenia do wykonywanej pracy w poszczególnych lokalizacjach Oceny przydatności nabytych umiejętności stosowania NBK w poradnictwie zawodowym są na bardzo wyrównanym poziomie we wszystkich lokalizacjach (od 4,50 w Gdyni i Katowicach do 4,78 w Szczecinie). Dane zaprezentowano na wykresie 14. 11

Jak oceniasz przydatność nabytych umiejętności do stosowania NBK w poradnictwie zawodowym? 4,61 4,50 4,50 4,58 4,75 4,66 Wykres 14 Średnie wyniki ocen przydatności nabytych umiejętności do stosowania NBK w poradnictwie zawodowym w poszczególnych lokalizacjach Oceny funkcjonalności wersji internetowej NBK w kontekście pracy doradców (wykres 16) są wyższe niż oceny funkcjonalności dla klientów (wykres 15). Jak oceniasz funkcjonalność wersji internetowej NBK dla klientów? 4,57 4,49 4,51 4,49 4,54 4,52 4,39 Wykres 15 Średnie wyniki ocen funkcjonalności wersji internetowej NBK dla klientów w poszczególnych lokalizacjach 12

Jak oceniasz funkcjonalność wersji internetowej NBK dla doradcy? 4,61 4,70 4,48 4,54 4,59 4,68 4,64 Wykres 16 Średnie wyniki ocen funkcjonalności wersji internetowej NBK dla doradców w poszczególnych lokalizacjach Dokonano również analizy wyników uzyskanych przez poszczególnych trenerów. Badano średnie wyniki ocen pytań dotyczących wiedzy merytorycznej, kompetencji oraz sposobu przekazywania wiedzy (wykres 17) oraz metod stosowanych podczas szkolenia (wykres 18). Policzono również średnie dla każdego trenera z uzyskanych wyników we wskazanych pytaniach. W ten sposób otrzymano tak zwane ogólne wyniki oceny. Zaprezentowano je na wykresie 19. Wiedza merytoryczna została oceniona najwyżej u trenerów: Marty Hajdarowicz (4,99), Marii Sidoruk Błach (4,98), Marleny Chodkowskiej Peły (4,96). Jak oceniasz wiedzę merytoryczną, kompetencje oraz sposób przekazywania wiedzy przez prowadzącego szkolenie? Marta Hajdarowicz Maria Sidoruk-Błach Marlena Chodkowska-Peła Dominik Pieczewski Mariusz Mażewski Monika Banach-Lechowska Przemysław Nieruchalski Maria Spychała Ewa Laus Małgorzata Machniewicz Justyna Rutkowska Marzena Ciszyńska Małgorzata Kornacka Ewa Ziarkowska-Hordyj 4,64 4,69 4,76 4,78 4,82 4,99 4,98 4,96 4,93 4,93 4,93 4,91 4,89 4,88 4,50 4,70 4,90 Wykres 17 Średnie wyniki ocen wiedzy merytorycznej, kompetencji oraz sposobu przekazywania wiedzy przez każdego z trenerów 13

Metody szkoleniowe stosowane przez trenerów zostały w szczególności docenione u Marii Sidoruk Błach, Moniki Banach Lechowskiej, Marleny Chodkowskiej Peła. Jak oceniasz metody szkoleniowe stosowane podczas szkolenia? Maria Sidoruk-Błach Monika Banach-Lechowska Marlena Chodkowska-Peła 4,93 4,91 4,97 Ewa Laus Mariusz Mażewski Przemysław Nieruchalski Dominik Pieczewski 4,85 4,85 4,84 4,84 Maria Spychała Marta Hajdarowicz Justyna Rutkowska 4,78 4,77 4,77 Małgorzata Machniewicz Marzena Ciszyńska 4,71 4,69 Małgorzata Kornacka 4,61 Ewa Ziarkowska-Hordyj 4,48 Wykres 18 Średnie wyniki ocen metod szkoleniowych stosowanych przez każdego z trenerów Uczestnicy w ogólnej ocenie najwyżej oceniono Marię Sidoruk Błach, Marlenę Chodkowską Peła oraz Monikę Banach Lechowską. Szczegółowe wyniki zaprezentowano na wykresie 19. 14

Średnia ocen pracy trenera Maria Sidoruk-Błach Marlena Chodkowska-Peła Monika Banach-Lechowska Dominik Pieczewski Mariusz Mażewski Przemysław Nieruchalski Marta Hajdarowicz Ewa Laus Maria Spychała Justyna Rutkowska Małgorzata Machniewicz Marzena Ciszyńska Małgorzata Kornacka Ewa Ziarkowska-Hordyj 4,56 4,65 4,72 4,77 4,76 4,98 4,93 4,93 4,89 4,89 4,88 4,88 4,87 4,83 4,30 4,50 4,70 4,90 Wykres 19 Średnie wyniki ocen pracy każdego z trenerów W ankietach ewaluacyjnych zamieszczono również miejsca na dowolne komentarze uczestników szkoleń. Wśród pojawiających się uwag najwięcej dotyczyło: docenienia i podkreślenia wagi oraz użyteczności narzędzia obaw o możliwość wykorzystania narzędzia w związku z aktualnie zmienionymi zakresami czynności doradców zawodowych trudności w korzystaniu z elektronicznej wersji NBK w związku z ograniczonym dostępem do komputerów w miejscu pracy zbyt długiej przerwy pomiędzy cyklem szkoleniowym, a wdrożeniem narzędzia i praktycznym jego zastosowaniem oceny standardu jakości usług hotelowych (głosy zarówno pozytywne, jak i negatywne) pozytywnej oceny pracy trenerów (ich wiedzy oraz umiejętności trenerskich) Szkolenia przeprowadzone w ramach projektu Narzędzie do badania kompetencji zostały bardzo wysoko ocenione przez uczestników. W efekcie doradcy wyrażali zainteresowanie innowacyjnym narzędziem oraz deklarowali chęć jego stosowania w pracy zawodowej. W załączniku 1 zamieszczono ankiety ewaluacyjne wypełnione przez uczestników szkoleń. 15

III. ZAŁĄCZNIKI 1. ANKIETY EWALUACYJNE 16