RAPORT Z EWALUACJI SZKOLEŃ

EWALUACJA PROJEKTU Europejski Funkcjonariusz RAPORT Z EWALUACJI SZKOLEŃ Ewaluacja ex - post Autor: Krzysztof Leończuk Ośrodek Wspierania Organizacji Pozarządowych w Białymstoku Białystok, sierpień Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Wstęp Niniejszy raport zawiera rezultaty ewaluacji ex-post cyklu szkoleń realizowanych w ramach projektu Europejski Funkcjonariusz realizowanego przez Wyższą Szkołę Administracji Publicznej im. Stanisława Staszica w Białymstoku, skierowanych do pracowników służb cywilnych. Badanie zostało przeprowadzone metodą CAWI (Computer Assisted Web Interviews). Skrót oznacza wywiad przez Internet, prowadzony za pomocą udostępnienia respondentom kwestionariusza internetowego. Technika badań ilościowych, w której pytania ankietowe przekazywane są za pośrednictwem Internetu. Ewaluacja szkoleń, skierowanych do pracowników służb cywilnych polegała na badaniu zmian postaw i deklaracji uczestników szkoleń za pomocą kwestionariuszy internetowych, przesłanych i wypełnianych przez uczestników metoda on-line. Badanie miało charakter badania ex post, co oznacza, że zostało przeprowadzone po zakończeniu realizacji projektu, nie wcześniej niż 6 miesięcy od zakończenia udziału w działaniach projektowych.. Wskaźniki badania beneficjentów, w szczególności badane były ze względu na następujące wymiary ewaluacji: subiektywne poczucie znajomości języków, subiektywne poczucie znajomości obsługi komputera, subiektywne poczucie znajomości tematyki, z zakresu której, prowadzone były zajęcia w ramach projektu, mobilności zawodowej uczestników projektu. W związku z badaniem oceny stopnia realizacji rezultatów projektu, podczas pierwszych zajęć, uczestnicy byli poproszeni w dokonanie oceny stopnia swojej wiedzy przed rozpoczęciem cyklu szkoleniowego (ocena ex-ante). Materiał ten służy za porównanie z informacjami zdobytymi po realizacji modułów szkoleniowych projektu. Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

WYNIKI BADANIA EWALUACYJNEGO Ogólne informacje o usłudze będącej przedmiotem ewaluacji. Zmieszczone poniżej wyniki badania ewaluacyjnego odnoszą się do cyklu szkoleń realizowanych w ramach projektu Europejski Funkcjonariusz. Ogółem w toku badania ex-post zebrano wypełnionych kwestionariuszy ewaluacyjnych. Na podstawie tych kwestionariuszy poniżej przedstawiono statystyki oraz ich analizę. Moduł językowy.. Jak ocenia Pan/i swoją znajomośd języka... 9 angielskiego rosyjskiego 8 9 "" "" "" "" "" Wykres znajomość języków przed przystąpieniem do projektu (ex-ante) Jak ocenia Pan/i sw oją znajomość języka... 9 8 6 6 7 Angielski Rosyjski Wykres znajomość języków po zakończeniu projektu (ex-post) Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Jak pokazują powyższe wykresy już przy pierwszym analizowanym zagadnieniu, odnoszącym się do znajomości języków widzimy zdecydowany wzrost osób deklarujących wzrost poziomu znajomości danego języka po zakończeniu kursów językowych, będących elementem projektu Europejski Funkcjonariusz. Przed rozpoczęciem szkoleń językowych, na pytanie dotyczące znajomości języka, odpowiedź bardzo dobrze i dobrze wskazywało 7% badanych w przypadku języka angielskiego i 8% w przypadku języka rosyjskiego. W sześć miesięcy po zakończeniu szkoleń analogiczne odpowiedzi w przypadku języka anielskiego deklaruje już %, a w przypadku języka rosyjskiego - 6%. Wnioski Badani ocenili pond trzykrotny wzrost swojej znajomości języków po zakończeniu realizacji projektu w stosunku do okresu poprzedzającego swoje uczestnictwo w projekcie. Wskazuje to na bardzo duży wpływ projektu na uczestników oraz bardzo dużą skuteczność stosowanych metod nauczania. Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Znajomość obsługi komputera. Jak ocenia Pan/Pani swoją znajomośd obsługi komputera? Bardzo słaba/ nie używam Potrafię uruchomid komputer i skorzystad z podstawowych funkcji Potrafię w zadowalający sposób korzystad z komputera na swoje własne potrzeby Dobrze radzę sobie ze wszystkimi niezbędnymi programami w mojej pracy 7 Doskonale sobie radzę z komputerem i często pomagam innym w jego obsłudze. Wykres - znajomość obsługi komputera (ex-ante) Jak ocenia Pan/Pani swoją znajomość obsługi komputera Doskonale sobie radzę z komputerem i często pomagam innym w jego obsłudze. Dobrze radzę sobie ze wszystkimi niezbędnymi programami w mojej pracy 7 Potrafię w zadowalający sposób korzystać z komputera na swoje własne potrzeby Potrafię uruchomić komputer i skorzystać z podstawowych funkcji Bardzo słaba/ nie używam Wykres - znajomość obsługi komputera (ex-post) 6 Analogicznie jak w przypadku znajomości języków, znacząco wzrosłą także znajomość obsługi komputera. Na szczególną uwagę zasługuje fakt, iż spośród osób badanych podczas badania ex-post, nikt nie wskazał dwóch najniższych odpowiedzi, które w badaniu wstępnym zgromadziły łącznie % odpowiedzi. Jasno z tego wynika, ze efektem realizacji projektu było całkowite wyeliminowanie grupy osób wykluczonych cyfrowo, czyli takich, którzy albo w ogóle, albo w znikomy sposób znali obsługę komputera. Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Edytora tekstu Arkuszu kalkulacyjnego Programu do prezentacji Programu do tworzenia baz danych Projekt Europejski Funkcjonariusz współfinansowany jest przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Z drugiej strony wzrósł także odsetek respondentów, wykazujących się wysokimi zdolnościami obsługi komputera z % (dwie najwyższe odpowiedzi) przed realizacją projektu, do 79% po zakończeniu realizacji projektu. Wnioski Realizacja projektu wyeliminowała odsetek osób wykluczonych cyfrowo oraz zwiększyła wiedzę i umiejętności we wszystkich grupach wiedzowych osób uczestniczących w szkoleniach komputerowych. Prawie dwukrotnie wzrósł odsetek osób, które doskonale radzą sobie z obsługą komputera. Znajomość programów komputerowych. 6 9 9 9 Programu do tworzenia baz Edytora tekstu Wykres znajomość programów (ex-ante) Jak ocenia Pan/Pani poziom swojej znajomości... 7 8 Wykres 6 znajomość programów (ex-post) Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Poza podstawowymi szkoleniami z obsługi komputera, uczestnicy odbywali także szkolenia specjalistyczne z obsługi programów komputerowych. Analiza danych z przeprowadzonego badania wykazuje wyraźny wzrost znajomości obsługi programów komputerowych. Zmiana ta, szczególnie widoczna jest przy wskazaniu bardzo wysoka. W badaniu ex-ante nikt z respondentów, pytanych o stopień znajomości różnych programów komputerowych, nie skazała odpowiedzi bardzo wysoka. W każdym z proponowanych programów, odsetek tych odpowiedzi wynosił. Ewaluacja ex-post pokazała kolosalną zmianę, jaka zaszła w osobach badanych. Najwyższą wartość swojej oceny znajomości programów komputerowych respondenci wskazywali we wszystkich dostępnych, możliwych odpowiedziach. Odsetek osób bardzo dobrze znających obsługę danego programu wacha się od % w przypadku programu do tworzenia baz danych, do aż 8% w przypadku edytora tekstu. Wnioski Przeprowadzony cykl szkoleniowy, znacznie zwiększył wiedzę i umiejętności uczestników projektu, w zakresie obsługi programów komputerowych, a także podniósł ich samoocenę i wiarę we własne siły. Uczestnicy projektu częściej wskazują najwyższe wartości, w stosunku do oceny swoich umiejętności i wiedzy w danym zakresie. Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Moduł prawny i społeczny. Jak ocenia Pan/Pani poziom swojej wiedzy (w skali od mało zaawansowany do - bardzo zaawansowany) w obszarach: 8 Prawa wspólnotowego 8 8 8 7 8 Regulacji antykorupcyjnych Uczestnictwa funkcjonariuszy publicznych w postępowaniach karnych 6 8 Praw i obowiązków funkcjonariuszy publicznych Wykres 7 ocena wiedzy w obszarach prawnych (ex-ante) Jak ocenia Pan/Pani poziom swojej wiedzy (w skali od - mało zaawansowany do - bardzo zaawansowany) w obszarach: 8 9 8 8 Prawa wspólnotowego Regulacji antykorupcyjnych Uczestnictwa funkcjonariuszy publicznych w postępowaniach karnych Praw i obowiązków funkcjonariuszy publicznych Wykres 8 ocena wiedzy w obszarach prawnych (ex-post) Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Jak ocenia Pan/Pani poziom swojej wiedzy (w skali od mało zaawansowany do - bardzo zaawansowany) w obszarach : 7 9 8 8 Zarządzania zasobami ludzkimi Komunikacji społecznej 7 Etyki zawodowej funkcjonariusza publicznego Wykres 9 ocena wiedzy w obszarach społecznych ex-ante Jak ocenia Pan/Pani poziom swojej wiedzy (w skali od - mało zaawansowany do - bardzo zaawansowany) w obszarach: 7 9 9 Zarządzania zasobami ludzkimi Komunikacji społecznej Etyki zawodowej funkcjonariusza publicznego Wykres ocena wiedzy w obszarach społecznych ex-post Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Analiza zmian subiektywnej oceny wiedzy w obszarach prawnym i społecznym potwierdza tendencję, z poprzednich szkoleń )t.j. szkoleń językowych i komputerowych. Widzimy znaczące przesunięcie słupków odpowiedzi w prawa strojne, co oznacza, że większa liczba osób, wyżej ocenia swoje umiejętności i wiedzę w danych obszarach tematycznych. Wartym zaznaczenia wydaje się jednak fakt, iż deklaratywny wzrost wiedzy z w obszarze prawnym i społecznym, największy jest z przy najwyższych ocenach ( bardzo zaawansowany), gdzie notujemy ponad dwukrotne wzrosty. Interpretować to można w taki sposób, iż osoby specjalizujące się w danym obszarze tematycznym pogłębiły jeszcze bardziej swoja wiedzę i umiejętności. Nie nastąpiła natomiast żadna zmiana (lub wystąpiła w minimalnym stopniu) w najniższych deklaratywnych ocenach poziomu wiedzy uczestników (odpowiedź mało zaawansowany). Tutaj odsetek wskazań przed i po cyklu szkoleniowym, jest bardzo podobny. Świadczyć może to o grupie osób, które mają bardzo techniczny, matematyczny charakter swojej pracy i tego typu zagadnienia nie leżą w ich kręgu zainteresowań. Wnioski Większa liczba osób wskazuje najwyższe odpowiedzi. W wyniku badania wyłoniła się grupa specjalistów, ekspertów, którzy pogłębili swoją znajomość tematyki prawnej i społecznej. Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

Mobilność. Czy w ciągu najbliższych 6 miesięcy planuje Pan/i? 6 8 Kontynuowad pracę na obecnym stanowisku 87 Zmienid stanowisko pracy Zmienid miejsce pracy 8 9 9 Tak Nie Wyemigrowad zarobkowo z kraju Wykres - deklaracje ex-ante Czy w ciągu najbliższych 6 miesięcy planuje Pan/i? Wyemigrować zarobkowo z kraju 8 Zmienić miejsce pracy Zmienić stanowisko pracy 7 6 6 7 Nie wiem Nie Tak Kontynuować pracę na obecnym stanowisku 6 6 7 8 9 Wykres deklaracje ex-post Projekt Europejski Funkcjonariusz w swoich celach zakładał wzrost mobilność zawodowej pracowników dzięki uzyskanej wiedzy i poszerzeniu zakresu własnych umiejętności.. W związku z tym, uczestnicy projektu zostali poproszeni przed rozpoczęciem szkoleń oraz w 6 miesięcy po zakończeniu szkoleń o swoje deklaracje w związku z własnymi planami zawodowymi. Badanie ex-ante wskazywało niewielki odsetek osób, planujących zmianę stanowiska pracy (8 %), lub zmianę pracodawcy (miejsca pracy) %. W badaniu odroczonym ex post, Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

zaobserwowana została znacząca zmiana postaw uczestników szkolenia. Odsetek osób planujących zmienić stanowisko pracy wzrósł do 6%, a odsetek osób planujących zmienić pracodawcę do %. Pojawiał się także grupa osób planujących wyemigrować z kraju %, której to grupy jeszcze nie było przed przystąpieniem do projektu. Warto podkreślić, że są to deklaracje uczestników a nie faktyczny stan rzeczy. W związku z tym, że badaczy interesowały faktyczne zmiany w życiu uczestników projektu, zostali oni poproszeni o informację, czy w ich życiu zawodowym nastąpiły jakieś zmiany w trakcie i po zakończeniu cyklu szkoleniowego. Wykres Zmiana stanowiska pracy Jak pokazuje wykres, aż % uczestników projektu zmieniło swoje stanowiska pracy, co razem z deklaracjami pracowników (wykres ), stanowi grupę % uczestników projektu, deklarujących pośrednio znaczy wzrost mobilności zawodowej. Wnioski Deklaracje uczestników projektu wskazują na bardzo duży wzrost ich mobilności zawodowej, zarówno faktycznej, jak i deklaratywnej. Projekt osiągnął zakładany cel wzrost mobilności zawodowej pracowników. Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl

PODSUMOWANIE Projekt Europejski Funkcjonariusz realizowany przez Wyższą Szkołę Administracji Publicznej im. Stanisława Staszica wywarł bardzo duży wpływ na osoby biorące w nim udział. Zmiany, jakie zostały wywołane realizację projektu, szczególnie objawiają się poprzez: Wzrost wiedzy i umiejętności osób biorących w nim udział w każdym z badanych obszarów. Kilkukrotne wzrosty odsetka osób deklarujących najwyższy stopień znajomości danej tematyki/zagadnienia Wyeliminowanie odsetka osób wykluczonych cyfrowo, przez co rozumiemy, zwiększenie wiedzy i umiejętności osób najsłabiej znających obsługę komputera, do poziomu umożliwiającego, samodzielne, skuteczne korzystanie z komputera. Wyłonienie się grupy ekspertów w danych dziedzinach, przez co rozumiemy grupę osób, w której zwiększyła się wiara we własne siły oraz posiadających najwyższe umiejętności w danym obszarze tematycznym. Znaczny wzrost mobilności zawodowej pracowników (zarówno tej deklaratywnej jak i rzeczywistej) Analiza badanych osób, w 6 miesięcy po zakończeniu realizacji projektu wskazuje na bardzo dużą efektywność prowadzonych działań oraz skłania do rekomendowania proponowanego wsparcia do multiplikowania w innych grupach zawodowych, jak o przykład skutecznego oddziaływania na zmianę społeczną. Biuro projektu: ul. ks. Stanisława Suchowolca 6, pok. - Białystok tel./fax 8 7--9 wew.; eurofunkcjonariusz@wsap.edu.pl