Raport Końcowy z ewaluacji w projekcie: Droga do bezpiecznej służby 1.10.2011-30.04.2013 WYKONAWCA: HABITAT SP. Z O.O. UL. 10 LUTEGO 37/5 GDYNIA
SPIS TREŚCI Sprawozdanie z działań ewaluacyjnych... 3 1. Projektowanie badań:... 3 2. Przeprowadzenie badań:... 3 3. Analiza danych:... 3 Opis wyników badań ewaluacyjnych przeprowadzonych w danym okresie wskaźniki ewaluacyjne... 4 Szczegółowe wyniki dot. satysfakcji uczestników ze szkoleń... 6 Wnioski i podsumowania:... 8 Załącznik 1.... 9
Bieżący raport jest Raportem końcowym ewaluacji projektu. Ewaluacja w projekcie Droga do bezpiecznej służby została zaprojektowana i zrealizowana przez firmę Habitat Sp. z o.o. zgodnie z umową z projektodawcą - Wyższą Szkołą Policji w Szczytnie oraz zapisami umowy o dofinansowanie projektu. Badania ewaluacyjne dotyczyły efektów miękkich projektu. Nadrzędzie badawcze stanowiło wywiad ankietowy uczestników projektu. SPRAWOZDANIE Z DZIAŁAŃ EWALUACYJNYCH Zostały zrealizowane wszystkie działania ewaluacyjne założone w harmonogramie i niezbędne ze względu na postęp rzeczowy projektu. Wszystkie edycje szkoleń zostały poddane badaniu ewaluacyjnemu. Proces badawczy składał się z następujących części: 1. Projektowanie badań: 1.1. Opracowanie koncepcji badania uczestników szkoleń i procesów w projekcie; 1.2. Przygotowanie narzędzia ewaluacji do badania uczestników szkoleń (szablonów ankiet elektronicznych i papierowych); 1.3. Opracowanie założeń do analizy pozyskanych danych powiązania pomiędzy pytaniami w poszczególnych ankietach oraz kierunki interpretacji danych; 1.4. Przygotowanie narzędzi informatycznych i baz danych wspierających proces badawczy. 2. Przeprowadzenie badań: 2.1. Realizacja badań - pozyskanie wypełnionych ankiet od uczestników szkoleń po szkoleniu. Za pomocą systemu on-line oraz ankiety telefonicznej. Ankiety skierowano do wszystkich uczestników szkoleń. 2.2. Wprowadzanie wyników ankiet do bazy danych. 3. Analiza danych: 3.1. Weryfikacja bazy danych z wprowadzonymi ankietami; 3.2. Interpretacja wyników badań; 3.3. Przygotowanie raportów po każdym szkoleniu 3.4. Przygotowanie raportu rocznego z przeprowadzonych badań. 3.5. Przygotowanie raportu końcowego na podstawie całości zebranych danych. Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 3
Opis wyników badań ewaluacyjnych przeprowadzonych w danym okresie wskaźniki ewaluacyjne W procesie ewaluacji zbierano dane istotne ze względu na pomiar miękkich wskaźników ewaluacyjnych określonych w opisie projektu w dokumentacji projektowej. We wniosku o dofinansowanie określono dwa istotne wskaźniki, których stopień realizacji miał informować o poziomie realizacji zakładanych w projekcie celów: 1) Satysfakcja z udziału w projekcie minimum 70% BO M i minimum 70 % BO K Badanie stopnia realizacji tego wskaźnika odbywała się za pomocą wywiadu ankietowego. Kwestionariusz wypełniany przez uczestników szkoleń (zał. 1.) zawierał pytania dotyczące następujących obszarów: organizacji szkolenia (wyżywienie, zakwaterowanie, logistyka etc.), przebiegu szkolenia (instruktorów praktycznych i trenerów prowadzących zajęcia teoretyczne, programu szkolenia). Respondenci oceniali każdy z aspektów na skali 1-6, gdzie oceny 4-6 są ocenami pozytywnymi. Wskaźnik liczony jest, jako procent osób, których średnia ocen wszystkich ocenianych aspektów jest nie mniejsza niż 3,5. Jak widać na poniższym wykresie pozytywną ocenę udziału w szkoleniu deklaruje 99% badanych. Jest to wynik znacznie przewyższający zakładany poziom wskaźnika. Rys.1. Satysfakcja z udziału w szkoleniach wynik procentowy. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 1 99 poziom wskaźnika wyznaczony we wniosku Uczestnicy negatywnie oceniający udział w szkoleniu Uczestnicy pozytywnie oceniający udział w szkoleniu 2) Podniesienie umiejętności praktycznych z zakresu taktyki kierowania pojazdami przez minimum 80% BO M i 80% BO K. Badanie realizacji tego wskaźnika zostało zrealizowane w formie wywiadu ankietowego z wykorzystaniem kwestionariusza zawierającego pytania dotyczące oceny własnych umiejętności przed szkoleniem oraz po szkoleniu. Respondenci oceniali swoje umiejętności praktyczne przed szkoleniem i po szkoleniu na skali od 1-6. Wskaźnik został Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 4
obliczony, jako procent osób, których ocena umiejętności po jest minimum o 1 pkt. wyższa od oceny umiejętności przed szkoleniem. Wskaźnik wzrostu kompetencji w badanym okresie wynosił 92%. Jest on o 12% wyższy niż zakładano we wniosku o dofinansowanie. Rys.2.Wzrost kompetencji uczestników mierzony na podstawie samooceny umiejętności przed szkoleniem i po szkoleniu. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 8 92 poziom wskaźnika wyznaczony we wniosku Uczestnicy, których umiejętności nie wzrosły po szkoleniu Uczestnicy, których umiejętności wzrosły po szkoleniu Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 5
Szczegółowe wyniki dot. satysfakcji uczestników ze szkoleń Oprócz danych niezbędnych do określenia stopnia realizacji wskaźników miękkich określonych w projekcie, badania ewaluacyjne skupiały się także, na określeniu poziomu satysfakcji uczestników szkolenia w aspektach, na które wpływ miał projektodawca. Wyodrębniono dziewięć aspektów, które, zdaniem ewaluatorów, w najbardziej istotny sposób łączyły się ze specyfiką projektu, a zarazem składały się na ogólne poczucie satysfakcji z udziału w szkoleniu u uczestników. Na poniższym wykresie przedstawiono wyniki badań ankietowych uczestników szkoleń w odniesieniu do oceny poszczególnych aspektów. Oceny dokonywane były na skali 1-6. Średnia ocen dla wszystkich aspektów szkolenia jest bardzo wysoka: tylko w trzech obszarach oceny średnie były niższe niż 5. Najwyższa średnia ocen (powyżej 5) dotyczyła: miejsca szkolenia, przebiegu zgodnego z programem, jakości materiałów szkoleniowych, skuteczności instruktorów w przekazywaniu wiedzy, wyposażenia toru oraz przestrzegania równego statusu mężczyzn i kobiet. Warto zwrócić uwagę, że zarówno całościowo liczona ocena satysfakcji ze szkolenia, jak i średnie oceny odnoszące się do szczegółowych aspektów szkoleń znacznie przewyższają poziom założony dla wskaźnika. Rys.3. Średnie oceny poszczególnych aspektów satysfakcji z udziału w szkoleniu Satysfakcja z udziału w szkoleniu -poszczególne aspekty Infrastruktura oraz wyposażenie toru umożliwiały podniesienie umiejętności 5,4 Przestrzegano równego statusu mężczyzn i kobiet 5,7 Instruktorzy skutecznie przekazywali wiedzę i kształtowali umiejętności praktyczne 5,5 Szkolenie przebiegało zgodnie z programem szkolenia 5,5 Jakośd materiałów dydaktycznych spełniła moje oczekiwania 5,1 Catering i posiłki podczas szkolenia były odpowiednie 4,7 Zakwaterowanie podczas szkolenia było satysfakcjonujące 4,1 Organizacja zajęd (czas, intensywnośd) spełniła moje oczekiwania Miejsce (sala i jej wyposażenie) i warunki szkolenia spełniły moje oczekiwania 4,8 5,2 0,0 1,0 2,0 3,0 4,0 5,0 6,0 Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 6
Szczegółowe wyniki dot. wzrostu kompetencji Na poniższym wykresie przedstawiono wyniki badania wzrostu kompetencji uczestników w poszczególnych dziedzinach szkolenia. Wzrost ten, tak jak wskaźnik całościowy, mierzony był za pomocą porównania samooceny w danej dziedzinie przed szkoleniem i po szkoleniu. Rys.4. Wzrost kompetencji w poszczególnych aspektach procent uczestników, u których wystąpił wzrost samooceny danej umiejętności po szkoleniu w stosunku do samooceny przed szkoleniem Wzrost kompetencji - poszczególne aspekty Zajmowanie i utrzymywanie prawidłowej pozycji za kierownicą pojazdu 70 Teoria ruchu i dynamiki jazdy 86 Technika kierowania w czasie poślizgu i właściwe reagowanie na poślizg 94 Manewrowanie pojazdem po wyznaczonej trasie 88 Technika hamowania pojazdem na prostej i po łuku 93 Prawidłowe manewrowanie pedałem przyspieszenia, hamulca, dźwignią zmiany biegów 83 0 10 20 30 40 50 60 70 80 90 100 Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 7
W każdym z aspektów składających się na taktykę kierowania pojazdem nastąpił wyraźny wzrost kompetencji uczestników szkoleń. Jedynie w kwestii dotyczącej prawidłowej pozycji za kierownicą pojazdu odsetek osób, które potwierdziły wzrost kompetencji jest niższy. Z bliższego przyjrzenia się ankietom wynika, że nie jest to spowodowane słabą efektywnością szkolenia, lecz wysokim poziomem kompetencji w tej dziedzinie u uczestników przed szkoleniem. W każdej z pozostałych wyodrębnionych dziedzin nastąpił wzrost kompetencji powyżej poziomu wskaźnika zadeklarowanego we wniosku o dofinansowanie. Wnioski i podsumowania: 1. W projekcie zostały zrealizowane wskaźniki zakładane dla efektów miękkich projektu. 2. Wskaźniki miękkie zostały znacząco przekroczone, co świadczy o sukcesie w aspektach określonych przez zakładane efekty miękkie. 3. Wysoki poziom realizacji wskaźników był monitorowany na bieżąco, po każdym szkoleniu. Wysoki poziom realizacji wskaźników utrzymywał się przez cały okres trwania projektu. Realizacja efektów miękkich nie była w projekcie zagrożona. 4. Wiedza i umiejętności przekazywane w szkoleniach w ramach projektu, były uczestnikom potrzebne i wartościowe dla nich. 5. Umiejętnością, której największy wzrost w wyniku udziału w szkoleniach deklarowali uczestnicy, była technika kierowania w czasie poślizgu. Wydaje się, że wysoki wzrost w tej dziedzinie wynika także z tego, że uczestnicy najsłabiej oceniali swoje umiejętności w tej dziedzinie przed udziałem w szkoleniu. 6. Uczestnicy wyżej ocenili aspekty merytoryczne szkolenia (program, przebieg, instruktorzy etc.) niż organizacyjne (zakwaterowanie, jedzenie, organizacja zajęć etc.). 7. Uczestnicy zgłaszali w ankietach uwagi dotyczące tego, że szkolenia powinny być dłuższe. Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 8
Załącznik 1. Wzór kwestionariusza ankiety stosowanej w procesie ewaluacji projektu Ankieta ewaluacyjna szkolenia Dot. szkolenia: Droga do bezpiecznej służby realizowanego w ramach Programu Operacyjnego Kapitał Ludzki W dniach {data szkolenia} uczestniczyła Pani/uczestniczył Pan w szkoleniu {tytuł i numer szkolenia}. Wyższa Szkoła Policji jako Projektodawca projektu Droga do bezpiecznej służby współfinansowanego przez Unię Europejską ze środków Europejskiego Funduszu Społecznego zobowiązana jest do oceny efektywności szkoleń. W związku z powyższym prosimy o wypełnienie poniższej ankiety, której celem jest ocena szkolenia oraz badanie wzrostu kompetencji uczestników szkoleń. Dane uczestnika Płeć Kobieta Mężczyzna Ocena zadowolenia ze szkolenia Odnieś się do kolejnych stwierdzeń, zakreślając odpowiedź na skali od 1 do 6, gdzie 1 - oznacza zdecydowanie nie zgadzam się /bardzo źle; 2 nie zgadzam się/ źle; 3 raczej się nie zgadzam/ poniżej przeciętnej; 4 raczej się zgadzam/powyżej przeciętnej; 5 - zgadzam się/dobrze; 6 zdecydowanie zgadzam się/ bardzo dobrze Ocena aspektów organizacyjnych Miejsce (sala i jej wyposażenie) i warunki szkolenia spełniły moje oczekiwania Organizacja zajęć (czas, intensywność) spełniła moje oczekiwania Zakwaterowanie podczas szkolenia było satysfakcjonujące Catering i posiłki podczas szkolenia były odpowiednie Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 9
Jakość materiałów dydaktycznych spełniła moje oczekiwania Uwagi uczestnika odnośnie aspektów organizacyjnych szkolenia Ocena przebiegu szkolenia Szkolenie przebiegało zgodnie z programem szkolenia Instruktorzy skutecznie przekazywali wiedzę i kształtowali umiejętności praktyczne Przestrzegano równego statusu mężczyzn i kobiet Infrastruktura oraz wyposażenie toru umożliwiały podniesienie umiejętności Uwagi uczestnika odnośnie przebiegu szkolenia Samoocena kompetencji przed i po szkoleniu Oceń własne kompetencje w dziedzinach opisanych poniżej, zakreślając odpowiedź na skali od 1 do 6, gdzie kolejne cyfry oznaczają: 1 -brak kompetencji w danym zakresie a 6 najwyższe kompetencje w danym zakresie Umiejętności praktyczne z zakresu taktyki kierowania pojazdem Prawidłowe manewrowanie Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 10
pedałem przyspieszenia, hamulca, dźwignią zmiany biegów Technika hamowania pojazdem na prostej i łuku Manewrowanie pojazdem po wyznaczonej trasie Technika kierowania w czasie poślizgu oraz właściwe reagowanie na poślizg kół pojazdu w czasie jazdy Teoria ruchu i dynamiki jazdy Zajmowanie i utrzymywanie prawidłowej pozycji za kierownicą pojazdu Habitat sp. z o.o., ul. Biała 4, 00-895 Warszawa str. 11