WIELOWYMIAROWY MODEL WSPARCIA I IDENTYFIKACJI KOMPETENCJI ZAWODOWYCH Ewaluacja zewnętrzna projektu i produktu Alicja Zajączkowska PrePost Consulting Warszawa, 18.06.2015
WYKONAWCA EWALUACJI PrePost Consulting Alicja Zajączkowska www.prepost.pl Termin realizacji: lipiec 2012 czerwiec 2015
DLACZEGO EWALUACJA?
DLACZEGO UŻYTECZNOŚĆ I EFEKTYWNOŚĆ? 1. Wydajemy własne pieniądze na nas samych (oszczędnie i celowo) 2. Wydajemy własne pieniądze na kogoś innego (oszczędnie, niekoniecznie celowo) 3. Wydajemy cudze pieniądze na nas samych (nie oszczędnie, ale celowo) 4. Wydajemy cudze pieniądze na kogoś innego (ani oszczędnie, ani celowo) Milton Friedman Laureat Nagrody Nobla z ekonomii)
DLACZEGO INNOWACJE? Źródła konkurencyjności: Konkurencyjność dawniej: zadowolenie klientów, czyli dwie strategie: 1. Lepsza jakość produktu, ale za wyższą cenę 2. Jak najniższe koszty i najtańsze produkty Konkurencyjność obecnie: samo zadowolenie klientów już nie wystarcza. Trzeba ich zachwycić (P.Kotler) 3. Kreatywność innowacyjność jest obecnie najsilniejszym źródłem konkurencyjności, klienci oczekują nowości
DLACZEGO ZMIANY?
STANDARDY EWALUACJI Podczas ewaluacji zespół badawczy przestrzegał standardów ewaluacji opracowanych przez Polskie Towarzystwo Ewaluacyjne.
METODOLOGIA BADANIA - TRIANGULACJA Rzetelność i wiarygodność uzyskanych wyników badań zapewnia triangulacja na trzech poziomach: 1. różne źródła informacji 2. różne metody badawcze 3. różne perspektywy badawcze
TECHNIKI I NARZĘDZIA BADAWCZE Analiza desk research dokumentacji projektowej i programowej PO KL 2 recenzje eksperckie Odbiorcy testowania: Wywiady indywidualne (30) Wywiady telefoniczne w 6 miesięcy po (110) Badania ankietowe PAPI (2 kwestionariusze ponad 250 ankiet) Użytkownicy testowania i upowszechniania Badania ankietowe PAPI (3 kwestionariusze ok. 100 ankiet) Wywiady grupowe (6) Wywiady indywidualne (10) Wywiady telefoniczne (8) Realizatorzy Projektu Wywiad indywidualne (20) Wywiady grupowe (7) Karty rekomendacji (15)
DOBÓR PRÓBY BADAWCZEJ PODMIOTY UCZESTNICZĄCE W BADANIU EWALUACJI PRODUKTU Asesorzy (5) Doradcy zawodowi PUP i CIiPKZ testujący (48) Grupa odbiorców klienci POK (152) Kierownik Projektu i Koordynator merytoryczny (2) Superwizorzy (2) Rada Konsultacyjna (20) Kadra kierownicza WUP, CIiPKZ, PUP (8) Uczestnicy działań upowszechniających (60)
RESPONDENCI BADANIA EWALUACYJNEGO KLIENCI POMORSKIEGO OŚRODKA KOMPETENCJI płeć: liczba kobiet-klientek POK: 91 liczba mężczyzn-klientów POK: 61 wiek: osoby młode (15-24 lata): 10 osoby w wieku starszym (55-64 lata): 15 status na rynku pracy: osoby bezrobotne: 137 osoby nieaktywne zawodowo: 10 wykształcenie: podstawowe, gimnazjalne i niższe: 8 ponadgimnazjalne: 71 pomaturalne: 15 grupy docelowe projektu: osoby długotrwale bezrobotne: 73 osoby niepełnosprawne: 41 osoby w wieku starszym (50-64 lata): 41 wyższe: 58
OCENA ZADOWOLENIA Z USŁUG POK Podczas badania przeprowadzono wywiady telefoniczne ze 110 klientami POK, w tym 64 kobietami i 46 mężczyznami. Klienci deklarowali bardzo wysokie zadowolenie z usług w POK zarówno bezpośrednio po badaniu, jak i po upływie kilku miesięcy. W wywiadach telefonicznych średnio ocenili swój poziom zadowolenia na 4,59 na skali od 1 do 5, gdzie 1 oznacza bardzo nisko, a 5 bardzo wysoko. 93,2% klientów POK poleciłoby innym osobom wizytę w Ośrodku Źródło: Badanie ITI, N=110 klientów POK, PrePost Consulting 2014-2015.
OCENA USŁUGI BADANIA KOMPETENCJI PSYCHOLOGICZNYCH
OCENA USŁUGI BADANIA SPRAWNOŚCI FIZYCZNEJ
OCENA USŁUGI DORADZTWA ERGONOMICZNEGO
OCENA TRWAŁOŚCI EFEKTÓW 81% Badanych klientów POK potwierdza, że realizuje Plan Działań Rozwojowych Źródło: Badanie ITI, N=110 klientów POK, PrePost Consulting 2014-2015. 80% Badanych klientów POK potwierdza, że realizuje wskazówki ergonomiczne Źródło: Badanie ITI, N=110 klientów POK, PrePost Consulting 2014-2015.
OCENA PRZYDATNOŚCI USŁUG
ODROCZONE EFEKTY MODELU
KORZYŚCI DLA ODBIORCÓW
OCENA MODELU PRZEZ UŻYTKOWNIKÓW
KORZYŚCI DLA ASESORÓW
KORZYŚCI DLA DORADCÓW ZAWODOWYCH
REKOMENDACJE DLA MODELU
REKOMENDACJE DLA MODELU