Badanie Regionalnych Ośrodków EFS metodą Mystery Calling i Mystery Shopping Krajowy Ośrodek EFS Centrum Projektów Europejskich Seminarium Polskiego Towarzystwa Ewaluacyjnego i Polskiej Agencji Rozwoju Przedsiębiorczości Warszawa, 27 stycznia 2011r. Sieć Regionalnych Ośrodków EFS oraz Krajowy Ośrodek EFS współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Plan wystąpienia - Podstawa badania - Założenia i cele badania - Wyniki badania - Porównanie wyników wybranych Ośrodków z badao Mystery Shopping i Calling oraz CATI - Napotkane problemy - Wartośd dodana badania - Wnioski koocowe
Podstawa badania Podstawą realizacji badania są: Standardy działania sieci Regionalnych Ośrodków - w szczególności: zał. nr 19 do Standardów: Zasady prowadzenia weryfikacji Regionalnego Ośrodka EFS i personelu kluczowego Badanie typu Mystery Shopping i Mystery Calling stałym elementem procesu weryfikacji jakości usług w Regionalnych Ośrodkach EFS
Założenia i cele badania (1) - Badanie składało się z dwóch oddzielnych badao: Mystery Calling (MC) i Mystery Shopping (MS). - Przy Mystery Calling badacze skontaktowali się z Ośrodkami drogą telefoniczną. - Przy Mystery Shopping badacze odbywali wizyty osobiście w Ośrodkach. - Badaniem objęto 50 Ośrodków. Każdy Regionalny Ośrodek EFS został oceniony na podstawie 4 konsultacji telefonicznych (MC) oraz 2 wizyt osobistych (MS).
Założenia i cele badania (2) Cele badania: Mystery Calling: sprawdzenie wiedzy oraz umiejętności interpersonalnych specjalistów ds. informacji i promocji w Regionalnych Ośrodkach EFS ocena działania Punktu Informacyjnego. Mystery Shopping: sprawdzenie wiedzy oraz umiejętności interpersonalnych doradców kluczowych w Regionalnych Ośrodkach EFS ocena usług doradczych.
Założenia i cele badania (3) W badaniu zostało wykorzystanych 5 profili klientów: 1. Organizacja pozarządowa, 2. Przedsiębiorca, 3. Szkoła (podstawowa, gimnazjalna, ponadgimnazjalna, placówka edukacyjna, w tym przedszkolna), 4. Organizacja pozarządowa chcąca realizowad projekt w partnerstwie z jednostką samorządu terytorialnego, 5. Osoba fizyczna zainteresowana szkoleniami dofinansowanymi Europejskiego ; profil był wykorzystany wyłącznie w badaniu Mystery Calling. W ramach każdego profilu stworzono 2 scenariusze dla obu typów badao łącznie 18 scenariuszy: MC:10, MS:8.
Założenia i cele badania (4) Obszary badawcze Mystery shopping dostępnośd harmonogram bariera wejścia komunikatywnośd wiedza użytecznośd gotowośd etyka Mystery calling dostępnośd bariera wejścia komunikatywnośd wiedza użytecznośd gotowośd etyka
Wyniki badania (1) Wyniki badania zostały przedstawione przy użyciu indeksów statystycznych: Indeks umiejętności pozamerytorycznych Indeks całkowity Wartości indeksów dla obydwu metod badania (Mystery calling i Mystery Shopping) zostały obliczone na podstawie średniej ważonej, uwzględniającej fakt, iż oceny z wizyt osobistych miały wyższą wagę niż oceny konsultacji telefonicznych.
Wyniki badania (2) Indeks całkowity Średnia ocena dla sieci Regionalnych Ośrodków EFS wynosi 87,2 (w skali od 0 do 100) -Średnia ocena dla sieci Regionalnych Ośrodków EFS metodą Mystery shopping wynosi 88,1 (w skali od 0 do 100) -Średnia ocena dla sieci Regionalnych Ośrodków EFS metodą Mystery calling wynosi 85,4 (w skali od 0 do 100)
Wyniki badania (3) Indeks umiejętności pozamerytorycznych Średnia ocena umiejętności pozamerytorycznych wynosi 84,6 (w skali od 0 do 100) -Średnia ocena dla badania Mystery shopping wynosi 84,6 (w skali od 0 do 100) - Średnia ocena dla badania Mystery calling wynosi 84,4 (w skali od 0 do 100)
Wyniki badania (4) Wiedza merytoryczna Odsetek udzielonych poprawnych i wyczerpujących odpowiedzi wynosi 90% (w skali 0-100%) - Wskaźnik udzielonych poprawnych i wyczerpujących odpowiedzi dla badania Mystery shopping wynosi 91,6% - Wskaźnik udzielonych poprawnych i wyczerpujących odpowiedzi dla badania Mystery calling wynosi 86,5%
Indeks całkowity Indeks całkowity MC Indeks całkowity MS dostępnośd harmonogram bariera wejścia komunikatywnośd Wiedza (%) użytecznośd gotowośd etyka Wyniki badania (5) Ranking województw warmiosko-mazurskie 92,7 92,5 92,9 1,7 0,8 1,8 1,7 98,4 1,7 1,7 1,0 mazowieckie 92,2 82,5 97,1 1,6 1,0 1,6 1,4 96,7 1,5 1,6 1,0 opolskie 91,3 74,0 100 1,7 1,0 1,7 1,5 89,1 1,8 1,7 1,0 wielkopolskie 90,3 89,0 91,0 1,9 1,0 1,6 1,6 93,0 1,7 1,7 1,0 pomorskie 90,3 86,5 92,3 1,9 1,0 1,7 1,7 92,6 1,8 1,6 1,0 śląskie 90,3 89,1 90,9 1,7 1,0 1,7 1,6 94,4 1,8 1,7 1,0 lubelskie 88,9 86,3 90,2 1,8 1,0 1,5 1,6 89,8 1,7 1,8 1,0 dolnośląskie 88,7 95,3 85,4 1,8 0,9 1,8 1,8 89,6 1,8 1,8 1,0 małopolskie 88,5 85,1 90,1 1,7 0,9 1,6 1,7 92,3 1,7 1,8 1,0 zachodniopomorskie 88,4 90,2 87,6 1,8 1,0 1,8 1,7 91,7 1,7 1,6 0,9 podlaskie 83,2 84,9 82,3 1,8 0,8 1,4 1,5 86,4 1,3 1,6 0,9 łódzkie 81,0 74,0 84,5 1,4 1,0 1,2 1,2 84,2 1,4 1,4 0,9 świętokrzyskie 80,0 87,5 76,2 1,8 0,8 1,8 1,7 81,3 1,5 1,6 0,9 kujawsko-pomorskie 79,2 61,9 87,9 1,6 1,0 1,2 1,2 81,7 1,3 1,3 0,9 podkarpackie 76,9 86,5 72,2 1,7 1,0 1,6 1,6 75,7 1,6 1,6 1,0 lubuskie 73,3 83,7 68,1 2,0 1,0 1,0 1,3 72,3 1,3 1,3 0,8 średnia 87,2 85,4 88,1 1,7 1,0 1,6 1,6 90,0 1,6 1,6 1,0
Wyniki badania (6) Ranking województw 83,9 93,3 97,9 90,7 82,3 96,2 91,4 80,5 90,8 12 Indeksy powyżej średniej 73,3 91,5 68,4 89,2 95,5 84,7 91,9 78,3 12 Indeksy poniżej średniej 97,6 84,6 93,2 98,5 87,8 Najlepsze ROEFS Najsłabsze ROEFS 85,8 76,8 84,3 95,4 98,3 89,6 91,3 75,5 76,5 91,9 77,2 86,7 62,9 92,1 75,3 81,3 97,8 90,2 86,0 87,2 Indeks dla Polski 97,8 97,8 93,6 96,2 89,9 87,6 72,9 94,6 61,4
2,70 2,68 2,78 2,35 2,37 2,66 2,38 2,49 2,62 2,75 2,75 2,87 2,55 2,48 2,59 2,75 2,68 2,75 Porównanie wyników wybranych Ośrodków z badao Mystery Shopping i Calling oraz CATI Indeks całkowity ocenia w jakim stopniu dany ROEFS umożliwia zdobycie potrzebnych informacji oraz jakość tych informacji. Na indeks ten składa się indeks umiejętności pozamerytorycznych oraz odsetek wyczerpujących odpowiedzi na zadane pytania. Ten indeks również przyjmuje wartości od 0 do 100 punktów. 96,2 Elbląg 12 12 Indeksy powyżej średniej Indeksy poniżej średniej 68,4 Bydgoszcz 95,5 Ciechanów Indeks dla Polski 87,2 84,3 Jelenia Góra 75,5 Łódź Przydatność usług ROEFS (średnio: 2,47) Adekwatność informacji ROEFS (średnio: 2,58) Poziom pracowników ROEFS (średnio: 2,70) 93,6 Oświęcim
Wartośd dodana badania - Możliwośd zweryfikowania wiedzy oraz umiejętności interpersonalnych Regionalnych Ośrodków EFS przy pracy z klientami oraz wydania rekomendacji w tych zakresach. - Możliwośd adaptacji oferty szkoleniowej Krajowego Ośrodka EFS na podstawie wyników badania. - Wyniki mają wpływ na ogólną ocenę działalności Ośrodków. - Wyniki badania podstawą do weryfikacji i aktualizacji Standardów działania sieci.
Napotkane problemy - Odbiór badania: - Raport ogólny przesłany do osób rozliczających Ośrodki oraz do całej sieci. - Raporty indywidualne rozesłane do kierowników Ośrodków. - Odbiór badania osobisty, nastawienie bardziej na obronę niż rozwój. - Koniecznośd weryfikacji polityki informacyjnej w związku z badaniem.
Wnioski koocowe - Badanie Mystery Shopping i Calling jako jeden z elementów systemu weryfikacji (analiza dokumentów, rozmowy z pracownikami, moniotoring telefoniczny klientów); - Uzupełnienie innymi badaniami (Badanie Kompetencji metodą Devopment Center, badanie ewaluacyjne sieci Regionalnych Ośrodków EFS, badanie spójności sieci, itp.).
Dziękuję za uwagę Centrum Projektów Europejskich Krajowy Ośrodek EFS Sieć Regionalnych Ośrodków EFS oraz Krajowy Ośrodek EFS współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego