Badanie Regionalnych Ośrodków EFS metodą Mystery Calling i Mystery Shopping. Krajowy Ośrodek EFS Centrum Projektów Europejskich

Wielkość: px

Rozpocząć pokaz od strony:

Download "Badanie Regionalnych Ośrodków EFS metodą Mystery Calling i Mystery Shopping. Krajowy Ośrodek EFS Centrum Projektów Europejskich"

Adrian Szymański
8 lat temu
Przeglądów:

1 Badanie Regionalnych Ośrodków EFS metodą Mystery Calling i Mystery Shopping Krajowy Ośrodek EFS Centrum Projektów Europejskich Seminarium Polskiego Towarzystwa Ewaluacyjnego i Polskiej Agencji Rozwoju Przedsiębiorczości Warszawa, 27 stycznia 2011r. Sieć Regionalnych Ośrodków EFS oraz Krajowy Ośrodek EFS współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

Rozwoju Przedsiębiorczości Warszawa, 27 stycznia 2011r.

2 Plan wystąpienia - Podstawa badania - Założenia i cele badania - Wyniki badania - Porównanie wyników wybranych Ośrodków z badao Mystery Shopping i Calling oraz CATI - Napotkane problemy - Wartośd dodana badania - Wnioski koocowe

Ośrodków z badao Mystery Shopping i Calling oraz CATI -

3 Podstawa badania Podstawą realizacji badania są: Standardy działania sieci Regionalnych Ośrodków - w szczególności: zał. nr 19 do Standardów: Zasady prowadzenia weryfikacji Regionalnego Ośrodka EFS i personelu kluczowego Badanie typu Mystery Shopping i Mystery Calling stałym elementem procesu weryfikacji jakości usług w Regionalnych Ośrodkach EFS

nr 19 do Standardów: Zasady prowadzenia weryfikacji Regionalnego Ośrodka EFS i

4 Założenia i cele badania (1) - Badanie składało się z dwóch oddzielnych badao: Mystery Calling (MC) i Mystery Shopping (MS). - Przy Mystery Calling badacze skontaktowali się z Ośrodkami drogą telefoniczną. - Przy Mystery Shopping badacze odbywali wizyty osobiście w Ośrodkach. - Badaniem objęto 50 Ośrodków. Każdy Regionalny Ośrodek EFS został oceniony na podstawie 4 konsultacji telefonicznych (MC) oraz 2 wizyt osobistych (MS).

- Przy Mystery Shopping badacze odbywali wizyty osobiście w Ośrodkach. - Badaniem objęto 50 Ośrodków.

5 Założenia i cele badania (2) Cele badania: Mystery Calling: sprawdzenie wiedzy oraz umiejętności interpersonalnych specjalistów ds. informacji i promocji w Regionalnych Ośrodkach EFS ocena działania Punktu Informacyjnego. Mystery Shopping: sprawdzenie wiedzy oraz umiejętności interpersonalnych doradców kluczowych w Regionalnych Ośrodkach EFS ocena usług doradczych.

informacji i promocji w Regionalnych Ośrodkach EFS ocena działania Punktu Informacyjnego.

6 Założenia i cele badania (3) W badaniu zostało wykorzystanych 5 profili klientów: 1. Organizacja pozarządowa, 2. Przedsiębiorca, 3. Szkoła (podstawowa, gimnazjalna, ponadgimnazjalna, placówka edukacyjna, w tym przedszkolna), 4. Organizacja pozarządowa chcąca realizowad projekt w partnerstwie z jednostką samorządu terytorialnego, 5. Osoba fizyczna zainteresowana szkoleniami dofinansowanymi Europejskiego ; profil był wykorzystany wyłącznie w badaniu Mystery Calling. W ramach każdego profilu stworzono 2 scenariusze dla obu typów badao łącznie 18 scenariuszy: MC:10, MS:8.

Organizacja pozarządowa chcąca realizowad projekt w partnerstwie z jednostką samorządu terytorialnego, 5.

7 Założenia i cele badania (4) Obszary badawcze Mystery shopping dostępnośd harmonogram bariera wejścia komunikatywnośd wiedza użytecznośd gotowośd etyka Mystery calling dostępnośd bariera wejścia komunikatywnośd wiedza użytecznośd gotowośd etyka

komunikatywnośd wiedza użytecznośd gotowośd etyka Mystery

8 Wyniki badania (1) Wyniki badania zostały przedstawione przy użyciu indeksów statystycznych: Indeks umiejętności pozamerytorycznych Indeks całkowity Wartości indeksów dla obydwu metod badania (Mystery calling i Mystery Shopping) zostały obliczone na podstawie średniej ważonej, uwzględniającej fakt, iż oceny z wizyt osobistych miały wyższą wagę niż oceny konsultacji telefonicznych.

badania (Mystery calling i Mystery Shopping) zostały obliczone na podstawie średniej ważonej,

9 Wyniki badania (2) Indeks całkowity Średnia ocena dla sieci Regionalnych Ośrodków EFS wynosi 87,2 (w skali od 0 do 100) -Średnia ocena dla sieci Regionalnych Ośrodków EFS metodą Mystery shopping wynosi 88,1 (w skali od 0 do 100) -Średnia ocena dla sieci Regionalnych Ośrodków EFS metodą Mystery calling wynosi 85,4 (w skali od 0 do 100)

Ośrodków EFS metodą Mystery shopping wynosi 88,1 (w skali od 0 do 100) -Średnia

10 Wyniki badania (3) Indeks umiejętności pozamerytorycznych Średnia ocena umiejętności pozamerytorycznych wynosi 84,6 (w skali od 0 do 100) -Średnia ocena dla badania Mystery shopping wynosi 84,6 (w skali od 0 do 100) - Średnia ocena dla badania Mystery calling wynosi 84,4 (w skali od 0 do 100)

-Średnia ocena dla badania Mystery shopping wynosi 84,6 (w skali od 0 do

11 Wyniki badania (4) Wiedza merytoryczna Odsetek udzielonych poprawnych i wyczerpujących odpowiedzi wynosi 90% (w skali 0-100%) - Wskaźnik udzielonych poprawnych i wyczerpujących odpowiedzi dla badania Mystery shopping wynosi 91,6% - Wskaźnik udzielonych poprawnych i wyczerpujących odpowiedzi dla badania Mystery calling wynosi 86,5%

poprawnych i wyczerpujących odpowiedzi dla badania Mystery shopping wynosi 91,6% -

12 Indeks całkowity Indeks całkowity MC Indeks całkowity MS dostępnośd harmonogram bariera wejścia komunikatywnośd Wiedza (%) użytecznośd gotowośd etyka Wyniki badania (5) Ranking województw warmiosko-mazurskie 92,7 92,5 92,9 1,7 0,8 1,8 1,7 98,4 1,7 1,7 1,0 mazowieckie 92,2 82,5 97,1 1,6 1,0 1,6 1,4 96,7 1,5 1,6 1,0 opolskie 91,3 74, ,7 1,0 1,7 1,5 89,1 1,8 1,7 1,0 wielkopolskie 90,3 89,0 91,0 1,9 1,0 1,6 1,6 93,0 1,7 1,7 1,0 pomorskie 90,3 86,5 92,3 1,9 1,0 1,7 1,7 92,6 1,8 1,6 1,0 śląskie 90,3 89,1 90,9 1,7 1,0 1,7 1,6 94,4 1,8 1,7 1,0 lubelskie 88,9 86,3 90,2 1,8 1,0 1,5 1,6 89,8 1,7 1,8 1,0 dolnośląskie 88,7 95,3 85,4 1,8 0,9 1,8 1,8 89,6 1,8 1,8 1,0 małopolskie 88,5 85,1 90,1 1,7 0,9 1,6 1,7 92,3 1,7 1,8 1,0 zachodniopomorskie 88,4 90,2 87,6 1,8 1,0 1,8 1,7 91,7 1,7 1,6 0,9 podlaskie 83,2 84,9 82,3 1,8 0,8 1,4 1,5 86,4 1,3 1,6 0,9 łódzkie 81,0 74,0 84,5 1,4 1,0 1,2 1,2 84,2 1,4 1,4 0,9 świętokrzyskie 80,0 87,5 76,2 1,8 0,8 1,8 1,7 81,3 1,5 1,6 0,9 kujawsko-pomorskie 79,2 61,9 87,9 1,6 1,0 1,2 1,2 81,7 1,3 1,3 0,9 podkarpackie 76,9 86,5 72,2 1,7 1,0 1,6 1,6 75,7 1,6 1,6 1,0 lubuskie 73,3 83,7 68,1 2,0 1,0 1,0 1,3 72,3 1,3 1,3 0,8 średnia 87,2 85,4 88,1 1,7 1,0 1,6 1,6 90,0 1,6 1,6 1,0

90,3 89,0 91,0 1,9 1,0 1,6 1,6 93,0 1,7 1,7 1,0 pomorskie 90,3 86,5 92,3 1,9 1,0 1,7 1,7 92,6 1,8 1,6 1,0 śląskie 90,3 89,1 90,9 1,7 1,0 1,7 1,6 94,4 1,8 1,7 1,0 lubelskie 88,9 86,3 90,2 1,8 1,0 1,5

Wyniki badania (6) Ranking województw 83,9 93,3 97,9 90,7 82,3 96,2 91,4 80,5 90,8 12 Indeksy powyżej średniej 73,3 91,5 68,4 89,2 95,5 84,7 91,9 78,3 12 Indeksy poniżej średniej 97,6 84,6 93,2 98,5

13 Wyniki badania (6) Ranking województw 83,9 93,3 97,9 90,7 82,3 96,2 91,4 80,5 90,8 12 Indeksy powyżej średniej 73,3 91,5 68,4 89,2 95,5 84,7 91,9 78,3 12 Indeksy poniżej średniej 97,6 84,6 93,2 98,5 87,8 Najlepsze ROEFS Najsłabsze ROEFS 85,8 76,8 84,3 95,4 98,3 89,6 91,3 75,5 76,5 91,9 77,2 86,7 62,9 92,1 75,3 81,3 97,8 90,2 86,0 87,2 Indeks dla Polski 97,8 97,8 93,6 96,2 89,9 87,6 72,9 94,6 61,4

98,5 87,8 Najlepsze ROEFS Najsłabsze ROEFS 85,8 76,8 84,3 95,4 98,3 89,6 91,3 75,5 76,5 91,9 77,2

2,70 2,68 2,78 2,35 2,37 2,66 2,38 2,49 2,62 2,75 2,75 2,87 2,55 2,48 2,59 2,75 2,68 2,75 Porównanie wyników wybranych Ośrodków z badao Mystery Shopping i Calling oraz CATI Indeks całkowity ocenia w

14 2,70 2,68 2,78 2,35 2,37 2,66 2,38 2,49 2,62 2,75 2,75 2,87 2,55 2,48 2,59 2,75 2,68 2,75 Porównanie wyników wybranych Ośrodków z badao Mystery Shopping i Calling oraz CATI Indeks całkowity ocenia w jakim stopniu dany ROEFS umożliwia zdobycie potrzebnych informacji oraz jakość tych informacji. Na indeks ten składa się indeks umiejętności pozamerytorycznych oraz odsetek wyczerpujących odpowiedzi na zadane pytania. Ten indeks również przyjmuje wartości od 0 do 100 punktów. 96,2 Elbląg Indeksy powyżej średniej Indeksy poniżej średniej 68,4 Bydgoszcz 95,5 Ciechanów Indeks dla Polski 87,2 84,3 Jelenia Góra 75,5 Łódź Przydatność usług ROEFS (średnio: 2,47) Adekwatność informacji ROEFS (średnio: 2,58) Poziom pracowników ROEFS (średnio: 2,70) 93,6 Oświęcim

Na indeks ten składa się indeks umiejętności pozamerytorycznych oraz odsetek wyczerpujących odpowiedzi na zadane pytania. Ten indeks również przyjmuje wartości od 0 do 100 punktów.

15 Wartośd dodana badania - Możliwośd zweryfikowania wiedzy oraz umiejętności interpersonalnych Regionalnych Ośrodków EFS przy pracy z klientami oraz wydania rekomendacji w tych zakresach. - Możliwośd adaptacji oferty szkoleniowej Krajowego Ośrodka EFS na podstawie wyników badania. - Wyniki mają wpływ na ogólną ocenę działalności Ośrodków. - Wyniki badania podstawą do weryfikacji i aktualizacji Standardów działania sieci.

- Możliwośd adaptacji oferty szkoleniowej Krajowego Ośrodka EFS na podstawie wyników badania.

16 Napotkane problemy - Odbiór badania: - Raport ogólny przesłany do osób rozliczających Ośrodki oraz do całej sieci. - Raporty indywidualne rozesłane do kierowników Ośrodków. - Odbiór badania osobisty, nastawienie bardziej na obronę niż rozwój. - Koniecznośd weryfikacji polityki informacyjnej w związku z badaniem.

- Raporty indywidualne rozesłane do kierowników Ośrodków.

17 Wnioski koocowe - Badanie Mystery Shopping i Calling jako jeden z elementów systemu weryfikacji (analiza dokumentów, rozmowy z pracownikami, moniotoring telefoniczny klientów); - Uzupełnienie innymi badaniami (Badanie Kompetencji metodą Devopment Center, badanie ewaluacyjne sieci Regionalnych Ośrodków EFS, badanie spójności sieci, itp.).

klientów); - Uzupełnienie innymi badaniami (Badanie Kompetencji metodą Devopment

18 Dziękuję za uwagę Centrum Projektów Europejskich Krajowy Ośrodek EFS Sieć Regionalnych Ośrodków EFS oraz Krajowy Ośrodek EFS współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

oraz Krajowy Ośrodek EFS współfinansowany ze środków

Podobne dokumenty

Średnia wielkość powierzchni gruntów rolnych w gospodarstwie za rok 2006 (w hektarach) Jednostka podziału administracyjnego kraju

Średnia wielkość powierzchni gruntów rolnych w gospodarstwie za rok 2006 (w hektarach) Jednostka podziału administracyjnego kraju ROLNYCH W GOSPODARSTWIE W KRAJU ZA 2006 ROK w gospodarstwie za rok 2006 (w hektarach) Województwo dolnośląskie 14,63 Województwo kujawsko-pomorskie 14,47 Województwo lubelskie 7,15 Województwo lubuskie