ARKUSZ OCENY WIELOWYMIAROWEJ

Transkrypt

1 ARKUSZ OCENY WIELOWYMIAROWEJ Lublin, luty 2015 r.

2 Spis treści: Wprowadzenie... 3 Cel arkusza oceny wielowymiarowej... 4 Metodyka opracowania wskaźników arkusza oceny wielowymiarowej... 5 Sposób opracowania arkusza oceny wielowymiarowej... 7 Załącznik nr 1. Arkusz Oceny Wielowymiarowej (formularz)

3 Wprowadzenie Niniejszy dokument został opracowany w ramach projektu Nowoczesne zarządzanie outsourcingiem usług społecznych realizowanego przez Fundację Inicjatyw Menedżerskich (FIM). Dokument opracowany na zlecenie Fundacji Inicjatyw Menedżerskich W ramach projektu współfinansowanego ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego, Program Operacyjny Kapitał Ludzki, Priorytet V Dobre rządzenie Działanie 5.4 Rozwój potencjału trzeciego sektora Poddziałanie Rozwój dialogu obywatelskiego 3

4 Cel arkusza oceny wielowymiarowej Arkusz oceny wielowymiarowej jest narzędziem komplementarnym z Kalkulatorem użyteczności społecznej i pozwala na wielowymiarową ocenę jakości świadczenia usług społecznych. Arkusz powinien być stosowany w procesie ewaluacji zakontraktowanych usług społecznych. Arkusz oceny wielowymiarowej podobnie jak Kalkulator użyteczności społecznej czy Kalkulator kosztów ekonomicznych jest ujęty w formie tabeli powiązanej z Matrycą Usług Społecznych i obejmuje zadania z zakresu: Edukacji publicznej Ochrony zdrowia Kultury, kultury fizycznej i rekreacji Pomocy i opieki społecznej Mieszkalnictwa Porządku publicznego i bezpieczeństwa obywateli Kluczowym zadaniem arkusza jest ustalenie (wyliczenie) jakości usługi z punktu widzenia jej beneficjentów oraz otoczenia beneficjentów. Arkusz wraz z Kalkulatorami pozwala na zarządzanie zmianą jakości świadczenia usług poprzez monitorowanie i porównywanie wskaźników użyteczności społecznej. 4

5 Metodyka opracowania wskaźników arkusza oceny wielowymiarowej Opracowując katalog wskaźników arkusza oceny wielowymiarowej przyjęto następujące założenia: 1. Arkusz jest kompatybilny z Kalkulatorem użyteczności społecznej stosowanym dla danej usługi w procesie KUS (to znaczy, że wskaźniki jakościowe zawarte w kalkulatorze powinny być wykorzystane w arkuszu) 2. Katalog wskaźników arkusza oceny wielowymiarowej jest katalogiem otwartym, poszczególne usługi w danych społecznościach mogą być monitorowane w oparciu o odmienne zestawy wskaźników. 3. Wskaźniki użyte w arkuszu oceny wielowymiarowej muszą być tak opracowane, aby sposób ich obliczania nie był zbyt skomplikowany. Wstępny otwarty katalog wskaźników bazowych dla arkusza oceny wielowymiarowej wykorzystuje wszystkie dziewięć wskaźników z katalogu wskaźników Kalkulatora użyteczności społecznej (przy czym definicje sposobu uzyskiwania pomiaru dla każdego ze wskaźników są takie same i zakładają wykorzystanie metody ankietowej. Lista wskaźników obejmuje: 1. Bezpieczeństwo. 2. Dopasowanie do oczekiwań i potrzeb społecznych. 3. Dopasowanie do wymogów środowiskowych/ekologicznych. 4. Dostępność (możliwość skorzystania). 5. Odległość. 6. Jakość infrastruktury. 7. Skuteczność. 8. Jakość. 9. Różnorodność oferty. Powyższe wskaźniki oraz ich definicje przywołane są w poniżej tabeli: 1. Bezpieczeństwo Wskaźnik bezpieczeństwo określa, w jakim stopniu sposób świadczenia danej usługi społecznej może wpłynąć na bezpieczeństwo fizyczne osób i mienia, które podlegają danej usłudze lub osób i mienia, które nie podlegają danej usłudze, ale usługa ta może mieć na nie wpływ. 2. Dopasowanie do oczekiwań i potrzeb społecznych Wskaźnik dopasowania do oczekiwań i potrzeb społecznych określa, w jakim stopniu sposób świadczenia danej usługi spełnia oczekiwania lokalnej społeczności. 5

6 3. Dopasowanie do wymogów środowiskowych / ekologicznych Wskaźnik dopasowania do wymogów środowiskowych / ekologicznych określa, w jakim stopniu sposób świadczenia danej usługi spełnia oczekiwania lokalnej społeczności w tym zakresie. Jest to wskaźnik uzupełniający (subiektywny) w stosunku do istniejących norm i procedur środowiskowych. 4. Dostępność (możliwość skorzystania) Wskaźnik dostępności (możliwości skorzystania) określa, w jakim stopniu sposób świadczenia danej usługi spełnia oczekiwania lokalnej społeczności w obszarze możliwości skorzystania z danej usługi przez jak najszerszą grupę beneficjentów. 5. Odległość Wskaźnik odległość określa, w jakim stopniu oddalone jest miejsce świadczenia danej usługi od jej beneficjentów, monitoruje sposób świadczenia danej usługi pod kątem spełnienia oczekiwania lokalnej społeczności w obszarze możliwości skorzystania z danej usługi z uwagi na konieczność pokonywania odległości pomiędzy miejscem zamieszkania beneficjentów, a miejscem świadczenia danej usługi społecznej. 6. Infrastruktura Wskaźnik określa stopień wyposażenia w niezbędną infrastrukturę techniczną dostawców danej usługi społecznej. 7. Skuteczność Wskaźnik skuteczność określa, w jakim stopniu sposób świadczenia danej usługi spełnia oczekiwania lokalnej społeczności w zakresie skuteczności jej świadczenia. 8. Jakość Wskaźnik jakości określa, w jakim stopniu sposób świadczenia danej usługi społecznej odpowiada oczekiwaniom jakościowym stawianym wobec niej przez lokalną społeczność beneficjentów danej usługi oraz otoczenia beneficjentów. 9. Różnorodność oferty Wskaźnik różnorodności oferty określa, w jakim stopniu sposób świadczenia danej usługi społecznej odpowiada oczekiwaniom jakościowym stawianym wobec niej przez lokalną społeczność beneficjentów danej usługi oraz otoczenie beneficjentów. 6

7 Sposób opracowania arkusza oceny wielowymiarowej Arkusz oceny wielowymiarowej opracowywany jest indywidualnie dla każdej z usług społecznych. Kompletny arkusz oceny wielowymiarowej gromadzi w postaci spójnego opracowania wszystkie informacje odnoszące się do aktualnego i wcześniejszych sposobów świadczenia danej usługi. W szczególności arkusz zawiera: 1. Wymagania formalne i podstawę prawną. 2. Wyniki badań (o ile istnieją). 3. Opis wcześniejszym metod zapewnienia danej usługi (o ile była wcześniej wykonywana). 4. Kontekst strategiczny (o ile dana usługa jest przedmiotem zapisów w dokumentach strategicznych danej jednostki). 5. Studium celowości odnoszące się do danej usługi. 6. Wyniki oceny wielowymiarowej uzyskanej od beneficjentów, otoczenia beneficjentów, nadzorującej daną usługę przedstawiciela jednostki samorządowej oraz zewnętrznych ekspertów, bazującej na definicjach wskaźników zastosowanych w kalkulatorze użyteczności społecznej usług. 7. Podsumowanie i wnioski. Arkusz oceny wielowymiarowej jest narzędziem wykorzystywanym w kolejnych cyklach kontraktowania usług społecznych, w szczególności prezentowany jest na spotkaniach RADAR oraz spotkaniach Zespołu ds. kontraktowania. Arkusz oceny wielowymiarowej nie zawiera indywidualnych ocen poszczególnych ankietowanych a jedynie średnią arytmetyczną tych ocen. 7

8 Przykładem sposobu realizacji punktu 6 jest poniższa tabela. Usługa EP-01/G Prowadzenie szkoły podstawowej/gimnazjum Wskaźnik KU-EP01-01S O/F Bliskość (odległość) placówki edukacyjnej Wskaźnik KU-EP01-02S O/F Infrastruktura szkolna (boisko, sala gimnastyczna, sale komputerowe, biblioteka) Wskaźnik KU-EP01-03S O/F Jakość nauczania KU-EP01-01S Opis wskaźnika Ocena / Uwagi KU-EP01-02S Opis wskaźnika Ocena / Uwagi KU-EP01-03S Opis wskaźnika Ocena / Uwagi Bliskość (odległość) placówki edukacyjnej Wskaźnik odległość określa, w jakim stopniu oddalona jest szkoła podstawowa/gimnazjalna od miejsca zamieszkania uczniów, monitoruje sposób prowadzenia szkoły podstawowej/gimnazjalnej pod kątem spełnienia oczekiwania lokalnej społeczności w obszarze możliwości skorzystania z niej z uwagi na konieczność pokonywania odległości pomiędzy miejscem zamieszkania uczniów a lokalizacją szkoły. Proszę ocenić w skali od 1 do 5 (gdzie 5 oznacza ocenę najwyższą a 1 ocenę najniższą) w jakim stopniu odległość do placówki edukacyjnej spełnia Pani / Pana oczekiwania. Infrastruktura szkolna (boisko, sala gimnastyczna, sale komputerowe, biblioteka) Wskaźnik określa stopień wyposażenia w niezbędną infrastrukturę szkolną szkoły podstawowej/gimnazjum. Proszę ocenić w skali od 1 do 5 (gdzie 5 oznacza ocenę najwyższą a 1 ocenę najniższą) w jakim stopniu infrastruktura szkolna spełnia Pani / Pana oczekiwania. Jakość nauczania Wskaźnik jakości nauczania określa, w jakim stopniu sposób prowadzenia szkoły podstawowej/gimnazjum odpowiada oczekiwaniom jakościowym stawianym wobec niej przez lokalną społeczność uczniów oraz ich otoczenie. Proszę ocenić w skali od 1 do 5 (gdzie 5 oznacza ocenę najwyższą a 1 ocenę najniższą) w jakim stopniu jakość nauczania spełnia Pani / Pana oczekiwania. 8

9 Załącznik nr 1. Arkusz Oceny Wielowymiarowej (formularz) Uwaga: niniejszy formularz ma charakter fakultatywny. Autorzy podręcznika na podstawie dotychczasowych doświadczeń współpracy z administracją samorządową uznali, że może on być pomocny w działalności zespołów ds. kontraktowania usług społecznych. Arkusz Oceny Wielowymiarowej Tabela - Arkusz oceny wielowymiarowej 1. Nazwa urzędu: (Wpisać nazwę urzędu zlecającego usługę społeczną w ramach outsourcingu.) 2. Nazwa usługi społecznej: (Wpisać nazwę usługi np. zgodnie z ogłoszeniem w ramach postępowania konkursowego.) 3. Wykonawca usługi społecznej: (Wpisać dane organizacji pozarządowej realizującej usługę w formie outsourcingu.) 4. Podstawa prawna i wymagania formalne: (Przywołać przepisy prawa, na podstawie których zlecono usługę społeczną do realizacji przez organizację pozarządową; dodatkowo wymienić te regulacje, które mają charakter wewnętrzny: np. uchwały rady gminy/powiatu, zarządzenia wójta/burmistrza/prezydenta, starosty, regulaminy pracy zespołu ds. kontraktowania usług społecznych.) 5. Opis wcześniejszych metod zapewnienia danej usługi (o ile była wcześniej wykonywana): (Opisać, w jaki sposób realizowano usługę w latach poprzednich, czy wykonywał ją urząd samodzielnie czy korzystał z pomocy instytucji zewnętrznych, jeżeli tak to jakich i w jakim zakresie. Jeżeli usługa była zlecana organizacji pozarządowej w ramach kontraktacji (outsourcingu) opisać krótko w jakiej formie zlecono usługę i kto był jej wykonawcą. Przedstawić koszty ekonomiczne i efekty społeczne poprzedniej metody realizacji usługi.) 9

10 6. Założenie: (Wskazać jaki cel społeczny miał być osiągnięty na skutek realizacji usługi oraz czy było to zgodne z przyjętą strategią współpracy z organizacjami pozarządowymi.) 7. Ocena usługi pod względem ekonomicznym: (Przedstawić dane dotyczące kosztów realizacji usługi z wyszczególnieniem kosztów wewnętrznych i kosztów zewnętrznych (patrz Uwaga 1). Podać dane dotyczące wskaźników ekonomicznych obliczonych na postawie Kalkulatora kosztów ekonomicznych. Jeśli na potrzeby realizacji usługi pozyskano dodatkowe fundusze np. dotacje lub wsparcie od sponsorów ująć te kwoty w rozliczeniu usługi. Przedstawić, czy i dlaczego nastąpił wzrost/spadek liczby beneficjentów w stosunku do roku poprzedniego oraz jakie były koszty realizacji usługi w przeliczeniu na 1 beneficjenta.) 8. Ocena usługi pod względem społecznym: (Opisać korzyści społeczne wynikające z realizacji usługi. Wykorzystać w tym celu kalkulator użyteczności społecznej. Uzasadnić wybór wskaźników efektywności społecznej oraz podać wynik pomiaru dla każdego wskaźnika na podstawie szacowania eksperckiego*, w oparciu o ocenę indywidualnie przygotowaną przez kilku ekspertów wchodzących m.in. w skład zespołu ds. kontraktowania usług. Dodatkowo oceniając usługę pod względem społecznym należy podać wyniki oceny usługi dokonanej przez beneficjentów np. formie badania ankietowego.) *Eksperci oceniają np. dopasowanie usługi do potrzeb społecznych, jej dostępność dla społeczności lokalnej oraz jakość posługując się tabelą Kryteria oceny wskaźników efektywności społecznej - szacowanie eksperckie (patrz Tabela 2). Efektem pracy ekspertów jest uzgodniona ostateczna ocena dla danego wskaźnika efektywności społecznej. 9. Wartość referencyjna (Podać wartość referencyjną dla usługi społecznej zgodnie z metodologią opisaną w Podręczniku KUS Rozdział 6.) Uwaga 1 : Poniższa tabela pokazuje zasadę podziału kosztów zarówno w przypadku samodzielnego realizowania usług społecznych przez urząd administracji samorządowej oraz ich outsourcingu organizacji pozarządowej. 10

11 Tabela 1. Zasada podziału kosztów przy realizacji usług społecznych Zasada podziału kosztów przy realizacji usług społecznych Realizacja usług społecznych samodzielnie przez JST Realizacja usług społecznych poprzez zlecenie organizacji pozarządowej Koszty wewnętrzne (przykładowe koszty które mogą wystąpić podczas działań własnych urzędu ) 1. Koszt pracy urzędnika/ urzędników zarządzającego /zarządzających usługą społeczną (zarówno w okresie przygotowawczym jak i w okresie związanym z nadzorowaniem realizacji usługi). 2. Koszty delegacji. 3. Koszty materiałów biurowych. 4. Koszt pracy urzędnika podczas obsługi finansowej przedsięwzięcia: przelewy, naliczenie podatków, sporządzenie rozliczenia PIT, inne. Koszty wewnętrzne (przykładowe koszty, które mogą wystąpić podczas przygotowania usługi do kontraktacji, monitorowania outsourcingu oraz późniejszego rozliczenia realizacji usługi) 1. Koszt pracy urzędnika/ urzędników zarządzającego/ zarządzających przygotowaniem usługi do kontraktacji (opracowanie ogłoszenia o konkursie, postępowanie konkursowe - wybór oferenta), monitorowaniem outsourcinggu, ocena sprawozdania z realizacji. 2. Koszty materiałów biurowych. 3. Koszty pracy urzędnika podczas obsługi finansowej przedsięwzięcia: przelewy, rozliczenie dotacji, inne. Koszty zewnętrzne (przykładowe koszty) 1. Koszty wynagrodzenia dla wykonawców usługi. 2. Koszt transportu wykonawców usługi na miejsce jej świadczenia. 3. Koszty wynajęcia pomieszczeń. 4. Koszty wynajęcia sprzętu specjalistycznego. 5. Koszty ochrony. 6. Koszty zakupu sprzętu lub materiałów na potrzeby realizacji usługi. 7. Koszty zakupu materiałów informacyjnych i promocyjnych. 5. Koszty korespondencji (telefonicznej i pocztowej). Koszty zewnętrzne (przykładowe koszty) 1. Koszty korespondencji (telefonicznej i pocztowej). 2. Koszty dofinansowania organizacji pozarządowej realizującej usługę społeczną. Na podstawie tak przyjętego wstępnego podziału kosztów można dla poszczególnych usług zarówno w wariancie realizacji samodzielnej jak w outsourcingu wyliczyć lub z dużą dokładnością oszacować koszty szczegółowe. 11

12 Tabela 2 - Kryteria oceny wskaźników użyteczności społecznej - szacowanie eksperckie Lp. Opis kryteriów punktowych Punktacja 1. najniższa ocena efektywności społecznej w danym zakresie bezwarunkowy brak rekomendacji do dalszej współpracy 2. niska ocena efektywności społecznej w danym zakresie brak rekomendacji do dalszej współpracy na tym etapie rozwoju organizacji pozarządowej 3. słaba ocena efektywności społecznej w danym zakresie rekomendacja do dalszej współpracy z organizacją pozarządową po spełnieniu odpowiednich warunków 4. dostateczna ocena efektywności społecznej w danym zakresie rekomendacja jednorazowa do dalszej współpracy 5. dobra ocena efektywności społecznej w danym zakresie rekomendacja do dalszej współpracy 6. bardzo dobra ocena efektywności społecznej w danym zakresie - rekomendacja do współpracy z organizacją pozarządową w innych obszarach usług społecznych 7. wzorowa ocena efektywności społecznej w danym zakresie rekomendacja do budowania długotrwałego partnerstwa z organizacja pozarządową 8. wzorowa + ocena efektywności społecznej, prowadzenie przez organizacje działalności gospodarczej na potrzeby realizacji szerokiego zakresu usług społecznych rekomendacja do wspólnego kreowania usług społecznych na potrzeby społeczności lokalnej 9. wzorowa ++ (potwierdzona co najmniej 3 letnia współpracą samorządu z organizacja pozarządową) ocena efektywności społecznej danym zakresie, prowadzenie przez organizacje działalności gospodarczej na potrzeby realizacji szerokiego zakresu usług społecznych rekomendacja do wspólnego kreowania nowych usług społecznych na potrzeby społeczności lokalnej 10. wzorowa +++ (potwierdzona co najmniej 5 letnia współpracą samorządu z organizacja pozarządową)ocena efektywności społecznej, prowadzenie przez organizacje działalności gospodarczej na potrzeby realizacji szerokiego zakresu usług społecznych rekomendacja do wspólnego kreowania nowych usług społecznych na potrzeby społeczności lokalnej. 1 pkt. 2 pkt. 3 pkt. 4 pkt. 5 pkt. 6 pkt. 7 pkt. 8 pkt. 9 pkt. 10 pkt. 12

13 Tabele referencyjne Poniżej załączono Tabele referencyjne dla oceny efektywności ekonomicznej i społecznej wg metodologii opisanej w Podręczniku KUS w Rozdziale 6. 13

14 Tabele referencyjne Tabela 1 - Ocena efektywności ekonomicznej usługi społecznej w roku N Lp. Wskaźniki ekonomiczne Wartość wskaźnika wg szacunków ZdK Wagi Koszt referencyjny Wyrażony w punktach (D x 100) Wartość wskaźnika zgodnie z deklaracją NGO Wartość wskaźnika zgodnie z deklaracją NGO wyrażona procentowo (F / C) x 100% Koszt deklarowany wyrażony w punktach (E x G) - wariant A - wariant A - wariant B - wariant B - wariant B A B C D E F G H 1 Wskaźnik 1 2 Wskaźnik 2 n n +1 n +2 Wskaźnik Wskaźnik n Referencyjny koszt ekonomiczny usługi (suma E1+E2 + + En) 100 Deklarowany koszt ekonomiczny usługi (suma H1+H2 + Hn)

15 Tabela 2 - Ocena użyteczności społecznej usługi w roku N Lp. Wskaźniki społeczne Wartość wskaźnika wyliczona w oparciu w zrealizowaną usługę w roku N Wagi Ważona wartość wskaźnika w oparciu w zrealizowaną usługę w roku N Wartość wskaźnika zgodnie z deklaracją NGO odnośnie realizacji usługi w roku N+1 Ważona wartość wskaźnika zgodnie z deklaracją NGO odnośnie realizacji usługi w roku N+1 (C x D) (F x D) - wariant A - wariant A - wariant B - wariant B A B C D E F G 1 Wskaźnik 1 2 Wskaźnik 2 n n +1 n +2 Wskaźnik Wskaźnik n Referencyjna efektywność społeczna usługi (suma E1+E2 + + En) Deklarowana efektywność społeczna usługi (suma G1+G2 + Gn)

16 Tabela 3 - Ocena efektywności ekonomicznej usługi w roku N+1 Lp. Wskaźniki ekonomiczne Wartość wskaźnika wyliczona w oparciu w zrealizowaną usługę w roku N Wartość referencyjna wskaźnika po uwzględnieniu inflacji* (x,y%) Wagi Koszt referencyjny wyrażony w punktach Wartość wskaźnika zgodnie z deklaracją NGO dla roku N+1 Wartość wskaźnika zgodnie z deklaracją NGO wyrażona procentowo Koszt deklarowany wyrażony w punktach (C X 1,0xy) (E x 100) (G / D) x 100% (F x H) - wariant A - wariant A - wariant A - wariant B - wariant B - wariant B A B C D E F G H I 1 Wskaźnik 1 2 Wskaźnik 2 n Wskaźnik Wskaźnik n n +1 Referencyjny koszt ekonomiczny usługi (suma F1+F2+ +Fn) 100 n +2 Deklarowany koszt ekonomiczny usługi (suma I1+I2+ +In) *wskaźnik inflacji bazowej netto za dany rok wyliczany przez NB

17 Tabela 4 - Ocena efektywności społecznej usługi w roku N+1 Lp. Wskaźniki społeczne Wartość wskaźnika wyliczona w oparciu w zrealizowaną usługę w roku N Wagi Ważona wartość wskaźnika w oparciu w zrealizowaną usługę w roku N Wartość wskaźnika zgodnie z deklaracją NGO odnośnie realizacji usługi w roku N+1 Ważona wartość wskaźnika zgodnie z deklaracją NGO odnośnie realizacji usługi w roku N+1 (C x D) (F x D) - wariant A - wariant A - wariant B - wariant B A B C D E F G 1 Wskaźnik 1 2 Wskaźnik 2 n n +1 n +2 Wskaźnik Wskaźnik n Referencyjna efektywność społeczna usługi (suma E1+E2 + + En) Deklarowana efektywność społeczna usługi (suma G1+G2 + Gn)