RAPORT Z PILOTAŻU WSTĘPNEJ WERSJI PRODUKTU FINALNEGO NARZĘDZIA ANALIZY WARTOŚCI KONTRAKTOWANYCH USŁUG SPOŁECZNYCH

ZAŁĄCZNIK NR 16 DO OPISU PRODUKTU FINALNEGO RAPORT Z PILOTAŻU WSTĘPNEJ WERSJI PRODUKTU FINALNEGO NARZĘDZIA ANALIZY WARTOŚCI KONTRAKTOWANYCH USŁUG SPOŁECZNYCH Kraków, sierpień 2014 P r o j e k t P I N A W I K U S i n n o w a c y j n a m e t o d a m o n i t o r i n g u k o n t r a k t o w a n y c h u s ł u g s p o ł e c z n y c h j e s t w s p ó ł f i n a n s o w a n y z e ś r o d k ó w U n i i E u r o p e j s k i e j w r a m a c h E u r o p e j s k i e g o F u n d u s z u S p o ł e c z n e g o

Redakcja prof. UEK dr hab. Marek Ćwiklicki Autorzy: prof. UEK dr hab. Marek Ćwiklicki dr Norbert Laurisz prof. UEK dr hab. Stanisław Mazur Opracowanie przygotowano w ramach projektu PI NAWIKUS innowacyjna metoda monitoringu kontraktowanych usług społecznych, współfinansowanego ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego (nr umowy UDA-POKL.05.04.02-00-E05/11-00). Wydawca: Fundacja Gospodarki i Administracji Publicznej ul. Rakowicka 10B/10, 31-511 Kraków www.fundacja.e-gap.pl 2

Spis treści Wykaz skrótów... 5 ROZDZIAŁ I KONCEPCJA I ZAŁOŻENIA WSTĘPNE PILOTAŻU... 6 1.1. Wprowadzenie... 6 1.2. Założenia metodologiczne i organizacyjne pilotażu WWPF... 6 1.3. Przebieg konkursu i wyłonienie usługodawców w pilotażowym wdrożeniu WWPF... 9 1.4. Katalog działań prowadzonych w ramach monitoringu procesu wdrażania WWPF... 11 ROZDZIAŁ II PILOTAŻ SYMULACJA PROCESU REALIZACJI USŁUG PUBLICZNYCH... 12 2.1. Schemat opisu NAWIKUS... 12 2.2. Standardy świadczenia usług... 14 2.2. Kontrola... 16 2.3. Automonitoring... 18 2.4. Metody badawcze... 20 2.4.1. Badania jakości świadczonych usług... 20 2.4.2. Badania stopnia spełnienia standardów... 21 2.3.2 Badanie efektywności kontraktowanych usług... 22 2.5. Opis wyników pilotażu... 24 2.5.1. DPS i ŚDS placówki szczególnego przeznaczenia... 24 2.5.2. MDDPS placówki świadczące niekontraktowane usługi społeczne... 33 2.5.3. NGO placówki świadczące kontraktowane usługi społeczne... 47 ROZDZIAŁ III EFEKTY WDROŻENIA NAWIKUS WYNIKI BADAŃ REALIZOWANE W TRAKCIE I PO WDROŻENIU NARZĘDZIA... 66 3.1. Badania realizowane w trakcie wdrożenia... 66 3.1.1. Identyfikacja słabych i mocnych stron procesu wdrażania narzędzia NAWIKUS..... 67 3.1.2. Ocena stosowania metody NAWIKUS... 68 3.1.3. Ocena zastosowania pomocniczych metod zbierania danych i zakresu ich wykorzystywania... 69 3.1.4. Ocena zastosowania SI NAWIKUS... 71 3.2. Badania osób starszych po wdrożeniu Narzędzia... 74 3.3. Badania po zakończeniu procesu wdrożenia Narzędzia... 75 3.3.1. MOWIS opinie końcowe i rekomendacje... 75 3.3.2. MOPS opinie końcowe i rekomendacje... 78 3.3.3. MDDPS opinie końcowe i rekomendacje... 79 3.3.4. OWOS opinie końcowe i rekomendacje... 80 ROZDZIAŁ IV DZIAŁANIA PODLEGAJĄCE MODYFIKACJOM W TRAKCIE PROCESU WDRAŻANIA NARZĘDZIA... 83 4.1. Wprowadzenie... 83 4.2. Organizacje pozarządowe... 85 3

4.3. MDDPS... 93 4.4. Jednostka samorządu terytorialnego (MOPS i MOWIS)... 93 4.5. Problemy techniczne... 99 ROZDZIAŁ V REKOMENDACJE... 103 5.1. Stopień wykorzystania wyników analizy systemu kontraktowania usług społecznych w GMK... 103 5.2. Rekomendacje ekspertów NAWIKUS... 105 5.3. Rekomendacje użytkowników zewnętrznych... 108 5.4. Rekomendacje użytkowników wewnętrznych... 110 5.4.1. Rekomendacje szczegółowe dotyczące funkcjonalności NAWIKUS... 111 5.4.2. Rekomendacje szczegółowe dotyczące funkcjonalności SI NAWIKUS propozycje usprawnień... 112 Aneks. Rekomendowane wersje kluczowych elementów NAWIKUS... 114 A.1. Ostateczny kształt standardów... 114 A.2. Ostateczne rekomendacje dla badania efektywności kontraktowanych usług społecznych... 120 A.3. Rekomendacje dotyczące wskaźników do badań jakościowych... 125 LITERATURA... 126 SPIS TABEL... 127 SPIS RYSUNKÓW... 127 4

Wykaz skrótów DPS EWMKU GMK JST MDDPS NAWIKUS NGO OW OWOS SI NAWIKUS ŚDS UW UZ WSS WWPF Dom Pomocy Społecznej Elektroniczne Wspomaganie Monitorowania Kontraktowanych Usług Gmina Miejska Kraków Jednostka samorządu terytorialnego Miejski Dzienny Dom Pomocy Społecznej Narzędzie Analizy Wartości Kontraktowanych Usług Społecznych, w skrócie Narzędzie organizacje pozarządowe Ośrodek Wsparcia Ośrodek Wsparcia dla Osób Starszych System informatyczny wspomagający metodę NAWIKUS Środowiskowy Dom Samopomocy Użytkownik wewnętrzny przedstawiciel JST Użytkownik zewnętrzny przedstawiciel NGO Wydział Spraw Społecznych wstępna wersja produktu finalnego 5

ROZDZIAŁ I KONCEPCJA I ZAŁOŻENIA WSTĘPNE PILOTAŻU 1.1. Wprowadzenie Raport opisuje proces i efekty pilotażu wstępnej wersji produktu finalnego Narzędzia Analizy Wartości Kontraktowanych Usług Społecznych (zwanego dalej WWPF). U podstaw sporządzenia tego raportu legło przekonanie o konieczności doskonalenia WWPF poprzez wykorzystanie formuły pilotażu i jej zastosowanie w praktyce działania Urzędu Miasta Krakowa. Celem raportu jest: opisanie założeń metodologicznych i organizacyjnych pilotażu WWPF; przedstawienie przebiegu pilotażu WWPF; wskazanie wniosków wynikających z przeprowadzonego pilotażu oraz opis stopnia ich wykorzystania dla doskonalenia WWPF. Prezentowany raport jest efektem pracy trzyosobowego zespołu ekspertów projektu PI NAWIKUS. W jego skład wchodzili M. Ćwiklicki, N. Laurisz oraz S. Mazur. Kluczowy wpływ na kształt tego raportu wywarli pracownicy Urzędu Miasta Krakowa oraz osoby objęte badaniami ewaluacyjnymi. Te ostatnie służyły ocenie stopnia osiągnięcia celów założonych w projekcie. Raport ten powstał w ramach projektu PI NAWIKUS Innowacyjna metoda monitoringu kontraktowanych usług społecznych (UDA-POKL.05.04.02-00-E05/11-00) realizowanego przez Fundację Gospodarki i Administracji Publicznej. 1.2. Założenia metodologiczne i organizacyjne pilotażu WWPF Przyjęto, iż pilotaż WWPF odbędzie się w formie symulacji pełnego procesu monitorowania kontraktowania i realizacji usług społecznych, na który składają się: ogłoszenie konkursu; gromadzenie ofert; wybór dostawcy usługi; realizacja usługi; 6

zbieranie danych na temat jakości usługi, przy pomocy opracowanych w projekcie metod, ocena prowadzona poprzez wykorzystanie metod pomocniczych wypracowanych w projekcie; formułowanie propozycji działań doskonalących usługę. Założono, że pilotaż WWPF przeprowadzony zostanie w Ośrodku Wsparcia dziennego Osób Starszych (OWOS) prowadzonym przez organizację pozarządową (NGO) wybraną przez Miejski Ośrodek Pomocy Społecznej (MOPS) poprzez procedurę konkursową oraz w 6 filiach Miejskiego Dziennego Domu Pomocy Społecznej (MDDPS). Przyjęto także, że pilotaż WWPF przeprowadzony zostanie według metody Action Research, a osobami prowadzącymi pilotaż będą eksperci prac projektu NAWIKUS. Założono, że pilotaż odbędzie się z udziałem co najmniej 70 osób, w tym: osób starszych, korzystających z usług społecznych oferowanych przez NGO oraz 6 filii MDDPS; przedstawicieli GMK, MOPS, MOWIS, MDDPS; osób reprezentujących NGO realizującą US dla GMK; ekspertów projektu NAWIKUS. Dla zapewnienia poprawności procesu testowania stworzony został zespół zadaniowy ds. pilotażu. Jego celem była analiza materiałów i informacji pochodzących z pilotażu, a także ocena poprawności metodologicznej prowadzonych prac. Ważnym źródłem informacji trafiających do tego zespołu były wyniki regularnie prowadzonego monitoringu. Raporty z monitoringu były systematycznie upowszechniane zarówno wśród osób włączonych w weryfikację i pilotaż WWPF. Przedstawiony poniżej rysunek obrazuje proces testowania produktu finalnego. 7

Rysunek 1. Schemat planu działania w procesie testowania produktu finalnego Użytkownicy PF 30 (GMK, MOPS, MOWIS, MDDPS) 1. Dobór uczestników testowania PF Odbiorcy PF 2 (NGO) 70 OS 2. Weryfikacja poprawności metodologicznej i analitycznej wstępnej wersji PF Przekazanie opisu wstępnej wersji PF Organizacja 5 seminariów Zebranie opinii nt. wstępnej wersji PF Opracowanie raportu z oceny wstępnej wersji PF 3. Pilotaż wstępnej wersji PF Utworzenie zespołu zadaniowego ds. pilotażu Przeprowadzenie symulacji pełnego procesu monitorowania kontraktowania i realizacji usług społecznej Źródło: dokumenty wewnętrzne projektu NAWIKUS. Przedmiotem pilotażu była weryfikacja: 1. Narzędzia monitorowania procesu kontraktowania przez GMK usług społecznych realizowanych przez NGO. Narzędzie to integruje kosztowe i jakościowe elementy oceny, jest oparte na standardach, metodach jakościowych i ilościowych oraz miernikach spełniających kryteria SMART. Elementami oceny były: zasady stosowania narzędzia; procedura oceny; narzędzia pozyskiwania informacji i danych; zbiór wskaźników; procedury analizy i interpretacji pozyskanych informacji; ścieżki korygowania odchyleń od przyjętych standardów; 2. Aplikacji komputerowej, wspomagającej zbieranie wystandaryzowanych danych w celu dokonywania analiz porównawczych procesu kontraktowania usług społecznych dla osób starszych, na którą składa się: Generator Wniosków Aplikacyjnych, zapewniający prawidłowe przygotowanie wniosków poprzez instrukcje i opcje pomocy oraz listy błędów; 8

Elektroniczne Wspomaganie Monitoringu Kontraktowanych Usług, moduł analityczny umożliwiający monitorowanie i ocenę wartości zakontraktowanych usług; 3. Programu i metodyki szkoleń służących budowaniu kompetencji umożliwiających skuteczne i efektywne posługiwanie się produktem finalnym. Celem zapewnienia odpowiednich warunków dla przeprowadzenia pilotażu WWPF w sposób zgodny z zapisami Strategii wdrażania PI NAWIKUS Innowacyjna metoda monitoringu kontraktowanych usług społecznych przeprowadzono następujące czynności: podjęto rozmowy z kierownictwem UMK dotyczące zapewnienia środków finansowych na uruchomienie konkursu ofert opartego na założeniu pełnego wykorzystania narzędzi składających się na wstępną wersję produktu finalnego. W efekcie tego zabezpieczone zostały środki finansowe w budżecie GMK na przeprowadzenie pilotażu; w pilotażu uczestniczyli eksperci posiadający umiejętności i doświadczenia umożliwiające przeprowadzenie zaplanowanych działań; w sposób partycypacyjny włączona została w działania testujące Grupa Sterująca projektu; zapewniono systematyczny współudział przedstawicieli UMK, MOPS oraz NGO w procesie pilotażu. Uwagi zgromadzone w tym procesie były analizowane przez zespół projektowy, a o sposobie ich uwzględnienia informowano ich autorów. 1.3. Przebieg konkursu i wyłonienie usługodawców w pilotażowym wdrożeniu WWPF W związku z realizacją projektu PI NAWIKUS innowacyjna metoda monitoringu kontraktowanych usług społecznych, jako element testowania produktu finalnego (Systemu Informatycznego NAWIKUS) w dniu 14 listopada 2013 r. ogłoszono za pomocą ww. systemu konkurs na powierzenie realizacji zadania publicznego w zakresie pomocy społecznej, w tym pomocy rodzinom i osobom w trudnej sytuacji życiowej oraz wyrównywania szans tych rodzin i osób, polegającego na prowadzeniu od 1.01.2014 do 31.12.2017 r. ośrodków wsparcia na terenie: Dzielnicy I dla 20 osób starszych, Dzielnicy VIII dla 30 osób starszych i Dzielnicy XVIII dla 70 osób starszych zamieszkałych na terenie Gminy Miejskiej Kraków w lokalach podmiotów. Zgodnie z wypracowanym rozwiązaniem, na etapie tworzenia tej części produktu finalnego konkurs podzielono na trzy poddziałania, aby aplikowanie poszczególnych podmiotów 9

dotyczyło bezpośrednio realizacji zadania będącego przedmiotem konkursu na terenie GMK. I tak wyszczególnione poddziałania obejmowały odpowiednio obszar: Dzielnicy I, Dzielnicy VIII, Dzielnicy XVIII. Złożenie aplikacji za pomocą systemu informatycznego sugerował odpowiedni zapis ujęty w ogłoszonym konkursie. W ramach oferowanego wsparcia dla chętnych podmiotów przeprowadzono testująco-instruktarzowe w zakresie posługiwania się aplikacją informatyczną. Złożenie wniosku poprzez System Informatyczny NAWIKUS wymagało od podmiotów założenia konta w aplikacji, a następnie wypełnienia wniosku opartego na wzorze zgodnym z Rozporządzeniem Ministra Pracy i Polityki Społecznej z dnia 15 grudnia 2010 r. w sprawie wzoru oferty i ramowego wzoru umowy dotyczących realizacji zadania publicznego oraz wzoru sprawozdania z wykonania tego zadania. Cały proces składania wniosku w formie elektronicznej obejmował również asystę techniczną po stronie realizatora systemu, a także wsparcie pracowników jednostki ogłaszającej konkurs. Wszelkie problemy techniczne rozwiązywane były na bieżąco, a wprowadzane korekty oraz uwagi użytkowników zewnętrznych stanowiły ważny element procesu testowania produktu finalnego. Rozstrzygnięcie konkursu nastąpiło w dniu 12 grudnia 2013 r. Zarządzeniem 249/ 2013 Dyrektora jednostki. Na realizację zadania podpisano umowy z poszczególnymi podmiotami, w ramach których zobowiązano ww. podmioty do przygotowania sprawozdań z realizowanego zadania przy użyciu systemu NAWIKUS, co stanowiło element testowania produktu finalnego. Proces sprawozdawczy był objęty wsparciem technicznym i merytorycznym odpowiednich pracowników jednostki, ekspertów projektu NAWIKUS, a także wykonawcy narzędzia informatycznego. 10

1.4. Katalog działań prowadzonych w ramach pilotażu procesu wdrażania WWPF W ramach pilotażu WWPF przeprowadzone zostały następujące działania: analiza dokumentacji dotyczącej założeń i koncepcji WWPF; badania podmiotów uczestniczących we wdrożeniu: OWOS Gaudium et Spes, OWOS Caritas, OWOS Sióstr Sercanek; badania podmiotów uczestniczących w pilotażowym wdrożeniu WWPF w wersji bez SI: badanie w MDDPS; badanie podmiotów uczestniczących w pilotażowym wdrożeniu uproszczonej wersji Narzędzia: DPS Sołtysowska; ŚDS Słoneczne; ŚDS Kurczaba; badania użytkowników wewnętrznych prowadzone w trakcie wdrożenia w: MOPS, MOWIS, Zarząd Infrastruktury Sportowej GMK, Wydział Kultury i Dziedzictwa Narodowego GMK, Wydział Rozwoju GMK; badania użytkowników wewnętrznych przeprowadzone po zakończeniu procesu wdrożenia: MOPS, MOWIS; analiza wyników po realizacji wyznaczonych elementów procesu wdrażania; opracowanie rekomendacji. 11

ROZDZIAŁ II PILOTAŻ SYMULACJA PROCESU REALIZACJI USŁUG PUBLICZNYCH 2.1. Schemat opisu NAWIKUS Koncepcja pilotażu zakładała przeprowadzenie analizy elementów składowych narzędzia jakim jest NAWIKUS. Analiza ta przeprowadzona została w taki sposób, aby z jednej strony udało się wykazać odrębność instytucji, i tym samym ich różne stopnie wykorzystania Narzędzia, z drugiej strony, aby zaakcentować podział strukturalny i funkcjonalny WWPF. Poniższa tabela prezentuje schemat podziału zastosowany w opisie całego Narzędzia. Schemat ten został wykorzystany w niniejszym raporcie w celu ujednolicenia poszczególnych elementów koncepcji i późniejszej analizy. Wykorzystanie podziału strukturalnego widoczne jest w dwóch kolejnych rozdziałach. Rozdział II zawiera opis i analizę poszczególnych elementów w ujęciu procesowym (1. Metoda/narzędzie monitorowania); rozdział III konsumuje w dużej mierze następny obszar, przy wykorzystaniu podziału narzędziowego, zgodnego z modułową konstrukcją systemu informatycznego. Jak można zauważyć na podstawie tej konstrukcji zbudowano całą strukturę wewnętrzną niniejszego raportu i poszczególnych rozdziałów. Wykorzystanie struktury NAWIKUSA do omówienia głównych funkcjonalności i w efekcie wyników przeprowadzonej fazy pilotażu, ma przede wszystkim na celu ułatwienie lektury raportu. Za przyjętą konstrukcją raportu przemawia także logika i chronologia realizowanych działań. Monitoring kontraktowanych usług składa się z dwóch uzupełniających się elementów: kontroli realizowanej przez JST; automonitoringu (monitoringu wewnętrznego) realizowanego przez NGO. Bazą dla działań kontrolnych i procesu monitorowania są wyniki badań, których metodologia została omówiona we Wstępnej wersji metody monitorowania kontraktowanych usług społecznych dla osób starszych 1. Natomiast wyniki tych badań i wynikające z nich wnioski oraz późniejsze rekomendacje zostały omówione w sposób szczegółowy w dalszej 1 Ćwiklicki M. (red.), Gałecki A., Jelonek M., Mazur S., Pawlina A., Wstępna wersja metody monitorowania kontraktowanych usług społecznych dla osób starszych, Fundacja Gospodarki i Administracji Publicznej, Kraków 2013. 12

części niniejszego raportu, w miejscu poświęconym pomocniczym metodom zbierania danych. Tabela 1. Schemat podziału zastosowany w opisie całego Narzędzia I. Główne elementy PF II. Użytkownicy III. Funkcje/Zadania 1. NAWIKUS JST 1. Przeprowadzenie konkursu ofert a) Kontrola NGO 1.1. Ogłoszenie konkursu b) Automonitoring MDDPS 1.2. Powołanie Komisji Konkursowej c) Metoda badania satysfakcji klientów DPS i ŚDS 1.3. Przygotowanie i przesyłanie ofert d) Metoda badania stopnia spełnienia standardów OS 1.4. Ocena ofert e) Metoda badania efektywności 1.5 Wybór oferenta 2. SI NAWIKUS 1.6 Podpisanie umowy a) GWA 1.7 Urealnienie oferty b) Zakładanie konta użytkownika 1.8 Unieważnienie oferty c) Przygotowanie oferty 2. Realizacja usługi d) EWMKU 2.1 Przyjmowanie OS e) Obsługa ofert 2.2 Pobieranie opłat od OS f) Sprawozdawczość 2.3 Świadczenie usług 3. Program edukacyjny 2.4 Prowadzenie ewidencji OS Źródło: opracowanie własne. 2.5 Informowanie o źródle środków 2.6 Składanie sprawozdań 2.7 Rozliczanie z realizacji zadań 3. Kontrola (sprawozdanie) realizacji zadania 3.1 Ustalenie terminu kontroli 3.2 Kontrola in situ 3.3 Przygotowanie protokołu 3.4 Zapoznanie się z protokołem 3.5 Realizacja zaleceń pokontrolnych 3.6 Kontrola z realizacji zaleceń 3.7 Archiwizacja protokołu. 4. Zakończenie usługi 13

2.2. Standardy świadczenia usług 2 Punktem wyjścia opracowania i doboru standardów była praca koncepcyjna wykonana przez zespół projektu NAWIKUS i przedstawiona w formie syntetycznej we Wstępnej wersji metody monitorowania kontraktowanych usług społecznych dla osób starszych. W dokumencie tym przedstawiono kryteria doboru jako wypadkową grupy czynników oddziałujących na cały proces wyboru. Do tych czynników należą: 1. Wstępne wymagania względem świadczenia usługi; 2. Potrzeby odbiorców usług; 3. Korzyści i wyniki usługi; 4. Wymagania dla personelu; 5. Wymagania dla usługi; 6. Wymagania dla dostawcy usługi. Na podstawie tego katalogu zmiennych i sile ich oddziaływania opracowany został model, który w kolejnej fazie poddany został testowi. Proces ustalania standardów Przebieg procesu ustalania standardów rozpoczynał się od indywidualnych wywiadów oraz dwóch dyskusji grupowych z przedstawicielami GMK i NGO zaangażowanych w proces kontraktowania usług społecznych. W ich trakcie zebrano materiał empiryczny, który posłużył do doprecyzowania zapisów standardów. Ustalony został katalog rodzajów standardów i ich obszarów. Wynikało to częściowo z wcześniejszych badań, ale także z analizy dobrych praktyk w zakresie standaryzacji usług społecznych. Kluczowym aktorem zgodnie z zasadą priorytetowego znaczenia opinii zlecających usługę na tym etapie był MOPS oraz Wydziały Urzędu Miasta Krakowa. Proponowanym standardom zostały następnie przypisane rangi (rangowania dokonali przedstawiciele UMK) i na tej podstawie zaproponowano listę standardów, która w porównaniu do pierwszej wersji została skrócona i doprecyzowana zgodnie z sugestiami przedstawionymi w trakcie spotkania. W kolejnym kroku dokonano specyfikacji standardów poproszono przedstawicieli UMK, MOPS oraz NGO o hierarchizację standardów od najważniejszych do najmniej ważnych dla osiągnięcia najlepszej jakości usługi. Z tak przygotowanego rankingu wybrano najważniejsze standardy oraz opracowano zestaw wag niezbędnych do wyliczenia ostatecznej liczby punktów zdobytych przez organizację w procedurze konkursowej. Na podstawie danych zebranych w fazie pierwszej i drugiej zaproponowano zbiór standardów przedstawionych w dalszej części opracowania. 2 Metodyka tworzenia standardów została opisana na podstawie Ćwiklicki M. (red.), Gałecki A., Jelonek M., Mazur S., Pawlina A., Wstępna wersja metody monitorowania kontraktowanych usług społecznych dla osób starszych, FGAP, Kraków 2013. 14

Charakterystyka standardów W rezultacie przeprowadzonych prac określono wstępny zbiór kryteriów, który w sposób syntetyczny opisano w poniższej tabeli. Podkreślenia wymaga fakt, iż te standardy stanowią jedynie propozycję, a ich zestaw może być dowolnie modyfikowany poprzez wybór standardów najważniejszych w przypadku określonego konkursu, bądź poprzez dodanie standardu, który nie znajduje się w chwili obecnej w prezentowanym zestawieniu. Istotnym jest z punktu widzenia porównywalności danych, aby w obrębie JST stosowano ten sam zestaw kryteriów. Tabela 2. Wstępny zbiór kryteriów Standard Obszar Kryterium Standardy formalno-organizacyjne Wymogi formalne Organizacja wewnętrzna Dobre zarządzanie Planowanie roczne Standardy organizacji usług Dobre współzarządzanie Zbieranie opinii zwrotnych Systematyczna poprawa jakości Zachowanie poufności Partnerstwo Zaangażowanie Standardy dotyczące personelu Kwalifikacje personelu Kompetencje personelu Szkolenia i doskonalenie zawodowe Kodeks etyczny Karta praw Równe traktowanie Prawa Procedury skargowe Standardy obsługi klienta Wolność wyboru Uczestnictwo Informowanie Upodmiotowienie podopiecznych Standardy zapewniania dostępu do Dostęp Lokalizacja i zaplecze usługi Dostęp do wszechstronnego wsparcia Wszechstronne wsparcie Proponowane standardy zostały pogrupowane w pięć klas wymogów: wymogi wstępne standardy formalno-organizacyjne; wymogi w stosunku do organizacji usługowej standardy organizacji usługi; wymogi z perspektywy podopiecznych organizacji usługowej standardy obsługi klienta; wymogi w stosunku do personelu standardy dotyczące personelu OWOS; wymogi w stosunku do usługi standardy zapewnienia dostępu do usług. W obrębie każdej z klas wyróżniono określone obszary, a dopiero wewnątrz obszarów sformułowano kryteria i subkryteria. Kryterium odnosi się bezpośrednio do wymogu, który spełniać powinna organizacja. Subkryterium wyróżnia przejawy, które świadczyć mają o tym, że wymóg ten został spełniony. Każdy ze standardów może być traktowany albo jako standard wejścia minimalny, obligatoryjny (bez spełnienia tego standardu nie można ubiegać się o środki publiczne), albo 15

jako standard kontroli jakości (stopień spełnienia standardu kontrolowany będzie na etapie weryfikacji jakości usługi). To, jaką funkcję spełniać będzie standard decydują każdorazowo osoby odpowiedzialne za zarządzanie danym obszarem (osoby przygotowujące konkurs na realizację usługi społecznej). Standardy minimalne są określane na początku podpisywania umowy i stanowią dane wejściowe do monitorowania. Dla tej grupy standardów określa się poziom minimalny i optymalny (rekomendowany). Standardy dodatkowe są weryfikowane w trakcie kontroli realizowanej przez JST, a także poddane samoocenie przez NGO zgodnie z ustalonym harmonogramem kontroli i monitoringu. Wyszczególnienie enumeratywnie standardów w wersji ostatecznej wraz z propozycją oceny, wskaźnika i źródła weryfikacji, znajduje się w Aneksie. 2.2. Kontrola Kontrola jest elementem obligatoryjnych działań realizowanych przez JST w czasie realizacji usług społecznych. Kontrola jest naturalnym elementem procesu wdrożenia usług, a jej realizacja jest określona sztywną procedurą zarówno formalną jak i chronologiczną. Oznacza to, że przeprowadzenie kontroli jest zdarzeniem niezależnym od sytuacji wewnętrznej i zewnętrznej. Kontrola polega zarówno na sprawdzeniu danych umieszczonych w systemie, jak i kontroli bezpośredniej, co oznacza wizytę w NGO (miejscu świadczenia usługi). W tym drugim przypadku dane są gromadzone na podstawie: wywiadów z pracownikami NGO; przeglądu dokumentacji dotyczącej kontraktowanej usługi, w tym także sprawozdań (jeśli są dostępne); obserwacji. Do tego wykorzystuje się instrukcje metod pomocniczych dla: badania satysfakcji klienta; oceny spełniania standardów przez NGO; badania efektywności. Prezentacja procedury kontrolnej wraz z istotnymi szczegółami znajduje się w poniższej tabeli. 16

Tabela 3. Procedura kontroli NR CZYNNOŚĆ INF. WCHODZĄCA INF. WYCHODZĄCA Opracowanie planu kontroli dla Informacje nt. podpisanych 1 wszystkich kontraktowanych Roczny plan kontroli umów z NGO usług 2 3 Przygotowanie kontroli (planowanej i nieplanowanej) Realizacja kontroli kontraktowanej usługi 4 Opracowanie protokołu 5 Analiza rozbieżności wyników 6 7 Realizacja zaleceń pokontrolnych Ocena realizacji zaleceń pokontrolnych Jeśli niezgodności zostały usunięte, rozpoczęcie czynności 4 [OCENA POZYTYWNA] Jeśli niezgodności nie zostały usunięte, rozpoczęcie czynności 6 [OCENA NEGATYWNA] Ustalony zakres kontroli Standardy Informacja z automonitoringu o niespełnieniu standardów Program kontroli Dane z SI NAWIKUS w formie zestawień i raportów Ocena stopnia osiągnięcia przyjętych wartości Protokół pokontrolny wraz zaleceniami Protokół pokontrolny wraz zaleceniami Raport z wykonania zaleceń Program kontroli Zarejestrowane dane nt. stopnia osiągnięcia przyjętych wartości Protokół pokontrolny wraz zaleceniami Uzgodniony protokół pokontrolny wraz zaleceniami Raport z wykonania zaleceń Protokół z realizacji działań pokontrolnych Kontrola została przeprowadzona w dwóch podmiotach świadczących zakontraktowane usługi społeczne: w Ośrodku Wsparcia dla Osób Starszych os. Zielone 7 (termin kontroli 10.04.2014 r.) oraz w Ośrodku Wsparcia dla Osób Starszych Pl. Gen. Wł. Sikorskiego 14/2 (termin kontroli 15.05.2014 r.). Podczas kontroli pracownicy Miejskiego Ośrodka Pomocy Społecznej posługiwali się formularzami kontrolnymi projektu NAWIKUS. W ten sposób, co podkreślają zarówno pracownicy MOPS, jak i przedstawiciele podmiotu kontrolowanego, przebieg kontroli był zdecydowanie bardziej konkretny niż kontroli dotychczasowych, a wykorzystane procedury były zrozumiałe. Wykorzystanie opracowanych procedur kontrolnych pozwoliło podmiotom kontrolowanym na wcześniejsze zapoznanie się z zakresem kontroli, przygotowanie odpowiednich dokumentów oraz, co istotne, zmniejszenie poziomu stresu związanego z cała procedurą. Uczestnicy działań kontrolnych zauważyli także wyraźne skrócenie czasu kontroli. Wyniki kontroli wstępnie zostały ocenione pozytywnie, aktualnie wyniki te podlegają wewnętrznej weryfikacji w MOPS. Po zakończeniu szczegółowej analizy wewnętrznej protokoły kontrolne zostaną przekazane podmiotom kontrolowanym. Ma to w założeniu przyczynić się do wzrostu samoświadomości organizacji i ich pracowników oraz ma wpłynąć na wzrost zrozumienia w relacjach samorząd NGO. 17

2.3. Automonitoring Automonitoring (rozumiany jako monitoring wewnętrzny) jest realizowany przez podmiot realizujący zakontraktowaną usługę społeczną w sposób ciągły. Gromadzone dane służą podmiotowi do podjęcia działań korygujących, w sytuacji, kiedy wyniki badań wskażą taką konieczność. Automonitoring pozwala na uzyskanie informacji zwrotnej na temat zmian w parametrach realizacji kontraktowanej usługi, zarówno pod względem jakości, jak i efektywności. Rolą JST jest obserwacja całego procesu, natomiast w sytuacji kryzysowej jednostka przeprowadza audyt niezgodności, aby sprawdzić aktualny stopień spełnienia standardów. Audyt ten, w przeciwieństwie do kontroli, jest zawężony do obszaru realizacji usługi, w którym stwierdzono nieprawidłowości. Uzyskane wyniki badań pozwalają nie tylko na ocenę aktualnej sytuacji. Zaproponowany sposób analizy i dalszej interpretacji pozwala na wyznaczenie strategii działań adekwatnej do zaistniałej sytuacji. W poniższej tabeli zawarty został opis kolejnych kroków w procesie automonitoringu wraz ze sposobem pozyskiwania danych. Tabela 4. Procedura automonitoringu NR CZYNNOŚĆ INF. WCHODZĄCA INF. WYCHODZĄCA Dane z umowy zapisane w systemie. 1 Ustalony zakres monitorowania, Przygotowanie procesu monitorowania. Wytyczne metodyczne wybrany zbiór wskaźników. NAWIKUSA (podręcznik itp.). Ustalony zakres monitorowania. Dane zapisane w systemie. 2 Gromadzenie danych. Procedury realizacji badań action research. Raport. 3 4 5 Analiza wyników. W przypadku braku stwierdzenia pojawienia się odchyleń, rozpoczęcie czynności 7 lub 2 (OCENA POZYTYWNA). W przypadku stwierdzenia odchyleń, rozpoczęcie czynności 4 (OCENA NEGATYWNA). Dane z systemu w formie zestawień i raportów. Ocena stopnia osiągnięcia przyjętych wartości. Wykorzystanie wyników (Działania korygujące). Protokół z oceny. Ocena wyników działań korygujących. Jeśli niezgodności zostały usunięte, rozpoczęcie czynności 6 lub 2 Raport z wykonania działań korygujących. [OCENA POZYTYWNA]. Jeśli niezgodności nie zostały usunięte, rozpoczęcie czynności 4 [OCENA NEGATYWNA]. Ocena stopnia osiągnięcia przyjętych wartości. Zalecenia doskonalące działania w obszarach, w których zidentyfikowano odchylenia od przyjętego planu. Raport z wykonania działań korygujących. Protokół z oceny wykonania działań korygujących. 18

NR CZYNNOŚĆ INF. WCHODZĄCA INF. WYCHODZĄCA Raport z oceny działań korygujących. rezultatów. Ocena (akceptacja) osiągniętych 6 Audyt. Przygotowanie raportu monitoringowego i 7 Dane o NGO. Raport/sprawozdanie. sprawozdań. Złożoność procedur oraz wielkość i wysoki poziom skomplikowania systemu informatycznego nie pozwolił na uruchomienie modułu analitycznego w odpowiednim momencie. Złożoność proceduralna konkursu w fazie jego oceny i składania ofert, a także problemy z systemem informatycznym w module rejestracji organizacji pozarządowych sprawiły, że zakładany wstępnie termin rozpoczęcia procedury samooceny musiał zostać przesunięty. Obecnie cała procedura podlega ciągłemu monitorowaniu ze strony zarówno UW, jak i UZ oraz ekspertów projektu. Jednak opóźnienie procesu automonitoringu nie pozwala na przeprowadzenie pełnej analizy tego zagadnienia na tym etapie realizacji projektu. W efekcie oznacza to konieczność przesunięcia weryfikacji tego modułu na IV kwartał 2014 r. Jednak, aby procedury te nie pozostały niesprawdzone przeprowadzone zostały dwa typy działań mające na celu z jednej strony wykazanie zasadności opracowanych procedur, z drugiej strony poszerzenie wiedzy w tym zakresie. Pierwszym typem działań były symulacje całego procesu prowadzone w formie szkoleniowej realizowane podczas spotkań organizacji pozarządowych i przedstawicieli JST z ekspertami. Drugim typem działań była symulacja tego procesu przeprowadzona poza systemem informatycznym, a przygotowana na potrzeby jednostek wdrażających Narzędzie bez SI. Test ten został przeprowadzony na 6 domach MDDPS i zakończył się sukcesem. Pozyskane informacje pozwoliły na weryfikację Narzędzia w jego czystej (nieinformatycznej) formie, jak również pozwoliły uzyskać ocenę wskaźnikową świadczonych usług społecznych. Wdrożenie Narzędzia bez systemu informatycznego wykazało problem natury dyscyplinującej. Mianowicie bez SI podmioty traktują wyniki badań jako element sprawozdawczości niewymagającej ich reakcji. W tym przypadku konieczne staje się wzmocnienie presji jednostki nadzorującej i kontrolującej na wdrożenie całej procedury monitorującej wraz z jej komponentem inicjowania działań naprawczych. Aktualnie prowadzone są działania, nadzorowane przez JST (MOPS, MOWIS), mające na celu wdrożenie całej procedury, wraz z komponentem oceniającym i inicjującym działania naprawcze wobec podmiotów posługujących się SI. Uzyskane pierwsze wyniki nie pozwalają na pełną ocenę świadczonych usług. W tym czasie realizowane zadania w postaci symulowanych procesów automonitoringu i reakcji na uzyskiwane wyniki przebiegły pomyślnie. Reakcje podmiotów były prawidłowe, wykorzystanie procedur (m.in. formularzy) było zrozumiałe 19

i przebiegło w sposób oczekiwany. Dodatkowo poszukiwanie rozwiązań, z perspektywy skuteczności działania, w tym wybór strategii, również zakończył się sukcesem. Na tej podstawie można domniemywać, że wdrożenie samej procedury powinno przebiegać bez przeszkód. Jedynym problemem może być kwestia dyscyplinowania podmiotów do określonych działań, przy czym czynnikiem mobilizującym powinien być w tych przypadkach stały nadzór MOPS nad osiąganymi przez NGO s wynikami. 2.4. Metody badawcze Ze względu na to, że kompleksowy sposób prezentacji wyników badań jest zdecydowanie bardziej czytelny, dalsza prezentacja będzie opisywać wyniki badań w konkretnych typach podmiotów w formie zbiorczej. W związku z tym pierwsza część podrozdziału zawiera jedynie krótki opis procedury badawczej 3, w dalszej części opisane zostały procedury i wyniki badań uzyskane w poszczególnych typach podmiotów. Kolejność prezentacji jest związana ze stopniem wdrożenia Narzędzia. Oznacza to, że jako pierwsze zostały zaprezentowane wyniki badań oraz sprawozdawczości prowadzonej w podmiotach, które w najmniejszym stopniu wdrażają Narzędzie (bez SI), następnie w MDDPS-ach, które wdrożyły NAWIKUSA bez systemu informatycznego. Na końcu opisane zostały wyniki badań przeprowadzonych w podmiotach, które świadczą usługi społeczne wykorzystując w całości możliwości NAWIKUSA. 2.4.1. Badania jakości świadczonych usług Badanie jakości kontraktowanych usług społecznych polega na identyfikacji, za pomocą kwestionariusza badań jakościowych, satysfakcji z dostarczanej usługi społecznej. Uzyskane wyniki badań zasilają wskaźniki jakościowe, dzięki którym możliwa staje się diagnoza poziomu jakości, już nie tylko na poziomie konkretnego podmiotu, ale także w ujęciu porównawczym. Analiza wskaźników jakościowych służy przede wszystkim procesowi automonitoringu. Dzięki temu podmioty wdrażające usługi posiadają narzędzie wewnętrznej oceny jakości, natomiast JST ma możliwość stałego monitorowania jakości usług. Syntetyczny opis metody badania zamieszczony został w poniższej tabeli. 3 Szczegółowy opis znajduje się w rozdziale I. 20

Tabela 5. Procedura badania jakości NR CZYNNOŚĆ INF. WCHODZĄCA INF. WYCHODZĄCA 1 Przygotowanie do badania. 2 Realizacja badania ankietowego. 3 Generowanie raportu z wynikami badania. Instrukcja badania. Wytyczne metodyczne, ustalona procedura realizacji badania (podręcznik). Kwestionariusz badania jakości. Dane zebrane w trakcie realizacji badania, dostępne w SI NAWIKUS. Ustalone szczegóły realizacji badania: terminy badania, osoby odpowiedzialne za przeprowadzenie wywiadów, wielkość próby, przeszkolone osoby realizujące badanie. Wypełnione kwestionariusze (Baza danych dostępna w SI NAWIKUS). Automatycznie generowany raport z wynikami przeprowadzonego badania. WSPÓŁPRACA Z SYSTEMEM Brak. Wprowadzanie i zapisanie danych w SI NAWIKUS. Prezentacja wyników na podstawie wyliczeń w formie raportu. 2.4.2. Badanie stopnia spełnienia standardów Ocena stopnia spełniania standardów ma charakter audytowy. W wyniku realizacji określonych działań uzyskiwany jest zestaw danych pozwalających na jednostkową ocenę spełnienia standardów jakościowych przez podmiot realizujący zakontraktowane usługi społeczne. Standardy są wyznaczane na poziomie warunków konkursu przez JST. Decyzje o doborze mogą być konsultowane z podmiotami realizującymi usługi społeczne. Standardy dzielone są na standardy minimum standardy wejścia, bez ich spełnienia podmiot nie może przejść pozytywnie oceny konkursowej; oraz tzw. standardy świadczenia usług, których stopień spełnienia zostanie oceniony dopiero podczas kontroli przeprowadzonej przez JST (w trakcie realizacji usługi lub po jej zakończeniu zgodnie z harmonogramem kontroli). Zastosowaną metodą badawczą jest tzw. double blind review. Syntetyczny opis metody badania zaprezentowany został w poniższej tabeli. 21

Tabela 6. Procedura badania standardów NR CZYNNOŚĆ INF. WCHODZĄCA INF. WYCHODZĄCA 1 Selekcja i/lub uzupełnienie standardów przed ogłoszeniem konkursu na realizację danej usługi. 2 Ocena stopnia spełnienia standardów minimum. 3 Ocena spełnienia standardów świadczenia usług NGO. 4 Generowanie raportu porównawczego (oceny NGO i JST). Zbiór standardów. Zbiór opisanych standardów dostępny w SI NAWIKUS, opis procedury konkursowej. Zbiór opisanych standardów dostępny w SI NAWIKUS, wytyczne metodyczne opisane w podręczniku. Baza danych z porównawczą (NGO i JST) informacją o stopniu spełnienia standardów świadczonych usług. 1. Lista wybranych lub uzupełnionych standardów usługi. 2. Przypisanie standardów do standardów wejścia oraz standardów kontrolnych. Baza danych z informacją o stopniu spełnienia standardu wejścia. Baza danych z informacją o stopniu spełnienia standardów świadczenia usług. Raport pokontrolny porównujący: 1. ocenę NGO 2. ocenę JST w układzie kolejnych punktów pomiaru (cykli gromadzenia danych o stopniu spełnienia standardów). WSPÓŁPRACA Z SYSTEMEM Lista standardów moduł selekcji standardów moduł uzupełniania standardów. Wprowadzanie informacji o spełnieniu standardu, gromadzenie informacji o spełnieniu standardu w bazie danych SI NAWIKUS, generowanie informacji o spełnieniu standardu w dokumentacji konkursowej podmiotu. Wprowadzanie informacji o spełnieniu standardu przez NGO, gromadzenie informacji o spełnieniu standardu w bazie danych SI NAWIKUS. Prezentacja wyników na podstawie wyliczeń w formie raportu. 2.3.2 Badanie efektywności kontraktowanych usług Celem badania jest ocena dynamiki zmian poziomu efektywności świadczonych usług społecznych. Ocena przeprowadzana jest na założeniach analizy kosztów i korzyści (ang. cost-benefit analysis). Opracowanie narzędzia oceny ilościowej umożliwia dokonanie obliczeń wartości wskaźników dotyczących standardów efektywnościowych. Dane niezbędne do prowadzenia analizy generowane są przez system informatyczny (pochodzą z zawartej umowy i raportów sprawozdawczych), a ich zestawienie dostępne jest w ramach indywidualnego konta zarówno dla UZ jak i UW. Przebieg działań i został zaprezentowany w poniższej tabeli. 22

Tabela 7. Procedura badania efektywności NR CZYNNOŚĆ INF. WCHODZĄCA INF. WYCHODZĄCA 1. Lista wybranych standardów Selekcja standardów i określenie minimalnego z określonymi minimalnymi pozioniem poziomu ich spełnienia przed ogłoszemami ich spełnienia na dzień składa- konkursu na realizację danej usługi: nia oferty, w trakcie realizacji usługi oraz po jej zakończeniu. 1 2 wiedzialnych za selekcję standardów, spełnienia standardów. Gromadzenie danych w oparciu, o które obliczona zostaną wskaźniki spełnienia standardów wejścia: standardów wejścia oraz arkusza danych wejściowych, i uzupełniania informacji przez NGO, o- Zbiór standardów dostępny w SI NAWIKUS Zbiór standardów dostępny w SI NAWIKUS. Regulamin konkursu ofert 2. Przypisanie standardów do standardów wejścia oraz standardów kontrolnych. Raport generowany w oparciu o zestaw standardów wejścia zawierający wartości poszczególnych wskaźników. 3 wejścia. Uzupełnienie arkusza danych wejściowych w oparciu, o który generowane będą wartości poszczególnych wskaźniki spełnienia standardów kontrolnych: standardów kontrolnych oraz arkusza danych wejściowych, przez NGO w trakcie realizacji usługi, Zbiór standardów dostępny w SI NAWIKUS. Regulamin konkursu ofert Raport generowany w oparciu o zestaw standardów kontrolnych zawierający wartości poszczególnych wskaźników. 4 5 6 kontrolnych. Weryfikacja informacji o stopniu spełnienia standardów kontrolnych przez kontrolera zlecającego usługę: ustalenie terminu wizyty w NGO, weryfikacja danych przedstawionych w arkuszu danych wejściowych, spełnienia standardów kontrolnych, uzupełnienie informacji o spełnieniu standardów kontrolnych. Generowanie raportu częściowego w trakcie realizowanej usługi. Generowanie raportu końcowego po zakończeniu realizowanej usługi. Zbiór opisanych standardów dostępny w SI NAWIKUS, wytyczne metodyczne opisane w podręczniku, arkusz danych wejściowych, baza danych z informacją o stopniu spełnienia standardów kontrolnych. Baza danych SI NAWIKUS o stopniu spełnienia standardów kontrolnych. Baza danych SI NAWIKUS o stopniu spełnienia standardów kontrolnych. Baza danych SI NAWIKUS zawierająca raporty kontrolne Raport częściowy zawierający dane z punktów pomiaru wyznaczonych zgodnie z przyjętym harmonogramem sprawozdawczości i monitoringu. Raport końcowy zawierający dane syntetyczne z punktów pomiaru wyznaczonych zgodnie z przyjętym harmonogramem sprawozdawczości i monitoringu. 23

2.5. Opis wyników pilotażu 2.5.1. DPS i ŚDS placówki szczególnego przeznaczenia Celem prowadzonych działań pilotażowych było zweryfikowanie Narzędzia na wszystkich płaszczyznach, które, z perspektywy teraźniejszego wdrożenia oraz przyszłej replikacji, mogłyby stanowić o sile lub słabości całej metody, jak również jej poszczególnych elementów. W tym kontekście niezwykle istotnym elementem było zwrócenie uwagi na szczególny rodzaj działań kierowanych do osób starszych, które nie zawsze mieszczą się głównym nurcie wsparcia i opieki. Jednak z punktu widzenia całości systemu ich komplementarność jest naturalna i decyduje o wysokim poziomie koherentności zarówno funkcjonalnej jak i celowej. Uwzględniając fakt, że NAWIKUS ma służyć do monitorowania różnych usług społecznych, których odbiorcami są także osoby o utrudnionym kontakcie (przewlekle somatycznie chore, przewlekle psychicznie chore; dzieci, młodzież i dorośli niepełnosprawni intelektualnie), wymagane jest dostosowanie komponentu badania jakościowego do tychże usług. W powyżej podanych przypadkach zbieranie informacji bezpośrednio od klientów NGO nie jest możliwe. Co prawda dla osób z niepełnosprawnością intelektualną i innych są opracowane narzędzia badawcze, ale odnoszą się one do jakości życia (Quality of Life), a nie do jakości usług 4. Badania jakości prowadzone są w NAWIKUSIE za pomocą dwóch metod: badania satysfakcji klienta, badania stopnia spełniania standardów. Pierwsza metoda jest mocno osadzona w teorii i praktyce, jako właściwe narzędzie do diagnozowania potrzeb klientów i stopnia ich zaspokojenia. Standardy natomiast mają charakter bazowy, wyjściowy na nich opierają się podstawy jakości świadczonej usługi. Biorąc pod uwagę fakt, iż konieczne jest uwzględnienie w całej metodzie także elementów, których pełne zbadanie w ten sposób jest niemożliwe, zaproponowana została zmodyfikowana postać metody badania jakości. Dodatkową przesłanką prezentowanej modyfikacji jest próba uniwersalizacji narzędzia. W projekcie założono objęcie NAWIKUSEM usług dla 4 Muszalik M., Zielińska-Więczkowska H., Wojciechowska A., Kędziora-Kornatowska K., Funkcjonowanie pacjentów w starszym wieku z zaburzeniami psychicznymi w aspekcie jakości życia (QOL), Psychogeriatria Polska, 2011, 8 (2), s. 45-54; Majkowicz M., Zdun-Ryżewska A., Ocena jakości życia w zaburzeniach psychicznych koncepcje, badania, narzędzia pomiaru, Psychiatria w Praktyce Klinicznej, tom 2, nr 2, s. 100-114; Zawiślak A., Pomiar jakości życia osób z niepełnosprawnością intelektualną, Nasze Forum, Nr 1-2 (25-26) 2007 s. 50-57. 24

osób starszych, a w tej grupie są obecnie usługi świadczone przez Domy Pomocy Społecznej, czy też Środowiskowe Domy Samopomocy dla osób z upośledzeniami. Reasumując, powyższe przyczyny wpłynęły na sposób przeprowadzenia modyfikacji badań jakościowych. W kontekście świadczenia usług społecznych dla osób niepełnosprawnych intelektualnie, zaproponowano zastąpienie badania jakości usług, opartego na kwestionariuszu, badaniem stopnia spełnienia standardów jakości usługi. Nie oznacza to, że narzędzia oceny jakości życia nie mogą być stosowane. W standardach opracowanych na potrzeby projektu NAWIKUS znajdują się zapisy dotyczące takiej możliwości. Na przykład w Standardach Organizacji usługi, w obszarze Dobre współzarządzanie jest kryterium: Zbieranie opinii zwrotnych. W trakcie pilotażu było to realizowane według scenariusza uwzględniającego badanie wszystkie standardów wypracowanych w projekcie NAWIKUS. W efekcie, w tym kroku weryfikacji Narzędzia przeprowadzone zostały ustrukturyzowane wywiady eksperckie w trzech jednostkach w oparciu o opracowany wcześniej scenariusz wywiadu. Pierwszą był Dom Pomocy Społecznej w Krakowie, który prowadzi krakowska Fundacja Zdrowie dla Budowlanych. Drugą i trzecią były Środowiskowe Domy Samopomocy wspierające osoby z chorobą Alzheimera, jeden prowadzony przez Małopolską Fundację Pomocy Ludziom Dotkniętym Chorobą Alzheimera, drugi przez Caritas Archidiecezji Krakowskiej. Dom Pomocy Społecznej w Krakowie Dom Pomocy Społecznej w Krakowie jest prowadzony przez fundację Zdrowie dla Budowlanych na mocy umowy zawartej z Gminą Miejską Kraków. Projekt jest finansowany ze środków Gminy oraz budżetu państwa. Fundacja obejmuje zakresem swoich działań także sferę pomocy społecznej. Specyfika tego DPS polega na kierowaniu wsparcia dla osób starszych, w szczególności repatriantów z Kazachstanu (połowa mieszkańców). W DPS prowadzona jest działalność opiekuńczo-medyczno-rehabilitacyjna i terapeutyczna oraz specjalny program adaptacyjny dla repatriantów, którzy wrócili do Polski po długotrwałym pobycie poza granicami kraju. Placówka posiada 67 miejsc dla seniorów. Środowiskowe Domy Samopomocy Oba badane Środowiskowe Domy Samopomocy są niepublicznymi ośrodkami wsparcia dla osób z zaburzeniami psychicznymi. Są to placówki pobytu dziennego dla osób z chorobą Alzheimera. Wsparcie udzielane w tych placówkach ma na celu utrzymanie chorych w naturalnym środowisku i dzięki temu przeciwdziałanie instytucjonalizacji (przenoszenia osób cho- 25

rych do placówek całodobowej opieki). ŚDS prowadzony przez Małopolską Fundację Pomocy Ludziom Dotkniętym Chorobą Alzheimera posiada 23 miejsca, natomiast ŚDS prowadzony przez Caritas Archidiecezji Krakowskiej 22 miejsca. Funkcjonowanie ŚDS finansowane jest przez Gminę Miejską Kraków. Badanie Badanie swoim zakresem obejmowało obszar kluczowy z perspektywy Narzędzia, a mianowicie spełniania standardów przez placówki oraz badania jakości świadczonych usług. W tym celu, jak już wspomniano wcześniej, przeprowadzone zostały ustrukturyzowane wywiady eksperckie według opracowanego wcześniej i ujednoliconego scenariusza wywiadu. Badanie to w swoich założeniach metodologicznych miało służyć pozyskaniu określonych informacji zarówno w ujęciach konstruktywistycznych, jak i implikacyjnych. Z drugiej strony jednolitość metody badawczej pozwoliła na przeprowadzenie analizy komparatywnej tych szczególnych jednostek. Wyniki badań Spełniane standardy Dom Pomocy Społecznej w Krakowie prowadzony przez fundację Zdrowie dla Budowlanych Rodzaj Wynik Obszar Wynik Kryterium Wynik Subkryterium Wynik Standardy formalnoorganizacyjne 1.2 100,0% 1.1 100,0% 100,0% Wymogi formalne 100,0% Organizacja 100,0% 2.1 100,0% Dobre zarządzanie 100,0% 2.2 100,0% 2.3 100,0% Planowanie roczne 100,0% Dobre współzarządzanie Zbieranie opinii zwrotnych 100,0% 2.5 100,0% 2.4 100,0% Standardy organizacji usługi 70,0% 85,0% Systematyczna poprawa 0,0% 2.6 jakości 0,0% Zachowanie poufności 50,0% 2.7 50,0% Partnerstwo 100,0% Zaangażowanie 100,0% 2.8 100,0% Kompetencje personelu 100,0% 3.1 100,0% Standardy dotyczące Kwalifikacje personelu zawodowe 0,0% Szkolenia i doskonalenie 66,7% 66,7% 0,0% 3.2 personelu Kodeks etyczny 100,0% 3.3 100,0% Standardy obsługi klienta Standardy zapewnienia dostępu do usługi Karta Praw 100,0% 4.1 100,0% Prawa 100,0% Równe traktowanie 100,0% 4.2 100,0% 100,0% Procedury skargowe 100,0% 4.3 100,0% Informowanie 100,0% 4.4 100,0% Uczestnictwo 100,0% Upodmiotowienie podopiecznych 100,0% 100,0% 4.5 5.1 100,0% Dostęp 100,0% Lokalizacja i zaplecze 100,0% 5.2 100,0% 100,0% 100,0% Wszechstronne wsparcie 100,0% Dostęp do wszechstronnego wsparcia 5.3 100,0% 5.4 100,0% 26

Dane wejściowe do badania efektywności Wskaźniki efektywności Nazwa wskaźnika Nr formuła sierpień Skuteczność działań ośrodka w zakresie wsparcia klientów E1 D1/D2 1,00 Efektywność działań ośrodka w zakresie wsparcia klientów E2 D3/D4 0,000 Udział środków własnych w realizowanym działaniu E3 D5/D6 0,0% Efektywność zatrudnieniowa personelu E4 D1/D7 1,56 Efektywność kosztowa realizowanych działań E5 D6/D1 10 326,40 Uwagi/komentarze: Usługi szczegółowe zawarte w ofercie dotyczą mniejszej liczby osób niż ogólna liczba podopiecznych. W takiej sytuacji uwzględnia się liczbę globalną. Sprawozdania składane są kwartalnie i z nich pochodzą dane. Usługa jest zawarta na okres 5-letni od 2012 r. do końca 2016 r. D7 w sprawozdaniu wymienia się wszystkie osoby zatrudnione bez względu na formę. Usługa jest w całości finansowana przez GMK stąd brak wkładu własnego. Listy uczestnictwa są przygotowywane co miesiąc. Liczba osób jest stała. Jeśli ktoś opuszcza DPS, jego miejsce zajmuje nowa osoba. Kwestia interpretacji D4 i D6 koszty a wartość. ŚDS prowadzony przez Małopolską Fundację Pomocy Ludziom Dotkniętym Chorobą Alzheimera, os. Słoneczne Spełniane standardy Lp. Kategoria danych Jednostka miary Wartość Liczba osób [starszych] korzystających z usługi w danym okresie sprawozdawczym 67 D1 osoba Planowana liczba osób [starszych] korzystających z usługi w danym okresie 67 D2 osoba sprawozdawczym D3 Liczba osób korzystających z usługi w danym miesiącu osoba 67 D4 Koszty realizacji usługi złoty 691 869 D5 Środki własne zaangażowane w usługę złoty 0 D6 Wartość realizowanej usługi złoty 691 869 D7 Liczba osób zatrudnionych do realizacji usługi etat 43 Subkryterium Rodzaj Wynik Obszar Wynik Kryterium Wynik Wynik Standardy formalno-organizacyjne 1.2 100,0% 1.1 100,0% 100,0% Wymogi formalne 100,0% Organizacja 100,0% 2.1 50,0% Dobre zarządzanie 75,0% 2.2 100,0% 2.3 100,0% Planowanie roczne 100,0% Standardy organizacji usługi dzanie Zbieranie opinii zwrot- Dobre współzarzą- 2.4 100,0% 37,5% 75,0% 50,0% nych 2.5 50,0% Systematyczna poprawa 100,0% 2.6 jakości 100,0% 27

Rodzaj Wynik Obszar Wynik Kryterium Wynik Subkryterium Wynik Zachowanie poufności 50,0% 2.7 50,0% Partnerstwo 0,0% Zaangażowanie 0,0% 2.8 0,0% Kompetencje personelu 100,0% 3.1 100,0% Standardy dotyczące personelu nelu zawodowe 0,0% Kwalifikacje perso- Szkolenia i doskonalenie 33,3% 33,3% 0,0% 3.2 Kodeks etyczny 0,0% 3.3 0,0% Karta Praw 0,0% 4.1 0,0% Prawa 33,3% Równe traktowanie 100,0% 4.2 100,0% Standardy obsługi Procedury skargowe 0,0% 4.3 0,0% 47,9% klienta Informowanie 75,0% 4.4 75,0% Uczestnictwo 62,5% Upodmiotowienie podopiecznych 50,0% 50,0% 4.5 5.1 0,0% Standardy zapewnienia dostępu do 58,3% Dostęp 50,0% Lokalizacja i zaplecze 50,0% 5.2 100,0% usługi 66,7% Wszechstronne wsparcie 66,7% RAZEM 55,4% Dostęp do wszechstronnego wsparcia Dane wejściowe do badania efektywności 5.3 100,0% 5.4 33,3% Lp. Kategoria danych Jednostka miary Wartość D1 Liczba osób [starszych] korzystających z usługi w danym okresie sprawozdawczym osoba 23 D2 Planowana liczba osób [starszych] korzystających z usługi w danym okresie sprawozdawczym osoba 24 D3 Liczba osób korzystających z usługi w danym miesiącu osoba 22 D4 Koszty realizacji usługi złoty 22 968 D5 Środki własne zaangażowane w usługę złoty 0 D6 Wartość realizowanej usługi złoty 275 616 D7 Liczba osób zatrudnionych do realizacji usługi etat 5,1 Wskaźniki efektywności Nazwa wskaźnika Nr formuła sierpień Skuteczność działań ośrodka w zakresie wsparcia klientów E1 D1/D2 0,96 Efektywność działań ośrodka w zakresie wsparcia klientów E2 D3/D4 0,001 Udział środków własnych w realizowanym działaniu E3 D5/D6 0,0% Efektywność zatrudnieniowa personelu E4 D1/D7 4,51 Efektywność kosztowa realizowanych działań E5 D6/D1 11 983,30 Uwagi/Komentarze do badań: Wykształcenie nie jest konieczne na poziomie wyższym, w tym przypadku liczą się kursy specjalistyczne i doświadczenie. Duże doświadczenie może być obciążeniem, wysoki procent pracowników jest wypalonych zawodowo. Konieczne są terapie grupowe także dla pracowników i terapeutów. ŚDS nie może pozyskiwać sponsorów, stąd działania dofinansujące prowadzone są przez fundację. Brak możliwości bezpośredniego złożenia oświadczenia woli przez podopiecznych w tym kontekście pobierane są oświadczenia woli od opiekunów. Natomiast plan zajęć wynika z planu postępowania wspierającego, zatrudniony psycholog przeprowadza bada- 28