EWALUACJA ZEWNĘTRZNA PRODUKTU FINALNEGO PROJEKTU INNOWACYJNEGO TESTUJĄCEGO PI NAWIKUS INNOWACYJNA METODA MONITORINGU KONTRAKTOWANYCH USŁUG SPOŁECZNYCH

Transkrypt

1 ZAŁĄCZNIK NR 17 DO OPISU PRODUKTU FINALNEGO EWALUACJA ZEWNĘTRZNA PRODUKTU FINALNEGO PROJEKTU INNOWACYJNEGO TESTUJĄCEGO PI NAWIKUS INNOWACYJNA METODA MONITORINGU KONTRAKTOWANYCH USŁUG SPOŁECZNYCH Kraków, 2014 P r o j e k t P I N A W I K U S i n n o w a c y j n a m e t o d a m o n i t o r i n g u k o n t r a k t o w a n y c h u s ł u g s p o ł e c z n y c h j e s t w s p ó ł f i n a n s o w a n y z e ś r o d k ó w U n i i E u r o p e j s k i e j w r a m a c h E u r o p e j s k i e g o F u n d u s z u S p o ł e c z n e g o

2 Autorzy: mgr Agnieszka Otręba-Szklarczyk mgr Anna Strzebońska dr Barbara Worek Opracowanie przygotowano w ramach projektu PI NAWIKUS innowacyjna metoda monitoringu kontraktowanych usług społecznych, współfinansowanego ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego (nr umowy UDA-POKL E05/11-00). 2

3 Spis treści WYKAZ SKRÓTÓW... 4 WSTĘP WNIOSKI... 6 REKOMENDACJE OPIS PRZEDMIOTU BADANIA Opis celu i zakresu badania ewaluacyjnego Kryteria oceny i pytania badawcze METODOLOGIA BADANIA Opis zastosowanej metodologii badawczej Opis przebiegu badania ewaluacyjnego i ograniczeń (problemów) napotkanych w toku jego realizacji WYNIKI BADANIA TRAFNOŚĆ Czy i w jakim stopniu produkt odpowiada na realne potrzeby użytkowników/odbiorców? SKUTECZNOŚĆ Czy produkt przynosi zakładane korzyści dla grup docelowych? Czy sprzyja rozwiązaniu problemów opisanych we wniosku o dofinansowanie projektu? Czy istnieje potrzeba wprowadzenia produktu? Czy produkt jest skuteczny? Co wpływa na jego skuteczność? Czy możliwe jest zwiększenie skuteczności proponowanych metod i pod jakimi warunkami? UŻYTECZNOŚĆ Czy wypracowany produkt jest zgodny z potrzebami grup docelowych: użytkowników/odbiorców? Czy produkt jest unikalny? EFEKTYWNOŚĆ Czy wypracowany produkt przynosi zakładane efekty w odniesieniu do poniesionych nakładów (finansowych, czasowych, ludzkich)? Czy produkt jest innowacyjny, czy dotyczy obszaru/grupy/problemu, którym nikt inny się nie zajmuje, w którym jak dotąd nie działają żadne instrumenty? Czy i w jakim stopniu proponowana innowacja jest lepsza od istniejących rozwiązań, bardziej atrakcyjna i efektywna? Czy produkt wymaga usprawnień? TRWAŁOŚĆ Czy produkt jest realny do wprowadzenia, zastosowania i upowszechniania? Czy i w jakim stopniu prawdopodobne jest funkcjonowanie produktu po zakończeniu finansowania projektu? Jaki jest potencjał produktu w dłuższej perspektywie czasowej? Czy zasadne jest podejmowanie działań upowszechniających i wdrażających? ZAŁĄCZNIKI

4 WYKAZ SKRÓTÓW EWMKU GMK GWA JST MDDPS MOWIS NAWIKUS/ NARZĘDZIE NGO OW OWOS PI NAWIKUS PF SI NAWIKUS UMK WSS WW PF Elektroniczne Wspomaganie Monitoringu Kontraktowanych Usług Gmina Miejska Kraków Generator Wniosków Aplikacyjnych Jednostka Samorządu Terytorialnego Miejski Dzienny Dom Pomocy Społecznej Miejski Ośrodek Wspierania Inicjatyw Społecznych Narzędzie Analizy Wartości Kontraktowanych Usług Społecznych Organizacje pozarządowe Ośrodek Wsparcia Ośrodek Wsparcia dla Osób Starszych Projekt innowacyjny NAWIKUS Produkt finalny System Informatyczny wspomagający metodę NAWIKUS Urząd Miasta Krakowa Wydział Spraw Społecznych Wstępna Wersja Produktu Finalnego 4

5 WSTĘP Celem niniejszego raportu jest prezentacja wyników badań i analiz przeprowadzonych w ramach ewaluacji zewnętrznej PI NAWIKUS. Ewaluacja ta miała za zadanie ocenić trafność, skuteczność, efektywność i trwałość produktów przygotowanych w ramach tego projektu. Została ona przeprowadzona w momencie, gdy faza testowania innowacyjnej metody oceny wartości kontraktowanych usług społecznych i dostosowanych do niej narzędzi dobiegała końca. Możliwe było więc zaobserwowanie pierwszych rezultatów, jakie przynosi wykorzystanie NAWIKUSA w procesie kontraktowania, monitoringu i oceny wartości usług społecznych. Niemożliwe było jednak uchwycenie wszystkich efektów związanych z zastosowaniem NAWIKUSA w wybranych do przeprowadzenia pilotażu ośrodkach. Jest to uwarunkowane przede wszystkim charakterem wypracowanego Narzędzia i jego wspierającą rolą w procesie podnoszenia jakości usług społecznych. Analiza specyfiki NAWIKUSA, założeń metodologicznych opracowanej metody i logiki jego oddziaływania na jakość i efektywność kontraktowanych usług społecznych, jednoznacznie wskazują bowiem, że rzeczywiste skutki jego oddziaływania będzie można w pełni ocenić dopiero w dłuższym okresie czasu. Logika zaproponowanej interwencji, mechanizmy jej oddziaływania, dobre dostosowanie do potrzeb odbiorców i realne perspektywy trwałości, każą oczekiwać, iż owe długoterminowe efekty będą miały charakter pozytywny. W przeprowadzonej ewaluacji skupiono się przede wszystkim na ocenie adekwatności wypracowanych w ramach projektu rozwiązań w stosunku do potrzeb, na jakie rozwiązania te miały odpowiadać, na skuteczności tych rozwiązań w zakresie rozwiązywania problemów kluczowych dla beneficjentów projektu oraz na efektywności i przewidywanej trwałości wprowadzonej innowacji. Z tego względu strukturę niniejszego dokumentu wyznaczają ściśle kryteria ewaluacyjne, które wykorzystano do oceny produktu wypracowanego w PI NAWIKUS. Najpierw odniesiono się do kryterium trafności, następnie do skuteczności, użyteczności, efektywności i trwałości. W każdym przypadku do danego kryterium zostały przyporządkowane pytania ewaluacyjne. Raport uzupełniają wnioski i rekomendacje sporządzone na podstawie przeprowadzonych analiz, opis przedmiotu ewaluacji, opis kryteriów oceny i pytań badawczych oraz metodologii zastosowanej w ewaluacji wraz z opisem przebiegu badania ewaluacyjnego. 5

6 WNIOSKI Trafność: Oceniając trafność produktu uznano, że cele, jakie przed nim postawiono są adekwatne do zidentyfikowanych problemów i dobrze odpowiadają na istotne potrzeby wskazanych w projekcie grup docelowych: JST, NGO, osób starszych i odbiorców usług społecznych. Model interwencji społecznej, jaki był podstawą działań podejmowanych w ramach projektu, a w szczególności zakładane relacje pomiędzy potrzebami, wypracowanymi rozwiązaniami i ich efektami, należy ocenić jako właściwe i dobrze uzasadnione. Wypracowana w PI NAWIKUS metodologia służąca ocenie wartości kontraktowanych usług społecznych ma cechy uniwersalności, co pozwala ją wykorzystać w innych obszarach, gdzie występuje potrzeba oceny jakości i efektywności świadczonych usług. Skuteczność: Zgodnie z założonymi celami, NAWIKUS został wdrożony w dziewięciu ośrodkach świadczących usługi społeczne dla osób starszych. W trzech z tych ośrodków wdrożono pełną wersję Narzędzia (kontraktowanie usług, monitoring i kontrola), w sześciu pozostałych, ze względu na ich specyfikę, nie wdrażano GWA. Zmodyfikowaną wersję Narzędzia, bez SI NAWIKUS, wdrożono w trzech dodatkowych ośrodkach, świadczących usługi społeczne. Zastosowanie Narzędzia w różnych formach należy uznać za szczególnie użyteczne z punktu widzenia możliwości jego uniwersalizacji. Pozwoliło bowiem ocenić funkcjonalność systemu w różnych wariantach i porównać skuteczność tych wariantów z punktu widzenia osiągania strategicznego celu, jakim jest wzrost jakości świadczonych usług społecznych. Ocena skuteczności PI NAWIKUS musi uwzględniać to, że pełne oddziaływanie tego produktu może być widoczne dopiero w średnim i dłuższym okresie czasu, nie bezpośrednio po jego zakończeniu. Dlatego z punktu widzenia oceny skuteczności projektu, ważniejsze od weryfikacji osiągnięcia zakładanych docelowych wartości wskaźników, 6

7 jest zrozumienie mechanizmów, za pomocą których wypracowane Narzędzie może oddziaływać na jakość i efektywność świadczonych usług społecznych. Skuteczność zaproponowanych narzędzi dla rozwiązywania problemów, które zidentyfikowano w ramach diagnozy, oceniono wysoko. Narzędzie usprawnia proces monitorowania i kontroli świadczonych usług, pozwala zwracać większą uwagę na faktyczną wartość usług, a nie jedynie na ich wąsko rozumianą efektywność ekonomiczną. Nieco lepiej jego skuteczność oceniają przedstawiciele JST niż NGO. Jednak i ci ostatni dostrzegają w nim narzędzie, którego stosowanie może mieć wpływ na poprawę jakości i zwiększenie efektywności usług społecznych. Pełna ocena skuteczności PI NAWIKUS będzie możliwa dopiero po zakończeniu projektu, na tym etapie jego realizacji możliwe jest jedynie odniesienie do wybranych wskaźników i ocena najważniejszych dla skuteczności działań. Użyteczność: Wypracowane w ramach PI NAWIKUS narzędzia umożliwiają rozwiązanie problemów, które są istotne dla każdej z grup beneficjentów projektu. Dla JST główną i najważniejszą funkcjonalnością NAWIKUSA jest generator wniosków i narzędzia służące do monitoringu, choć dużą wagę przywiązywano też do opracowanych w ramach projektu standardów jakości i mierników efektywności. Dla NGO najważniejszym elementem systemu są standardy jakości i uwzględnianie ich spełniania na etapie ubiegania się o zlecenie realizacji usług. Dla osób starszych, czyli użytkowników, ważne znaczenie ma możliwość wyrażania swojej opinii o usługach i tym sposobem wpływania na ich kształt. Wypracowany PF w ramach projektu NAWIKUS jest produktem unikalnym z uwagi na brak podobnych rozwiązań w odniesieniu do usług społecznych adresowanych do osób starszych. Efektywność: Osiągnięcie zbliżonych efektów produktu, przy wykorzystaniu mniejszych nakładów (finansowych, czasowych i ludzkich) byłoby bardzo mało prawdopodobne. Nakłady finansowe przewidziane na realizację projektu były efektywne w stosunku do osiągniętych rezultatów. Niemniej jednak kwota przeznaczona na budowę SI NAW- 7

8 KUS była za mała, w stosunku do potrzeb, zwłaszcza w kontekście upowszechnienia SI NAWIKUS w innych jednostkach GMK, niż ta dla której rozwiązanie było projektowane. Ramy czasowe przeznaczone na realizację projektu (w tym również jego poszczególnych działań) były zbyt krótkie, ale zakładane efekty zostały osiągnięte. Zwłaszcza wydłużenie fazy opracowania SI NAWIKUS mogłoby skutkować jego lepszym dopracowaniem i mniejszą ilością wprowadzanych na bieżąco usprawnień PF. Wykorzystanie PF, w dłuższej perspektywie czasowej, w danym JST lub NGO powinno się przyczynić do skrócenia czasu potrzebnego na zakontraktowanie wzajemnej współpracy oraz czasu potrzebnego na prowadzenie monitoringu jakości usług i ewaluacji, co będzie się wiązało ze świadczeniem wyższej jakości usług. Produkt wypracowany w ramach projektu NAWIKUS to produkt innowacyjny, zarówno w chwili przeprowadzania badania ewaluacyjnego, jak i na etapie projektowania. Przewaga produktu SI NAWIKUS, pod względem atrakcyjności i efektywności, wobec innych rozwiązań wypracowanych w obszarze poprawy efektywności i jakości świadczonych usług jest widoczna w stopniu wysokim. Wersja produktu przekazana do ewaluacji wymaga wprowadzenia pewnych usprawnień. Przy czym należy zaznaczyć, że większość sugerowanych zmian związana jest z przygotowaniem takiej wersji produktu, której upowszechnianie możliwe byłoby nie tylko w ramach usług społecznych dla osób starszych, ale również w obszarze pozostałych usług społecznych. Stosunkowo najłatwiejsze do wprowadzenia są zmiany rekomendowane w zakresie standardów oraz wskaźników jakości, a najbardziej kosztochłonne i czasochłonne w obszarze narzędzia informatycznego. Trwałość: Trwałość produktu to jedno z zagadnień kompleksowo kontrolowanych po zakończeniu realizacji projektu. Na obecnym etapie możliwe było dokonanie oceny potencjału produktu, nie zaś jego długotrwałych efektów. Z tego powodu, oceniając trwałość produktu uznano, że ma on realne perspektywy trwałości zwłaszcza na terenie Gminy Miejskiej Kraków. 8

9 Ocena potencjału produktu jest pozytywna. Finalna wersja produktu nie jest skomplikowana, trafia w potrzeby użytkowników i przynosi ewidentne korzyści odbiorcom produktu. Nie wymaga szczególnych warunków technicznych oraz istotnych zmian prawnych. Założenia metodologiczne metody NAWIKUS wraz z logiką jej oddziaływania na jakość i efektywność kontraktowanych usług społecznych są realne do wprowadzenia do każdego JST na terenie kraju, oczywiście w zakresie usług dedykowanych osobom starszym. Wdrożenie pełnej wersji PF do obszaru kontraktowania usług dla osób starszych generuje koszty po stronie JST, związane z koniecznością nauki obsługi NAWIKUSA i przygotowaniem rozwiązań o charakterze informatycznym. Sama adaptacja NAIKU- SA będzie jednak wymagała znacznie niższych nakładów, niż samodzielne przygotowanie podobnego rozwiązania. NAWIKUS ma duży potencjał by stać się rozwiązaniem uniwersalnym, dostosowanym do kontraktowania usług publicznych w obszarach innych, niż usługi dedykowane osobom starszym. W chwili obecnej jest to narzędzie szyte na miarę, które uwzględnia specyfikę obszaru testowania (GMK) oraz odbiorców wsparcia (osoby starsze). Na przetestowanie rozwiązań im dedykowanych przeznaczone były środki finansowe i czas. Każdorazowe rozszerzenie obszaru wdrożenia NAWIKUSA poza zakres rozwiązań wypracowanych w projekcie wymaga podjęcia działań adaptujących, na realizację których należy zagwarantować środki finansowe w budżecie instytucji. 9

10 REKOMENDACJE: W ostatecznej ocenie skuteczności NAWIKUSA, już po zakończeniu projektu, większą uwagę należy zwracać na zidentyfikowane mechanizmy jego oddziaływania na proces oceny wartości usług społecznych niż na osiąganie docelowych wartości wskaźników. Jak wskazano, kluczowych dla oddziaływania NAWIKUSA efektów należy się spodziewać raczej w średnim lub dłuższym okresie czasu, nie zaś bezpośrednio po jego zakończeniu. Niezależnie od powyższego, zaleca się weryfikację niektórych z zaproponowanych w Strategii wdrażania projektu innowacyjnego testującego wskaźników i doprecyzowanie sposobu ich definiowania. Dla zapewnienia skutecznego i efektywnego działania produktu nieodzowne jest wprowadzenie przez JST obowiązku używania metody monitorowania procesu kontraktowania usług społecznych dla osób starszych przez NGO, któremu zlecono wykonanie usługi (bez względu na to, czy zostanie ona wdrożona ze wsparciem systemu informatycznego, czy bez niego). Z tego powodu, w procesie wdrażania NAWIKUSA, już na etapie jego upowszechniania, należy szczególną uwagę zwrócić na NGO, zapewnić ich udział w opracowywaniu standardów usług, zaplanować czas na szerokie konsultacje, przygotować wysokiej jakości materiały informacyjne. Z punktu widzenia realizacji celów, jakie postawiono przed NAWIKUSEM, przekonanie NGO o użyteczności tego narzędzia i gotowość do wykorzystywania różnych jego funkcjonalności ma podstawowe znaczenie. W planowaniu dalszych działań związanych z upowszechnianiem PF należy mieć na uwadze, że czynnikami silnie utrudniającymi jego wdrożenie mogą być niewystarczające kompetencje informatyczne potencjalnych użytkowników (NGO) oraz rutynowe sposoby działania (NGO i JST). Prawidłowe wdrożenie produktu SI NAWIKUS wymaga zapewnienia odpowiedniego wsparcia technicznego po stronie JST. Najlepszym rozwiązaniem wydaje się być oddelegowanie jednej osoby, która będzie pełniła tę funkcję w ramach swoich obowiązków służbowych. 10

11 Rozwiązania wypracowane w ramach NAWIKUSA powinny być promowane z perspektywy realnych korzyści, jakie uzyskają użytkownicy zewnętrzni i wewnętrzni systemu np. skrócenie czasu potrzebnego na ocenę konkursu ofert, skrócenie czasu potrzebnego na przygotowanie oferty na konkurs, usprawnienie sprawozdawczości, przeprowadzenie kontroli wg standardów, co usprawnia proces samej kontroli, jak i etap jej przygotowania. W dokumentacji projektowej, a szczególnie w dokumentach, które zostaną przygotowane na potrzeby upowszechnienia rozwiązań wypracowanych w projekcie, należy wyraźnie określić, zidentyfikowane w fazie testowania zalety i wady wykorzystania NAWIKUSA w różnych wariantach: z systemem informatycznym i bez niego, z uwzględnieniem pomiaru satysfakcji i bez tego pomiaru. Dla każdego z wariantu konieczne jest opracowanie klarownych wytycznych określających sposób wdrażania Narzędzia oraz działań, które powinny być podejmowane w oparciu o informacje, jakie dostarcza system. Pożądaną wartością dodaną byłoby dostarczenie wstępnej wyceny wdrożenia każdego z wariantów. 11

12 OPIS PRZEDMIOTU BADANIA 1.1 Opis celu i zakresu badania ewaluacyjnego Celem głównym niniejszego badania ewaluacyjnego była ocena produktu finalnego (PF) projektu innowacyjnego testującego PI NAWIKUS innowacyjna metoda monitoringu kontraktowanych usług społecznych. Cel główny został osiągnięty poprzez: Analizę poprawności metodologicznej przyjętego podejścia w zakresie tworzenia i testowania PF; Ocenę wypracowanych elementów produktu projektu oraz osiągniętych rezultatów projektu; Ocenę identyfikacji zaistniałych czynników, które miały wpływ na proces wdrażania i skuteczność osiągania założonych celów w projekcie; Ocenę trafności podejmowanych działań w stosunku do celów projektu, ocenę skuteczności i efektywności projektu w stosunku do osiągniętych rezultatów oraz postępu w realizacji celów; Ocenę potencjału PF w zakresie trwałości wypracowanych rozwiązań oraz możliwości ich upowszechniania i włączania do głównego nurtu polityk i/lub praktyk; Badanie zostało zrealizowane w listopadzie 2014 r. Swoim zasięgiem objęło dokumenty projektowe opracowane do chwili prowadzenia oceny zewnętrznej, jak również opinię osób reprezentujących następujące podmioty: Fundację Gospodarki Administracji Publicznej, Urząd Miasta Krakowa, Miejski Ośrodek Wspierania Inicjatyw Społecznych, Miejski Ośrodek Pomocy Społecznej i Miejski Dzienny Dom Pomocy Społecznej w Krakowie, Cyfronet (firmę dostarczającą system informatyczny) oraz przedstawicieli organizacji pozarządowej zaangażowanej w proces testowania NAWIKUSA. Prace badawcze wykonało trzech ekspertów zewnętrznych związanych z Centrum Ewaluacji i Analiz Polityk Publicznych Uniwersytetu Jagiellońskiego. 12

13 1.2 Kryteria oceny i pytania badawcze W trakcie realizacji badania głównymi standardami oceny były następujące kryteria ewaluacyjne 1 : trafność (cele a potrzeby) pozwala ocenić stopień zgodności celów PF z potrzebami użytkowników/odbiorców lub adekwatność tych celów do założeń; skuteczność (plan a wykonanie) pozwala ocenić stopień osiągnięcia założonych celów PF; użyteczność (efekty a potrzeby) pozwala ocenić, w jakim stopniu efekty wypracowane w projekcie są zgodne z potrzebami użytkowników/odbiorców; efektywność (nakłady a efekty) pozwala ocenić relację uzyskanych efektów do poniesionych nakładów (finansowych, czasowych, ludzkich); trwałość (oddziaływanie projektu po jego zakończeniu) pozwala ocenić stopień trwałości efektów realizacji projektu. Z kryteriami ewaluacyjnymi związane są kluczowe pytania badawcze, których zbiorcze zestawienie prezentowane jest w tabeli 1.1. Założony cel ewaluacji zewnętrznej został osiągnięty dzięki udzieleniu odpowiedzi na postawione pytania badawcze, co z kolei zostało osiągnięte dzięki zastosowanym metodom i technikom badawczym. Ich opis prezentowany jest w rozdziale 2 niniejszego raportu. 1 Kryteria zostały opracowane na podstawie wytycznych PO KL opublikowanych w opracowaniu pt. Miniprzewodnik po ewaluacji projektów innowacyjnych PO KL. Zalecenia Krajowej Instytucji Wspomagającej dostępnego na stronie internetowej 13

14 Tabela 1.1 Relacje pomiędzy kryteriami ewaluacyjnymi a kluczowymi pytaniami realizowanego badania Nazwa kryterium ewaluacyjnego Trafność Skuteczność Użyteczność Efektywność Trwałość Źródło: opracowanie własne. Kluczowe pytania badawcze Czy i w jakim stopniu produkt odpowiada na realne potrzeby użytkowników/odbiorców? Czy produkt przynosi zakładane korzyści dla grup docelowych? Czy sprzyja rozwiązaniu problemów opisanych we wniosku o dofinansowanie projektu? Czy produkt jest skuteczny? Co wpływa na jego skuteczność? Czy możliwe jest zwiększenie skuteczności proponowanych metod i pod jakimi warunkami?. Czy wypracowany produkt jest zgodny z potrzebami grup docelowych: użytkowników/odbiorców? Czy produkt jest unikalny? Czy wypracowany produkt przynosi zakładane efekty w odniesieniu do poniesionych nakładów (finansowych, czasowych, ludzkich)? Czy produkt jest innowacyjny, czy dotyczy obszaru/grupy/problemu, którym nikt inny się nie zajmuje, w którym jak dotąd nie działają żadne instrumenty? Czy i w jakim stopniu proponowana innowacja jest lepsza od istniejących rozwiązań, bardziej atrakcyjna i efektywna? Czy produkt wymaga usprawnień? Czy produkt jest realny do wprowadzenia, zastosowania i upowszechnienia? Czy istnieje potrzeba wprowadzenia produktu? Czy produkt nie jest zbyt skomplikowany? 2 Czy i w jakim stopniu prawdopodobne jest funkcjonowanie produktu po zakończeniu finansowania projektu? Jaki jest potencjał produktu w dłuższej perspektywie czasowej? Czy zasadne jest podejmowanie działań upowszechniających i wdrażających? 2 Przy ocenie trwałości zostały wykorzystane pomocnicze pytania badawcze, które oryginalnie (wg. wytycznych PO KL) przyporządkowane powinny być do kryterium skuteczności (pytanie: Czy istnieje potrzeba wprowadzenia produktu?) oraz kryterium użyteczności (pytania: Czy produkt nie jest zbyt skomplikowany?). Celowość takiego zabiegu wyjaśniona jest na początku podrozdziale 3.5 opisującego wyniki badania trwałości PF 14

15 2 METODOLOGIA BADANIA 2.1 Opis zastosowanej metodologii badawczej Ewaluacja zewnętrzna przeprowadzona została zgodnie z metodą peer review (inaczej zwanej ewaluacją środowiskową). Wywodzi się ona z obszaru oceny osiągnięć naukowych jednostek, która to jest podstawą do alokacji środków na badania 3. Peer review opiera się na założeniu, że ocena pewnych aspektów nauki, np. jej jakości, jest decyzją którą mogą podjąć tylko ci, którzy mają dostateczną wiedzę o poznawczym rozwoju pola, jego agendzie badawczej oraz badaczach 4. Zmodyfikowane peer review wykorzystywane jest coraz szerzej do innych obszarów, w tym zwłaszcza do analizy projektów innowacyjnych 5. Głównym założeniem stojącym za tą metodą jest analiza i krytyczny komentarz wyników projektu przez grono niezależnych ekspertów z danej dziedziny. W trakcie badania ewaluacyjnego wykorzystane zostały następujące techniki badawcze: 1. Analiza danych zastanych, która swym zasięgiem objęła dokumentację wypracowaną w toku projektu, w tym przede wszystkim: wniosku o dofinansowanie projektu PI NAWIKUS innowacyjna metoda monitoringu kontraktowanych usług społecznych, Strategii wdrażania projektu innowacyjnego testującego, Analizy systemu kontraktowania usług społecznych dla osób starszych w Gminie Miejskiej Kraków, Wstępnej wersji metody monitorowania kontraktowanych usług społecznych dla osób starszych wraz z załącznikami oraz innych dokumentów (ustaw, rozporządzeń, raportów ze zrealizowanych badań). Zapoznanie się z tymi dokumentami pozwoliło na sformułowanie zakresu tematycznego pozostałych faz badania i dało dobry ogląd dotyczący istoty projektu oraz wypracowanej wersji PF. Umożliwiło także zidentyfikowanie kwestii wymagających wyjaśnień w odniesieniu do przyjętego zakresu pytań ewaluacyjnych. Cennym źródłem, uzupełniającym wiedzę przedstawioną w dokumentacji projektowej od strony praktycznej, był dostęp do SI NAWIKUS (wersja demo), co pozwoliło na ocenę funkcjonalności systemu z perspektywy jego użytkowników Kozłowski Jan, Ewaluacja instytucji naukowych w świetle porównań międzynarodowych i konsultacji, Departament Strategii Ministerstwa Nauki i Szkolnictwa Wyższego, European Commission (2007) Evalsed - the resource for the evaluation of socio-economic development, 15

16 Dodatkowo, aby móc wyczerpująco odpowiedzieć na postawione pytania ewaluacyjne, niezbędne okazało się pozyskanie wiedzy na temat podobnych rozwiązań zastosowanych w ramach innych projektów innowacyjnych testujących. Projekty te zostały zidentyfikowane przy pomocy wyszukiwarki na stronie internetowej Krajowej Instytucji Wsparcia 6, która umożliwia porównywanie grup projektów wyodrębnionych pod kątem wypracowania przez nie podobnych rozwiązań innowacyjnych. Wszystkie włączone do analizy projekty zostały opracowane w obszarze Dobrego rządzenia, w bloku tematycznym Aktywne NGO s sprawne państwo. 2. Wywiad grupowy z członkami zespołu badawczego (Focus group interview FGI) to dyskusja prowadzona przez przeszkolonego moderatora na podstawie przygotowanego wcześniej przewodnika (zestawu pytań). FGI został przeprowadzony z przedstawicielami Fundacji Gospodarki i Administracji Publicznej na początku procesu badawczego, a jego głównym celem było przede wszystkim: a. zapoznanie się z założeniami metodologicznymi i logiką PF oraz wdrożonymi usprawnieniami, b. zidentyfikowanie czynników mających wpływ na proces realizacji projektu, c. poznanie faktycznych potrzeb informacyjnych Zleceniodawcy. 3. Wywiady indywidualne (ang. individual in-depth interview - IDI) to bezpośrednia rozmowa badacza z respondentem przeprowadzana w oparciu o scenariusz wywiadu. Jej celem jest uzyskanie szczegółowej opinii i informacji od osób spełniających założone przez badacza kryterium doboru próby. W toku badania ewaluacyjnego zostało przeprowadzonych sześć IDI z przedstawicielami instytucji/jednostek zaangażowanych w realizację projektu: UMK, MOWISu, MOPSu, MDDPS (dwie osoby), OWOS Caritas, ACK Cyfronet. Scenariusz rozmowy podporządkowany był zagadnieniom wynikającym z pytań ewaluacyjnych. Każde spotkanie zostało zarejestrowane przy pomocy dyktafonu, a następnie z każde &lang=pl 16

17 go nagrania zostało sporządzone opracowanie w formie matrycy pytań wraz z cytatami (GRID). 2.2 Opis przebiegu badania ewaluacyjnego i ograniczeń (problemów) napotkanych w toku jego realizacji Badanie ewaluacyjne składało się z trzech podstawowych etapów, które stanowią odzwierciedlenie zastosowanych metod i technik badawczych. Rysunek 2.2. Etapy badania ewaluacyjnego projektu NAWIKUS Etap 1: Analiza danych zastanych (w tym dokumentacji projektowej) Etap 2: Wywiad grupowy z członkami zespołu badawczego Etap 3: Wywiady indywidualne Źródło: opracowanie własne. Pierwszym etapem, który z uwagi na charakter ewaluacji peer review trwał przez cały okres badania, było zapoznanie się z dokumentacją projektową stanowiącą podstawowe źródło wiedzy dla założonych analiz. W kolejnym kroku przeprowadzono wywiad grupowy z członkami zespołu badawczego. Wyniki tego spotkania, jak również analizy danych zastanych, podważyły sens przeprowadzania panelu eksperckiego z osobami zaangażowanymi w realizację projektu (co było pierwotnie planowe). Z uwagi na odmienny charakter ich doświadczeń i rolę w projekcie, co przekładało się na zróżnicowany zasób posiadanej wiedzy, zespół badawczy uznał, że większą wartość informacyjną z punktu widzenia ewaluacji dostarczy przeprowadzenie wywiadów indywidualnych z każdym przedstawicielem kluczowych interesariuszy projektu. W rezultacie przeprowadzono sześć wywiadów indywidualnych. 17

18 3 WYNIKI BADANIA 3.1 TRAFNOŚĆ Czy i w jakim stopniu produkt odpowiada na realne potrzeby użytkowników/odbiorców? Oceniając produkt pod względem trafności należy się odnieść do relacji pomiędzy realnymi potrzebami użytkowników czy też problemami społecznymi, które wymagają rozwiązania, a działaniami czy produktami, które mają te potrzeby zaspokoić lub problemy rozwiązać. Oceniając trafność rozwiązań zaproponowanych w PI NAWIKUS, należy więc odnieść się do diagnozy, jaka została przeprowadzona przed rozpoczęciem realizacji przedsięwzięcia oraz badań uzupełniających, jakie zostały zrealizowane w jego trakcie, a następnie zestawić to z celami działań podejmowanych w ramach projektu i ich wynikami. Ocenę dostosowania produktu do potrzeb użytkowników przeprowadzono przede wszystkim w oparciu o diagnozę potrzeb w zakresie analizy wartości usług społecznych (US) skierowanych do osób starszych przedstawioną we wniosku o dofinansowanie projektu PI NAWIKUS innowacyjna metoda monitoringu kontraktowanych usług społecznych oraz w oparciu o badania zrealizowane w ramach zadania 1 tego projektu. Badania te obejmowały analizę literatury, danych zastanych, grupy fokusowe, indywidualne wywiady pogłębione, wywiady kwestionariuszowe oraz dyskusję ekspercką. Objęto nimi trzy grupy użytkowników systemu: a) przedstawicieli GMK (pracowników UMK, MOPS i MDDPS), b) przedstawicieli NGO, c) osoby starsze, będące klientami MDDPS i NGO. Dla uzupełnienia oceny i zweryfikowania trafności przeprowadzonej diagnozy odniesiono się także do informacji zewnętrznych w stosunku do PI NAWIKUS: danych zastanych oraz wyników jakościowych wywiadów pogłębionych zrealizowanych przez ewaluatorów zewnętrznych z przedstawicielami kluczowych interesariuszy projektu. Według przeprowadzonej diagnozy i badań realizowanych w ramach zadania 1 PI NAWI- KUS, kluczowymi problemami, do rozwiązania których powinien się przyczynić wypracowany produkt były: 1. Zawężanie przesłanek wyboru dostawców usług społecznych do kryteriów ekonomicznych, zazwyczaj utożsamianych z najniższym kosztem ponoszonym przez zleceniodawcę. 18

19 2. Brak operacyjnych definicji efektywności, skuteczności czy jakości, będących podstawą do budowania jakościowych standardów świadczenia usług społecznych. 3. Nieobecność w systemie kontraktowania i realizacji US systemowych mechanizmów ich monitorowania 7. Zidentyfikowane problemy występują w obszarze kontraktowania i monitorowania usług społecznych w całym kraju. Są też dostrzegalne w GMK, co potwierdziły badania przeprowadzone przez Zespół Projektowy NAWIKUS. Badania te pokazały, że istniejące sposoby oceny US pozwalają jedynie na określenie wybranych wskaźników efektywności ekonomicznej oraz umożliwiają w bardzo wąskim zakresie dokonanie oceny jakościowej. W GMK brakuje systemu monitorowania jakości świadczenia US, występują jedynie elementy kontroli merytorycznej 8. Wnioski, jakie sformułowano w oparciu o przeprowadzone badania i analizy, wskazywały, że istnieje szereg braków narzędziowych uniemożliwiających prowadzenie systemowego monitoringu kontraktowanych usług społecznych. 9 Braki te utrudniają zarządzanie jakością i efektywnością US na dwóch zasadniczych etapach ich kontraktowania i realizacji: 1. Na etapie konkursu ofert, 2. Podczas realizacji i zakończenia usługi. Jak stwierdzono, zwiększenie efektywności kontraktowania usług społecznych, wzrost ich jakości i zwiększenie satysfakcji odbiorców, wymaga nowoczesnego instrumentu pozwalającego w sposób pogłębiony dokonać badania i oceny efektywności ekonomiczno-społecznej oraz jakości tychże usług z uwzględnieniem opinii odbiorców usług, standardów oraz benchmarkingu usług realizowanych przez publiczne i niepubliczne organizacje 10. Na podstawie przedstawionej diagnozy oraz zaproponowanego rozwiązania zidentyfikowanych problemów można zrekonstruować model zmiany społecznej i instytucjonalnej, jaką wprowadza opracowane narzędzie, wskazać kluczowe problemy i potrzeby, jakie rozwiązuje produkt, a następnie ocenić relacje pomiędzy tymi problemami/ potrzebami a rozwiązaniami. 7 Por. Strategia wdrażania projektu innowacyjnego testującego, Fundacja GAP, Kraków 2013., s Por. M. Ćwiklicki i in., Analiza systemu kontraktowania usług społecznych dla osób starszych w Gminie Miejskiej Kraków. Synteza wyników badań, Fundacja GAP, Kraków 2013, s Ibidem, s Strategia wdrażania projektu innowacyjnego testującego, Fundacja GAP, Kraków 2013., s. 8 19

20 Rysunek Model relacji pomiędzy potrzebami i problemami odbiorców a rozwiązaniami wypracowanymi w projekcie NAWIKUS PROBLEMY/ POTRZEBY Brak narzędzi umożliwiających ocenę jakości i efektywności kontraktowanych usług społecznych; Brak narzędzi informatycznych usprawniających te procesy Brak uwzględnienia jakości świadczonych US w procesie wyboru wykonawcy; Brak systemowej stymulacji do podnoszenia jakości; Usprawnienie monitoringu i kontroli realizowanych usług Niewielka możliwość wpływania na jakość usług, które są do nich kierowane; brak uwzględniania głosu odbiorców w istniejącym systemie kontraktowania i monitorowania US JST NGO OS/ Odbiorcy usług Narzędzie służące monitorowaniu procesu kontraktowania przez JST US realizowanych przez NGO, integrujące kosztowe i jakościowe elementy oceny, oparte na standardach, metodach jakościowych i ilościowych, Aplikacja komputerowa wspomagająca zbieranie wystandaryzowanych danych dla celu dokonywania analiz porównawczych procesu kontraktowania US dla OS, składająca się z: Wyniki diagnozy: zidentyfikowane problemy. EFEKTY INTERWENCJI W ODNIE- ROZWIĄZANIA SIENIU DO 3 KAT. BENEFICJENTÓW Sposób rozumienia pytań: proponujemy raczej posługiwanie się terminem, w jakim stopniu produkt rozwiązuje istotny problem społeczny. o o Generatora Wniosków Aplikacyjnych modułu analitycznego umożliwiającego monitorowanie i oceną wartości świadczonych usług. Program i metodyka szkoleń służące budowaniu kompetencji umożliwiających skuteczne i efektywne posługiwanie się PF JST o Wzbogacenie kryteriów kontraktowania usług na rzecz osób starszych, o umożliwienie monitorowania jakości usług i ich ewaluacji, o ułatwienie współpracy z NGO NGO świadczące usługi na rzecz OS: o znajomość standardów jakościowych pozwalająca lepiej profilować ofertę dla osób starszych, o wyższa jakość świadczonych usług Osoby starsze/odbiorcy usług: o o wyższa jakość US włączenie w proces oceny jakości tych usług. Źródło: opracowanie własne na podstawie dokumentacji projektu NAWIKUS. Przedstawiony na rysunku model interwencji społecznej, a w szczególności zakładane relacje pomiędzy potrzebami, wypracowanymi rozwiązaniami i ich efektami, należy ocenić jako właściwe i dobrze uzasadnione. Opracowany w ramach PI NAWIKUS produkt dobrze odpowiada na ujawnione w procesie diagnozy potrzeby i proponuje rozwiązania mogące w sposób realny przyczynić się do poprawy jakości usług świadczonych osobom starszym. Ponadto, wypracowana w PI NAWIKUS metodologia służąca ocenie wartości kontraktowanych usług społecznych ma cechy uniwersalności, co pozwala ją wykorzystać w innych obszarach, gdzie występuje problem monitorowania jakości i efektywności świadczonych usług. 20

21 W podobny sposób należy ocenić trafność celów, jakie postawiono w PI NAWIKUS. Logika interwencji, jaką można zrekonstruować na podstawie celów, przedstawiona we wniosku projektowym i w Strategii wdrażania projektu innowacyjnego testującego 11 jest spójna i realistyczna. Tę pozytywną ocenę zarówno przeprowadzonej w ramach projektu identyfikacji potrzeb i problemów, jak i adekwatności zaproponowanych rozwiązań, potwierdzają wnioski z wywiadów jakościowych przeprowadzonych z przedstawicielami beneficjentów i interesariuszy PI NAWIKUS zrealizowanych w związku z zewnętrzną ewaluacją projektu. Kategorie potrzeb, na które zdaniem badanych odpowiada PI NAWIKUS, są tożsame z potrzebami czy problemami ujawnionymi w trakcie diagnozy, a dopasowanie rozwiązań do tych problemów oceniono bardzo wysoko. 11 Por. załącznik A do Strategii wdrażania, op. cit. s

22 3.2 SKUTECZNOŚĆ Kryterium skuteczności odnosi się przede wszystkim do oceny realizacji celów założonych w projekcie. Oceniając skuteczność należy odwołać się do tych celów oraz do założonych wskaźników realizacji celów. Tak rozumianą skuteczność trudno jednak całościowo ocenić na tym etapie realizacji projektu, bowiem osiągniecie docelowej wartości dla większości wskaźników odnoszących się do efektów i rezultatów PI NAWIKUS przewidziano na okres zakończenia projektu (II Kwartał 2015 r.). Skuteczność tę ocenimy więc jedynie odnosząc się do danych dostępnych w czasie przeprowadzania ewaluacji (listopad 2014 r.), odwołując się do opinii interesariuszy zebranych za pomocą wywiadów indywidualnych oraz do danych zebranych przez Zespół Projektowy. Dla oceny skuteczności realizacji głównego celu innowacji, tj. zwiększenia poziomu i wzrostu efektywności kontraktowania usług społecznych przez Jednostki Samorządu Terytorialnego w ramach opieki nad osobami starszymi przez NGO w Małopolsce poprzez badania, rozwój, testowanie i upowszechnianie narzędzi monitorowania jakości i efektywności kontraktowanych usług społecznych w okresie zaproponowano dwa rodzaje wskaźników: wskaźniki odnoszące się do produktów i rezultatów (zapisane we wniosku projektowym oraz w Strategii Wdrażania projektu innowacyjnego testującego). Wskaźniki te zaprezentowano w tabeli

23 Wskaźniki rezultatu Wskaźnik produktu Tabela Wskaźniki odnoszące się do celu głównego PI NAWIKUS Nazwa wskaźnika 1. Liczba kontraktowanych usług społecznych monitorowanych przez NAWIKUS Wartość docelowa wskaźnika Planowany czas osiągnięcia docelowej wartości wskaźnika 8 do maja 2015 r. 2. Liczba kontraktowanych US po wdrożeniu narzędzia Liczba kontraktowanych US w roku poprzedzającym wdrożenie narzędzia NAWIKUS Liczba udoskonalonych kontraktowanych usług społecznych pod względem jakości 4. Liczba udoskonalonych kontraktowanych usług społecznych pod względem efektywności 5. Różnica między odsetkiem zadowolonych klientów OWdOS w roku 2013, a odsetkiem zadowolonych klientów w ośrodkach, w których zaimplementowano testowo system NAWIKUS Różnica między stopniem spełnienia założonych standardów w roku X+1 w stosunku do roku X w ośrodkach, w których zaimplementowano testowo system NAWIKUS 1 Do końca trwania projektu 8 do maja 2015 r 8 do maja 2015 r Wzrost o 5% w skali roku (Uwaga, w sytuacji, gdy wskaźnik docelowy zrówna się lub przekroczy wartość 0.9 (wartość optymalna) jego dalszy powolniejszy (mniej niż 5%) wzrost uznać należy za satysfakcjonujący) Wzrost o 5% w skali roku (przynajmniej na jednym wybranym standardzie) Do końca trwania projektu Do końca trwania projektu Źródło: Załącznik A do Strategii wdrażania projektu innowacyjnego testującego, s. 45. Dla wszystkich spośród wymienionych w tabeli wskaźników, osiągnięcie wartości docelowych zaplanowano na czas zakończenia projektu, czyli do połowy 2015 r. Można jednak obecnie dokonać wstępnego oszacowania wyników działań związanych z poszczególnymi wskaźnikami. 12 Ze względu na niejasność powiązania tego wskaźnika ze skutecznością osiągania celów NAWIKUSA, w dalszej części opracowania pomijamy jego ocenę i interpretację 13 Definicja wskaźnika jest niejasna: nie sprecyzowano, czy chodzi o różnicę w poziomie zadowolenia klientów w roku, w którym Narzędzie zostało wdrożone i w roku poprzedzającym wdrożenie Narzędzia, czy też dodatkowo, różnicę zarówno pomiędzy latami, jak i pomiędzy ośrodkami, w których wdrożono i nie wdrożono Narzędzia. Wartość docelowa wskaźnika przemawia za tym pierwszym rozwiązaniem 23

24 I tak, w przypadku wskaźnika nr 1 z tabeli 3.2.1, należy stwierdzić, że narzędzie NAWI- KUS zostało w różnych wersjach wdrożone w dziewięciu zlokalizowanych w GMK jednostkach świadczących usługi społeczne: a) W trzech jednostkach: OWOS Gaudium et Spes, OWOS Caritas, OWOS Sióstr Sercanek, rozwiązanie było wdrażane w pełnej wersji, tj. aplikowanie o realizację usługi w oparciu o narzędzia NAWIKUS i za pomocą SI NAWIKUS, prowadzenie monitoringu i kontroli w oparciu o to Narzędzie. b) W sześciu filiach MDDPS wdrożono Narzędzie bez systemu informatycznego. Usługi świadczone przez ten ośrodek nie podlegają postępowaniu konkursowemu, dlatego też wdrożono tam jedynie Narzędzie w części analitycznej i sprawozdawczej. Dodatkowo w trzech ośrodkach wdrożono zmodyfikowaną wersję Narzędzia (DPS Sołtysowska; ŚDS Słoneczne; ŚDS Kurczaba): wykorzystano opracowane standardy w zakresie oceny efektywności i jakości usług do przeprowadzenia wywiadu ustrukturyzowanego, który pozwolił ocenić stopień spełniania tych standardów w badanych ośrodkach. Zastosowanie Narzędzia w różnych formach (z systemem informatycznym i bez niego), i w różnych wersjach: w wersji pełnej (z uwzględnieniem procedury konkursowej, sprawozdawczości i kontroli) oraz w wersji zmodyfikowanej (badania stopnia spełniania standardów oraz moduły sprawozdawcze i analityczne) pozwoliło ocenić funkcjonalność systemu w różnych wariantach, co może być użyteczne w sytuacji szerszego wykorzystania Narzędzia, już po zakończeniu jego testowania. Z punktu widzenia oceny skuteczności Narzędzia, kluczowe są wskaźniki 3-6, gdyż odnoszą się bezpośrednio do jego oddziaływania na jakość i efektywność świadczonych usług, stanowiących główny cel działań PI NAWIKUS. W odniesieniu do tych wskaźników można obecnie stwierdzić, że: 1. W przypadku wskaźnika nr 3 (liczba usług udoskonalonych pod względem jakości), wydaje się, że istotniejsze od podawania jego wartości liczbowej jest zrozumienie mechanizmów, za pomocą których Narzędzie może oddziaływać na jakość świadczonych usług. W zakresie jego wartości liczbowej, można bowiem przyjąć, że samo wdrożenie wypracowanych w PI NAWIKUS standardów jakości było sposobem udoskonalania jakości usług. W jednostkach, które wdrożyły Narzędzie w którejś z testowanych wersji, niewątpliwie rozpoczął się proces doskonalenia ja- 24

25 kości usług. Przy zastosowaniu pełnej wersji Narzędzia (system informatyczny, kontraktowanie, monitoring i kontrola), jednostki wykorzystujące je deklarowały stopień spełniania standardów jakościowych już na etapie ubiegania się o zlecenie wykonania usługi. Przed zastosowaniem Narzędzia standardy te nie były uwzględniane ani na etapie ubiegania się o zlecenie realizacji usług, ani podczas monitoringu i kontroli wykonania tej usługi. Jak wynika z badań przeprowadzonych przez ekspertów PI NAWIKUS oraz z wywiadów zrealizowanych w ramach ewaluacji zewnętrznej, oddziaływanie Narzędzia na jakość usług poprzez opracowanie i wdrożenie standardów jest przez wszystkich interesariuszy podkreślane i dostrzegane. Można zatem przyjąć, że liczba jednostek, w których wdrożono narzędzie NAWIKUS, zwłaszcza w jego wersji pełnej, uwzględniającej wszystkie elementy i funkcjonalności, równa jest liczbie jednostek, w których ma miejsce proces doskonalenia jakości usług. Kolejnym sposobem oddziaływania na jakość świadczonych usług jest pomiar zadowolenia odbiorców usług, stosowany wszędzie tam, gdzie odbiorcy są w stanie wyrazić swoje opnie, preferencje i oczekiwania. 14 Choć zdania na temat potrzeby prowadzenia tego typu badań są podzielone zarówno wśród samych odbiorców usług, jak i wśród interesariuszy, niewątpliwie stanowią one cenne narzędzie umożliwiające odbiorcom wyrażanie własnych opinii i oczekiwań, a przez to wpływania na lepsze dopasowanie usług do potrzeb klientów. Samo określenie liczbowej wartości tego wskaźnika jest również możliwe i może zostać przeprowadzone w oparciu o dane gromadzone w systemie NAWIKUS, jednak na tym etapie projektu, gdy dysponujemy jedynie pomiarami przeprowadzonymi w dwóch nieodległych punktach czasu, obserwowane zmiany w zakresie jakości trudno jest jednoznacznie ocenić, a jeszcze trudniej przypisać je bezpośrednio oddziaływaniu Narzędzia. Dla przykładu można się odnieść do pomiarów jakości przeprowadzonych w MDDPS, w których zaobserwowano znaczący spadek wartości wskaźnika J3 (chęć dalszego korzystania z usług) 15. Dopiero reakcja podmiotu prowadzącego ośrodek na tę zmianę, próba określenia przyczyny spadku 14 Zastosowanie Narzędzia w niepublicznych Środowiskowych Domach Samopomocy dla osób z zaburzeniami psychicznymi zwróciło uwagę na konieczność uwzględnienia w projektowaniu Narzędzia sytuacji, gdy niemożliwe jest przeprowadzenie pełnego badania jakości, obejmującego zbieranie opinii klientów. Dostosowanie Narzędzia do takiej sytuacji jest jednym z elementów służących jego większej uniwersalizacji 15 Por. M. Ćwiklicki (red.), N. Laurisz, S. Mazur, Raport z pilotażu wstępnej wersji produktu finalnego narzędzia analizy wartości kontraktowanych usług społecznych, Fundacja GAP, 2014, s

26 wartości wskaźnika i podjęcie działań mogących mieć wpływ na poprawę opinii, a następnie odnotowanie efektów lub braku efektów tych działań, pozwoli w pełni prześledzić proces oddziaływania Narzędzia na jakość świadczonych usług. Na obecnym etapie wdrażania narzędzia ilościowa ocena tego oddziaływania nie jest właściwa. 2. W podobny sposób można się odnieść do wskaźnika nr 4 (liczba usług udoskonalonych pod względem efektywności). Choć oddziaływanie Narzędzia na efektywność nie jest tak bezpośrednie, jak w przypadku jakości, również i tutaj można się spodziewać osiągnięcia zakładanych efektów. Narzędzie może oddziaływać na efektywność świadczonych usług przede wszystkim dzięki wypracowanym miernikom, obserwacji ich wartości i reagowaniu na zaobserwowane zmiany. Obecnie możemy jedynie potwierdzić skuteczność Narzędzia w zakresie rejestracji zmian efektywności, klarowny sposób prezentacji wyników ocen i porównań oraz użyteczność informacji dostarczanych przez system. Realny wpływ narzędzia na efektywność US będzie miał jednak miejsce jedynie wówczas, gdy informacje dostarczone przez system staną się podstawą systematycznych działań służących podnoszeniu efektywności świadczonych usług. Należy podkreślić, że opracowane Narzędzie stanowi dobre wsparcie dla tego typu działań, oferując jasną interpretację zmian wartości wskaźników i sugerując pożądany rodzaj reakcji na zaobserwowaną zmianę. Jednak realny wpływ na efektywności będzie miało podjęcie bądź nie podjęcie wskazanych działań. 3. W przypadku wskaźników nr 5 i 6, pojawia się istotny problem interpretacyjny związany z trudnością powiązania osiągnięcia docelowej wartości wskaźnika z wdrożeniem Narzędzia. Bez kontroli oddziaływania innych czynników, które mogą stanowić przyczynę obserwowanych zmian, trudno jednoznacznie stwierdzić, że zaobserwowana zmiana pozytywna jest wynikiem oddziaływania Narzędzia. Jednakże, zastosowanie podejścia prostego schematu eksperymentalnego, opisanego w Strategii w przypadku tego typu interwencji mogłoby być utrudnione ze względu na oddziaływanie samego narzędzia pomiarowego. Jeśli narzędzie pomiarowe stosowane w ośrodku kontrolnym zawierałoby wypracowane w PI NAWI- KUS metody oceny wartości usług społecznych, czyli obejmowałoby pomiar jakości i mierniki efektywności, byłoby w istocie wdrożeniem części elementów Narzędzia, mogąc tym samym już oddziaływać na jakość i efektywność, ograniczając 26

27 użyteczność traktowania tego ośrodka jako grupy kontrolnej. Dlatego też, podobnie jak w przypadku wskaźników 3 i 4, sugerujemy przede wszystkim skoncentrowanie się na zrozumieniu mechanizmów oddziaływania narzędzia na wartość świadczonych usług, co znajdzie odzwierciedlenie we wzroście poziomu spełnienia standardów, wzroście poziomu zadowolenia klientów i wzroście efektywności. W przypadku wskaźnika nr 5 (wzrost poziomu satysfakcji klientów ośrodków, w których wdrożono PI NAWIKUS) należy mieć na względzie, że w każdym z tych ośrodków poziom satysfakcji był w czasie pierwszego pomiaru bardzo wysoki, wyższy od wzorcowego, więc oczekiwanie dalszego wzrostu może być nierealistyczne. W odniesieniu do wskaźników produktów, związanych z realizacją celów szczegółowych 2-go stopnia, należy odnotować, że wartości docelowe następujących wskaźników zostały osiągnięte do czasu realizacji ewaluacji, tj. do listopada 2014: Tabela Wskaźniki produktu celów szczegółowych PI NAWIKUS, których wartości docelowe osiągnięto do listopada 2014 r. Cel szczegółowy Wskaźnik produktu Wartość docelowa CEL SZCZEGÓŁOWY 2 STOPNIA (C1) Zwiększenie wiedzy na temat istniejącego systemu kontraktowania US dla osób starszych przez GMK i najlepszych praktyk krajowych i zagranicznych w tym zakresie CEL SZCZEGÓŁOWY 2 STOPNIA (C2) Poprawa zdolności do monitorowania jakości i efektywności US poprzez opracowanie wstępnej wersji innowacyjnego narzędzia monitorującego kontraktowanie US dla OS i strategii jego wdrożenia Liczba zrealizowanych pogłębionych badań w zakresie wyjściowego stanu kontraktowania US w GMK Liczba zrealizowanych pogłębionych badań na temat wzorcowych rozwiązań krajowych i światowych w zakresie kontraktowania US Liczba wstępnych wersji innowacyjnego narzędzia monitorującego kontraktowanie US Termin osiągnięcia tej wartości Źródło: Załącznik A do Strategii wdrażania projektu innowacyjnego testującego, s. 45. W przypadku pozostałych wskaźników odnoszących się do celów szczegółowych projektu, osiągnięcie wartości docelowej zaplanowano na koniec pierwszej połowy 2015 r., dla- 27

28 tego też ocena końcowa osiągnięcia założonych celów może mieć miejsce dopiero po zakończeniu projektu Czy produkt przynosi zakładane korzyści dla grup docelowych? Czy sprzyja rozwiązaniu problemów opisanych we wniosku o dofinansowanie projektu? Odpowiedź na to pytanie ewaluacyjne będzie w dużej mierze zbliżona do odpowiedzi na pytanie 3.1.1: Czy i w jakim stopniu produkt odpowiada na realne potrzeby użytkowników/odbiorców? Jak stwierdziliśmy odpowiadając na nie, założenia PI NAWIKUS opierały się na rzetelnej diagnozie potrzeb i właściwej identyfikacji problemów występujących w obszarze kontraktowania i monitorowania usług społecznych dla osób starszych. Tę diagnozę potwierdziły badania jakościowe zrealizowane przez wykonawców ewaluacji. Realne potrzeby użytkowników są ściśle powiązane z problemami opisanymi we wniosku o dofinansowanie projektu. Opierając się zarówno na analizie dokumentacji projektowej, jak i na wynikach własnych badań wykonawców ewaluacji, należy stwierdzić, że produkt przynosi zakładane korzyści dla wszystkich kategorii beneficjentów wymienionych we wniosku i sprzyja rozwiązaniu zidentyfikowanych problemów. Dla potwierdzenia tego wniosku w dalszej części argumentacji związanej z odpowiedzią na to pytanie zostaną przedstawione w sposób syntetyczny kluczowe problemy zidentyfikowane w diagnozie, a następnie zostanie przeprowadzona ocena stopnia ich rozwiązania przez Narzędzie wypracowane w PI NAWIKUS. Opisane we wniosku kluczowe problemy, jakie miał rozwiązać produkt, odnoszą się do systemu monitorowania i kontroli usług społecznych kierowanych do osób starszych. W poniższej tabeli przedstawiono problemy odnoszące się do każdego z tych systemów wraz ze sformułowaną na podstawie analizy dokumentacji projektu i wywiadów z interesariuszami oceną stopnia rozwiązania tych problemów przez Narzędzie wypracowane w PI NAWIKUS. 28

29 Tabela Kluczowe problemy monitoringu i kontroli, których rozwiązanie było celem działań w PI NAWIKUS Stan przed NAWIKUS* (obowiązujący system) PROBLEMY MONITORINGU Zakres (uwzględnienia jedynie aspekt finansowy i rzeczowy, brak aspektu merytorycznego) Stan po NAWIKUS poprawa/pogorszenie/bez zmian/ trudno ocenić dla JST dla NGO poprawa poprawa Czasochłonność i kosztochłonność poprawa pogorszenie Częste pomyłki (np. obliczeniowe) poprawa poprawa Brak określonego standardu wypełniania załącznika poprawa trudno ocenić Stan przed NAWIKUS* (obowiązujący system) PROBLEMY KONTROLI Stan po NAWIKUS poprawa/pogorszenie/bez zmian/ trudno ocenić dla JST Dla NGO Brak standaryzacji w procesie kontroli poprawa/ poprawa potencjalna poprawa Brak narzędzi, które ułatwiałyby tę kontrolę poprawa/ poprawa potencjalna poprawa Brak jasnych kryteriów kontroli (ryzyko subiektywizmu) poprawa/ poprawa potencjalna poprawa Po kontroli często brak inf. na temat mocnych stron poprawa/ trudno ocenić podmiotu potencjalna poprawa *lista problemów monitoringu i kontroli została sporządzona na podstawie diagnozy wykonanej w ramach PI NAWIKUS. Por. M. Ćwiklicki i in., Analiza systemu kontraktowania usług społecznych dla osób starszych w Gminie Miejskiej Kraków. Synteza wyników badań, Fundacja GAP, Kraków 2013, s. 60. Źródło: Opracowanie własne na podstawie danych zebranych przez Zespół PI NAWIKUS i wykonawcę ewaluacji. Na podstawie informacji przedstawionych w tabeli nr 3, można stwierdzić, ze zarówno JST, jak i NGO zauważają poprawę w zakresie większości z problemów monitoringu i kontroli występujących w obecnym systemie monitorowania US. Ocena JST jest jednak zdecydowanie bardziej pozytywna: zarówno jednostki, które są w trakcie testowania wykorzystania Narzędzia PI NAWIKUS do monitoringu i kontroli (MOPS), jak i takie, które 29

30 dopiero takie wykorzystanie planują (MOWIS 16 ) w niemal każdym obszarze albo już dostrzegają poprawę, albo jej się spodziewają. NGO są nieco bardziej ostrożne w ocenie rezultatów wdrożenia Narzędzia. Pozytywnie oceniają uwzględnianie w monitoringu i kontroli standardów świadczonych usług i ocenę ich jakości (aspekt merytoryczny monitoringu). Nie dostrzegają jednak na razie większego realnego wpływu wykorzystywania SI NAWIKUS na oszczędność czasu i środków koniecznych do prowadzenia monitoringu. Wiąże się to z jednej strony z faktem, iż wypracowane Narzędzie, a zwłaszcza SI NAWIKUS, były wykorzystywane przez NGO w fazie testowania, z czym wiązała się duża ilość problemów, błędów i trudności występujących przy jego obsłudze. Z drugiej strony, wynika to też z tego, że obecnie zarówno procedura składania oferty, jak i procedura monitoringu są realizowane za pomocą SI NAWIKUS jak i tradycyjnie, w formie papierowej 17. W tej sytuacji w przypadku NGO trudno mówić o zauważalnej oszczędności czasu i środków. Choć SI NAWIKUS ułatwia wypełnianie wniosku, zmniejsza liczbę pomyłek np. rachunkowych oraz daje możliwość weryfikacji spełniania części kryteriów formalnych, to dopiero zastąpienie dokumentów papierowych dokumentami elektronicznymi i nabycie doświadczenia w obsłudze SI NA- WIKUS może prowadzić do realnych oszczędności czasowych i finansowych dla NGO. W przypadku takich kwestii, jak wypełnianie dokumentów związanych z monitoringiem czy brak jasności definicyjnych występujących w tych dokumentach, NGO mają trudności w ocenie, gdyż, procedury obowiązujące przed NAWIKUSEM były im dobrze znane, a NAWIKUS spowodował zmianę, która wymaga dopiero dostosowania się do niej, zapoznania się z oprogramowaniem, zrozumienia logiki działania Narzędzia. Pełne wykorzystanie możliwości związanych z tym Narzędziem, a co za tym idzie, czerpanie korzyści z jego stosowania, może wystąpić dopiero przy kolejnych jego zastosowaniach. Przedstawiciele interesariuszy projektu, z którymi przeprowadzono wywiady indywidualne, skuteczność Narzędzia wypracowanego w ramach PI NAWIKUS odnoszą też do takich obszarów, jak: 1. Wypracowanie standardów oceny jakości usług społecznych. Standardy te będą w dłuższym okresie oddziaływać na poprawę jakości świadczonych usług, wymuszając 16 Wdrożenie realizowane poza PI NAWIKUS, finansowane ze środków własnych GMK 17 Trzeba jednak mieć na uwadze, że wersję papierową stanowi wydruk z SI NAWIKUS. Nie oznacza to zatem konieczności wykonywania dodatkowej pracy. Jak jednak wspominano w trakcie wywiadów, tę wersję papierową należy dostarczyć do MOPS, co też jest czasochłonne 30

31 na jednostkach ubiegających się o realizację zadań publicznych spełnianie przyjętych wymogów. Do tej pory nie istniały takie wymogi (OWOS, MDDPS). 2. Systematyzacja podejścia do kontraktowania i monitorowania usług społecznych. Udało się to osiągnąć dzięki temu, że w ramach projektu podjęto współpracę z różnymi Wydziałami UMK, opracowując standardy, które w jakimś stopniu mogą być wykorzystywane w innych obszarach niż usługi społeczne skierowane do osób starszych. (MOPS) Respondenci wskazywali jednak także, że pełna ocena skuteczności Narzędzia w zakresie usprawnienia monitoringu i wpływu na poprawę jakości świadczonych usług będzie możliwa dopiero po zakończeniu procedury pilotażu. Warte odnotowania są uwagi, jakie odnośnie skuteczności Narzędzia pojawiły się w jednym z uczestniczących w testowaniu OWOS. Zwrócono uwagę, że wprowadzenie standardów nie musi mieć większego wpływu na jakość świadczonych usług. Dostosowanie się do standardów wymagało niewielkich zmian adaptacyjnych ze strony tego ośrodka, jednak zmiany te nie są traktowane jako mające realny wpływ na świadczone usługi. Narzędzie jest postrzegane jako mające niewielki wpływ na bieżącą działalność organizacji, choć dostrzega się jego rolę w zmianie podejścia do kontraktowania i monitorowania usług społecznych. Jak stwierdzono, osoby zajmujące się obsługą księgową i finansową ośrodka nie chciałyby w przyszłości z systemem pracować. Na taką ocenę ma jednak bez wątpienia fakt testowania SI NAWIKUS w jego wstępnej wersji, konieczność zapoznawanie się z jego specyfiką i uczenia się jego funkcjonalności Czy istnieje potrzeba wprowadzenia produktu? Potrzeba wprowadzenia produktu wiąże się ściśle z problemami, które ten produkt miał rozwiązać i oceną jego możliwości rozwiązywania tych problemów. Jak wynika z przedstawionych wyżej informacji, lista problemów, których rozwiązaniu służy wypracowane narzędzie jest długa, a oczekiwania, jakie wiążą z Narzędziem zwłaszcza przedstawiciele JST są duże. Należy podkreślić, że dla JST jedną z najważniejszych funkcjonalności tego Narzędzia jest system informatyczny, za pomocą którego NGO mogą składać oferty w 31

32 ogłaszanych przez JST konkursach na realizację usług społecznych. Narzędzie informatyczne zastosowane w tym obszarze usprawnia przeprowadzenie konkursu, zmniejsza liczbę błędów, ułatwia kontrolę spełniania warunków formalnych (poprzez zastosowane walidacje spełnianie niektórych wymogów formalnych może być weryfikowane przez system), zmniejsza liczbę błędów rachunkowych, bo system weryfikuje poprawność wprowadzonych danych. W takiej gminie jak Kraków, gdzie liczba zlecanych usług społecznych jest duża, wprowadzenie elektronicznego generatora wniosków aplikacyjnych zwiększyłoby standaryzację postępowania, skróciłoby czas związany z oceną wniosków i pozwoliłoby na uwzględnienie w wyborze oferenta kryteriów jakościowych i efektywnościowych oferowanych usług. Uczestniczące w testowym wdrożeniu Narzędzia NGO na razie nie dostrzegają jednak większych korzyści wynikających z faktu, że oferta składana jest za pomocą generatora. Widzą w tym raczej pewne utrudnienie w pracy, zmuszające je do zastosowania nowych rozwiązań do problemów, w zakresie których dotychczasowe praktyki uznają za wystarczające. Jak wspomniano wcześniej, korzyści wynikające z korzystania z Narzędzi wypracowanych w ramach PI NAWIKUS NGO mogą jednak odnieść i dostrzec w dłuższym okresie czasu. Należy też mieć na względzie, że bardzo często nowe rozwiązania są w pierwszej fazie ich wdrażania przyjmowane ze sceptycyzmem, gdyż wymagają zmiany dotychczasowych sposobów działania, co wiąże się z koniecznością opanowania nowych narzędzi czy nowych podejść do rozwiązywania problemów. Sceptycyzm części NGO uczestniczących w testowaniu Narzędzia nie świadczy więc o braku potrzeby wprowadzenia produktu, lecz wskazuje na mechanizmy, które mogą utrudniać adaptację użytkowników do proponowanej innowacji. Dodatkowo, ocena wypracowanych w ramach projektu narzędzi, w tym generatora wniosków, może być zróżnicowana wśród użytkowników o różnym poziomie kompetencji informatycznych i różnym poziomie otwartości na zmiany. Równą wagę badani interesariusze i to zarówno przedstawiciele JST, jak i NGO przykładali do wypracowanych w ramach PI NAWIKUS standardów oceny jakości usług społecznych. W przypadku NGO i MDDPS ta funkcjonalność systemu wysuwała się na pierwsze miejsce. Jednostki te widzą w Narzędziu potencjał w zakresie podnoszenia jakości usług społecznych, uwzględniania kryteriów jakościowych na etapie wyboru oferenta i dalszego monitorowania poziomu tej jakości. Zastrzegano jednak, że w dobrze prowadzonych ośrodkach, dla dążenia do podnoszenia jakości usług nie jest niezbędne 32

33 kontrolowanie stopnia spełniania standardów, bowiem usługi są w miarę możliwości dostosowywane do potrzeb klientów, jednak w całym obszarze świadczenia usług społecznych jest to działanie celowe i uzasadnione. Podsumowując, potrzebę wprowadzenia produktu dostrzegają przede wszystkim przedstawiciele JST, widząc w nim duży potencjał zarówno pod względem usprawnienia procesu kontraktowania usług społecznych, jak i ich monitorowania i kontroli. Przedstawiciele NGO są nieco bardziej sceptyczni w ocenie przydatności narzędzia informatycznego do składnia aplikacji konkursowej jednak dostrzegają i wysoko oceniają przydatność Narzędzia w zakresie możliwości oddziaływania na jakość usług. Istnienie potrzeby wprowadzenia produktu potwierdza także wykorzystanie wypracowanego w ramach PI NAWI- KUS systemu informatycznego przez MOWIS w ogłaszanych przez tę jednostkę konkursach dla NGO, a także zainteresowanie nim innych miast Czy produkt jest skuteczny? Co wpływa na jego skuteczność? Wstępną ocenę skuteczności realizacji celów założonych w projekcie przedstawiono na początku podrozdziału odnoszącego się do kryterium skuteczności. Zaprezentowano tam wskaźniki dotyczące celu głównego i celów szczegółowych projektu oraz dokonano wstępnej oceny poziomu realizacji celów, wskazano też na problemy związane z przyjętą konstrukcją wskaźników oraz z oceną skuteczności na tym etapie realizacji projektu. Ocena skuteczności produktu w zakresie rozwiązywania problemów zidentyfikowanych we wniosku projektowym również została przedstawiona w części raportu zawierającej odpowiedzi na pytanie 2.1 (Czy produkt przynosi zakładane korzyści dla grup docelowych? Czy sprzyja rozwiązaniu problemów opisanych we wniosku o dofinansowanie projektu?). Dlatego też w tym miejscu zestawimy jedynie wnioski wynikające z przeprowadzonych wcześniej analiz i omówimy czynniki wpływające na skuteczność produktu w zakresie rozwiązywania problemów, dla których produkt ten został opracowany. Należy jeszcze raz podkreślić, że na tym etapie realizacji projektu trudno jest dokonać całościowej oceny skuteczności wypracowanego w jego ramach produktu. Ponadto, pełna ocena jego efektów nie będzie też możliwa bezpośrednio po jego zakończeniu. Wówczas możliwa będzie jedynie ocena bezpośrednich rezultatów w odniesieniu do poszczególnych kategorii beneficjentów. W przypadku tego rodzaju interwencji kluczowe wydają się natomiast efekty, jakie mogą wystąpić w średnim i długim okresie czasu. Bowiem w takim 33

34 okresie możliwe będzie zaobserwowanie podstawowego dla omawianego produktu oddziaływania na jakość i efektywność świadczonych usług w obszarze wsparcia osób starszych. Wartość wypracowanego w ramach projektu Narzędzia należy więc oceniać przede wszystkim z perspektywy długoplanowego potencjału oddziaływania na wzrost jakości i efektywności usług społecznych. Na etapie pilotażu produktu, okazał się on niewątpliwie skuteczny zarówno jako narzędzie wspomagające proces kontraktowania usług społecznych dla osób starszych, jak i jako narzędzie monitoringu i kontroli. Jak wskazywano wcześniej, jego wysoką skuteczność w zakresie kontraktowania usług społecznych dostrzegają przede wszystkim przedstawiciele JST, przedstawiciele NGO są natomiast bardziej sceptyczni w swoich opiniach. Obie grupy postrzegają natomiast wypracowane Narzędzie jako potencjalnie skuteczny instrument wpływania na jakość i efektywność świadczonych usług. Czynniki zwiększające bądź zmniejszające skuteczność produktu mogą mieć różnoraki charakter i mogą występować po różnych stronach procesu wdrażania Narzędzia. W poniższej tabeli przedstawiono te czynniki, które na podstawie analizy dokumentacji i przeprowadzonych badań można uznać za sprzyjające skuteczności wdrożenia narzędzia i osiąganiu celów, jakim to wdrożenie służyło. 34

35 Tabela Czynniki sprzyjające skuteczności wdrożenia produktu CZYNNIKI SPRZYJAJĄCE SKUTECZNOŚCI PRODUKTU PI NAWIKUS JST NGO OS/ Odbiorcy usług Dobra współpraca pomiędzy Fundacją GAP i GMK, Fakt, że liderem projektu jest organizacja pozarządowa, co ułatwia działania Przejrzysta metodyka pomiaru jakości i efektywności, dobra dokumentacja. Elastyczność ze strony Wykonawcy SI, gotowość do służenia pomocą, chęć poznania procedur prawnych i formalnych w JST Elastyczność Lidera projektu, gotowość do wyjścia naprzeciw potrzebom GMK Silne przekonanie o potrzebie wprowadzenia produktu Poparcie kierownictwa dla prowadzonych działań Zaangażowanie pracowników w prace związane z wdrażaniem produktu Wsparcie udzielane przedstawicielom NGO na etapie wprowadzania oferty i monitoringu Utworzenie stanowiska konsultacyjnego Zrozumienie potrzeby wprowadzenia Narzędzia Przekonanie o potrzebie działań związanych z podnoszeniem jakości US -Pozytywne doświadczenia w zakresie współpracy z JST Przekonanie o celowości wypełniania ankiet satysfakcji Źródło: Opracowanie własne na podstawie dokumentacji projektowej i wywiadów zrealizowanych przez wykonawcę ewaluacji. Wśród czynników, które utrudniały skuteczne wdrożenie produktu należy wymienić przede wszystkim: Problemy techniczne, wiążące się z obsługą SI NAWIKUS, będące konsekwencją konieczności testowania opracowanego produktu. Mimo zrozumienia specyfiki związanej z testowaniem Narzędzia, występujące trudności powodowały zniechęcenie i obniżały przekonanie o jego użyteczności wśród NGO. Brak możliwości poprawy jakości świadczonych usług, wiążący się przede wszystkim z brakiem wystarczających środków czy specyfiką ośrodka (jego lokalizacji, występujących barier architektonicznych, itp.). W takiej sytuacji informacja o niskiej ocenie w zakresie wybranych standardów nie może być wykorzystana do podjęcia działań zaradczych i podniesienia jakości usług. Z tego po- 35

36 wodu wśród NGO pojawiały się opinie o braku wpływu Narzędzia na jakość świadczonych usług. Jak wskazywano, kierownictwo ośrodków dobrze zna potrzeby, analizuje je na bieżąco bez wykorzystywania NAWIKUSA, natomiast ze względu na brak środków nie zawsze jest w stanie wprowadzić zmiany, które są postrzegane jako ważne i pożądane. Zbyt częste w przekonaniu osób starszych wypełnianie ankiet satysfakcji. Wypełnianie tych ankiet co trzy miesiące jest postrzegane jako nieuzasadnione nadmierne obciążenie. Jak argumentowali odbiorcy usług, w tak krótkim okresie niewiele się zmienia w jakości usług, a co za tym idzie, w poziomie zadowolenia z nich. Zniechęcający może być ponadto brak reakcji na postulowane przez klientów zmiany czy usprawnienia. Niski poziom kompetencji informatycznych wśród przedstawicieli niektórych NGO. Ten czynnik utrudniał skuteczność wprowadzenia Narzędzia na etapie testowania, może być też barierą utrudniającą jego upowszechnienie. Jak jednak wskazywali przedstawiciele interesariuszy, bariera ta nie ma charakteru trwałego i wprowadzenie odpowiednich rozwiązań (np. dostęp do sprzętu i konsultacji) pozwala ją względnie łatwo przezwyciężyć. Słabe przekonanie o użyteczności informacji zawartych w module sprawozdawczo-analitycznym SI NAWIKUS w codziennej pracy NGO. Jak wskazywano, NGO w swojej pracy nie wykorzystują tych informacji, korzystają z nich tylko dla celów sprawozdawczych i kontrolnych. Narzędzie jest w takiej sytuacji postrzegane jako mające marginalny wpływ na jakość świadczonych usług. Brak możliwości porównania przez NGO własnej oceny efektywności i jakości świadczonych usług z oceną innych podmiotów. Taką możliwość zaprojektowano w ramach opracowanej metody, jednak w początkowym etapie pilotażu oraz z uwagi na zbyt krótki okres prowadzenia fazy testowania, nie została ona w pełni wykorzystana. Samą przydatność benchmarkingu wyżej oceniali jednak przedstawiciele JST, niż NGO. Konieczność składania wniosków aplikacyjnych przez NGO w formie elektronicznej i papierowej. Pomimo tego, że wersja papierowa to jedynie wydruk z 36

37 systemu SI NAWIKUS, czynnik ten ogranicza skuteczność Narzędzia w zakresie obniżenia kosztów i czasochłonności procesu kontraktowania usług Czy możliwe jest zwiększenie skuteczności proponowanych metod i pod jakimi warunkami? Skuteczność wdrożenia narzędzia w fazie testowania oceniono jako wysoką. W ramach istniejących uwarunkowań, zwiększenie skuteczności na tym etapie wydaje się mało prawdopodobne. Proces wdrożenia przebiegał prawidłowo, w jego planowaniu i realizacji uwzględniano występujące ograniczenia i utrudnienia. Większą skuteczność proponowanych metod będzie można natomiast uzyskać w kolejnych ich zastosowaniach, przede wszystkim dzięki wyeliminowaniu błędów i braków funkcjonalności SI NAWIKUS, które wystąpiły w fazie testowania, lepszego uwzględniania specyfiki kontraktowania i świadczenia usług społecznych oraz dzięki stopniowo zdobywanym umiejętnościom obsługi tego systemu. Jak wspomniano wcześniej, skuteczność Narzędzia będzie widoczna w dłuższym okresie czasu, gdy utrwalone zostaną zarówno nawyki związane z korzystaniem z elektronicznego generatora wniosków, który prawdopodobnie w stosunkowo niedługim okresie zastąpi tradycyjne wnioski papierowe, jak i doceniona zostanie jego użyteczność w zakresie bieżącego zarządzania świadczonymi usługami. 37

38 3.3 UŻYTECZNOŚĆ Kryterium użyteczności jest jednym z najważniejszych kryteriów ewaluacyjnych, bowiem odnosi się do relacji pomiędzy rzeczywistymi działaniami zrealizowanymi w projekcie a realnymi problemami społecznymi czy potrzebami grup docelowych. Kryterium to jest szczególnie przydatne wówczas, gdy cele interwencji są niewłaściwe określone czy też mało precyzyjnie wyrażone. Pozwala wówczas ocenić interwencję abstrahując od jej wyrażonych explicite celów. W przypadku PI NAWIKUS, ocena użyteczności w jej wymiarze zgodności działań i ich wyników z potrzebami grup docelowych jest jednak zasadniczo zbieżna z oceną trafności. Oceniając trafność wskazaliśmy bowiem, że opracowane w ramach projektu Narzędzie dobrze odpowiada na realne potrzeby użytkowników, wysoko oceniliśmy przygotowaną na potrzeby projektu diagnozę oraz adekwatność pomiędzy celami interwencji a potrzebami odbiorców. Dlatego też, odnosząc się do poniższego pytania ewaluacyjnego zreasumujemy jedynie sformułowane wcześniej wnioski, zwracając dodatkowo uwagę na te funkcjonalności produktu, które są szczególnie istotne dla zaspokojenia praktycznych potrzeb użytkowników Czy wypracowany produkt jest zgodny z potrzebami grup docelowych: użytkowników/odbiorców? Główne kategorie odbiorców rozwiązań wypracowanych w PI NAWIKUS to JST, NGO oraz odbiorcy usług społecznych, w tym przypadku w szczególności osoby starsze. Najważniejsze z punktu widzenia celów projektu potrzeby wymienionych grup docelowych przedstawiono na rysunku nr 1. Oceniając trafność celów sformułowanych w projekcie stwierdzono, że cele te są adekwatne w stosunku do zidentyfikowanych w tym obszarze problemowym potrzeb, zaś oceniając skuteczność wskazano, że rozwiązania wypracowane w ramach PI NAWIKUS dobrze odpowiadają na te potrzeby. W ramach uzupełnienia sformułowanej wcześniej oceny, w tabeli nr przedstawiono kluczowe potrzeby każdej z grup beneficjentów projektu wraz z oceną stopnia ich zaspokojenia przez rozwiązania wypracowane w ramach PI NAWIKUS. 38

39 Tabela Kluczowe potrzeby grup docelowych PI NAWIKUS i zakres ich zaspokojenia JST NGO Osoby starsze/ odbiorcy usług Kluczowe potrzeby 1. Potrzeba wypracowania narzędzi umożliwiających ocenę jakości i efektywności kontraktowanych usług społecznych 2. Potrzeba wypracowania narzędzi informatycznych usprawniających te procesy 1. Potrzeba uwzględnienia jakości świadczonych US w procesie wyboru wykonawcy, 2. Brak systemowej stymulacji do podnoszenia jakości 3. Usprawnienie monitoringu i kontroli realizowanych usług 1. Możliwość wpływania na jakość usług, które są do nich kierowane, brak uwzględniania głosu odbiorców w istniejącym systemie kontraktowania i monitorowania US 2. Wyższa jakość US Zakres ich zaspokojenia przez rozwiązania PI NAWIKUS 1. WYSOKI 2. WYSOKI 1. WYSOKI 2. ŚREDNI 3. ŚREDNI 1. ŚREDNI 2. BRAK MOŻLIWOŚCI OCENY NA TYM ETAPIE Źródło: Opracowanie własne na podstawie dokumentacji projektowej i wywiadów zrealizowanych przez wykonawcę ewaluacji. Jak widać w powyższej tabeli, rozwiązania wypracowane w projekcie w najwyższym stopniu odpowiadają na potrzeby JST, co wyjaśnia, dlaczego są one przez przedstawicieli tej kategorii beneficjentów najlepiej oceniane. Poziom zaspokojenia potrzeb NGO i odbiorców usług jest na etapie testowania Narzędzia relatywnie niższy. Jak wskazano wcześniej, pozytywne efekty stosowania wypracowanych rozwiązań mogą być dla tych kategorii beneficjentów dostrzegalne dopiero w dłuższym okresie czasu, gdy zmniejszy się poziom niedogodności związanych z korzystaniem z SI NAWIKUS, zostaną wypracowane nowe nawyki, a opracowane standardy będą na szerszą skalę stosowane zarówno do wyboru usługodawców, jak i oceny wartości usług społecznych Czy produkt jest unikalny? Oceny unikalności projektu nie sposób oderwać od oceny innowacyjności projektu. Wypracowany produkt jest unikalny, bowiem: 39

40 Jak wynika z diagnozy przeprowadzonej na etapie przygotowania projektu, kierowany jest on do grupy dotychczas wspieranych z wykorzystaniem innych metod bazujących na odmiennych praktykach badania jakości i efektywności. W ramach projektu wypracowane zostało nowatorskiego i innowacyjne Narzędzie łączące jakość i efektywność (perspektywę kosztową z perspektywą jakościową) umożliwiające bieżącą ocenę kontraktowanych usług, oraz pomocne w podejmowaniu decyzji doskonalących z wykorzystaniem oprogramowania komputerowego 18. Respondenci pytani o znajomość podobnych, kompleksowych rozwiązań, w ramach wywiadów indywidualnych przeprowadzanych w ramach ewaluacji zewnętrznej nie potrafili wskazać podobnych rozwiązań. Respondentom znajomy był jedynie moduł GWA stosowany przez inne organizacje do składania ofert (np. Fundacja Batorego), ale będący znacznie ograniczony w porównaniu do GWA oferowanego w ramach NAWIKUSa (m.in. bez systemu sprawozdawczości). Przegląd rozwiązań zastosowanych w innych projektach innowacyjnych testujących wyróżnionych przy pomocy strony internetowej Krajowej Instytucji Wsparcia 19, w obszarze Dobrego rządzenia, w bloku tematycznym Aktywne NGO s sprawne państwo wskazuje na brak rozwiązywania zdefiniowanych problemów z wykorzystaniem podobnych narzędzi Wniosek o dofinansowanie projektu. Program Operacyjny Kapitał Ludzki, PI NAWIKUS innowacyjna metoda monitoringu i kontraktowania usług społecznych &lang=pl 20 Por. tab Zestawienie projektów innowacyjnych pod kątem wypracowania przez nie podobnych rozwiązań 40

41 3.4 EFEKTYWNOŚĆ Czy wypracowany produkt przynosi zakładane efekty w odniesieniu do poniesionych nakładów (finansowych, czasowych, ludzkich)? Kryterium efektywności pozwala ocenić poziom ekonomiczności produktu, czyli stosunek poniesionych nakładów do wyników i rezultatów. Ocena efektywności zostanie przeprowadzona w odniesieniu do trzech różnych źródeł nakładów: finansowych, czasowych i ludzkich. Efekty interwencji będą rozpatrywane w odniesieniu do trzech kategorii beneficjentów, zgodnie z ich rozróżnieniem dokonanym w części dotyczącej oceny trafności a. Nakłady finansowe Wyniki wywiadów indywidualnych, przeprowadzonych na potrzeby ewaluacji zewnętrznej z osobami zaangażowanymi w realizację projektu oraz przedstawicielami partnera wykazały, że część budżetu projektu przewidziana na utworzenie narzędzia informatycznego, była niewielka, biorąc pod uwagę złożoność produktu, i zdecydowanie za mała, w stosunku do potrzeb. Całkowita wartość projektu wynosiła zł, z czego całkowity koszt wykonania oprogramowania wyniósł zł (co stanowiło 13% ogólnej kwoty z budżetu projektu): koszt przygotowania, testowania i wdrożenia programu to zł, a zł to koszt wsparcia informatycznego). Spotkania Zespołu Projektowego i Grupy Sterującej wiązały się z podejmowaniem trudnych decyzji wyboru jednych rozwiązań kosztem drugich. W trakcie testowania produktu i przygotowania go do wdrożenia, zostało zidentyfikowanych wiele problemów wymagających wprowadzenia usprawnień w systemie oraz pojawiły się liczne propozycje dalszego rozszerzenia jego funkcjonalności (m.in. przystosowanie go do wykorzystania w obszarze innych usług społecznych). Wiele z nich, z uwagi na koszty, nie mogło zostać wdrożonych. Dodatkowo ograniczenia finansowe wynikające z finansowania projektu ze środków PO KL utrudniały dokonywanie przesunięć na rzecz rozwoju systemu informatycznego (tylko niewielki procent kwoty mógł być przesunięty z innych działań, na wsparcie rozwiązania informatycznego). Aby móc rzetelnie przeprowadzić ocenę kryterium efektywności, konieczne jest odniesienie budżetu projektu NAWIKUS do budżetów założonych w innych projektach innowacyjnych testujących. Projekty te zostały zidentyfikowane przy pomocy strony interneto- 41

42 wej Krajowej Instytucji Wsparcia 21 umożliwiającej porównywanie grup projektów wyodrębnionych pod kątem wypracowania przez nie podobnych rozwiązań innowacyjnych. Koszty projektów w obszarze Dobrego rządzenia, w bloku tematycznym Aktywne NGO s sprawne państwo posiadające przynajmniej jeden element wspólny (spośród wyróżnionych powyżej elementów innowacyjności) mieszczą się w przedziale zł. Tylko jeden z tych projektów zakładał utworzenie systemu informatycznego. Budżet projektu NAWIKUS mieści się w wymienionym przedziale lokując się niemalże w jego środku. Biorąc pod uwagę całkowitą wartość projektu NAWIKUS oraz działania planowane w ramach przyznanego dofinansowania (diagnoza i analiza problemu, opracowanie wstępnej wersji narzędzi i strategii wdrażania projektu, testowanie opracowanego produktu, analiza rzeczywistych efektów testowanego produktu, opracowanie produktu finalnego, upowszechnienie i włączenie do głównego nurtu polityki 22 ) nakłady finansowe wydają się być efektywne w stosunku do osiągniętych rezultatów projektu (w zakresie ułatwienia współpracy z NGO, wyższej jakości świadczonych usług). Niemniej jednak kwota przeznaczona na budowę systemu informatycznego była za mała, w stosunku do potrzeb, zwłaszcza w kontekście konieczności wprowadzania pewnych modyfikacji niezbędnych do szerszego upowszechnienia SI NAWIKUS oraz rozszerzenie jego zastosowania do innych jednostek GMK (w tym realizujących usługi społeczne spoza obszaru pomocy świadczonej dla osób starszych np. MOWIS w UMK). b. Nakłady czasowe Poniesione nakłady czasowe będą rozpatrywane z punktu widzenia dwóch perspektyw: 1. Czasu przeznaczonego na realizację projektu. 2. Zakładanych efektów produktu w odniesieniu do poszczególnych grup beneficjentów. Ad 1. Czas przeznaczony na realizację projektu. Wyniki wywiadów indywidualnych oraz grupy fokusowej przeprowadzonej z ekspertami projektu wskazują, na zbyt krótki okres realizacji projektu. Z uwagi na szerokie ramy pro &lang=pl 22 Wniosek o dofinansowanie projektu. Program Operacyjny Kapitał Ludzki, PI NAWIKUS innowacyjna metoda monitoringu i kontraktowania usług społecznych 42

43 jektu i zaplanowane liczne działania przyjęty harmonogram okazał się stosunkowo napięty. Firma wyłoniona w przetargu na realizację SI miała niewiele czasu na dostarczenie narzędzia, które umożliwiało przeprowadzenie realnej procedury konkursowej. W trakcie testowania konieczne było rozwiązanie szeregu problemów (natury technicznej i proceduralnej), co dodatkowo zwiększało poziom zaangażowania całego zespołu i było czynnikiem stresogennym. W przyszłości, w odniesieniu do projektów innowacyjnych o tak szeroko zakrojonej skali, powinno się zaplanować więcej czasu na poszczególne działania, tak aby w jak największym stopniu zminimalizować ryzyko niepowodzenia przedsięwzięcia. Ad 2 Zakładane efekty w odniesieniu do poszczególnych grup beneficjentów. po stronie Osób Starszych: Z opinii osób starszych, uzyskanych w toku badania przeprowadzonego po wdrożeniu Narzędzia badającego jakość usług, wyłania się częściowo obraz braku poczucia sprawstwa na jakość usług. Może być to wynikiem wysokiej częstotliwości przeprowadzenia ankiet satysfakcji i w związku z tym niewystarczającej ilości czasu na podjęcie działań ze stronny ośrodka. Z perspektywy klienta usług nieracjonalne jest ponowne wypełnianie tej samej ankiety, po to, aby zasugerować wprowadzenie tych samych zmian. Ale no, po co my to wpisujemy jak ja już 3 raz o tym piecu pisałem i nic. Osoba starsza po stronie NGO: Opanowanie SI w pierwszym kontakcie użytkownika zewnętrznego z systemem wiązało się z koniecznością przeznaczenia większej ilości czasu na wykonanie danego zadania (np. w przypadku testowania GWA większa ilość czasu wynikała nie tylko z występowaniem błędów natury technicznej, ale również z konieczności przygotowania oferty poprawnej pod względem formalnym procedura walidacyjna zastosowana w SI uniemożliwiała przejście dalej, bez wypełnienia wszystkich pól formularza poprawnie). Jednakże docelowo SI skróci czas potrzebny na przygotowanie oferty, gdyż pewne dane organizacji mogą być wczytane z systemu, a dodatkowo wszystkie wprowadzone dane liczbowe zostają przeliczone automatycznie po ich wprowadzeniu. Ponadto złożone oferty w danym kon- 43

44 kursie mogą w przyszłości zostać wykorzystane przez NGO do przygotowania kolejnych ofert w ramach innych konkursów. Usprawnienie procesu przeprowadzenia kontroli, ponieważ w efekcie wdrożenia Narzędzia, MOPS przeprowadza kontrolę według procedury NAWIKUSA, dzięki temu kontroli podlegają konkretne elementy umowy i standardy 23. Redukuje to jednocześnie niepewność organizacji, co do przewidywanego zakresu kontroli. Zdaniem większości organizacji pozarządowych NAWIKUS porządkuje sposób przeprowadzania sprawozdawczości oraz ułatwia pracę - dzięki kopiom roboczym NAWIKUS umożliwia wieloetapową i wieloosobową pracę nad dokumentem 24. Jednakże powyższe opinie nie są głosem wszystkich organizacji. Opinia przedstawiciela OWOS uzyskana w toku przeprowadzania wywiadów indywidualnych w ramach ewaluacji zewnętrznej wskazuje, że z punktu widzenia nakładów czasu, NAWIKUS nie jest traktowany jako ułatwienie. Nie ma różnicy. Wcześniej wprowadzało się dane do formularza. To wiadomo: też się ściąga formularz, który jest odpowiedni. I jest. Raczej wielkiej zmiany nie ma Przedstawiciel OWOS po stronie UMK: Z uwagi na to, że Narzędzie usprawnia możliwość przeprowadzenia kontroli, gdyż przeprowadzana jest ona pod kątem spełnienia standardów i wywiązywania się z warunków umowy, proces kontroli uległ usprawnieniu i skróceniu. Dzięki temu kontrole mogą być przeprowadzane w każdym ośrodku. W przypadku złożenia oferty z wykorzystaniem SI NAWIKUS skróceniu ulega również sam proces oceny wniosków, bowiem narzędzie automatycznie waliduje wiele danych zawartych we wniosku (np. budżet projektu) dzięki czemu nie wymagają już one weryfikacji przez pracowników JST. Odwrotna sytuacja wystąpi jednak w przypadku złożenia przez NGO oferty jedynie w wersji papierowej (nie przygotowanej za pomocą systemu). Narzędzie dopuszcza taką ewentualność, jednak generuje to dodatkową pracę po stronie 23 M. Ćwiklicki (red.), N. Laurisz, S. Mazur, Raport z pilotażu wstępnej wersji produktu finalnego narzędzia analizy wartości kontraktowanych usług społecznych, Fundacja GAP, 2014, s Tamże, s 88 44

45 urzędnika. W powyższej sytuacji przedstawiciel JST jest zobowiązany do zeskanowania oferty do systemu oraz wprowadzenia kilku danych, które identyfikują aplikującego i są niezbędne do oceny wniosku. Zwiększa to tym samym nakłady czasu potrzebne do przeprowadzenia konkursu ofert po stronie urzędu. Czasochłonność wykorzystania GWA uzależniona jest zatem od tego, czy wszystkie NGO będą składać wnioski z wykorzystaniem SI NAWIKUS. Według opinii prawnych nie ma zakazu, który uniemożliwiałby wymuszenia na NGO składania wniosków w postaci elektronicznej. Jednak zasadne byłoby wprowadzenie okresu przejściowego, w którym przyzwyczai się NGO do aplikowania o środki z wykorzystaniem systemu. Nakłady ludzkie: Po stronie NGO Proces obsługi, nauki a następnie korzystania z aplikacji, był dużym wyzwaniem dla NGO i wymagał od ich przedstawicieli wysokiego stopnia zaangażowania. Trudności wynikające z konieczności przeprowadzania procedury aplikacyjnej i sprawozdawczości wymagały angażowania dodatkowych osób, również niezwiązanych z organizacją. Po części wynikało to ze specyfiki samej organizacji, a po części z trudności związanych z barierą wejścia w SI. Po stronie GMK Rozpatrując zaangażowanie osobowe po stronie GMK, trzeba mieć na uwadze, że projekt był realizowany przez trzy jednostki gminne, a mianowicie UMK, MOPS i MDDPS. Zdaniem przedstawiciela GMK, biorąc pod uwagę złożoność projektu, oraz czas jego realizacji, bardzo przydatna byłaby możliwość zatrudnienia większej ilości osób. Z uwagi na dużą liczbę nieprzewidzianych okoliczności zaistniałych na etapie testowania, konieczne było angażowanie do projektu urzędników, którzy włączali się w niego pośrednio kosztem realizacji swoich zwykłych obowiązków służbowych (np. osoby zatrudnione w MOWISie obarczone były obowiązkiem wprowadzania oferty złożonej w wersji papierowej do systemu). Na pracownikach MOPSu spoczywał obowiązek wprowadzania ankiet satysfakcji klientów do systemu, a na pracownikach MDDPS obowiązek przeprowadzania tychże ankiet. 45

46 Podsumowując ocenę zakładanych efektów realizowanego produktu w odniesieniu do poniesionych nakładów należy stwierdzić, że pod względem finansowym zdecydowanie niedoszacowana została kwota przeznaczona na narzędzie informatyczne. Ograniczenia z tego tytułu przekładały się na końcową ilość usprawnień PF, jaka mogła być poczyniona w ramach środków projektowych. Ramy czasowe realizacji projektu z punktu widzenia całości zadań były zbyt krótkie, ale zakładane efekty zostały osiągnięte. Niemniej jednak wydłużenie czasu na powstanie SI NAWIKUS mogłoby skutkować jego lepszym dopracowaniem i mniejszą ilością wymaganych usprawnień produktu. Samo wykorzystanie PF w dłuższej perspektywie czasowej (trzeba pamiętać, że zarówno użytkownicy zewnętrzni, jak i wewnętrzni systemu, ponoszą na początku pewne koszty związane z zapoznaniem się z SI) dla danej jednostki powinno się przyczynić do skrócenia czasu potrzebnego na prowadzenie współpracy na linii NGO JST oraz czasu potrzebnego na prowadzenie monitoringu jakości usług i ewaluacji (dotychczasowe rozwiązania wykluczały możliwość prowadzenia stałego monitoringu), co będzie się wiązało ze świadczeniem wyższej jakości usług. Etap testowania PF wymagał od uczestników projektu dużego zaangażowania ludzkiego, co z perspektywy trwałości rozwiązania winno zostać dokładnie przemyślane, tak aby nie generowało to w przyszłości zbytnich obciążeń, zwłaszcza w kontekście wprowadzania standardów. Z tego względu osiągnięcie zbliżonych efektów produktu, przy wykorzystaniu mniejszych zasobów byłoby niemożliwe Czy produkt jest innowacyjny, czy dotyczy obszaru/grupy/problemu, którym nikt inny się nie zajmuje, w którym jak dotąd nie działają żadne instrumenty? Rozumienie innowacyjności w powyższym pytaniu ewaluacyjnym ogranicza się do dwóch aspektów: 1. Obszaru/grupy/problemu, którym nikt inny się nie zajmuje. 2. Obszaru /grupy /problemu w którym nie działają żadne instrumenty. W praktyce te dwa wymiary innowacyjności ograniczają się do aspektu oceny, czy rozwiązanie wypracowane w ramach projektu jest unikatowe. W związku z tym, ocenę innowacyjności należy nieco poszerzyć o wymiary innowacyjności produktu wyróżnionych w diagnozie, jaka została przeprowadzona przed realizacją przedsięwzięcia, a następnie odnieść je do rozwiązań wypracowywanych w innych projek- 46

47 tach innowacyjnych testujących, realizowanych w obszarze kontraktowania usług społecznych. Trzeba również dokonać rozróżnienia na czas oceny innowacyjności na etapie składania wniosku o dofinansowanie, oraz na obecnym etapie opracowywania finalnej wersji produkt. Wymaganym minimum jest uznanie projektu za innowacyjny na etapie aplikacyjnej, a znaczącą wartością dodaną jest utrzymanie się elementu innowacyjności na obecnym etapie zaawansowania prac projektowych. Głównym celem wprowadzenia innowacji w ramach SI NAWIKUS jest poprawa jakości US, których odbiorcami są OS, poprzez wprowadzenie zintegrowanej i zautomatyzowanej metody monitorowania jakości i efektywności kontraktowanych usług społecznych. W praktyce planowane jest wprowadzenie zintegrowanego sposobu oceny usług, uwzględniającego zarówno aspekty kosztowe jak i jakościowe. W ramach diagnozy zostały wyróżnione następujące wymiary innowacyjności projektu: 1. Grupa docelowa projekt kierowany jest do grupy dotychczas wspieranych z wykorzystaniem innych metod bazujących na odmiennych praktykach badania jakości i efektywności. Dodatkowo w Strategii wdrażania projektu innowacyjnego testującego (2013) 25 wymiar ten został wzbogacony o wyróżnienie innowacyjności w odniesieniu do uczestników projektu, które polega na włączeniu i zaangażowaniu odbiorców usług (osób starszych) w ocenę jakości ich świadczenia, czego konsekwencją jest ich upodmiotowienie. 2. Problem jest rozpoznany, ale narzędzia interwencji są niewystarczające do kompleksowego badania efektywności ekonomiczno społecznej i jakości pozwalającej na ujednolicenie analiz. 3. Formy wsparcia wypracowanie nowatorskiego i innowacyjnego Narzędzia łączącego jakość i efektywność (perspektywę kosztową z perspektywą jakościową) umożliwiającego bieżącą ocenę kontraktowanych usług, oraz pomocnego w podejmowaniu decyzji doskonalących z wykorzystaniem oprogramowania komputerowego. W ten sposób istniejąca polityka zostanie wzbogacona o nowe, innowacyjne elementy Strategia wdrażania projektu innowacyjnego testującego, Fundacja GAP, Kraków 2013., s Wniosek o dofinansowanie projektu. Program Operacyjny Kapitał Ludzki, PI NAWIKUS innowacyjna metoda monitoringu i kontraktowania usług społecznych 47

48 W strukturze innowacji zostały wyróżnione trzy składowe: 1. Narzędzie służące monitorowaniu procesu kontraktowania przez GMK US realizowanych przez NGO. 2. Aplikacja komputerowa na którą składa się Generator Wniosków Aplikacyjnych oraz moduł analityczny umożliwiający monitorowanie i ocenę wartości zakontraktowanych usług. 3. Program i metodyka szkoleń. 27 Wyniki diagnozy poczynionej na etapie przygotowania projektu, a przede wszystkim brak zidentyfikowania podobnych rozwiązań, pomimo opisu stanu istniejącej wiedzy, świadczą o tym, że wypracowane rozwiązanie było innowacyjne na etapie projektowania. W tabeli został zaprezentowany krótki przegląd wypracowanych rozwiązań w ramach innowacyjnych projektów zidentyfikowanych przy pomocy strony internetowej Krajowej Instytucji Wsparcia 28. Tabela Zestawienie projektów innowacyjnych pod kątem wypracowania przez nie podobnych rozwiązań Tytuł projektu i nazwa beneficjenta Kontrakt na jakość - Innowacyjne rozwiązania w Gminie Sopot na rzecz kontraktowania usług społecznych. Rozwiązania na rzecz wieloletniego kontraktowania usług społecznych. Fundacja Niesiemy Pomoc w Gdyni (lider), Gmina Sopot, Spectrum Research Opis rozwiązania Rozwiązanie odpowiada na problem niedoboru narzędzi oceny efektywności ekonomicznej i społecznej usług społecznych zleconych na zasadzie kontraktowania oraz narzędzi oceny jakości dedykowanych do wieloletniej usługi kontraktowanej. Produktem finalnym jest model rozwiązań na rzecz wieloletniego kontraktowania usług społecznych. Składa się z: 1. Zestawu narzędzi badających efektywność społeczną i ekonomiczną zmiany formy realizacji usług społecznych na formę kontraktowania. 2. Zestawu narzędzi badających ja- Odniesienie do kryteriów innowacyjności wyróżnionych w PI NAWIKUS Grupa docelowa projekt nie odnosi się do konkretnej grupy docelowej w ramach których kontraktowane są usługi proponowany jest uniwersalizm narzędzia, dodatkowo odbiorcy usług nie są włączenie w element oceny jakości. Problem podobny zakres wspólny brak wypracowanych adekwatnych narzędzi interwencji do badania jakości i oceny efektywności, ale w innym obszarze usług. Formy wsparcia nie wiadomo, czy wypracowane rozwiązanie umożliwi prowadzenie pomiaru na bieżąco, dodatkowo rozwiązanie proponowane w tym projekcie nie łączy w jeden produkt badania efektywności, gdyż odnosi ją do 27 Strategia wdrażania projektu innowacyjnego testującego, Fundacja GAP, Kraków 2013., s &lang=pl 48

49 SUWAK innowacyjna metoda kontraktowania usług społecznych na rzecz dzieci. Standardy kontraktowania oraz standardy jakości usług kontraktowanych NGO s przez JST w zakresie prowadzenia PWD (placówek wsparcia dziennego). Stowarzyszenie Ruch Pomocy Psychologicznej Integracja Rzeszowska Agencja Rozwoju Regionalnego S.A.; Gmina Zaleszany Samorząd NGO s, dobre praktyki w zakresie przekazywania zadań publicznych. Podręcznik Skuteczna Pomoc Społeczna oraz program kształcenia. Gmina Miasto Częstochowa (lider), Fundacja Widzialni kość realizacji usług społecznych. 3. Programu edukacyjnego i szkoleniowego w zakresie przygotowania, realizacji i badania jakości usług społecznych w formie kontraktowania. 4. Dwuletniego programu współpracy przewidującego kontraktację usług społecznych. Rozwiązanie odpowiada na problem niepełnej diagnozy, metodologii oraz ewaluacji efektywności usług związanych z prowadzeniem placówek wsparcia dziennego przez organizacje pozarządowe. Produktem finalnym jest metoda kontraktowania usług społecznych na rzecz dzieci, obejmująca rozwiązania dotyczące wsparcia dzieci i młodzieży, a w szczególności standardy funkcjonowania placówek wsparcia dziennego, składająca się ze: 1. Standardów kontraktowania, 2. Standardów jakości. Rozwiązanie odpowiada na problem deficytu narzędzi do badania efektywności społecznej i ekonomicznej świadczonych usług na rzecz osób bezdomnych. Produktem finalnym jest standard usług społecznych świadczonych osobom bezdomnym wraz z narzędziami badającymi jego efektywność i jakość, składający się z: 1. Podręcznika Skuteczna Pomoc Społeczna, 2. Programu szkolenia dla pracowników służb społecznych, 3. Portalu internetowego, 4. Programu kształcenia dla studentów kierunków socjalnych. efektywności społecznej i ekonomicznej zmiany formy realizacji usług społecznych na formę kontraktowania. Opracowana została metodologia oceny jakości usług. Dodatkowo nie planuje się powstania narzędzia informatycznego. Proponowane wskaźniki nie mają przedstawionej klarownej interpretacji i opierają się przede wszystkim na deklaracjach. Grupa docelowa placówki wsparcia dziennego dla dzieci prowadzone przez NGO, brak włączania odbiorców usług w element oceny jakości. Problem kontraktowanie usług na rzecz dzieci jest dwutorowy NGO nie posiadają wykładni w obszarze merytorycznych standardów, a JST brak narzędzi do oceny jakości i efektywności usług, podobny wymiar innowacji, ale w innym obszarze. Formy wsparcia opracowanie standardów jakości i kontraktowania oraz metody kontraktowania tych usług, a więc forma wsparcia jest szerzej definiowana, standardy kontraktowania usług nie są sformułowane w postaci wskaźników. Grupa docelowa kontraktowanie usług społecznych na rzecz osób bezdomnych, brak włączania odbiorców usług w element oceny jakości. Problem w zamierzeniu twórców projektu odpowiada on na problem deficytu narzędzi do badania efektywności społecznej i ekonomicznej świadczonych usług na rzecz bezdomnych. Formy wsparcia - Rozwiązanie oferuje programy szkoleń oraz standardy i narzędzia do badania efektywności społecznej, ekonomicznej i jakości usług społecznych świadczonych osobom bezdomnym. Narzędzie kładzie większy niż dotychczas nacisk na przejrzystość kontraktowania usług oraz wydatkowanie środków na konkretne osoby. Proponowane wskaźniki są jasno opisane i 49

50 Kalkulator outsourcingu: generator e-n-go Metody współpracy pomiędzy NGOs a JST. Stowarzyszenie Wspierania Inicjatyw Gospodarczych DELTA PARTNER. Rozwiązanie odpowiada na problem deficytu zachęt oraz narzędzi dla sektora publicznego i organizacji pozarządowych dla popularyzacji korzyści wynikającej ze zmiany formy realizacji usług społecznych na kontraktowanie i szacowania korzyści ekonomicznych i społecznych z tego wynikających. Produktem finalnym są metody współpracy pomiędzy NGOs a JST, składające się z: 1. Internetowego narzędzia (aplikacja) o nazwie e-n-go dostępnego na stronie www, po rejestracji i logowaniu, umożliwiającego: a) dla NGOs: przygotowanie on-line oferty, edycję i drukowanie ofert realizacji zadań publicznych oraz złożenie oferty on-line; b) dla JST: planowanie, ewaluowanie, konsultowanie rocznych/wieloletnich programów współpracy JST-NGOs oraz obliczanie efektywności społecznoekonomicznej ofert składanych przez NGOs wraz z kalkulatorem korzyści społeczno- ekonomicznych. Źródło: opracowanie własne na podstawie strony internetowej Krajowej Instytucji Wsparcia. mają podaną interpretację. Grupa docelowa brak koncentracji na konkretnym obszarze usług, brak włączania odbiorców usług w element oceny jakości. Problem brak narzędzi interwencji w obszarze popularyzacji korzyści wynikających z kontraktowania usług społecznych oraz brak narzędzi umożliwiających szacowanie korzyści społecznych i ekonomicznych z tego wynikających. Forma wsparcia podobieństwo w zakresie oferowania aplikacji komputerowej umożliwiającej składanie ofert przez NGO i sprawozdawczość (system przeprowadza walidację poprawności wypełnienia wszystkich pól formularza, system nie pozwala na prowadzenie ocen ofert ). Efektywność społecznoekonomiczna jest obliczana w odniesieniu do składanych ofert i uzyskanych z tego tytułu korzyści. Żadne z wypracowanych rozwiązań w innych projektach nie koncentruje się na grupie docelowej, jaką są osoby starsze. Co więcej żaden projekt nie zakładał włączenia odbiorców usług w proces oceny jakości. Ponadto narzędzia oferowane w ramach poszczególnych projektów nie odnosiły się w większości, do oceny efektywności i jakości świadczenia usług społecznych (w większości skupiały się na ocenie efektywności i jakości procesu kontraktowania usług), a jeśli już, to bazując na bardzo ograniczonej puli wskaźników. Powyższe wnioski jednoznacznie dowodzą, że produkt wypracowany w ramach projektu NAWIKUS jest produktem innowacyjnym. Co prawda, inne gminy, jak np. Wrocław, czy Warszawa próbowały w przeszłości wypracować pewne zbliżone produkty (zwłaszcza w obszarze aplikacji umożliwiających elektroniczne składanie ofert konkursowych), to jednakże nie zakończyły się one sukcesem i nie zawierały aż tylu elementów. 50

51 3.4.3 Czy i w jakim stopniu proponowana innowacja jest lepsza od istniejących rozwiązań, bardziej atrakcyjna i efektywna? Jak to zostało wykazane powyżej, produkt wypracowany w ramach projektu NAWIKUS ma niewiele cech wspólnych w porównaniu do innych, podobnych rozwiązań. Jednakże zestawiając ze sobą elementy wspólne, można wskazać następujące cechy świadczące o przewadze wypracowanego produktu w odniesieniu do innych proponowanych rozwiązań w obszarze poprawy efektywności i jakości świadczących usług 29 : W ocenę jakości świadczonych usług włączeni zostali odbiorcy usług, co sprzyja nie tylko lepszej ocenie jakości świadczonych usług, ale również wpływa na zwiększenie poczucia podmiotowości osób starszych, co przynosi niewątpliwie wiele korzyści. Standardy usług zostały opracowane w odniesieniu do konkretnej grupy usług, przez co są bardzo klarowne i adekwatne do specyfiki obszaru. Warto podkreślić, że uniwersalizm standardów został wskazany jako poważna wada innego projektu innowacyjnego przez ewaluatora zewnętrznego 30. Ocena efektywności i jakości usług ma formę ciągłą, monitoringu, co możliwe jest m.in. dzięki zastosowaniu aplikacji komputerowej, która dodatkowo usprawnia ten proces, czyniąc całą procedurę bardziej efektywną. Dodatkowo wyniki są widoczne zarówno dla JST, jak i NGO, co z ich perspektywy umożliwia sprawowanie autokontroli. Żaden z analizowanych produktów, nie oferował zastosowania instrumentu integrującego w jednym narzędziu perspektywy kosztowej z perspektywą jakościową. Ponadto wypracowane w ramach projektu wskaźniki, na tle innych, odznaczają się lepszym dopracowaniem pod względem interpretacyjnym i adekwatnym doborem do poszczególnych obszarów. GWA oprócz elementów, które posiadają inne, podobne w tym zakresie rozwiązania, a więc możliwości elektronicznego złożenia oferty na konkurs i przygotowania spra- 29 Por. tab Zestawienie projektów innowacyjnych pod kątem wypracowania przez nie podobnych rozwiązań 30 RAPORT Z EWALUACJI ZEWNĘTRZNEJ PRODUKTU FINALNEGO Projektu Innowacyjnego Kontrakt na Jakość - Innowacyjne rozwiązania w Gminie Sopot na Rzecz Kontraktowania Usług Społecznych, oprac. N. Siuda, Sopot

52 wozdania, zawiera również moduł umożliwiający bardziej sprawne i efektywne przeprowadzenie procedury oceny formalnej i merytorycznej ofert złożonych w danym konkursie. Dodatkowo w kryteria oceny ofert mogą być włączone wypracowane standardy, oraz jakość świadczonych usług, co wpływa na poszerzenie spectrum wydawanych ocen i ich jakość. Wszystkie te cechy świadczą o znaczącej przewadze produktu PI NAWIKUS nad innymi rozwiązaniami pod względem atrakcyjności i efektywności Czy produkt wymaga usprawnień? Na obecnym etapie nie została jeszcze opracowana finalna wersja produktu, a wnioski zaprezentowane w tej części będą dotyczyć wstępnej wersji PF. Zarówno rozmowy przeprowadzone z uczestnikami i przedstawicielami partnerów projektu w ramach ewaluacji zewnętrznej, jak i wnioski zaprezentowane w raporcie z pilotażu WWPF 31 wskazują na potrzebę wprowadzenia wielu zmian w ostatecznej wersji produktu we wszystkich jego elementach: metodzie, systemie oraz procedurach wewnętrznych UMK mających na celu ujednolicenie wymogów konkursowych i sprawozdawczości. Stosunkowo najłatwiejsze do wprowadzenia są zmiany rekomendowane w zakresie standardów oraz wskaźników jakości, a najbardziej kosztochłonne i czasochłonne w obszarze narzędzia informatycznego wspierającego zarówno metodę, jak i w GWA. W tym miejscu nie ma potrzeby opisywania wszystkich wymaganych usprawnień, gdyż zostało to szczegółowo poczynione w ramach Raportu z pilotażu WWPF. Uwaga skoncentrowana zostanie więc na usprawnieniach najważniejszych z punktu widzenia upowszechnienia produktu w UMK i w innych jednostkach samorządu terytorialnego, oraz kwestii wskazanych w IDI przeprowadzanych na potrzeby ewaluacji: Konieczność wypracowania uniwersalnych standardów związana z rozszerzeniem zastosowania SI NAWIKUS na inne usługi społeczne, Możliwość składania przez NGO ofert wspólnych na dany konkurs, 31 Raport z pilotażu wstępnej wersji produktu finalnego narzędzia analizy wartości kontraktowanych usług. Fundacja GAP, Kraków 2014, s

53 Możliwość składania kilku ofert przez daną NGO w ramach jednego konkursu tak, aby całkowita kwota dofinansowania o jaką aplikują NGO nie przekroczyła całkowitej kwoty jaka jest przewidziana na dany konkurs, Zbyt duża częstotliwość przeprowadzania ankiet w ramach pomiaru jakości usług rekomendowane ograniczenie przeprowadzania ankiet do 2 razy w roku. Jednakże z punktu widzenia upowszechnienia Narzędzia na inne usługi społeczne, które świadczone są w trybie krótkookresowym kwestia ta wymaga zastosowania innego rozwiązania (np. przeprowadzanie takich ankiet po okresie zakończenia świadczenia usługi i brania pod uwagę ich wyników przy kolejnej aplikacji organizacji)., Usystematyzowanie praktyk monitorowania i kontroli kontraktowanych usług celem poprawy ich jakości i efektywność (wystandaryzowanie procesu kontroli, połączenie kontroli i sprawozdawczości w jeden system, skrócenie czasu kontroli poprzez jej automatyzację 32 ), Wprowadzenie możliwości porównania przez NGO własnej oceny efektywności i jakości świadczonych usług z oceną innych podmiotów. Konieczne jest przeprowadzanie w sposób systemowy procesu uzgadniania standardów 33. Jednakże należy pamiętać, że wprowadzenie powyższych usprawnień nie zakończy procesu udoskonalenia narzędzia, gdyż z uwagi na zmiany prawne i organizacyjne mogą pojawiać się inne problemy wymagające usprawnień. Jak trafnie zauważył to przedstawiciel UMK systemy informatyczne wymagają ciągłego usprawniania: W tej chwili w UMK znajdują się systemy informatyczne, które działają kilka lat i nadal potrzebują usprawnień. To jest ciągły proces doskonalenia. Przedstawiciel UMK 32 tamże 33 tamże, s

54 3.5 TRWAŁOŚĆ W niniejszej części raportu zostały umieszczone wyniki badania ewaluacyjnego PF z perspektywy oceny trwałości wypracowanych w projekcie PI NAWIKUS rozwiązań. Na wstępie warto zaznaczyć, iż trwałość PF to jedno z zagadnień kompleksowo kontrolowanych po zakończeniu realizacji projektu 34. W chwili obecnej po zamknięciu etapu testowania ale na początku prac związanych z upowszechnianiem i włączaniem 35 możliwe jest dokonanie oceny potencjału produktu, nie zaś długotrwałych efektów projektu. Innymi słowy, weryfikacja trwałości PF pozwala na uzyskanie odpowiedzi na następujące pytania badawcze: Czy produkt jest realny do wprowadzenia, zastosowania i upowszechniania? Czy i w jakim stopniu prawdopodobne jest funkcjonowania produktu po zakończeniu finansowania projektu? Jaki jest potencjał produktu w dłuższej perspektywie czasowej? Czy zasadne jest podejmowanie działań upowszechniających i wdrażających? Dodatkowo, przy ocenie trwałości zostały wykorzystane pomocnicze pytania badawcze, które oryginalnie (wg. wytycznych PO KL) przyporządkowane powinny być do pozostałych kryteriów ewaluacyjnych, czyli: Czy istnieje potrzeba wprowadzenia produktu? kryterium skuteczności. Czy produkt nie jest zbyt skomplikowany? kryterium użyteczności. Zasadność wprowadzenia pomocniczych pytań badawczych związana jest z koniecznością ustalenia, czy wdrażana innowacja ma sens dla osób, które miały okazję pracować z narzędziem na etapie testowania. Wynika to z faktu, że potencjał PF jest tym wyższy, im wyższa jest jego ocena dokonana w czasie teraźniejszym prezentowana w poprzednich rozdziałach. 34 Zgodnie z wytycznymi Krajowej Instytucji Wspomagającej kryterium trwałości (czyli oddziaływania projektu po jego zakończeniu) pozwala ocenić stopień trwałości efektów realizacji projektu po zakończeniu czasu jego trwania. Dopiero wtedy będzie możliwa całościowa ocena długotrwałych efektów projektu, jak również weryfikacja zmiany społecznej, czyli wskazanie, co zmieniło się w funkcjonowaniu systemu kontraktowania usług społecznych od czasu zamknięcia projektu? Źródło: Miniprzewodnik po ewaluacji projektów innowacyjnych PO KL. Zalecenia Krajowej Instytucji Wspomagającej dostępnego na stronie internetowej 35 Zgodnie z Wytycznymi w zakresie wdrażania projektów innowacyjnych i współpracy ponadnarodowej w ramach PO KL ewaluacja zewnętrzna stanowi jeden z elementów II etapu realizacji projektu - czyli wdrożenia 54

55 Innym wymiarem potencjału jest jego replikowalność i możliwość adaptacji w innych obszarach. Nie zawsze bowiem istnieje potrzeba czy też możliwość powielania i adaptacji produktu. W dużym uproszczeniu potencjał produktu informuje o szansach na jego przyszłe wykorzystywanie przez grupy docelowe JST i NGO. To ich pozytywna ocena wpływa na realne funkcjonowanie PF po zakończeniu finansowania projektu. Użytkownicy muszą być skłonni do korzystania z narzędzia, a także być w stanie go używać. Skłonność nierozerwalnie związana jest z jakością produktu, natomiast użytkowanie z łatwością wdrożenia, czyli troską o jak najmniejsze angażowanie czasu, pracy, nakładów finansowych, procedur czy wysokospecjalistycznych szkoleń po stronie użytkowników wewnętrznych i zewnętrznych. To właśnie replikowalność produktu, czy też możliwość jego adaptacji w innych obszarach lub grupach docelowych (poza obszarem usług społecznych kierowanych do osób starszych) warunkuje proces upowszechniania i włączania wypracowanych rozwiązań do głównego nurtu praktyk (polityk) publicznych. Zgodnie z poradnikiem Krajowej Instytucji Wspomagającej pt. Upowszechnienie i mainstreaming w projektach innowacyjnych PO KL upowszechnienie to przekazywanie do zdefiniowanych adresatów (na etapie wniosku projektowego) informacji o wypracowanym produkcie, a także dobrych praktykach i innych rezultatach. Głównym celem prowadzenia działań jest wyposażenie przyszłych użytkowników w wiedzę na temat produktu i jego zalet, by stworzyć grunt pod późniejsze działania włączające produkt do głównego nurtu polityki i praktyki. W przypadku PI NAWIKUS planowane jest włączanie horyzontalne, czyli przenoszenie rozwiązań do instytucji zajmujących się podobnymi problemami, na tym samym poziomie działania. Mając na uwadze powyższe rozważanie, ocena trwałości NAWIKUSA została oszacowana na podstawie analizy zapisów w dokumentach projektowych oraz rozmów przeprowadzonych z użytkownikami WWPF, czyli podmiotami, które brały udział w testowaniu produktu. Zalicza się do nich przedstawicieli GMK w tym MOWIS, MOPS, MDDPS oraz NGO Czy produkt jest realny do wprowadzenia, zastosowania i upowszechniania? Wszystkie podmioty biorące udział w testowaniu WWPF uznały, że produkt na obecnym etapie jest realny do wprowadzenia do każdego JST na terenie kraju, oczywiście w zakresie kontraktowania usług społecznych dla osób starszych. Szczególnie wśród przedstawi- 55

56 cieli JST istnieje przekonanie o zaletach wypracowanego w ramach projektu rozwiązania. Jest to narzędzie krojone na miarę, które dobrze trafia w istotę problemów opisanych we wniosku projektowym. Mając na uwadze wymiary jakości produktu przedstawione na rysunku 3.5.1, NAWIKUS spełnia każde z nich, choć w nierównym stopniu. Duża część tych wymiarów została opisana i pozytywnie oceniona w poprzednich rozdziałach raportu, przy okazji omawiania wyników ocen prowadzonych przy użyciu kryterium trafności, skuteczności i użyteczności. Z tego powodu, w tej części raportu skupimy się na omówieniu tych aspektów, których niespełnienie nie pozwoliłoby na przyjęcie wypracowanego rozwiązania w innych JST czy NGO bądź innych obszarach usług społecznych. Rysunek Wymiary oceny jakości produktu Niewystępowanie usterek Prostota Pomoc w osiaganiu celów instytucji Wysoka Jakość Doskonałość Spełniene oczekiwań i potrzeb klientów Ciagły rozwój Źródło: opracowanie własne na podstawie Green Diana (red.), What is Quality in Higher Education?, London: Society for Research in Higher Education, s Jedną z barier w replikacji jest dostarczenie zbyt skomplikowanego produktu, zarówno w warstwie merytorycznej, jak i technicznej. To ograniczenie nie występuje w ewaluowanym projekcie, gdyż wszyscy przedstawiciele podmiotów testujących produkt zgodnie stwierdzili, że jego cechą charakterystyczną jest prostota, przejrzystość i przyjazność dla użytkownika, czy to w zakresie opisu metody czy też aplikacji komputerowej. Taki stan 56

57 rzeczy został wypracowany w trakcie trwania projektu na postawie wyników iteracyjnej walidacji kolejnych wersji produktu prowadzonej na symulacjach i w realnych konkursach zarówno przez zespół projektowych (w tym na posiedzeniach Grupy Sterującej), jak i w postaci uwag zgłaszanych przez MOPS, MDDPS i NGO. Produkt jest na tyle dopracowany i pewne elementy wynikają z działań podejmowanych krok po kroku, że jest tutaj pewna intuicyjna łatwość przyswajania tej metody. przedstawiciel JST Wszystko jest czytelne. System jest przejrzysty i nie sprawia problemów przedstawiciel NGO Wprowadzenie NAWIKUSA na stałe do obszaru kontraktowania i monitorowana usług społecznych nie utrudniałoby pracy. Standard ośrodek już spełnia, więc nie jest to dla nas bariera przedstawiciel NGO Produkt nie jest jeszcze doskonały, gdyż nie wszystkie moduły zostały przetestowane ze względu na harmonogram ogłaszania konkursów np. niektóre funkcjonalności w module Elektronicznego Wspomagania Monitoringu Kontraktowanych Usług w WSS UMK 36. Niemniej w opinii UMK teraz pozostały już tylko kosmetyczne poprawki oczywiście przy założeniu, że oceniamy system dedykowany osobom starszym. Warto przypomnieć, że zgodnie z założeniami projektu całościowe wdrożenie metody monitorowania kontraktowanych usług społecznych wymaga przejścia przez trzy fazy, których cechy charakterystyczne przedstawione zostały na rysunku Do chwili przeprowadzenia ewaluacji zewnętrznej w MOWIS (jednostce WSS UMK) realizowane były dwie usługi dla osób starszych wyłonione w procedurze konkursowej z wykorzystaniem SI NAWIKUS, a dokładniej podsystemu Generatora Wniosków Aplikacyjnych (GWA) oraz podsystemu Elektronicznego Wspomagania Monitoringu Kontraktowanych Usług (EWMKU) w zakresie analizy zgłoszonych wniosków aplikacyjnych 57

58 Rysunek Fazy wdrożenia metody NAWIKUS Faza I przygotowawcza Przygotowanie czynnika ludzikiego w JST i NGO poprzez zapoznanie się z dokumentacją projektową oraz uczestnictwo w warsztatach Przygotowanie danych wejściowych wynikających z zaspisów umów, ustalonego zbioru standardów, przyjętych poziomów mierników jakości i efektywności. Faza II wykonania usługi Monitoring wewnętrzny: nadzór NGO nad procesem świadczenia usługi (w razie konieczności podejmowanie działań korygujących i naprawczych) Monitoring zewnętrzny: nazdzór JST nad procesem świadczenia usług w postaci kontroli i audytu Faza III sprawozdawcza Przygotowanie raportu i sprawozdania po stronie NGO Opracowanie raportu i sprawozdania JST Źródło: opracowanie na podstawie dokumentu projektowego pt. Wstępna wersja metody monitorowania kontraktowanych usług społecznych dla osób starszych. Wypracowana metoda wspomagana jest przez systemem informatycznym (SI), który ułatwia przejście przez zidentyfikowane fazy wdrażania PF. Z technicznego punktu widzenia SI nie wymaga posiadania specjalistycznego oprogramowania komputerowego wystarczy aktualna wersja przeglądarki internetowej. Co ważne, SI funkcjonuje również na ogólnodostępnym, darmowym oprogramowaniu. Jednak sam proces jego upowszechnienia generuje koszty, które związane są z: nauką obsługi, czyli koszty związane z opanowaniem narzędzia poprzez nabycie pożądanych umiejętności i wiedzy informatycznej (szkolenia dla użytkowników SI), 58