Raport z ewaluacji zewnętrznej (ex-ante)

Podobne dokumenty
Projekt Współpracujemy profesjonalnie! współfinansowany jest przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego

Projekt Współpracujemy profesjonalnie! współfinansowany jest przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego

Projekt Współpracujemy profesjonalnie! współfinansowany jest przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego

Projekt Współpracujemy profesjonalnie! współfinansowany jest przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego

PRODUKT FINALNY PROJEKTU INNOWACYJNEGO TESTUJĄCEGO KONTRAKT NA JAKOŚĆ. Produkt cząstkowy 3

Projekt współfinansowany przez Unię Europejską ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki

WSPÓLNE DZIEDZICTWO WSPÓLNA SPRAWA EDYCJA 2018 RAPORT EWALUACYJNY

Do realizacja tego zadania zalicza się weryfikację poprawności rozwiązań zaproponowanych przez realizatora (wykonawcę), czyli:

S Y L A B U S - d l a s z k o l e ń REZULTAT O3 DZIAŁANIA: O3-A2 PROJEKTU E-GOVERNMENT 2.0 W PRAKTYCE

STRATEGIA ROZWOJU GMINY. Oferta badawcza

Preferencje obywateli w odniesieniu do załatwiania spraw urzędowych online prezentacja wyników badania jakościowego

Projekt Potencjał Działanie - Rozwój: nowy wymiar współpracy Miasta Płocka i płockich organizacji pozarządowych

Załącznik 13 Minimalny wzór opisu produktu finalnego projektu innowacyjnego testującego wraz z instrukcją

Szczegółowy Opis Przedmiotu Zamówienia Dla zamówienia publicznego poniżej EUR brutto

ZASADY PRZEPROWADZANIA OCENY WSPÓŁPRACY GMINY GRYFINO Z ORGANIZACJAMI POZARZĄDOWYMI

Dwie szkoły oceny 360 stopni. Sprawdź różnicę pomiędzy klasycznym a nowoczesnym podejściem

BADANIA EWALUACYJNE -WPROWADZENIE

MONITORING I EWALUACJA LOKALNEJ STRATEGII ROZWOJU GRUDZIĄDZKI SPICHLERZ

Staże i praktyki zagraniczne dla osób kształcących się i szkolących zawodowo

UZASADNIENIE OCENY SPEŁNIENIA KRYTERIUM SPÓJNOŚCI (WYPEŁNIĆ W PRZYPADKU ZAZNACZENIA ODPOWIEDZI NIE POWYŻEJ)

Wzmocnienie mechanizmów współpracy finansowej administracji publicznej z organizacjami pozarządowymi jako realizatorami zadań publicznych

Raport cząstkowy z ewaluacji projektu Współpracujemy profesjonalnie! w Gminie Frampol

KRÓTKI PRZEWODNIK Z ZAKRESU OBSŁUGI APLIKACJI PB ONLINE

STRATEGIA ROZWOJU DLA LOKALNEJ GRUPY DZIAŁANIA. Oferta badawcza

LOKALNEGO INDEKSU JAKOŚCI WSPÓŁPRACY

LOKALNEGO INDEKSU JAKOŚCI WSPÓŁPRACY

OPRACOWANIE WYNIKÓW BADANIA

Zestawienie metod, technik i narzędzi badawczych wykorzystywanych przez urzędy podczas przeprowadzania diagnozy

Produkt pośredni nr 3: Opis produktu pośredniego -aplikacji Life Design 50+

Raport z ewaluacji projektu Kolpingowska Akademia Zdrowia i Kultury

WYNIKI ANKIETY Elektroniczne szkolenie biblioteczne na platformie Moodle Biblioteki PWSZ w Nysie

Charakterystyka zadań budżetowych wyznaczonych do realizacji

Potrzeby i możliwości regrantingu.

Badanie postaw i opinii środowiska lekarzy i lekarzy dentystów związanych z Systemem Informacji Medycznej i wizerunkiem środowiska lekarzy

Fundusze UE, jako środki publiczne, wymagają starannego wydatkowania.

REGULAMIN MONITORINGU I EWALUACJI PROJEKTU DZIELNICOWA AKADEMIA UMIEJĘTNOŚCI

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

Elementy podlegające monitoringowi i ewaluacji w ramach wdrażania LSR dla obszaru PLGR

Warszawa, 17 maja 2010r. Zmiany w treści Zapytania Ofertowego nr postępowania POKL1.18/WRZOS/1/2010

Nr oferty: Nazwa oferenta: Rodzaj zadania: Tytuł zadania: Ocena: Uzasadnienie do przyznanej punktacji. Liczba przyznanych punktów

2. Zebranie problemów i potrzeb mieszkańców (50 min) Wprowadzenie do ćwiczenia generowanie pomysłów, wskazywanie braków na osiedlu.

Przedszkole Nr 30 - Śródmieście

Ewaluacja w nowym nadzorze pedagogicznym

Wyjaśnienie celów badania. Zakresu poruszanych tematów. Informacja o nagraniu przebiegu rozmowy i zapewnienie anonimowości

Urząd Miejski w Kaliszu

PORTAL ŁÓDŹ AKTYWNYCH OBYWATELI WYKORZYSTANIE NARZĘDZIA INFORMATYCZNEGO

OFERTA PROJEKTU CENTRUM AKTYWNOŚCI LOKALNEJ

WYNIKI ANKIETY Serwis internetowy Biblioteki PWSZ w Nysie

Wzrost wiedzy oraz nabycie kompetencji w zakresie współpracy międzysektorowej

Ewaluacja Programu Profilaktyki i Rozwiązywania Problemów Alkoholowych BADANIA I DZIAŁANIA MAGDALENA TĘDZIAGOLSKA

Technikum w Dobrzyniu Nad Wisłą. Jak i po co prowadzić ewaluację wewnętrzną?

PLAN EWALUACJI PROJEKTU Czym bogata Samych Swoich chata

Diagnoza współpracy w projekcie pn: Wspólnie budujmy kapitał społeczny Kalisza wdrożenie standardów współpracy NGO i JST

System monitorowania realizacji strategii rozwoju. Andrzej Sobczyk

Wzmocnienie potencjału analitycznego administracji publicznej przedsięwzięcie podjęte przez Szefa Służby Cywilnej

Zapytanie ofertowe. Cieszyn, 6 maja 2013 r.

Firmowe media społecznościowe dla pracowników

2015/2016 RAPORT EWALUACYJNY / GIMNAZJUM W SIEDLINIE RAPORT EWALUACYJNY WSPÓŁPRACA Z RODZICAMI. Siedlin, październik 2015r. EWALUACJA WEWNĘTRZNA / 1

Raport z badania dotyczącego potrzeb szkoleniowych pracowników Urzędów Pracy. 1. Wstęp. 2. Dane ilościowe

Badanie nauczania filozofii w gimnazjach i szkołach ponadgimnazjalnych

RAPORT Z KONSULTACJI SPOŁECZNYCH. projektu Programu Operacyjnego Inteligentny Rozwój, Grudzień 2013 r.

Autoewaluacja,,ewaluacja wewnętrzna w Szkole Podstawowej nr 19 im. Mikołaja Kopernika w Olsztynie

YouChoose: symulator budżetu on-line

RAPORT Z BADAŃ EWALUACYJNYCH EFEKTYWNOŚCI EKOLOGICZNEJ PRZEDSIĘBIORSTW/ORGANIZACJI/INSTYTUCJI W RAMACH PROJEKTU

Diagnoza i analiza funkcjonowania formalnych i nieformalnych instytucji opieki w Polsce

Raport z badań przeprowadzonych w ramach projektu Wzmocnienie konsultacji społecznych w powiecie oleckim. grudzień 2014

ROCZNY PLAN WSPOMAGANIA Szkoły Podstawowej w Piecniku

projektu innowacyjnego testującego

PLAN EWALUACJI PROJEKTU Nowoczesna edukacja szansą młodych lubomierzan

Scenariusz i formularz zogniskowanego wywiadu grupowego z przedstawicielami Urzędu

RAPORT KOŃCOWY Z WDROŻENIA

Ostateczna wersja produktu do wdrożenia. Projektodawca. Polskie Stowarzyszenie na rzecz Osób z Niepełnosprawnością Intelektualną

Ocena jakości współpracy Miasta Tychy z organizacjami pozarządowymi - raport z badania opinii NGOs

ROCZNY PLAN WSPOMAGANIA Przedszkole nr 3 w Gryfinie (nazwa przedszkola/szkoły)

PROJEKT EWALUACJI PROGRAMU NAUCZANIA. Bożena Belcar

WSPÓŁPRACA ORGANÓW ADMINISTRACJI PUBLICZNEJ I ORGANIZACJI POZARZĄDOWYCH ON-LINE. engo.org.pl

tel.: (+48) mail.

Działania komunikacyjne, odpowiadające im środki przekazu oraz zidentyfikowani adresaci poszczególnych działań komunikacyjnych:

Model zmiany formy realizacji usług publicznych na kontraktowanie z możliwością oszacowania korzyści ekonomicznych i społecznych

400 SPOSOBÓW ZMNIEJSZANIA OBCIĄŻEŃ DLA BENEFICJENTÓW FUNDUSZY UE -ROLA ORGANIZACJI POZARZĄDOWYCH W WYKORZYSTANIU WIEDZY PŁYNĄCEJZ EWALUACJI

METODOLOGIA OCENY EFEKTYWNOŚCI PROJEKTÓW SYSTEMOWYCH DEMONSTRATOR+

ZAPYTANIE OFERTOWE. W celu rozeznania rynku w ramach zasady konkurencyjności na:

Grudzień 2016 r. Gmina Baligród Gmina Cisna Gmina Komańcza Gmina Lesko Gmina Zagórz

Aktywnie konsultujemy lepiej współpracujemy

MŁODY PROGRAMISTA WARSZTATY PROGRAMOWANIA DLA UCZNIÓW KLAS MŁODSZYCH

SCENARIUSZ WYWIADU GRUPOWEGO (I)

Analiza doświadczeń i perspektyw współpracy transgranicznej samorządów lokalnych pogranicza polsko-słowackiego

Zadanie nr 7 Warsztaty pisania tekstów, WH.

Młodzi Przedsiębiorczy program nauczania ekonomii w praktyce w szkole ponadgimnazjalnej Fundacja Centrum Edukacji Obywatelskiej Autorka: Zofia Traczyk

Metodologia badania. Cele szczegółowe ewaluacji zakładają uzyskanie pogłębionych odpowiedzi na wskazane poniżej pytania ewaluacyjne:

Łódzka Akademia PO KL

Ministerstwo Rozwoju Regionalnego przygotowało korektę formularza wniosku aplikacyjnego.

PROCEDURA EWALUACJI WEWNĘTRZNEJ W SZKOLE PODSTAWOWEJ NR 2 IM.BOLESŁAWA PRUSA W MYSŁOWICACH

Realizacja lokalnej polityki społecznej we współpracy JST z NGO s, w tym podmiotów reintegracyjnych

OKRESOWY PLAN EWALUACJI

Narodowe Centrum Nauki. Wyniki badania ankietowego wnioskodawców pierwszych konkursów NCN z 2011 r. OPUS 1, PRELUDIUM 1, SONATA 1, HARMONIA 1

LISTA SPRAWDZAJĄCA. Karta oceny merytorycznej (jakości) projektu.

P O L I T E C H N I K A W A R S Z A W S K A W Y D Z I A Ł T R A N S P O R T U

Transkrypt:

Cieszyn, czerwiec 2014 r.

Projektodawca: Stowarzyszenie Wspierania Inicjatyw Gospodarczych DELTA PARTNER Ul. Zamkowa 3A / 1, 43 400 Cieszyn Tel. (33) 851 44 81, fax: (33) 851 44 81 biuro@deltapartner.org.pl, projekt@kalkulatorngo.pl www.kalkulatorngo.pl Partner projektu: Miasto Ustroń Ul. Rynek 1, 43-450 Ustroń Wykonawca ewaluacji zewnętrznej: Dawid Zieliński SocLab, ul. Rondo 20, 43-346 Bielsko-Biała Tytuł projektu: Kalkulator outsourcingu: Generator e-n-go Numer umowy zawartej z instytucją weryfikującą: UDA.POKL.05.04.02-00-E24/11-00 Projekt Kalkulator outsourcingu: Generator e-n-go jest współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego. Cieszyn 2014

Spis treści Słownik pojęć i skrótów zastosowanych w dokumencie... 4 Wstęp... 5 1. Metodologia... 9 1.1 Grupy docelowe... 9 1.2 Kryteria ewaluacji... 9 1.3 Pytania badawcze... 10 1.4 Metody badawcze... 11 2. Wyniki badania ankietowego zrealizowanego wśród przedstawicieli NGO... 13 3. Wyniki badań fokusowych z przedstawicielami NGO... 19 3.1 Odnotowane uwagi i trudności... 20 3.1.1 Trudności związane z posiadanymi przyzwyczajeniami... 20 3.1.2 Trudności w zrozumieniu mechanizmu działania generatora... 21 3.1.3 Dublowanie zadań wykonywanie wielokrotnie tej samej pracy... 22 3.1.4 Przeszkody i trudności techniczno-formalne... 23 3.1.5 Brak zrozumienia zasady działania kalkulatora korzyści społeczno-ekonomicznych 24 3.2 Pozytywne opinie o Generatorze... 25 3.3 Działania mające na celu ułatwienie korzystania z Generatora... 26 4. Wyniki badań z przedstawicielami JST... 29 4.1 Wdrożenie Generatora engo z perspektywy pracowników JST... 29 4.2 Próba tłumaczenia oporu NGO przed zmianami i rola JST... 31 4.3 Kalkulator korzyści ekonomiczno-społecznych... 32 Podsumowanie... 35 Spis wykresów... 39 Strona 3

Słownik pojęć i skrótów zastosowanych w dokumencie JST Jednostka / jednostki samorządu terytorialnego NGO, III sektor, sektor non-profit Organizacja / organizacje pozarządowe UODPPIOW Ustawa o działalności pożytku publicznego i o wolontariacie ICT Technologie informacyjno-komunikacyjne Open source Otwarte oprogramowanie: swobodny dostęp do oprogramowania dla wszystkich jego uczestników Kontraktacja usług Zlecanie wykonywania wybranych usług gminy NGO (outsourcing) Usługi publiczne Usługi świadczone przez administrację publiczną obywatelom Maintenance Konserwacja, pielęgnacja, utrzymanie, obsługa Outsourcing W niniejszym opracowaniu równoznaczne z pojęciem kontraktowania CBA Analiza kosztów i korzyści (cost-benefit analysis) metoda oceny efektywności projektów OAP Organ administracji publicznej (np. JST) Zadanie publiczne Każde działanie administracji, które realizuje ona na podstawie ustaw Strona 4

Wstęp Celem projektu Kalkulator outsourcingu: generator e-n-go jest poprawa warunków do prowadzenia efektywnej, długofalowej polityki rozwoju lokalnego przez jednostki samorządu terytorialnego (JST) w Polsce poprzez zmianę formy realizacji usług społecznych na kontraktowanie wraz z możliwością oszacowania korzyści ekonomicznych i społecznych tej zmiany. Głównym problemem współpracy jednostek samorządu terytorialnego (JST) i organizacji pozarządowych (NGO), zdefiniowanym w strategii wdrażania projektu, jest brak systemu zachęt oraz narzędzi do kwantyfikowania oraz upowszechniania korzyści wynikających ze zmiany formy realizacji usług społecznych na kontraktowanie, w szczególności szacowania korzyści społeczno-ekonomicznych. Próbą odpowiedzi na zidentyfikowany problem jest, opracowany w trakcie realizacji projektu, Generator engo. Generator engo jest aplikacją internetową, która służy do kompleksowej obsługi systemu kontraktacji usług publicznych realizowanych w oparciu o ustawę o działalności pożytku publicznego i o wolontariacie z możliwością oszacowania korzyści społeczno-ekonomicznych. W budowie i funkcjonowaniu przypomina istniejące już generatory wniosków wykorzystywanych w ramach dotacji z funduszy UE. Jednakże tym, co odróżnia go od pozostałych generatorów, jest innowacyjna funkcja kalkulatora korzyści ekonomicznospołecznych, umożliwiająca systematyczną ewaluację realizowanych zadań w ramach rocznych programów współpracy gmin z organizacjami pozarządowymi oraz na tej podstawie optymalizację przygotowywania kolejnych. W projekcie przewidziano dwie fazy testowania produktu finalnego, realizowane w ścisłej współpracy z partnerem projektu Miastem Ustroń. Pierwszy cykl testów realizowany był w październiku 2013 roku. W jego trakcie, działania projektowe skupiały się wokół opracowywania wstępnej wersji produktu finalnego. Etap ten miał charakter przygotowawczy, a jego głównym założeniem była konfrontacja opinii użytkowników i odbiorców innowacji w celu przygotowania narzędzia do drugiego intensywnego etapu testowania. W pierwszy etap testowania produktu zaangażowane było Miasto Ustroń oraz 5 wytypowanych organizacji pozarządowych ubiegających się o dotacje w konkursie ofert. W trakcie etapu przygotowawczego przeprowadzone zostały 4 warsztaty konsultacyjne JST-NGO z elementami Strona 5

zogniskowanego wywiadu grupowego. Tematyka warsztatów obejmowała przeprowadzenie szczegółowego studium przypadku od ogłoszenia konkursu ofert, złożenia oferty, wyboru oferty, do raportowania realizacji zadań. W trakcie warsztatów przeprowadzono także serię testów i prób doskonalących system po warsztatach konsultacyjnych oraz na bieżąco uwzględniano zgłaszane uwagi. Etap zakończył się pilotażowym konkursem ofert na realizację zadań publicznych na 2014 rok z wykorzystaniem Generatora engo w Mieście Ustroń z udziałem wytypowanych 5 NGO ubiegających się o dotacje w konkursie ofert. Zakończenie drugiego intensywnego cyklu testowania zaplanowano na listopad 2014, a jego celem jest zaprezentowanie i poddanie opiniowaniu rozwiązań wypracowanych w trakcie pierwszego etapu, a także zebranie informacji i uwag dotyczących narzędzia oraz samego procesu testowania, w celu dostarczenia informacji o skuteczności innowacyjnego systemu, dopracowania wszystkich zasad i procedur oraz eliminacji błędów zawartych w produkcie finalnym. W drugi etap zaangażowane zostało Miasto Ustroń oraz 23 organizacje pozarządowe działające na jego terenie. W ramach tego etapu zaplanowanych zostało 11 warsztatów implementujących, których tematyka podzielona została na dwie części: część teoretyczną: omówienie technicznych i prawnych aspektów konkursów dla NGO za pomocą systemu Generator engo z funkcją kalkulatora korzyści ekonomicznospołecznych, część praktyczną: praca warsztatowa wykorzystanie wszystkich funkcjonalności systemu (testy z wykorzystaniem narzędzia), m.in.: ogłoszenie konkursu ofert, przygotowywanie ofert realizacji zadania publicznego z wykorzystaniem Generatora engo z funkcją kalkulatora korzyści ekonomiczno-społecznych, przyjęcie ofert do realizacji, raportowanie zadań. Ponadto zaplanowano serię testów i prób doskonalących system po warsztatach implementujących, a także podjęcie działań mających na celu przygotowanie zaangażowanych stron do organizacji i zrealizowania konkursu ofert na realizację zadań publicznych na 2015 rok z wykorzystaniem Generatora engo w Mieście Ustroń. Docelowo zakłada się, iż przeprowadzenie założonych działań oraz wdrożenie innowacji wpłynie korzystnie na współpracę JST i NGO, a w szczególności na: możliwość obliczenia rzeczywistych, skwantyfikowanych kosztów realizacji zadań publicznych przez NGO w formie kontraktowania, Strona 6

możliwość porównywania ofert złożonych przez NGO (w oparciu o ekonomiczne i społeczne wskaźniki korzyści i kosztów), możliwość łatwiejszego zarządzania systemem powierzania zadań publicznych (generowanie danych ogólnych dotyczących współpracy JST i NGO, komunikacja online na każdym etapie realizacji zadania publicznego), możliwość promocji outsourcingu usług publicznych, możliwość złożenia online oferty oraz sprawozdania z realizacji zadania publicznego przez organizację pozarządową, minimalizację zakresu uchybień formalnych w ramach procedur konkursów ofert oraz zgromadzenie kompletnej dokumentacji dostępnej w ramach jednej aplikacji. Ewaluacja zewnętrzna projektu prowadzona jest metodą ciągła (on-going). Celem ewaluacji on-going jest bieżąca ocena podejmowanych działań wraz z identyfikacją i wskazaniem elementów, które wymagają wprowadzenia korekt, dodatkowych działań lub usprawnień. Zgodnie z przedstawionym założeniem zaplanowano przygotowanie i przeprowadzenie 3 osobnych cyklów badawczych, na bazie których przygotowane zostaną raporty odnoszące się do poszczególnych etapów realizacji projektu związanych z drugą intensywna fazą testowania produktu. Badania przeprowadzone zostaną na początku realizacji testowania (ex-ante), w trakcie ich realizacji (mid-term) oraz w końcowym etapie zaplanowanych działań (ex-post). Pierwsze dwa z zaplanowanych etapów badań będą kończyły się podsumowaniem dotychczas zrealizowanych działań, oceną podjętych interwencji i wprowadzonych korekt oraz przedstawieniem wniosków i rekomendacji, będących punktem wyjściowym do kolejnego etapu realizacji projektu. Ostatni, trzeci raport badawczy, poza oceną przeprowadzonych działań, zostanie poszerzony o całościową ocenę procesu testowania, z odniesieniem do kryteriów ewaluacyjnych przyjętych w strategii wdrażania. Strona 7

1. Metodologia Celem przedmiotowego opracowania jest zaprezentowanie wyników ewaluacji zewnętrznej projektu. Ewaluację zewnętrzną projektu prowadzono metodą ciągłą, realizowaną równolegle z fazą testowania produktu (II cykl). Prezentowany raport odnosi się wyłącznie do pierwszego okresu testowania produktu projektu w Mieście Ustroń, realizowanego w miesiącach kwiecieńczerwiec 2014 roku (w ramach drugiego intensywnego cyklu testów). Zgromadzone w trakcie badania informacje przekazywane były na bieżąco realizatorowi projektu, w celu korygowania ewentualnych niedociągnięć lub nieścisłości. 1.1 Grupy docelowe Grupami docelowymi produktu finalnego są: użytkownicy innowacji osoby odpowiedzialne za współpracę z NGO reprezentujący organy administracji publicznej, uczestniczący w procesie kontraktacji zadań publicznych w oparciu o Ustawę o działalności pożytku publicznego i o wolontariacie, członkowie komisji konkursowych oceniających oferty na realizację zadań publicznych, liderzy instytucji samorządowych odpowiedzialni za wyznaczanie i realizację polityki samorządu terytorialnego. odbiorcy innowacji przedstawiciele podmiotów III sektora, które współpracują z samorządami, a zwłaszcza liderzy tych organizacji oraz osoby kierujące realizacją zadań publicznych finansowanych w wyniku udziału w otwartych konkursach ofert. 1.2 Kryteria ewaluacji Założeniem opracowania oraz realizowanych na jego potrzebę badań, była próba odpowiedzi na zagadnienia zdefiniowane w strategii projektu. Wśród przyjętych kryteriów ewaluacji znajdowały się: Trafność określenie w jakim stopniu wypracowany produkt odpowiada na potrzeby grupy odbiorców, użytkowników; Efektywność ocenę kosztów wprowadzenia proponowanego rozwiązania w stosunku do efektów jego stosowania; Strona 9

Skuteczność ocenę, na ile wypracowany produkt poprawi sytuację zdefiniowaną w diagnozie jako problemową; Oddziaływanie określenie w jaki sposób produkt wpływa na grupę docelową odbiorców oraz ich sytuację i otoczenie; Trwałość ocenę czy produkt może być na trwałe użytkowany; Innowacyjność ocenę stopnia innowacyjności opracowanego produktu. 1.3 Pytania badawcze W oparciu o przyjęte kryteria ewaluacji, zdefiniowano następujące pytania badawcze: Trafność: Czy produkt odpowiada na realne potrzeby odbiorców, użytkowników? W jakim stopniu produkt odpowiada na realne potrzeby odbiorców, użytkowników? Jak kształtuje się zapotrzebowanie na produkt wśród odbiorców, użytkowników produktu? Jakie korzyści przynosi zastosowanie produktu? Jakie elementy produktu są najbardziej użyteczne? Jakie elementy produktu są najmniej użyteczne? Czy produkt jest kompletny? Zawiera wszystkie potrzebne grupom docelowym elementy? Efektywność: Czy produkt jest bardziej efektywny niż stosowane dotychczas rozwiązania? Czy proponowany produkt jest rozwiązaniem korzystniejszym pod kątem finansowym / ekonomicznym od metod stosowanych wcześniej? Czy produkt pozwala na zwiększenie wydajności pracy pod kątem administracyjnym i czasowym? Skuteczność: Czy produkt jest skuteczny? Co wpływa na jego skuteczność? W jakim stopniu produkt realizuje wcześniej zdefiniowane cele? Co wpływa / będzie wpływać w przyszłości na skuteczność produktu? Czy i jakie są możliwości zwiększenia skuteczności produktu? Strona 10

Które elementy produktu wykazują się największą skutecznością, a które najmniejszą? Oddziaływanie: Czy produkt wpływa na funkcjonowanie grupy odbiorców i użytkowników? Czy pozwala korzystnie zmieniać sytuację zdefiniowaną jako problematyczną? W jakim stopniu produkt oddziałuje na otoczenie grupy odbiorców i użytkowników? Czy możliwe jest zwiększenie oddziaływania produktu na sytuację i otoczenie odbiorców oraz użytkowników? Które z elementów produktu mają największy wpływ na otoczenie odbiorców i użytkowników? Trwałość: Czy i w jakim stopniu prawdopodobne jest funkcjonowanie produktu po zakończeniu finansowania projektu? Jakie są warunki funkcjonowania produktu w przyszłości? Jakie są zagrożenia dla funkcjonowania produktu w przyszłości? Jakie są bariery wdrożenia i funkcjonowania produktu? Innowacyjność: Czy i na ile produkt jest innowacyjny? W jakich aspektach produkt jest innowacyjny? Czy produkt rozwiązuje nowy problem, czy też daje rozwiązanie na wcześniejsze problemy? W jakim zakresie? 1.4 Metody badawcze W celu odpowiedzi na zagadnienia zawarte w kryteriach ewaluacji, w ramach przedmiotowego opracowania przeprowadzone zostały: dwa zogniskowane wywiady grupowe z użytkownikami produktu (FGI) z dziesięcioma przedstawicielami NGO, dwa pogłębione wywiad indywidualne z użytkownikami produktu (IDI) z dwoma przedstawicielami JST, badania kwestionariuszowe (ankiety) z siedemnastoma przedstawicielami NGO, Uzupełnienie zebranego materiału stanowią także: materiały i notatki zgromadzone w trakcie trwania warsztatów implementacyjnych, Strona 11

materiały opracowane przez realizatora projektu odnoszące się do spotkań konsultacyjnych. Zogniskowane wywiady grupowe (FGI) tzw. fokusy oraz pogłębione wywiady indywidualne (IDI) zaliczane są do grupy badań jakościowych. Polegają na badaniu stosunkowo nielicznych grup osób (przedstawicieli danej populacji), przez co nie mają one waloru reprezentatywności w sensie statystycznym. W przypadku tego typu badań nie ma możliwości prezentowania zestawień graficznych, procentowych itp. Pozwalają one jednak uzyskiwać pogłębione informacje na temat złożonych procesów, opinii, postaw, zjawisk oraz tendencji przejawiających się w badanej populacji. W trakcie realizacji badania jakościowego, badacz staje się moderatorem rozmowy, kontroluje i ukierunkowuje jej przebieg, pomaga w formułowaniu uogólnień i wniosków, związanych z postawionymi wcześniej pytaniami badawczymi. Zaletą tego typu badań jest nieszablonowość procesu gromadzenia danych, dzięki czemu badacz może uzyskiwać szczegółowe informacje związane z tematem badania. Badania kwestionariuszowe należą natomiast do grupy badań ilościowych. Pozwalają na uchwycenie i przedstawienie w formie liczbowej założonych celów badawczych. Badania prowadzone były wśród uczestników warsztatów implementacyjnych. Wszystkie badania przeprowadzone na potrzeby przedmiotowego opracowania zrealizowane zostały w Ustroniu w dniu 06.05.2014 roku, w którym odbywał się II i III warsztat implementacyjny. Całość zebranego materiału podzielona została na sekcje odpowiadające poszczególnym grupom (odbiorców i użytkowników) biorących udział w testowaniu Generatora engo. Następnie zaprezentowane zostały opinie o produkcie oraz działania, które zdaniem badanych osób powinny zostać podjęte w celu ułatwienia jego wdrażania. W podsumowaniu zawarte zostały najważniejsze wnioski płynące z przeprowadzonych badań, zestawienie słabych i mocnych stron produktu oraz rekomendacje i działania, których podjęcie może korzystnie wpłynąć na wdrażanie produktu. Strona 12

2. Wyniki badania ankietowego zrealizowanego wśród przedstawicieli NGO Poniżej zaprezentowane zostały wyniki badań ankietowych przeprowadzonych w dniu 06.05.2014 r. w trakcie II i III warsztatu implementacyjnego, realizowanego na początku drugiego cyklu testowania produktu. Spośród wszystkich rozdanych uczestnikom spotkania ankiet, wypełnionych i zwróconych zostało 17 kwestionariuszy. Zebrane wśród respondentów opinie wskazują, że w przypadku większości badanych zagadnień, zaledwie połowa uczestników posiadała jakiekolwiek zdanie na temat funkcjonowania Generatora oraz jego wpływu na sposób przygotowywania ofert. Powodem tak dużej liczby wskazań odpowiedzi nie mam zdania może być fakt, iż zdecydowana większość uczestników pierwszego etapu testowania produktu, to osoby, które z Generatorem zetknęły się po raz pierwszy, a ich doświadczenia ograniczały się wyłącznie do założenia własnego konta umożliwiającego korzystanie z aplikacji. Do 6 maja 2014 roku, według danych z serwera, na którym zamieszczony została Generator, liczba założonych kont użytkowników wynosiła 15, z czego 13 kont zostało w pełni aktywowanych. Mając na uwadze fakt, że w etap testowania produktu zaangażowane były łącznie 23 organizacje, liczba aktywowanych kont jest niewielka. Ponadto, w tej puli znajdowały się także konta (6 założonych, 5 aktywowanych), należące do osób i organizacji, które brały udział w testowaniu w ramach pierwszego cyklu, w 2013 roku. Respondenci, którzy brali udział we wcześniejszych pracach nad testowaniem wstępnej wersji produktu finalnego w Ustroniu, w 2013 roku, posiadali znacznie więcej doświadczenia w pracy z Generatorem, przez co prawdopodobnie ich opinie na temat produktu i nastawienie do korzystania z zaproponowanych rozwiązań były zdecydowanie bardziej pozytywne. Niemniej jednak, co warto podkreślić, wszystkie badane osoby jedynie sporadycznie odnosiły się do funkcjonowania Generatora w sposób negatywny. W dniu realizacji badania, zaledwie 2 osoby (12% badanych) próbowało przygotować elektroniczną ofertę w ramach drugiego cyklu testowania produktu. Można zatem stwierdzić, że na tym etapie testowania, doświadczenie odbiorców w zakresie praktycznego wykorzystania narzędzia jest stosunkowo niewielkie. Strona 13

Wykres 1 Czy przygotował(a) już Pan(i) elektroniczną ofertę w ramach testowania produkt Generator engo? 12% Tak Nie 88% Źródło: badanie własne Wyniki oceny poszczególnych elementów funkcjonowania Generatora wskazują, iż znaczna część uczestników projektu na tym etapie realizacji projektu, po przeprowadzeniu pierwszych spotkań i prezentacji programu nie wyrobiła sobie na jego temat żadnego zdania. Wśród zebranych odpowiedzi dominują wskazania nie mam zdania. Liczba tego typu odpowiedzi wahała się w przedziale od 47% do 58% ogółu wskazań. Stosunkowo najwięcej pozytywnych wskazań ( zdecydowanie tak oraz raczej tak ) odnotowano przy twierdzeniu, iż korzystanie z generatora pozwala na swobodną edycję oferty, aż do momentu jej złożenia łącznie 52,9% pozytywnych wskazań. Najmniej pozytywnych wskazań znalazło się natomiast przy twierdzeniu wskazującym na usprawnienie procesu składania ofert, dzięki zastosowaniu Generatora zaledwie 35,5% ogółu pozytywnych wskazań. W prezentowanych ocenach, sporadycznie pojawiały się opinie negatywne, co może wynikać z przychylności / pozytywnego nastawienia uczestników projektu do wdrażania nowych rozwiązań, lub z wspominanego braku wiedzy i wyrobionego zdania o Generatorze. Strona 14

Wykres 2 Proszę wskazać na ile zgadza się Pan(i) z poniższymi stwierdzeniami dotyczącymi pracy Generatora? Ułatwia rozliczanie zrealizowanego zadania 18% 24% 53% 6% Pozwala na swobodną edycję oferty aż do momentu jej złożenia 24% 29% 47% Wpływa na oszczędność materiałów (m. in. papier, tusz itp.) 18% 24% 47% 12% Pozwala złożyć ofertę w dogodnym dla mnie czasie 18% 24% 53% 6% Pozwala na pracę nad ofertą przez kilka osób jednocześnie 12% 29% 47% 12% Wymusza spójność kluczowych części oferty 18% 24% 47% 12% Pozwala unikać błędów rachunkowych 18% 24% 59% Usprawnia proces składania ofert 12% 24% 53% 6% 6% Zdecydowanie tak Raczej tak Nie mam zdania Raczej nie Zdecydowanie nie Źródło: badanie własne Podobnie, jak w przypadku powyżej prezentowanych opinii, przeważająca część badanych nie miała określonego zdania na temat tego, czy korzystanie z Generatora może korzystnie wpłynąć na ułatwienie ich pracy, poprawę komunikacji z urzędem, czy polepszenie transparentności procesu składania i rozliczania ofert. Stosunkowo najwięcej korzyści wynikających z zastosowania Generatora badani wskazywali w przypadku takich zagadnień, jak: zwiększenie uczciwości procesu oceny i wyboru ofert, wybór najkorzystniejszych / najlepszych spośród składanych ofert, zmniejszenie biurokracji związanej z procesem składania i rozliczania ofert, możliwość porównywania przez samorząd kosztów i jakości realizowanych przez organizacje projektów. Wszystkie wymienione korzyści otrzymały łącznie po 47% pozytywnych wskazań (odpowiedzi raczej tak i zdecydowanie tak razem). Strona 15

Wykres 3 Czy wykorzystanie elektronicznego narzędzia do składania ofert wpłynie korzystnie na: Porównywanie kosztów i jakości realizowanych projektów 18% 29% 41% 12% Zmniejszenie biurokracji związanej z procesem 18% 29% 47% 6% Przyspieszenie i poprawę komunikację NGO i JST 12% 29% 47% 12% Umożliwienie śledzenia procesu realizacji projektu 24% 18% 53% 6% Wybór najkorzystniejszych/najlepszych ofert 18% 29% 47% 6% Przyspieszenie procesu oceny i wyboru ofert 12% 29% 47% 12% Zwiększenia uczciwości procesu oceny i wyboru ofert 18% 29% 35% 18% Zwiększenie przejrzystości procesu składania ofert 18% 24% 41% 18% Zdecydowanie tak Raczej tak Nie mam zdania Raczej nie Zdecydowanie nie Źródło: badanie własne W trakcie badania ankietowego, respondenci nie wskazali działań i funkcji programu, które należy w najbliższej przyszłości usprawnić lub wprowadzić. Może to wynikać między innymi z ograniczonej wiedzy i doświadczenia respondentów w zakresie korzystania z Generatora. Zdecydowanie więcej informacji w tym temacie uzyskano za pomocą przeprowadzonych badań jakościowych, których wyniki zaprezentowano w kolejnej części opracowania. W końcowej części ankiety skoncentrowano się na pytaniu dotyczącym trwałości wypracowanych rezultatów projektu. Zadano respondentom pytanie o to, czy ich zdaniem narzędzie jakim jest Generator ma szansę zostać upowszechnione w skali ogólnopolskiej. Pytanie to pozwala na zbadanie poziomu akceptacji narzędzia oraz opinii na temat możliwości / zasadności jego wdrożenia. Podobnie, jak w przypadku powyżej prezentowanych zestawień, blisko połowa badanych nie miała sprecyzowanego zdania na badany temat. Kolejnych 40% respondentów było przekonanych, że zastosowanie Generatora w skali ogólnopolskiej jest możliwe, tym samym można przyjąć, że 2/5 uczestników badania jest pozytywnie nastawiona do wdrażania Generatora. Strona 16

Wykres 4 Czy produkt typu Generator ma szansę zostać wdrożony i wykorzystywany w skali ogólnopolskiej? Zdecydowanie tak 13,33% Raczej tak 26,67% Nie mam zdania 46,67% Raczej nie 13,33% Zdecydowanie nie 0,00% Źródło: badanie własne Strona 17

3. Wyniki badań fokusowych z przedstawicielami NGO Na potrzeby przedmiotowej analizy przeprowadzone zostały dwa badania fokusowe. W każdym z wywiadów brało udział po 5 osób. Badanie zostało przeprowadzone w trakcie II i III warsztatu implementacyjnego w dniu 06.05.2014 roku. Analiza zgromadzonego w trakcie badania fokusowego materiału wskazuje, iż mniej więcej 2/3 osób objętych badaniem, w trakcie trwania pierwszej fazy drugiego cyklu testowania produktu, w głównej mierze wskazywała / koncentrowała się na wadach i trudnościach wynikających z próby wdrożenia nowego rozwiązania produktu finalnego projektu. Jednocześnie, jak już wspomniano, zaledwie 13 uczestników procesu testowania produktu miało w chwili realizacji badania założone i aktywowane konta użytkowników. Fakt ten jest bardzo istotny ze względu na to, że wiele opinii wyrażanych przez odbiorców produktu, nie opiera się na osobistym i bezpośrednim doświadczeniu w pracy z Generatorem, lecz wyłącznie na wyobrażeniu o jego funkcjonowaniu. Osoby, które zetknęły się z Generatorem po raz pierwszy wykazywały znaczny opór w stosunku do proponowanych rozwiązań w myśl przysłowia (które zresztą padło w pierwszych minutach realizowanego badania fokusowego) lepsze jest wrogiem dobrego. Nastawienie to dominowało przez większą część realizowanego badania, w trakcie którego uczestnicy mocno podkreślali, iż dotychczas stosowane metody są dla nich odpowiednie, a wprowadzanie zmian jest niepotrzebne. W trakcie wywiadu zaobserwowano, iż im częściej dana osoba korzystała z Generatora engo, tym jej nastawienie do proponowanych zmian było bardziej pozytywne. W celu zwiększenia przejrzystości wskazywanych uwag i trudności związanych z wdrażaniem Generatora engo, wszystkie zebrane w trakcie badania opinie zostały podzielone na pięć głównych kategorii. Wśród kategorii uwag i trudności wymienianych przez respondentów, znalazły się opinie związane z: 1. Posiadanymi przez respondentów przyzwyczajeniami; 2. Trudnościami w zrozumieniu mechanizmu działania Generatora; 3. Dublowaniem zadań wykonywaniem wielokrotnie tej samej pracy; 4. Przeszkodami i trudnościami techniczno-formalnymi; 5. Brakiem zrozumienia i zasadności funkcjonowania kalkulatora korzyści społecznoekonomicznych. Strona 19

Przedstawione powyżej kategorie problemów i obaw omówione zostały w kolejnej części opracowania. Osobno zaprezentowano wątek korzyści, jakie zauważają badani przedstawiciele NGO oraz potrzeb dotyczących wsparcia niezbędnego przy wdrażaniu nowych rozwiązań zaproponowanych w projekcie. 3.1 Odnotowane uwagi i trudności 3.1.1 Trudności związane z posiadanymi przyzwyczajeniami Kategoria przyzwyczajeń, z których wynikają trudności lub niechęć do korzystania z nowego narzędzia, jest jednym z podstawowych czynników wpływających na brak zainteresowania lub opór przed stosowaniem internetowego Generatora. Większość badanych osób wskazywała na przyzwyczajenie do wypełniania ofert metodą tradycyjną oferty składane do urzędu w wersji papierowej. Podkreślano także, że środki jakie pozyskują organizacje z gmin są stosunkowo nieduże, zatem wprowadzanie zmian komplikuje ich pozyskiwanie i zmusza organizacje do uczenia się nowych rzeczy. Jak zaznaczali respondenci [Generator] jak każda nowa rzecz, wymaga oswojenia się. My jesteśmy nauczeni pracować na papierach, to wymaga przyswojenia nowych rozwiązań. Jednocześnie wskazywali także na to, iż w przypadku, gdy Generator będzie dla organizacji stanowił jakąś korzyść, chętnie zaczną go używać jeśli w nowych wnioskach będzie moduł kontroli poprawności danych, to taki z tego będzie pożytek. Jednakże argument ten nie przemawiał do wszystkich uczestników badania. Niektórzy respondenci (około połowy ogółu badanych) byli zdania, iż nowe rozwiązanie w zasadzie niczego w ich pracy nie zmieni, gdyż już posiadają narzędzia usprawniające ich pracę jeśli ktoś do tej pory pracował w Excelu, to dla niego nie będzie żadnego udogodnienia. Jeśli ktoś sobie zrobił dobry formularz, to i tak i tak policzyło dobrze. W oparciu o przedstawione opinie można wskazać, że największą przeszkodą dla wdrażania Generatora są wypracowane schematy postępowania w organizacjach oraz posiadane i sprawdzone w organizacji własne narzędzia. Respondenci w trakcie rozmowy sporadycznie zastanawiali się nad potencjalnymi korzyściami, jakie mogą wynikać z wdrożenia Generatora dla ich organizacji. Mała liczba pozytywnych odniesień może wynikać z nikłego, jak do tej pory doświadczenia respondentów w pracy z Generatorem. Strona 20

3.1.2 Trudności w zrozumieniu mechanizmu działania generatora W kolejnej grupie argumentów przemawiających przeciwko wdrażaniu nowych rozwiązań, znalazły się argumenty takie, jakie: jest to duża trudność dla osób niepotrafiących obsługiwać komputera, w szczególności osób starszych, małe organizacje będą musiały zatrudnić osobę do składania ofert przez Internet, utrata możliwości konsultowania oferty przed jej złożeniem, wzrośnie liczba dokumentów, które trzeba przygotować. Jedną z głównych i najczęściej zgłaszanych w trakcie badania uwag, była sugestia odnosząca się do tego, iż nowy Generator to duży problem dla organizacji, które nie dysponują osobami z odpowiednimi kwalifikacjami do obsługi komputera. W szczególności zwracano uwagę na organizacje kombatantów oraz inne podmioty zrzeszające przede wszystkim osoby starsze. Jak wspominała, jedna z respondentek [my w organizacji] mamy księgową, która nie używa nawet kalkulatora, ona mi teraz nic nie pomoże, z nią muszę tylko wypełniać ręcznie. Kolejna osoba stwierdziła, iż organizacje zrzeszające starszych ludzi, zniechęcone zostaną nowymi wymaganiami do podejmowania działań nowa papierologia ich zniechęca, oni nic nie będą robić, bo się będą bać. Podobne głosy pojawiały się w opiniach pozostałych respondentów. Niektórzy wręcz sugerowali, iż organizacje zrzeszające osoby starsze, lub korzystające wyłącznie z małych grantów nie powinny zostać obligowane do korzystania z wersji elektronicznej Generatora niech granica będzie wartościowa: jak ja dostaję 1 tys., to po co mam się bawić się w takie rzeczy. Jak ktoś dostaje więcej, to niech ma większe wymogi. Jak kwota dotacji jest nieduża, może okazać się, że będzie trzeba kogoś wynająć, żeby to wprowadzić. Często podkreślano także to, że do tej pory przed złożeniem wymaganych dokumentów, badani mogli je konsultować z przedstawicielami gminy. Respondenci obawiali się, że po wdrożeniu nowego systemu takiej możliwości już nie będzie, przez co może dojść do sytuacji, że złożą niewłaściwe dokumenty i nie otrzymają dotacji na realizację zadania publicznego. Obawiano się także, że nowy system negatywnie odbije się na jakości składanych wniosków, co będzie między innymi wynikiem braku wsparcia ze strony urzędu brak porad, konsultacji itp. Wszelkie konsultacje i spotkania z pracownikami urzędu są, zdaniem badanych bardzo istotne, choćby z tego względu, że pozwalają na zebranie informacji na temat zmian w zakresie składania ofert, Strona 21

zasad ich rozliczania, a także pozwalają pozyskać informację na temat tego, gdzie należy się udać w celu pozyskania wymaganych dokumentów np. odpisu dokumentów z KRS. W większości cytowanych wypowiedzi pojawia się niepewność związana z wdrażaniem nowych rozwiązań, w szczególności o to, że zostaną z nowym narzędziem pozostawieni sami, że wsparcie we wdrażaniu będzie niewielkie, a narzędzie zostanie im odgórnie narzucone. Zauważalne jest także to, że respondenci w chwili realizacji badania mieli stosunkowo niewiele informacji. Wynika to zarówno z małego, jak do tej pory zainteresowania odbiorców produktem projektu, jak i niewielkiej liczby przeprowadzonych spotkań implementacyjnych (badanie zrealizowano podczas II i III z 11 zaplanowanych warsztatów). 3.1.3 Dublowanie zadań wykonywanie wielokrotnie tej samej pracy Niektórzy z respondentów (około 1/3 badanych) mieli wątpliwości, czy stosowanie Generatora nie wpłynie na konieczność wielokrotnego wykonywania tej samej pracy. Jak sami zaznaczali czy w Excelu czy w Wordzie, to i tak musieliśmy przygotować to [ofertę] odręcznie i to się tam sprawdzało. Dopiero później przekleja się to do Generatora. Kiedyś nie było potrzeby wpisywania do Generatora, tylko przygotowywało się ofertę. Tym samym tworzenie ofert w Generatorze, zdaniem badanych będzie zajmowało więcej czasu niż do tej pory i trzeba będzie kilka razy wklejać ten sam tekst do różnych tabel. Kolejne osoby podkreślały, że Generator ma zalety (jest szybszy, usprawnia pracę), wyłącznie gdy porówna się go do ofert tworzonych odręcznie. Jego zalety jednak nikną, gdy ktoś przygotowuje ofertę na komputerze: generator jest może na plus w porównaniu z wypełnianiem ręcznym wniosku, ale już nie jest korzystny, jeśli ktoś wypełnia go na komputerze ale nie online. Rozwiązaniem pośrednim, zdaniem badanych osób, byłoby zrezygnowanie z wersji elektronicznej Generatora, a w zamian stworzenie pliku, który wszystkich tych dat itp. będzie pilnował. Na końcu i tak i tak będzie wydrukuj, my sobie to później zaniesiemy do urzędu i po sprawie. Powyższe zdanie wskazuje na brak zrozumienia idei Generatora, a w szczególności części poświęconej kalkulatorowi korzyści społeczno-ekonomicznych. Wynikać to może po części z faktu, iż duża grupa osób zaangażowanych w testowanie Generatora, do tej pory zapoznała się z jego funkcjonalnością bardzo pobieżnie. Świadczy o tym także brak wiedzy respondentów na temat możliwości automatycznego generowania sprawozdania z realizacji zadania. Respondenci z dużym przekonaniem twierdzili, Strona 22

iż po zakończeniu projektu i tak każdy będzie musiał zrobić sprawozdanie z liczbą godzin, ludzi itp., zatem zdaniem badanych Generator tylko komplikuje proces realizacji działań. Z zaprezentowanych wypowiedzi wynika, że uczestnicy procesu testowania produktu nie posiadają jeszcze wiedzy na temat rzeczywistej funkcjonalności Generatora, a w szczególności automatyzacji wielu czynności, w tym samoczynnego kopiowania wpisanych danych, sprawdzania ich poprawności, wskazywania ewentualnych błędów, zwiększania wewnętrznej spójności oferty etc. Brakuje także wiedzy dotyczącej tego, w jaki sposób Generator będzie wpływał na proces tworzenia sprawozdań z realizacji zadań publicznych przez organizacje pozarządowe. 3.1.4 Przeszkody i trudności techniczno-formalne W kategorii zagrożeń techniczno-formalnych, opinie wyrażane przez respondentów podzielić można na zagrożenia zewnętrzne (niezależne, nie połączone bezpośrednio z Generatorem) oraz wewnętrzne (związane z funkcjonowaniem Generatora i jego obsługą). Do kategorii zagrożeń zewnętrznych, niezależnych zaliczyć można: problemy wynikające z funkcjonowaniem Internetu, kradzież danych dot. organizacji, kradzież pomysłów zawartych w złożonych ofertach, kłopoty związane z podpisem elektronicznym. Natomiast, wśród zagrożeń wewnętrznych, związanych z funkcjonowaniem Generatora wskazywano: konieczność wprowadzania zmian w formularzu ofertowym, wysokie koszty utrzymania Generatora, upadek firmy obsługującej Generator, zwiększającą się liczbę szczegółów, które należy wskazywać Generatorze. Jednym z najczęściej wymienianych zagrożeń, było zagrożenie związane z brakiem Internetu w momencie, gdy będzie trwało składanie ofert, problemy związane z logowaniem, przeciążeniem systemu etc. Badani podkreślali, że w chwili wystąpienia tego typu utrudnień, nie będą mieli możliwości wpływu na złożenie oferty, przez co, ich oferta z niezawinionych przez nich czynników nie będzie mogła brać udziału w konkursie. Strona 23

Często badani wskazywali także na potencjalne zagrożenia związane z kradzieżą danych organizacji, utratą informacji zawartych w ofercie, nielegalnym skopiowaniem oferty przez osoby trzecie lub złożeniem oferty w imieniu organizacji, przez osobę nieuprawnioną do tego. W trakcie przeprowadzania wywiadu, badani często wskazywali na zalety stosowania podpisu elektronicznego, związane ze zwiększeniem bezpieczeństwa danych. Niemniej jednak tylko niewielka liczba uczestników badania (2 osoby) posiadały tzw. podpis elektroniczny. Rozwiązanie to mogłoby zarówno poprawić bezpieczeństwo składanych ofert, jak i korzystnie wpłynąć na szybkość tj. skrócenie czasu potrzebnego na składanie ofert, gdyż stosowanie podpisu elektronicznego pozwala na uniknięcie osobistej wizyty w urzędzie. Jednakże zdarzały się też głosy wskazujące na wady tego rozwiązania: w innych programach nawet było łatwiej, bo nie wymagali podpisów elektronicznych. Jakoś to działało. Nie wiem czy to wszystko trzeba teraz przez ten epuap. Nie jest to dla nas udogodnienie. Zmiana w epuapie może trwać miesiącami. Sama aktywacja skrzynki na epuapie trwa długo. Zdaniem części badanych, wdrożenie nowego rozwiązania jakim jest Generator będzie wiązało się z koniecznością zwiększenia szczegółowości opisów zawartych w ofertach, a to z kolei może prowadzić do zwiększenia liczby błędów. Ponadto stosując tradycyjną metodę składania ofert, można było ofertę na bieżąco konsultować i ręcznie wprowadzać korekty, obniżając tym samym liczbę nieporozumień i błędów. Pojedyncze osoby wskazywały także na zagrożenia związane z możliwością upadku firmy obsługującej Generator oraz możliwą konieczności wprowadzania zmian w formularzu Generatora (wzoru oferty), które będą generowały duże koszty, tym samym był to głos przeciw wdrażaniu internetowego narzędzia. 3.1.5 Brak zrozumienia zasady działania kalkulatora korzyści społeczno-ekonomicznych Na obecnym etapie badań wskazać można, iż najbardziej innowacyjna część Generatora engo kalkulator korzyści ekonomiczno-społecznych jest także najmniej zrozumiałym składnikiem produktu. Niemal wszyscy badani, na tym etapie realizacji projektu zgłaszali zastrzeżenia do zasadności wprowadzania kalkulatora korzyści społeczno-ekonomicznych. Zastrzeżenia dotyczyły w szczególności obaw przed możliwością manipulowania danymi, z których wyliczane są wskaźniki kalkulatora. Kalkulator poza brakiem zrozumienia zasady jego działania, spotykał się także z definiowaniem go, jako zagrożenie dla istnienia organizacji, wykorzystywaniem tych danych przeciwko organizacjom tj. organizacje, które mają słabsze wyniki, automatycznie Strona 24

pomijane będą w konkursach itp., czy zagrożeniem definiowanym jako próba komercjalizacji działalności NGO. Jak podkreślali badani u nas w Ustroniu każdy wie co robi i jaki jest tego efekt, tym samym sugerowano, iż w przypadku Ustronia stosowanie kryteriów służących podliczaniu korzyści społecznych i ekonomicznych wynikających z działań prowadzonych przez organizacje jest bezzasadne. Zdaniem badanych, w Ustroniu organizacji jest niewiele, więc stosowanie jakiejkolwiek zasady konkurencyjności będzie tylko tworzyło problemy w ich funkcjonowaniu. Jednocześnie pojawiały się głosy, iż w większych miastach, gdzie jest więcej organizacji może być inaczej i wprowadzenie kalkulatora może być przydatne. Bardzo często w wypowiedziach wybrzmiewała obawa o to, w jaki sposób wartości wskazywane przez kalkulator będą wpływały na ocenę składanych ofert. Respondenci poddawali pod wątpliwość to czy ktoś tego [szacunków kalkulatora] nie zacznie brać pod uwagę? Jak to liczyć, jak interpretować?. Pojawiała się także obawa o to, czy w przyszłości wartości wskazywane przez kalkulator nie będą ulegały manipulacjom może się okazać, że ktoś będzie zawyżał dane i będzie miał lepszą ocenę. Przecież wiadomo, że można założyć większe wyniki, a ludzi przyjdzie mniej, ale to już będzie po fakcie. Trudności nastręcza także samo wyliczanie wskaźników, które na obecnym etapie nie jest zrozumiałe my kupujemy książki, robimy wystawę. Jak ja to mam tymi wskaźnikami opisać? Było czasem 50 osób, a czasem ponad 100. Jak ja to mam skalkulować?. Zgromadzone dane wskazują na to, iż na obecnym etapie realizacji projektu zasady funkcjonowania kalkulatora korzyści społeczno-ekonomicznych, w ogóle nie są zrozumiałe dla odbiorców. Badani obawiają się wprowadzenia zasady konkurencyjności w zakresie ofert na realizację zadań publicznych, mimo iż założenie to od dawna już obowiązuje. 3.2 Pozytywne opinie o Generatorze Na obecnym etapie realizacji projektu, wypowiedzi pozytywne odnoszące się do korzyści płynących z korzystania z Generatora engo znajdowały się w mniejszości. O korzyściach w głównej mierze mówiły osoby, które w szerszym stopniu zdążyły zapoznać się z funkcjonalnościami Generatora. Wśród największych zalet Generatora, wymieniane były: wzrost szybkości / tempa pracy, większa przejrzystość i logiczność przygotowywanych ofert. Strona 25

Osoby, które zdążyły już zapoznać się z funkcjonowaniem Generatora oraz podjęły próbę stworzenia pierwszych próbnych ofert na realizację zadań publicznych, wskazywały na poprawę związaną ze skróceniem czasu, jaki potrzebują na ich przygotowywanie. Jak podkreślali zaletą przemawiającą za stosowaniem systemu engo, w przeciwieństwie do wersji tradycyjnej jest to, że tutaj pracuje się szybciej. Wcześniej trzeba było przygotować materiał w Wordzie i dopiero kopiować. Nic nie trzeba teraz przesuwać itp. Nie trzeba zmieniać, mniej czasu to zajmuje. Zaletą jest także to, iż widzę, że dzieląc na szczegółowe działania zadanie, jest to bardziej logiczne, dzięki czemu zwiększa się spójność między poszczególnymi częściami wniosku, takimi jak opis działań, harmonogram oraz budżet. Zaprezentowane wypowiedzi były jednymi z nielicznych pozytywnych opinii odnoszących się do Generatora odnotowanych w trakcie prowadzonych wywiadów. Niemniej jednak, zauważalna jest tendencja, że wśród osób które zdążyły zapoznać się z funkcjonowaniem Generatora, bardzo szybko pojawia się nastawienie pozytywne do pracy w Generatorze oraz zauważane są znaczne korzyści wynikające z jego stosowania. 3.3 Działania mające na celu ułatwienie korzystania z Generatora Uczestnicy badania fokusowego poproszeni zostali o wskazanie działań oraz narzędzi, których podjęcie ich zdaniem może być pomocne w dalszym wdrażaniu Generatora engo, a także ułatwi im korzystanie z niego. Wśród wymienionych działań znalazły się: Udostępnienie osoby, która będzie pomagała wprowadzać dane do Generatora. Ujednolicenie formularza. Niech formularz będzie jeden dla wszystkich identyczny. We wszystkich ministerstwach, wszystkich urzędach. Niech to będzie na kilka lat, a nie żeby cały czas się zmieniało. Automatyzacja wniosku i możliwość jego wielokrotnego składania, bez większych modyfikacji. Niech to będzie tak, że jak ktoś przygotuje wniosek raz i ktoś mu to wprowadzi do komputera, to później będzie miał to gotowe, zmieni datę, kwotę. Przygotowanie szczegółowej instrukcji dotyczącej podpisu elektronicznego. Wprowadzenie możliwości demonstracyjnego składania wniosku w wersji offline. Niech będzie plik taka baza, która pozwoli nam demonstracyjnie wypełnić plik, żeby Strona 26

to nie było online, żeby np. dało się że po wpisaniu danych, one automatycznie mogły się wpisać do Internetu. Dodatkowe szkolenia z obsługi komputera w szczególności dla seniorów. Niektórzy z badanych nie wskazali działań ułatwiających korzystanie z Generatora, lecz skoncentrowali się na działaniach alternatywnych. Wśród nich wskazywano na: Rezygnację z Generatora na rzecz opracowania narzędzia takiego jak prosty plik excelowski i niewiele więcej. Coś co będzie miało prostą instrukcję, a przy okazji pomoże przy opracowywaniu danych. Wprowadzenie ścisłego rozróżnienia (instrukcji), w której będzie wskazane bezpośrednio, od jakiego progu kwotowego wniosek trzeba będzie składać elektronicznie, a do jakiego można będzie tradycyjnie. Nie można wymagać tego samego od dużych i małych organizacji. Rezygnacja z proponowanych zmian z tego względu, że ten system prawny który teraz działa, motywuje mnie żebym spotykał się z urzędnikiem. My się teraz znamy, wiem jakie ona ma wymagania, ona mi wszystko wytłumaczy. Wypełniam to jak trzeba, bo ona musi mieć porządek. Innymi słowy, wprowadzenie zmian może zburzyć istniejący ład społeczny. Zaprezentowane powyżej postulaty w formie uproszczonej przedstawione zostały także w podsumowaniu znajdującym się na końcu opracowania. Informacje te zostały przekazane także do realizatora projektu, w celu rozpatrzenia możliwości wdrożenia postulowanych rozwiązań. Oczywiście niektóre z rozwiązań np. wdrożenie jednego wzoru oferty we wszystkich urzędach i ministerstwach nie leży w gestii realizatora projektu, jednakże może być to istotny głos dzięki któremu narzędzie takie jak Generator engo zostanie spopularyzowane wśród większej liczby jednostek aparatu administracyjnego państwa. Strona 27

4. Wyniki badań z przedstawicielami JST Badanie przeprowadzone z przedstawicielami JST w Ustroniu koncentrowało się wokół dwóch głównych punktów: podkreślania korzyści płynących dla pracowników JST z wdrażania Generatora engo oraz próby wytłumaczenia oporu przed zmianami ze strony NGO. Pracownicy JST w wypowiedziach sporo uwagi poświęcali korzyściom, jakie dla nich bezpośrednio wynikają z wdrożenia Generatora. Podkreślali łatwość obsługi narzędzia, intuicyjność oraz skrócenie czasu niezbędnego do obsługi konkursów i rozliczania zrealizowanych zadań. Znacząca część wywiadów dotyczyła także tego, w jaki sposób Generator postrzegany jest przez przedstawicieli NGO, którzy bardzo obawiają się zmian i często zgłaszają swe obawy do osób odpowiedzialnych za współpracę z organizacjami. Przedstawione w raporcie uwagi spływające do pracowników JST ze strony przedstawicieli NGO pozwalają lepiej zrozumieć kontekst wdrażania narzędzia oraz podkreślają rolę jaką pełnią przedstawiciele JST w całym procesie. 4.1 Wdrożenie Generatora engo z perspektywy pracowników JST Zdaniem badanych osób, główne korzyści płynące z wdrażania Generatora engo, to automatyzacja procesu oraz korzystny wpływ na jakość i poprawność składanych danych. Dla mnie korzyści są takie, że nie muszę wszystkiego liczyć, program robi to sam i wiem, że robi dobrze, nie pomija danych. Bardzo ważnym aspektem jest także większa niż do tej pory spójność składanych dokumentów. W szczególności spójność dotyczy trzech punktów oferty, z którymi do tej pory, przy składaniu tradycyjnych ofert często były problemy, przez co ocena składanych ofert była kłopotliwa. Zdaniem badanych harmonogram, kosztorys i opis działań powinny być lustrzanym odbiciem. Do tej pory często zdarzało się, że składane oferty w tych trzech punktach wyglądały bardzo rozbieżnie, organizacje nie zwracały uwagi na to, że te punkty są ze sobą bezpośrednio powiązane. Program natomiast sam wypełnia część tych punktów i poniekąd narzuca ich spójność, dzięki czemu praca komisji jest zdecydowanie łatwiejsza i zajmuje zdecydowanie mniej czasu. Strona 29

Ważnym aspektem jest także oszczędność wynikająca z faktu, iż dzięki elektronicznemu programowi, złożone oferty mogą być dostarczane komisji konkursowej w formie podpisanego PDF-u. Nie będzie konieczności dostarczania wersji papierowej, zatem odpadnie koszt kserowania oferty oraz czas jaki na to był wymagany. Z drugiej strony (jak podkreślali rozmówcy) może jednak okazać się, iż na JST spadnie obowiązek drukowania złożonych w ramach konkursu ofert. Koszt drukowania oferty do tej pory ponosiły organizacje, natomiast po wprowadzeniu nowego rozwiązania wydrukowanie wszystkich złożonych ofert może okazać się kosztowne, w szczególności dla większych jednostek, które ogłaszają większą liczbę konkursów. Niemniej jednak składanie ofert w wersji PDF ma więcej zalet niż wad. Poza możliwością stworzenie dowolnej liczby kopii tego samego dokumentu, ułatwia także wyszukiwanie istotnych informacji w dokumentach. Badani nadmieniali także, że elektroniczne formularze pozwalają także w łatwy sposób przenosić dane do np. plików excelowskich, w których sprawdzana będzie poprawność wyliczeń. Chociaż nie będzie to tak naprawdę bardzo istotne, gdyż wiemy, że wyliczenia w Generatorze muszą być poprawne, liczy to przecież program, więc dane muszą się zgadzać. Wśród niewątpliwych zalet wskazywano na możliwość szybkiego i w znacznym stopniu zautomatyzowania procesu ogłaszania i rozliczania konkursów. Zdaniem uczestników badania, dzięki Generatorowi, bardzo łatwo można przygotować ogłoszenie dotyczące aktualnych konkursów. Ponadto są one widoczne w jednym konkretnym miejscu dla wszystkich organizacji. Sam panel do obsługi Generatora w tym zakresie jest bardzo intuicyjny i nie nastręcza żadnych trudności. Równie proste jak ogłaszanie konkursów jest ich rozliczanie. Generator realizuje zestawienia wydanych środków, osiągnięć, liczby organizacji, które skorzystały etc. Wszystkie wskaźniki są automatycznie przygotowywane i jest to dla nas ogromne uproszczenie. Łatwiej podsumować wyniki działalności organizacji. Wyniki te łatwiej też będzie prezentować na zebraniach sprawozdawczych itp. Ważne jest także to, że bardzo skraca się czas na podsumowanie rezultatów działań wszystkich organizacji, które brały udział w realizacji zadań w ciągu całego roku. Kiedyś musiałam liczyć wszystko, wszystkie rezultaty na kalkulatorze i trwało to bardzo długo. Teraz wystarczy kilka kliknięć i mam gotowy raport. Do istotnych korzyści zaliczono także możliwość bezpośredniego komunikowania się z wybranymi organizacjami. Dzięki Generatorowi mam możliwość wysyłania informacji o tym np. na jakim etapie rozpatrywania dana oferta aktualnie się znajduje, do konkretnej Strona 30

organizacji. Mogę też wysłać inne wiadomości np. z prośbą o kontakt, przesłanie dodatkowych informacji czy dokumentów, które pojawią się w panelu konkretnej osoby. To zajmuje tylko chwilę. Zdaniem uczestników wywiadów wdrożenie Generatora może mieć wiele pozytywnych skutków. Poprawi jakość komunikacji z organizacjami, korzystnie wpłynie na proces automatyzacji procesu składania i rozliczania ofert, ale będzie także dodatkowo oddziaływać na przejrzystość konkursów. Respondenci podkreślali, że z ich perspektywy Generator wiąże się z wieloma udogodnieniami i jednocześnie nie generuje dodatkowych kosztów, czy obciążeń konkursy przecież i tak musimy przeprowadzać. Dzięki Generatorowi będzie to odbywało się po prostu sprawniej niż dotychczas. 4.2 Próba tłumaczenia oporu NGO przed zmianami i rola JST Badani przedstawiciele JST zwracali w szczególności uwagę na to, iż dość często zgłaszają się do nich przedstawiciele NGO i informują, iż dla nich wprowadzanie jakichkolwiek zmian w zakresie składania ofert na realizację zadań publicznych jest zawsze kłopotliwe. Wszystkie wprowadzane zmiany wiążą się z oporem przed nowościami oraz koniecznością uczenia się wielu rzeczy od nowa (mimo, iż sam wzór oferty elektronicznej, jest dokładnym odwzorowaniem oferty tradycyjnej). Ponadto przedstawiciele JST starają się ze zrozumieniem podchodzić do oporu przed zmianami zgłaszanymi przez NGO, trzeba przede wszystkim zwrócić uwagę, że osoby korzystające z Generatora robią wszystko za darmo. Dla nich składanie długiego wniosku i rozliczanie go co, do złotówki jest trudne, przy czym te środki nie są duże. Pojawienie się nowości i trudności z nich wynikających zniechęca użytkowników. Stąd płynie wniosek, iż zdaniem przedstawicieli JST za opór w głównej mierze odpowiedzialna jest niechęć organizacji do jakichkolwiek zmian w zakresie konkursów, a nie tylko do Generatora. Niechęć ponadto wzmacniana jest przez stosunkowo niską wartość dotacji jakie otrzymują organizacje. Dlatego czynnikiem, który może w szczególności motywować organizacje do korzystania z Generatora będzie dostrzeżenie korzyści jakie z tego wynikają. Jak wskazywali badani z czasem jednak sceptycyzm użytkowników zgaśnie. Jak tylko zobaczą, że np. przy sprawozdaniu program nie tylko liczy, ale kopiuje niektóre rzeczy, wskazuje ewentualne braki itp. sądzę, że z czasem się do tego przekonają. Z przedstawionych informacji wynika, że jedyną rzeczą jakiej obawiają się przedstawiciele JST związaną z wdrażaniem nowego rozwiązania, są obawy i niechęć do zmian ze strony organizacji Strona 31