Ewaluacja Programu Profilaktyki i Rozwiązywania Problemów Alkoholowych

Transkrypt

1 Badania i Działania Magdalena Tędziagolska Ewaluacja Programu Profilaktyki i Rozwiązywania Problemów Alkoholowych Raport z badania ewaluacyjnego Autorki: Magdalena Tędziagolska i Iwona Konieczny Warszawa,

2 Spis treści Słownik pojęć... 2 Rekomendacje... 4 Opis badania Miejski Program Profilaktyki i Rozwiązywania Problemów Alkoholowych Elastyczny katalog działań Współtworzenie Programu Partnerstwo z Komisją ds. Rozwiązywania Problemów Alkoholowych Spójność logiczna tabeli Programu Niejasności i kontrowersje wokół Programu Profilaktyka czy pomoc społeczna? Mapy problemów Sztywny budżet Wiedza na temat zakresu Programu Zadania Komisji Rozwiązywania Problemów Alkoholowych Harmonogramy dzielnicowe Tworzenie Realizacja harmonogramów Standardy Monitoring i ewaluacja Efekty Programu i osiąganie wskaźników

3 Słownik pojęć Program, PPiRPA Program Profilaktyki i Rozwiązywania Problemów Alkoholowych BPiPS Biuro Pomocy i Projektów Społecznych CKS Centrum Komunikacji Społecznej (D)KDS (Dzielnicowa) Komisja Dialogu Społecznego KRPA Komisja Rozwiązywania Problemów Alkoholowych PARPA Państwowa Agencja Rozwiązywania Problemów Alkoholowych UM Urząd miasta UD Urząd Dzielnicy LSW Lokalny System Wsparcia IDI indywidualny wywiad pogłębiony 2

4 Badanie zostało zrealizowane w okresie marzec lipiec 2016 przez konsorcjum firm badawczych: Erę Ewaluacji oraz Badania i Działania Magdalena Tędziagolska. Dziękujemy wszystkim osobom, które wzięły udział w badaniu i podzieliły się swoją wiedzą i doświadczeniami z badaczkami. Państwa opinie pozwoliły zebrać użyteczne informacje o Programie oraz sformułować rekomendacje dotyczące jego wdrażania. 3

5 Ewaluacja PPiRPA 2015 raport z badania Rekomendacje Kształt Programu i wskaźników Zastąpienie nazwy wskaźniki skuteczności realizacji celów określeniem cele szczegółowe w tabeli Programu1 będzie trafniej komunikowało zawartość kolumny i zwiększy przejrzystość dokumentu. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Wskaźniki rezultatu Programu powinny uwzględniać nie tylko produkty, ale również efekty działań pokazywać zmianę, jaka zajdzie dzięki realizowanym działaniom. Poza tym dla każdego wskaźnika rezultatu powinny zostać określone sposoby jego pomiaru (może to być np. czyjaś opinia wyrażona w ankiecie albo sytuacje/działania zidentyfikowane w trakcie obserwacji). Rozważyć należy powiązanie poszczególnych działań z konkretnymi wskaźnikami skuteczności/rezultatami/celami szczegółowymi oraz odpowiednimi realizatorami. Warto również rozważyć uzupełnienie wskaźników o takie, które nie tylko opisują rezultaty Programu, ale również sam proces, jego jakość. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic KDS i DKDS-y KRPA i inne instytucje zaangażowane w tworzenie Programu PARPA Rekomendujemy modyfikację tabeli Programu tak, aby: Kompletnie i trafnie opisywała realizację celów Programu. Była przejrzysta dla wszystkich osób zaangażowanych we wdrażanie Programu. 1 Tabela Programu to tabela w Programie Profilaktyki Uzależnień i Rozwiązywania Problemów Alkoholowych m.st. Warszawy w 2015 r. zawierająca kolumny: cel, wskaźnik skuteczności realizacji celu, rodzaje działań, realizatorzy, termin, wskaźniki realizacji, zalecenia. W raporcie używamy skróconej nazwy tabela Programu. 4

6 W prace nad modyfikacjami powinny być zaangażowane osoby będące praktykami, uczestniczące we wdrażaniu Programu (pracownicy dzielnicowych wydziałów zdrowia, przedstawiciele podmiotów realizujących działania, członkowie KDS ds. przeciwdziałania alkoholizmowi, DKDS, członkowie Komisji ds. Rozwiązywania Problemów Alkoholowych, przedstawiciele BPiPS, ale też inne osoby zajmujące sie tą tematyką naukowo/zawodowo. Prace powinny uwzględniać komentarze i propozycje wskaźników zgłoszone przez ekspertów i zamieszczone w niniejszym raporcie. Proces powinien mieć charakter warsztatowy i być prowadzony przez osobę posiadająca wiedzę w zakresie tworzenia wskaźników, zbierania danych oraz kompetencje trenerskie. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic KDS ds. przeciwdziałania alkoholizmowi i DKDS-y KRPA i inne instytucje zaangażowane w tworzenie Programu Tworzenie Programu i harmonogramów Rekomendujemy utrzymanie i wzmacnianie autonomii Dzielnic w zakresie wyboru działań do realizacji. Należy utrzymać formułę Programu, w której wskazane są raczej ogólne kategorie działań niż bardzo szczegółowe zadania, co daje Dzielnicom możliwość doprecyzowania nazw i zakresu działań które będą realizowały i tym samym lepszego odpowiadania na lokalne potrzeby. Jednocześnie rekomendujemy, aby Biuro informowało Dzielnice o konieczności zoperacjonalizowania w harmonogramie kategorii działań i nazywania ich bardziej konkretnie. W ten sposób Biuro otrzyma informacje o faktycznie realizowanych działaniach, a harmonogramy staną się bardziej opisem faktów niż kopiowaniem treści Programu. Z kolei przygotowywanie kolejnych edycji Programu powinno być momentem weryfikacji kompletności listy działań. Dzielnice powinny w harmonogramach uzasadniać potrzebę realizacji konkretnych działań (np. zamieszczać wyniki przeprowadzonej diagnozy, odwołać się do mapy problemów z Programu, pokazać wyniki ewaluacji dotychczas realizowanych działań, wyniki analiz prowadzonych przez pracowników merytorycznych). Istotne jest, aby przedstawianie tych informacji nie wiązało sie z koniecznością tworzenia dodatkowych dokumentów. Wystarczy, aby dzielnice przedstawiały krótką konkretną informację (argumenty za danym działaniem + wskazanie źródła informacji). ę Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic 5

7 Konieczne jest zwiększanie wiedzy Dzielnic odnośnie ich autonomii w zakresie wyboru działań zgodnych z potrzebami środowiska. Ważną rolę mogą tu odegrać: komunikat wysłany do wszystkich Dzielnic przez Biuro; ukonkretnienie zapisu w Programie tak, aby jasno wskazywał na autonomię dzielnic i sposób jej realizacji; uwzględnianie/ podkreślanie tej kwestii w trakcie spotkań tematycznych dla Dzielnic; wskazywanie przez Dzielnice argumentów dla realizacji zadań na etapie konsultowania harmonogramów; egzekwowanie tej zasady przez Biuro w trakcie konsultacji harmonogramów, w tym uzasadnianie decyzji odmownych. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic Warto, aby Biuro Pomocy i Projektów Społecznych przekazywało wszystkim Dzielnicom, w jaki sposób odbywać się będą prace nad przygotowaniem danej edycji Programu. Jednocześnie istotne jest, aby program był tworzony przy współudziale pracowników dzielnicowych wydziałów spraw społecznych i zdrowia (zarówno naczelników jak i pracowników merytorycznych zajmujących się profilaktyką) oraz innych zaangażowanych instytucji. Rekomendowane formy to spotkania/warsztaty, które pozwolą na osobisty kontakt i dyskusję. Takie spotkania to nie tylko wpływ instytucji oraz Dzielnic na Program, ale również zwiększanie wiedzy realizatorów na temat Programu. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic KDS i DKDS-y CWR KRPA i inne instytucje zaangażowane w tworzenie Programu Mapy powinny być regularnie aktualizowane (coroczna aktualizacja wartości wskaźników) Warto przy okazji najbliższej aktualizacji sprawdzić możliwość dodania nowych wskaźników. Informacje od organizacji pozarządowych, pracowników naukowych, pracowników Dzielnic, przejrzenie dostępnych baz danych to potencjalne źródla informacji o ewentualnych nowych danych, które są dostępne i mogłyby zostać wykorzystane do opisu problemu. Adresaci rekomendacji: 6

8 Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic KDS i DKDS-y CWR KRPA i inne instytucje zaangażowane w tworzenie Programu Organizacje pozarządowe działające w obszarze profilaktyki W Programie powinien znaleźć się zapis, który wskaże, że mapy są propozycją mającą Dzielnicom ułatwić przeprowadzenie diagnozy potrzeb i planowanie działań. Dzielnice mogą, ale nie muszą realizować działania w obszarach wskazanych na mapie jako szczególnie problemowe. Ostateczna decyzja o zakresie zadań i lokalizacji powinna wynikać z diagnozy lokalnych potrzeb i problemów oraz powinna zostać przedstawiona i uzasadniona w harmonogramie. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic Warto kontynuować dobrą praktykę zamieszczania standardów w Programie Profilaktyki i Rozwiązywania Problemów Alkoholowych. Ważne jest, aby standardy pokazywały ramy realizacji poszczególnych działań sposób w jaki można realizować zadania wysokiej jakości (współpracę międzyinstytucjonalną, prowadzenie punktu, etc.). Warto również pracować nad ukonkretnieniem części standardów zwłaszcza LSW, który w Programie ujęty jest w bardzo ogólny sposób (co powoduje że w dzielnicach LSW jest rozumiane bardzo różnorodnie). Warto rozważyć zorganizowanie warsztatu/spotkania z urzędnikami i realizatorami, w trakcie którego zostaną zaktualizowane standardy. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic KDS i DKDS-y CWR KRPA i inne instytucje zaangażowane w tworzenie Programu Organizacje pozarządowe działające w obszarze profilaktyki Wdrażanie Programu Istotne jest zwiększanie wiedzy o Programie wśród urzędników dzielnic i samych realizatorów działań (NGO). Warto rozważyć organizowanie cyklicznych spotkań poświęconych konkretnym 7

9 elementom Programu (np. standardom, mapie problemów, konkursom dotacyjnym) co pozwoli urzędnikom i realizatorom nie tylko poznać założenia Programu i sposoby jego wdrażania, ale również lepiej je zrozumieć. Cenny byłby tutaj udział pracowników PARPy, którzy mogliby prowadzić szkolenia/warsztaty poświęcone rekomendacjom tej instytucji. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic W zależności od tematu spotkania: CWR KRPA i inne instytucje zaangażowane w tworzenie Programu Organizacje pozarządowe działające w obszarze profilaktyki PARPA Istotną rolę we wdrażaniu Programu Profilaktyki odgrywają spotkania przedstawicieli wydziałów, organizowane przez Urząd Miasta. Ważne jest aby pracownicy dzielnic mieli okazję do wymiany doświadczeń oraz wspólnej dyskusji nad problemami - co mogłoby być połączone ze szkoleniami dotyczącymi np. wdrażania standardów czy współpracy z realizatorami. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic Skuteczna realizacja Programu zależy również od sprawnego wpisania się w różnego rodzaju procedury obowiązujące w urzędach Rekomendujemy, aby Dzielnice rozpoczynały tworzenie harmonogramów przed ustaleniem dzielnicowego budżetu co pozwoli zorientować się w zakresie zaplanowanych działań i tym samym potrzebnych środków. Warto, aby w tworzonych harmonogramach budżet ustalany był na poziomie celów, a nie działań co zwiększy elastyczność wdrażania Programu. Adresaci rekomendacji: Urzędy Dzielnic Biuro Projektów i Pomocy Społecznej Istotny wpływ na realizację poszczególnych zadań ogrywa etap wyboru Wykonawców. Kluczowy jest wybór dobrej jakości oferty, a można to uzyskać wykorzystując odpowiednie kryteria oceny. Warto zachęcać dzielnice do wprowadzania dodatkowych kryteriów oprócz ceny np. doświadczenie Wykonawcy, próbki pracy merytorycznej etc. Ważna jest 8

10 też praca z wydziałami dzielnic zajmującymi się konkursami/przetargami/z działami prawnymi które są często "strażnikami" ceny ponieważ jest to kryterium, które jest szybkie i łatwo można poddać je ocenie. Wsparcie w tej kwestii mogłoby dać Centrum Wspierania Organizacji Pozarządowych (zwłaszcza w przypadku konkursów i zamówień kierowanych do NGO). CWOP mógłby oferować doradztwo/szkolenia dla urzędników w zakresie przygotowywania jakościowych kryteriów ocen. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic CWOP Zauważalna jest bariera związana z tym że organizacje pozarządowe i urzędy to "dwa światy" które nie do końca rozumieją swoje ograniczenia m.in organizacje często występują przeciwko przepisom które są często niezbędne, nie rozumieją że nie da się wszystkiego załatwić nieformalnie, natomiast urzędnicy wymagają formalności nawet w tych aspektach, które nie są konieczne. Warto kontynuować dobrą praktykę spotkań informacyjnych oraz szkoleń dla NGO oraz możliwości sprawdzenia wniosków przed złożeniem. Warto również, aby NGO ze swojej strony angażowały się w takie formy aktywności jak KDS-y, ponieważ dzięki temu mogą mieć wpływ na różne działania i przepisy oraz zwiększają swoją wiedzę. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic CWOP NGO Istotną rolę we wdrażaniu Programu odgrywa ujednolicenie zasad współpracy z organizacjami pozarządowymi oraz zasad rozliczania dotacji. Obecnie w każdej dzielnicy stosowane są różne zasady, które określane są przez pracowników wydziałów. Warto wprowadzić jednolite zasady współpracy (lub zobowiązać dzielnice do stosowania zasad przygotowanych przez CKS) i rozliczania działań, co wprowadzi większą przejrzystość w relacjach z organizacjami. Adresaci rekomendacji: Centrum Komunikacji Społecznej (CKS) Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic KRPA i inne instytucje zaangażowane w tworzenie Programu 9

11 Warto zachęcać Dzielnice do podejmowania ewaluacji prowadzonych działań. Kluczowe jest, aby była to ewaluacja użyteczna: skupiająca się na istotnych w danym momencie dla realizatorów Programu kwestiach, projekt ewaluacji tworzony przez (razem z) realizatorami, ograniczona skala badania (badanie na miarę potrzeb i możliwości). Z punktu widzenia pozyskiwania wartościowych i miarodajnych informacji o zadaniach, ważne jest rozszerzenie wiedzy urzędników dotyczącej prowadzenia monitoringu i ewaluacji. Istotne jest, aby pracownicy Urzędów Dzielnic znali zasady realizacji badań i potrafili przełożyć je na SIWZ czy zapisy w konkursie dla NGO. Warto rozważyć takie działania jak warsztaty z prowadzenia ewaluacji dla realizatorów oraz wsparcie konsultanta-badacza, który pomoże w konceptualizacji problemu i interpretacji wyników. Jako że w proces są zaangażowane również organizacje pozarządowe, CWOP mógłby być partnerem w realizacji tego działania. Adresaci rekomendacji: Biuro Pomocy i Projektów Społecznych Urzędy Dzielnic KDS ds. przeciwdziałania alkoholizmowi i DKDS-y CWOP 10

12 Ewaluacja PPiRPA 2015 raport z badania Opis badania Cel badania Celem ewaluacji było: a) analiza i ocena stanu realizacji Programu Profilaktyki i rozwiązywania Problemów Alkoholowych m.st. Warszawy w 2015r. w tym również rocznych harmonogramów działań lokalnych w 18 dzielnichach m.st. Warszawy; b) opracowanie wniosków i rekomendacji dotyczących optymalizacji realizacji programu oraz weryfikacja trafności wskaźników. Zagadnienia badawcze 1. Jak przebiegała realizacja Programu? 2. Jakie rezultaty przyniósł Program? 3. Jaki jest stopień realizacji wskaźników? 4. Czy rezultaty odpowiadają zakładanym celom? 5. Jaki jest stopień wdrożenia określonych w ramach Programu standardów? 6. Czy pojawiły się jakieś efekty uboczne? Jeśli tak, to czy są one korzystne z punktu widzenia zakładanych celów czy też niekorzystne lub neutralne? 7. Czy program realizowany w takiej formie należ kontynuować? Co należy zmienić, aby poprawić skuteczność Programu? 8. Jaki był wpływ czynników wewnętrznych (związanych z realizatorami Programu) i zewnętrznych (uwarunkowań prawnych, rozwiązań systemowych) na: a. Skuteczność Programu, b. Stopień realizacji celów Programu, c. Współpracę i zaangażowanie realizatorów Programu. 9. Jak współpracują ze sobą realizatorzy Programu i jaki wpływ ma ta współpraca na skuteczność Programu? Co należy zmienić w tej współpracy? 10. Czy przyjęte wskaźniki realizacji celów Programu są adekwatne? Jeśli nie, jakie zmiany w tym zakresie powinny być wprowadzone? 11

13 Metody badawcze Etap 1: Eksploracja jakościowa i ilościowa: Analiza danych zastanych Etap 2: Badanie jakościowe IDI z przedstawicielami Biura Pomocy i Projektów Społecznych - 18 IDI z pracownikami wydziałów spraw społecznych i zdrowia w dzielnicach, - 6 IDI z przedstawicielami organizacji pozarządowych, realizujących zadania wramach PPiRPA - IDI z przedstawicielem Komisji Rozwiązywania Problemów Alkoholowych oraz IDI z Centrum Wspierania Rodzin Etap 3: Ankieta internetowa z udziałem 3 ekspertów w zakresie programów profilaktycznych Etap 4: Warsztat ewaluacyjny 12

14 Ewaluacja PPiRPA 2015 raport z badania Miejski Program Profilaktyki i Rozwiązywania Problemów Alkoholowych Elastyczny katalog działań Zakres działań zaproponowanych w Programie jest na tyle ogólnie zdefiniowany, że pozwala realizatorom (dzielnicom) w stosunkowo elastyczny sposób dostosowywać ofertę do lokalnie diagnozowanych potrzeb i proponować innowacyjne/alternatywne działania. Te założenia realizują zasadę pomocniczości (subsydiarności2) zgodnie, z którą podmioty niższego rzędu (w tym przypadku dzielnice należące do miasta) mają prawo nie tylko decydowania, ale też pierwszeństwo podejmowania decyzji odpowiadających na lokalne potrzeby (zróżnicowane w poszczególnych dzielnicach). Z kolei zadaniem podmiotu wyższego szczebla (w tym przypadku władz miasta) jest tworzenie ram do działania i wspieranie podmiotów niższego szczebla (dzielnic) w realizowaniu ich oddolnych przedsięwzięć. Jednocześnie ramy Programu są traktowane przez pracowników Dzielnic jako wskazówki (co warto realizować) i co ważne argument w sytuacjach gdy burmistrzowie/zarządy dzielnic mają inne pomysły na wydatkowanie środków z korkowego niekoniecznie realizujące cele związane z rozwiązywaniem problemów alkoholowych. Program w sposób jasny i szczegółowy określa zadania, które powinniśmy realizować, daje wytyczne. (...) Pozwala nam też na faktyczne realizowanie zadań, które wynikają z Programu. [IDI] Należałoby jednak monitorować i konsultować ze wskazanymi realizatorami czy w trakcie realizacji nie ujawniły się ograniczenia związane z zamkniętym katalogiem. Warto podkreślić, że wśród wielu pracowników Dzielnic zaangażowanych w tworzenie harmonogramów panuje niewiedza odnośnie obligatoryjności zapisanych w Programie działań, zarówno jeśli chodzi o zakres zadań do realizacji (wszystkie czy wybrane), jak i ich doprecyzowania (możliwość realizacji działania o innym nieco brzmieniu niż zapis w Programie). Taka sytuacja wspiera praktyki mechanicznego przepisywania tabeli z Programu do harmonogramów (bez refleksji nad ich sensownością). Dzielnice i tak szukają sposobów realizacji istotnych dla nich działań tylko nazywają je zgodnie z zapisami Programu. W efekcie brakuje rzetelnej informacji o tym jakie działania są rzeczywiście realizowane i jakie są potrzebne. 2 Zasada ustrojowa RP. 13

15 Współtworzenie Programu Przedstawiciele Dzielnic dosyć często korzystają z możliwości zgłoszenia swoich propozycji do treści Programu a obecny sposób konsultacji uważają za wygodny. Część osób ma potrzebę bardziej osobistej formy konsultacji spotkań i warsztatów (jako dobre praktyki przywoływane są przykłady okrągłych stołów z prac nad Programem Przeciwdziałania Przemocy). Dzielnica jest bliżej tych problemów. Ma większą wiedzę, co jest potrzebne. [IDI] Edycja na rok 2014 była przygotowywana przez firmę zewnętrzną z udziałem rożnych interesariuszy - organizacji i instytucji zajmujących się profilaktyką. Program był również konsultowany z mieszkańcami. Chociaż za wartość można uznać zewnętrzną perspektywę, którą w ten sposób udało sie uzyskać, a partycypacja rożnych interesariuszy w tworzeniu Programu to niewątpliwie dobra praktyka, jednocześnie trzeba podkreślić, że wśród pracowników Wydziałów Zdrowia w dzielnicach panuje niewiedza odnośnie sposobu w jaki Program był przygotowywany.partycypacyjny charakter procesu jest nieodnotowywany przez pracowników Dzielnic, a w ich świadomości często funkcjonuje wizerunek Programu jako dokumentu stworzonego przez osoby z zewnątrz, nie posiadające wystarczającej wiedzy i kompetencji. Partnerstwo z Komisją ds. Rozwiązywania Problemów Alkoholowych Obecne zapisy w Programie wzmacniają role KRPA. Komisja zdaniem jej przedstawiciela po raz pierwszy jest realnym partnerem Biura. Wpływ na to mają: zmniejszenie liczby członków z 28 do 12 osób, zmiana kryteriów wyboru członków z delegatów dzielnic na rzecz zespołu interdyscyplinarnego, zacieśnienie współpracy obecność członków Komisji w zespołach monitorujących, komisjach przyznających dotacje, itp). Jesteśmy pytani, praktyce [IDI] jesteśmy partnerami w Mocną stroną Programu jest również jasne zdefiniowanie zadań komisji i jej dzielnicowych zespołów, wyraźne określenie zasad podległości - komisja jest jedna i działa przez swoje dzielnicowe zespoły. Umożliwiło to uspójnienie wszystkich procedur w całym mieście. Realizacje zadań Komisji ułatwia jej interdyscyplinarny skład - udział specjalistów z różnych dziedzin. Powyższe regulacje wydają sie dobrze sprawdzać w praktyce w badaniu bardzo wysoko została oceniona współpraca z KRPA przede wszystkim ze względu na jasne zadania i dobry przepływ informacji na linii KRPA (miejska i dzielnicowe) -Dzielnice. 14

16 Ewaluacja PPiRPA 2015 raport z badania Spójność logiczna tabeli Programu Dobrym rozwiązaniem, które doceniają pracownicy dzielnic jest przedstawienie konstrukcji Programu w postaci syntetycznej tabeli opisującej cele, działania i rezultaty. Jednak konstrukcja tabeli Programu nie jest w pełni przejrzysta. Ten program porządkuje - jest spojrzenie na cała Warszawę; pomaga mi to, że są jasne standardy, reguły i mam świadomość, że jestem cząstką Warszawy.[IDI] Niezrozumiały i wprowadzający w błąd jest podział na wskaźniki skuteczności realizacji celu i wskaźniki realizacji. Wskaźniki realizacji wydają się być w rzeczywistości celami szczegółowymi i tak powinny zostać nazwane, a te które mają w nazwie odsetek powinny być przeformułowane. Równocześnie brak jest bezpośredniego powiązania "wskaźników skuteczności"/celów szczegółowych z prezentowaną w programie diagnozą problemu. Część celów szczegółowych (obecnie wskaźników skuteczności realizacji celów ) jest sformułowana w sposób nieprecyzyjny przez co nie wiadomo jakiego rodzaju rezultaty należałoby osiągnąć. (np. "zwiększenie kompetencji psychospołecznych...", "ograniczenie zjawiska przemocy w rodzinach"). Podobnie ukonkretnienia wymagają niektóre rezultaty (np. "poprawa funkcjonowania rodziny" lub "odsetek pacjentów wykazujących poprawę"). Utrudnieniem w planowaniu działań na poziomie harmonogramów oraz w późniejszej ewaluacji jest brak jasnego przypisania poszczególnych celów do ich realizatorów (szczególnie w przypadku celu nr 1, dla którego sformułowano wiele celów szczegółowych ( wskaźników skuteczności realizacji ). Zaproponowane wskaźniki realizacji pokazują jedynie co zostanie zrealizowane (ilu będzie uczestników, ile przeprowadzonych kontroli, etc.), jakie będą produkty działań. Nie opisują natomiast oczekiwanej zmiany czyli tego co dzięki podjętym działaniom (kontrolom, warsztatom, programom wsparcia, etc.) osiągniemy, jaki wpływ będą miały na realizację założonych celów. Uzupełnienie katalogu wskaźników pomoże podmiotom wdrażającym Program na poziomie dzielnic dokonywać użytecznej ewaluacji ważnych dla nich aspektów (wskaźniki to m.in. konkretna informacja na temat tego po czym poznamy osiągniecie założonych celów). Zagregowane dane na poziomie wszystkich dzielnic mogą być wykorzystywane do kształtowania polityki miejskiej w przedmiotowym obszarze. Warto podkreślić, że dzięki temu rozszerzy się zakres dostępnych w mieście aktualnych danych dotyczących uzależnień. Nie zawsze używane skróty są zrozumiałe i czytelne. (PWD, LSW). 15

17 Zakres przedmiotowy badania obejmował ocenę poszczególnych wskaźników przez ekspertów zaproszonych do badania. Ich opinie i propozycje prezentujemy w poniższych tabelach. Mogą one stanowić ważną podstawę do dalszych prac nad kształtem PPiRPA. 3 CEL 1 Komentarze ekspertów: Wskaźniki realizacji nie pozwalają w pełni ocenić stopnia realizacji celów. Informacja dotycząca liczby PWD, klubów, programów itd. nie pozwala odpowiedzieć na pytanie w ilu rodzinach zaszły zmiany, jakie zmiany zaszły, czy dzieci poprawiły swoje wyniki szkolne itp. Wskaźniki nie opisują również jakości procesu: skali programów (czas trwania; liczba i częstotliwość działań, kompetencje kadr, rodzaje działań, etc.). Propozycje wskaźników: Cele szczegółowe (obecnie: wskaźniki realizacji celu) Zmniejszenie liczby rodzin ze zdiagnozowaną bezradnością opiekuńczo-wychowawczą Ograniczenie zjawiska przemocy w rodzinach Poprawa funkcjonowania rodziny (tu należałoby zoperacjonalizować ten wskaźnik co znaczy, że rodzina będzie lepiej funkcjonowała) Zwiększenie kompetencji psychospołecznych dzieci, młodzieży i rodziców (warto zdefiniować o jakie konkretnie kompetencje chodzi) Proponowane wskaźniki i sposoby pomiaru liczba skutecznych interwencji/porad/studiów przypadku podejmowanych przez realizatorów weryfikowana na podstawie dokumentacji obserwowana zmiana postaw/zachowań według ustalonych kryteriów weryfikowana na podstawie opinii ekspertów lub procentowy/punktowy wzrost wyników ankiety do której jest odwołanie w tabeli. - wskaźnikiem może być zwiększenie aktywnego uczestnictwa dzieci/młodzieży/rodzin w aktywnościach społecznych, kulturalnych, sportowych, itp. obserwowana zmiana na podstawie opinii/dokumentacji lub innych narzędzi pozwalających uczestnikom ocenić zmianę (ankieta, wywiad); Mierzalne liczbowo cele jak zmniejszenie liczby skierowań czy podniesienie frekwencji szkolnej - wskaźnikiem mogą być wzrosty liczby/częstotliwości danych zjawisk/zachowań/interwencji weryfikowane na podstawie odpowiednich raportów/dokumentacji. odsetek dzieci objętych programami odsetek dzieci i odsetek dzieci kończących programy. Wszystkie Wszystkie kompetencje osób wykonujące działania (np. pracowników PWD, realizujących programy) i podnoszenia tych kompetencji (bo umiejętności tychże osób to czynnik istotnie warunkujący skuteczność działań) - np. odsetek wychowawców PWD objętych superwizją. współpraca pracowników zatrudnionych w różnych instytucjach, które mają istotny wpływ na funkcjonowanie rodziny, w szczególności pracowników 3 Celem ewaluacji nie było stworzenie kompletnego zestawu wskaźników kolejnych edycji Programu, dlatego też dane z tabel należy traktować jako wstępne, robocze propozycje. 16

18 socjalnych, asystentów rodziny, pedagogów szkolnych, wychowawców PWD, kuratorów sądowych, policji, etc. - np. liczba lokalnych interdyscyplinarnych grup roboczych, które planują i monitorują pracę z rodziną dysfunkcyjną, np. odsetek rodzin, których funkcjonowanie jest wspierane przez lokalną interdyscyplinarną grupę roboczą. CEL 2 Komentarze ekspertów: Brakuje wskaźników, które pokazują dynamikę i rezultaty procesu leczenia. Wskaźnik realizacji "odsetek pacjentów wykazujących poprawę..." jest powtórzeniem wskaźnika skuteczności. Nie określa on co i jak należy sprawdzić/policzyć/zweryfikować. Wspieranie działalności środowisk abstynenckich należałoby doprecyzować, że finansowo grup AA gdyż są to grupy nie posiadające osobowości prawnej a ponadto jest to sprzeczne z zasadami ideowymi Wspólnoty AA Opieka psychiatryczna i lecznictwo odwykowe nie powinny być zestawiane razem. Opieka psychiatryczna nie wchodzi w zakres działań finansowanych ze środków z korkowego. Warto także zadbać o wsparcie oddziałów oddziałów leczenia uzależnień poprzez zakup dodatkowych świadczeń zdrowotnych jeśli wymaga tego np. struktura porad lub liczba osób oczekujących na leczenie. Wskaźnik liczba uczestników wsparcia jest nieczytelny. Żaden z wymienionych wskaźników nie pozwala wnioskować o poprawie funkcjonowania, zwłaszcza trwałej poprawie, tj. po roku od zakończenia udziału w programie. Propozycje wskaźników: Cele szczegółowe (obecnie: wskaźniki realizacji Proponowane wskaźniki i sposoby pomiaru celu) Wspieranie działalności środowisk abstynenckich Liczba funkcjonujących grup AA. Liczba funkcjonujących Stowarzyszeń Abstynenckich lub dokładniej Liczba Stow. Abst. objętych wsparciem. Odsetek pacjentów zakładów lecznictwa Odsetek pacjentów, którzy zrealizowali indywidualny odwykowego wykazujących poprawę w rok po program leczenia opracowany dla nich przez zespół zakończeniu programu psychoterapii uzależnienia lekarzy i psychoterapeutów. CEL 3 Komentarze ekspertów: Żaden z podanych wskaźników realizacji nie jest adekwatny do zaplanowanych celów, a przede wszystkim w ogóle nie jest wskaźnikiem (to są mierniki). Np. "Liczba punktów sprzedaży napojów alkoholowych, którym cofnięto zezwolenie na sprzedaż napojów alkoholowych..." jest jednym z dwóch mierników potrzebnych do skonstruowania wskaźnika skuteczności realizacji celu (drugi miernik: Liczba punktów sprzedaży napojów alkoholowych ogółem lub Liczba punktów sprzedaży napojów alkoholowych, w których przeprowadzono kontrolę prawidłowości sprzedaży) Brak zupełnie działań profilaktycznych kierowanych zarówno do sprzedawców jak i właścicieli sklepów z alkoholem. Także działania kierowane do konsumentów zarówno objętych zakazem jak i pełnoletnich nakierowane zarówno wprost na przestrzeganie prawa jak i na zmianę postaw i przekonań w zakresie potrzeby wprowadzenia ograniczenia dostępności. Pominięte zostały rownież inne poza przestrzeganiem prawa w punktach sprzedaży- kwestie od których zależy dostępność alkoholu takie jak: lokalizacja czy godziny otwarcia, etc. Propozycje wskaźników: Brak propozycji 17

19 Ewaluacja PPiRPA 2015 raport z badania CEL 4 Zapobieganie pojawieniu się i rozwojowi uzależnień Komentarze ekspertów: Pojęcie działania" jest zbyt ogólne dla konstrukcji wskaźnika Niejasne, dlaczego w kolumnie "Rodzaje działań" znalazło się działanie "Kampanie, programy i działania edukacyjne promujące wychowanie dzieci bez przemocy jeśli cel 4 dotyczy profilaktyki uzależnień, a nie profilaktyki przemocy wobec dzieci (częste współwystępowanie tych problemów nie uzasadnia tego, żeby je utożsamiać). Dominują działania edukacyjne (kampanie, programy), a brakuje działań będących mobilizujących do abstynencji, np. atrakcyjnych propozycji spędzania czasu wolnego, pozwalających rozwijać pasje np. młodzieży ze środowisk szczególnie zagrożonych uzależnieniami. Cel główny warto doprecyzować o wskazanie, że chodzi o uzależnienia związane z alkoholem. Zapisane działania to działania kierowane w zdecydowanej większości do dzieci, młodzieży. Warto pamiętać także o działaniach i wsparciu dorosłych. Warto trzymać się spójnej definicji działań profilaktycznych. Profilaktyka uniwersalna, selektywna, wskazująca. Brak informacji o odbiorcach działań i zmianach jakie te działania niosą. Brak odniesień do programów profilaktycznych o sprawdzonej skuteczności. (patrz baza rekomendowanych programów profilaktycznych) "Promocja zdrowego stylu... i wolontariatu", wykracza poza zadania możliwe do finansowania ze środków uzyskanych za zezwolenia ze sprzedaży alkoholu. "Profilaktyka rówieśnicza" nie każda może być finansowana ze środków uzyskanych za zezwolenia ze sprzedaży alkoholu. Propozycje wskaźników: Cele szczegółowe (obecnie: wskaźniki realizacji celu) Proponowane wskaźniki i sposoby pomiaru Wzrost wiedzy dotyczącej zagrożeń związanych ze spożywaniem alkoholu oraz sposobów ograniczania ryzyka problemowym piciem. Należy rozważyć również uwzględnienie wskaźników weryfikujących zmianę postaw odbiorców działań dotyczące zdrowego stylu życia i aktywności we wskazanych w proponowanych działaniach sferach. Weryfikacja na podstawie subiektywnej oceny odbiorców i/lub opinii/obserwacji realizatorów/innych ekspertów/rodziców i opiekunów. Powiązanie działań z odbiorcami, uczestnikami. Powiązanie działań z obserwowanymi zmianami. Niejasności i kontrowersje wokół Programu Profilaktyka czy pomoc społeczna? Panuje przekonanie, że w Programie skupiono się na działaniach związanych z rozwiązywaniem problemów uzależnienia od alkoholu, a ograniczono zakres rozumienia działań profilaktycznych. Przede wszystkim kontrowersje wzbudzają rekomendacje PARPy odnośnie działań profilaktycznych związanych z zagospodarowaniem czasu wolnego dzieci i młodzieży (zajęcia sportowe, wycieczki) i imprez masowych (pikniki, festyny). Biorą się one z 18

20 Ewaluacja PPiRPA 2015 raport z badania Niezrozumienia istoty rekomendacji (można finansować działania typu festyny, które wpisują się w szerszą strategię) Nieumiejętności wpisania niektórych działań w szerszą strategię Miasto cały czas nas zmusza do tego żebyśmy kierowali działania do młodzieży, która już jest w środowiskach zagrożonych, która już ma problemy z uzależnieniem. ( ).Wykasowanie takich imprez jak wyjazdy wakacyjne, zabawy, imprezy podwórkowe ( ) jest ogromnym błędem. Bo programy, które mamy długofalowe, nie obejmują wszystkich dzieci, bo do świetlicy do klubu może chodzić po 30 dzieci, ( )a mogę zrobić imprezę mikołajkową ( ) i te dzieci się poznają, integrują, widzą model zabawy bez alkoholu, mają szansę poznać ciekawe gry podwórkowe, a ja nie mogę tego zrobić jeśli nie uczestniczą w innym działaniu. To nie jest profilaktyka tylko pomoc społeczna, to co my teraz robimy.[idi] Mapy problemów4 Przedstawione w Programie mapy: Opierają się o wskaźniki, które nie oddają złożoności problemów związanych z uzależnieniami od alkoholu koncentrują się przede wszystkim na ubóstwie a nie można go traktować jako czynnika pojawiające się zawsze w przypadku problemów alkoholowych Nie zawsze pokrywają się z obszarami wymagającymi szczególnego wsparcia na terenie danych dzielnic Są w dzielnicach błędnie traktowane jako wskazania jedynych lokalizacji w których mogą być realizowane działania profilaktyczne. Mapy nie nadążają ze zmianami w przestrzeni dzielnic np. na Ursynowie pojawiło się osiedle mieszkań socjalnych. Sztywny budżet Ze względu na różną specyfikę dzielnic nie jest zasadne określanie w Programie jaki procent budżetu powinien być przeznaczony na poszczególne działania. W jednej dzielnicy jest jedna szkoła w innej czterdzieści szkół, więc naturalne, że więcej działań powinno być skierowanych tam do środowisk szkolnych, jako obszaru najbardziej zagrożonego potencjalnymi uzależnieniami czy ryzykownymi zachowaniami, tak samo różni się liczbą placówek wsparcia, liczbą działających na terenie dzielnicy organizacji. W jednej dzielnicy realizują np. tylko kampanie, festyny bo nie mają innych zagrożonych obszarów a w innej realizowane są szersze merytoryczne działania. Trudno to porównywać.[korespondencja mailowa z uczestnikiem badania] Czy w każdej dzielnicy muszą odbywać się takie same programy czy działania? Nie. Mogę sobie wyobrazić że na Pradze będzie znacznie więcej programów profilaktycznych wskazujących i selektywnych na Mokotowie, a na Białołęce więcej kierowanych do dzieci i młodzieży niż na Ochocie która jest dzielnicą "najstarszą" ze względu na wiek mieszkańców. Działania powinny uwzględniać czynniki ryzyka i je osłabiać wzmacniając czynniki chroniące na poziomie konkretnych działań.[ekspert] 4 Mapy Obszary zalecanej szczególnej koncentracji działań w poszczególnych dzielnicach w PPiRPA z

21 I mamy cel, na który mamy 3 tys. zł i tych działań nie prowadzimy. Program nas ogranicza w zakresie przemieszczania środków pomiędzy celami. (bo np. na jakiś cel można przeznaczyć 20% budżetu, a w dzielnicy byłaby potrzeba, żeby na ten cel przeznaczyć więcej pieniędzy).[idi ] Zagrożeniem dla elastyczności wdrażania Programu i realizacji działań zgodnych z lokalnymi potrzebami jest konieczność wpisania w harmonogram konkretnych kwot, które dzielnica zamierza przeznaczyć na realizację poszczególnych zadań. W sytuacji gdy harmonogram zatwierdzany jest uchwałą Rady Dzielnicy, każda w nim zmiana wymaga kolejnej uchwały. Wdrażanie harmonogramu ułatwiłoby przypisanie kwot przeznaczonych na realizację działań do celów Programu a nie poszczególnych zadań. Wiedza na temat zakresu Programu Warto podkreślić, że nie wszyscy pracownicy dzielnic mają szeroką wiedzę na temat zawartości Programu. Może to być związane z: Powtarzalnością kolejnych edycji Programu urzędnicy raczej skanują dokument w poszukiwaniu zmian niż czytają go ze zrozumieniem Błędnym interpretowaniem zapisów Programu (np. słowo może rozumiane jako musi ) Potrzeba zwiększania wiedzy dotyczy zarówno osób zajmujących kierownicze stanowiska (chociaż wśród nich znajomość Programu wydaje się być największa), nie zawsze dzielą się oni wiedzą ze swoimi podwładnymi, którzy wdrażają Program. W Programie wyraźnie brakuje jasnego uzasadnienia dla decyzji Biura Projektów i Pomocy Społecznej (np. realizacja badania Tajemniczy Klient, limit budżetu na realizację celów). Zadania Komisji Rozwiązywania Problemów Alkoholowych W 2015 r. Na wniosek Komisji miejskiej, po przeprowadzonych kontrolach zmniejszono liczbę czynności płatnych dla członków dzielnicowych komisji (z 10 do 7). Wiele dzielnic uznało, że ta propozycja nie odpowiada na ich potrzeby (np. W większych dzielnicach istnieje konieczność większej liczby działań). Jednak kontrole nie potwierdziły zasadności protestów i zmiana została utrzymana. 20

22 Harmonogramy dzielnicowe Tworzenie Co ułatwia tworzenie harmonogramów? Ramy wyznaczane przez Program Wiem, w jakim obszarze mogę się poruszać. [IDI] Dobra znajomość celów Programu i wytycznych PARPy Konsultacje z Biurem Projektów i Pomocy Społecznej uzyskanie informacji zwrotnej Co utrudnia tworzenie harmonogramów? Konieczność wpisania konkretnych kwot na realizację poszczególnych zadań. Prace nad harmonogram trwają już po ustaleniu budżetu zadaniowego dla dzielnicy. Zbyt krótki czas na przygotowanie Harmonogram z poprzedniego roku jako punkt wyjścia do rozpisania nowych działań sprawdzenie co było. Brak znajomości Programu przez organizacje pozarządowe, inne instytucje, z którymi konsultowany jest harmonogram (np. szkoły). Różne interesy organizacji skupienie się na realizacji celów statutowych organizacji a nie celach Programu Przekonanie dzielnic o konieczności dostosowania się do map problemów nie zawsze adekwatnych do aktualnych potrzeb dzielnicy Niska aktywność DKDSów - ich członkowie nie angażują się w tworzenie Programu/harmonogramów. 21

23 Ewaluacja PPiRPA 2015 raport z badania Realizacja harmonogramów Ułatwienia w realizacji harmonogramu Zasoby dzielnic W realizacji działań pomaga dzielnicom wieloletnie doświadczenie i zasoby wiedzy, dotyczące realizacji Programu np. możliwość skorzystania z zapisów poprzednich harmonogramów, doświadczenie urzędu w prowadzeniu działań profilaktycznych. Pomagają również zasoby ludzkie, doświadczeni pracownicy, którzy z zaangażowaniem wykonują swoją pracę i są specjalistami w zakresie profilaktyki oraz pomocy społecznej. Istotna jest również postawa władz dzielnicy, które mają zaufanie do zespołów odpowiedzialnych za wdrażanie programu. Bardzo ważne jest zachowanie niezależności osób wdrażających Program od politycznych wpływów. Zasób w takich rzemieślnikach, którzy ( ) robią dobrze to co robią. Mamy też szczęście do zarządu, który nie traktuje korka jako źródła finansowania różnych pomysłów. Zaufanie radnych i zarządu do tego co się robi. [IDI] Istotny jest również dostęp urzędu do infrastruktury, która ułatwia realizacje poszczególnych działań np. posiadanie lokali odpowiednich na działania PIK-u lub placówki wsparcia dziennego. Dzięki temu urzędy nie są ograniczone do wyboru organizacji, które posiadają odpowiedni lokal i zasoby. 22 Utrudnienia w realizacji harmonogramu Zbyt mały zespół do wdrażania Programu. W niektórych dzielnicach wdrażaniem Programu zajmuje się niewystarczająca liczba osób (1-2 osoby), co uniemożliwia lub utrudnia wykonywanie niektórych zadań np. monitorowanie i ewaluację działań czy wsparcie merytoryczne realizatorów. Urzędnicy przyznają również, że wśród pracowników często brakuje osób z bardzo specjalistyczną wiedzą np. z doświadczeniem badawczym i metodologicznym potrzebnych do realizacji ewaluacji, oraz z doświadczeniem w księgowości czy rozliczaniem projektów. Nie można oczekiwać że tutaj realizacja tego Programu będzie wystrzałowa, uważam że i tak to co robimy to robimy na prawdę dobrze i robimy dużo. (...)Więc potrzebny by mi był taki dodatkowy etat do współpracy z NGO. [IDI] Trudnością jest również brak lokali, które dzielnica mogłaby udostępnić na potrzeby organizacji pozarządowych realizujących działania w ramach Programu. W związku z tym w konkursach startują organizacje posiadające swoje lokale, co w pewnym stopniu zawęża liczbę NGO, z którymi dzielnica może współpracować. Problem z brakiem lokalu - nie ma miejsca na placówkę, własność lokali głownie spółdzielnie - brak lokalu który by spełniał standardy i spółdzielnie by go udostępniły. organizacje chętne pewnie by się

24 Ułatwienia w realizacji harmonogramu Utrudnienia w realizacji harmonogramu Kwestie prawne, zasady dot. realizacji Dla części dzielnic dużym ułatwieniem są określone zasady wybierania realizatorów działań oraz przejrzystość w przeprowadzaniu zapytań i konkursów. Zasady są jasne i takie same dla wszystkich organizacji i firm, co pomaga w wyborze optymalnej oferty. Ułatwieniem są również standardy zapisane w Programie Profilaktyki, z których dzielnice korzystają przy konstruowaniu zapytań i konkursów. Dzięki standardom pracownicy poszczególnych wydziałów wiedzą, czego powinni oczekiwać od przyszłych wykonawców. Same standardy są również zamieszczane w treści ogłoszeń, co ułatwia proces wyboru wykonawców. Najczęściej wykorzystywane są standardy: Punktu Informacyjno-Konsultacyjnego oraz Placówki Wsparcia Dziennego. Ułatwieniem jest również to, że zapisy samego Programu nie ograniczają Dzielnic w realizowanych działaniach jest dosyć duże spectrum możliwych zadań w ramach Programu, które dodatkowo mogą być szeroko rozumiane (ale jednocześnie skonsultowane z Biurem znalazły. [IDI] Utrudnieniem dla niektórych dzielnic jest również postawa władz, posiadających przekonanie, że z budżetu Programu można sfinansować dowolne działania, luźno powiązane z tematem profilaktyki m.in. pikniki rodzinne, akcyjne wyjazdy etc. W związku z tym od pracowników zespołów wymaga się, aby tego rodzaju działania zostały wpisane do harmonogramu i sfinansowane z funduszy PPiRPA. Z kolei niektóre dzielnice postrzegają konieczność stosowania się do zasad przeprowadzania konkursów i zapytań jako ograniczenie - zasady zawężają pole wyboru i ograniczają możliwe działania, które mogą zaproponować organizacje - zwłaszcza jeśli chodzi o ofertę programów profilaktycznych realizowanych w szkołach. Dla Dzielnic trudnością jest przygotowanie zapytań na wybór programów profilaktycznych, które umożliwiłyby wybór najlepszych merytorycznie ofert (m.in. stosują 100% ceny). Dla urzędników szczególnym utrudnieniem jest przygotowanie jakościowych kryteriów oceny i opis zadania. Nie da się kupić dobrego programu w przetargu. Trudność w stworzeniu SIWZ tak, żeby dział zamówień publicznych nie wziął tego za ograniczanie konkurencji. (...) Obecnie w lepszej sytuacji są dzielnice które mają mniejsze środki i mogą kupować programy poza zamówieniami publicznymi. [IDI] Niektóre dzielnice zwracają również uwagę na trudności związane z oceną wniosków składanych w konkursach i zapytaniach. Ich zdaniem ocena ilościowa, tylko na 23

25 Ułatwienia w realizacji harmonogramu Pomocy i Projektów Społecznych). W Programie jest też określny jasny podział zadań pomiędzy poszczególnymi podmiotami m.in. Biurem, KRPA i Urzędami Dzielnic co jest również dużym ułatwieniem z punktu widzenia każdej ze stron. Program nie zawęża - to jest jego atut. W tym programie bardzo doprecyzowano role instytucji lokalnych - po raz pierwszy, wskazano priorytety (LSW) że odpowiedzialność za cały program ma BPiPS natomiast na poziomie lokalnym Burmistrzowie. Pierwszy raz tak dokładnie dookreślono na poziomie realizatorów (dzielnice)- harmonogram, finansowanie. Dzięki priorytetyzacji działania realizatorów w dzielnicach były spójne na poziomie miasta (dzięki zapisom programu i dzięki precyzyjnym wskazówkom dla realizatorów). [IDI] w tym programie po raz pierwszy tak jasno zdefiniowano zadania komisji i jej dzielnicowych zespołów, czym nadano też wyraźnie hierarchii, zaznaczono podległość- komisja jest jedna i działa przez swoje dzielnicowe zespoły. Umożliwiło to uspójnienie wszystkich procedur w całym mieście. [IDI] Utrudnienia w realizacji harmonogramu podstawie wniosku, jest nie miarodajna i nie gwarantuje wyboru najlepszego Wykonawcy - lepsze efekty mogłaby przynieść dodatkowa rozmowa z potencjalnym Wykonawcą i osobista weryfikacja oferty. Takie postrzeganie zasad związanych z konkursami i zapytaniami ofertowymi jest związane z trudnościami z formułowaniem jakościowych kryteriów oceny wniosków. Urzędnicy najczęściej stosują kryteria ceny oraz doświadczenia, które w efekcie nie dają szerokich informacji o danym działaniu. Wniosek to papier, wolałabym sobie usiąść i porozmawiać. Sama procedura jest fajna, nasza uznaniowość jest wykluczona, ale problemem jest ocena [pani jest zwolenniczką usunięcia punktów i pozostawienia opisowej oceny przy. Aut]. Ale chyba będą mieli punktowa - organizacje naciskają. [IDI] Utrudnieniem dla urzędów jest również wąski katalog programów profilaktycznych rekomendowanych przez PARP-ę. Rozszerzenie listy oraz ciągła jej weryfikacja pozwoliłyby zróżnicować realizowane programy. Część urzędów wybiera sprawdzone firmy oferujące autorskie programy, które w części nie są ujęte w wykazie bieżąca aktualizacja listy o nowe programy mogłaby również dać pewność Dzielnicom, że wybierają dobrych Wykonawców. Środowisk o/otoczeni e W realizacji działań pomagają relacje nawiązane z organizacjami i instytucjami działającymi na terenie dzielnicy - w ramach zespołu interdyscyplinarnego czy DKDS. Dzięki temu komunikacja pomiędzy poszczególnymi podmiotami przebiega sprawnie, a w razie potrzeby Urząd Dzielnicy może zwrócić się do 24

26 Ułatwienia w realizacji harmonogramu Utrudnienia w realizacji harmonogramu konkretnych instytucji o wsparcie np. podczas interwencji w trudnej sytuacji czy przy organizacji wydarzenia. Współpraca między organizacjami, to że znamy organizacje i szkoły, jesteśmy członkami zespołu interdyscyplinarnego, ścieżki współpracy są utarte [IDI] Wiem, że mam wsparcie w instytucjach i organizacjach, wiem że mogę liczyć na pomoc zespołu interdyscyplinarnego. Mam taki zasób przedstawicieli różnych instytucji, którzy chcą pracować niestandardowo, którym się chce. [IDI] Współprac a z Urzędem Miasta Dla Dzielnic dużym ułatwieniem są spotkania dla pracowników wydziałów, organizowane przez Urząd Miasta. W ich trakcie pracownicy odpowiedzialni za wdrażanie Programu wymieniają się doświadczeniami i wskazówkami dotyczącymi realizacji, co ma duże znaczenie w ujednolicaniu sposobu wdrażania Programu. Urzędnicy doceniają te spotkania i deklarują chęć uczestnictwa w kolejnych. Dla pracowników Urzędów Dzielnic ułatwieniem jest również zakres wsparcia, które otrzymują od pracownic Biura Pomocy i Projektów Społecznych (m.in. szybkie odpowiedzi na bieżące pytania pracowników Dzielnic, konsultacje harmonogramów etc.). Komunikacja z Biurem przebiega bezproblemowo, a dzielnice otrzymają wsparcie, którego potrzebują. Dla urzędników pracujących w Dzielnicach utrudnieniem jest niewystarczający poziom jasności w podejmowaniu decyzji przez Biuro Pomocy i Projektów Społecznych dotyczy to zwłaszcza decyzji odnośnie możliwości realizacji danych działań w ramach harmonogramu, przy których urzędnicy oczekiwaliby spójności oraz wyczerpującego uzasadnienia. Zapisy Programu są stosunkowo szerokie i umożliwiają realizację bardzo różnorodnych działań, a w związku z tym, że Urzędnicy nie zawsze są pewni czy na pewne działania otrzymają zgodę ze strony Urzędu Miasta, mają tendencję to wąskiego interpretowania zapisów Programu i realizacji bezpiecznych i pewnych działań. Współprac a z NGO Wdrażanie Programu Profilaktyki ułatwia również doświadczenie wcześniejszej współpracy z NGO, dzięki któremu obie strony wiedzą czego od siebie oczekiwać W niektórych dzielnicach zauważalne są problemy z rozliczaniem się z NGO, które wynikają ze stosowania różnych zasad rozliczania w zależności od dzielnicy. Część 25

27 Ułatwienia w realizacji harmonogramu (m.in. organizacje wiedzą jak się rozliczać i jakie są potrzeby urzędu). Współpraca ze znajomymi organizacjami pozwala też utrzymać wzajemny wyższy poziom zaufania oraz pewność, że działanie zostanie zrealizowane dobrze. Ułatwieniem są również sformułowane przez urzędy Dzielnic jasne zasady dotyczące komunikacji i współpracy z NGO np. przydzielenie konkretnych pracowników do obsługi danych NGO, co zwiększa przejrzystość relacji oraz jasne komunikowanie oczekiwań dotyczących konkretnych działań. Myślę, że przez te kilka lat, które współpracujemy, dogadaliśmy się w kwestiach rozliczeń czy składania ofert. Proponowaliśmy dużo szkoleń dla organizacji. W tym roku mieliśmy spotkanie z NGO z którymi zawieraliśmy umowy, mówiliśmy jakie są nasze oczekiwania co do rozliczeń, realizacji zadań. W tym roku też postaraliśmy się, żeby organizacje realizujące zadania były przypisane do konkretnych pracowników, żeby każdy wiedział z kim się kontaktować. Dajemy im też instrukcje do rozliczeń.[idi] We wdrażaniu Programu pomagają również szkolenia, które organizują dzielnice dla realizatorów działań (głównie NGO)- w trakcie których pokazują i uczą w jaki sposób organizacje powinny się rozliczać czy przygotowywać wnioski o dofinansowanie. Utrudnienia w realizacji harmonogramu dzielnic wymaga od organizacji przygotowania większej ilości dokumentacji niż to jest wymagane na poziomie miasta, co powoduje, że organizacje realizujące działania w różnych dzielnicach muszą dostosować się do różnych, niespójnych ze sobą wymagań. Powinniśmy mówić jednym językiem w całej Warszawie, nie może być że jedni robią inaczej, inni inaczej i nic dziwnego ze potem organizacje czują dyskomfort. W praktyce oznacza to dla pani, że powinny być bardziej ujednolicone zasady realizacji zadań [IDI] Pracownicy wydziałów w Dzielnicach mają również trudności związane z rozliczaniem się z NGO, które wynikają z nieznajomości zasad rozliczania przez organizacje - najczęściej są to NGO, które rozpoczynają współpracę z daną dzielnicą, lub są młodymi organizacjami. Ssą organizacje, które merytorycznie oceniamy bardzo dobrze, mają dobrą kadrę merytoryczną, są tam osoby zaangażowane, ale nie zawsze sobie dobrze radzą z ramami umów dotacyjnych. [IDI] Utrudnieniem dla niektórych Dzielnic jest również współpraca z organizacjami nieaktywnymi i niekreatywnymi, które nie mają pomysłów na nowe działania i skupiają się jedynie na rozliczeniu bieżących projektów, co pośrednio jest m.in. wynikiem nieumiejętności wyboru dobrych wniosków w konkursach oraz aktywnych i kreatywnych realizatorów. Niska aktywność NGO. wszyscy wymagają tylko kiedy się chce pieniędzy, ale żeby pomyśleć co będę chciał za rok, zaplanować do budżetu to nie. Kierunek rozmowy z nami jest bardziej rozliczeniowy niż kreatywny. [IDI] 26