Instytucja: Wyższa Szkoła Przedsiębiorczości i Administracji w Lublinie Tytuł projektu: Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim Numer projektu: POKL.07.02.1. 06 022/09 Informacje o osobie sporządzającej: Krystyna Małocha Stanowisko w ramach projektu: Specjalista ds. ewaluacji Zadanie 1 - Zarządzanie, promocja i informacja oraz ewaluacja projektu Etap 21. Sporządzenie raportu z ewaluacji RAPORT Z EWALUACJI WEWNĘTRZNEJ PROJEKTU SPOŁECZNE I INSTYTUCJONALNE ASPEKTY BEZDOMNOŚCI, REALIZOWANEGO PRZEZ WYŻSZĄ SZKOŁĘ PRZEDSIĘBIORCZOŚCI I ADMINISTRACJI W LUBLINIE 1
Spis treści Wstęp 3 1. Streszczenie raportu 5 2. Metodologia badań 9 2.1. Cel i przedmiot badań 9 2.2.Pytania badawcze 9 2.3. Kryteria ewaluacji 11 2.4. Wskaźniki 13 2.5. Narzędzia badawcze 14 2.6. Organizacja, przebieg badań i charakterystyka respondentów 15 3.Analiza wyników ewaluacji 20 3.1. Ogólna charakterystyka projektu 20 3.2.Analiza i ocena trafności projektu 21 3.3. Analiza i ocena skuteczności 29 3.4. Analiza i ocena użyteczności projektu 48 3.5. Analiza i ocena trwałości rezultatów 58 4. Wnioski 62 Spis tabel i wykresów 67 Aneks 68 Załącznik nr 1. Wytyczne do analizy dokumentów 68 Załącznik nr 2 Dyspozycje do wywiadu nieustrukturalizowanego 68 Załącznik nr 3. Arkusz obserwacji grupowy wywiad zogniskowany 69 Załącznik nr 4. Kwestionariusz ankiety 70 2
Wstęp Ewaluacja ex-post ma odpowiedzieć na pytania o stopień osiągnięcia celów projektu, jego sukcesy i ograniczenia, wpływ czynników zewnętrznych, odpowiedniość użytych narzędzi, skuteczność (post factum) systemu wdrażania, rzeczywistą użyteczność efekty oddziaływania projektu (zarówno te zakładane, jak i te nieprzewidziane), a także trwałość tychże efektów. Uzyskanie tego rodzaju wiedzy może pozwolić na podniesienie jakości projektów realizowanych w przyszłości. Tym samym wnioski wypracowane w wyniku realizacji tego konkretnego projektu mają szansę przyczynić się do rzetelnego rozpoznania problemu bezdomności jako podstawy podejmowania działań instytucjonalnych, ukierunkowanych na ograniczenie procesu wykluczenia społecznego osób bezdomnych oraz ich demarginalizację a także identyfikacji niekorzystnych zjawisk społecznych w województwie lubelskim, powodujących dezintegrację społeczną i zawodową. Raport zawiera analizę i ocenę rezultatów projektu badawczego Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim (numer projektu POKL 07.02.1-06-022/09, numer umowy POKL POKL 07.02.1-06-022/09-00 z dnia 15 października 2009 roku), realizowany jest w ramach Priorytetu VII POKL: Promocja integracji społecznej, Działania 7.2. Przeciwdziałanie wykluczeniu i wzmocnienie sektora ekonomii społecznej, Poddziałania 7.2.1. Aktywizacja zawodowa i społeczna osób zagrożonych wykluczeniem społecznym, w ramach którego przewidziano prowadzenie, publikowanie i upowszechnianie badań i analiz z zakresu polityki społecznej w regionie (w tym działań mających na celu przygotowanie i wdrażanie gminnych lub powiatowych strategii rozwiązywania problemów społecznych). Projekt zrealizowała Wyższa Szkoła Przedsiębiorczości i Administracji w Lublinie, posiadająca status prawny uczelni wyższej. Termin realizacji projektu, planowany początkowo na 1.09. 2009 31.03.2011, w wyniku zmiany daty podpisania umowy został przesunięty na okres 1.11.2009 31.05.2011 (zatwierdzony pismem WUP w Lublinie z dnia 20.11.2009 r., EFS.VI. 42031-13-23/13/AZ-09). Ogólny cel projektu przewidywał zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku. W oparciu o doświadczenia krajów posiadających zintegrowane strategie wobec bezdomności i wykluczenia mieszkaniowego sformułowano listę wytycznych dla tworzenia krajowych strategii przeciwdziałania bezdomności. Pierwszym na liście jest zalecenie zakorzenienia strategii w wiedzy potwierdzonej badaniami. Stanowi to istotne uzasadnienie dla prowadzenia badań diagnostycznych w tym zakresie. Raport ewaluacyjny obejmuje część metodologiczną, zawierającą określenie przedmiotu i celu badania, sformułowanie pytań (problemów badawczych), wybór kryteriów i wskaźników, charakterystykę metod, technik badawczych, a także narzędzi badawczych. Ponadto znalazły się w nim istotne z punktu widzenia charakterystyki realizowanych badań informacje dotyczące organizacji badań oraz charakterystyka społeczno-demograficzna respondentów. 3
Na część empiryczną składa się krótki opis projektu oraz oszacowanie jakości projektu pod względem jego trafności, skuteczności, użyteczności i trwałości rezultatów. Ponadto, na zakończenie przedstawiono wyniki analizy SWOT oraz wnioski sformułowane w oparciu o wyniki badań. Podstawowe wyniki i wnioski przedstawiono w streszczeniu raportu ewaluacyjnego. 4
1. Streszczenie raportu Raport przedstawia wyniki badania ewaluacyjnego ex-post projektu badawczego Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim (numer projektu POKL 07.02.1-06- 022/09) przygotowanego w ramach Priorytetu VII POKL: Promocja integracji społecznej, Działania 7.2. Przeciwdziałanie wykluczeniu i wzmocnienie sektora ekonomii społecznej, Poddziałania 7.2.1. Aktywizacja zawodowa i społeczna osób zagrożonych wykluczeniem społecznym,, realizowanego od 1.11.2009 31.05.2011 przez WSPA w Lublinie w ramach którego przewidziano prowadzenie, publikowanie i upowszechnianie badań i analiz z zakresu polityki społecznej w regionie (w tym działań mających na celu przygotowanie i wdrażanie gminnych lub powiatowych strategii rozwiązywania problemów społecznych). Ogólny cel projektu przewidywał zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku. Główne pytanie ewaluacyjne zostało sformułowane następująco: w jakim stopniu realizacja celów projektu faktycznie przyczyniła się do identyfikacji i rozwiązania problemów, dla których powstał projekt? W celu uzyskania na nie odpowiedzi, sformułowano pytania szczegółowe, przedstawione w części metodologicznej raportu. W oszacowaniu jakości projektu zastosowano cztery kryteria ewaluacyjne: trafność (adekwatność), skuteczność, użyteczność (przydatność) oraz trwałość. Przedmiotem badania były rezultaty miękkie projektu, do których zaliczono: 1) diagnozę zasięgu bezdomności i jego dynamiki w województwie lubelskim, 2) diagnozę w zakresie cech społeczno-demograficznych osób bezdomnych w regionie, 3) diagnozę procesu wchodzenia w bezdomność i marginalizacji, 4) wieloaspektową diagnoza potrzeb osób bezdomnych, 5) wypracowanie nowych metod pracy z bezdomnymi, w tym modelu wyjścia z bezdomności, 6) uzyskanie przez minimum 80% odbiorców publikacji wiedzy na temat zasięgu bezdomności i jego dynamiki, cech społeczno-demograficznych osób bezdomnych i ich potrzeb, funkcjonowania systemu wsparcia i pomocy osobom bezdomnym, procesu wchodzenia w bezdomność i marginalizacji w skali województwa lubelskiego., 7) wzrost zainteresowania budowaniem profesjonalnego zaplecza informacyjnego dotyczącego problemu bezdomności i systemu wsparcia i pomocy osobom bezdomnym u minimum 70% uczestników konferencji, 8) wzrost zainteresowania operacyjnym podejściem do planowania działań w obszarze pomocy społecznej u minimum 70% uczestników konferencji. Raport składa się z części metodologicznej, analizy wyników i ich interpretacji ze względu na przyjęte kryteria, wniosków oraz rekomendacji. W pierwszej kolejności omówiono zastosowaną metodologię badań, w tym: określono przedmiot badania i sformułowano pytania badawcze, 5
przedstawiono kryteria ewaluacji, wskaźniki oraz metody i techniki badawcze oraz scharakteryzowano przebieg badań i strukturę grup badanych. Wykorzystane zostały następujące techniki badań jakościowych i ilościowych: 1) analiza dokumentów, 2) obserwacja, 3) indywidualny wywiad kwestionariuszowy nieustrukturalizowany, 4) technika ankiety (ankieta audytoryjna) 5) analiza SWOT. Zrealizowano 55 ankiet oraz 3 indywidualne wywiady nieustrukturalizowane z osobami kluczowymi w projekcie, obserwację wywiadu grupowego zogniskowanego. Część empiryczna raportu obejmuje oszacowanie osiągnięć projektu pod względem trafności, skuteczności, użyteczności oraz trwałości. Dane przedstawiono w formie opisu jakościowego oraz tabel i wykresów Ze względu na kryterium trafności przedmiotem oceny były: 1) stopień adekwatności celów projektu do celów dokumentów programowych POKL oraz krajowych programów wychodzenia z bezdomności, 2) stopień zgodności celów poszczególnych etapów badań z celami projektu. Z przeprowadzonej analizy wynika, że cel ogólny wpisuje się w realizację celów wyznaczonych w tym zakresie przez dokumenty programowe POKL, krajową i regionalną strategię polityki społecznej, które ujmują diagnozę bezdomności jako jeden z ważnych elementów działań na rzecz przeciwdziałania wykluczeniu społecznemu. Wspomniane dokumenty podkreślają także konieczność podejmowania działań zmierzających do rozwoju nowych form wsparcia osób bezdomnych na poziomie regionalnym. Ponadto cel ogólny i cele szczegółowe projektu znalazły swoje dalsze rozwinięcie w poszczególnych etapach procesu badawczego, stając się celami operacyjnymi dla jego poszczególnych elementów. Cele projektu miały charakter zarówno ilościowy, jak i jakościowy. Obejmowały dwa główne obszary badawcze: bezdomnych oraz instytucje wspierające tę kategorię osób wykluczonych. W ramach zaplanowanych badań uwzględniono zarówno oba obszary badawcze, jak i ilościową oraz jakościową charakterystykę przedmiotu badań, co wiązało się z doborem odpowiednich metod badawczych. Z tego względu uzasadnione wydaje się przyjęcie tezy, że cele projektowe w wysokim stopniu zostały skoordynowane ze sposobem ich realizacji. Reasumując, projekt należy uznać za trafny w odniesieniu do zdefiniowanych potrzeb i problemów związanych ze zjawiskiem bezdomności. Problemem badawczym ze względu na kryterium skuteczności było ustalenie do jakiego stopnia cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte. Ocena skuteczności obejmowała ocenę zarządzania projektem, ocenę stopnia realizacji przewidzianych celów i działań oraz identyfikację barier i trudności oraz sposobów ich rozwiązywania. Źródłem wiedzy była w tym przypadku analiza sprawozdawczości projektu, analiza danych ze strony internetowej, wyniki przeprowadzonych obserwacji oraz ankiety z uczestnikami konferencji. Ponadto, dla wyjaśnienia 6
niektórych zagadnień przeprowadzono wywiady nieustrukturalizowane ze specjalistami ds. badań oraz koordynatorem projektu. Oszacowując stopień realizacji zakładanych celów oraz skuteczności użytych metod, można przyjąć, że zakładane cele zostały osiągnięte, zaś zastosowane metody okazały się skuteczne w odniesieniu do tych celów. Zrealizowano zaplanowane etapy badań, zaś ich wyniki, opublikowane w raportach cząstkowych i raporcie końcowym pozwalają na ocenę zasięgu bezdomności, jej przyczyn oraz analizę dotychczasowych metod pracy z bezdomnymi, ich aktywizacji, a także prowadzonych strategii przeciwdziałania bezdomności w województwie lubelskim. Do wysokiej skuteczności przyczyniały się: zarządzanie projektem, w tym stały kontakt koordynatora i specjalistów ds. badań, promocja projektu w Internecie i za pomocą poczty e-mail, zrealizowanie w trakcie badań wszystkich zakładanych celów badawczych do czego w znacznej mierze przyczyniło się zróżnicowanie metod i technik badawczych. Czynniki te niewątpliwie można uznać za dobre praktyki, godne upowszechnienia przy realizacji innych projektów badawczych. Barierą skuteczności projektu okazały się problemy z udostępnianiem danych przez instytucje, zróżnicowane techniki gromadzenia informacji przez instytucje, problem z dotarciem do niektórych kategorii bezdomnych. Problemy te starano się pokonać lub zminimalizować poprzez wielokrotne nawiązywanie kontaktów z instytucjami, poszukiwanie kontaktów nieformalnych, ustalanie sposobu gromadzenia danych i ich weryfikację. Kolejnym kryterium ewaluacji była użyteczność badająca stopień, w jakim projekt zaspokaja istotne potrzeby grup docelowych lub przyczynia się do rozwiązania problemów, niezależnie od tego, czy były one zasygnalizowane przez cele projektu. Ocenę użyteczności projektu przeprowadzono w oparciu o wyniki badań ankietowych wśród uczestników konferencji oraz na podstawie wywiadów nieustrukturalizowanych, przeprowadzonych z osobami kluczowymi w projekcie. Na podstawie badań ankietowych stwierdzono, że respondenci pozytywnie oceniali użyteczność diagnozy zarówno z punktu widzenia wykonywanych przez nich zadań, jak i wzrostu wiedzy na temat sytuacji osób bezdomnych w kraju. Ponad 90% respondentów potwierdziło wzrost wiedzy na temat zasięgu bezdomności, dynamiki zjawiska, cech osób bezdomnych i ich potrzeb oraz funkcjonowania systemu wsparcia i pomocy osobom bezdomnym. Ponad 70% przedstawicieli instytucji uznało wyniki badań za przydatne w ich pracy z osobami bezdomnymi, prawie 90% uznało możliwość poznania różnych poglądów na temat sytuacji bezdomnych, ponad 80% uznało za ważne uświadomienie sobie barier i trudności związanych z pomocą osobom bezdomnym. Zgodnie z oceną specjalistów ds. badań, realizacja projektu pozwoliła na identyfikację nowych obszarów badawczych, do których należą: specyficzne problemy bezdomnych matek, pojawienie się młodych bezdomnych, brak wspólnych dla wszystkich instytucji strategii działania na rzecz bezdomnych, problem stereotypizacji osób bezdomnych przez część osób udzielających im pomocy, poszerzenie terytorialne badań poza obręb województwa, działalność mediów. Ostatnim kryterium oceny była trwałość określająca szanse trwania pozytywnych zmian wywołanych oddziaływaniem projektu po jego zakończeniu. Starano się oszacować, w jakim stopniu 7
zrealizowany projekt ma szansę przyczynić się do trwałego ukształtowania nowych standardów w instytucjach i organizacjach zaangażowanych w proces pomocy bezdomnym. Uzyskane dane wskazują, ze ponad 90% respondentów deklarowało zamiar korzystania w przyszłości z wiedzy, uzyskanej w wyniku realizacji projektu. Wśród proponowanych działań mogących wpłynąć na podniesienie trwałości rezultatów projektu wymienić można upowszechnianie wyników diagnozy wśród różnych instytucji, zainteresowanie mediów publicznych problemami osób bezdomnych utrzymywanie relacji (komunikacji) z instytucjami udzielającymi pomocy osobom bezdomnym, działania na rzecz integracji różnych form pomocy dla tej grupy. Wyniki procesu ewaluacji zostały podsumowane w zamieszczonych w raporcie wnioskach, zaś w oparciu o konkluzje wynikające z ewaluacji projektu, na zakończenie raportu sformułowano rekomendacje. 8
2. Metodologia badań 2.1. Cel i przedmiot badań Podstawowym elementem badania ewaluacyjnego jest określenie przedmiotu badań, czyli sprecyzowanie co będzie podlegało ewaluacji. Wybór przedmiotu ewaluacji jest w znacznej mierze uzależniony od rodzaju ewaluacji ze względu na termin jej realizacji. W przypadku ewaluacji ex-post badanie ma charakter całościowy, analizie poddano wszystkie rezultaty miękkie i oddziaływanie projektu. Uwzględniono także ocenę szans trwania pozytywnych skutków projektu w czasie. Celem głównym jest oszacowanie w jakim stopniu zostały osiągnięte rezultaty miękkie zakładane w projekcie. Cele szczegółowe obejmują: I. Poznanie rezultatów projektu w zakresie: 1. określenia diagnozy zasięgu bezdomności i jego dynamiki w województwie lubelskim, 2. określenia cech społeczno-demograficznych osób bezdomnych w regionie, 3. rozpoznania procesu wchodzenia w bezdomność i marginalizacji, 4. diagnozy potrzeb osób bezdomnych, 5. diagnozy systemu wsparcia i pomocy bezdomnym, 6. wypracowania nowych metod pracy z bezdomnymi, 7. wzrostu zainteresowania budową profesjonalnego zaplecza informacyjnego i wykorzystania operacyjnego podejścia do planowania działań na rzecz pomocy osobom bezdomnym 8. upowszechniania wyników diagnozy. II. Poznanie oddziaływania projektu w zakresie: 1. wymiany doświadczeń pracowników instytucji państwowych i organizacji pozarządowych dotyczących problemu bezdomności planowanych w przyszłości 2. wykorzystania w przyszłych działaniach wniosków diagnozy i propozycji nowych metod pracy. III. Identyfikacja przyczyn sukcesów i trudności realizowanych w projekcie zadań badawczych, w tym w szczególności wskazanie dobrych praktyk, jakie należałoby upowszechniać. IV. Sformułowanie rekomendacji dotyczących przyszłych projektów badawczych w zakresie diagnozy problemów społecznych. 2.2.Pytania badawcze Sformułowanie pytań badawczych (określanych także jako pytania kluczowe) jest niezbędnym etapem każdych badań społecznych, w tym badań o charakterze ewaluacyjnym. Pozwala to sprecyzować potrzeby informacyjne, określić możliwe źródła informacji, a następnie dokonać wyboru najbardziej odpowiednich metod badania, technik badawczych oraz w dalszej kolejności skonstruować narzędzia badawcze. 9
Pytanie główne ewaluacji ex-post sformułowano następująco: W jakim stopniu realizacja celów projektu faktycznie przyczyniła się do identyfikacji i rozwiązania problemów, dla których powstał projekt? Pytanie kluczowe uszczegółowiono następnie, przekładając je na kilka podstawowych pytań badawczych, które zostały w dalszej części przedstawione w formie pytań szczegółowych związanych z analizą według wskazanych kryteriów. Podstawowe pytania badawcze określono następująco: 1) w jakim stopniu ten projekt miał sens z punktu widzenia istniejących potrzeb w zakresie diagnozy zjawiska bezdomności oraz wypracowania nowych metod pracy z bezdomnymi? 2) :w jakim stopniu cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte? 3) na ile projekt spełnił oczekiwania potencjalnych adresatów? 4) w jakim stopniu zrealizowany projekt ma szansę przyczynić się do trwałego ukształtowania nowych standardów w instytucjach i organizacjach zaangażowanych w proces pomocy bezdomnym? Głównie pytania badawcze zostały przeformułowane w postaci pytań szczegółowych, odpowiedź na te pytania pozwoli określić stopień realizacji celów i wskaźników ewaluowanego projektu. Pytania szczegółowe przedstawiają się następująco: 1) W jaki sposób w badanym projekcie określono cele projektowe? 2) Czy cele te zostały sformułowane w jasny i precyzyjny sposób? 3) W jakim stopniu przyjęte w projekcie cele odpowiadają istotnym problemom związanym z diagnozowaniem zjawiska bezdomności w województwie lubelskim? 4) W jakim stopniu przyjęte w projekcie cele odpowiadają ważnym potrzebom i problemom funkcjonowania podmiotów zaangażowanych w proces pomocy bezdomnym? 5) Jak można ocenić stopień, w jakim cele projektowe skoordynowane zostały ze sposobem ich realizacji? 6) Na ile cele projektu okazały się zgodne z faktycznymi potrzebami potencjalnych adresatów projektu? 7) Jakie czynniki i działania sprzyjają wysokiej skuteczności realizowanych zadań projektowych? 8) Czy działania te mogą zostać uznane za dobre praktyki warte upowszechnienia? 9) Jakie czynniki stanowią barierę skuteczności w realizowanym projekcie? 10) Czy zaplanowane dalsze działania są odpowiednie do osiągnięcia celów projektu? 11) Czy powinny zostać wprowadzone zmiany w sposobach realizacji celów projektu, jeśli tak, to jakie? 12) Jakie są rezultaty ewaluowanego projektu, oceniane z punktu widzenia diagnozy potrzeb osób bezdomnych? 13) W jaki sposób realizacja projektu przyczynia się do poszerzenia wiedzy i wypracowania nowych metod pracy instytucji oraz organizacji pozarządowych wspierających osoby bezdomne? 10
14) Czy zrealizowanie projektu przyczyni się do rozszerzenia istniejącego już lub wprowadzenia nowego obszaru badań? 15) Czy dotychczasowe efekty realizacji projektu spotkały się z zainteresowaniem instytucji realizujących różne formy pomocy bezdomnym? 16) W jakim zakresie realizacja projektu przyczyniła się do rozwoju potencjału instytucji realizującej oraz zespołu projektowego? 17) Jak oceniana jest przydatność zrealizowanych zadań projektowych przez realizatorów projektu? 18) Jakie czynniki wewnętrzne i zewnętrze decydują lub będą decydować o trwałości rezultatów projektu? 19) Jakie działania powinny zostać podjęte, aby zachowana została trwałość efektów? 20) Czy warunki, w jakich funkcjonują organizacje i osoby będące adresatami projektu sprzyjają wykorzystywaniu osiągniętych w wyniku realizacji projektu efektów? 2.3. Kryteria ewaluacji Pytania główne i szczegółowe związane zostały z kryteriami zastosowanymi dla ewaluacji ex-post. Są to następujące cztery kryteria 1. trafność pozwalająca ocenić adekwatność celów i zastosowanych metod projektu do problemów i kwestii społecznych, które projekt miał poruszyć lub rozwiązać. 2. skuteczność badająca stopień realizacji zakładanych celów, skuteczność użytych metod oraz wpływ czynników zewnętrznych na ostateczne efekty. 3. użyteczność badająca stopień, w jakim projekt zaspokaja istotne potrzeby grup docelowych lub przyczynia się do rozwiązania problemów, niezależnie od tego, czy były one zasygnalizowane przez cele projektu (czy rzeczywiste efekty projektu są zgodne z potrzebami?) 4. trwałość określająca szanse trwania pozytywnych zmian wywołanych oddziaływaniem projektu po jego zakończeniu. Opisanym wyżej kryteriom przyporządkowane zostały pytania ogólne i szczegółowe, zestawione w tabeli 1. Tabela 1. Pytania szczegółowe ewaluacji ex post kryterium Trafność pytania badawcze (ewaluacyjne) 1. Pytanie ogólne: w jakim stopniu ten projekt miał sens z punktu widzenia istniejących potrzeb w zakresie diagnozy zjawiska bezdomności oraz wypracowania nowych metod pracy z bezdomnymi? 2. Pytania szczegółowe: 1) W jaki sposób w badanym projekcie określono cele projektowe? 2) Czy cele te zostały sformułowane w jasny i precyzyjny sposób? 3) W jakim stopniu przyjęte w projekcie cele odpowiadają istotnym problemom związanym z diagnozowaniem zjawiska bezdomności w województwie lubelskim? 4) W jakim stopniu przyjęte w projekcie cele odpowiadają ważnym potrzebom i problemom funkcjonowania podmiotów zaangażowanych w proces pomocy bezdomnym? 5) Jak można ocenić stopień, w jakim cele projektowe skoordynowane zostały ze sposobem ich realizacji? 11
Skuteczność Użyteczność Trwałość 1. Pytanie ogólne: do jakiego stopnia cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte? 2. Pytania szczegółowe: 1) Jakie czynniki i działania sprzyjały wysokiej skuteczności realizowanych zadań projektowych? 2) Czy działania te mogą zostać uznane za dobre praktyki warte upowszechnienia? 3) Jakie czynniki stanowiły barierę skuteczności w zrealizowanym projekcie? 4) Czy zaplanowane działania zostały w projekcie osiągnięte? 1.Pytanie ogólne: na ile projekt spełnił oczekiwania potencjalnych adresatów? 2. Pytania szczegółowe: 1) W jakim stopniu i w jaki sposób realizacja projektu przyczyniła się do poszerzenia wiedzy i wypracowania nowych metod pracy instytucji oraz organizacji pozarządowych wspierających osoby bezdomne? 2) Czy zrealizowanie projektu przyczyniło się do rozszerzenia istniejącego już lub wprowadzenia nowego obszaru badań? 3) Czy efekty projektu spotkały się z zainteresowaniem instytucji realizujących różne formy pomocy bezdomnym? 4) Na ile cele projektu okazały się zgodne z faktycznymi potrzebami potencjalnych adresatów projektu? 5) W jakim zakresie realizacja projektu przyczyniła się do rozwoju potencjału instytucji realizującej oraz zespołu projektowego? 6) Jak oceniana jest przydatność zrealizowanych zadań projektowych przez realizatorów projektu? 1. Pytanie ogólne: w jakim stopniu zrealizowany projekt ma szansę przyczynić się do trwałego ukształtowania nowych standardów w instytucjach i organizacjach zaangażowanych w proces pomocy bezdomnym? 2. Pytania szczegółowe: 1) W jakim stopniu adresaci projektu zamierzają korzystać w przyszłości z rezultatów badań uzyskanych w projekcie? 2) Jakie czynniki wewnętrzne i zewnętrze decydowały o trwałości rezultatów projektu? 3) Jakie działania powinny zostać podjęte, aby zachowana została trwałość efektów? 4) Czy warunki, w jakich funkcjonują organizacje i osoby będące adresatami projektu sprzyjają wykorzystywaniu osiągniętych w wyniku realizacji projektu efektów? Ponadto w przypadku konferencji, strony internetowej, publikacji i innych działań upowszechniających ocenie podlegały: 1) skierowanie działań promocyjnych do właściwych odbiorców, 2) indywidualny, osobisty kontakt (bardziej zobowiązuje) z potencjalnymi odbiorcami, 3) współpraca z instytucjami, organizacjami, mediami, 4) atrakcyjność i czytelność strony internetowej, broszur i publikacji, 5) odpowiednie informacje umieszczane na stronie internetowej. 12
2.4. Wskaźniki Przeprowadzenie ewaluacji wymaga określenia wskaźników, czyli znaków obecności lub nieobecności danego zjawiska lub jego poziomu czy wymiarów. Wskaźniki pozwalają orzekać o tym, czy i w jakim stopniu zakładane cele zostały osiągnięte. Wskaźniki to zmienne poddające się pomiarowi i pozostające w związku z interesującymi nas cechami analizowanych obiektów czy stanów rzeczy, przez co wykorzystuje się je do stwierdzenia, czy dany stan rzeczy zachodzi lub, gdy mamy do czynienia z charakterystykami dającymi się ująć ilościowo, jaki jest jego rozmiar. Wskaźniki powinny umożliwić porównanie założeń Wnioskodawcy, dotyczących skutków oraz efektów realizacji projektu z rzeczywistymi wynikami realizacji. W tabeli 2. zestawiono łącznie kryteria, pytania kluczowe i wskaźniki, co umożliwia pełniejszy wgląd w logikę proponowanej analizy projektu. Tabela 2. Kryteria ewaluacji, pytania kluczowe i wskaźniki kryterium pytania kluczowe wskaźniki trafność skuteczność użyteczność w jakim stopniu projekt miał sens z punktu widzenia istniejących potrzeb w zakresie diagnozy zjawiska bezdomności oraz wypracowania nowych metod pracy z bezdomnymi? do jakiego stopnia cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte? na ile projekt spełnił oczekiwania potencjalnych adresatów? -stopień adekwatności celów projektu do celów dokumentów programowych POKL oraz krajowych programów wychodzenia z bezdomności, -stopień zgodności celów poszczególnych etapów badań z celami projektu, -terminowość realizacji etapów badań, - liczba instytucji objętych analizą danych urzędowych, - liczba osób bezdomnych, objętych indywidualnymi wywiadami kwestionariuszowymi, - liczba ekspertów uczestniczących w panelach dyskusyjnych, - przygotowanie raportów cząstkowych oraz raportu końcowego z badań, - lista zdiagnozowanych przyczyn, cech społecznodemograficznych, potrzeb osób bezdomnych w województwie lubelskim, - lista zdiagnozowanych problemów i metod pracy instytucji wspierających osoby bezdomne w województwie lubelskim, -liczba instytucji, do których wysyłano raporty końcowe - liczba i % badanych uczestników konferencji, którzy potwierdzili znajomość przesłanych raportów, - liczba uczestników konferencji - liczba i % osób deklarujących poszerzenie wiedzy na temat zasięgu bezdomności, przyczyn 13
trwałość w jakim stopniu zrealizowany projekt ma szansę przyczynić się do trwałego ukształtowania nowych standardów w instytucjach i organizacjach zaangażowanych w proces pomocy bezdomnym? bezdomności, cech społeczno-demograficznych, potrzeb osób bezdomnych oraz funkcjonowania systemu wsparcia i pomocy osobom bezdomnym, - liczba i % uczestników konferencji deklarujących wzrost zainteresowania budowaniem profesjonalnego zaplecza pomocy osobom bezdomnym, - liczba i % uczestników konferencji deklarujących wzrost zainteresowania operacyjnym podejściem do planowania działań w zakresie pomocy społecznej, - liczba i % uczestników konferencji oceniających uzyskane rezultaty projektu jako użyteczne z punktu widzenia pomocy osobom bezdomnym, - liczba i % uczestników konferencji, którzy uznali przydatność poznanych w trakcie konferencji rekomendacji dotyczących wdrażania nowych lub modyfikacji istniejących działań wspierających osoby bezdomne - liczba i % uczestników konferencji deklarujących praktyczne zastosowanie uzyskanej wiedzy oraz poznanych rekomendacji w przyszłych działaniach, 2.5. Narzędzia badawcze Badanie ewaluacyjne ex-post miało charakter ilościowo-jakościowy. Wykorzystano następujące techniki badań jakościowych: 1) obserwacja, zrealizowana w czasie jednego spośród czterech grupowych wywiadów zogniskowanych (załącznik 3 zawiera arkusz obserwacji) 2) wywiad kwestionariuszowy nieustrukturalizowany, zrealizowany z personelem projektu (załącznik 2 dyspozycje do wywiadu) Dodatkowo celem wywiadu było zidentyfikowanie podstawowych uwarunkowań, które spowodowały określony stan faktyczny w odniesieniu do poszczególnych zagadnień ewaluacyjnych. Uwarunkowania są grupowane według trzech aspektów: a) Podmiot, czyli charakterystyka instytucji realizującej projekt (typ organizacji, okres działalności, zasoby ludzkie, zasoby materialne, doświadczenie związane z przedmiotem projektu, doświadczenie związane z realizacją projektów w itp.). b) Przedmiot, czyli charakterystyka konkretnego problemu, którego rozwiązaniu służy projekt (rodzaj projektu, charakterystyka adresata, forma działania itp.). 14
c) Otoczenie, czyli charakterystyka miejsca, w którym jest realizowany projekt (położenie geograficzne, zasięg, rodzaj obszaru, relacje z potencjalnymi partnerami inne organizacje, samorząd, społeczność lokalna itp. 3) analiza dokumentów.(załącznik 1 wytyczne do analizy dokumentów) Analizę dokumentów zastosowano do publikacji końcowej, wykorzystano także wyniki analizy dokumentów opracowane na etapie ewaluacji mid-term Techniką badań ilościowych była ankieta adresowana do uczestników konferencji upowszechniającej wyniki badań oraz proponowane nowe metody pracy z bezdomnymi (załącznik 4 - kwestionariusz ankiety). Badanie ankietowe zrealizowano ze wszystkimi uczestnikami w trakcie trwania konferencji. Do oceny rezultatów projektu zastosowano także metodę heurystyczną - analizę SWOT. Analiza SWOT to analiza mocnych (strenghts) i słabych (weaknesses) stron danego przedsięwzięcia oraz szans (opportunities)i zagrożeń (threats), jakie wynikają z czynników zewnętrznych. Mocne i słabe strony zostają skonfrontowane z czynnikami, które są poza kontrolą osób odpowiedzialnych za realizację przedsięwzięcia, a które w pozytywny (szanse) lub negatywny (zagrożenia) sposób mogły wpływać na wdrażanie projektu. Ważną sprawą jest wydzielenie czynników, które mogły wpływać na rozwijanie mocnych stron projektu, na eliminowanie lub ograniczanie stron słabych, wykorzystywanie istniejących możliwości i pojawiających się szans oraz uniknięcie przewidywanych zagrożeń i niebezpieczeństw. W procesie analizy SWOT wykorzystano wszystkie dane zgromadzone w ewaluacji mid-term i expost. Przygotowanie analizy SWOT obejmowało następujące czynności: -zdefiniowanie mocnych i słabych stron projektu oraz szans i zagrożeń w odniesieniu do zakładanych rezultatów, -przypisanie poszczególnym silnym i słabym stronom oraz szansom i zagrożeniom wag określających ich istotność z obranego punktu widzenia: możliwość kontynuacji badań w przyszłości, możliwość implementacji rezultatów, -identyfikacja siły związku poszczególnych cech macierzy SWOT z bliższym i dalszym otoczeniem projektu. 2.6. Organizacja, przebieg badań i charakterystyka respondentów Realizacja badań ewaluacyjnych obejmowała kilka etapów: przygotowanie narzędzi ewaluacji oraz opracowanie metodologii badań, analizę dokumentów, obserwację, wywiady nieustrukturalizowane z pracownikami projektu, ankiety audytoryjne z uczestnikami konferencji podsumowującej i upowszechniającej rezultaty projektu oraz analizę SWOT. Analizę dokumentów przeprowadzono trzykrotnie: kwiecień-maj 2010, sierpień-wrzesień 2010 oraz marzec kwiecień 2011. Obejmowała ona dokumentację projektu (w tym dane z monitoringu), narzędzia badawcze zastosowane na poszczególnych etapach badań oraz raporty cząstkowe oraz raport 15
końcowy. Wytyczne do analizy dokumentów zawiera załącznik nr 1. Celem ogólnym analizy dokumentów było zgromadzenie danych do raportu z ewaluacji mid term projektu. Ponadto analizie poddano zapisy dokumentów programowych POKL: Programu Operacyjnego Kapitał Ludzki, Szczegółowego Opisu Priorytetów POKL, Krajowego Programu Wychodzenia z Bezdomności i Budownictwa Socjalnego na lata 2009 2013 (opr. Ministerstwo Pracy i Polityki Społecznej przy współudziale Ministerstwa Infrastruktury), opracowanego w wyniku konsultacji międzyresortowych w 2009 roku zakresu tematycznego proponowanych obszarów działań, jakie będą ujęte w projekcie dokumentu pt: Krajowa Strategia Wychodzenia z Bezdomności oraz Strategii polityki społecznej województwa lubelskiego na lata 2005 2013. W analizie tej uwzględniono jedynie aspekty istotne z punktu widzenia problematyki bezdomności. W trakcie badań ewaluacyjnych przeprowadzono obserwację grupowego wywiadu zogniskowanego zrealizowanego przez 2 moderatorów z pracownikami instytucji wsparcia i przeciwdziałania bezdomności. Celem głównym tego etapu badań ewaluacyjnych była identyfikacja ewentualnych trudności w realizacji tej części projektu badawczego. Zebrane informacje posłużyły do przygotowania raportu w ramach ewaluacji śródokresowej łącznie z danymi pochodzącymi z analizy dokumentów oraz wywiadów nieformalnych zrealizowanych z osobami kluczowymi w projekcie. Obserwacja jest metodą zbierania danych poprzez uczestniczenie w czasie realizacji projektu. Pozwala to na lepsze zrozumienie kontekstu, w jakim realizowane są zadania. Ewaluator poprzez bezpośrednie zetknięcie się z realizacją projektu mógł osobiście przekonać się jak projekt funkcjonuje, mógł ewentualnie dostrzec zjawiska, które nie są zauważane przez uczestników projektu, lub kwestie drażliwe i konfliktowe. Zakres obserwacji nie pozwala oczywiście na formułowanie uogólnień dotyczących przebiegu procesu badawczego, może jednak dostarczyć wskazówek przyczyniających się do identyfikacji przyczyn sukcesów i trudności realizowanych w projekcie zadań badawczych. Przedmiotem obserwacji był grupowy wywiad zogniskowany zrealizowany w dniu 29.06.2010 roku w siedzibie Wyższej Szkoły Przedsiębiorczości i Administracji w Lublinie przy ul. Bursaki 12. Wywiadowi nadano charakter eksperckiego panelu dyskusyjnego. Grupa fokusowa liczyła 9 osób, w tym jedna osoba bezdomna. W trakcie moderowanej dyskusji oprócz grupy fokusowej oraz dwóch moderatorów na sali obecny był koordynator projektu oraz ewaluator. Obserwacja miała charakter obserwacji kontrolowanej: jasno określono co, gdzie i kiedy ma być obserwowane. Narzędziem organizującym przebieg badania był arkusz obserwacji. Wywiady nieustrukuralizowane z pracownikami projektu przeprowadzono w styczniu 2011 roku w oparciu o przygotowany uprzednio scenariusz. W badaniu uczestniczyło 2 specjalistów ds. badań oraz koordynator projektu. Celem badań była identyfikacja problemów wynikających z realizacji projektu, zapoznanie się z oceną doświadczeń zdobytych w trakcie działań projektowych oraz identyfikacja rekomendacji respondentów dla przyszłych badań w zakresie problemów objętych celami projektu. Badania ankietowe przeprowadzono ze wszystkimi uczestnikami konferencji (łącznie 55 osób), zorganizowanej w dniu 28 kwietnia 2011 roku w siedzibie Wyższej Szkoły Przedsiębiorczości 16
i Administracji w Lublinie. Celem badań było zapoznanie się z oceną rezultatów projektu przez uczestników konferencji, identyfikacja przydatności tego typu projektów dla podniesienia jakości wsparcia udzielanego bezdomnym oraz ocena szans trwałości rezultatów projektu w postaci zastosowania wyników badań w przyszłych działaniach uczestników konferencji oraz instytucji, które reprezentowali. Analizę SWOT przeprowadzono w maju 2011 roku, po zapoznaniu się z wynikami wszystkich dotychczasowych badań. Celem analizy była identyfikacja mocnych i słabych stron projektu oraz ocena szans i zagrożeń związanych z użytecznością i trwałością wyników badań. Wyniki badań i analiz służyły ocenie projektu pod względem jego trafności, skuteczności, użyteczności oraz trwałości. W tabeli 3 zestawiono źródła danych w powiązaniu z wymienionymi kryteriami ewaluacyjnymi. Tabela 3. Źródła danych dla oceny według poszczególnych kryteriów Kryterium trafność skuteczność użyteczność trwałość źródło danych analiza dokumentacji projektowej analiza narzędzi badawczych analiza raportu końcowego analiza danych monitoringu analiza materiałów i sposobów promocji(w tym strony internetowej) analiza wyników obserwacji analiza wywiadów nieustrukturalizowanych analiza raportu końcowego analiza wyników badań ankietowych analiza wywiadów nieustrukturalizowanych analiza wyników badań ankietowych analiza wywiadów nieustrukturalizowanych, analiza wyników badań ankietowych analiza SWOT W trakcie konferencji zrealizowano ankietę z 55 osobami wszystkimi jej uczestnikami. Poniżej przedstawiono charakterystykę społeczno-demograficzna respondentów. Wśród 55 uczestników większość 42 osoby (76,4%) stanowiły kobiety. W konferencji wzięło udział 13 mężczyzn (23,6%). Wydaje się, że na taki skład badanych ze względu na płeć wpłynęła znaczna feminizacja zawodów związanych z pomocą społeczną oraz instytucjami rynku pracy. Najmłodszy uczestnik konferencji liczył 21 lat, zaś najstarszy 60 lat. Średnia wieku wyniosła 32,9, zaś mediana kształtowała się na poziomie 32 lat, co oznacza że połowa uczestników konferencji liczyła 32 i mniej lat, była więc to grupa respondentów stosunkowo młoda. W tabeli 4 przedstawiono strukturę respondentów ze względu na wiek, uwzględniając kilka przedziałów wiekowych. 17
Tabela 4. Struktura wieku respondentów przedział wieku N % do 29 21 38,18 30-39 25 45,45 40-49 6 10,91 50 i więcej 3 5,45 razem 55 100,00 Źródło: opracowanie własne na podstawie wyników badań Jak wynika z przedstawionych danych, najliczniejszą grupą były osoby w przedziale wieku od 30 do 39 r.ż. (45,45%), najmniej zaś liczną respondenci w wieku powyżej 50 lat (3 osoby 5,45%). Osoby z wykształceniem wyższym stanowiły 70,9% ankietowanych (39 osób) zaś osoby z wykształceniem średnim - 29,1% (16 osób). Na wykresie 1 przedstawiono % osób reprezentujących poszczególne rodzaje instytucji i organizacji. Część uczestników konferencji stanowili studenci lubelskich uczelni. Wykres 1. Struktura grupy ze względu na rodzaj instytucji przedstaw iciele innych instytucji 16,36% przedstaw w iciele NGO 10,91% przedstaw iciele instytucji pomocy społecznej 29,09% przedstaw iciele administracji państw ow ej 12,73% studenci 16,36% brak w skazań 14,55% 0,00% 5,00% 10,00% 15,00% 20,00% 25,00% 30,00% 35,00% Źródło: opracowanie własne na podstawie wyników badań Wśród uczestników konferencji najliczniejszą grupę stanowiły osoby reprezentujące instytucje pomocy społecznej (PCPR, OPS, GOPS) 16 osób (29,09%), drugą co do liczebności grupą byli studenci lubelskich uczelni 9 respondentów (16,36%), następnie zaś przedstawiciele administracji państwowej (w tym Urzędu Wojewódzkiego w Lublinie) 7 osób (12,73%) i przedstawiciele organizacji pozarządowych 6 osób (10,91%). Przedstawiciele innych instytucji, takich, jak urzędy pracy, samorząd terytorialny, placówki resocjalizacyjne) stanowili łącznie 9 osób (16,36%). Ponadto 8 osób nie wymieniło instytucji, którą reprezentuje (14,55%). Ostatnim kryterium, charakteryzującym uczestników badań ankietowych była forma pomocy udzielanej bezdomnym. 18
Wykres 2. Formy udzielanej pomocy inne 8 pomoc materialna 5 praca socjalna, psychologiczna 4 darowizny, okazjonalne datki 6 kontakt i informacja 8 dotychczas nie udzielał pomocy 7 bnrak odpowiedzi 17 0 2 4 6 8 10 12 14 16 18 Źródło: opracowanie własne na podstawie wyników badań Jak wynika z przedstawionych na wykresie danych, stosunkowo dużo osób nie udzieliło na to pytanie odpowiedzi (31%), zaś 7 respondentów dotychczas nie udzielało bezdomnym pomocy. Najczęściej realizowanym wsparciem jest utrzymywanie z bezdomnymi stałego kontaktu, udzielanie informacji w tym o możliwościach uzyskania pomocy. 6 osób (10,9%) wspierało bezdomnych udzielając im darowizn, okazjonalnych datków - pomoc ta miała sporadyczny charakter. Zorganizowanej pomocy materialnej udzielało 5 respondentów, pracą socjalną wśród bezdomnych i pomocą psychologiczną zajmowało się 4 osoby, zaś 8 osób w innej formie wspierało tę grupę m.in. poprzez szkolenie pracowników socjalnych, pomoc bezdomnym w znalezieniu pracy, wspieranie instytucjonalne zadań na rzecz tej grupy. 19
3.Analiza wyników ewaluacji 3.1. Ogólna charakterystyka projektu Projekt Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim (numer projektu POKL 07.02.1-06-022/09, numer umowy POKL POKL 07.02.1-06-022/09-00 z dnia 15 października 2009 roku), zrealizowano w ramach Priorytetu VII POKL: Promocja integracji społecznej, Działania 7.2. Przeciwdziałanie wykluczeniu i wzmocnienie sektora ekonomii społecznej, Poddziałania 7.2.1. Aktywizacja zawodowa i społeczna osób zagrożonych wykluczeniem społecznym, w ramach którego przewidziano prowadzenie, publikowanie i upowszechnianie badań i analiz z zakresu polityki społecznej w regionie (w tym działań mających na celu przygotowanie i wdrażanie gminnych lub powiatowych strategii rozwiązywania problemów społecznych). Realizatorem projektu była Wyższa Szkoła Przedsiębiorczości i Administracji w Lublinie, posiadająca status prawny uczelni wyższe w terminie 1.11.2009 31.05.2011. Ogólny cel projektu przewidywał zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku. Cele szczegółowe projektu obejmowały: 1) Określenie zasięgu bezdomności i jego dynamiki w województwie lubelskim, 2) Określenie cech społeczno-demograficznych osób bezdomnych w regionie, 3) Rozpoznanie procesu wchodzenia w bezdomność i marginalizacji, 4) Zdiagnozowanie potrzeb osób bezdomnych z punktu widzenia ich samych i instytucji wsparcia, 5) Zdiagnozowanie i ocena funkcjonowania systemu wsparcia i pomocy osobom bezdomnym na terenie województwa lubelskiego, 6) Upowszechnienie wyników diagnozy. Realizacji tak sformułowanych celów projektu służyły następujące działania: 1) Zarządzanie promocja i informacja oraz ewaluacja projektu, 2) Przeprowadzenie badań, na które składały się: analiza danych urzędowych, indywidualne wywiady pogłębione z osobami bezdomnymi, indywidualne wywiady kwestionariuszowe z bezdomnymi, grupowe wywiady zogniskowane z pracownikami instytucji udzielających wsparcia i pomocy osobom bezdomnym oraz opracowanie raportów cząstkowych z poszczególnych badań, 3) Opracowanie raportu końcowego z badań, 4) Publikacja i upowszechnianie wyników badań, w tym zorganizowanie konferencji z udziałem przedstawicieli lubelskich samorządów lokalnych, instytucji państwowych i organizacji pozarządowych, działających w sferze pomocy społecznej, jednostek naukowych i mediów. Projekt został zrealizowany przez zespół projektowy w następującym składzie: koordynator projektu, pracownik ds. rozliczeń finansowych, radca prawny, księgowa, kadrowa, pracownik 20
ds. promocji i informacji, informatyk, grafik, 3 specjalistów ds. badań, asystent ds. badań (obsługi logistycznej i transkrypcji), 15 ankieterów, specjalista ds. ewaluacji. W ramach projektu przewidziano osiągnięcie następujących rezultatów miękkich: - diagnoza zasięgu bezdomności i jego dynamiki w województwie lubelskim, - diagnoza w zakresie cech społeczno-demograficznych osób bezdomnych w regionie, -diagnoza procesu wchodzenia w bezdomność i marginalizacji, - wieloaspektowa diagnoza potrzeb osób bezdomnych, -wypracowanie nowych metod pracy z bezdomnymi, w tym modelu wyjścia z bezdomności, -uzyskanie przez minimum 80% odbiorców publikacji wiedzy na temat zasięgu bezdomności i jego dynamiki, cech społeczno-demograficznych osób bezdomnych i ich potrzeb, funkcjonowania systemu wsparcia i pomocy osobom bezdomnym, procesu wchodzenia w bezdomność i marginalizacji w skali województwa lubelskiego, - wzrost zainteresowania budowaniem profesjonalnego zaplecza informacyjnego dotyczącego problemu bezdomności i systemu wsparcia i pomocy osobom bezdomnym u minimum 70% uczestników konferencji, - wzrost zainteresowania operacyjnym podejściem do planowania działań w obszarze pomocy społecznej u minimum 70% uczestników konferencji. 3.2.Analiza i ocena trafności projektu Trafność każdego projektu oceniana jest na etapie konkursu, czyli przed przyjęciem projektu do realizacji. Jednak wydaje się, że z punktu widzenia realizatorów projektu wewnętrzna ocena trafności projektu oparta o doświadczenia zespołu projektowego może okazać się przydatna w konstruowaniu następnych projektów badawczych. Ocena trafności projektu dotyczy oszacowania adekwatność celów i zastosowanych metod projektu do problemów, które projekt miał poruszyć lub rozwiązać. W celu oceny trafności projektu zastosowano analizę dokumentów, obejmującą zarówno dokumentację projektu, przygotowane przez zespół badawczy narzędzia badawcze jak też zapisy dokumentów programowych POKL: Programu Operacyjnego Kapitał Ludzki, Szczegółowego Opisu Priorytetów POKL, Krajowego Programu Wychodzenia z Bezdomności i Budownictwa Socjalnego na lata 2009 2013 (opr. Ministerstwo Pracy i Polityki Społecznej przy współudziale Ministerstwa Infrastruktury), opracowanego w wyniku konsultacji międzyresortowych w 2009 roku zakresu tematycznego proponowanych obszarów działań, jakie będą ujęte w projekcie dokumentu pt: Krajowa Strategia Wychodzenia z Bezdomności. Celem głównym PO KL jest wzrost poziomu zatrudnienia i spójności społecznej. Spójność społeczna uwarunkowana jest zmniejszaniem marginalizacji i wykluczenia społecznego różnych grup społecznych. Z analizy wspomnianych uprzednio dokumentów programowych POKL wynika, iż proces diagnozy, polegający na rozpoznaniu problemów osób bezdomnych jako podstawy podejmowania 21
działań instytucjonalnych zmierzających do ograniczenia procesu wykluczenia społecznego, zgodny jest z drugim celem strategicznym POKL (Zmniejszenie obszarów wykluczenia społecznego). Krajowy Program Wychodzenia z Bezdomności i Budownictwa Socjalnego na lata 2009 2013 opracowany Ministerstwo Pracy i Polityki Społecznej przy współudziale Ministerstwa Infrastruktury, w ramach problematyki zabezpieczenia społecznego wyodrębnia obszar Diagnoza stanu bezdomności, dla którego priorytetem jest rzeczywista statystyka osób bezdomnych a przewidywanym kierunkiem na przyszłość stały monitoring bezdomności. W dokumencie tym stwierdzono, że istnieją znaczne rozbieżności w różnego typu danych statystycznych, dotyczących bezdomności. Różnica statystyczna pomiędzy podawanymi liczbami jest podstawą do wyznaczenia zadania polegającego na wypracowaniu i wyborze w kraju jednolitego systemu mierzalności ilościowej osób bezdomnych. Efektem końcowym ma być sytuacja, w której instytucje działające na rzecz przeciwdziałania bezdomności dysponować będą rzeczywistą liczbą osób potrzebujących pomocy. Ponadto, chodzi o wprowadzenie standardu zawierającego etapy wychodzenia z bezdomności. W wyniku przeprowadzonych przez Departament Pomocy i Integracji Społecznej w dniu 2 lipca 2008r. konsultacji wewnątrzresortowych uszczegółowiono zakres tematyczny proponowanych obszarów działań, jakie będą ujęte w projekcie dokumentu pt: Krajowa Strategia Wychodzenia z Bezdomności. Obszar I obejmuje diagnozę oraz analizę skali zjawiska bezdomności. Proponowane zadania: 1) bezdomność w Polsce skala zjawiska, liczba noclegowni i schronisk dla bezdomnych oraz instytucje pomocowe; 2) rozwiązania prawne dla osób bezdomnych prawa oraz obowiązki przy korzystaniu z pomocy, 3) metody pomocy i ścieżki wychodzenia z bezdomności. Należy przy tym dodać, że w oparciu o doświadczenia krajów posiadających zintegrowane strategie wobec bezdomności i wykluczenia mieszkaniowego (np. Szkocja, Irlandia, Norwegia) Europejska Federacja Narodowych Organizacji Pozarządowych Pracujących na rzecz Bezdomnych (FEANTSA) sformułowała listę wytycznych dla tworzenia krajowych strategii. Pierwszym na liście jest zalecenie zakorzenienia strategii w wiedzy potwierdzonej badaniami. Potrzebne są zróżnicowane badania, których kształt jest wyznaczany przez cel, dla którego się je prowadzi. Ewentualna definicja bezdomności powinna odzwierciedlać kontekst polityki społecznej, dla potrzeb której badanie jest realizowane. Przyjęcie dynamicznego podejścia jest istotne, ponieważ pozwala na refleksję i zidentyfikowanie problematycznych wydarzeń życiowych przyczyniających się do utraty dachu nad głową, a co za tym idzie, umożliwia adekwatne zaplanowanie działań prewencyjnych. W świetle takiego rozumienia zakłada się, że policzenie wszystkich zajętych łóżek w instytucjach dla bezdomnych w wyznaczonym punkcie czasowym jest niewystarczające. Badaniem trzeba również objąć ukryte przyczyny bezdomności wpisane w kariery życiowe i procesy stopniowego tracenia dachu nad głową, które mogą dotykać osób zupełnie nie pasujących do powszechnego wizerunku bezdomności. Dopiero wtedy możliwe jest otrzymanie pełnego obrazu fenomenu bezdomności, obejmującego nie tylko mieszkanie na dworcach i schroniskach, ale również sytuacje pośredniego lub bezpośredniego zagrożenia utraty wydawałoby się stabilnej sytuacji mieszkaniowej. Osoby bezdomne lub mieszkające w nietypowych i tymczasowych pomieszczeniach zazwyczaj nie są ujmowane w badaniach 22
gospodarstw domowych, spisach powszechnych i innych masowych statystykach. Dane usługodawców zależą od jakości systemu usług i nie obejmują informacji o osobach najbardziej wykluczonych, niechętnych do korzystania z pomocy, przez co dają obraz częściowy lub nawet wprowadzający w błąd. Strategia polityki społecznej województwa lubelskiego na lata 2005 2013 zawiera Program przeciwdziałania wykluczeniu społecznemu poprzez efektywną pomoc społeczną, w którym jako jedno z narzędzi realizacji wskazuje określenie natężenia niekorzystnych zjawisk społecznych w województwie powodujących dezintegrację społeczną i zawodową. W powyższym dokumencie planuje się również rozwój środowiskowych form wsparcia w miejscu zamieszkania, w tym rozwój aktywnych form wsparcia dla osób bezdomnych i zagrożonych bezdomnością. Przegląd wybranych dokumentów, zarówno krajowych, jak i unijnych wskazuje, że diagnoza bezdomności ujmowana jest jako istotna podstawa wszelkich podejmowanych działań na rzecz bezdomnych. Nie chodzi w tym przypadku wyłącznie o statystyki dotyczące liczebności tej kategorii osób, lecz co istotne o zidentyfikowanie problematycznych wydarzeń życiowych przyczyniających się do utraty dachu nad głową. Głównym celem ocenianego projektu Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim była kompleksowe zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku Wpisuje się on w realizację celów wyznaczonych w tym zakresie przez dokumenty programowe POKL, krajową i regionalną strategię polityki społecznej, które ujmują diagnozę bezdomności jako jeden z ważnych elementów działań na rzecz przeciwdziałania wykluczeniu społecznemu. Wspomniane dokumenty podkreślają także konieczność podejmowania działań zmierzających do rozwoju nowych form wsparcia osób bezdomnych na poziomie regionalnym. Ponadto cel ogólny i cele szczegółowe projektu znalazły swoje dalsze rozwinięcie w poszczególnych etapach procesu badawczego, stając się celami operacyjnymi dla jego poszczególnych elementów. Cele te precyzowały w sposób jasny i szczegółowy zamierzenia badawcze dla każdej z zastosowanych metod i technik. I tak, celem analizy danych urzędowych było określenie zasięgu bezdomności (ilość notowanych bezdomnych korzystających z pomocy instytucjonalnej) i jego dynamiki (sezonowej, rocznej), porównanie z danymi w skali kraju, badanie struktury i zasad funkcjonowania instytucji zajmujących się bezdomnością oraz analiza wydatkowanych przez te instytucje środków ze względu na cele. Cele te zostały z kolei przełożone na pytania badawcze, na które odpowiedź pozwoliła na ich realizację. Indywidualne wywiady kwestionariuszowe zrealizowane przez ankieterów z osobami bezdomnymi miały na celu diagnozę przyczyn bezdomności, opis funkcjonowania osób bezdomnych w środowisku społecznym, ocenę stopnia wykluczenia i marginalizacji, określenie związku bezdomności z patologiami społecznymi, identyfikację przyczyn niepowodzeń w procesie wychodzenia z bezdomności i konstrukcję optymalnego modelu wychodzenia z bezdomności oraz ocenę pomocy instytucjonalnej z perspektywy bezdomnych. 23