Ewaluacja działań w obszarze pomocy i integracji społecznej

Transkrypt

1 Szkolenie współfinansowane przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Ewaluacja działań w obszarze pomocy i integracji społecznej Kraków, 2-4 czerwca 2014 r Regionalny Ośrodek Polityki Społecznej w Krakowie Projekt Małopolskie Obserwatorium Polityki Społecznej Etap I ul. Piastowska 32, Kraków tel , obserwatorium@rops.krakow.pl

2 Istota ewaluacji Ewaluacja okresowa ocena projektowanych, realizowanych lub zrealizowanych działań w kontekście ustalonych celów. Ewaluacja przeprowadzana jest w kontekście efektywności, skuteczności, trwałości i celowości działania (celów, wyników, działań i wykorzystanych środków). Przeprowadza się ją najczęściej w postaci niezależnego badania.

3 Istota ewaluacji Ewaluacja nieodzowny element procesu wdrażania zmiany społecznej, obiektywnie wskazujący stan tej zmiany. Zmiana społeczna - stan osiągnięty w wyniku podejmowanych działań, obrazuje sytuację pożądaną (zwykle pozytywną).

4 Ewaluacja w obszarze pomocy i integracji społecznej Ewaluacja powinna być elementem każdego działania, które ma spełnić określone oczekiwania i założenia. Ewaluacji może podlegać zarówno program, projekt jak i każde poważne przedsięwzięcie, nie tylko finansowane ze środków unijnych.

5 Ewaluacja w obszarze pomocy i integracji społecznej Ewaluacja jest elementem metodycznego działania w pracy socjalnej oraz elementem wielu przedsięwzięć w obszarze pomocy społecznej, w tym programów, projektów socjalnych oraz działań prowadzonych w ramach: kontraktu socjalnego, programu usamodzielnienia wychowanka, programu zatrudnienia socjalnego, I innych.

6 Istota ewaluacji czym jest ewaluacja, a czym nie jest? Ewaluacja jest: - oceną, - podsumowaniem, - wyciąganiem wniosków na przyszłość. Ewaluacja nie jest: wyłącznie badaniem wartości albo cech konkretnego projektu, programu, planu lub działania (to jest monitoring) porównywaniem wskaźników - tym różni się od monitoringu, opisem realizacji projektu, kontrolą wdrażania projektowanej zmiany

7 Definicje ewaluacji, podejścia teoretyczne Ewaluacja to wyciąganie wniosków z analizy i oceny przeprowadzonego projektu, pozwalające na poprawę efektywności zespołu i planowanych działań (M. Chludziński, W. Przybylski- Jak skutecznie napisać projekt socjalny) Ewaluacja - to ocena wartości interwencji z zastosowaniem określonych kryteriów tejże oceny, podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalne. (Rozporządzenie Rady Unii Europejskiej z dn r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych).

8 Definicje ewaluacji podejście pragmatyczne Ewaluacja to część procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie o nim informacji w odniesieniu do znanych celów, kryteriów i wartości. Ewaluacja to obiektywna ocena wdrażania jakiegoś projektu działania na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy procesu określenia wartości lub ważności działania. Ewaluacja to proces systematycznej oceny postępu.

9 Ewaluacja a audyt - podobieństwa i różnice Ewaluacja okresowa i niezależna ocena danej organizacji, systemu, procesu, projektu lub produktu pod kątem efektywności, skuteczności i trwałości rezultatów. Audyt systematyczna i niezależna ocena danej organizacji, systemu, procesu, projektu lub produktu pod kątem zgodności z normami prawnymi.

10 Ewaluacja a audyt -podobieństwa i różnice Cel ewaluacji uzyskanie wiedzy, która może stanowić wskazówki dotyczące podejmowania decyzji w przyszłości. Cel audytu - określenie poziomu zgodności z normą audytową oraz wskazanie możliwych niezgodności, stanowiących prawne, finansowe lub inne ryzyko dla przedmiotu badania.

11 Ewaluacja a audyt -podobieństwa i różnice Przedmiot ewaluacji badanie jakości - ocena, która pomoże realizować działania, poprawiać udoskonalać, oszczędzać czas, środki i ludzi. Przedmiot audytu - badanie zgodności z określonym punktem odniesienia - przepisami prawa, normami, standardami lub przepisami wewnętrznymi danej organizacji (polityki, procedury).

12 Ewaluacja a monitoring Monitoring oznacza regularne jakościowe i ilościowe pomiary lub obserwację zjawiska przeprowadzaną przez z góry określony czas oraz porównywanie tych pomiarów. Monitoring jest stosowany w celu gromadzenia informacji na temat stanu ilościowego oraz jakościowego. Zgromadzone dane ułatwiają wybór właściwych działań. Pozwalają także na podjęcie działań naprawczych lub usuwania negatywnych skutków już istniejącej sytuacji. Trzy zasady monitoringu: cykliczność pomiarów, unifikacja metod wykorzystywanych do pomiarów i obserwacji, unifikacja (zastosowanie takich samych metod i sposobów) interpretacji wyników.

13 Rola i zasadność ewaluacji w obszarze pomocy i integracji społecznej Każda ewaluacja jest zasadna: umożliwia sprawdzenie czy realizowane działania wpisują się w cele pomocy społecznej, jest zasadna z perspektywy zadań jednostki pomocy i integracji społecznej pozwala stwierdzić, czy jednostka jest potrzebna w środowisku lokalnym, czy spełnia swoją rolę, jest zasadna z perspektywy klienta pozwala na ocenę jakości systemu wsparcia skierowanego do klienta.

14 Różne cele ewaluacji w obszarze pomocy i integracji społecznej w kontekście rozwiązywania problemów klienta pozwala odpowiednio dopasować system wsparcia w rozwiązaniu problemów życiowych osób i rodzin. w kontekście pracy socjalnej oraz szeroko rozumianej integracji społecznej pozwala zweryfikować prowadzenie działania pod kątem celów integracji społecznej i pracy socjalnej. pozwala obiektywnie ocenić skuteczność działania.

15 Obszary ewaluacji (przedmiot i zakres) w pomocy i integracji społecznej ewaluacja podmiotowa uwzględnia: - specyfikę jednostek pomocy i integracji społecznej, - zróżnicowane oczekiwania klienta, - stopień zaspokojenia potrzeb i oczekiwań, - poziom zadowolenia klienta z otrzymanych usług w systemie wsparcia. ewaluacja przedmiotowa - obejmuje obszar działania oraz rezultaty działań.

16 Rodzaje ewaluacji - charakterystyka, podobieństwa i różnice ex ante - ewaluacja podejmowana przed rozpoczęciem działania, on going - ewaluacja bieżąca, oceniająca ogólny poziom działań podejmowanych w ramach strategii wdrażania działania, prowadzona w trakcie realizacji działania, ex post - ewaluacja podejmowana po zakończeniu realizacji działań, mid term ewaluacja podejmowana w połowie okresu działania.

17 Rodzaje ewaluacji - charakterystyka, Ewaluacja ex ante: podobieństwa i różnice ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb społecznych, diagnozuje potrzeby i oczekiwania grupy docelowej, bada kontekst społeczny, gospodarczy, prawny, ocenia spójność planowanych celów i sposobów realizacji.

18 Rodzaje ewaluacji - charakterystyka, podobieństwa i różnice Ewaluacja on going: służy identyfikacji aktualnych trudności, stanowi źródło informacji o potencjalnych problemach i trudnościach, może spowodować szybką reakcję na problem, daje możliwość bieżącej analizy oraz modyfikacji działań.

19 Rodzaje ewaluacji - charakterystyka, Ewaluacja mid term: podobieństwa i różnice poddaje analizie osiągnięte rezultaty, dokonuje pierwszej oceny jakości działania, ocenia cele, wskaźniki oraz stopień realizacji przedsięwzięcia, może przyczynić się do niezbędnych modyfikacji w planowanym wcześniej działaniu.

20 Rodzaje ewaluacji - charakterystyka, podobieństwa i różnice Ewaluacja ex post: bada efekty działania, w tym długotrwałe, ocenia skuteczność wdrożonych rozwiązań, ocenia czy osiągnięte zostały cele, stanowi źródło dla planowania kolejnych przedsięwzięć i projektów.

21 Rodzaje ewaluacji - charakterystyka, podobieństwa i różnice Ewaluacja wewnętrzna - wykonana przez ewaluatora wyłonionego spośród członków zespołu (organizacji). Ewaluacja zewnętrzna - wykonana przez ewaluatora niezależnego, spoza członków jednostki, zespołu.

22 Rodzaje ewaluacji - charakterystyka, podobieństwa i różnice Rodzaj ewaluacji Główne zalety Główne wady zewnętrzna wewnętrzna Niezależność opinii, Profesjonalizm wykonania, Dobra znajomość projektu oraz specyfiki firmy, Możliwość skupienia się na specyficznych aspektach ważnych dla firmy, Brak kosztów. Brak znajomości projektu oraz instytucji projektodawcy, Nieadekwatne wnioski, Koszty, Możliwy brak obiektywizmu, Możliwy brak personelu do wykonania ewaluacji.

23 Kryteria ewaluacyjne - charakterystyka kryterium trafności kryterium efektywności (wydajności) kryterium skuteczności kryterium użyteczności kryterium trwałości

24 Kryteria ewaluacyjne - charakterystyka kryterium trafności - pozwala ocenić w jakim stopniu cele przedsięwzięcia odpowiadają potrzebom i/lub priorytetom danego sektora/regionu/środowiska oraz wskazuje jak ustalone wnioski wpływają na podjęcie decyzji o kontynuowaniu, modyfikacji lub rezygnacji z realizacji tego przedsięwzięcia.

25 Kryteria ewaluacyjne - charakterystyka kryterium efektywności (wydajności) pozwala ocenić ekonomiczność projektowanych działań, w tym stosunek nakładów do uzyskanych produktów i rezultatów działania. Wskazuje jak zastosować zasadę najlepszych rezultatów przy jak najniższych kosztach (zasada wynikająca z prakseologii, wpisana do ustawy o finansach publicznych).

26 Kryteria ewaluacyjne - charakterystyka kryterium skuteczności pozwala ocenić czy cele projektowanych działań przyczyniły się do rozwiązania problemu społecznego. kryterium użyteczności pozwala ocenić w jakim stopniu oddziaływania odpowiadają potrzebom grupy docelowej (środowiska).

27 Kryteria ewaluacyjne - charakterystyka kryterium trwałości pozwala ocenić czy zaplanowane rezultaty projektowanych działań będą widoczne po zakończeniu realizacji, ocenia społeczną wartość działań, pozwala ocenić zmiany w dłuższej perspektywie czasowej.

28 Dobór kryteriów w zależności od rodzaju ewaluacji Kryteria ewaluacyjne Ewaluacja ex-ante Ewaluacja mid term/on going Ewaluacja ex-post trafność Tak Tak Nie skuteczność Tak Tak Tak efektywność Tak Tak Tak trwałość Nie Nie Tak użyteczność Nie Nie Tak

29 Pytania badawcze wg kryteriów ewaluacji Kryterium trafności: Czy cele projektowanych działań odpowiadają zidentyfikowanym potrzebom? Czy logika działania jest poprawna? Czy strategia działania jest spójna z celami szerszej polityki? Czy wstępna strategia pozostaje aktualna?

30 Pytania badawcze wg kryteriów ewaluacji Kryterium skuteczności: Czy cele projektowanych działań zostały osiągnięte? Jakie są sukcesy przedsięwzięcia? Czy i na jakie problemy napotkano w trakcie realizacji? Czy system zarządzania jest skuteczny? Czy poszczególne podmioty wdrażające projekt wypełniają swoją rolę?

31 Pytania badawcze wg kryteriów ewaluacji Kryterium efektywności (wydajności) : Czy można było osiągnąć podobne efekty przy wykorzystaniu innych (np. mniejszych) środków? Czy można było osiągnąć takie same efekty przy zastosowaniu innych metod lub instrumentów?

32 Pytania badawcze wg kryteriów ewaluacji Kryterium użyteczności: Czy projektowane działania spełniają oczekiwania adresatów? Czy efekty są korzystane dla różnych grup interesariuszy? Czy pojawiły się efekty uboczne działań? Czy są negatywne skutki działań?

33 Pytania badawcze wg kryteriów ewaluacji Kryterium trwałości: Czy efekty projektowanych działań są trwałe? Czy efekty są odczuwane po zakończeniu wdrażania działań? Co i na ile trwale zmienią w życiu odbiorców działań/ beneficjentów?

34 Wskaźniki ewaluacji - definicje i rodzaje Wskaźniki to informacje potwierdzające wywołanie zmiany i/lub osiągnięcia zamierzonego celu. Pełnią bardzo ważną rolę, bez nich nie można byłoby stwierdzić, że działanie zostało zrealizowane i wywołało pożądany efekt/zmianę.

35 Wskaźniki w ewaluacji Rodzaje wskaźników w ewaluacji: wskaźniki jakościowe, wskaźniki ilościowe. Jakościowe pomagają zaobserwować zmianę jakości działań, np. lepsze wykształcenie pracowników socjalnych. Ilościowe wskazują jaka liczba osób została objęta konkretnym działaniem lub o ile wzrosła w stosunku do poprzedniego stanu itd.

36 Wskaźniki w ewaluacji Wskaźniki produktu - są to bezpośrednie, rzeczowe efekty, które powstają na skutek wydatkowania środków. Liczone są w jednostkach materialnych lub monetarnych (np. liczba wydanych publikacji, przeprowadzonych szkoleń itp..). Wskaźniki rezultatu - są to bezpośrednie i natychmiastowe efekty wynikające z wdrożenia projektu/programu. Dostarczają one informacji o zmianach, jakie nastąpiły w wyniku realizacji przedsięwzięcia. Takie wskaźniki mogą przybierać formę wskaźników materialnych (np., liczba skutecznie przeszkolonych) lub finansowych, np. wartość wydatków w PLN. Wskaźniki oddziaływania - są to konsekwencje danego działania wykraczające poza natychmiastowe efekty związane bezpośrednio z podjętym przedsięwzięciem, chociaż pojawiających się po pewnym czasie. Są logicznie powiązane ze wskaźnikami rezultatu. Przykładowe wskaźniki oddziaływania to nakłady na bieżące utrzymanie np. domu pomocy społecznej, placówki interwencyjnej itp.

37 Wskaźniki w ewaluacji cel stosowania wskaźników stwierdzenie: czy zamiar został osiągnięty, - czy pojawił się produkt finalny, - czy wykonana została jakaś wartość. zasady ogólne definiowania i doboru wskaźników; - zależne od tematyki projektowania, - realnie odzwierciedlają rzeczywistość, - są niezbędne dla zaobserwowania zmiany.

38 Metody ewaluacji a zbiór danych do ewaluacji Dane pierwotne i dane wtórne. Dane pierwotne: powstają na potrzeby badania, uzyskiwane są w trakcie badania. Dane wtórne: wcześniej gromadzone, przetworzone, dostępne w chwili rozpoczęcia badania wcześniejsze raporty, ekspertyzy, wniosek aplikacyjny, dokumentu z monitorowania itp.).

39 Metody ewaluacji a zbiór danych do ewaluacji Dane ilościowe i jakościowe; - Dane ilościowe: dotyczą informacji liczbowych, wykorzystywane są do poznawania rozkładów częstości występowania danego zjawiska, podlegają analizie statystycznej. Dane jakościowe: nie są wyrażone w liczbach, dotyczą opisu badanych zjawisk, są niezbędne do właściwej interpretacji danych ilościowych.

40 Metody ewaluacji Badania dokumentów statystycznych, Obserwacja uczestnicząca, Panel ekspertów, Badanie opinii metodą wywiadów przy użyciu różnych technik badawczych w tym IDI, FGI, minigrupy, Case study (studium przypadku) opis.

41 Metody ewaluacji Badania dokumentów statystycznych, badanie sprawozdań jednostek pomocy i integracji społecznej (np.mpips-03), badanie i porównywanie danych liczbowych, badanie danych procentowych, obliczanie i porównywanie kosztów.

42 Metody ewaluacji Obserwacja uczestnicząca - rejestracja zachowań ludzi w naturalnych warunkach. Badacz nie kieruje postępowaniem innych. Badacz nie zdradza swoich intencji. Badacz osobiście przekonuje się jak działa zespół, jak funkcjonuje projekt itp. Często wykonywana jest za pomocą techniki tajemniczego klienta.

43 Metody ewaluacji Panel ekspertów Polega na wykorzystaniu wiedzy niezależnych specjalistów w dziedzinie objętej badaniem. Eksperci w oparciu o przedłożone dane oceniają efekty wdrażania, pod katem badanego kryterium. Wada tego badania: niebezpieczeństwo subiektywnych opinii.

44 Metody ewaluacji Badanie opinii metodą wywiadów przy użyciu różnych technik badawczych: IDI - indywidulany wywiad pogłębiony - rozmowa wymagająca moderowania w oparciu o pewne dyspozycje, ma określoną strukturę (schemat) logikę kolejność pytań - zwykle otwartych. FGI zogniskowany wywiad grupowy - forma uporządkowanej dyskusji, zgodnie z określonym scenariuszem, technika szczególnie ważna, gdy istnieją rozbieżne opinie, uczestnicy świadomie i nieświadomie oddziaływują na siebie. Minigrupy diady homogeniczne (jednopoglądowe) i heterogeniczne (wielopoglądowe), triady.

45 Narzędzia ewaluacji Rodzaje technik używanych do badań metodą wywiadu: PAPI wywiad bezpośredni prowadzony przez ankietera z wykorzystaniem papierowego kwestionariusza CATI - telefoniczny wywiad prowadzony osobiście przez ankietera CAPI wywiad osobisty prowadzony przez ankietera wspomagany komputerowo, CAWI badanie prowadzone za pośrednictwem internetu, Ankieta ogólnodostępna wypełniana samodzielnie przez badanego

46 Narzędzia ewaluacji PAPI wywiad bezpośredni: - najczęściej stosowany, - technika tradycyjna, - kwestionariusz zawiera uporządkowane w kolejności pytania, - pytania są pogrupowane w bloki tematyczne, - badania prowadzone są z pomocą ankieterów.

47 Narzędzia ewaluacji CATI - wywiad telefoniczny: prowadzony z profesjonalnego studia, przeszkoleni ankieterzy łączą się z losowo wybranymi respondentami, wywiad ma wystandaryzowany kwestionariusz, wszyscy respondenci dostają taki sam zestaw pytań, urządzenia rejestrują odpowiedzi.

48 Narzędzia ewaluacji CAPI - wywiad wspomagany komputerowo: Wywiad osobisty ze wspomaganiem komputera, Ankieter odczytuje pytania i rejestruje odpowiedź w komputerze, Oprogramowanie zapewnia prawidłową rejestrację odpowiedzi, Komputer pozwala na głosową rejestracje odpowiedzi.

49 Narzędzia ewaluacji CAWI - wywiad internetowy: Wywiady internetowe rejestrowane przez system komputerowy. Pytania pobierane są ze strony internetowej organizatora badania. Odpowiedzi na pytania przesyłane są elektronicznie, Technika ułatwia badanie trudno dostępnych respondentów. Pozwala na prowadzenie badań w dużej grupie (populacji).

50 Konstruowanie pytań w narzędziach badawczych Zasady konstruowania pytań : Nie może być ich zbyt wiele, Należy zachować rozsądną proporcję pomiędzy pytaniami otwartymi a zamkniętymi, Należy pozostawić odpowiednio dużo miejsca dla pytań otwartych, Pytania powinny umożliwić jednoznaczną odpowiedź, Pytania zasadnicze muszą być poprzedzone pytaniem filtrującym (kontrolnym).

51 Konstruowanie pytań w narzędziach badawczych Zasady konstruowania pytań: Pytania muszą być zrozumiałe dla respondentów, co powoduje, że należy odpowiednio dostosować język pojęć. Trudne pojęcia należy wyjaśnić na początku, aby nie dopuścić do różnych interpretacji danych. Należy zwracać uwagę na kolejność zadawania pytań, łatwe przed trudnymi, ogólne przed szczegółowymi, kwestie drażliwe czy osobiste najlepiej poruszać na końcu.

52 Konstruowanie pytań badawczych Zasady konstruowania pytań: Unikać pytań sugerujących odpowiedź, np. czy lubi Pani lepiej spytać co Pani lubi? Unikać dwóch pytań w jednym np. ile działań wykonała Pani dzisiaj i czy te działania były przydatne dla administracji publicznej? Unikać nieokreślonych jednostek czasu np. czasami, kiedykolwiek, Unikać pytań z podwójną negacją- np. czy nie zgadza się Pani, z tym że to nie jest dobre? Unikać słów nacechowanych emocjonalnie np. czy nie sądzi Pani, że nie należy marnować pieniędzy?

53 Konstruowanie pytań w narzędziach badawczych Zasady konstruowania pytań: Należy grupować pytania wg tematyki. Dobrze przygotować i poinstruować ankieterów. Zadbać o przygotowanie szczegółowej instrukcji dla ankietera, zawierającej informacje o sposobie prowadzenia badania.

54 Rodzaje pytań badawczych Otwarte respondent udziela swobodnej odpowiedzi, nie dostaje gotowych odpowiedzi do wyboru. Półotwarte połączenie pytania otwartego z zamkniętym - respondent musi dokonać wyboru jednej odpowiedzi spośród kafeterii wymienionej w części pytania lub odpowiedzieć w sposób dowolny. Zamknięte pytanie z możliwością wyboru jednej lub kilku odpowiedzi ze wskazanych w kafeterii.

55 Rodzaje pytań w narzędziach badawczych Pytania otwarte - przykłady: - W jaki sposób zdobycie wiedzy wpływa na jakość Pani pracy? - Co Pani sądzi na temat rozwiązań pomocy społecznej w Polsce? - Jak Pan ocenia funkcjonowanie DPS w.. po remoncie za pieniądze Funduszu Szwajcarskiego?

56 Rodzaje pytań w narzędziach badawczych Pytania półotwarte przykład: Od kogo dowiedziała się Pani o szkoleniu w Krakowie: Z prasy, Z TV, Od koleżanki z pracy, Z innego źródła, jakiego?

57 Rodzaje pytań w narzędziach badawczych Pytania zamknięte przykład: Jakich korzyści oczekuje Pan po szkoleniu, można dokonać wielokrotnego wyboru? Wzrostu samooceny Większej wiedzy Zdobycia praktycznych umiejętności Poprawy samopoczucia w wykonywanej pracy Poprawy skuteczności w działaniu

58 Rodzaje pytań badawczych Pytania zamknięte przykłady: Proszę ocenić w skali od 1 do 5 (gdzie 1 oznacza najniższy a 5 najwyższy) poziom Pana wiary we własne kompetencje

59 Rodzaje pytań w narzędziach badawczych Pytania zamknięte przykłady: Czy zdobywanie wiedzy wpływa na jakość Pana pracy zawodowej? tak tak, ale w niewielkim stopniu, nie

60 Skale pomiarowe do badania odpowiedzi Skala nominalna - zmienne mierzone w tej skali można zdefiniować jako wyszczególnienie poszczególnych przypadków. Skala ta nie wartościuje poszczególnych przypadków na lepsze/gorsze/większe itp. Przykłady: Płeć: kobieta, mężczyzna, Pora roku: lato, zima Kolor oczu, piwne, niebieskie.

61 Skale pomiarowe do badania odpowiedzi Skala porządkowa - zmienne mierzone na tej skali można uszeregować jako uszeregowanie poszczególnych przypadków ze względu na daną właściwość, np.: Wykształcenie: podstawowe, średnie, wyższe, Miejsce zamieszkania: wieś, miasto, metropolia, Stanowisko: pracownik, menager, dyrektor, prezes.

62 Skale pomiarowe do badania odpowiedzi Skala ilościowa interwałowa (przedziałowa)- zmienna na skali może wskazywać z góry ustaloną jednostkę, dzięki której można stwierdzić, że dany wynik różni się od poprzedniego o jakąś wartość. Zmienna nie ma zera bezwzględnego, tzn., nie można teoretycznie stwierdzić gdzie jest początek skali np..-2,-1, 0, 1,2

63 Skale pomiarowe do badania odpowiedzi Skala ilościowa - ilorazowa, zmienna na tej skali ma zero bezwzględne, można stwierdzić gdzie jest jej początek np., Wiek: 0-10, 11-20,21-30 itp. Czas wykonania zadania: 1-2 godz., 3-4 godz., itp. Wydane środki w pełnych złotych; 0-100, , itp.

64 Skale pomiarowe - porównanie Skala nominalna Czy skończyła Pani 18 lat? tak nie Skala interwałowa Ile Pani ma lat? Skala porządkowa Ile Pani ma lat? Mniej niż 18, 18-25, Więcej niż 25 Skala ilorazowa Ile Pani ma lat?..

65 Skale pomiarowe do badania odpowiedzi Skala dychotomiczna - tylko dwa rodzaje przeciwstawnych odpowiedzi; tak lub nie. Skala najłatwiejsza do obróbki technicznej przy raporcie, Stosowana najczęściej w pytaniach filtrujących, Niestety mało precyzyjna w szczegółowych badaniach społecznych.

66 Skale pomiarowe do badania odpowiedzi Skala Likerta - pięciostopniowa - stosowana do badania opinii, postaw i poglądów. Tak Zdecydowanie tak Zdecydowanie się zgadzam Raczej tak Raczej nie Raczej się zgadzam Nie mam zdania Ani tak, ani nie Ani się zgadzam, ani się nie zgadzam Raczej nie Raczej nie Raczej się nie zgadzam Nie Zdecydowanie nie Zdecydowanie się nie zgadzam

67 Skale pomiarowe do badania odpowiedzi Skala Staple'a - wariant wymuszający zajęcie stanowiska wobec prezentowanej opinii np. Jeśli uważa Pan, że poniższe określenie (przyjazny dom pomocy społecznej) dobrze opisuje znany Pani DPS, to proszę wybrać liczbę dodatnią, tym większą im bardziej określenie jest trafne. Jeśli jest inaczej, proszę wybrać liczbę ujemną

68 Skale pomiarowe do badania odpowiedzi Skala dyferencjału semantycznego - umożliwia pomiar siły odczuć. Polega na ułożeniu przeciwstawnych określeń odnoszących się do badanego zagadnienia np.; proszę określić poziom motywacji do pracy w skali od 1 do 5, gdzie 1 oznacza najniższy poziom, 5 oznacza najwyższy poziom

69 Narzędzia do opracowywania wyników badań Macierz danych układ liczb, symboli lub wyrażeń zapisanych w postaci prostokątnej tablicy. Choć słowo macierz oznacza najczęściej macierz dwuwskaźnikową, to możliwe jest rozpatrywanie macierzy wielowskaźnikowych. - Macierze jednowskaźnikowe nazywa się często wektorami wierszowymi lub kolumnowymi.

70 Narzędzia do opracowywania wyników badań Macierz danych przykład dla pytania jaki rodzaj wsparcia najczęściej realizuje OPS? Pytano 5 osób. Osoba 1 Osoba 2 Osoba 3 Osoba 4 Osoba 5 Poradnictwo Dożywianie x x Usługi opiekuńcze x Pomoc finansową x x

71 Metodologia ewaluacji Obejmuje planowanie: metod i technik badań ewaluacyjnych, dobór próby badań ewaluacyjnych, podejście jakościowe i ilościowe, użyteczność podstawowych metod i technik, opracowanie schematu ewaluacji.

72 Schemat procesu ewaluacji Określenie tematu ewaluacji co będzie podlegało ewaluacji? Postawienie pytań kluczowych pytań, na które szukamy odpowiedzi. Sformułowanie kryteriów wartościowania i obowiązujących w jednostce podejmującej ewaluację standardów. Ustalenie jakie zagadnienia należy przeanalizować w celu udzielenia odpowiedzi na pytania ewaluacyjne.

73 Schemat procesu ewaluacji cd. Zidentyfikowanie źródeł potrzebnych informacji np. dobór próby przy badaniu ankietowym, gdzie znaleźć konieczne dokumenty itp. Wybranie metod pracy badanie ankietowe, wywiady, obserwacja, analiza dokumentów, inne Opracowanie narzędzi formularze ankiet, wytyczne do wywiadów Przygotowanie harmonogramu ewaluacji oraz narzędzia monitoringu (sprawdzenie czy otrzymujemy potrzebne informacje).

74 Powiązania metodologii z prakseologią Jak często prowadzone będą badania ewaluacyjne? Kiedy będą realizowane? Kto będzie odpowiedzialny za badania? Jakie wskaźniki założono? Jakie narzędzia badawcze zostaną zastosowane?

75 Zamówienia publiczne a ewaluacja Ewaluacja powinna być szczegółowo zaplanowana. Do wykonania ewaluacji zewnętrznej można zastosować metodą zlecenia jej podmiotom specjalizującym się w tego typu pracach. Zakres ewaluacji stanowi treść opisu przedmiotu zamówienia.

76 Zamówienia publiczne a ewaluacja Badanie ewaluacyjne zewnętrzne - warunki formalne zlecania ewaluacji na podstawie ustawy prawo zamówień publicznych. Opis przedmiotu zamówienia - najważniejsza część dokumentacji przy zlecaniu ewaluacji zewnętrznej.

77 Zamówienia publiczne a ewaluacja Zasady opracowania OPZ przy zleceniu ewaluacji: szczegółowość opisu, wskazanie celu ewaluacji, wskazanie podmiotu i przedmiotu ewaluacji, wskazanie rodzaju ewaluacji, wskazanie metod lub metody wykonania ewaluacji, wskazanie narzędzi do wykonania ewaluacji, wskazanie terminu wykonania ewaluacji, opis wymaganej struktury raportu ewaluacyjnego.

78 Zamówienia publiczne a ewaluacja Kryteria wyboru wykonawcy: Cena nie powinna stanowić jedynego kryterium wyboru wykonawcy, Najlepiej brać pod uwagę kwalifikacje wykonawcy oraz doświadczenie w wykonywaniu podobnych badań, Wybór kryteriów musi być dostosowany do rodzaju ewaluacji oraz jej zakresu.

79 Współpraca z wykonawcą ewaluacji Uzgodnienia wstępne. Ustalenie priorytetów ewaluacji. Przygotowanie i negocjacja warunków umowy. Sposób weryfikacji projektu raportu ewaluacyjnego. Prezentacja ostatecznej wersji raportu ewaluacyjnego.

80 Zawartość raportu ewaluacyjnego Streszczenie wykonawcze Wstęp (opis badań) Wnioski Rekomendacje Przedstawienie wyników Dobre praktyki Załączniki Opis metodologii (tzw. nota metodologiczna)

81 Ocena raportu ewaluacyjnego Ocena formalna: wykonanie w terminie, spełnienie wymogów formalnych itp. Ocena jakościowa: wartość merytoryczna raportu, użyteczność do dalszego wykorzystania, przydatność rekomendacji.

82 Rozpowszechnianie wyników ewaluacji Publikacje raportów: strona internetowa jednostki (firmy), przekaz pisemny raportu do podmiotu finansującego projektowane przedsięwzięcie, publikacje w mediach lokalnych, prezentacje na forum lokalnym rada gminy, powiatu.

83 Wykorzystanie wniosków z ewaluacji Podejście indywidualne/klient, rodzina, grupa lokalna/środowisko: korzyści osobiste dla klienta (rodziny), poprawa statusu materialnego klienta (rodziny), lepsza jakość życia klienta, wyjście z sytemu wsparcia do samodzielności. Podejście instytucjonalne: Dobra ocena wzbudza zaufanie społeczne do instytucji pomocy i integracji społecznej. Dobra ocena podwyższa prestiż jednostki pomocy i integracji społecznej.

84 Ewaluacja działań w obszarze pomocy i integracji społecznej - warsztaty, Kraków r. 1. Zdefiniowanie przedmiotu, celu/ów, zakresu, zasadności i odbiorców planowanej ewaluacji. 2. Wybór kryteriów ewaluacyjnych oraz opracowanie przykładowych pytań badawczych. 3. Wskazanie możliwych źródeł danych w tym: prezentacja Internetowego Obserwatora Statystyk Społecznych i Internetowej Biblioteki Małopolskich Obserwatoriów jako potencjalnych źródeł danych. 4. Wybór metod i technik, zdefiniowanie jednostek badania. 5. Opracowanie harmonogramu i budżetu projektowanej ewaluacji. 6. Zdefiniowanie wskaźników. 7. Zaprojektowanie narzędzia badawczego w tym: analiza często popełnianych błędów. 8. Omówienie możliwości rozpowszechnienia wyników projektowanej ewaluacji. 9. Omówienie możliwości wykorzystania wniosków i rekomendacji z projektowanej ewaluacji.

85 Dziękuję za uwagę Anna Kłos metodyk pracy socjalnej