Badania ewaluacyjne GROMADZENIE DANYCH 4 ZAJĘCIA R.

Transkrypt

1 Badania ewaluacyjne GROMADZENIE DANYCH 4 ZAJĘCIA R.

2 Nowy adres strony kursu

3 Zagadnienia na dzisiaj Wybór pytań ewaluacyjnych Wybór narzędzi ewaluacji Identyfikacja wskaźników ewaluacji Tworzenie narzędzi ewaluacji Zarządzanie zebranymi informacjami

4 Wybór pytań ewaluacyjnych Pytania ewaluacyjne pytania, które umoŝliwią nam odpowiedź na pytanie o wpływ, efektywność i osiągnięcia projektu

5 Wybór pytań ewaluacyjnych Przejrzyj działania i rezultaty projektu Zapytaj klientów ewaluacji, na jakie pytania Twoje badanie powinno odpowiedzieć Określ wymagany poziom szczegółowości Przygotuj listę róŝnych pytań w celu określenia wartość i waŝności róŝnych aspektów projektu

6 Wybór pytań ewaluacyjnych Dla kaŝdego pytania określ, w jakim stopniu odnosi się ono do: Procedur w ramach projektu Rezultatów projektu Beneficjentów projektu Otoczenia projektu Wybierz te pytania, które są bezpośrednio związane z przynajmniej jednym celem projektu Wybierz te pytania, które są związane z przyszłością projektu

7 Przykłady pytań ewaluacyjnych związanych z działaniami Czy działania prowadzone są zgodnie z harmonogramem? Czy projekt dociera do zakładanej grupy beneficjentów? Czy beneficjenci są zadowoleni z udziału w projekcie? W jaki sposób moŝna udoskonalić działania?

8 Przykłady pytań ewaluacyjnych związanych z rezultatami krótkoterminowymi Czy projekt obejmuje odpowiednią liczbę beneficjentów? Czy projekt zapewnia wszystkie zaplanowane usługi? Czy działania prowadzą do planowanych rezultatów? Czy są jakieś niepoŝądane rezultaty?

9 Przykłady pytań ewaluacyjnych związanych z rezultatami długoterminowymi Czy beneficjenci rozwinęli swoją wiedzę, umiejętności, postawy, zachowania? Jakich zmian oczekiwano, a jakie zaszły? Jaki jest wpływ projektu na instytucję? Które oczekiwania instytucjonalne zostały spełnione, a które nie?

10 Przykłady pytań ewaluacyjnych związanych z rekomendacjami na przyszłość Co w projekcie mogło być zrobione lepiej, co mogło zapewnić większe powodzenie? Jakich zmian naleŝałoby dokonać?

11 Przykład Fostering Youth Activity in Charitable and Nonprofit Organizational Culture CELE PROJEKTU PILOTAśOWE NAWIĄZANIE WSPÓŁPRACY Z DWOMA ORGANIZACJAMI W CELU OPISANIA ICH KULTURY ORGANIZACYJNEJ OPRACOWANIE PROJEKTU WŁĄCZENIA MŁODYCH BENEFICJENTÓW W DZIAŁANIA ORGANIZACJI PYTANIA EWALUACYJNE CZY PROCES WYBORU DWÓCH PILOTAśOWYCH ORGANIZACJI BYŁ ODPOWIEDNI? CZY ODPOWIEDNI BYŁ SPOSÓB WŁĄCZENIA MŁODYCH BENEFICJENTÓW W DZIAŁANIA ORGANIZACJI?

12 Przykład: Fostering Youth Activity in Charitable and Nonprofit Organizational Culture CELE PROJEKTU WŁĄCZENIE W PROCESY DWÓCH PILOTAśOWYCH ORGANIZACJI MŁODYCH BENEFICJENTÓW OPRACOWANIE, NA BAZIE DOŚWIADCZEŃ, PROCEDUR I NARZĘDZI DO ZASTOSOWANIA W SZERSZYM ŚRODOWISKU PYTANIA EWALUACYJNE CZY POZNANO DOBRZE UWARUNKOWANIA I OKOLICZNOŚCI WŁĄCZENIA MŁODYCH BENEFICJENTÓW W PROCESY ORGANIZACJI? W JAKI SPOSÓB PROJEKT WPŁYNĄŁ NA KULTURĘ ORGANIZACYJNĄ PILOTAśOWYCH ORGANIZACJI?

13 Wybór narzędzi ewaluacji Narzędzia ewaluacji słuŝą do pozyskania informacji umoŝliwiających odpowiedź na pytania ewaluacyjne Narzędzia ewaluacji róŝnią się od narzędzi realizacji działań projektu

14 Narzędzia ilościowe i jakościowe NIEUSTRUKTURYZO WANE USTRUKTURYZO WANE

15 Przykład: Enhancing Volunteer Capacity through Support and Recruitment Initiatives

16

17 Matryca Narzędzi Ewaluacji ANKIETA WYWIAD TEST WIEDZY/ UMIEJĘTNOŚCI ZOGNISKOWANY WYWIAD GRUPOWY KWESTIONARIUSZ OCENY DZIENNICZEK WIZYTACJE REJESTR PRACY NOTATKI Z OBSERWACJI DOKUMENTACJA OPOWIEŚCI CZY MOśNA UśYĆ NARZĘDZIA?

18 Identyfikacja wskaźników ewaluacji Wskaźniki mierzalne czynniki bądź oznaki świadczące o stanie postępu projektu, jego powodzeniu, osiągnięciach

19 Jak zidentyfikować wskaźniki? 1. Przejrzyj cele projektu i zastanów się, jakiej informacji będziesz potrzebował, by określić, czy zostały osiągnięte 2. Przejrzyj pytania ewaluacyjne i zastanów się, jakiej informacji będziesz potrzebował, by na nie odpowiedzieć 3. Przejrzyj działania projektu i spróbuj znaleźć mierzalne czynniki wskazujące na stan zaawansowania działań

20 Jak zidentyfikować wskaźniki? 4. Przejrzyj przewidywane rezultaty projektu i zastanów się, jakiej informacji potrzebujesz aby stwierdzić, Ŝe określony rezultat został osiągnięty 5. Przejrzyj cele ilościowe projektu i zastanów się, czy mogą one świadczyć o stanie zaawansowania projektu i jego osiągnięciach

21 Przykłady wskaźników ilościowych Reakcja na reklamę, ogłoszenie, itp. Liczba wizyt na stronie www Liczba zapytań, wniosków, skarg itp. Poziom satysfakcji beneficjentów (np. w skali 1-6) Częstotliwość komunikacji Ilość zuŝytych zasobów Procentowa struktura korzystania z róŝnych usług Średni wiek lub poziom wykształcenia beneficjentów Wyniki testów wiedzy lub umiejętności

22 Przykłady wskaźników jakościowych Rodzaje reakcji na ogłoszenie, reklamę itp. Rodzaje zapytań, skarg itp. Opinie o efektywności usług, korzyściach z projektu, jakości materiałów, cateringu etc. Obserwowalne zmiany postaw, zachowań, umiejętności, wiedzy itp.

23 Rezultaty jako wskaźniki Ilość przeprowadzonych warsztatów Ilość przeszkolonych beneficjentów Ilość instytucji zaangaŝowanych w projekt Opublikowana ksiąŝka, czasopismo, biuletyn Strona internetowa

24 Zarządzanie gromadzeniem informacji TWORZENIE NARZĘDZI EWALUACJI I GROMADZENIE DANYCH ABSORBUJĄ NAJWIĘKSZĄ CZĘŚĆ ZASOBÓW Jak uczynić gromadzenie danych wykonalnym? Jak uczynić gromadzenie danych adekwatnym?

25 Jak uczynić gromadzenie danych wykonalnym?

26 Jak uczynić gromadzenie danych adekwatnym? WyposaŜ osoby gromadzące informacje w odpowiednią wiedzę i umiejętności i bądź z nimi w stałym kontakcie Jeśli więcej niŝ jedna osoba gromadzi dane uŝywając tego samego narzędzia upewnij się, Ŝe robią to w podobny sposób Jeśli dane gromadzone są na taśmiach (audio lub wideo), zadbaj o odpowiednią jakość transkrypcji