Badania ewaluacyjne ETAPY BADAŃ EWALUACYJNYCH 2 ZAJĘCIA R.

Transkrypt

1 Badania ewaluacyjne ETAPY BADAŃ EWALUACYJNYCH 2 ZAJĘCIA R.

2

3 Etapy badań ewaluacyjnych Opracowanie konceptualnego modelu badania i zidentyfikowanie głównych punktów ewaluacji Opracowanie pytań ewaluacyjnych i opracowanie mierzalnych wskaźników Opracowanie planu ewaluacji Zbieranie danych Analiza danych Dostarczenie informacji zainteresowanym odbiorcom

4 Opracowanie konceptualnego modelu badania Aby poznać strukturę organizacyjną projektu Aby zidentyfikować najbardziej krytyczne elementy projektu/badania

5 Model logiczny WEJŚCIA DZIAŁANIA REZULTATY KRÓTKOTERMINOWE REZULTATY DŁUGOTERMINOWETERMINOWE

6 Model logiczny WEJŚCIA DZIAŁANIA REZULTATY KRÓTKOTERMINOWE REZULTATY DŁUGOTERMINOWETERMINOWE Środki Programu Europejskiego Funduszu Społecznego Raporty WUP o spadku bezrobocia w województwie podlaskim Promocja i rekrutacja do projektu 3 konferencje regionalne 4 seminaria Lepiej rozumiemy prawo 2 szkolenia dla Ośrodków Pomocy Społecznej 450 uczestników konferencji 32 uczestników szkoleń dla PUP 16 modeli interpretacji przepisów prawnych 118 uczestników szkoleń dla OPS 60 uczestników szkoleń dla NGO s Podniesienie poziomu wiedzy i świadomości mieszkańców Podlasia o ES Zwiększenie wiedzy o ES wśród pracowników pomocy społecznej i publicznych słuŝb zatrudnienia Zmniejszenie barier organizacyjnych i prawnych związanych z zakładaniem podmiotów ES Raporty o działalności NGO s w województwie podlaskim 3 szkolenia dla NGO s 4 szkolenia dla osób fizycznych 112 uczestników szkoleń dla osób fizycznych 300 osób korzystających z punktów doradczych Zwiększenie wiedzy na temat narzędzi aktywnej integracji oraz dobrych praktyk i ich stosowania wśród pracowników pomocy społecznej Coaching Punkty informacyjnodoradcze Powstanie 4 podmiotów ES Dotarcie z akcją promocyjną do wszystkichmieszkańców województwa Opracowanie uniwersalnego modelu interpretacji przepisów prawnych z dziedziny ES przez PUP

7 Opracowanie pytań ewaluacyjnych i mierzalnych wskaźników Identyfikacja kluczowych klientów i odbiorców badań ewaluacyjnych Sformułowanie pytań ewaluacyjnych zgodnych z interesem klientów i odbiorców Zdefiniowanie wskaźników Uszeregowanie i sprecyzowanie pytań

8

9 Klienci i odbiorcy MenedŜerowie i koordynatorzy projektu Reprezentanci zleceniodawców Beneficjenci (faktyczni i potencjalni) Członkowie zespołu realizującego projekt Naukowcy, dziennikarze Członkowie wspólnoty

10 Matryca klientów/odbiorców KATEGORIE ODBIORCÓW BADAŃ EWALUACYJNYCH OKREŚLENIE OSÓB REPREZENTUJĄCYCH OKREŚLONĄ KATEGORIĘ ODBIORCÓW OCZEKIWANIA, INTERESY, WARTOŚCI POSZCZEGÓLNYCH ODBIORCÓW, MOGĄCE ODGRYWAĆ ROLĘ JAKO KRYTERIA ANALIZY I INTERPRETACJI BADAŃ EWALUACYJNYCH

11 Ewaluacja pracy prezydenta miasta KATEGORIE ODBIORCÓW BADAŃ EWALUACYJNYCH OKREŚLENIE OSÓB REPREZENTUJĄCYCH OKREŚLONĄ KATEGORIĘ ODBIORCÓW OCZEKIWANIA, INTERESY, WARTOŚCI POSZCZEGÓLNYCH ODBIORCÓW, MOGĄCE ODGRYWAĆ ROLĘ JAKO KRYTERIA ANALIZY I INTERPRETACJI BADAŃ EWALUACYJNYCH PREZYDENT MIASTA T. TRUSKOLASKI JAK JESTEM OCENIANY, CZEGO LUDZIE OCZEKUJĄ, ZA CO MNIE CHWALĄ, ZA CO KRYTYKUJĄ ITD USŁUGODAWCY PREZYDENTA GRUPA ESKADRA JAKIE SĄ DOBRE, A JAKIE ZŁE STRONY WIZERUNKU PREZYDENTA? Z CZYM PREZYDENT SIĘ KOJARZY? ITD MIESZKAŃCY MIASTA DZIENNIKARZE PAN X. PANI Y ITD KURIER PORANNY, GAZETA WYBORCZA ITD.. CZY PREZYDENT REALIZUJE PROGRAM WYBORCZY? CZY LICZY SIĘ Z GŁOSEM OBYWATELI? CZY DZIAŁA ZGODNIE Z PRAWEM? UGRUPOWANIA POLITYCZNE PLATFORMA OBYWATELSKA ITD CZY PREZYDENT DZIAŁA W ZGODZIE Z INTERESEM PARTYJNYM? CZY PREZYDENT REALIZUJE PROGRAM WYBORCZY? ITD

12 Jakiej potrzebujemy informacji? Czy zebrane informacje mają wpływ na powodzenie realizacji projektu? Kto będzie korzystał z informacji? Czy uzyskanie informacji na określone pytanie jest aktualnie moŝliwe? Czy informacja jest waŝna dla wszystkich, czy jednej grupy odbiorców? Czy pytania da się przełoŝyć na mierzalne wskaźniki? Czy jest moŝliwe uzyskanie danych informacji biorąc pod uwagę dostępne zasoby ludzkie i finansowe?

13 Algorytm definiowania celów ewaluacji 1. OGÓLNIE OPISZ ZADANIE PROJEKTU 2. SFORMUŁUJ POWYśSZE ODNOSZĄC SIĘ DO OGÓLNEGO CELU PROJEKTU 3. SFORMUŁUJ CO, CO MA BYĆ PODDANE EWALUACJI TAK PRECYZYJNIE, JAK TO MOśLIWE 4. CZY DA SIĘ TO ROZBIĆ NA MNIEJSZE CZĄSTKI TAK, ABY DAŁO SIĘ PRECYZYJNIE OKREŚLIĆ, CO CHCIELIBYŚMY UJRZEĆ W FORMIE DOKUMENTU LUB ZMIANY? 5. CZY JEST TO MIERZALNE? (CZY ISTNIEJĄ WSKAŹNIKI?) JEŚLI NIE, PRZEFORMUŁUJ PUNKT 3

14 Zasoby a ewaluacja Ludzie Czas Pieniądze

15 Przygotowanie projektu ewaluacji Wybór podejścia metodologicznego i narzędzi zbierania danych Określenie, kto i kiedy będzie poddany ewaluacji

16 Wybór podejścia metodologicznego i narzędzi zbierania danych Metoda ilościowa Metoda jakościowa

17 Określenie, kto i kiedy będzie poddany ewaluacji Projektowanie ewaluacji wymaga określenia takich czynników, jak: Doboru badanych UŜycia grup porównawczych Czasu badania Częstotliwości badania Kolejności badań Częstotliwości zbierania danych

18 Dobór badanych

19 Błędy towarzyszące doborowi RODZAJ BŁĘDU PRZYCZYNA REMEDIA BŁĄD DOBORU BADANIE CZĘŚCI, NIE ZAŚ CAŁOŚCI POPULACJI WIĘKSZA PRÓBA, KTÓRA REDUKUJE, ALE NIE ELIMINUJE BŁĘDU DOBORU OBCIĄśENIE PRÓBY OBCIĄśENIE ODPOWIEDZI NIEKTÓRZY OBJĘCI EWALUACJĄ NIE BYLI OBJĘCI PROJEKTEM LUB DYSPONUJĄ NIEKOMPLETNĄ INFORMACJĄ ODPOWIEDZI NIE ODZWIERCIEDLAJĄ PRAWDZIWYCH OPINII LUB ZACHOWAŃ, PONIEWAś PYTANIA ZOSTAŁY ŹLE ZROZUMIANE LUB TEś RESPONDENCI NIE CHCĄ MÓWIĆ PRAWDY POWTARZANIE PRÓB DOTARCIA DO ODPOWIEDNICH BENEFICJENTÓW. ODPOWIEDNIE I OSTROśNE OPRACOWYWANIE ZEBRANYCH INFORMACJI PORÓWNYWANIE INFORMACJI UZYSKIWANYCH OD RÓśNYCH GRUP RESPONDENTÓW TESTOWANIE NARZĘDZI PRZED ZASTOSOWANIEM BRAK REMEDIUM NA NIESZCZERE ODPOWIEDZI, CHOĆ MOśNA ŁAGODZIĆ BŁĄD ODPOWIEDZI UMIEJĘTNYM PRZEDSTAWIENIEM CELU EWALUACJI

20 Grupy porównawcze Problem atrybucji w jaki sposób sprawdzić, czy rezultaty projektu wynikają z jego działań, czy z powodu innych czynników?

21 Czas, częstotliwość, kolejność

22 Crosswalk przykładowego projektu

23 Co po projekcie ewaluacji? Zbieranie danych Analiza danych Raportowanie Rozpowszechnianie