Ewaluacja budżetów partycypacyjnych

Wielkość: px

Rozpocząć pokaz od strony:

Download "Ewaluacja budżetów partycypacyjnych"

Irena Drozd
7 lat temu
Przeglądów:

1 Ewaluacja budżetów partycypacyjnych Rafał Rudnicki Warszawa, 19 lutego 2015 r. Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego w ramach EOG

2 Plan pracy 1. Wstęp 2. Przygotowanie do ewaluacji Po co robić ewaluacje? Kto może przeprowadzić ewaluacje? Kiedy zacząć ewaluacje? 3. Przeprowadzenie ewaluacji Krok 1. Zrozumienie programu i jego celów Krok 2. Postawienie pytań badawczych Krok 3. Stworzenie wskaźników Krok 4. Przeprowadzenie badań 4. Konsumpcja wyników Co zrobić z wynikami badań? 2

3 PRZYGOTOWANIE DO EWALUACJI 3

4 Po co robić ewaluację? aby zobaczyć czy osiągnęliśmy cele Żeby pokazać efekt/wartość swojej pracy Żeby mieć pewność, że nasza praca ma sens Żeby przekonać innych, że BP ma sens aby poprawić proces na przyszłość Żeby wiedzieć jak prowadzić BP Żeby dowiedzieć się, co warto w nim poprawić Żeby projekt był lepszy, bardziej skuteczny, efektywny Żeby się uczyć i rozwijać Żeby wszyscy uczestnicy byli z niego zadowoleni 4

5 Kto może przeprowadzić ewaluacje? 1. Zewnętrzni eksperci 2. Osoby koordynujące projekt 3. Miejscy aktywiści 4. Zespół ewaluacyjny 5

6 Kto może przeprowadzić ewaluacje? Zewnętrzny ewaluator Organizator procesu Uczestnik procesu Dystans do procesu Duży Mały Mały Doświadczenie w realizacji badań Duża Mała Mała Znajomość lokalnego kontekstu procesu Mała Duża Duża 6

7 ZESPÓŁ EWALUACYJNY W skład 12 osobowego Zespołu weszli: Miejscy aktywiści Przedstawiciele Urzędu Miasta Przedstawiciele Rad Dzielnic i Miasta Przedstawiciele mieszkańców Krakowa Ewaluatorzy z Fundacji PBIS Stocznia 7

8 ZADANIA ZESPOŁU EWALUACYJNEGO Zadania Zespołu Ewaluacyjnego: Uzgodnienie oraz wybór kryteriów i pytań ewaluacyjnych. Obserwacja, zbieranie informacji i bieżąca autoewaluacja realizowanych działań. Nadzór nad realizowanymi badaniami ewaluacyjnymi Interpretacja wyników badań. Praca nad rekomendacjami na przyszłość. 8

9 Kiedy rozpocząć ewaluacje? BP Ewaluacja Planowanie ewaluacji Początek Zbieranie informacji Koniec Koniec / podsumowanie 9

10 Kiedy rozpocząć ewaluacje? ETAPY REALIZACJI BO akcja edukacyjna i kampania promocyjna zgłaszanie przez mieszkańców propozycji projektów weryfikacja i opiniowanie propozycji projektów głosowanie mieszkańców na projekty ogłoszenie projektów do realizacji Warsztaty ewaluacyjne z mieszkańcami Warsztaty ewaluacyjne z mieszkańcami Warsztaty ewaluacyjne z mieszkańcami DZIAŁANIA BADAWCZE Obserwacja spotkań informacyjnokonsultacyjnych Wywiad grupowy z nieuczestniczącymi Sondaż telefoniczny Ankiety z uczestnikami spotkań konsultacyjnych + sprawozdania moderatorów Badanie ankietowe wnioskodawców Analiza danych zastanych: GUS, BO w innych miastach, dane z weryfikacji wniosków, złożone projekty, dane z głosowania Warsztat Zespołu Ewaluacyjnego Warsztat Zespołu Ewaluacyjnego Warsztat Zespołu Ewaluacyjnego Warsztat Zespołu Ewaluacyjnego 10

11 PRZYGOTOWANIE DO EWALUACJI 11

12 Zrozumienie programu i jego celów. 12

13 Postawienie pytań badawczych Przykładowe pytania badawcze: Jakie było zainteresowanie mieszkańców z g ł a s z a n i e m p r o j e k t ó w d o B u d ż e t u Partycypacyjnego? Kto zgłaszał projekty? Czy grupa ta jest reprezentatywna? Kto w niej nie uczestniczył? W jaki sposób powstawały projekty? Jakie były przyczyny nie złożenia projektów? Jakiego typu projekty zostały zgłoszone? Jak procedurę składania projektów oceniają wnioskodawcy? 13

14 Stworzenie wskaźników Określamy wskaźniki oraz kryteria oceny Dobrze jest znaleźć zewnętrzne punkty odniesienia, które ułatwią nam ocenę naszego procesu i jego skuteczności Przykład: 1. Standardy procesów budżetów partycypacyjnych w Polsce (ocena organizacji procesu) 2. Podobne procesy realizowane w innych miejscach (ocena rezultatów) 14

15 Ocena przebiegu procesu Standardy minimalne BP Wykorzystano różnorodne kanały komunikacyjne i formy materiałów informacyjnych Do animowania dyskusji włączone zostały organizacje pozarządowe i rady pomocnicze gminy Weryfikacja projektów ma wyłącznie charakter technicznie prawny BO w Krakowie Tak. W promocji wykorzystano reklamę zewnętrzną (plakaty, ulotki, billboardy, citylighty), prasę, Internet, ulotki. Tak. Spotkania prowadzili moderatorzy wywodzący się z NGO oraz radni dzielnic. Nie. W praktyce w weryfikacji stosowano również ocenę wartości projektu przez urzędnika 15

16 Ocena skutków realizacji Miasto Liczba złożonych wniosków Liczba złożonych wniosków na 10 tysięcy uprawnionych mieszkańców Łódź Kraków Wrocław Gdańsk Poznań

17 Przykładowe wskaźniki Mieszkańcy znają procedury BP (wiedzą jak głosować, składać wnioski) % mieszkańców deklarujących w badaniu ankietowym, dobrą znajomość procedur BP % głosów nieważnych w głosowaniu % projektów odrzuconych w trakcie weryfikacji ze względów formalnych Mieszkańcy angażują się w sprawy lokalne Frekwencja wyborcza Liczba organizacji pozarządowych Liczba mieszkańców uczestniczących w konsultacjach społecznych Liczba obywatelski projektów uchwały zgłoszonych do rady miasta 17

18 Jak przeprowadzić badanie ewaluacyjne? Metody Ilościowe odpowiadają na pytania o powszechność zjawisk: jak często? Ile? Np. sondaż telefoniczny z mieszkańcami, samowypełnialna ankieta dla uczestników spotkania na którym dyskutowane są projekty, ankieta internetowa rozsyłana wnioskodawcom. Jakościowe pozwalają na zrozumienie przyczyn zjawiska: dlaczego? Warsztaty/wywiady indywidualne z różnymi grupami uczestniczącymi w projekcie (mieszkańcami, urzędnikami z miejskich jednostek, radnymi itp.) Obserwacje. Dużo nieoczywistych czasem zabawowych metod badania opinii. Zaletą jest też niski koszt realizacji. Analiza danych zastanych 18

19 METODOLOGIA BADANIA Przykład zestaw metod badawczych: Obserwacja spotkań informacyjno konsultacyjnych. Otwarte warsztaty ewaluacyjne z mieszkańcami. Analiza danych zastanych Badanie ankietowe wnioskodawców Wywiad grupowy z mieszkańcami nie uczestniczącymi w procesie BO Sondaż telefoniczny z mieszkańcami 19

20 Analiza danych zastanych 30% Frekwencja w BO ze względu na wiek 25% 48 lat 20% 17% 15% 10% 5% 0% Frekwencja w grupach wiekowych Frekwencja w całej populacji 20

21 Analiza danych zastanych Aktywność w składaniu wniosków Frekwencja 21

22 Analiza danych zastanych 20% 18% Łagiewniki Borek Fałęcki Wzgórza Krzęsławickie 16% Podgórze 14% Dębniki Zwierzyniec Czyżyny Bronowice Frekwencja w dzielnicy 12% 10% 8% Nowa Huta Stare Miasto Prądnik Biały Bieżanów Prokocim Swoszowice Krowodrza Prądnik Czerwony Grzegórzki 6% Podgórze Duchackie Bieńczyce Mistrzejowice 4% 2% 0% Liczba wniosków dzielnicowych zgłoszonych na 10 tys. uprawnionych mieszkańców 22

23 Analiza danych zastanych 1% 21% Przekroczenie kwoty przeznaczonej na BO w dzielnicy 19 Brak oświadczenia właściciela na dysponowanie gruntem 12 Projekt inwestycyjny 9 78% Projekty odrzucone na etapie weryfikacji Projekty zweryfikowane pozytywnie Projekty wycofane przez wnioskodawce Brak kalkulacji przewidywanych kosztów

24 Weryfikacja źródeł Odsetek osób, które słyszały o BO w Gdyni 100% 90% 80% 70% 76% 83% 69% 69% 70% 84% 78% 65% 78% 84% 60% 50% 40% 30% 20% 10% 0% Ogółem Mężczyźni Kobiety lat lat lat 55+ niższe niż średnie średnie wyższe Wszystkie osoby biorące udział w badaniu sondażowym (n=300) Źródło: sondaż przeprowadzony na reprezentatywnej próbie mieszkańców Gdyni 24

25 Jakie metody można wykorzystać? Co mieszkańcom sprawiło trudność w trakcie tworzenia propozycji zadań (projektów)? Wywiady z wnioskodawcami Wywiady z osobami oceniającymi wnioski Analiza uzasadnień odrzucenia wniosków na etapie weryfikacji W jakim stopniu mieszkańcy dzięki BP spotykają się i rozmawiają o lokalnych potrzebach? Analiza frekwencji na spotkaniach w dzielnicach Analiza sprawozdań moderatorów spotkań Obserwacja przebiegu spotkań w dzielnicach Monitoring prasy/internetu pod kątem spotkań/dyskusji organizowanych przez organizacje społeczne Ankieta z mieszkańcami 25

26 KONSUMPCJA WYNIKÓW 26

27 Co zrobić z wynikami badania? Jak wprowadzać zmiany? Zmiana kursu żaglówka czy tankowiec? Kto jest właścicielem wniosków z badania? Materiał zewnętrzny czy wewnętrzny organizatora procesu? 27

28 Przykładowe wnioski i rekomendacje Duży udział projektów zweryfikowanych negatywnie wśród wszystkich zgłoszonych projektów Większe wsparcie merytoryczne wnioskodawców przez UMK na wcześniejszych etapach procesu Brak możliwości odwołania się od decyzji podjętych przez podmioty weryfikujące projekty Nieskuteczny kontakt urzędników z osobami, które zgłosiły wnioski w celu ich modyfikacji Arbitralność weryfikacji dokonywanej przez miejskiej instytucje Brak przejrzystości procedury weryfikacji Brak wiedzy o kryteriach weryfikacji dla część wnioskodawców Wprowadzenie do przyjętego modelu BO mechanizmu odwołania od decyzji o odrzuceniu wniosku na etapie weryfikacji Wprowadzenie możliwość składania wniosku przez grupę osób lub wpisania w formularz drugiej osoby do kontaktu po stronie wnioskodawcy Wydłużenie czasu na wprowadzenie zmian przez wnioskodawcę Ścisłe przestrzeganie przez podmioty weryfikujące projekty określonych w regulaminie kryteriów oceny. Upublicznienie informacji, jaki podmiot zweryfikował projekt Umieszczenie na stronie internetowej kryteriów wraz z ich opisem 28

29 PYTANIA I WĄTPLIWOŚCI 29

30 Film hpps:// 30

31 Dziękuję za uwagę! Rafał Rudnicki Pracownia Badań i Innowacji Społecznych Stocznia rrudnicki@stocznia.org.pl

Podobne dokumenty

POCZUCIE BEZPIECZEŃSTWA MIESZKAŃCÓW MAKRODZIELNICY ŚRÓDMIEŚCIE

POCZUCIE BEZPIECZEŃSTWA MIESZKAŃCÓW MAKRODZIELNICY ŚRÓDMIEŚCIE WYNIKI BADAŃ Dr Joanna Kabzińska Uniwersytet SWPS, Wydział Zamiejscowy w Katowicach Dr Michalina Szafrańska Katedra Socjologii Prawa UJ PODSTAWOWE