Analiza potrzeb szkoleniowych i doradczych w/z ewaluacji w administracji publicznej.

Transkrypt

1 Analiza potrzeb szkoleniowych i doradczych w/z ewaluacji w administracji publicznej. W okresie przeprowadzona została analiza potrzeb szkoleniowych i doradczych w administracji publicznej oraz poza administracją wśród podmiotów zajmujących się ewaluacją zarządzania publicznego. Analizę przeprowadzono z wykorzystaniem następujących metod-narzędzi: 1/ rozmowy indywidualne z radnymi, konsultantami samorządowymi i urzędnikami urzędów gmin i starostw odpowiedzialnymi za realizację polityki rozwoju społecznogospodarczego lub realizację polityk sektorowych; - przeprowadzono ok. 25 rozmów, z czego nieznaczna część okazała się w jakimkolwiek zakresie konkluzywna; 2/ ankieta internetowa skierowana do wybranych współpracujących przedstawicieli administracji publicznej liderów opinii, - wysłano 33 kwestionariusze ankiety skierowane imiennie, uzyskano zwrotnie 7 odpowiedzi pisemnych oraz kolejnych ok.10 ustnych odpowiedzi negatywnych (informujących, Ŝe ankietowanym Ŝadne praktyczne zastosowanie ewaluacji w zakresie ich obowiązków zawodowych nie jest znane). Wyniki przeprowadzonych rozmów i wywiadów internetowych skonkludować moŝna następująco: 1. Ewaluacja jest zagadnieniem słabo znanym, rozpoznanym i rozumianym. Zarówno rozmówcy jak i ankietowani wybrani do badania to osoby z wieloletnim staŝem w administracji publicznej, ulokowane zazwyczaj na średnim szczeblu zarządzania. Pomimo ich pozycji znajomość zagadnienia ewaluacji w tym gronie jest nieznaczna, zwykle nie wychodzi poza ogólniki. Część uzyskiwanych odpowiedzi wręcz świadczyć moŝe o braku jakiegokolwiek zrozumienia zagadnienia. 1

2 2. Deklarowany przez rozmówców znany im zakres prowadzonych ewaluacji jest niewielki i dotyczy tylko wybranych polityk, w Ŝadnym razie nie ma charakteru systemowego. Wydaje się teŝ, Ŝe w znacznej części odpowiedzi uzyskane w tym zakresie były przypadkowe. 3. Na pytanie o to czy dokonuje się ewaluacji strategii rozwoju regionu, w którym rozmówca jest aktywny zawodowo, mniej więcej po równo uzyskano odpowiedzi trudno powiedzieć, tak i nie trudno więc o jednoznaczną konkluzję. Na poziomie dokumentów w większości odnośnych strategii rozwoju przeprowadzanie ich ewaluacji jest uwzględnione (zapisane), co moŝe wynikać ze stosunkowo wysokiej kultury zarządzania objętych badaniem potrzeb osób (jako liderów opinii, a więc osób o widocznym dorobku i przynajmniej lokalnym autorytecie w swojej dziedzinie). 4. Na pytanie o to czy w dziedzinie specjalizacji zawodowej danej osoby prowadzone są ewaluacje większość dopowiada twierdząco, ale tylko w odniesieniu do części programów lub nielicznych programów. 5. Jednocześnie wszyscy bez wyjątku rozmówcy oraz ankietowani deklarują, Ŝe ewaluacja realizowanej przez samorząd polityki rozwoju społecznogospodarczego jest potrzebna. W świetle pozostałych, równoległych wypowiedzi wydaje się jednak, Ŝe jest to ogólnie słuszna deklaracja, za którą nawet na własnym polu nie idą jakiekolwiek kroki praktyczne. 6. Na pytanie o typy programów sektorowych, w których uwzględniona jest ewaluacja wskazywane są trzy grupy programów: o Programy dotyczące zarządzania środowiskiem - typu: a/ plan gospodarki odpadami, b/ program ochrony środowiska; o Programy dotyczące lokalnej polityki społecznej - typu: a/ strategia rozwiązywania problemów społecznych, b/ program profilaktyki i opieki nad dzieckiem i rodziną; o Programy rewitalizacji. Z jednym wyjątkiem są to wszystko programy opracowywane przez samorządy obligatoryjnie, niemniej ich zawartość moŝe być bardzo zróŝnicowana (z wyjątkiem programów rewitalizacji, które podlegają ścisłym wytycznym). W 2

3 praktyce moŝe to oznaczać duŝą dowolność, a więc kształt danego programu, w tym prezentowane podejście do ewaluacji, w duŝej mierze zaleŝy od jego autorów. 7. Tam gdzie ma to zastosowanie, zdaniem rozmówców, najczęściej mówi się łącznie o monitoringu i ewaluacji strategii i programów, przy czym proces monitoringu jest szerzej opisywany. 8. Na pytanie o główne przeszkody, na jakie napotyka instytucja rozmówcy w przeprowadzaniu ewaluacji uzyskano nieliczne odpowiedzi (niewiele instytucji ma juŝ takie doświadczenie). Wskazywane jest: o Czasochłonność, o Brak osób, które mogłyby ewaluację lokalnie przeprowadzić, o Brak świadomości korzyści płynących z ewaluacji, o Brak znajomości narzędzi i dostępnych środków, o Brak niektórych danych, o Brak powiązania realizacji wielu działań na zasadzie: problem-reakcja na niego (dla rozwiązania problemu), o Obawa przed negatywną oceną pracy. 9. W większości instytucji reprezentowanych przez rozmówców i ankietowanych nie ma wydzielonej komórki organizacyjnej lub stanowiska odpowiedzialnego za przeprowadzanie ewaluacji. Tylko w jednym przypadku uzyskano odpowiedź twierdzącą (niemniej jest bardzo prawdopodobne, Ŝe ankietowanemu chodziło w tym wypadku o stanowisko wewnętrznego audytora, nie ewaluatora). 10. Na pytanie o to czy w danej instytucji potrzebna jest dodatkowa wiedza lub umiejętności w zakresie ewaluacji polityki rozwoju zdecydowana większość rozmówców odpowiada zdecydowanie tak lub raczej tak, pojawiły się teŝ odpowiedzi trudno powiedzieć (co moŝe być oznaką braku zorientowania rozmówcy w zagadnieniu). 11. Na bezpośrednie pytanie o potrzebne szkolenia większość osób nie potrafiła odpowiedzieć, uzyskano następujące nieliczne wskazania: o w jaki sposób sprawnie przeprowadzić ewaluację programów? 3

4 o z jakich materiałów korzystać przy ocenie? o zasady konstruowania działania narzędzia ewaluacyjnego /standardy/, o narzędzia do ewaluacji metody dostosowane do specyfiki działań /miękkie lub twarde/. o metody dokonywania analizy wyników ewaluacji, o na co naleŝy zwrócić szczególną uwagę, jak interpretować wyniki, aby były obiektywne 1? o zasady - metody konstruowania wniosków-rekomendacji. 12. Na bezpośrednie pytanie o zakres potrzebnego doradztwa uzyskano jeszcze mniej odpowiedzi, nieliczne wskazania w tym zakresie obejmują: o Konstruowanie narzędzi ankiet, dostosowanych do specyficznych zadań, o Dokonywanie oceny realizowanych przez siebie działań konstruowanie wniosków, o Implementowanie wyników oceny, do istniejących lub tworzonych programów, działań, programów rozwoju-doskonalenia kadr itp. Wnioski: Wydaje się, Ŝe obecnie trudno w ogóle mówić o uświadomionych potrzebach szkoleniowych i doradczych w zakresie zastosowania ewaluacji w zarządzaniu publicznym w samorządach, poza obowiązkami wynikającymi ze zobowiązań unijnych związanych z wdraŝaniem funduszy strukturalnych. Dotyczy to poziomu lokalnego (gminy, powiaty) gdzie znajomość zagadnienia ewaluacji jest znikoma, gdzie wprawdzie w nielicznych przypadkach pojawiają się zapisy o obowiązkowym monitoringu i ewaluacji, ale nie są one realizowane (i co ciekawe nie spotyka się to z sankcją). Dotyczy to takŝe poziomu regionalnego 1 Tak w oryginale 4

5 gdzie znajomość zagadnienia ewaluacji jest większa, niemniej wydaje się, Ŝe ewaluacja nie jest wprowadzana z powodu braku świadomości co do jej znaczenia dla jakości polityki ani pomysłu na to w jaki sposób moŝe być praktycznie przydatna, jak wykorzystać jej wyniki. Znaczącą, aczkolwiek niewerbalizowaną barierą we wprowadzaniu ewaluacji do praktyki zarządzania publicznego w samorządach jest teŝ prawdopodobnie obawa przed wykorzystaniem jej efektów do rozliczania lokalnych decydentów polityków, radnych, urzędników - z efektów ich działań. Niewątpliwie niestosowanie ewaluacji sprzyja nierozliczalności działań lokalnych urzędów, i jako takie jest po prostu pragmatycznie wygodne. Podsumowując moŝna stwierdzić, Ŝe obecnie kluczową kwestią dla szerszego wprowadzenia ewaluacji do praktyki samorządowej jest: 1/ zapoznanie z zagadnieniem i przekonanie do idei ewaluacji osób decydujących w urzędach o podejmowaniu nowych zadań na poziomie zarządczym oraz 2/ upowszechnianie i uświadamianie sposobów praktycznego zastosowania i moŝliwości formatywnego, nie represyjnego, wykorzystania wyników ewaluacji. Innymi słowy na obecnym, niewątpliwie wstępnym etapie, wskazane jest kształtowanie wyobraźni ewaluacyjnej, a więc takie oddziaływanie, które pomoŝe zbudować wewnętrzny popyt na ewaluację w administracji samorządowej. Drugą, i niewątpliwie odmienną, ścieŝką działań jest budowanie potencjału po stronie podaŝy a więc eksperckiej wiedzy i umiejętności prowadzenia badań ewaluacyjnych, niemniej wydaje się, Ŝe dzisiaj na poziomie regionalnymi i lokalnym nie ma dla tych zasobów szerokiego zastosowania. Wydaje się, Ŝe takie właśnie powinno być ukierunkowanie studiów podyplomowych - na pozyskanie kluczowych osób z administracji do idei wprowadzenia ewaluacji do praktyki samorządowej, np. poprzez prezentowanie udanych przykładów systemowego wykorzystania ewaluacji w administracjach innych krajów, oraz 2/ na wyposaŝenie ich w moŝliwie szeroką wiedzę nt. tego w jaki sposób ewaluacje planować, stosować i praktycznie wykorzystać do poprawienia jakości realizowanych zadań publicznych. Opr. B.Pietras-Goc, r. 5

6 Załącznik kwestionariusz ankiety internetowej E W A L U A C J A J A K O S T A N D A R D Z A R Z Ą D Z A N I A W S E K T O R Z E P U B L I C Z N Y M Projekt współfinansowany ze środków Unii Europejskiej Umowa nr: 9794/JFK/PPt-DG/2007-TF2005/ /Ew/18 Program Środki Przejściowe 2005 Wielosektorowy Projekt Wzmocnienia Zdolności Administracyjnych KOMPONENT 6 Wzmocnienie zdolności ewaluacyjnych w sektorze publicznym ANKIETA POTRZEB I ZASTOSOWANIA EWALUACJI W POLITYCE ROZWOJU Szanowni Państwo! WyŜsza Szkoła Europejska im. ks. Józefa Tischnera przygotowuje podręcznik oraz studia podyplomowe w zakresie ewaluacji w sektorze publicznym. Współpracuję ze Szkołą w tym przedsięwzięciu. Ankieta, o której wypełnienie proszę, słuŝy do zebrania wstępnych informacji na temat stosowania ewaluacji oraz potrzeb szkoleniowych i doradczych w zakresie ewaluacji w sektorze publicznym. Zawiera tylko kilka pytań i jej wypełnienie zajmie krótką chwilę, a Państwa odpowiedzi jako liderów opinii pomogą nam właściwie ukierunkować i podnieść jakość naszej pracy. Dane Państwa i instytucji, którą Państwo reprezentują nie będą gdziekolwiek ujawniane, pozostaną jedynie do wiadomości mojej oraz zespołu opracowującego ankietę. BoŜena Pietras-Goc Proszę zaznaczyć właściwą odpowiedź wpisując dowolny znak w oznaczone pole. W przypadku pytań otwartych proszę wpisać odpowiedź w zaznaczone pole tekstowe. 6

7 1. Czy dokonuje się ewaluacji (oceny sposobu realizacji i osiągnięć): - dotyczącej Państwa regionu Strategii Rozwoju? TAK TRUDNO POWIEDZIEĆ NIE - dotyczących dziedziny Państwa zainteresowań zawodowych programów sektorowych? (np. programu ochrony środowiska, strategii rozwiązywania problemów społecznych, programu opieki nad zabytkami, programu ochrony środowiska, programu współpracy z organizacjami pozarządowymi itp.) TAK, WSZYSTKICH LUB PRAWIE WSZYSTKICH PROGRAMÓW TAK, WIĘKSZOŚCI PROGRAMÓW TAK, ALE TYLKO CZĘŚCI PROGRAMÓW TAK, ALE TYLKO NIELICZNYCH PROGRAMÓW NIE 2. Czy zdaniem Państwa ewaluacja realizowanej przez samorząd polityki rozwoju społeczno-gospodarczego jest potrzebna? ZDECYDOWANIE TAK RACZEJ TAK TRUDNO POWIEDZIEĆ RACZEJ NIE ZDECYDOWANIE NIE 7

8 3. Czy w dokumencie dotyczącej Państwa regionu Strategii Rozwoju jest uwzględnione przeprowadzanie ewaluacji tej strategii? TAK TRUDNO POWIEDZIEĆ NIE Jeśli TAK, to czego ma dotyczyć ta ewaluacja, jaki jest jej obowiązkowy zakres? (Proszę wpisać odpowiedź w pole tekstowe poniŝej) 8

9 4. Czy w samorządowych programach sektorowych, które dotyczą Państwa zakresu zainteresowań zawodowych, jest uwzględnione przeprowadzanie ewaluacji tych programów? (dotyczy np. programu ochrony środowiska, strategii rozwiązywania problemów społecznych, programu opieki nad zabytkami, programu ochrony środowiska, programu współpracy z organizacjami pozarządowymi itp.) TAK ZAZWYCZAJ TAK TRUDNO POWIEDZIEĆ ZAZWYCZAJ NIE NIE Jeśli TAK, to których programów to dotyczy i jaki jest zakres ich ewaluacji? (Proszę wpisać odpowiedź w pole tekstowe poniŝej) 9

10 5. Jakie są główne przeszkody, jakie napotyka Państwa instytucja w przeprowadzaniu ewaluacji realizowanej polityki rozwoju społeczno-gospodarczego? (Proszę wpisać odpowiedź w pole tekstowe poniŝej) 6. Czy w Państwa instytucji istnieje wydzielona komórka organizacyjna lub stanowisko odpowiedzialne za przeprowadzenie ewaluacji realizowanej polityki rozwoju społeczno-gospodarczego? TAK NIE NIE WIEM Jeśli NIE, to czy zadania te są komukolwiek przydzielone? TAK NIE NIE WIEM 10

11 7. Czy w Państwa instytucji potrzebna jest dodatkowa wiedza lub umiejętności w zakresie ewaluacji realizowanej polityki rozwoju społeczno-gospodarczego? ZDECYDOWANIE TAK RACZEJ TAK TRUDNO POWIEDZIEĆ RACZEJ NIE ZDECYDOWANIE NIE Jeśli ZDECYDOWANIE TAK lub RACZEJ TAK, to jakich zagadnień powinny dotyczyć potrzebne: - szkolenia? (Proszę wpisać odpowiedź w pole tekstowe poniŝej) 11

12 - konsultacje? (Proszę wpisać odpowiedź w pole tekstowe poniŝej) BARDZO DZIĘKUJĘ ZA WYPEŁNIENIE ANKIETY. PROSZĘ O ZAPISANIE PLIKU Z WYPEŁNIONĄ ANKIETĄ I ODESŁANIE GO NA ADRES: 12