2010 Ewaluacja jako narzędzie zarządzania i podejmowania decyzji Agnieszka Haber agnieszka_haber@parp.gov.pl 17-18 V 2010 r. Połczyn Zdrój
Zarządzanie to działalność polegająca na ustalaniu celów i powodowaniu ich realizacji
Badania rynkowe stanowią jedno z najważniejszych narzędzi konkurencyjnych dostępnych dla przedsiębiorstw, którego zastosowanie może przyczynić się do zwiększenia efektywności, budowania strategii firmy, lepszego wykorzystania nakładów, znajomości rynku i klientów etc..
Jednym z kluczowych dostępnych dla administracji narzędzi zarządzania jest ewaluacja.
Ewaluacja w zarządzaniu publicznym, podobnie jak badania rynkowe polega na rozpoznaniu mechanizmów rynkowych; jego struktury, stanu i rozwoju jego elementów w celu stworzenia założeń do podejmowania trafnych i efektywnych decyzji.
EWALUACJA
Ewaluacja to... Proces zmierzający do stwierdzenia w jakim stopniu założone cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles of Curriculum and Instruction) Proces określenia charakteru, uzyskiwaniu i dostarczaniu takich informacji, które pozwoliłyby na ocenę alternatywnych decyzji (D.L. Stufflebeam; Educational Evaluation: Theory and Practice) Wnikliwe badanie charakterystyki i zalet ewaluowanego programu ( ) dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania. (A. Fink "Evaluation for Education and Psychology") Systematyczne badanie wartości, zalet ewaluo-wanego programu (Joint Committee on Standards for Educational Evaluation)
Ewaluacja definicja UE / KE Rozporządzenie Rady Unii Europejskiej nr 1260 z dnia 21 czerwca 1999 r. wprowadzającym ogólne przepisy dotyczące funduszy strukturalnych: ewaluacja prowadzona jest w celu ustalenia efektywności pomocy strukturalnej Wspólnoty oraz w celu oszacowania jej oddziaływania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalne narzędzie planowania i zarządzania pomocą strukturalną oraz element systemu wspomagający efektywne wykorzystanie funduszy Definicja ewaluacji wg. Komisji Europejskiej: Ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004
Ewaluacja a logika interwencji publicznych efektywność? skuteczność? potrzeby sukces? jakoś? oddziaływanie cele rezultaty nakłady działania wyniki
Zastosowania wspomaganie procesu podejmowania decyzji / planowanie, poprawa wdrażania i kontrola jakości / podniesienie skuteczności i efektywności działań identyfikacja słabych i mocnych stron wskazanie kierunków rozwoju sygnalizowanie pojawiających się problemów oszacowanie możliwości i ograniczeń określanie stopnia zgodności z przyjętymi założeniami badanie potrzeb zwiększanie profesjonalizmu świadczonych usług demokratyzacja procesu zarządzania element uczenia się i samodoskonalenia
Co? Dlaczego? Jak? Kiedy? W wyniku czego? Kto? Co się wydarzyło? itp. Potrzeba informacyjna Funkcje ewaluacji Cel ewaluacji poznawczy instrumentalny kontrolny formatywna konkluzywna społeczno-polityczna administracyjna źródło: opracowanie własne
Funkcje ewaluacji Formatywna zapewnienie postępu funkcja stymulowania usprawnień i rozwoju organizacyjnego Konkluzywna selekcja lub sprawozdawczość funkcja rozliczenia i egzekwowania odpowiedzialności Społeczno-polityczna kształtowanie motywacji i uzyskanie poparcia społecznego http://www.ssc.govt.nz Administracyjna sprawowanie władzy
w jakim celu?
w jakim celu? kontrolny instrumentalny poznawczy
Oś funkcji ewaluacji Koncentracja na myśleniu operacyjnym -wdrażanie Koncentracja na myśleniu strategicznym ocena efektów Partnerstwo i współwłasność Wdrażanie i bieżąca jakość Planowanie Poznanie Rozliczanie i wzmacnianie odpowiedzialności źródło: Ferry M., Olejniczak K., (2008) Wykorzystanie ewaluacji w zarządzaniu programami unijnymi w Polsce, s. 24, Warszawa, Sprawne Państwo Program Ernst & Young.
Ewaluacja to wiele możliwości w jednym narzędziu
Zarządzanie Ewaluacja Decyzje Jak osiągnąć założone cele?
Jak osiągnąć założone cele? w jakich warunkach działasz? zobacz czego ci brakuje? co robisz by osiągnąć zamierzone cele? jak działasz? mając pełen obraz dostrzeżesz wszystkie szczegóły szukaj odpowiedzi W jakim stopniu podjęta interwencja przyczyniła się do obserwowanych efektów? tylko łącząc przyczynę ze skutkiem możesz realnie działać nie zawsze jest tak jak na to wygląda pamiętaj by metodologia i narzędzia pomiaru nie wypaczyły wyniku jakie są twoje wyniki? czy uda ci się osiągnąć sukces? jakie są ryzyka dla twojego projektu? sięgnij po wiedzę która ma realny wpływ na twój biznes szukaj najlepszych rozwiązań posiadając bieżącą informację podejmuj właściwe działania
Ewaluacja uniwersalne narzędzie, ale. kiedy po nie sięgnąć
Kontrola-monitoring-ewaluacja WDRAŻANIE PROGRAMU (PROJEKTU) KONTROLA KONTROLA KONTROLA MONITOROWANIE PROGRAMU (PROJEKTU) ewaluacja ewaluacja ewaluacja. CZAS
Ewaluacja ex-ante rozporządzenie 1260/1999art..41 ustawa o NPR art.- 57-59 dok. roboczy KE nr. 2 Przeprowadzana przed wdrażaniem programu. Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Bada kontekst społeczny, gospodarczy, prawny. Służy identyfikacji potencjalnych trudności. Diagnozuje potrzeby i oczekiwania docelowej grupy odbiorców.
Ewaluacja on-going rozporządzenie 1260/1999 art. 40 ustawa o NPR art.- 57 Przeprowadzana w trakcie realizacji programu. Służy identyfikacji aktualnych trudności realizacji przedsięwzięcia bądź ich kontekstu. Stanowi cenne źródło informacji użytecznych przy rozwiązywaniu aktualnych, bądź potencjalnych problemów. Może przyczynić się do szybkiej reakcji na pojawiające się problemy i bieżących modyfikacji realizacji interwencji. Daje możliwość bieżącej analizy pojawiających się efektów programu.
"Jeśli wydaje ci się, że wszystko idzie dobrze, to znaczy, że nie masz pojęcia, co się naprawdę dzieje." prawo murphy`ego
Ewaluacja mid-term rozporządzenie 1260/1999 art. 42 ustawa o NPR art. 60 dok. Roboczy KE: nr 8 i 9 Realizowana jest w połowie wdrażania interwencji. Poddaje analizie osiągnięte na tym etapie produkty i rezultaty. Dokonuje pierwszej oceny jakości realizacji programu. Ocenia poczynione na etapie programowania założenia (cele, wskaźniki). Diagnozuje kontekst realizacji przedsięwzięcia. Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń.
Ewaluacja ex-post rozporządzenie 1260/1999 art. 43 ustawa o NPR art. 61 Przeprowadzana po zakończeniu realizacji programu. Bada długotrwałe efekty (oddziaływanie) programu oraz ich trwałość. Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność. Ocenia na ile udało się osiągnąć założone cele. Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.
Zarządzanie interwencją http://www.ssc.govt.nz
Gdzie jesteśmy? Gdzie chcemy pójść? Jak tam dotrzeć? Zarządzanie strategiczne
Proces decyzyjny ewaluacja DIAGNOZA identyfikacja sytuacji wyjściowej Zarządzanie strategiczne Opracowanie możliwych rozwiązań wyznaczenie decyzji dopuszczalnych/wystarczających/optymalnych podjęcie ostatecznej decyzji Wyznaczenie celów strategicznych i operacyjnych
Kim jesteś? Jakich informacji poszukujesz? Do czego potrzebne są ci te informacje? Jakiego produktu potrzebujesz?
Czy będziesz wstanie wykorzystać wnioski i rekomendacje? Czy wynik końcowy ewaluacji pozwoli ci podjąć decyzje biznesowe?
potencjał instytucjonalny w zakresie zarządzania procesem ewaluacji oraz zarządzania wiedzą strategię realizacji procesu / wykorzystania / promocji; komunikację wewnątrz instytucji / z otoczeniem zewnętrznym instytucji kulturę organizacyjną instytucji zamawiającej ewaluację oraz jej otoczenia instytucjonalnego; stabilność instytucjonalną (od jak dawna instytucja zajmuje się interwencjami podobnymi do ewaluowanego przypadku); pozycję w systemie polityki i w ewaluowanym programie w tym zdolność do alokowania czy przekazywania środków oraz możliwość dokonywania zmian; charakterystykę badanej interwencji ze względu na kwestie polityk do których się odnosi oraz znaczenia interwencji dla danej dziedziny, wielkość (środki) i skali (ze względu na okres realizacji i skalę geograficzną), przeprowadzenia badań; moment dostarczenia wyników; sytuację polityczną; grupy interesów; Uwarunkowania.
Uwarunkowania. odbiorcy wyników partnerzy instytucjonalni zaangażowani w proces ewaluacji decydenci zaplecze techniczne / instytucjonalne / zasoby wykonawca eksperci jakość i użyteczność produktu końcowego raportu z ewaluacji
+ wspomaganie korzyści. procesów decyzyjnych zarządzania strategicznego I II III zarządzania projektem / interwencją + poprawa jakości działania w wymiarze: skuteczności efektywności poprawy jakości usług publicznych przejrzystości + wzmocnienie potencjału organizacyjnego + profesjonalizacja świadczonych usług + zmiana kultury organizacyjnej
więcej o ewaluacji. http://www.parp.gov.pl/index/index/1423
więcej o ewaluacji. VI Konferencja Ewaluacyjna Warszawa listopad 2010 r.
Dziękuję za uwagę