BADANIA EWALUACYJNE -WPROWADZENIE
EWALUACJA -POJĘCIE Ewaluacja = audyt, kontrola, monitoring; mogą był one elementem ewaluacji Audyt: kompleksowe i całościowe badanie mające na celu sprawdzenie zgodności wykorzystania zasobów (głównie finansowych) zgodnie z obowiązującymi przepisami oraz standardami przyjętymi w danym kontekście instytucjonalnym. Informacje uzyskane z audytu można wykorzystać w badaniach ewaluacyjnych do szacowania wydajności danej interwencji społecznej lub/i jako materiał porównawczy z innymi programami podobnego rodzaju Kontrola:ocena finansowo-prawnych aspektów interwencji, w szczególności porównania stanu osiągniętego z wymaganym; często także badanie struktur organizacyjnych i zarządzania. W przeciwieństwie do audytu, ma charakter cząstkowy i może dotyczyć jednego zaledwie aspektu. Monitoring:systematyczne zbierania i analiza danych o charakterze ilościowym i jakościowym na temat wdrażania projektu aspekcie finansowym, rzeczowym i organizacyjnym, mający na celu sprawdzenie zgodności jego realizacji z planowanymi założeniami i celami (analiza przebiegu, rezultatów działań, kontrola poniesionych nakładów itp.)
Cele ewaluacji ewaluacja pozwala utrzymywać program/interwencję na właściwym torze pozwala ustalić czy program/interwencja działa monitorowanie realizacji projektu (identyfikacja problemów zanim program się zakończy); pozwala ustalić co działa a co się nie sprawdza, co i jak należało by usprawnić kontrola jakości jak ludzie oceniają dostarczane usługi, czy są z nich zadowoleni? ocena wpływu programu czy osiągnięto zamierzone cele?
Ocena realizacji program implementation Czy program jest uzasadniony/ jest sens go przeprowadzać? Czy program dosięga osób do których jest skierowany? Czy program jest realizowany w sposób zgodny z założeniami? Co i jak zmienia się w trakcie jego realizacji? Co zdaje się działać dobrze jak na razie? Na jakie wyzwania napotyka realizacja programu? Na ile zadowoleni są odbiorcy usług oferowanych przez program; co lubią najbardziej i czym są zaniepokojeni? Jakie są faktyczne koszty realizacji programu? W jaki sposób odnoszą się one do poszczególnych usług i jakości programu? Czy koszty przewyższają korzyści?
Ocena wpływu programu -program impact Czy program osiągnął zamierzone cele? Jakie są wyniki? Czy program skutecznie rozwiązał problem zgodnie z założeniem? W jakim zakresie nastąpiła poprawa problemu? Na ile wpływ na to miał wdrożony program/interwencja?
RODZAJE EWALUACJI Ewaluacja wewnętrzna: prowadzona przez osoby pośrednio lub bezpośrednio związane z badaną instytucją/ przedsięwzięciem; korzyści: możliwość wykorzystania pogłębionej wiedzy o specyfice instytucji, duża szansa na trafne rekomendacje; ryzyko: brak obiektywizmu w analizie i interpretacji danych, często brak kadry mogącej zajmować się wyłącznie prowadzeniem ewaluacji. Ewaluacja zewnętrzna: przeprowadzana przez niezależnego wykonawcę/zespół wykonawców; korzyści: niezależność sądów i opinii, profesjonalizm usług oferowanych przez firmy wyspecjalizowane w prowadzeniu ewaluacji; ryzyko: niebezpieczeństwo nieadekwatności wniosków i rekomendacji ze strony ewaluatorów w związku z brakiem pogłębionej znajomości badanej instytucji. W badaniach z funduszy strukturalnych Unii Europejskiej prowadzona jest ewaluacja zewnętrzna, jako wewnętrzna prowadzona jest wyłącznie ewaluacja ongoing.
RODZAJE EWALUACJI Rozporządzenie Rady Unii Europejskiej nr 1260 z dnia 21 czerwca 1999r. rodzaje ewaluacji dla w projektach dotyczących funduszy strukturalnych: ex-ante (art. 41), mid-term (art. 42), ex-post (43) ongoing, ewaluacje tematyczne. Ustawa z dnia 20 kwietnia 2004r. o Narodowym Planie Rozwoju (Dz.U. z dnia 24.05.2004) typy ewaluacji: szacunkowa (przed rozpoczęciem przedsięwzięcia), w połowie realizacji, pełna (po zakończeniu realizacji programu). Ewaluacja ex-ante: prowadzona przed wdrożeniem programu, cele: 1. ocena trafności planowanego przedsięwzięcia z punktu widzenia potrzeb (sektora, beneficjentów), 2. ocena spójności planowanych celów i sposobów ich realizacji, 3. ocena kontekstu, identyfikacja potencjalnych trudności, diagnoza potrzeb i oczekiwań grupy docelowej
RODZAJE EWALUACJI Ewaluacja mid-term: przeprowadzana mniej więcej w połowie realizowanego przedsięwzięcia; cele: analiza osiągniętych na danym etapie rezultatów i produktów, pierwsza, wstępna ocena jakości realizacji programu, ocena w czasie celów, wskaźników i aktualnego kontekstu prowadzonego przedsięwzięcia; w dużej mierze opiera się na danych pochodzących z monitoringu Ewaluacja ex-post: prowadzona po zakończeniu interwencji, zazwyczaj nie później niż 3 lata po zakończeniu okresu programowania; cele: całościowa ocena skuteczności, efektywności, trafności i użyteczności interwencji, diagnoza planowanych efektów, identyfikacja efektów nie zakładanych Ewaluacja on-going: prowadzona niezależnie od typów ewaluacji wymienionych powyżej; prowadzona w trakcie interwencji i ma charakter uzupełniający cele: 1. pogłębiona analiza wybranych problemów, 2. zarządzanie realizacją interwencji, diagnoza i analiza pojawiających się problemów oraz poszukiwanie ich możliwych rozwiązań, 3. pogłębiona analiza uwarunkowań kontekstowych Ewaluacja tematyczna: analiza wybranego zagadnienia/elementu działania związanego z programem, mająca charakter przekrojowy i/lub porównawczy; najczęściej realizowana w formie studium przypadku (np. skuteczność zatrudniania długotrwale bezrobotnych)
PROCES EWALUACJI -KROKI PLANOWANIE EWALUACJI PROJEKTOWANIE EWALUACJI ZBIERANIE I ANALIZA DANYCH SPORZĄDZENIE RAPORTU WYKORZYSTANIE WYNIKÓW EWALUACJI
PROJEKT EWALUACJI -ELEMENTY OPIS PRZEDMIOTU EWALUACJI: precyzyjnie wskazać co będzie poddane ocenie PYTANIA KLUCZOWE (BADAWCZE): pytania na które będziemy odpowiadać w rezultacie ewaluacji oraz które staną się kanwą raportu KRYTERIA EWALAUACJI: trafność, efektywność, skuteczność, wpływ, trwałość efektów DOBÓR MODELU, METOD I TECHNIK BADAWCZYCH, DOBÓR PRÓBY OKREŚLENIE FORMATU RAPORTU: forma, objętość, zakładany adresat
TECHNIKI ZBIERANIA DANYCH W BADANIACH EWALUACYJNYCH Zasada triangulacji różnorodność źródeł, technik gromadzenia i analizy danych Najpopularniejsze techniki: analiza dokumentów zastanych indywidualne wywiady pogłębione (IDI) indywidualne wywiady kwestionariuszowe ankiety zogniskowane wywiady grupowe (FGI) obserwacje
TECHNIKI OCENY EFEKTÓW PROGRAMU W BADANIACH EWALUACYJNYCH Najpopularniejsze techniki: panel ekspertów benchmarking analiza SWOT analiza kosztów i korzyści (cost-benefit analysis) analiza kosztów i efektywności (costeffectiveness analysis) modele ekonometryczne (mikro-i makroekonomiczne)