Stymulacja rozwoju emocjonalnego, poznawczego, społecznego dzieci, młodzieży i osób dorosłych z wadą słuchu. Realizacja w Ośrodku Wsparcia PFPDN ECHO

Warszawa, dnia 10.06.2013 Meta-ewaluacja raportu końcowego z monitoringu i ewaluacji projektu za okres 01 kwietnia 2010 31 marca 2013 pt.: Stymulacja rozwoju emocjonalnego, poznawczego, społecznego dzieci, młodzieży i osób dorosłych z wadą słuchu. Realizacja w Ośrodku Wsparcia PFPDN-ECHO- Raport końcowy z monitoringu i ewaluacji projektu za okres 01 kwietnia 2010-31 marca 2013r., pt.: Stymulacja rozwoju emocjonalnego, poznawczego, społecznego dzieci, młodzieży i osób dorosłych z wadą słuchu. Realizacja w Ośrodku Wsparcia PFPDN ECHO Opracowała: Anna Olesiejuk: anna.olesiejuk@gmail.com 1

Spis treści Rozdział 1. Informacje o projekcie...3 1.1 Informacje ogólne...3 1.2. Cele projektu...4 1.3. Finansowanie...6 Rozdział 2 - Elementy ewaluacji w świetle norm i standardów...7 2.1 Podmiot ewaluacji...7 2.2 Cele ewaluacji...7 2.3 Kryteria ewaluacji...7 2.4 Metody i techniki monitoringi i ewaluacji... 10 2.5 Wyniki ewaluacji i zaprezentowane wnioski... 11 2.6 Cechy raportu końcowego... 12 Rozdział 3 Podsumowanie i wnioski... 13 3.1 Kryteria metaewaluacji i ich skala... 13 3.1.1 Ocena ewaluacji w oparciu o standardy Polskiego Towarzystwa Ewaluacyjnego... 14 3.1.2 Ocena ewaluacji w świetle kryterium użyteczności... 16 3.1.3 Ocena ewaluacji w świetle kryterium ekonomiczności... 16 3.2 Ważność kryteriów i ich wagi oraz macierz ewaluacyjna... 16 3.3 Ocena ewaluacji tabel konwersji... 16 Bibliografia:... 18 2

Rozdział 1. Informacje o projekcie 1.1 Informacje ogólne Przedmiotem analizowanego raportu z monitoringu i ewaluacji jest projekt Stymulacja rozwoju emocjonalnego, poznawczego, społecznego dzieci, młodzieży i osób dorosłych z wadą słuchu. Realizacja w Ośrodku Wsparcia PFPDN ECHO, a jego pełny tytuł brzmi Raport końcowy z monitoringu i ewaluacji projektu za okres 01 kwietnia 2010-31 marca 2013r., pt.: Stymulacja rozwoju emocjonalnego, poznawczego, społecznego dzieci, młodzieży i osób dorosłych z wadą słuchu. Realizacja w Ośrodku Wsparcia PFPDN ECHO. Z informacji zawartych w raporcie wynika, że projekt zrealizowany został w ramach umowy zawartej przez PFPDN-ECHO- z PFRON w ramach zadań zleconych konkurs 4. Można również wywnioskować, że projekt został zrealizowany w Ośrodku Wsparcia Polskiej Fundacji Pomocy Dzieciom Niedosłyszącym ECHO-, jednakże nie jest to w raporcie jednoznacznie sformułowane (domniemanie na podstawie tytułu). Projekt składał się z 2 zadań: - zadania 3 organizowanie i prowadzenie szkoleń, kursów i warsztatów dla członków rodzin osób niepełnosprawnych, opiekunów, kadry i wolontariuszy bezpośrednio zaangażowanych w proces rehabilitacji zawodowej lub społecznej osób niepełnosprawnych, ze szczególnym uwzględnieniem zagadnień dotyczących procesu integracji osób niepełnosprawnych w najbliższym środowisku i społeczności lokalnej, zwiększania ich aktywności życiowej i zaradności osobistej oraz niezależności ekonomicznej, podnoszenia umiejętności pracy z osobami niepełnosprawnymi, w tym sprawowania nad nimi opieki i udzielania pomocy w procesie ich rehabilitacji ; - zadania 5 prowadzenie grupowych i indywidualnych zajęć, które: a) mają na celu nabywanie, rozwijanie i podtrzymywanie umiejętności niezbędnych do samodzielnego funkcjonowania osób niepełnosprawnych, b) rozwijają umiejętności sprawnego komunikowania się z otoczeniem osób z uszkodzeniami słuchu, mowy, z autyzmem i z niepełnosprawnością intelektualną. W raporcie nie ma informacji na temat numeracji powyższych zadań, można tylko domniemywać, że są one 3

związane z umową zawartą z PFRON (odwołanie do konkursu 4). W ramach każdego z zadań realizowane były różne działania opisane skrótowo w raporcie (str.4-5). Raport z monitoringu i ewaluacji projektu został przeprowadzony i podpisany imieniem i nazwiskiem przez specjalistę, jednakże nie ma w nim informacji, czy specjalista ten był osobą zatrudnioną przez organizację, na jakich zasadach i jaki był zakres jego pracy. Nie są znane ewentualne ograniczenia wynikające z wysokości wynagrodzenia. O tym, że był to pracownik organizacji możemy domniemywać na podstawie opisu działań (str.5). Projekt realizowany był w okresie od 1 kwietnia 2010 roku do 31 marca 2013 roku. Jak wynika z raportu, podzielony był na 4 etapy: 01 stycznia 2010-30 czerwca 2010 01 lipca 2010-31 marca 2011 01 kwietnia 2011-31 marca 2012 01 kwietnia 2012-31 marca 2013 Każdy etap obejmował realizację zadań wymienionych powyżej (zadanie 3, zadanie 5). Jak wynika z raportu beneficjentami ostatecznymi projektu było 947osób: dzieci, młodzież i osoby dorosłe z wadą słuchu oraz osoby z otoczenia: rodzice, nauczyciele, wolontariusze, a także pracownicy Fundacji. Wyróżniona przez ewaluatora kategoria beneficjentów wskazuje, że z projektu skorzystały wyłącznie osoby zamierzone. Raport zawiera informacje o sposobie rekrutacji beneficjentów, miejscu zamieszkania (województwo), strukturze wiekowej osób z wadą słuchu podopiecznych Fundacji (str.7) oraz liczbie osób w poszczególnych grupach beneficjentów (str.8). Wskazuje również na występujące różnice w funkcjonowaniu beneficjentów niepełnosprawnych w momencie rekrutacji do programu. 1.2. Cele projektu W raporcie z monitoringu i ewaluacji zakres związany z celem głównym i calami szczegółowymi został wymieniony dopiero przy podsumowaniu całego projektu. Zaburzenie kolejności w raporcie utrudnia precyzyjne określenie celów i skutkuje mniejszą czytelnością czy cele projektu zostały osiągnięte. W podsumowaniu specjalista, odwołując się do wymogów określonych przez PFRON, wskazuje na następujący cel główny (łącznie dla zadnia 3 i 5): zwiększenie samodzielności osób niepełnosprawnych (beneficjentów projektu) poprzez rehabilitację słuchu i mowy oraz stymulację rozwoju intelektualnego 4

i emocjonalnego podopiecznych Fundacji ECHO, poprzez wsparcie podopiecznych w procesie integracji społecznej oraz poprzez organizację szkoleń, kursów, warsztatów dla członków rodzin osób niepełnosprawnych, opiekunów, kadry i wolontariuszy bezpośrednio zaangażowanych w proces rehabilitacji zawodowej i społecznej podopiecznych Fundacji (str. 18). Wskazuje również cele szczegółowe, ale w podziale na poszczególne zadania (str. 20-21). W założeniach do projektu (patrz: generator wniosków PFRON opcja nie dostępna dla osób z zewnątrz), odnaleźć możemy zapisy potwierdzające brzmienie celu głównego: podstawowym celem projektu jest zwiększenie samodzielności osób niepełnosprawnych (beneficjentów projektu) poprzez rehabilitację słuchu i mowy oraz stymulację rozwoju intelektualnego i emocjonalnego podopiecznych Fundacji ECHO, poprzez wsparcie podopiecznych w procesie integracji społecznej oraz poprzez organizację szkoleń, kursów, warsztatów dla członków rodzin osób niepełnosprawnych, opiekunów, kadry i wolontariuszy bezpośrednio zaangażowanych w proces rehabilitacji zawodowej i społecznej podopiecznych Fundacji 1 oraz informacje o celach szczegółowych 2 : 1. usuwanie wad wymowy (artykulacja) i usprawnianie słuchu, 2. umożliwienie komunikacji werbalnej z otoczeniem, 3. usprawnianie rozwoju intelektualnego (rozszerzanie zasobu słownictwa i kształtowanie prawidłowej struktury językowej, podnoszenie kompetencji językowych), 4. wspieranie procesu wychowania dzieci i młodzieży niedosłyszącej (objęcie pomocą całej rodziny) oraz usprawnianie rozwoju emocjonalnego i społecznego (usprawnianie i stymulacja sfery psychicznej i komunikacji społecznej), 5. wspieranie procesu edukacji na wszystkich szczeblach, a w szczególności przełamywanie trudności w nauce dla osób kształcących się w placówkach masowych, wśród słyszących rówieśników (współpraca z placówkami oświatowymi), 1 Wersja Generatora Wniosków: 1.2.004.006, Wniosek, Informacje dotyczące zadań, pobrano dnia 17.05.2013 godz. 17.20 2 tamże 5

6. stymulowanie aktywności społecznej, jak i zawodowej osób dorosłych (wyposażenie podopiecznych w stosowną wiedzę, umiejętności, a także działania w zakresie zmiany postaw prowadzących do szerokiej aktywności społecznej, zawodowej), 7. podnoszenie wiedzy i umiejętności członków rodzin osób niepełnosprawnych, opiekunów, kadry i wolontariuszy bezpośrednio zaangażowanych w proces rehabilitacji zawodowej i społecznej podopiecznych Fundacji. 1.3. Finansowanie Projekt powstał jako odpowiedź na konkurs 4, który został ogłoszony przez Państwowy Fundusz Rehabilitacji Osób Niepełnosprawnych w listopadzie 2009r. Źródłem finansowania projektu był PFRON (w proporcjach określanych dla każdego zadania i każdego etapu osobno) oraz środki własne organizacji. Raport z monitoringu i ewaluacji ogranicza się do przedstawienia kwot uzyskanych na dofinansowanie projektu jedynie z PFRONu (str. 4). Nie określa wysokości wkładu własnego jednostki, ani nie wymienia pozostałych źródeł finansowania. Aby poznać powyższe elementy trzeba zapoznać się ze sprawozdawczością sporządzoną przez jednostkę na potrzeby PFRONu (informacja niedostępna dla osób z zewnątrz) 3. Z informacji tam zawartych wynika, że innymi źródłami finansowania były: Urząd Miasta Stołecznego Warszawy dotacje uzyskiwane co roku środki własne organizacji wpłaty z 1% Należy zauważyć, że pominięcie w raporcie źródeł finansowania projektu uniemożliwia ustalenie wysokości udziału ogółem środków publicznych i nie pokazuje wysokości faktycznego wkładu własnego organizacji. Ponadto, opracowane przez specjalistę (na potrzeby PFRONu dla każdego zadania i każdego etapu osobno), wskaźniki nakładu nie stanowiły załącznika do niniejszego raportu. Można je odnaleźć w dokumentach organizacji i w Generatorze (informacja niedostępna dla osób z zewnątrz) 4. 3 Sprawozdania merytoryczne z każdego etapu dla każdego zadania druk rozliczeń PFON, załącznik nr3 4 Sprawozdania finansowe z każdego etapu dla każdego zadania druki rozliczeń PFON, załącznik nr1 6

Rozdział 2 - Elementy ewaluacji w świetle norm i standardów 2.1 Podmiot ewaluacji Podmiotem dokonującym ewaluacji była Polska Fundacja Pomocy Dzieciom Niedosłyszącym ECHO -, a dokładnie specjalista ds. monitoringu i ewaluacji. Najprawdopodobniej osoba ta była pracownikiem jednostki, na co wskazują informacje o prowadzonych w ramach projektu działaniach (powyższa uwaga została już zaakcentowana w pkt 1.1), zatem należy przyjąć, że mamy do czynienia z ewaluacją wewnętrzną. Ewaluator pozostawał więc w bezpośrednim związku i mógł pozostawać w pewnej zależności z podmiotem zlecającym (PFPDN-ECHO-) jako swoim pracodawcą. Jednakże, zgodnie ze standardami przyjętymi przez Polskie Towarzystwo Ewaluacyjne, zachowana powinna być niezależność ewaluacji, co oznacza, że ewaluator powinien wykonywać swoje zadanie w sposób maksymalnie niezależny od struktur organizacyjnych zlecającego oraz względem ewaluowanego programu. Powinna być także zachowana zasada poufności i anonimowości badanych osób względem ewaluatora, by w ten sposób zapewnić zgodność z zasadami etycznymi procesu ewaluacji 5. 2.2 Cele ewaluacji W treści raportu nie zostały sformułowane wprost cele ewaluacji. Nie został zatem spełniony jeden z podstawowych jej wymogów precyzyjne określenie celu, przedmiotu (jedynie ten wymóg został spełniony) i zakresu badania 6. Możemy jedynie domniemywać, na podstawie przyjętych wskaźników (produktu - dla każdego zadania osobno, rezultatu dla projektu), że chodzi o sprawdzenie/odpowiedź na pytanie czy osiągnięte zostały zaplanowane wskaźniki i na jakim poziomie (w ujęciu procentowym). Można również przypuszczać, że ewaluator chciał sprawdzić, czy zostały osiągnięte cele projektu. Specjalista sporządził raport na koniec okresu realizacji programu, zatem możemy przyjąć, że mamy do czynienia z ewaluacją ex-post. Nie ma jednak informacji, czy i w jakim odstępie czasu planowane jest przeprowadzenie kolejnej ewaluacji projektu. 2.3 Kryteria ewaluacji Kryteria ewaluacji nie zostały jednoznacznie określone. Jednak z informacji zawartych w raporcie można wywnioskować, że zastosowane zostały następujące z nich: trafności, użyteczności, skuteczności i trwałości. Kryteria te stosowane były zgodnie z ich ewaluacyjnym 5 B. Szatru-Jaworska, (red.), Ewaluacja w służbach społecznych, Warszawa 2010, str. 83-85 6 Tamże, str.87 7

rozumieniem. Brakuje jednak odniesienia co do ich stopnia/hierarchii ważności. W raporcie nie zostały przedstawione żadne pytania ewaluacyjne. Ewaluator ograniczył się do przedstawienia informacji, że przez cały okres trwania projektu prowadzone były działania polegające na ankietowaniu uczestników 7. Odwołania do kryterium trafności ewaluator użył już przy opisie beneficjentów, gdzie zaakcentowane zostały różnice w poziomie funkcjonowania (sprawności komunikacyjnej i psychospołecznej), a także konieczność opracowywania IPD (Indywidualnych Planów Działań) dla beneficjentów niepełnosprawnych oraz warunek posiadania wady słuchu, potwierdzonej orzeczeniem o niepełnosprawności. Ten ostatni wymóg nie został precyzyjnie przedstawiony w raporcie, a wiedza na ten temat pochodzi z warunków konkursu 4 (materiały archiwalne organizacji dokumentacja projektowa). Dodatkowo wszyscy niepełnosprawni beneficjenci byli podopiecznymi Fundacji, na co zwrócił w raporcie uwagę specjalista ds. monitoringu i ewaluacji. Nie opisał jednak, czy był to wymóg konkursowy czy założenie projektu. W przypadku pozostałych beneficjentów, zgodnie z danymi przedstawionymi w raporcie, trafność uwarunkowana była powiązaniem z osobą z wadą słuchu osoby z otoczenia (rodzice, nauczyciele, wolontariusze placówki, specjaliści PFPDN-ECHO-). Takie techniczne podejście (działania zgodne z celami) 8 oznacza uproszczony sposób rozumienia kryterium trafności, aczkolwiek zgodny ze standardami PTE Użyteczność (w przypadku beneficjentów niepełnosprawnych) oceniana była w skali ocen 1-5. Ewaluator wskazał w raporcie na następujące jej wyznaczniki: rodzaj zaproponowanych zajęć (w rozumieniu odpowiedź na potrzeby), zaangażowanie prowadzących, dostosowanie zajęć terapii indywidualnej do potrzeb i możliwości dziecka (tu także odwołanie do kryterium trafności) oraz ocena ogólna. Uzyskany wysoki wynik (80% i 90%) świadczy o wysokiej użyteczności (i trafności) projektu dla jego adresatów. W raporcie nie ma informacji na temat odpowiedzi wykazujących niższy wynik. Nie wiadomo zatem w jakim kierunku należałoby dokonać modyfikacji projektu, aby uzyskać maksymalny wynik w zakresie tego kryterium. Ewaluator nie wskazuje także w raporcie na ewentualne niezamierzone efekty programu, chociaż badając to kryterium mógł objąć taką problematykę (np. nawiązywanie kontaktów/relacji z osobami słyszącymi spoza bliskiego otoczenia). 7 Raport z monitoringu i ewaluacji, str. 18 8 B. Szatru-Jaworska, (red.), Ewaluacja w służbach społecznych, Warszawa 2010, str. 48 8

Trwałość, w moim odczuciu, nie została w raporcie wyraźnie zaznaczona (lakoniczne odwołanie str.17). Ewaluator argumentuje, że dzięki uczestnictwie w projekcie wielu beneficjentów podjęło lub kontynuowało naukę w szkołach ogólnodostępnych, co wpłynęło na zmniejszenie się grupy dzieci i młodzieży z wadami słuchu i mowy, przebywającą w zamkniętym, odizolowanym środowisku 9. Nie ma jednak informacji w jaki sposób kryterium to zostało zbadane. Odwołanie się do opinii specjalistów (jak rozumiem jako ekspertów w danej dziedzinie nie jest to jasno sprecyzowane w raporcie) jest zgodne z przyjętymi standardami ewaluacji, ale bez podania metodologii (tzn: metoda, narzędzie, liczba przebadanych beneficjentów) nie jest miarodajne. Ponadto w raporcie można wskazać na kryterium skuteczności, z którym ewaluator zapoznaje nas przedstawiając wskaźniki rezultatu projektu. Wynika z nich wysoka skuteczność, czyli zrealizowanie projektu w 100%, a w jednym przypadku aż w 322,2%. Ten ostatni wynik, poza pozytywnym efektem, może wskazywać również na niedoszacowanie wskaźnika, zwłaszcza, że w kolejnych etapach nie powtórzyły się takie dysproporcje. Raport nie odnosi się jednak do takiej możliwości. W podziale na zadania (3 i 5) badany był również wskaźnik produktu. Ewaluator przedstawia w raporcie liczbę beneficjentów i zrealizowane działania w podziale na poszczególne okresy. W raporcie pojawił się błąd niespójne informacje dotyczące okresów poszczególnych etapów. W tej części raportu, w tabeli nr 5, podane zostały inne daty niż faktyczny okres realizacji, opisany w pierwszej części raportu. Analizując kryterium skuteczności ewaluator odniósł się do rezultatów, jakie odnieśli beneficjenci dzięki realizacji projektu. Przedstawił wpływ (choć bardzo ogólnikowo) udziału w projekcie na zmianę (poprawę) funkcjonowania osób z wadą słuchu w codziennym życiu. Raport końcowy z monitoringu i ewaluacji nie odnosi się do kryterium ekonomiczności. Ewaluator nie zamieścił pełnych danych na temat kosztów projektu. Na tej podstawie można wyciągnąć wniosek, że nie było przewidywane badanie tego kryterium. Ponieważ projekt realizowany był w oparciu o umowę z PFRON, można zakładać, że aspekt ekonomiczny projektu badany był w części konkursowej (interpretacja własna w oparciu o znajomość zasad konkursowych PFRON). Raport nie zawiera jednak żadnych informacji na ten temat. Aby w sposób przekonujący ocenić projektowe działania należałoby zbadać realizację każdego elementu celu głównego i każdy cel szczegółowy dla każdego z kryteriów osobno 9 Raport z monitoringu i ewaluacji, str. 17 9

i dopiero na tej podstawie przygotować ocenę projektu. Braki dotyczące kryteriów ewaluacyjnych utrudniają określenie metody oceniania ewaluacyjnego. Brak jest tabeli konwersji, która miałaby na celu wskazanie jak, na podstawie uzyskanych danych i wniosków z ich analizy, należy ocenić program. Nie określono także w raporcie ważności poszczególnych kryteriów, ich miar/skal (określono jedynie dla kryterium użyteczności) i, co za tym idzie, sposobu agregowania ocen cząstkowych do oceny łącznej projektu. 2.4 Metody i techniki monitoringi i ewaluacji Przyjęta metodologia nie została przez ewaluatora opisana w raporcie. Z kolejnych stron można wywnioskować, że mamy do czynienia z triangulacją połączeniem metody ilościowej i jakościowej. Metodzie ilościowej poddane zostały działania skierowane do beneficjentów w podziale na zadania i kolejne etapy. Za jej pomocą zbadana została liczba godzin poszczególnych rodzajów działań i liczba przeprowadzonych warsztatów oraz poziom realizacji, zakładanych w projekcie, wskaźników. Metoda jakościowa została wykorzystana do zbadania poziomu zadowolenia i oceny poszczególnych rodzajów działań skierowanych bezpośrednio do beneficjentów, do oceny ogólnej zajęć oraz do oceny postępów, wiedzy i umiejętności dzieci i młodzieży (uczestników projektu). Na podstawie wyników uzyskanych za pomocą obu tych metod można było dokonać oceny ogólnej projektu, jednakże nie została ona dokonana. Ewaluator (na podstawie stopnia realizacji wskaźnika) ograniczył się do stwierdzenia, iż można przyjąć, że założenia projektu (cele główne i szczegółowe) zostały osiągnięte. Projekt podlegał monitoringowi i ewaluacji przez cały okres realizacji, tj. od 01 stycznia 2010 do 31 marca 2013 roku. Zgodnie z informacjami przedstawionymi w raporcie, posłużono się w tym celu ankietami, które po pierwszym etapie, na wniosek beneficjentów, zostały częściowo zmienione. W raporcie nie znalazły się przykładowe ankiety w postaci załączników (np. wzór narzędzia). Nie ma możliwości odniesienia się do ich merytorycznej zawartości. Informacja o zgromadzonych przez ten okres ankietach (wypełnione formularze) pochodzi z materiałów archiwalnych Fundacji. Brakuje też wzmianki, czy zachowany został wymóg anonimowości ankiet, chociaż wskazują na to wypełnione ankiety (informacja niedostępna dla osób z zewnątrz). Z raportu możemy uzyskać jedynie informację, że dla różnych grup beneficjentów były przygotowane różne narzędzia badawcze. W różnym też czasie były zbierane owe materiały od uczestników projektu: 10

od nauczycieli bezpośrednio po warsztatach od osób z wadą słuchu lub ich opiekunów w czasie realizacji projektu od specjalistów opinie w czasie realizacji i na zakończenie projektu Ewaluator nie informuje w raporcie jak często były one zbierane (uwaga nie dotyczy nauczycieli), ani nie porównuje wyników uzyskanych w poszczególnych etapach. Nie precyzuje również na czym polegały zmiany w ankiecie, wprowadzone po pierwszym etapie realizacji projektu. W raporcie nie znajdujemy także informacji ile badań ankietowych zostało przeprowadzonych. Trudno przez to ocenić, czy była to grupa reprezentatywna, czy nie. Z treści raportu wynika, że był prowadzony stały monitoring projektu. Nie ma jednak informacji czego konkretnie on dotyczył. Ze sprawozdań cząstkowych, niebędących jednak załącznikami raportu końcowego, można wyciągnąć wniosek, że był to monitoring zarówno finansowy jak i merytoryczny. Odnosił się on do liczby przepracowanych godzin w ramach poszczególnych działań, bądź liczby tych działań, wydatkowanych na ten cel środków oraz udziału dotacji PFRON 10. Ewaluator wskazał w raporcie na trudność polegającą na fakcie, że w poszczególnych etapach projektu działania nieznacznie różniły się między sobą, ale nie wymienił tych różnic. Dodatkowym utrudnieniem do wygenerowania całościowej oceny projektu był podział projektu na dwa odrębne zadania w każdym z jego etapów (wymóg PFRON obwarowania konkursowe w raporcie odwołanie do umowy). Z tego powodu monitoring i ewaluacja były prowadzone dla każdego zadania i każdego etapu osobno. Jedynie wskaźnik rezultatu badany był dla całego projektu. 2.5 Wyniki ewaluacji i zaprezentowane wnioski Wyniki badania ewaluacyjnego zostały zaprezentowanie w raporcie w formie opisowej i graficznej. Nie stanowią one jednak oddzielnego rozdziału. Podsumowanie, będące ostatnim rozdziałem raportu, nie zawiera ogólnej oceny projektu. Brak jest zestawienia wyników osiągniętych za pomocą poszczególnych metod (jakościowej i ilościowej), brak przedstawienia sposobu agregowania ocen cząstkowych do oceny łącznej. Wnioski dotyczące realizacji projektu, specjalista ds. monitoringu i ewaluacji, ograniczył do zapisu, iż należy uznać, że projekt został zrealizowany zgodnie z założeniami i osiągnięte zostały cele główne oraz szczegółowe w każdym z zadań 11. Jako potwierdzenie zostały przywołane cele główne dla poszczególnych zadań projektu oraz cele szczegółowe. Trudno jednak uznać osiągnięcie owych 10 Sprawozdania merytoryczne i finansowe z każdego etapu dla każdego zadania druki PFRON 11 Raport z monitoringu i ewaluacji, str. 20 11

celów, gdyż nie zostały one wcześnie w raporcie przedstawione. Forma opisowa dostarcza informacji o rezultatach miękkich oraz oddziaływaniu projektu (poparte opiniami specjalistów). Analiza graficzna wyników została przedstawiona w różnych rozdziałach raportu, nie ma zbiorczego ich ujęcia. Ewalutor wykazał w raporcie liczbę beneficjentów ostatecznych projektu. Podał jak liczba ta zmieniała się w kolejnych etapach, wskazał na duży wzrost w zestawieniu z rokiem poprzedzającym projekt (z rokiem 2009). Wyniki przedstawił w ujęciu procentowym, zabrakło jednak odniesienia liczbowego do roku, z którym dane były porównywane. Ponadto, przedstawiając na wykresie kołowym strukturę beneficjentów niepełnosprawnych, odniósł się nie do beneficjentów projektu, lecz do, nieokreślonej wcześniej, liczby podopiecznych Fundacji z dopiskiem, że struktura zawiera w sobie beneficjentów objętych projektem. Obraz ten jest nieprecyzyjny i nie dostarcza wiedzy o strukturze rzeczywistych niepełnosprawnych beneficjentów projektu. Przedstawione w tabelach wyniki osiągnięte dla poszczególnych wskaźników nie zostały opatrzone komentarzem, pozostawiając dowolność ich interpretacji. Ewaluator przedstawił (na wykresie nr 2) ocenę prowadzonych w ramach projektu działań i w komentarzu wskazał na wysoki ich poziom. Reasumując: sformułowane wnioski można uznać za bardzo skromne i, moim zdaniem, niepoparte w wystarczający sposób wynikami, chociaż dane do argumentacji można odnaleźć na różnych stronach raportu. Ponadto, ewaluator nie wskazuje na niezamierzone efekty projektu (pożądane i niepożądane), pozostawiając w sferze domysłów, czy mogły się jakieś pojawić. 2.6 Cechy raportu końcowego Raport nie zaspokaja oczekiwań różnych grup odbiorców/publiczności zainteresowanych przebiegiem lub możliwością implementacji projektu, a przez to nie dla wszystkich jest użyteczny. Nie zawiera opisu faktów poprzedzających program, np. czy były realizowane podobne działania i w jakim zakresie. Nie informuje o skali problemu i potrzebach tej grupy odbiorców. Nie ma w nim rozdziałów dotyczących organizacji - w tym wypadku PFPDN-ECHO- jako jednostki realizującej projekt i zlecającej monitoring i ewaluację. Odnośnie pochodzenia programu ewaluator przedstawia w raporcie wzmiankę, że program został zrealizowany w ramach umowy z PFRON. Nie prezentuje jednak założeń (warunków) tej umowy. Informacje mogące posłużyć implementacji projektu są niepełne. 12

Nieprecyzyjnie zostało określone źródło finansowania. Nie ma też pełnej informacji o wysokości przeznaczonych na projekt środków pieniężnych (informacja tylko o dotacji PFRON). Z raportu nie wynika precyzyjnie ile osób i z jakimi kwalifikacjami było zaangażowanych do realizacji projektu, jak była wyposażona placówka, która go przeprowadzała, jak były planowane i realizowane poszczególne działania. W części poświęconej wynikom brak szczegółowych informacji o formie ewaluacji, o jej wynikach w odniesieniu do różnych punktów (kryteriów). Konkluzja ewaluacji zaprezentowana w raporcie, choć pozytywna, nie jest miarodajna. Nie są przedstawione słabe i mocne strony projektu, wnioski z doświadczeń są ubogie, brak spójnej oceny całościowej, a wartość i ważność projektu, w moim odczuciu, za słabo uargumentowane. Ewaluator dokonał zestawienia (w formie opisowej) wyników programu z jego zamierzeniami (zakładanymi celami). Wykazał tym samym, że projekt był odpowiedzią na potrzeby beneficjentów (jednak potrzeby te nie były wcześniej opisane). W raporcie zabrakło informacji na temat, czy podobne projekty są realizowane gdzie indziej, raport nie wskazuje też czy i jakie ewentualne zmiany należałoby uwzględnić w przyszłych programach tego typu 12. Rozdział 3 Podsumowanie i wnioski 3.1 Kryteria metaewaluacji i ich skala Do oceny raportu z monitoringu i ewlauacji zastosowane zostały następujące kryteria: 1. zachowanie standardów PTE 2. użyteczność raportu 3. ekonomiczność (koszt raportu) Powyższe kryteria mierzone były na skali od 0 do 5, gdzie: 0 oznacza brak możliwości zmierzenia kryterium 1 oznacza krytyczne wyniki badanego kryterium 2 oznacza liczne poważne słabości badanego kryterium 3 oznacza nieliczne poważnych słabości badanego kryterium 4 oznacza kilka umiarkowanych słabości badanego kryterium 5 brak słabości badanego kryterium 12 B. Szatru-Jaworska (red.), Ewaluacja w służbach społecznych, Warszawa 2010, str. 79 13

3.1.1 Ocena ewaluacji w oparciu o standardy Polskiego Towarzystwa Ewaluacyjnego Poddany analizie raport z monitoringu i ewaluacji w niewielu aspektach jest zgodny ze standardami Polskiego Towarzystwa Ewaluacyjnego. Mocną stroną raportu jest aspekt apolityczności i innych danych wrażliwych tak ewaluatora jak i jednostki zlecającej. W raporcie nie zostały ujawnione żadne cechy związane z przynależnością religijną, polityczną czy rasową. Pod tym względem standardy PTE zostały zachowane. Ewaluator zachował neutralność światopoglądową. Raport nie wskazuje jednostek lepszych, czy gorszych, nikt nie jest w nim dyskryminowany. Nie ma w nim żadnych sugestii czy odniesień, które mogłyby naruszać czyjeś dobra osobiste. Analiza raportu pod innymi względami nie jest już tak optymistyczna. Zasadność ewaluacji projektu wynika bezpośrednio z faktu, że jego realizacja opierała się w części na środkach publicznych (dotacja PFRON), a więc wskazane jest przedstawienie, czy zostały one zagospodarowane na cele publiczne (w tym zakresie zdecydowanie - tak ) i z uwzględnieniem dobra publicznego (w tym zakresie brak informacji). W raporcie nie zostały przedstawione inne źródła (poza PFRON), ani wysokość środków przeznaczonych na realizację projektu. Trudno wyciągnąć wniosek czy środki zostały zagospodarowane z uwzględnieniem dobra publicznego. Odwołanie do umowy z PRON uważam, w tym względzie, za niewystarczające. Choć nie ulega wątpliwości, że monitoring i ewaluacja projektu były istotne z punktu widzenia zarządzania projektem, to można mieć wątpliwości, co do walorów poznawczych i praktycznych przedstawionych w raporcie zapisów. czy proces ewaluacji było odpowiednio wcześniej rozplanowany. Nasuwa się więc wątpliwość, Raport nie precyzuje celu i zakresu badań. Odnosi się tylko do jego przedmiotu. Jednakże i przedmiot ewaluacji projekt - nie jest dostatecznie szczegółowo opisany. Ponadto, raport nie zawiera kluczowych pytań ewaluacyjnych, na które poszukuje odpowiedzi, nie precyzuje też jednoznacznie kryteriów, z zastosowaniem których prowadzona była ewaluacja. Nie zostały również sformułowane kryteria oceny jakości raportu ewaluacyjnego, ani sam projekt nie został poddany ocenie (w rozumieniu oceny ewaluacyjnej). Zastrzeżenia budzi także sam sposób przeprowadzenia ewaluacji. Raport nie precyzuje jakie dane zostały dostarczone przez jednostkę (odwołuje się tylko wykonalności zakładanych wskaźników), jakie zostały zebrane w badaniach ankietowych (zbyt ogólnikowa wzmianka) oraz jak ocenę postępów beneficjenta i wpływu projektu badali specjaliści. Raport nie precyzuje metodologii badania i nie wskazuje ram realizacji ewaluacji. Przeprowadzenie ewaluacji wewnętrznej może wskazywać na niski koszt wytworzenia raportu 14

i na ograniczenia wynikające z możliwości finansowych jednostki, ale pozostaje to w sferze domysłów, bo nie jest jednoznacznie opisane. Domniemywać można, że ewaluator, pomimo podległości, miał pełną swobodę w przeprowadzaniu badania i zachowany został standard PTE w tym zakresie (wprowadzenie zmian w ankietach na podstawie opinii beneficjentów). Podsumowując należy zauważyć, że raport, pomimo kilku istotnych pozytywów dotyczących realizacji standardów Polskiego Towarzystwa Ewaluacyjnego, zawiera niestety wiele braków i uchybień. Jest nieprecyzyjny i w wielu kwestiach pozostawia czytelnikowi dowolność interpretacji. Zastrzeżenia budzi: 1. podległość ewaluatora 2. brak streszczenia projektu i wypunktowania jego celów i odniesienia ich do potrzeb 3. brak opisu jednostki realizującej projekt (zakres działań, kadra, zaplecze techniczne) 4. brak pełnych informacji o wysokości i źródłach finansowania 5. brak sprecyzowania zakresu i celów ewaluacji 6. brak pytań ewaluacyjnych 7. brak opisu zastosowanej metodologii 8. brak tabeli konwersji 9. nie zapewnienie wysokiej jakości ewaluacji - raport zawiera błędy, nieścisłości 10. niewystarczające stwierdzenia o wnioskach i ogólnym podsumowaniu w końcowej fazie raportu 11. brak rekomendacji - wskazówek praktycznych, które mogłoby wnieść cokolwiek do następnych tego typu ewaluacji Do mocnych stron należy zaliczyć: 1. zgodność raportu ze standardami PTE w zakresie apolityczności 2. jasny, prosty język 3. odwołanie się do opinii specjalistów przy analizie wpływu projektu na jego beneficjentów 4. zastosowanie triangulacji Na skali 0-5 kryterium zachowania standardów PTE otrzymuje 2 punkty. 15

3.1.2 Ocena ewaluacji w świetle kryterium użyteczności Analizowany raport nie spełnia kryterium użyteczności i pod tym względem na skali 0-5 otrzymuje 1 punkt. Raport nie jest użyteczny ani dla jednostki zlecającej ewealuację (nie zawiera oceny końcowej projektu, nie wskazuje elementów, które należałoby w przyszłości poprawić/zmienić), ani dla innych osób zainteresowanych problematyką. Szczegółowe uzasadnienie stanowiska zamieszczone zostało w punkcie 2.6 niniejszego opracowania. 3.1.3 Ocena ewaluacji w świetle kryterium ekonomiczności Raport z monitoringu i ewaluacji nie daje możliwości zmierzenia tego kryterium. Z tego powodu na skali 0-5 otrzymuje 0 punktów. Uzasadnienie stanowiska znajduje się w punktach 2.3 i 2.6 3.2 Ważność kryteriów i ich wagi oraz macierz ewaluacyjna 13 Uporządkowanie kryteriów metaewaluacji odpowiada ich ważności. Oznacza to, że za najistotniejsze uznałam kryterium nr 1. zachowanie standardów PTE. Kryterium temu przypisałam wagę 3. Drugie w hierarchii ważności to kryterium użyteczność, któremu przypisałam wagę 2. Trzeciemu kryterium kryterium ekonomiczności, któremu przypisałam wagę 1. Poniższa macierz ewaluacyjna obrazuje uzyskane wyniki punkty wg nazwa kryterium skali 0-5 waga wynik standard PTE 2 3 6 użyteczność 1 2 2 ekonomiczność 0 1 0 ważona ocena łączna 8 ranking ewaluacyjny 2,666 Łączny wynik dla analizowanych kryteriów wynosi 8 i stanowi ważoną ocenę łączną. Dla oceny łącznej raportu, czyli uzyskania rankingu ewaluacyjnego, wykorzystane zostało działanie matematyczne wyliczenie średniej: 8 : 3 = 2,6666, które stanowi ocenę przeprowadzonej metaewaluacji. 3.3 Ocena ewaluacji tabel konwersji 14 Zasady konwersji: ocena bardzo dobra zakres żadne kryterium nie jest ocenione poniżej 5 punktów 13 Opracowanie własne w oparciu o: Modele, metody i techniki ewaluacji 14 tamże 16

dobra dostateczna mierna żadne kryterium nie jest ocenione poniżej 4 punktów żadne kryterium nie jest ocenione poniżej 3 punktów jedno kryterium uzyskuje 3 punkty, pozostałe mniej niż 3 punkty Ocena Uzasadnienie Bardzo dobra Bardzo dobra ocena ewaluacji, rekomendowana jako najlepsza praktyka Dobra Dobra ocena ewaluacji, może mieć kilka niedociągnięć, ale żadnych poważnych Dostateczna Zadawalający wynik oceny ewaluacyjnej, może mieć kilka poważnych słabych stron, ale żadnych krytycznych Mierna Niezadawalający wynik oceny ewaluacyjnej, krytyczne słabe strony pod wieloma względami Raport z monitoringu i ewaluacji, który poddałam analizie w świetle wybranych kryteriów wpisuje się niestety w ocenę mierną (z plusem z wynikiem 2,666). Brakuje w nim uwzględnienia większości elementów zawartych w standardach ewaluacyjnych. Nie zostały spełnione wymogi dobrych raportów końcowych. Nie można odnieść się do jego ekonomiczności. Tak opracowany raport w wystarczającym stopniu może służyć do monitorowania realizacji projektu, ale nie spełnia kryteriów ewaluacyjnych, uniemożliwiając ocenę samego projektu. 17

Bibliografia: 1. Raport z monitoringu i ewaluacji projektu za okres 01.01.2010-31.03.2013 pt.: Stymulacja rozwoju emocjonalnego, poznawczego, społecznego dzieci, młodzieży i osób dorosłych z wadą słuchu. Realizacja w Ośrodku Wsparcia PFPDN ECHO 2. Szatur-Jaworska Barbara (red.), Ewaluacja w służbach społecznych, Warszawa 2010 3. Wersja Generatora Wniosków: 1.2.004.006, Wniosek, Informacje dotyczące zadań 4. Dokumentacja PFPDN-ECHO-: sprawozdania merytoryczne i finansowe z realizacji projektu (druki PFRON), ankiety beneficjentów, dokumentacja projektowa 5. http://rszarf.ips.uw.edu.pl/ewalps/zaoczne/ 6. http://www.pte.org.pl/ 18