JAK BADAĆ JAKOŚĆ W PROJEKTACH PARTNERSTW STRATEGICZNYCH?

Wielkość: px

Rozpocząć pokaz od strony:

Download "JAK BADAĆ JAKOŚĆ W PROJEKTACH PARTNERSTW STRATEGICZNYCH?"

Edyta Lisowska
5 lat temu
Przeglądów:

2 JAK BADAĆ JAKOŚĆ W PROJEKTACH PARTNERSTW STRATEGICZNYCH? Michał Pachocki Zespół Analityczno-Badawczy Fundacja Rozwoju Systemu Edukacji Warszawa 1/06/2017

3 PROJEKTY DOTYCZĄCE MOBILNOŚCI STRATEGIA DG DS. EDUKACJI I KULTURY W ZAKRESIE ROZPOWSZECHNIANIA I WYKORZYSTYWANIA WYNIKÓW PROGRAMU Zrealizowane projekty Badania skutków Wyniki przedstawione na stronach internetowych, w serwisach społecznościowych, w mediach, w publikacjach, podczas wydarzeń Projekty, które okazały się sukcesem Ambasadorowie Wideo, serwisy społecznościowe, imprezy

4 REZULTATY PROJEKTÓW PROGRAMU ERASMUS+ Rezultaty projektów efekty działań realizowanych przy określonym wsparciu, począwszy od autostrad na polepszeniu umiejętności językowych uczniów skończywszy; Rezultaty miękkie zmiany, jakie następują w wyniku realizacji działań projektu u osób lub instytucji (np. podniesienie umiejętności, rozwinięcie kompetencji); Rezultaty twarde bezpośrednie rezultaty realizacji działań, które można zmierzyć (np. zdobycie certyfikatu, wdrożenie nowego rozwiązania); Produkty materialne i trwałe efekty działań (np. programy szkoleniowe, raporty z badań).

5 Kontekst realizacji projektu Potrzeba brak konkretnych rozwiązań, niezaspokojenie pewnych potrzeb, pożądanie określonych warunków; Cel formalnie ustalone i przewidywane do osiągnięcia w przyszłości zamierzenie, wynikające z realizacji określonych potrzeb; Działanie środek, który podejmujemy aby spełnić zakładane cele i osiągnąć rezultaty; Rezultat efekt działania spełniający określone, uprzednio założone, cele. POTRZEBA CEL DZIAŁANIE REZULTAT

6 WPŁYW, TRWAŁOŚĆ PRZEWODNIK PO PROGRAMIE ERASMUS+ Wpływ oznacza oddziaływanie realizowanego działania lub jego wyników na ludzi, praktyki, organizacje i systemy. Trwałość jest zdolnością kontynuowania projektu i wykorzystywania jego wyników po zakończeniu okresu finansowania.

7 NAD CZYM MUSIMY ZASTANOWIĆ SIĘ ABY ZAPEWNIĆ WPŁYW I TRWAŁOŚĆ REZULTATÓW PROJEKTU? Kto po zakończeniu projektu mógłby być zainteresowany, tym co w nim wypracowano? W jakiej formie będą dostępne rezultaty? W jaki sposób rezultaty będą bezpośrednio wykorzystywane przez instytucje partnerskie?

8 ĆWICZENIE I Jak określić wpływ projektu?

9 DZIAŁANIA ZWIĘKSZAJĄCE TRWAŁOŚĆ REZULTATÓW Przykładowe działania: wdrożenie wypracowanych rezultatów; włączanie uczestników w proces upowszechniania np. dokumentowanie projektu, udział w spotkaniach, prezentacjach; włączanie rezultatów w strategię działań instytucji beneficjenta; zgłaszanie i wdrażanie innowacji, np.: w zarządzaniu instytucją, w realizacji programów nauczania, itp.; wypracowanie rekomendacji, nowych pomysłów dla innych instytucji VET w regionie, w Polsce i krajach programu oraz partnerskich.

10 JAK DBAĆ O JAKOŚĆ? Stały monitoring jakości sprawdzanie, czy projekt jest realizowany zgodnie z ogólnie przyjętymi założeniami merytorycznymi Badanie wpływu sprawdzenie, jaki jest wpływ projektu na uczestników/instytucję/otoczenie/inne grupy docelowe Ewaluacja sprawdzenie, czy projekt okazał się sukcesem i spełnił założone we wniosku cele

11 DLACZEGO WARTO EWALUOWAĆ? EWALUACJA podnosi jakość projektu pokazując jego słabe i mocne strony; pomaga zrealizować działania projektowe zgodnie z przyjętymi założeniami; pozwala sprawdzić, czy zaplanowane aktywności zakończyły się powodzeniem; umożliwia ocenę jakości rezultatów, a przez to lepsze rozpowszechnianie wyników; umożliwia poprawę jakości Twoich kolejnych projektów; pozwala dowiedzieć się, co o Twoim projekcie myślą sami uczestnicy; umożliwia poznanie opinii o zrealizowanych działaniach innych grup docelowych i potencjalnych interesariuszy.

12 Czym jest ewaluacja? Ewaluacja - systematyczne badanie jakości, wartości lub wybranych cech konkretnych aktywności (program, projekt, plan, eksperyment etc.) z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia; Ewaluator - osoba przeprowadzająca ewaluację lub zarządzająca procesem badawczym. Do jej zadań należy zaplanowanie wszystkich działań, ich koordynacja lub realizacja, a następnie przeanalizowanie wyników.

13 KTO MOŻE ZOSTAĆ EWALUATOREM? EWALUACJA WEWNĘTRZNA -wykonywana własnymi siłami, przez członków zespołu projektowego lub inne osoby dedykowane realizacji badania w ramach naszej organizacji, łatwiej zachować kontrolę merytoryczną; EWALUACJA ZEWNĘTRZNA - delegowana poza instytucję beneficjenta, zlecona np. firmie badawczej lub zatrudnionemu zewnętrznemu ewaluatorowi. Ponieważ w tym wypadku badanie wykonuje osoba nie związana z projektem, łatwiej zachować obiektywizm ewaluatora.

14 wstępna bieżąca końcowa Kiedy ewaluować? EX ANTE ON- GOING EX- POST Planowanie aktywności Realizacja działań Rozpowszechnianie wyników

15 Kryteria ewaluacji TRAFNOŚĆ pozwala sprawdzić, czy projekt odpowiada na problemy i potrzeby uczestników EFEKTYWNOŚĆ pozwala określić czy i w jakim stopniu poniesione koszty i nakład pracy przełożą się wypracowany rezultat SKUTECZNOŚĆ pozwala sprawdzić rzeczywisty wpływ realizowanych działań na powodzenie projektu oraz osiągnięcie przyjętych celów i założonych rezultatów ODDZIAŁYWANIE pozwala ocenić wpływ projektu na przyjętą grupę docelową oraz zasięg projektu w wymiarze regionalnym oraz sektorowym TRWAŁOŚĆ pozwala oszacować, na ile wypracowane rezultaty są lub będą trwałe po zakończeniu działań projektowych

16 Źródło: European Commission, Working Document No. 1. Indicative Guidelines on Evaluation. Methods: Ex ante Evaluation, Wrzesień 2006, s.4. FUNKCJONOWANIE PROJEKTU W KONTEKŚCIE KRYTERIÓW EWALUACYJNYCH

17 Rodzaje danych ILOŚCIOWE - np. liczba pozytywnych odpowiedzi w ankietach, średnia uzyskanych wyników, liczba uzyskanych punktów podczas testu sprawdzającego kompetencje, wiek, pochodzenie, wykształcenie, średnia wieku uczestników kursu, czy liczba wydanych publikacji JAKOŚCIOWE np. kwalifikacje pracowników, relacje uczestników grupy docelowej, współpraca lokalna, wzrost poziomu zainteresowanie daną problematyką Dane ilościowe ANALIZA Dane jakościowe

18 Narzędzia ewaluacji ankieta może być anonimowa. Powinna być zwięzła i zrozumiała. Należy unikać powtarzania tych samych pytań; wywiad może być indywidualny lub grupowy. Powinien przebiegać według scenariusza. Należy pamiętać o elastycznym podejściu. Im więcej respondentów, tym trudniej zapanować nad czasem; techniki grupowe mogą brać w nim udział zarówno uczestnicy, jak i przedstawiciele innych grup docelowych, decydenci lub nawet członkowie zespołu projektowego. Lepiej nie łączyć różnych grup zaangażowanych w projekt (jeżeli nie jest to konieczne); obserwacja czynny lub bierny udział działaniach projektowych. Zależy od charakteru badania. Pozwala nawiązać lepszy kontakt z grupą; analiza może dotyczyć różnych danych, np. wypracowanych w projekcie dokumentów, efektów materialnych, dokumentów kontekstowych, (np. programów kształcenia, rekomendacji, artykułów etc.).

19 Jak zaplanować ewaluację projektu? ĆWICZENIE II

20 Czym jest TRIANGULACJA? zapewnia jakość badań zakłada różne źródła danych zwiększa możliwość porównywania wyników poprawia wiarygodność rezultatów ŹRÓDŁA ŹRÓDŁA METODY EWALUACJA ANALIZA

21 Ewaluacja w pięciu krokach: KROK 1 IDENTYFIKACJA CELÓW KROK 5 WYKORZYSTANIE WYNIKÓW KROK 2 DOBÓR NARZĘDZI KROK 4 ANALIZA ZEBRANYCH INFORMACJI KROK 3 REALIZACJA BADANIA

22 Ewaluacja a ocena WYKORZYSTANIE WYNIKÓW WYPRACOWANIE REKOMENDACJI OCENA JAKOŚCI BADANIE EWALUACYJNE

23 EWALUACJA NIE JEST KONTROLĄ nie monitoruje wszystkich działań. Ewaluator bada jedynie konkretne zjawiska, a następnie informuje innych o wynikach swojej pracy. Nie kontroluje stale projektu, nie nadzoruje ani pracy realizowanej na rzecz projektu, ani aktywności jego uczestników; AUDYTEM nie sprawdza zgodności projektu ze wszystkimi obowiązującymi procedurami. Zadaniem osób zaangażowanych w ewaluację jest sprawdzenie zgodności założeń projektowych w odniesieniu przyjętych rezultatów; PROMOCJĄ przekazuje informacje o wszystkich wynikach, nie tylko pozytywnych. Ewaluacja pokazuje zarówno sukcesy jak i porażki.

24 AD MEMORIAM NAJCZĘŚCIEJ POPEŁNIANE BŁĘDY brak zaplanowanej strategii (planu) działań ewaluacyjnych; brak jasno zdefiniowanego celu ewaluacji mylenie ewaluacji z kontrolą podporządkowanie działaniom promocyjnym koncentrowanie się jedynie na uzyskaniu dobrych wyników brak dokumentowania ewaluacji ex ante/on going; pomijanie grup docelowych innych niż najbliższe; słaba jakość narzędzi ewaluacyjnych; brak działań towarzyszących ewaluacji/brak wykorzystywania wyników; raportowanie hasłowe, bez podawania danych jakościowych i ilościowych.

25 INSPIRACJE INICJATYWY EUROPEJSKIE

26 Michał Pachocki Zespół Analiz Programowych Fundacja Rozwoju Systemu Edukacji tel: Owocnego ewaluowania

BADANIE WPŁYWU ZAGRANICZNYCH SZKOLEŃ KADRY NA INSTYTUCJĘ Określenie wpływu projektów mobilności kadry edukacji szkolnej na szkołę, jej pracowników oraz społeczność szkolną; ponad 1780

27 BADANIE WPŁYWU ZAGRANICZNYCH SZKOLEŃ KADRY NA INSTYTUCJĘ Określenie wpływu projektów mobilności kadry edukacji szkolnej na szkołę, jej pracowników oraz społeczność szkolną; ponad 1780 ankiet on-line (uczestnicy, pozostała kadra, uczniowie); 3 wywiady grupowe; 3 studia przypadków; 5 krajów partnerskich; Termin realizacji luty-sierpień

ANALIZA EFEKTÓW WYJAZDÓW EDUKACYJNYCH W PROGRAMIE ERASMUS+ MŁODZIEŻ Badanie ilościowe (kwestionariusz online) Badanie jakościowe (wywiady pogłębione) 28

28 ANALIZA EFEKTÓW WYJAZDÓW EDUKACYJNYCH W PROGRAMIE ERASMUS+ MŁODZIEŻ Badanie ilościowe (kwestionariusz online) Badanie jakościowe (wywiady pogłębione) 28 krajów UE 2960 odpowiedzi uczestników projektów dofinansowanych w Polsce 520 odpowiedzi koordynatorów projektów Termin realizacji: listopad 2014-maj 2016

29 EVS W SPOŁECZNOŚCIACH LOKALNYCH STUDIUM PRZYPADKU Badanie jakościowe 9 przebadanych organizacji z 3 krajów 30 wywiadów pogłębionych 18 obserwacji uczestniczących Termin realizacji: październik wrzesień 2016

Podobne dokumenty

Staże i praktyki zagraniczne dla osób kształcących się i szkolących zawodowo

Fundacja Rozwoju Systemu Edukacji Staże i praktyki zagraniczne dla osób kształcących się i szkolących zawodowo Projekt systemowy w obszarze edukacji w ramach Europejskiego Funduszu Społecznego, Program