Ewaluacja w polityce społecznej Dane i badania w kontekście ewaluacji Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2018/2019
Główny problem metodologiczny ewaluacji społecznej: stwierdzenie wpływu i oddzielenie wpływu innych czynników od wpływu polityki, programu czy projektu Inne czynniki Stan wszystkich 14 tak samo zły Stan nadal zły: 6 Pewna poprawa: 3 Znaczna poprawa: 5 Projekt Adresaci przed projektem X Zakładamy, że wszyscy tak samo potrzebują produktów projektu, żeby zaszła zmiana, w rzeczywistości poziom potrzeb może być zróżnicowany Poziom korzystania z projektu może być zróżnicowany, jedni z grupy adresatów mogą uczestniczyć, współpracować w usługach bardziej, inni mniej. Projekty mogą być złożone z wielu produktów, np. kilka różnych usług o różnej treści i wymiarze godzinowym Adresacie po projekcie X
Analiza przypadku projektu X z poprzedniego slajdu Przypadek Wskaźnik problemu przed projektem X Interwencja (produkt) w godzinach Wskaźnik problemu po projekcie X Zmiana Interpretacja 1 1 4 1 0,0 brak zmiany 2 1 5 0 1,0 poprawa 3 1 3 1 0,0 brak zmiany 4 1 4 0 1,0 poprawa 5 1 4 0 1,0 poprawa 6 1 5 1 0,0 brak zmiany 7 1 6 1 0,0 brak zmiany 8 1 4 1 0,0 brak zmiany 9 1 3 0 1,0 poprawa 10 1 3 0,5 0,5 częściowa poprawa 11 1 1 0 1,0 poprawa 12 1 2 1 0,0 brak zmiany 13 1 4 0,5 0,5 częściowa poprawa 14 1 4 0,5 0,5 częściowa poprawa Wskaźniki problemu (potrzeb adresatów, na które miał odpowiedzieć projekt) mogą być różne, tu mamy proste podejście: istnienie problemu 1, zmniejszenie 0,5 (uproszczenie, gdyż różne mogą być poziomy zmniejszenia), usunięcie 0. W interpretacji trzeba pamiętać o trwałości, czyli wskaźnik problemu po projekcie może się zmieniać (zaraz po projekcie brak zmiany, jakiś czas po zmiana) Liczba braku zmiany Liczba popraw Liczba popraw częściowych 6 5 3 Pytanie konieczne dla oceny skuteczności: czy projekt X przyczynił się do zmiany? Najprostszy sposób uzyskania odpowiedzi: obliczmy współczynnik korelacji między interwencją a zmianą. Sprawdźmy, czy jest on istotny statystycznie Współczynnik korelacji -0,218, wynik testu p=0,455 Interpretacja: wzrost liczby godzin był słabo skorelowany ujemnie ze zmianą (im więcej godzin, tym więcej zmian), ale wynik jest nieistotny statystycznie, czyli duże prawdopodobieństwo, że hipoteza o wpływie interwencji na zmianę jest błędna
Uproszczony schemat ewaluowania projektu społecznego i pytania o metody wpływ ewaluacji X na X Pozytywna Dane o X Ewaluator Y Projekt X Jaka ocena X? wpływ ewaluacji X na X Kryteria ewaluacji X Negatywna Podstawowe pytania o metody? 1. Jakie i w jaki sposób zastosować kryteria? 2. O czym i jak uzyskiwać dane? 3. Jak z kryteriów i danych wyprowadzić oceny ewaluacyjne? 4. Jak spowodować, że ewaluacja będzie miała pożądany wpływ?
trafność Prawa osób i rodzin Potrzeby oszczędność Dobrostan osób i rodzin Sytuacja społecznoekonomiczna Organizacja lub projekt Cele Nakłady Działania Produkty wydajność użyteczność i trwałość koszty do skuteczności Otoczenie Wyniki ostateczne Wyniki pośrednie skuteczność Sprawność działania ramy pojęciowe Dane o czym są nam potrzebne, aby dokonać ewaluacji pod względem kryteriów ewaluacyjnych? Dane o potrzebach (2) celach (3) nakładach (4) działaniach (5) produktach (6) wynikach pośrednich (13) wynikach ostatecznych (14) otoczeniu (15) C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16
Od pytań ewaluacyjnych do ocen ewaluacyjnych Ewaluacja Projekt i kryteria Jaka jest ocena projektu pod względem wybranych kryteriów? Działania typowe dla badań naukowych Źródła danych o projekcie Uzyskiwanie danych Techniki uzyskiwania danych Uzyskane dane o projekcie Analizowanie danych Techniki analizowania danych Wyniki analizy danych Przejście od kryteriów do źródeł danych wymaga operacjonalizacji kryteriów, np. jeżeli kryterium jest skuteczność, to trzeba mieć miary zmiany problemu, produktów dla konkretnego projektu (patrz dwa pierwsze slajdy) Ocena Odpowiedź na pytania o ocenę projektu pod względem wybranych kryteriów
Badania naukowe ilościowe a jakościowe D. Silverman, Prowadzenie badań jakościowych, s. 151
Badania naukowe ilościowe a jakościowe często kontrastowane cechy Ilościowe Liczby Punkt widzenia badacza Badacz na odległość Testowanie teorii Statyczne Standaryzowane Uogólnienie Twarde wiarygodne dane Poziom makro Zachowania Sztuczne warunki Jakościowe Słowa Punkt widzenia uczestników Badacz jest blisko Tworzenie teorii Proces Niestandaryzowane Kontekstowe rozumienie Bogate, głębokie dane Poziom mikro Znaczenie Warunki naturalne A. Bryman, Social research methods, s. 285
Metody mieszane łączące ze sobą w jednym badaniu naukowym badania ilościowe i jakościowe Model 1: metody jakościowe (dane i wyniki) zastosowane w celu rozwoju narzędzi zbierania danych ilościowych Model 2: metody jakościowe zastosowane w celu ubarwienia metod ilościowych Model 3: metody jakościowe zastosowane w celu wyjaśnienia wyników metod ilościowych Model 4: metody ilościowe i jakościowe zastosowane równolegle w celu osiągnięcia wyników
Cztery modele badań mieszanych schematycznie J.W. Creswell et al. An Expanded Typology for Classifying Mixed Methods Research Into Designs
Modele mieszane równoległe (równoczesne) Oznaczenia ILO, ilo ilościowe, JAK, jak jakościowe J.W. Creswell et al. An Expanded Typology for Classifying Mixed Methods Research Into Designs
Modele mieszane sekwencyjne Oznaczenia ILO, ilo ilościowe, JAK, jak jakościowe J.W. Creswell et al. An Expanded Typology for Classifying Mixed Methods Research Into Designs