PODYPLOMOWE STUDIA ZARZĄDZANIA GOSPODARKĄ SPOŁECZNĄ Zarządzanie strategiczne, monitoring i ewaluacja Dr hab. Ryszard Szarfenberg Wersja 1.2
Zarządzanie kto, kim, czym, jak Kto zarządza? Podmiot zarządzający, indywidualny lub kolektywny, np. menedżer, kierownik, zarząd, dyrekcja Kim i/lub czym zarządza? Zarządzani, zespół / projekt, partnerstwo, sieć, instytucja, organizacja, przedsiębiorstwo, komórka W jakim celu zarządza? Cele zarządzania Jak zarządza? Styl, sposób, metoda zarządzania Za pomocą czego zarządza? Narzędzia, instrumenty zarządzania Z jakim skutkiem zarządza? Skutki, konsekwencje zarządzania
Społeczny przedmiot zarządzania Kim i/lub czym się zarządza w obszarze ekonomii / gospodarki społecznej? Zarządzanie podmiotem ekonomii społecznej czy przedsiębiorstwem społecznym, czyli np. spółdzielnią socjalną, zakładem aktywności zawodowej, centrum integracji społecznej Zarządzanie siecią podmiotów ekonomii społecznej lub partnerstwem, którego częścią jest podmiot ekonomii społecznej Zarządzanie organizacją wspierającą podmioty ekonomii społecznej, np. ośrodkiem wsparcia ekonomii społecznej Zarządzanie regionalnym lub krajowym systemem wsparcia podmiotów ekonomii społecznej, czyli siecią owesów Zarządzanie krajową ekonomią społeczną w sensie tworzenia i realizacji strategii jej rozwoju
Wyzwania Od monolitu do sieci Formy sieciowania Z. Olesiński, Zarządzanie relacjami międzyorganizacyjnymi, 2010
Od przedsiębiorstwa do sieci powiązań i relacji D. Latusek-Jurczak, Zarządzanie międzyorganizacyjne, 2011
Jednostki międzyorganizacyjne współpraca, kooperacja D. Latusek-Jurczak, Zarządzanie międzyorganizacyjne, 2011
Forma współpracy Zasady współzarządz ania Terminologia z dziedziny polityki i organizacji Luźna sieć nieformalnyc h relacji o charakterze ad hoc Samorząd oparty na normach wzajemności, wzajemnych zobowiązania ch, wspólnych wartościach i zaufaniu Ograniczone porozumienie w sprawie dzielenia się informacjami Od sieci do federacji i integracji Porozumienie w sprawie podejmowani a wspólnych działań Porozumienie w sprawie powołania ciała zarządzająceg o Stworzenie struktury federacyjnej, której uczestnicy zgadzają się przekazać część swojej autonomii w górę Zewnętrzny zarząd oparty na uzgodnionej i obejmujących wszystkich konstytucji (zasadach) Połączenie uczestników w jednej organizacji Hierarchia Sieć Partnerstwo Federacja Integracja C. Skelcher, H. Sullivan, Working Across Boundaries: Collaboration in Public Services, 2002
Zarządzanie w kontekście budowania partnerstwa
Istota zarządzania Griffin za: Z. Olesiński, Zarządzanie relacjami międzyorganizacyjnymi, 2010
Strategia definicje Za: J. Domański, Zarządzanie strategiczne organizacjami non profit w Polsce, 2010
Rozwój zarządzania strategicznego M. Murawska, Zarządzanie strategiczne niematerialnymi zasobami przedsiębiorstwa, 2008
Szkoły myślenia strategicznego Mintzberg, za: J. Domański, Zarządzanie strategiczne organizacjami non profit w Polsce, 2010
Model zarządzania strategicznego Treść strategii KONTEKST Macmillan, Tampoe, Strategic Management: Process, Content, and Implementation, 2000
Myślenie Myślenie i działanie strategiczne Cel strategiczny Analiza strategiczna Wybór strategiczny Zarządzanie programem lub projektem Działanie Przewodzenie zmianie Zmiana kultury Zmiana struktury Transformacja organizacji Zmiana procesu Macmillan, Tampoe, op. cit.
Myślenie strategiczne i scenariusze przyszłości Silne nastawienie strategiczne Strategie w ramach paradygmatu strategia jako przedłużenie lub modyfikacja przeszłości Strategie będące wyzwaniem dla zastanego paradygmatu scenariusze jako źródło myślenia i planowania strategicznego wyższego poziomu Słabe nastawienie strategiczne Bezmyślne działanie planowanie i działanie taktyczne Pułapka przyszłości scenariusze jako ćwiczenie naukowe lub intelektualne bez związku z działaniem strategicznym Słabe nastawienie na przyszłość Silne nastawienie na przyszłość M. Lindgren, H. Bandhold, Scenario Planning: The link between future and strategy, Palgrave Macmillan, s. 29.
Podejście do przyszłości Podejście morfologiczne Przeglądy globalne Podejścia kombinatoryczne Borykanie się modelowanie Eksploracje Scenariusze intuicyjne Sondaże opinii (metoda delficka) Ignorowanie Ubezpieczenie Projekcja trendów Studia narracyjne Systematyczne oszacowanie Asekuracja Analiza ilościowa Analiza jakościowa Nadzieja Podział ryzyka Antycypacja ryzyka, prognozowanie Podejście pasywne (po zdarzeniu) Podejście aktywne (przed zdarzeniem) Radzenie sobie ze zmianą Faulkner, Campbell red. The Oxford Handbook of Strategy, 2006
Wizja zarządzania strategicznego K. Obłój, Strategia organizacji, 1998
Znaczenie planowania SFORMUŁOWANIE STRATEGII Cele długofalowe Plany osiągania celów Określenie zasobów niezbędnych do realizacji planów Zdobywanie niezbędnych zasobów Przystąpienie do realizacji planu Realizacja zaplanowanych działań IMPLEMENTACJA STRATEGII
Cechy planowania strategicznego Za: I. Penc- Pietrzak, Planowanie strategiczne w nowoczesnej firmie, 2010
Proces planowania strategicznego Za: K. Obłój, Strategia organizacji, 1998 Za: J. Domański, Zarządzanie strategiczne organizacjami non profit w Polsce, 2010
Model procesu zarządzania strategicznego w trzecim sektorze Strategie funkcjonalne np.: strategia marketingowa, strategia finansowa, strategia personelu, strategia walki z konkurencją, strategia rozwoju J. Domański, Zarządzanie strategiczne organizacjami non profit w Polsce, 2010
Etapy planowania strategicznego Za: K. Obłój, Strategia organizacji, 1998
Zasoby w zarządzaniu strategicznym na tle rozwoju podejścia strategicznego M. Murawska, op. cit.
Zasoby niematerialne a wartość firmy Murawska, oc. cit.
Osiem zasad postępowania doskonałych firm Za: Obłój, op. cit.
Jak sformułować strategię? Model LCAG* Mocne i słabe strony Wewnętrzne dla PES TOWS/SWOT Szanse i zagrożenia Zewnętrzne ze strony otoczenia Wartości osobiste Wartości i oczekiwania społeczeństwa Czynniki wewnętrzne Czynniki zewnętrzne * Learned, Christensen, Andrews, Guth Faulkner, Campbell red. The Oxford Handbook of Strategy, 2006
Analiza środowiska organizacji Identyfikacja otoczenia dalszego i bliższego (np. odbiorcy, konkurenci, dostawcy, lokalna społeczność) Segmentacja otoczenia (gospodarka, społeczeństwo, demografia, technologia, polityka i prawo) i wyszczególnienie kluczowych zjawisk i trendów (teraz i w przyszłości - scenariusze) lub mapa strategicznych interesariuszy (mają swój interes w działaniu organizacji i są w stanie wywrzeć skuteczną presję) Analiza szans i zagrożeń, czyli ocena trendów / wydarzeń w wyróżnionych segmentach lub zachowań poszczególnych interesariuszy pod względem korzystności lub niekorzystności ich wpływu na organizację Obłój, op. cit
Mapowanie i zaangażowanie interesariuszy osiem kroków 1. Jasne określenie biznesowych celów organizacji 2. Identyfikacja interesariuszy 3. Kategoryzacja interesariuszy na wspierających, neutralnych i przeciwnych działaniom organizacji 4. Zbudowanie bazy danych zawierającej wszelkie informacje o interesariuszach 5. Przygotowanie mapy interesariuszy odwzorowującej ich wpływ na organizację oraz wzajemne między nimi zależności 6. Wybór modelu zaangażowania dla każdego interesariusza, czyli rodzaju kontaktów, od wyłącznie monitorowania działalności, przez przesyłanie wybranych informacji (zaproszeń, raportów z działań), wykorzystywanie jako konsultanta, do współpracy nieformalnej po formalną 7. Uszeregowanie interesariuszy pod względem ważności i przypisanie ich do poszczególnych, realizowanych przez organizację, działań (na przykład lista wysyłkowa zaproszeń, e-mail, newsletter), 8. Opracowanie spójnego planu zaangażowania interesariuszy. Gable, Shireman, za: J. Domański, Zarządzanie strategiczne organizacjami non profit w Polsce, 2010
Przykładowa mapa wpływu interesariuszy J. Domański, Zarządzanie strategiczne organizacjami non profit w Polsce, 2010
Analiza TOWS/SWOT strategie normatywne Strategia agresywna (maxi-maxi) polega na maksymalnym wykorzystaniu efektu synergii występującego między silnymi stronami organizacji i szansami generowanymi przez otoczenie. Strategia konserwatywna (maxi-mini) polega na minimalizowaniu negatywnego wpływu otoczenia przez maksymalne i zarazem aktywne wykorzystanie potencjału tkwiącego w organizacji. Strategia konkurencyjna (mini-maxi) polega na eliminowaniu słabych stron funkcjonowania organizacji oraz budowaniu jej konkurencyjnej siły przez maksymalne wykorzystanie istniejących szans sprzyjających rozwojowi. Strategia defensywna (mini-mini) polega na zapewnieniu przetrwania przez minimalizowanie wpływu zarówno występujących wewnątrz firmy słabości, jak i zagrożeń ze strony otoczenia. Obłój
Procedura analizy TOWS/SWOT 1. Zdefiniowanie szans, zagrożeń w otoczeniu, silnych i słabych stron organizacji 2. Przypisanie poszczególnym szansom, zagrożeniom, silnym i słabym stronom wag określających ich istotność z punktu widzenia ich wpływu na możliwości rozwoju organizacji 3. Równoległe, tzn. z zewnątrz do wewnątrz i od wewnątrz na zewnątrz, zbadanie relacji zachodzących między silnymi i słabymi stronami a szansami i zagrożeniami Obłój
Pytania analizy TOWS W analizie TOWS ( z zewnątrz do wewnątrz ) posługujemy się następującym zbiorem pytań: Czy dane zagrożenia osłabią kolejne siły? Czy dane szanse spotęgują zidentyfikowane siły? Czy dane zagrożenia spotęgują występujące słabości? Czy dane szanse pozwolą przezwyciężyć istniejące słabości? Obłój
Pytania analizy SWOT W analizie SWOT ( od wewnątrz na zewnątrz ) posługujemy się następującym zbiorem pytań: Czy zidentyfikowane siły pozwolą wykorzystać szanse, które mogą wystąpić? Czy zidentyfikowane słabości nie pozwolą na wykorzystanie mogących się pojawić szans? Czy zidentyfikowane siły pozwolą na przezwyciężenie mogących wystąpić zagrożeń? Czy zidentyfikowane słabości wzmocnią siłę oddziaływania mogących wystąpić zagrożeń? Obłój
Analiza TOWS/SWOT 1. Określenie relacji - odpowiedzi na pytania dla poszczególnych par: tak/nie (1/0) TOWS: interakcje między poszczególnymi zagrożeniami i siłami, szansami i siłami, zagrożeniami i słabościami, szansami i słabościami SWOT: interakcje między poszczególnymi siłami i szansami, słabościami i szansami, siłami i zagrożeniami, słabościami i zagrożeniami 2. Sumowanie interakcji i ich ważenie, czyli mnożenie przez przypisane wagi 3. Interpretacja wyników i wybór strategii Obłój
Przykłady analizy TOWS/SWOT Jakie są szanse i zagrożenia zewnętrzne, jakie są mocne i słabe strony wewnętrzne? Jak istotne są poszczególne czynniki? Obłój
Przykłady analizy TOWS/SWOT Czy zagrożenia, które mogą się pojawić, osłabią zidentyfikowane siły? Obłój
Przykłady analizy TOWS/SWOT Co wynika z analizy TOWS/SWOT? Którą strategię normatywną wybrać? Obłój
Zrównoważona karta wyników M. Ćwiklicki, Zarządzanie strategiczne w organizacjach ekonomii społecznej
Zrównoważona karta wyników 1. Perspektywa finansowa; dostarcza odpowiedzi na pytanie w jaki sposób akcjonariusze [spółdzielcy] powinni postrzegać firmę, aby uznano, że odniosła sukces finansowy? 2. Perspektywa klienta, w ramach której udziela się odpowiedzi na pytanie jak powinniśmy «wyglądać w oczach klientów», aby zrealizować swą misję? 3. Perspektywa procesów wewnętrznych, która odpowiada na pytanie na jakich procesach biznesowych powinniśmy się szczególnie skupić, aby zaspokoić oczekiwania naszych klientów? 4. Perspektywa rozwoju i wzrostu, dzięki której staramy się odpowiedzieć na pytanie w jaki sposób należy podtrzymywać gotowość do innowacji i zmian w organizacji, aby zrealizować misję? M. Ćwiklicki
Przykładowa mapa strategii dla środowiskowego domu samopomocy z wykorzystaniem zrównoważonej karty wyników M. Ćwiklicki
Błędy planowania strategicznego Za: I. Penc-Pietrzak, Planowanie strategiczne w nowoczesnej firmie, 2010
Błędy planowania strategicznego Za: I. Penc-Pietrzak, Planowanie strategiczne w nowoczesnej firmie, 2010
Implementacja! Tylko 10% organizacji realizuje swoje strategie Bariery przeszkadzające w realizacji strategii Bariera wizji Bariera bodźców Bariera czasu Bariera zasobów Tylko 5% pracowników rozumie strategię Tylko 25% managerów ma bodźce powiązane ze strategią 85% zespołów wykonawczych spędza mniej niż godzinę w miesiącu na dyskutowanie strategii 60% zespołów organizacji nie wiąże budżetu ze strategią Niven, Balanced scorecard step-by-step for government and nonprofit agencies, 2008
Problemy trzeciego sektora w Polsce Przyczyny trudności w opracowaniu ogólnej strategii działania J. Domański, Zarządzanie strategiczne organizacjami non profit w Polsce, 2010
Monitoring i ewaluacja Strategii, planów, programów, projektów
Ewaluowanie jako czynność Ewaluowanie Podstawowe pytanie Nazwa Podmiot Kto ewaluuje? Ewaluator Przedmiot Co jest ewaluowane? Ewaluandum, przedmiot ewaluacji Kryteria Pod jakim względem ewaluowane jest ewaluandum? Kryteria ewaluacyjne Cel Po co ewaluować, po co Cele ewaluacji ewaluowano? Sposób Jak ewaluowano? Podejście, metoda ewaluacyjna Narzędzia Za pomocą czego Narzędzia ewaluacyjne ewaluowano? Wytwór, produkt Co jest wytworem, produktem ewaluowania? Ewaluacja (w sensie wystawionej oceny, oszacowanej jakości i wartości) Wpływ Na co i jaki wpływ miał produkt ewaluacji? zawarta w raporcie Efekty ewaluacyjne, wpływ ewaluacji
Podmiot, przedmiot i cała reszta Podmiot X ewaluuje przedmiot Y według kryteriów K, stosując metodę M i narzędzia N według planu PL, w wyniku czego powstaje produkt PR, który ma wpływ W na przedmiot Y Przykład: Firma ewaluacyjna IBS (podmiot) dokonała ewaluacji programu Pierwsza Praca dla absolwentów w powiecie Podlaskim (przedmiot) według kryteriów trafności, skuteczności, efektywności, trwałości i użyteczności, w wyniku czego powstał raport ewaluacyjny z oceną ewaluacyjną (produkt), po którego przeczytaniu dyrektor PUP postanowił nie kontynuować tego programu (wpływ)
Schemat ewaluacji z uwzględnieniem jej wpływu Przedmiot X wpływ oceny X na X Dane o X Ewaluator Y Kryteria oceny X wpływ oceny X na X Pozytywna Jaka ocena X? Negatywna
Definicje ewaluacji proces określania jakości, wartości lub ważności czegoś, albo rezultat tego procesu [ ] Nazwa autonomicznej dyscypliny co oznacza badania i zastosowania procedur prowadzenia obiektywnej i systematycznej ewaluacji w pierwszym sensie (Scriven, 1991, s. 139, 141). systematyczne stosowanie procedur nauk społecznych w celu oceny (assessing) konceptualizacji, projektu, realizacji i użyteczności programów interwencji społecznej (Rossi et al. 1993, V wyd., s. 5) Ewaluacja to systematyczne zbieranie informacji o działaniach, charakterystykach i wynikach programów w celu dokonania ich oceny, poprawienia skuteczności i/lub wspomagania decyzji o ich przyszłości (Patton, 1997, s. 23)
Definicje ewaluacji cd. Ewaluacja jest procesem badawczym nastawionym na praktykę i polegającym na zbieraniu i dokonywaniu syntezy dowodów, który kulminuje się we wnioskach o sytuacji, wartości, jakości, znaczeniu programu, produktu, personelu, polityki, propozycji lub planu (Fournier, w Encyclopedia of Evaluation, 2005, s. 139) Ewaluacja to systematyczny proces określania, uzyskiwania, referowania i stosowania informacji opisowych i ocennych o jakości, wartości, rzetelności, wykonalności, bezpieczeństwie, ważności i/lub sprawiedliwości (equity) danego przedmiotu (Stufflebeam, Shinkfield, 2007, s. 18) Ewaluacja to systematyczne badanie, prowadzone z użyciem zróżnicowanych metod, złożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesu oraz efektów wdrażania interwencji publicznych (Olejniczak, et al., s. 22).
Przedmiot ewaluacji program/projekt i jego logika Zasoby Działania Produkt Klienci, użytkownicy oraz ich potrzeby, problemy Planowanie i realizowanie planów przez projektodawców i personel programu Logika każdego programu/projektu: zasoby przekształcane są poprzez działania w produkt, który ma wywołać pożądane efekty (czyli odpowiednio wpłynąć na jednostki i/lub zbiorowości) E F E K T Y Wyniki w krótkim okresie Wyniki w średnim okresie Wyniki w długim okresie
Problemy/potrzeby społeczne Przedmiot ewaluacji polityka społeczna Prawo społeczne UE Strategia społeczna UE Polityka społeczna państwa A Polityka społeczna państwa B Ustawy Programy Programy Ustawy Działania stałe Projekt A1 Projekt A2 Projekt B1 Projekt B2 Działania stałe Otoczenie Zasoby, nakłady, personel i jego praca, infrastruktura Produkty, np. rzeczy, pieniądze, usługi, regulacje WPŁYW, EFEKTY, REZULTATY, WYNIKI
Ewaluacja a audyt i monitoring
Olejniczak, 2005
Logika programu i kryteria ewaluacyjne PROBLEMY SPOŁECZNO- EKONOMICZNE PROGRAM EWALUACJA Efektywność: oszczędność / wydajność
Wybrane kryteria ewaluacyjne Skuteczność: na ile rezultaty i wpływ programu przyczyniły się do osiągnięcia jego celów? Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, rezultatów i wpływu? Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów? Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów? Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?
Kryteria ewaluacji strategii korporacyjnej 1. Wewnętrzna spójność czy strategia jest wewnętrznie spójna? Czy poszczególne polityki PES/OWES/Systemowe wzmacniają się wzajemnie w zintegrowany sposób? 2. Spójność z otoczeniem czy strategia jest spójna z otoczeniem? Czy polityki PES/OWES/Systemowe uwzględniają to co się dzieje w otoczeniu i co może się wydarzyć w przyszłości? 3. Odpowiedniość w świetle dostępnych zasobów czy strategia uwzględnia posiadane zasoby? Czy strategia PES/OWES/Systemowa uwzględnia posiadane zasoby w sensie pieniędzy, kompetencji i infrastruktury? 4. Odpowiedniość poziomu ryzyka czy strategia nie jest zbyt ryzykowna? Czy strategia PES/OWES/Systemowa nie wymaga zbyt dużych zasobów, nie wymaga zbyt dużo czasu dla osiągnięcia celów, nie poświęca zbyt wielu zasobów na poszczególne działania? 5. Odpowiedniość horyzontu czasowego czy realizacja strategii da w określonym czasie zamierzone wyniki? 6. Skuteczność strategii czy realizacja strategii daje zamierzone wyniki? Czy strategia PES/OWES/Systemowa przynosi oczekiwane rezultaty? S. Tilles, How to evaluate corporate strategy, 1963
Kryteria ewaluacyjne: skuteczność
Cztery rodzaje celów strategii / programów / projektów Czy to mamy? Czy chcemy to mieć? Tak Nie Tak Cel: zachować Cel: usunąć Nie Cel: osiągnąć Cel: unikać Patton, 2008, s. 236
Cele w stosunku do usług czy wyników? Cele w stosunku do usługi Udzielać dobrze skoordynowanych usług zdrowotnych dla nastolatek w ciąży Cele w stosunku do wyników Nastolatki w ciąży rodzą zdrowe dzieci, którymi potem właściwie się opiekują Poprawić jakość usług z zakresu ochrony dzieci Udzielać usług edukacyjnych wysokiej jakości Pomagać rodzicom w decyzjach dotyczących pracy i życia rodzinnego Dzieci są bezpieczne, nie są wykorzystywane ani zaniedbywane Uczniowie mają odpowiednią wiedzę i umiejętności Dzieci rodziców, którzy chcą pracować mają odpowiednią opiekę Patton, 2008, s. 242
Rodzaje wyników Rodzaj zmiany Zmiana warunków Zmiana statusu Zmiana zachowania Zmiana funkcjonowania Zmiana postawy Zmiana wiedzy Zmiana umiejętności Utrzymanie Zapobieganie Przykład Dziecko z rodziny zastępczej bezpiecznie wraca do rodziny biologicznej Bezrobotny stał się zatrudniony Wagarowicze zaczynają regularnie chodzić do szkoły Zwiększenie poziomu samoobsługi; punktualność w przychodzeniu do pracy Większa wiara w siebie Zrozumienie potrzeb dzieci w różnych stadiach rozwoju Poprawa płynności czytania Osoba starsza bezpiecznie pozostaje w domu Młodzież nie zażywa narkotyków Patton, 2008, s. 245
Jakość sformułowania celów S konkretne, jednoznaczne, jasne M mierzalne, sprawdzalne A akceptowalne, stosowalne, uzgodnione R realistyczne, do osiągnięcia T określone w czasie, z konkretnymi terminami E etyczne, ekscytujące, angażujące R nagradzające, poświadczone
Skutki działania Ocenianie działań po skutkach Mamy zamierzenia i plany Podejmujemy działania, które mają rozmaite skutki Skutki działań, wybrane rodzaje: Zamierzone, niezamierzone Przewidywane, nieprzewidywane Oceniane pozytywnie (korzyści, nabytki), oceniane negatywnie (koszty, ubytki) W krótkim, średnim i długim okresie Bezpośrednie, pośrednie Interesujące są skutki podobne do zamierzonych, ale niebędące wynikiem naszych działań
Rodzaje skutków cd. Ocena skutków Pozytywna Skutki osiągnięte a skutki zaplanowane Osiągnięte i zaplanowane Zamierzone korzyści Osiągnięte i niezaplanowane Niezamierzone korzyści Negatywna Zamierzone koszty Niezamierzone koszty
Wpływ (efektywność) brutto i Wpływ brutto netto Ogół czynników Inne czynniki Ogół skutków zgodnych z celem Polityka, program X Realizacja PX Skutki polityki, programu X Wpływ netto T1 T2 Czas Który rodzaj wpływu należy wziąć pod uwagę przy ocenie skuteczności polityki lub programu X?
Wpływ (efektywność) brutto i netto Efektywność netto 1 znaleźli pracę dzięki szkoleniu Efektywność netto 2 nadwyżka tych, którzy znaleźli pracę dzięki szkoleniu w stosunku do tych, którzy znaleźli pracę bez szkolenia (grupa kontrolna) J. Tyrowicz, Diagnoza rynku pracy miasta stołecznego Warszawa, 2008
Zmiana poziomu efektów Efekty i dynamika programu Efekty Poziom efektów po programie Poziom efektów przed programem Przed programem W trakcie programu Po programie Rossi, Lipsey, Freeman 2004, s. 207
Kryteria ewaluacyjne: efektywność (ekonomiczność)
Efekt a skutek Efektywność to słowo, które pochodzi od efektu, a efekt to skutek, lub rodzaj skutku Wnioski Efektywność może być mylona ze skutecznością Zamiast efektywności można stosować nazwę ekonomiczność, gdyż ekonomizacja działania polega na poprawie bilansu jego korzyści i kosztów
Wycena i bilansowanie nakładów i efektów Nakłady Program X działania Efekty WYCENA Wartość pieniężna nakładów WN WN-WE>0 Koszty netto PORÓWNANIE Możliwe wyniki WN-WE=0 WN-WE<0 Korzyści netto WYCENA Wartość pieniężna efektów WE
Nakłady do efektów Nakłady (ubytki, koszty) planowane lub osiągnięte Efekty (nabytki, korzyści) planowane lub osiągnięte Duże Małe Duże Średnia efektywność Niska efektywność Małe Wysoka efektywność Średnia efektywność
Odmiany metody kosztykorzyści Czy efektywność jest jedynym celem programu? Czy wszystkie konsekwencje programu da się przedstawić na skali pieniężnej? Tak Nie Tak Formalna analiza kosztykorzyści Jakościowa analiza kosztykorzyści Nie Zmodyfikowana analiza koszty-korzyści Analiza koszty-skuteczność: (z ustalonym budżetem lub z ustaloną skutecznością) Analiza z wieloma celami
Skuteczność a efektywność Skuteczne są programy, których skutki osiągane zgodne są z zamierzonymi (z celami) Efektywne są programy, które osiągają zamierzone i osiągane skutki przy jak najmniejszym poziomie nakładów Hierarchia ważności: najpierw program powinien być skuteczny (osiąganie skutków zgodnych z celami), a następnie należy zadbać o jego efektywność
Kryteria ewaluacyjne: użyteczność
Beneficjenci, uczestnicy, adresaci, klienci Komu ma służyć dany program? Kto ma na nim skorzystać? Czyje dobro ma być za jego pomocą powiększone? Pytania o zamierzonych i bezpośrednich beneficjentów (adresatów) Kto jeszcze odniesie korzyści, jeżeli na programie skorzystają, ci którym miał on służyć? Czyje jeszcze dobro będzie powiększone dzięki temu? Pytania o pośrednich beneficjentów
Potrzeby beneficjentów Grupa docelowa Moje potrzeby to Moje potrzeby to Moje potrzeby to Moje potrzeby to Moje potrzeby to Jakie potrzeby mają zamierzeni beneficjenci? Czego potrzebują? Co będzie dla nich dobre? Co będzie dla nich najlepsze? Program, jego cele i skutki Jak ma się dany program do potrzeb zamierzonych beneficjentów? Czyli jaka jest jego użyteczność dla nich (użyteczność jego celów i skutków)?
Trzy kryteria razem Użyteczność min min Skuteczność Efektywność max max Program / projekt X min Użyteczność max Który program jest lepszy? Jak porównać oceny wielokryterialne? min min Skuteczność Efektywność max max Program / projekt Y min max
Ewaluacja w kontekście interesariuszy oraz dynamiki programu (projektu)
Społeczny wymiar ewaluowanych programów (interesariusze) Sponsorzy, grantodawcy, zamawiający program Politycy, dziennikarze, eksperci, naukowcy zainteresowani programem Rodziny, sąsiedzi, lokalna społeczność bliska klientom programu Program jego treść, cele, plany, harmonogramy itd. Klienci programu, beneficjenci, odbiorcy usług Dyrektorzy, kierownicy, kadra zarządzająca programem Pracownicy programu udzielający usług
Cykl programu (interwencji) a rodzaje ewaluacji Może być rozumiana jako ewaluacja alternatywnych rozwiązań lub już przyjętego rozwiązania Olejniczak, Mechanizmy, s. 91
Typowe pytania ewaluacyjne diagnoza potrzeb Na czym polega problem, który mamy rozwiązać, jakie jest jego natężenie? Jakie cechy ma grupa mająca problem (potrzebująca pomocy)? Czego potrzebuje grupa docelowa? Jakie usługi są potrzebne? Jak dużo usług potrzeba i w jakim czasie mają być udzielane? Jak należy zorganizować udzielanie usług, aby otrzymała je grupa, która ich potrzebuje?
Typowe pytania ewaluacyjne ocena teorii programu Jacy klienci powinni być obsłużeni? Jakie usługi powinny być udzielone? Jaki jest najlepszy system udzielania usług? Jak program będzie identyfikował, rekrutował i utrzymywał docelowych klientów? Jak program powinien być zorganizowany? Jakie zasoby są konieczne i odpowiednie dla programu?
Przykłady teorii programu Kampania medialna na temat zdrowego żywienia Wzrost wiedzy i świadomości w społeczeństwie Zdrowsza dieta Kwalifikacje zawodowe Szkolenie zawodowe Umiejętności poszukiwania pracy Lepsza praca Poprawa sytuacji materialnej Motywacja do pracy Rossi, Lipsey, Freeman 2004, s. 143
Przykłady teorii programu cd. Lekcje matematyki wspomagane komputerowo w szkole średniej Wzrost wiedzy matematycznej uczniów Wzrost umiejętności komputerowych uczniów Praktyczne umiejętności życiowe Zmniejszenie liczby nauczycieli Zmniejszone koszty systemu edukacyjnego Rossi, Lipsey, Freeman 2004, s. 143
Zastosowanie teorii programu do interpretacji wyników ewaluacji Czy implementacj a interwencji była odpowiednia? Czy wystarczając e były zaangażowanie, rekrutacja, wypełnianie zaleceń? Czy cele pośrednie zostały osiągnięte? Czy cele ostateczne zostały osiągnięte? Interpretacja Niepowodzenie implementacji Niepowodzenie zaangażowania lub zgodności (pierwszy łącznik przyczynowo-skutkowy) Niepowodzenie teorii (wcześniejszy łącznik przyczynowo-skutkowy) Niepowodzenie teorii (późniejszy łącznik przyczynowo-skutkowy) Zgodność z teorią Niepowodzenie teorii (inna ścieżka przyczynowo-skutkowa) Funnell, Rogers, Purposeful Program Theory: Effective Use of Theories of Change and Logic Models
Zastosowanie teorii programu do interpretacji wyników ewaluacji - przykład Przykładowy program Jabłka dla studentów Czy jabłka zostały dostarczone? Czy jabłka zostały zjedzone? Czy poziom witaminy C we krwi wzrósł? Czy poprawił się poziom zdrowia? Interpretacja Niepowodzenie implementacji Niepowodzenie w zaangażowaniu i zgodności zachowań (pierwszy łącznik przyczynowy) Niepowodzenie teorii (wcześniejszy łącznik przyczynowy) Niepowodzenie teorii (późniejszy łącznik przyczynowy) Zgodność z teorią Częściowe niepowodzenie teorii (działa tylko w pewnych kontekstach Niepowodzenie teorii (odmienna ścieżka przyczynowa) Funnell, Rogers, Purposeful Program Theory: Effective Use of Theories of Change and Logic Models
Typowe pytania ewaluacyjne ocena procesu Czy cele administracyjne i w stosunku do usług zostały zrealizowane? Czy zamierzone usługi zostały udzielone zamierzonym klientom? Czy są osoby potrzebujące, które nie otrzymały usług z programu? Czy program ukończyła wystarczająca liczba klientów? Czy klienci byli zadowoleni z usług? Czy funkcje administracyjne, organizacyjne i związane z personelem zostały dobrze wykonane?
Typowe pytania ewaluacyjne ocena wpływu Czy cele i zadania dotyczące produktu (np. ile usług udzielono) zostały osiągnięte? Czy usługi miały korzystny wpływ na grupę docelową? Czy usługi miały jakieś negatywne skutki uboczne dla klientów? Czy wśród klientów byli tacy, na których usługi wpłynęły bardziej niż na innych? Czy problem, który miały rozwiązać usługi zmniejszył się?
Typowe pytania ewaluacyjne ocena efektywności Czy zasoby zostały wykorzystane efektywnie? Czy koszty są rozsądne w stosunku do wielkości osiągniętych korzyści? Czy jakieś alternatywne podejście dałoby podobne korzyści przy mniejszych kosztach?
Hierarchia pytań ewaluacyjnych Poziom wymagający wiedzy osiągniętej w wyniku przejścia przez pozostałe Ocena kosztów i efektywności programu Ocena wyników i rezultatów programu Ocena procesu programu i jego implementacji Ocena kształtu i teorii programu Ocena czy i na ile program jest/był potrzebny Poziom najbardziej podstawowy Rossi, Lipsey, Freeman 2004, s. 80
Fazy rozwoju programu, pytania ewaluacyjne i funkcje ewaluacji Faza rozwoju programu Pytanie ewaluacyjne Funkcja ewaluacji Diagnoza problemów, potrzeb Określenie celów Zaprojektowanie alternatywnych sposobów działania Wybieranie jednej z alternatyw Wdrażanie programu Realizacja programu Wyniki programu Wyniki a koszty programu W jakim stopniu i jakie potrzeby (standardy) są niezaspokojone? Co musi być zrobione, żeby zaspokoić te potrzeby i spełnić standardy? Jakich usług i komu trzeba udzielić, aby osiągnąć pożądane zmiany? Który z możliwych sposobów działania jest najlepszy? Jak rozpocząć realizację programu? Czy program realizowany jest zgodnie z planem? Diagnoza potrzeb; opis problemu Diagnoza potrzeb; zapotrzebowanie na usługi Ocena logiki i teorii programu Studium wykonalności; ewaluacja formatywna (ex ante) Ocena implementacji Ewaluacja procesu; monitoring programu Czy program ma pożądane skutki? Ewaluacja wyników Czy koszty osiągnięcia skutków programu były rozsądne? Analiza koszty-korzyści; analiza koszty-skuteczność
Metody i techniki stosowane w ewaluacji ilustracja 1 K. Olejniczak
Metody i techniki stosowane w ewaluacji ilustracja 2 METODY Kontekst Nakłady Proces Wpływ Efektywność Trwałość Przenośność Sondaże Przegląd literatury Przegląd dokumentów Wizytacje innych programów Zespoły rozwoju i oceny alternatywnych strategii działania Technika delficka Bazy danych programu, profil programu Obserwacje na miejscu Studia przypadków Metody porównawcze i eksperymentalne Wywiady z interesariuszami Grupy fokusowe Wysłuchania Analiza kosztów Analiza danych zastanych Ewaluacja wolna od celów Dokumentacja fotograficzna Raporty zadań / spotkania na temat doświadczeń Synteza, raport ostateczny
Planowanie, projektowanie i realizacja ewaluacji Ocena = ewaluacja Grzeszczyk, Ocena projektów europejskich 2007-2013, 2009, s. 120,
Sześć modeli ewaluacji Model ewaluacji Pytania Kryteria ewaluacyjne 1. Modele rezultatów Model osiągania celów W jakim stopniu zostały osiągnięte cele? Wyprowadzone na podstawie celów Model efektów Jakie są skutki programu? Otwarte, wszystkie konsekwencje programu powinny zostać uwzględnione przy ocenie 2. Model wyjaśniania procesu Czy podejmowane działania są odpowiednie? Czy są problemy z realizacją programu? 3. Model systemowy Jakie rezultaty osiąga całościowo ujęty program? 4. Model teorii programu Co się sprawdza, dla kogo i w jakim kontekście? Czy można określić błędy w teorii programu? Proces analizuje się od pomysłu do decyzji i realizacji oraz reakcji grup docelowych Zrealizowane nakłady, procesy, struktury i wyniki ocenione w stosunku do zaplanowanych lub porównawczo Zrekonstruowana teoria programu jest oceniana poprzez analizę danych empirycznych Hansen, 2005, s. 449
Sześć modeli ewaluacji cd. Model ewaluacji Pytania Kryteria ewaluacyjne 5. Modele ekonomiczne Koszty-efektywność Czy produktywność jest satysfakcjonująca? Produkt mierzony w stosunku do wydatków Koszty-skuteczność Czy skuteczność jest satysfakcjonująca? Efekt mierzony w stosunku do wydatków Koszty-korzyści (w dłuższym okresie) Czy użyteczność jest satysfakcjonująca? Użyteczność mierzona w stosunku do wydatków 6. Modele aktora Ukierunkowane na klienta Czy klienci są zadowoleni? Czy ich potrzeby są zaspokojone? Sformułowane przez klienta Ukierunkowane na interesariuszy Model oceny przez środowisko (peer review) Czy interesariusze są zadowoleni? Czy ich potrzeby są zaspokojone? Czy profesjonalna jakość jest na odpowiednim poziomie? Sformułowane przez interesariuszy Sformułowane przez osoby z danego środowiska Hansen, 2005, s. 449
Jak wybrać model ewaluacji? Kryterium 1: wybór modelu zależy od celu ewaluacji Kryterium 2: wybór modelu zależy od cech ewaluowanego programu Kryterium 3: wybór modelu zależy od problemu, który ma rozwiązywać ewaluowany program
Kryterium celu ewaluacji Projekt ewaluacji Cel ewaluacji Kontrola nad programem Uczenie się Model ewaluacji Model ukierunkowany na Model wyjaśniania procesu rezultaty Organizacja Odgórna Autoewaluacja lub zewnętrzny ekspert/konsultant Kryteria Wyprowadzone z celów na Wyprowadzone na podstawie wyższym poziomie hierarchii życzeń interesariuszy organizacji Metoda Przede wszystkim ilościowy pomiar efektów Przede wszystkim badania jakościowe procesu Upowszechnianie rezultatów ewaluacji W górę hierarchii organizacynej Poprzez interakcje z wieloma zainteresowanymi stronami Zastosowania Sankcje i decyzje kontrolne wydawane przez zwierzchników Zwiększenie wiedzy i świadomości lokalny rozwój organizacyjny Hansen, 2005, s. 452
Kryterium cech ewaluowanego programu Cele programu Jasne, mierzalne, ograniczone w czasie, niekwestionowane Niejasne, niemierzalne, bez ograniczenia czasowego, kontrowersyjne Wiedza o teorii programu Doskonała Niedoskonała Model ekonomiczny Ewaluacja porównawcza Model osiągania celów Ewaluacja porównawcza Hansen, 2005, s. 453 Ewaluacja porównawcza benchmarking: - na podstawie porównania do wyznaczonego poziomu wyników (standard) - na podstawie porównania ze średnimi wynikami wielu podobnych programów - na podstawie porównania z programami uznawanymi za najlepsze praktyki
EWALUACJE TRADYCYJNE Mają dać ostateczną ocenę sukcesu lub porażki Mierzą sukces w zestawieniu z wcześniej zdefiniowanymi celami Zewnętrzna pozycja ewaluatora w celu zapewniania niezależności i obiektywności Projektowanie ewaluacji na podstawie linearnych modeli przyczynowo-skutkowych Ma na celu wyniki uogólnialne w czasie i przestrzeni Odpowiedzialność wobec zewnętrznych władz, interesariuszy lub fundatorów Kontrola i zidentyfikowanie odpowiedzialności Ewaluator projektuje ewaluację na podstawie własnego przekonania co jest ważne i on kontroluje ewaluację EWALUACJE ROZWIJAJĄCE Dostarczają informacji zwrotnej, umożliwiają uczenie się, wspierają zmianę kierunku działań Rozwijają nowe miary i mechanizmy monitoringu odpowiednio do powstających i ewoluujących celów Ewaluacja ma charakter wewnętrzny, zintegrowany z działaniem i procesami interpretacji Projektowanie ewaluacji w celu uchwycenia dynamiki systemu, współzależności, pojawiających się związków Celem jest dostarczenie zrozumienia w danym kontekście, aby wspierać proces innowacji Odpowiedzialność skoncentrowana na poczuciu wartości i zaangażowania innowatorów Uczenie się reagowania na brak kontroli i pozostawanie w kontakcie z rozwijającą się sytuacją, aby odpowiadać na nią strategicznie Ewaluator współpracuje z osobami zaangażowanymi w zmianę w celu zaprojektowania procesu ewaluacji, który będzie zgodny z zasadami i celami organizacji Produktem ewaluacji jest opinia na temat sukcesu lub porażki, czego obawiają się ewaluowani J.A.A. Gamble, Developmental Evaluation Primer, 2008, s. 62 Ewaluacja wspiera proces uczenia się Stworzone dla ewaluacji działania szerokich partnerstw lokalnych o długofalowych celach
Przykłady wyników ewaluacji
Porównanie beneficjentów ostatecznych SPO RZL i próby kontrolnej pod względem statusu na rynku pracy około 6 miesięcy po zakończeniu projektu Ewaluacja ex post Narodowego Planu Rozwoju 2004 2006
Badanie wpływu poprzez autodeklarację klientów I. Krasiejko, A. Imielińska, Efektywność asystentury rodziny na podstawie badań przeprowadzonych w MOPS w Częstochowie
Badanie wpływu poprzez autodeklarację asystentów rodziny I. Krasiejko, A. Imielińska, Efektywność asystentury rodziny na podstawie badań przeprowadzonych w MOPS w Częstochowie
Ocena skuteczności aktywnych programów rynku pracy PSM propensity score matching Z. Wiśniewski, K. Zawadzki red., Efektywność polityki rynku pracy w Polsce, Toruń 2011.
Porównawcza metaanaliza ewaluacyjna APRP Za: Wróbel, Mierzenie efektywności, 2005, s. 105
Zalecana literatura i strony www J. Dąbrowski, Zarządzanie strategiczne organizacjami non-profit, Wolters Kluwer, 2010 M. Ćwiklicki, Zarządzanie strategiczne w organizacjach ekonomii społecznej, w: J. Hausner red. Zarządzanie podmiotami ekonomii społecznej, www.msap.uek.krakow.pl/doki/publ/es_zarzadzanie. pdf Ewaluacja: rszarf.ips.uw.edu.pl/ewalps/dzienne