Strukturalne skalowanie satysfakcji obywatela metodologia ACSI-MJR

Transkrypt

1 Strukturalne skalowanie obywatela metodologia ACSI-MJR Projekt Partycypacja obywatelska: diagnoza barier i stworzenie narzędzi wspomagających dobre rządzenie jest realizowany dzięki wsparciu udzielonemu przez Islandię, Liechtenstein i Norwegię poprzez dofinansowanie ze środków Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego oraz Norweskiego Mechanizmu Finansowego dr Henryk Banaszak Katarzyna Wądołowska Tomasz Żółtak Wskaźniki typu przyczyny X 1 X 2 X 3 X p Idea prostego pomiaru strukturalnego Cecha ukryta Z Problem pomiaru: znajdź taką funkcję przyczyn Z = f(x 1, X 2,, X p ), która najlepiej przewiduje skutki (Y 1, Y 2,, Y s ) Pomiar strukturalny Wskaźniki typu skutki Y 1 Y 2 Y s Wyznaczenie indeksu Projekt Partycypacja obywatelska: diagnoza barier i stworzenie narzędzi wspomagających dobre rządzenie jest realizowany dzięki wsparciu udzielonemu przez Islandię, Liechtenstein i Norwegię poprzez dofinansowanie ze środków Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego oraz Norweskiego Mechanizmu Finansowego Katarzyna Wądołowska oczekiwania i doświadczenia wymagań odczuwana jakość usługi Od czego zależy satysfakcja? z usługi konsekwencje oczekiwań i doświadczeń usługi Co zależy od? Schemat pomiaru użytkownika usługi (1) 1

2 Q1 ogólne oczekiwania wymagań Q5 ogólna ocena odczuwana jakość usługi Q6 ogólna satysfakcja z usługi Q7 spełnianie oczekiwań Q8 porównanie z ideałem usługi Q9 czy złożył skargę Q10A/B reakcja na skargę Q11 polecanie usługi innym Q2 ocena wymiaru 1 Q3 ocena wymiaru 2 Q4 ocena wymiaru 3 Q12 wiara w stabilność u Schemat pomiaru użytkownika usługi (2) Przykładowe pytanie z kwestionariusza dla Urzędu Skarbowego Przykładowe pytanie Wymiary badanych usług publicznych Komunikacja publiczna Urząd Gminy Urząd Skarbowy ZUS / KRUS Urząd Pocztowy Częstotliwość kursowania środków transportu Punktualność kursowania środków transportu Wygląd i czystość środków transportu Sprawność załatwienia sprawy Łatwość uzyskania informacji na temat sposobu załatwienia sprawy, opłat, potrzebnych dokumentów Kompetencje urzędników załatwiających sprawę Szybkość dostarczania przesyłek Dogodność terminów dostarczania przesyłek poleconych Szybkość załatwiania spraw i kolejek Wymiary usług (1) Wymiary badanych usług publicznych Policja Biblioteka Publiczna Dom lub Ośrodek Kultury Szybkość reakcji Skuteczność interwencji Sposób potraktowania przez policjantów Pomocność pracowników biblioteki Dostępność informacji o zbiorach bibliotecznych Dostępność książek i materiałów multimedialnych Oferta organizowanych zajęć i imprez Jakość organizowanych zajęć i imprez Poziom wyposażenia, jakość pomieszczeń, jakość sprzętu technicznego Wymiary usług (2) 2

3 wymagań wymagań wymagań odczuwana jakość usługi odczuwana jakość usługi odczuwana jakość usługi z us łłłługi z us łłłługi z us łłłługi usługi usługi usługi Wymiary badanych usług publicznych Usługi medyczne (5 rodzajów usług) Szkoła podstawowa / gimnazjum Możliwość umówienia się na wizytę w odpowiadającym terminie Posiadane kompetencje lekarza, personelu Życzliwość wobec pacjenta Poziom bezpieczeństwa dziecka w szkole Poziom nauczania w szkole Relacje rodzica z wychowawcą Wymiary usług (3) usługa 1 usługa 2 usługa k modele SEM-PLS satysfakcja obywateli I 1 I 2 I k unormowana satysfakcja obywateli (skala 0-100) I I I k średnia średnia średnia indeks MJR dla usługi MJR 1 MJR 2 MJR k wagi proporcjonalne do liczby osób, które korzystały z usługi w ciągu ostatniego roku u 2 u k u 1 MJR(o) Struktura MJR I k (x) w ki Q ki (x) Satysfakcja z usługi pojedynczego obywatela z usługi k dla respondenta x współczynniki dla wskaźników Q i uzyskane w wyniku estymacji modelu strukturalnego dla usługi k odpowiedź respondenta x na pytanie wskaźnikowe Q i dotyczące usługi k Pytania wskaźnikowe opierają się na skali od 1 do 9 Sposób wyznaczania indeksu (1) Satysfakcja z usługi pojedynczego obywatela na skali I k (x) z usługi k dla respondenta x na skali w ki Q ki (x) współczynniki dla wskaźników Q i uzyskane w wyniku estymacji modelu strukturalnego dla usługi k odpowiedź respondenta x na pytanie wskaźnikowe Q i dotyczące usługi k Zmienna I k jest wyrażona na skali od 0 do 100 Sposób wyznaczania indeksu (2) 3

4 Ogólna forma indeksu (MJR) Indeks obywateli wyliczany jest jako średnia satysfakcja (wyrażona na skali 0-100) zbadanych osób z danej usługi Taka średnia może zostać policzona zarówno dla całej Polski, jak i np dla poszczególnych województw (bierzemy wtedy pod uwagę tylko mieszkańców danego województwa) MJR jest wyrażony na skali od 0 do 100 Sposób wyznaczania indeksu (3) Indeks rządzenia na danym obszarze MJR k (o) indeks z usługi k na obszarze o (w województwie lub w całej Polsce) u k waga proporcjonalna do częstości korzystania obywateli z usługi k (wagi unormowano tak, aby MJR(o) było wyrażane na skali 0-100) MJR jest wyrażony na skali od 0 do 100 Sposób wyznaczania indeksu (4) Zalety metodologiczne Sprawdzona metodologia Standaryzowany sposób oceny Możliwość agregacji i porównań uzyskanych ocen Możliwość śledzenia zmian w uzyskanych ocenach w czasie Zalety MJR Zalety praktyczne Zobiektywizowana ocena działania służb publicznych Opis usług na ie ogólnokrajowym i lokalnym Pozyskanie informacji na temat oczekiwań obywateli wobec instytucji publicznych Możliwość wdrożenia okresowej kontroli działania służb publicznych Zalety podejścia PLS rekonstrukcja metody Tomasz Żółtak Projekt Partycypacja obywatelska: diagnoza barier i stworzenie narzędzi wspomagających dobre rządzenie jest realizowany dzięki wsparciu udzielonemu przez Islandię, Liechtenstein i Norwegię poprzez dofinansowanie ze środków Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego oraz Norweskiego Mechanizmu Finansowego 4

5 Statystyczna geneza PLS Podstawy podejścia opracowane na przełomie lat 60 i 70 XX w przez Hermana Wolda Uczniem Wolda był Jöreskog, twórca modeli SEM-ML W odróżnieniu od modeli SEM-ML metoda PLS z założenia miała być mało wymagająca względem danych: Nie odwoływać się do założeń o rozkładach zmiennych Umożliwiać estymację nawet przy małej liczbie jednostek obserwacji W latach 80 w pracach Wolda i Lohmöllera przedstawiono dowody, że przy pomocy pewnych wariantów modeli PLS można estymować: Korelacje kanoniczne (w tym dwa uogólnienia korelacji kanonicznej na wiele grup zmiennych zaproponowane przez Horsta i Carolla) Regresję PLS Inter-battery factor analysis Redundancy analysis Własności estymacji metodą PLS W odróżnieniu od modeli SEM-ML algorytm estymacji PLS w ogólności nie dąży do maksymalizacji żadnej globalnej funkcji dopasowania modelu do danych Choć dla szczególnych modeli (por poprzedni slajd) można wskazać, że efektem działania algorytmu jest optymalizacja pewnego kryterium Estymacja modelu strukturalnego metodą PLS w ogólności daje się opisać tylko jako realizacja rozsądnego algorytmu działania Nie można jednak (w ogólności) syntetycznie powiedzieć, do czego ten algorytm dąży Modele PLS są nakierowane na przewidywanie i eksplorację (możliwość uwzględnienia bardzo wielu zmiennych bez napotykania problemów z identyfikowalnością modelu czy niestabilnością wyników), a nie (jak SEM-ML) na testowanie hipotez Estymacja PLS W modelu wydziela się część pomiarową (zewnętrzną) i część strukturalną (wewnętrzną) Ogólna idea estymacji sprowadza się do naprzemiennego wyliczania współczynników zewnętrznej i wewnętrznej części modelu w oparciu o wartości zmiennych ukrytych obliczone na podstawie współczynników z poprzedniego kroku estymacji X 11 X 21 ξ 1 X 31 ξ 3 X 61 ξ X 22 ξ 6 2 X 62 X 43 ξ 4 ξ 5 X 51 X 52 X 23 X 41 X 42 X 21 X 22 ξ 2 X 23 X 21 X 22 ξ 2 X 23 Warianty dla części pomiarowej Warianty można wybrać niezależnie od siebie dla każdego bloku zmiennych Blok typu reflective: X ij = ω ij0 + ω ij ξ j +ε ij E(ε ij )=0, cor(ε ij, ξ j )=0 Dla każdej zmiennej w bloku estymowane jest oddzielne równanie regresji liniowej Blok powinien być jednowymiarowy (teoria plus sprawdzian empiryczny, np PCA, alfa Cronbacha) Blok typu formative: ξ j = ω ij X ij +δ j E(δ j )=0, i cor(δ j, X ij )=0 Dla całego bloku estymuje się jedno równanie regresji liniowej Z analizy należy usunąć zmienne, dla których okazałoby się, że sign(ω ij ) sign(cor(x ij, ξ j )) 5

6 Warianty dla części strukturalnej ξ j =e j0 + e ij ξ i +ν j gdzie ξ i są bezpośrednio połączone z ξ j (również gdy ξ i następują po ξ i ) Centroid scheme: e ij =sign(cor(ξ i, ξ j )) Factorial scheme: e ij =cor(ξ i, ξ j ) Path weghting scheme: e ij =β ξj ξ i ; ξ i dla ξ i poprzedzających ξ j w porządku czasowym e ij =cor(ξ i, ξ j ) dla ξ i następujących po ξ j w porządku ξ czasowym 1 ξ 3 ξ 4 ξ 5 ξ 2 ξ 6 Algorytm estymacji PLS 1 Załóż początkowe wartości współczynników dla pomiarowej części modelu (ω ij ) Współcześnie używa się zwykle wag z 1 składowej głównej 2 Oblicz zewnętrzne estymatory zmiennych ukrytych jako: ξ j ω ij [X ij E(X ij )] gdzie oznacza standaryzację wyrażenia po prawej 3 Na podstawie tak wyliczonych estymatorów oblicz wartości współczynników strukturalnej części modelu (e ij ) 4 Oblicz wewnętrzne estymatory zmiennych ukrytych jako: ξ j e i ξ i 5 Na podstawie tak wyliczonych estymatorów oblicz nowe wartości współczynników zewnętrznej części modelu (ω ij ) 6 Powtarzaj kroki 2-5 do uzyskania zbieżności Algorytm estymacji PLS Po uzyskaniu zbieżności wykonuje się dwa ostatnie kroki: 7 Wyliczenie ostatecznych wartości estymatorów zmiennych ukrytych: ξ j = ω ij [X ij E(X ij )] / σ gdzie σ=d( ω ij [X ij E(X ij )] ) Tak uzyskane estymatory zwykle unormowuje się jeszcze na jeden z dwóch sposobów: 1) ξ j = ξ j + ω ij E(X ij ) / σ ( odcentrowanie zmiennej) 2) ξ j = [ξ j + ω ij E(X ij ) ] / ω ij równoważnie: ξ j = ω ij X ij / ω ij (przedstawieniu zmiennej ukrytej na tej samej skali, co zmienne mierzalne danego bloku) 8 Wyliczenie współczynników opisujących zależności przyczynowe w części strukturalnej modelu, przy użyciu analizy ścieżkowej Własności Estymacja metodą PLS sprowadza się do liczenia dużej liczby regresji liniowych, przy czym w każdym kroku procedury iteracyjnej każde z równań opisujących model jest wyliczane oddzielnie Stąd niewielkie zapotrzebowanie na liczbę jednostek obserwacji decyduje tutaj największa liczba zmiennych niezależnych występujących w pojedynczym równaniu (np w modelu MJR cztery zmienne) Mniejsze są też problemy w przypadku braków danych dany brak występuje bowiem tylko lokalnie, w jednym równaniu W związku z tym nie występują też (dosyć często występujące w SEM-ML) problemy z nieidentyfikowalnością modelu Błędy standardowe współczynników modelu można uzyskać z regresji obliczanych w ostatnim kroku estymacji, jednak obecnie często oblicza się je przy pomocy metod symulacyjnych (jakcknife, bootstrap) 6

7 Miary dopasowania Model PLS nie optymalizuje żadnego globalnego kryterium dopasowania do danych Zaproponowano jednak kilka miar pozwalających ocenić wyniki estymacji: Indeks zmienności wspólnej (communality index): Miara wyliczana dla każdego bloku oddzielnie: communality j =E[cor 2 (X ij, ξ j )] Jako miary globalnej można użyć średnią ze wszystkich bloków Redundancy index: Miara wyliczana dla każdego bloku oddzielnie: redundancy j =communality j R 2 ξ j ξ gdzie ξ {i} i wyjaśniają ξ j Jako miary globalnej można użyć średnią ze wszystkich bloków GoF (Goodness-of-fit): GoF=[ E(communality) E(R 2 ξ j ξ ) ] 0,5 {i} Wyznaczanie pametrów modelu MJR: SEM - PLS SEM: MLE vs PLS Model Co dalej z MJR? Weryfikacja trafności modelu reakcji klienta (relacje między konstruktami) Weryfikacja trafności wskaźników Problemy statystyczne: nieliniowość relacji konstruktwskaźnik, respondent-bias, Realizacja sondażu Definicja populacji użytkownków usługi i kontrola reprezentatywności ich prób Tanie technologie dotarcia do klientów usług Otoczenie modelu Wyczerpujące badanie triady lokalnej (O W N) Statystyka publiczna efektywność usługi na obszarze Projekt testów i rozwoju MJR 7