Szukając rzetelności skali decydujące starcie

Transkrypt

1 analiza rzetelności Szukając rzetelności skali decydujące starcie Anna Huculak Predictive Solutions Witam wszystkich Państwa, którzy nadal chcą zgłębiać tajniki analizy rzetelności. W poprzednim artykule zapoznali się Państwo z podstawowym podejściem do badania rzetelności skali. Była to analiza rzetelności z wykorzystaniem miary alfa Cronbacha. Omówione zostało także zagadnienie testowania hipotez statystycznych. Zgodnie z obietnicą, w tym numerze zajmiemy się innymi miarami rzetelności, które są dostępne w programie IBM SPSS Statistics. W szczególności, zapoznamy się z logiką modelu połówkowego, a także z modelem Guttmana. Naszym głównym celem będzie sprawdzenie, czy modele te potwierdzą rzetelność skali określającej stosunek klientów banku do oszczędzania pieniędzy. Na koniec utworzymy (wreszcie!) naszą skalę i zastanowimy się jak podejść do analizy wyników. Będziemy korzystać z danych zawartych w zbiorze dane_rzetelnosc_03.sav. Zacznijmy od modelu rzetelności połówkowej. Wyobraźmy sobie, że zamiast prezentować respondentowi wszystkie stwierdzenia skali na raz, przygotowujemy dla niego dwa osobne kwestionariusze. Na jednym drukujemy połowę pytań, na drugim pozostałe. Respondent wypełnia dwa osobne testy. Po podliczeniu wyników okazuje się, że pierwszy test wskazuje na silne natężenie badanej postawy u respondenta. Jednak wynik drugiego testu tego nie potwierdza. W takiej sytuacji powiedzielibyśmy, że te dwa testy nie są ze sobą spójne i nie mierzą badanego zjawiska w sposób rzetelny. Dzielenie skali na pół i sprawdzanie wzajemnej korelacji i spójności pomiędzy połówkami, to idea, która przyświeca modelom rzetelności połówkowej. W praktyce oczywiście nie musimy drukować dwóch osobnych kwestionariuszy dla naszych respondentów. Wystarczy, że na etapie analizy danych, program komputerowy podzieli zestaw zmiennych, tworzących skalę, na dwie części. Oczywiście dążymy do tego, aby części były równe, ale w przypadku nieparzystej liczby pozycji, nie jest to możliwe. Do pierwszej części będziemy musieli zaliczyć o jedną pozycję więcej niż do części drugiej. Stąd wynikają pewne problemy z nazewnictwem powstałych części. Konwencja każe pisać o połówkach, niezależnie czy mamy na myśli dwie równe czy też nierówne części. I chociaż nie istnieje coś takiego jak większa lub mniejsza połowa, pozwolą Państwo, że mimo wszystko będziemy posługiwać się tymi określeniami przy pełnej świadomości występowania logicznej sprzeczności. Aby wykonać analizę rzetelności połówkowej, z menu [Analiza] wybieramy [Skalowanie] u [Analiza rzetelności], a następnie z listy rozwijalnej wybieramy model połówkowy. Do pola [Elementy] wprowadzamy zmienne, które mają wejść w skład naszej skali. Rysunek 1. Wykonywanie analizy rzetelności z wykorzystaniem modelu połówkowego

2 2 Analiza rzetelności Szukając rzetelności skali decydujące starcie Korzystając z przycisku [Statystyki], wybierzmy dodatkowo statystyki opisowe dla skali oraz podsumowania. Zobaczymy, że teraz tabele te będą trochę bardziej rozbudowane niż wtedy, gdy korzystaliśmy z modelu alfa Cronbacha. Rysunek 2. Wybór statystyk W wyniku wykonania tej procedury, w oknie raportów otrzymujemy trzy tabele. Najważniejsza jest dla nas tabela zawierająca statystyki rzetelności. Tabela 1. Statystyki rzetelności modelu połówkowego analiza wstępna Alfa Cronbacha Część 1 Wartość,566 Liczba pozycji Część 2 Wartość,446 Liczba pozycji Całkowita liczba pozycji 5 Korelacje międzypołówkowe,567 Współczynnik Spearmana-Browna Równej długości,724 Nierównej długości,730 Współczynnik podziału połówkowego Guttmana,713 3a 2b a. Pozycjami są: wolę oszczędzać niż wydawać pieniądze, posiadanie oszczędności daje mi poczucie bezpieczeństwa, podczas wydawania pieniędzy czuję dyskomfort. b. Pozycjami są: jestem dumny z mojej umiejętności oszczędzania pieniędzy, oszczędność świadczy o rozwadze. Jak Państwo zapewne już zauważyli, dla każdej połówki wyliczona została znana nam już alfa Cronbacha. Ponadto pojawiają się inne miary rzetelności, których omówieniem zajmiemy się za chwilę. Zerknijmy jeszcze na pozostałe tabele (niezamieszczone w tym artykule). W tabelach ze statystykami dla poszczególnych pozycji oraz dla skali, otrzymujemy wyniki w podziale na połówki, jak również wynik łączny. W stopce każdej tabeli otrzymujemy informację o tym, w jaki sposób program przypisał poszczególne pozycje skali do połówek. Jak widać, w skład pierwszej połówki weszły trzy pozycje, w skład drugiej natomiast tylko dwie. Kolejność wprowadzania pozycji do połówek jest dokładnie taka, jak kolejność w której zmienne zostały wprowadzone do pola [Elementy] w oknie dialogowym analizy rzetelności. Wiąże się z tym pewien problem. Gdy zmodyfikujemy kolejność zmiennych w taki sposób, że zmieni się skład poszczególnych połówek, wyniki w tabelach będą inne! Powstaje więc bardzo ważne pytanie: jaka powinna być kolejność wprowadzania zmiennych do okna dialogowego? 1. Czasami badacze radzą sobie z problemem znużenia respondentów już na etapie zbierania danych. Zestaw stwierdzeń może być przecież wyświetlany w losowej kolejności. Jeżeli mamy pewność, że w trakcie badania zostały zastosowane takie zabezpieczenia, wtedy skład poszczególnych połówek nie powinien mieć większego znaczenia. Najprostsza byłaby sytuacja, gdyby badani rzeczywiście wypełniali dwa osobne testy. Wtedy naszym celem jest sprawdzenie, czy te dwa narzędzia rzetelnie mierzą dane zjawisko. W takim przypadku będziemy chcieli, żeby połówki ściśle odzwierciedlały faktyczny skład zastosowanych testów. Jednak w praktyce, najczęściej będziecie Państwo spotykali się z inną sytuacją. Badani wypełniają zwykle jeden kwestionariusz, a analityk dopiero post factum, niejako w sposób sztuczny, dzieli skalę na dwie części. Wprowadzenie pozycji skali dokładnie w takiej kolejności, w jakiej były prezentowane respondentom, wiąże się z pewnymi niebezpieczeństwami (tym większymi, im więcej było pozycji skali). Respondenci podczas wypełniania długiej ankiety, mogą odczuwać znużenie, skutkujące coraz mniejszą starannością odpowiadania na pytania. Dlatego rekomenduje się, aby przypisywanie pozycji skali do połówek odbywało się w sposób losowy. Innym sposobem jest wprowadzenie do jednej połówki pozycji parzystych a do drugiej nieparzystych1. Proponuję w naszym przypadku zastosować ten właśnie sposób. Wykonajmy więc jeszcze raz analizę rzetelności, ale tym

3 3 Analiza rzetelności Szukając rzetelności skali decydujące starcie razem do pierwszej połówki wprowadzimy pierwszą, trzecią i piątą pozycję, a do drugiej połówki pozycje drugą i czwartą. A więc kolejność zmiennych będzie następująca: a2, d, f, b, e. Teraz najwyższy czas, żeby omówić wyniki tabeli ze statystykami rzetelności modelu połówkowego oraz dowiedzieć się w jaki sposób wyliczane są poszczególne wartości. Tabela 2. Statystyki rzetelności modelu połówkowego po zmianie kolejności zmiennych Alfa Cronbacha Część 1 Wartość,587 Liczba pozycji 3a Część 2 Wartość,511 Liczba pozycji 2b Całkowita liczba pozycji 5 Korelacje międzypołówkowe,516 Współczynnik Równej długości,681 Spearmana-Browna Nierównej długości,687 Współczynnik podziału połówkowego Guttmana,658 a. Pozycjami są: wolę oszczędzać niż wydawać pieniądze, podczas wydawania pieniędzy czuję dyskomfort, oszczędność świadczy o rozwadze. b. Pozycjami są: posiadanie oszczędności daje mi poczucie bezpieczeństwa, jestem dumny z mojej umiejętności oszczędzania pieniędzy. Korelację pomiędzy połówkami można wyliczyć ze wzoru: Gdzie: wariancja skali, i wariancje połówki pierwszej i drugiej, i odchylenia standardowe połówki pierwszej i drugiej. Wszystkie wartości potrzebne do obliczenia korelacji pomiędzy połówkami, znajdziemy w tabeli [Statystyki pozycji]. Tabela 3. Statystyki skali Średnia Wariancja Odchylenie standardowe Liczba pozycji Część 1 13,4633 7,980 2, Część 2 9,2090 4,209 2, Obie części 22, ,171 4, W obliczeniach najlepiej skorzystać z dokładnych wartości skopiowanych z tabeli w oknie raportów (nie ograniczając się tylko do trzech miejsc po przecinku). Bardzo podobnie obliczany jest współczynnik podziału połówkowego Guttmana. W liczniku, różnica pomiędzy wariancją skali a wariancjami połówek pomnożona jest przez 2, a w mianowniku, zamiast iloczynu odchyleń standardowych połówek, występuje wariancja całej skali: Z tą miarą jeszcze się spotkamy, gdy będziemy omawiać model rzetelności Guttmana. Pozostały nam jeszcze dwie miary Spearmana-Browna. Współczynnik Spearmana-Browna dla połówek o równej długości mówi o tym jaka byłaby rzetelność skali, gdyby składała się ona z dwóch części o równej liczbie pozycji i o korelacji między tymi połówkami równej 0,516. Wzór na ten współczynnik jest bardzo prosty. Żeby go obliczyć wystarczy znać wartość korelacji między połówkami.

4 4 Analiza rzetelności Szukając rzetelności skali decydujące starcie Druga miara mówi o rzetelności skali, której połówki są nierównej długości. Wzór na wyliczenie tego współczynnika jest trochę bardziej skomplikowany, między innymi dlatego, że konieczne jest wzięcie pod uwagę liczby pozycji skali ( ) oraz poszczególnych części tej skali ( ). Tych z Państwa, którzy są szczególnie zainteresowani tematem, zachęcam do zapoznania się z zamieszczonym poniżej wzorem, pozostałych zaś uspokajam, że więcej wzorów w tym artykule już nie będzie. 2. W przypadku, gdy wykorzystujemy istniejącą, sprawdzoną już skalę, prawdopodobnie wystarczy nam jeden pilotaż. Uczulam jednak na skale zaczerpnięte z podręczników zagranicznych. Tłumaczenie stwierdzeń na język polski może znacząco zmieniać ich wydźwięk. Ponadto, z powodu różnic kulturowych, na polskim gruncie skala może funkcjonować inaczej niż w kraju, w którym była stworzona. Wartość współczynnika rzetelności połówkowej Spearmana-Browna wynosi w naszym przykładzie 0,687. Nie jest to zły wynik, ale trudno też uznać go za szczególnie dobry. Taki wynik sugeruje, że nad skalą warto byłoby jeszcze popracować. Być może powinniśmy zmienić brzmienie niektórych stwierdzeń lub dodać nowe. To pokazuje nam, że zanim zaczniemy realizować badanie, powinniśmy przeprowadzić szereg badań pilotażowych. Takie wstępne badania na niewielkich próbach pozwolą nam przetestować różne wersje kwestionariusza. Dzięki temu uzyskamy taki zestaw stwierdzeń, który umożliwi dokonanie rzetelnego pomiaru interesującego nas zjawiska. Jest to ważne zwłaszcza wtedy, gdy sami konstruujemy skalę i gdy nie była ona jeszcze nigdy testowana pod kątem rzetelności2. Na potrzeby naszego ćwiczenia, uzyskaną w modelu połówkowym rzetelność uznajemy za wystarczającą. Sprawdzimy teraz jakie wyniki uzyskamy, gdy zastosujemy model Guttmana. Autor tego modelu Louis Guttman, był profesorem socjologii i psychologii. Zajmował się w szczególności problematyką teorii pomiaru. W 1971 roku, na łamach amerykańskiego czasopisma naukowego Science, zaliczony został do grona 62 naukowców najbardziej zasłużonych dla rozwoju nauk społecznych w XX wieku. Zajmując się analizą rzetelności skal, Guttman zaproponował sześć miar rzetelności. Wszystkie te miary są próbą oszacowania dolnej granicy rzetelności. Oznacza to, że prawdziwa rzetelność może być taka sama lub wyższa, niż dana miara rzetelności, ale nie może być od niej niższa. Aby zastosować model Guttmana, musimy wrócić do okna [Analiza rzetelności] i dokonać odpowiedniego wyboru. Rysunek 3. Wybór modelu Guttmana W wyniku tej procedury, w oknie raportów otrzymamy tabelę z sześcioma miarami rzetelności, nazwanymi przez autora modelu lambdami. Tabela 4. Statystyki rzetelności modelu Guttmana Lambda 1,560 2,704 3,700 4,658 5,692 6,659 Liczba pozycji 5 Na początek warto wiedzieć, że dwie spośród tych miar już znamy. Lambda 3 to nic innego jak znana nam już alfa Cronbacha, a lambda 4 to współczynnik podziału połówkowego Guttmana, z którym spotkaliśmy się, gdy omawialiśmy model rzetelności połówkowej. Oczywiście, musimy wciąż pamiętać, ze wartość lambda 4 jest zależna od kolejności wprowadzania zmiennych do analizy. Lambda 1 jest pewną miarą pomocniczą. Stanowi bazę do obliczania pozostałych lambd. Sama w sobie nie jest stosowana do szacowania rzetelności skali, gdyż znacząco zaniża rzeczywistą wartość rzetelności. Prawdziwą wartością dodaną w tym modelu jest lambda 2,

5 5 Analiza rzetelności Szukając rzetelności skali decydujące starcie która w porównaniu do alfy Cronbacha, lepiej estymuje dolną granicę rzetelności. Lambdy 5 i 6 stosowane są w szczególnych przypadkach. Lambda 5 przyjmuje wyższą wartość (i jednocześnie uznaje się, że lepiej szacuje rzetelność) wtedy, gdy jedno ze stwierdzeń ma szczególnie wysokie wartości kowariancji ze wszystkimi innymi stwierdzeniami, podczas gdy pomiędzy pozostałymi stwierdzeniami, wartości kowariancji są niskie. Lambda 6 natomiast rekomendowana jest wtedy, gdy korelacje między poszczególnymi pozycjami są niskie w porównaniu do kwadratów korelacji wielokrotnej (wartości współczynnika R-kwadrat). Ponieważ wszystkie powyższe miary są oszacowaniem dolnej granicy rzetelności, należy wybrać największą z nich. W naszym przypadku możemy więc przyjąć, że prawdziwa wartość rzetelności nie jest niższa niż 0,704. Model Guttmana potwierdza więc, że skalę możemy uznać za rzetelną. Omówiliśmy wszystkie dostępne w IBM SPSS Statistics modele rzetelności. Proponuję teraz utworzyć skalę stosunku do oszczędzania pieniędzy. Aby to zrobić, musimy utworzyć nową zmienną, której wartości będą sumą odpowiedzi respondenta na wszystkie pytania z zestawu. Odpowiednie wyrażenie możemy utworzyć w oknie [Oblicz wartości] dostępnym z menu [Przekształcenia]. Wyrażenie możemy utworzyć na dwa sposoby. Albo wprowadzamy wszystkie zmienne, stawiając pomiędzy nimi znaki dodawania: skala=a2+b+d+e+f, albo korzystamy z funkcji SUM: skala=sum (a2,b, d,e, f). Wybór metody jest ważny, ponieważ w odmienny sposób traktują one występujące w danych braki. Przypomnijmy sobie, że w zbiorze danych mieliśmy takich respondentów, którzy odpowiedzieli tylko na niektóre pytania. Jeśli zastosujemy funkcję SUM, wartości ich odpowiedzi zostaną zsumowane, a braki danych zostaną potraktowane tak, jakby ich wartość wynosiła 0. Otrzymany wynik będzie więc zaniżony. Analiza takich wyników mogłaby doprowadzić nas do błędnych wniosków. Żeby tego uniknąć, lepiej będzie dla tych obserwacji w ogóle nie wyliczać sumy wynik na skali będzie dla tych osób brakiem danych. Chcąc uzyskać taki efekt, musimy zastosować proste dodawanie. Rysunek 4. Tworzenie skali sumarycznej Osobom, które preferują korzystanie z okna poleceń podpowiem, że ten sam efekt uzyskamy uruchamiając polecenie: COMPUTE skala= a2+b+d+e+f. EXECUTE. Na koniec dochodzimy do najprzyjemniejszej części, czyli do analizy uzyskanej skali. Analizę warto rozpocząć od poznania rozkładu nowo utworzonej zmiennej. Polecam tutaj metody graficzne: przede wszystkim histogram, ale także wykres skrzynkowy (inaczej zwany pudełkowym). W IBM SPSS Statistics, wykresy te można uzyskać korzystając z [Kreatora wykresów], choć są też dostępne jako opcja w procedurach takich jak [Eksploracja] oraz [Częstości].

6 6 Analiza rzetelności Szukając rzetelności skali decydujące starcie Rysunek 5. Histogram obrazujący rozkład skali stosunku do oszczędzania Wykorzystując wymienione procedury, możemy też szybko poznać wartość minimalną i maksymalną, uzyskać informacje o miarach tendencji centralnej oraz miarach rozproszenia. Tabela 5. Podstawowe statystyki dla nowo utworzonej skali, uzyskane za pomocą procedury Częstości N Ważne 641 Braki danych 23 Średnia 22,6724 Mediana 23,0000 Dominanta 25,00 Odchylenie standardowe 4,26270 Wariancja 18,171 Rozstęp 23,00 Minimum 7,00 Maksimum 30,00 Po zapoznaniu się z rozkładem zmiennej skala, możemy zacząć sprawdzać zależności pomiędzy skalą stosunku do oszczędzania, a innymi zmiennymi, którymi dysponujemy. Możemy na przykład zastanawiać się, czy średni wynik na skali jest taki sam, czy też różny dla kobiet i mężczyzn. Sprawdzimy to, korzystając z procedury [Eksploracja] lub wykonując wykres słupkowy, w którym wysokość słupków obrazuje średnią wartość na skali dla grupy kobiet i grupy mężczyzn. Dobrym pomysłem jest też porównywanie wykresów skrzynkowych utworzonych w podziale na płeć 3. Rysunek 6. Średnia wartość punktowa na skali stosunku do oszczędzania dla kobiet i mężczyzn 3. Wszystkie wymienione tutaj sposoby dają nam pojęcie o zależnościach pomiędzy zmiennymi w próbie, czyli wśród osób, które odpowiadały na zadane pytania. Jeśli wyniki chcielibyśmy uogólnić na całą populację, wtedy powinniśmy zastosować odpowiednie testy statystyczne. Jest to jednak temat daleko wykraczający poza niniejsze opracowanie. W naszym przykładzie, mężczyźni otrzymywali na skali stosunku do oszczędzania średnio 19,7 punktu, natomiast średnia wartość dla kobiet wynosi 24,2. Możemy więc wywnioskować, że wśród przebadanej grupy klientów banku, to kobiety cechują się większą skłonnością do oszczędzania. A czy wynik determinują również inne czynniki, jak na przykład poziom wykształcenia badanych? Zachęcam Państwa do samodzielnego sprawdzenia! Kończymy już cykl artykułów dotyczących analizy rzetelności. W ramach tego cyklu przeszliśmy od zagadnień związanych z przygotowaniem danych, poprzez wykonanie analizy rzetelności, aż do utworzenia skali i analizy wyników. Dziękując za uwagę, życzę Państwu owocnych analiz i samych rzetelnych skal.

7 Predictive Solutions ul. Racławicka Kraków tel faks wew. 102 [