11/8/2015 KRYTERIA JAKOŚCI POMIARU RZETELNOŚĆ. METODY BADAŃ SPOŁECZNYCH WYKŁAD 5: PROJEKTOWANIE BADAŃ (cz.2)

Transkrypt

1 METODY BADAŃ SPOŁECZNYCH WYKŁAD 5: PROJEKTOWANIE BADAŃ (cz.2) dr Agnieszka Kacprzak KRYTERIA JAKOŚCI POMIARU RZETELNOŚĆ Wybrana technika pomiaru zmiennej powinna dawać za każdym razem ten sam wynik Rzetelność nie gwarantuje poprawności Techniki badania rzetelności tworzonych mierników: Metoda testu powtórnego Metoda połówkowa Stosowanie ustalonych mierników Rzetelność osób zatrudnionych przy realizacji badań 1

2 TRAFNOŚĆ W jakim zakresie dany miernik empiryczny odzwierciedla prawdziwe znaczenie danego pojęcia Trafność fasadowa zgodność z naszymi obrazami mentalnymi Trafność kryterialna zgodność z zewnętrznym kryterium Trafność teoretyczna- logiczne powiązania między zmiennymi Trafność treściowa zakres obejmowania skali znaczeń zawartych w pojęciu RZETELNOŚĆ A TRAFNOŚĆ Pomiar rzetelny, ale nie trafny Pomiar trafny, ale nierzetelny Pomiar trafny i rzetelny DOBÓR PRÓBY BADAWCZEJ 2

3 DOBÓR PRÓBY Dobór próby- procedura wyboru jednostek obserwacji Probabilistyczny dobór próby umożliwia uogólnianie wniosków z próby na cała populację HISTORIA TECHNIK WYBORU PRÓBY Techniki doboru próby badawczej rozwijały się równolegle z badaniami preferencji wyborczych (jedna z niewielu okazji, kiedy można zweryfikować trafność swoich przewidywań w dniu wyborów) sondaże Literary Digest w latach 1924,1928, 1932 trafne, 1936 olbrzymi błąd (książki telefoniczne i spis tablic rejestracyjnych) Sondaże Gallupa (dobór kwotowy) 1936, 1940, 1944 trafne, 1948 błąd Od tego czasu probabilistyczny dobór próby w sondażach PRÓBY NIEPROBABILISTYCZNE Czasami dobór probabilistyczny jest niemożliwy (np. badanie bezdomnych) wtedy stosujemy techniki nieprobabilistyczne: 1. Dobór oparty na dostępności danych 2. Dobór celowy 3. Dobór metoda kuli śnieżnej 4. Dobór kwotowy 3

4 DOBÓR OPARTY NA DOSTĘPNOŚCI DANYCH Bardzo często stosowana i bardzo ryzykowna metoda Na przykład: badania przypadkowych przechodniów na ulicy albo studentów II roku MSM zaocznych ZALETY: łatwość zastosowania i niski koszt WADY: nie da się uogólniać wniosków, nadają się tylko do badań pilotażowych DOBÓR CELOWY Dobranie próby na podstawie własnej wiedzy o danej populacji o celach badań PRZYKŁAD: badania studenckiego ruchu protestu (badamy tylko liderów, których łatwo zauważyć), badania studentów o poglądach lewicowych (badamy tylko członków młodzieżówki SLD), badanie przypadków odbiegających od normy WADY i ZALETY: jak przy poprzednim doborze DOBÓR METODĄ KULI ŚNIEŻNEJ Stosowany, gdy trudno jest odnaleźć członków jakiejś populacji (na przykład: bezdomnych, nielegalnych imigrantów, członków sekty) Zbieramy dane na temat kilku członków danej populacji i prosimy ich o kontakt do kolejnych (każdy badany wskazuje kolejnych do zbadania) WADY: nadaje się do celów eksploracyjnych tylko, próba nie będzie reprezentatywna 4

5 DOBÓR KWOTOWY Podobnie jak próba losowa uwzględnia reprezentatywność Zaczyna się od tabeli zawierającej informacje na temat populacji (w zależności od celów badania: płci, wieku, miejsca zamieszkania, poziomu wykształcenia itp.) Następnie zbieramy dane od takiej ilości osób o określonych cechach aby nasza próba odzwierciedlała cechy jakie ma populacja generalna WADY: ciężko znaleźć dokładne dane na temat populacji generalnej; dobór osób w ramach danej komórki w tabeli pozostaje nielosowy; lepsza do badań jakościowych niż ilościowych (np. wywiadów pogłębionych) DOBÓR LOSOWY (PROBABILISTYCZNY) Aby próba jednostek z danej populacji mogła być dla niej reprezentatywna musi cechować się taką samą zmiennością jak cała populacja Próba jest wtedy reprezentatywna dla całej populacji, jeśli wszyscy jej członkowie mają takie same szanse, że zostaną wybrani do tej próby Taka próba nie będzie tez nigdy doskonale reprezentatywna, ale będzie bardziej reprezentatywna niż jakakolwiek próba nielosowa Rachunek prawdopodobieństwa pozwala oszacować jej reprezentatywność DOBÓR LOSOWY Element jednostka o której zbieramy informacje (zazwyczaj jednostka analizy) Populacja teoretyczny zbiór elementów badania, grupa na temat której chcemy uogólniać nasze wnioski Badana populacja zbiór elementów, z którego próba jest faktycznie pobrana 5

6 LOSOWANIE Podczas losowania każdy element może zostać wybrany z takim samym prawdopodobieństwem Im większa próba tym dokładniejsze są szacunki dokonane na jej podstawie dla całej populacji Rachunek prawdopodobieństwa pozwala ustalić jakiej wielkości próbę potrzebujemy wylosować z populacji generalnej, aby móc oszacować jej parametry na zakładanym poziomie ufności. POZIOM UFNOŚCI Poziom ufności ufność co do tego, że oszacowane przez nas statystyki mieszczą się w określonym przedziale parametru (ilu procentową pewność mamy, że parametr leży między dwoma konkretnymi wartościami) PRZYKŁAD: dla populacji studentów musimy wylosować 400, aby mieć 95 % pewność, że oszacowane parametry różnią się o +/- 5% od parametrów w całej populacji POPULACJA A OPERAT LOSOWANIA Operat losowania jest to lista elementów z której losuje się próbę (np. lista studentów, książka telefoniczna, spis mieszkańców danej dzielnicy) Operat powinien być zbieżny z badaną populacją, ale w praktyce rzadko jest to możliwe 6

7 SCHEMATY LOSOWANIA 1. Prosty dobór losowy numerujemy kolejno wszystkie elementy listy i dobieramy elementy do próby za pomocą tablic liczb losowych lub komputera 2. Dobór systematyczny do próby dobieramy co k- ty element listy, pierwszy element powinien zostać wylosowany ZALETY: wyniki empiryczne są identyczne jak przy doborze prostym, a łatwiej go przeprowadzić WADY: pojawiają się jeśli na liście występuje cykliczność SCHEMATY LOSOWANIA 3. Dobór warstwowy pomaga zwiększyć reprezentatywność próby poprzez obniżenie możliwego błędu 4. Dobór wielostopniowy grupowy stosowany, kiedy nie możemy sporządzić listy w celu wylosowania próby: najpierw losujemy subpopulację, a potem w jej ramach elementy WADY: im więcej stopni losowania tym więcej bledów z próby W celu redukcji błędu lepiej zwiększać jest liczbę grup niż liczbę elementów losowanych w ich ramach MIERNIKI ZMIENNYCH W celu pomiaru zmiennej używamy różnych jej wskaźników Wiek czy płeć: wystarczy jeden wskaźnik ( zaznacz płeć ile masz lat? ), jednak w przypadku badania postaw czy poglądów używa się wielu wskaźników (pytań) dla ich zmierzenia Indeksy i skale służą połączeniu wielu wskaźników w pojedynczy miernik Indeksy i skale pozwalają zredukować dane, poprzez podsumowanie wielu wskaźników w pojedynczym wyniku liczbowym 7

8 INDEKS A SKALA Indeks powstaje przez proste zsumowanie wyników przypisanych do poszczególnych wskaźników Skala powstaje przez przypisanie określonego wyniku punktowego pewnym układom odpowiedzi, przy założeniu, że niektóre pytania świadczą o relatywnie wyższym, a inne niższym poziomie danej zmiennej INDEKS: Kobiety różnią się od mężczyzn INDEKS A SKALA Miejsce kobiety jest w domu Kobiety nie powinny mieć praw wyborczych SKALA: NIE NIE NIE TAK NIE NIE TAK TAK NIE TAK TAK TAK BUDOWA INDEKSU 1. Wybór pytań (wskaźników zmiennej) 2. Zbadanie zależności empirycznej między nimi 3. Ustalenie punktacji indeksu 4. Walidacja indeksu 8

9 DOBÓR PYTAŃ Trafność fasadowa: każde z pytań musi być logicznie powiązane ze zmienną Jednowymiarowość: jeden miernik powinien mierzyć tylko jeden wymiar danego pojęcia Ogólność czy szczegółowość: na ile ogólnie lub szczegółowo chcemy mierzyć daną zmienną Zmienność: odrzucamy pytanie, które nie klasyfikują nikogo albo klasyfikują wszystkich jako cechujących się daną wartością zmiennej BADANIA ZALEŻNOŚCI EMPIRYCZNYCH Zależność empiryczna polega na tym, że odpowiedź respondenta na jedno pytanie kwestionariusza pozwala przewidzieć jego odpowiedź na inne pytanie Należy usunąć z indeksu wszystkie pytania, które nie są powiązane empirycznie z innymi, bo najprawdopodobniej nie mierzą tej samej zmiennej W programach statystyczny liczy się to przy pomocy współczynnika Alfa Cronbacha, który pokazuje korelacje każdego pytania z wynikiem ogólnym i pozwala na wychwycenie pytań nieskorelowanych i usunięcie ich z indeksu USTALENIE PUNKTACJI INDEKSU Określenie zakresu punktacji (dążenie do szerokiego zakresu pomiaru indeksu a odpowiednia liczba przypadków dla każdego poziomu indeksu) Określenie wagi poszczególnych pytań indeksu (normą są identyczne wagi) PRZYKŁAD: pomiar depresji związanej z pracą (Wharton i Baron, 1987): Czuję się przygnębiony i smutny Czuję się zmęczony bez powodu Jestem niespokojny Jestem bardziej rozdrażniony niż zwykle Często =4 Czasami = 3 Rzadko= 2 Nigdy=1 9

10 WALIDACJA INDEKSU Polega na ocenie trafności indeksu (czy rzeczywiście mierzy zmienną o którą nam chodziło?) Metody walidacji indeksu: Walidacja wewnętrzna analiza pytań (czy wszystkie pytania są wystarczająco mocno powiązane z indeksem) Walidacja zewnętrzna porównanie z innymi wskaźnikami tej zmiennej (zazwyczaj inne pytania kwestionariusza) BUDOWA SKALI Skale uwzględniają poziomy intensywności wskaźnika Metody skalowania: Skala Bogardusa Skala Thurstone a Skala Likerta Skala dyferencjału semantycznego Skala Guttmana SKALA BOGARDUSA Uszeregowanie pytań od łatwiejszych do trudniejszych Zgodnie z logiką osoba, która odrzuciła jedno z pytań na skali odrzuca tez wszystkie kolejne Sprowadzamy wynik do jednej liczby (wiemy nie tylko ile stwierdzeń akceptuje badany, ale też które) PRZYKŁAD: 1. Czy zgodziłbyś się, aby przestępcy seksualni mieszkali w twoim kraju? 2. Czy zgodziłbyś się, aby przestępcy seksualni mieszkali w twojej miejscowości? 3. Czy zgodziłbyś się, aby przestępca seksualny był twoim sąsiadem? 4. Czy zgodziłbyś się, aby twoje dziecko poślubiło przestępcę seksualnego? 10

11 SKALA THURSTONE A Dla wskaźników bez oczywistej logicznej struktury jak w skali Bogardusa Wykorzystujemy sędziów do oceny wskaźników pod względem ich siły Odrzucamy pytania, które uzyskały niejednoznaczną ocenę u sędziów Resztę szeregujemy od najtrudniejszych do najłatwiejszych Tak jak w skali Bogardusa każdemu respondentowi możemy przypisać pojedynczy wynik SKALA LIKERTA Skala Likerta i format Likerta to nie to samo (!) Obecnie jest powszechnie stosowany format Likerta: zdecydowanie się zgadzam, raczej się zgadzam, ani sie zgadzam ani się nie zgadam, raczej się nie zgadzam, zdecydowanie się nie zgadzam przydatny dzięki jednoznacznemu uporządkowaniu kategorii odpowiedzi SKALA DYFERENCJAŁU SEMANTYCZNEGO Wybór między dwiema przeciwstawnymi postawami aby uniknąć obciążeń nie należy umieszczać po tej samej stronie terminów, które mogą być ze sobą powiązane PRZYKŁAD: Co sądzisz o reklamie lizaków X? Zbyt długa Zbyt krótka Etyczna Nieetyczna Ciekawa Nudna 11

12 SKALA GUTTMANA konstruując skalę poszukujemy trudnych i łatwych wskaźników danej zmiennej PRZYKŁAD: Poparcie dla prawa kobiet do aborcji w rożnych sytuacjach (CBOS 2010) poważne zagrożenie życia matki 87 % ciąża w wyniku gwałtu 78 % z powodu trudnej sytuacji społecznej matki 38 % Założenie: każdy kto wykazuje wysoki poziom danej zmiennej, wykaże także niższy 12