Metody ilościowe i jakościowe w badaniach naukowych. Zajęcia 2 Wybór metody badawczej

Transkrypt

1 Metody ilościowe i jakościowe w badaniach naukowych Zajęcia 2 Wybór metody badawczej

2 Definicja metody badawczej Metoda badawcza lub plan badao (research design) to zbiór wytycznych dla realizacji projektu badao społecznych. Opisuje procedury gromadzenia, analizy i interpretacji danych potrzebnych do lepszego poznania lub rozwiązania problemów decyzyjnych

3 Określenie metody badawczej wiąże się z opracowaniem planu badao w drodze następujących czynności: Wybór charakteru badao spośród badao eksploracyjnych, opisowych i przyczynowoskutkowych Określenie instrumentów i skal pomiarowych Zaprojektowanie i przetestowanie kwestionariusza lub innego narzędzia badawczego Określenie metody próbkowania i rozmiaru próby Ustalenie planu analizy danych 3

4 Klasyfikacja metod badawczych Rodzaje badao społecznych Badania eksploracyjne Badania rozstrzygające Badania opisowe Badania przyczynowoskutkowe Badania przekrojowe Panele Pojedyncze badania przekrojowe Powtarzalne badania przekrojowe

5 Cel badao: Różnice między badaniami eksploracyjnymi a rozstrzygającymi Eksploracyjne Dostarczyd wskazówek dla lepszego zrozumienia problemów badawczych Rozstrzygające Zweryfikowad określone hipotezy dotyczące wartości zmiennych i ich współzależności Cechy: Rezultaty Sposób wykorzystania wyników: Potrzebne informacje są określane dośd ogólnie. Proces badawczy jest elastyczny i nieustrukturyzowany. Próby są małe i niereprezentatywne. Przy analizie danych pierwotnych nie stosuje się metod statystycznych Wstępne Często następują po nich dalsze badania eksploracyjne lub rozstrzygające Potrzebne informacje są ściśle określone. Proces badawczy jest sformalizowany i ustrukturyzowany. Badane zbiorowości są liczne i reprezentatywne. Stosuje się statystyczne metody danych Rozstrzygające Wyniki wykorzystywane bezpośrednio w procesie podejmowania decyzji

6 Porównanie trzech rodzajów podejśd badawczych Cel: Eksploracyjne Opisowe Przyczynowo-skutkowe Generowanie idei, rozpoznawanie problemów Opis cech i procesów rynkowych Określanie związków przyczynowoskutkowych Cechy: Techniki: Elastycznośd i wszechstronnośd. Często wykonywane na wstępie większego projektu badawczego Badania pilotażowe Studia przypadku Analiza jakościowa źródeł wtórnych Testowanie hipotez dotyczących poziomów zmiennych lub ich współwystępowania. Realizowany jest tylko pomiar zmiennych, bez ich manipulacji. Analiza ilościowa źródeł pierwotnych Sondaże Panele Obserwacje Manipulowanie zmiennymi niezależnym w celu zmierzenia ich wpływu na zmienne zależne, przy kontrolowaniu poziomu zmiennych zakłócających Eksperymenty

7 Zastosowania podejścia eksploracyjnego Sformułowanie problemu badawczego lub zdefiniowanie go w bardziej precyzyjny sposób Określenie alternatywnych możliwości działania Sformułowanie hipotez Wyodrębnienie kluczowych zmiennych i ich związków w celu dalszego ich badania Uzyskanie wiedzy w celu właściwego wyboru metod i technik badawczych Określenie celów przyszłych badao

8 Zastosowanie badao opisowych Opis charakterystyk istotnych grup interesariuszy, takich jak: konsumenci, sprzedawcy, konkurenci czy pracownicy Określenie odsetka jednostek w poszczególnych podgrupach wykazujących określone zachowania Określenie sposobu postrzegania cech produktu Określenie stopnia współwystępowania zmiennych Wykonywanie określonych prognoz

9 Badania przekrojowe Polegają na pobraniu danych z określonej zbiorowości próbnej tylko raz W pojedynczych badaniach przekrojowych tylko jedna próba respondentów badana jest jednokrotnie W wielokrotnych badaniach przekrojowych badane są dwie lub trzy niezależne próby z tej samej populacji. Każda próba badana jest jednokrotnie, często w różnych okresach Badanie kohortowe składa się z serii sondaży przeprowadzonych w odpowiednich odstępach czasowych, gdzie kohorta służy za podstawową jednostkę analizy. Kohorta to grupa respondentów, którzy doświadczają tego samego zjawiska w tym samym okresie.

10 Spożycie gazowanych napojów bezalkoholowych przez różne kohorty (grupy) wiekowe Procent badanych spożywających napoje w ciągu typowego dnia Wiek K1 K1: urodzeni przed 1900 K2: urodzeni w latach K3: urodzeni w latach K4: urodzeni w latach K K3 K8 K7 K6 K5 K4 K5: urodzeni w latach K6: urodzeni w latach K7: urodzeni w latach K8: urodzeni w latach

11 Badania panelowe Polegają na wielokrotnym pomiarze tej samej próby ze względu na ten sam zbiór zmiennych Główną różnica badao panelowych w stosunku do wielokrotnych badao przekrojowych jest fakt, że w badaniach panelowych cały czas badana jest ta sama próba, podczas gdy w badaniach przekrojowych próba jest pobierana od nowa przy każdym następnym pomiarze

12 Badania przekrojowe a panel Badanie przekrojowe Próba badana w czasie T 1 Panel Próba badana w czasie T1 Ta sama próba również badana w czasie T 2 Czas T 1 T 2

13 Względne silne i słabe strony badao przekrojowych i paneli Kryteria oceny Wykrywanie zmian Gromadzenie dużych ilości danych Precyzja pomiaru Reprezentatywnośd próby Błąd odpowiedzi Badania przekrojowe Panele oznacza względną silną stronę w porównaniu do drugiego rodzaju badania, podczas gdy - reprezentuje względną słabą stronę.

14 Dane z badao przekrojowych mogą nie wykrywad zmian Zakupy produktów Okres Sondaż Sondaż w okresie 1. w okresie 2. Marka A Marka B Marka C Razem

15 Dane z badao panelowych mogą wskazywad na wystąpienie istotnych zmian Produkty nabyte w okresie 1 Marka A Marka B Marka C Razem Produkty nabyte w okresie 2 Marka A Marka B Marka C Razem

16 Propozycje alternatywnych planów badao (a) Badania eksploracyjne Analiza źródeł wtórnych Wywiady zogniskowane Badania rozstrzygające Opisowe/P-S (b) Badania rozstrzygające Opisowe/P-S (c) Badania rozstrzygające Opisowe/P-S Badania eksploracyjne Analiza źródeł wtórnych Wywiady zogniskowane

17 Źródła potencjalnych błędów przy planowaniu badao Błąd całkowity Losowy błąd doboru próby Błędy niezwiązane z próbkowaniem Błąd odpowiedzi Błędy braku odpowiedzi Błędy badacza Błędy ankietera Błędy respondenta Błąd zmiennych zastępczych Błąd pomiaru Błąd definiowania populacji Błąd operatu losowego Błąd analizy danych Błąd w doborze respondentów Błędy wywiadu Błędy zapisywania Oszustwa Niemożność odpowiedzi Odmowa odpowiedzi

18 Błędy w badaniach społecznych Całkowity błąd pomiaru to różnica pomiędzy rzeczywistą średnią wartością zmiennej w badanej populacji a średnią wartością zmiennej faktycznie zaobserwowaną w wyniku badania próby Losowy błąd doboru próby to różnica między rzeczywistą średnią zmiennej w populacji a rzeczywistą średnią zmiennej w wybranej próbie Błędy nie związane z doborem próby można przypisad źródłom innym niż próbkowanie obejmującym błędy w określaniu problemu badawczego, planu badania, projektowaniu kwestionariusza, stosowanych metod gromadzenia i analizy danych. Błędy te mogą mied charakter losowy bądź nielosowy. Można je podzielid na dwie podkategorie: błędy odpowiedzi i błędy braku odpowiedzi

19 Błędy w badaniach społecznych Błędy braku odpowiedzi powstają gdy częśd respondentów ujętych w próbie z różnych powodów nie udziela odpowiedzi Błędy odpowiedzi występują wtedy gdy respondenci udzielają nieprecyzyjnych odpowiedzi, lub ich odpowiedzi są błędnie zapisywane bądź analizowane.

20 Badania przyczynowoskutkowe Podejście eksperymentalne

21 Zastosowania badao przyczynowoskutkowych Zrozumienie, które zmienne są przyczynami, a które skutkami w danym zjawisku Określenie naturę współzależności miedzy zmiennymi oraz tworzenie modeli umożliwiających predykcję

22 Sposób rozumienia związku przyczynowoskutkowego w naukach społecznych Stwierdzenie, że X jest przyczyną Y jest rozumiane różnie w języki potocznym i przez naukowców Rozumienie potoczne Rozumienie naukowe X jest jedyną przyczyną Y. X jest jedną z wielu możliwych przyczyn Y. X zawsze prowadzi do Y (podejście deterministyczne). Możliwe jest udowodnienie, że X jest przyczyną Y Zajście X czyni zajście Y bardziej prawdopodobnym. (podejście probabilistyczne). Nigdy nie możemy ze 100% pewnością wykazad, że X jest przyczyną Y. Możemy co najwyżej przyjąd, że X jest przyczyną Y

23 Aby zaistniał związek przyczynowo skutkowy musza byd spełnione następujące warunki: Współzmiennośd wariancji (concomitant variation) stopieo zgodności wspólnych zmian poziomów cech X i Y w sposób przewidziany przez rozważaną hipotezę Zmienna niezależna i zależna występują we właściwej kolejności efekt nie może występowad przed przyczyną Brak innych czynników wywołujących zmianę rozpatrywana zmienna lub zmienne niezależny powinny byd jedynymi przyczynami zmian

24 Wykształcenie, X Współzmiennośd wariancji pomiędzy zakupem markowych ubrao a wykształceniem Zakup markowych ubrao, Y Wysoki Niski Wysoki 363 (73%) 137 (27%) 500 (100%) Niski 322 (64%) 178 (36%) 500 (100%)

25 Wykształcenie Wykształcenie Zakup markowych ubrao w podziale na wykształcenie i poziom dochodów Niskie dochody Zakup ubrao Wysokie dochody Zakup ubrao Wysoki Niski Wysoki Niski Wysokie 122 (61%) 78 (39%) 200 (100%) Wysokie 241 (80%) 59 (20%) 300 Niskie 171 (57%) 129 (43%) 300 (100%) Niskie 151 (76%) 49 (24%) 200

26 Podstawowe pojęcia w badaniach przyczynowo-skutkowych Zmienne niezależne (independent variables) to charakterystyki, które są przedmiotem manipulacji w trakcie eksperymentu Jednostki badawcze (test units) to osoby, organizacje lub inne podmioty, których reakcje na manipulacje zmiennych niezależnych są przedmiotem obserwacji Zmienne zależne (dependent variables) to charakterystyki, który zmiany są oczekiwanym rezultatem manipulacji zmiennymi niezależnymi Zmienne zewnętrzne lub zakłócające (extraneous variables) to wszystkie zmienne oprócz zmiennych niezależnych, które mogą wpływad na wyniki eksperymentu Eksperyment ma miejsce, gdy badacz manipuluje jedną lub większą liczbą zmiennych niezależnych i mierzy ich oddziaływanie na jednej lub kilku zmiennych zależnych, kontrolując wpływ zmiennych zewnętrznych na wyniki eksperymentu

27 Plan eksperymentu (experimental design): To zbiór procedur określających: charakterystyki jednostek testowych oraz sposób w jaki jednostki te mają byd podzielone na homogeniczne podzbiory, jakie zmienne niezależne lub zabiegi (treatments) mają byd przedmiotem manipulacji w trakcie eksperymentu, jakie zmienne zależne mają byd mierzone, sposób w jaki mają byd kontrolowane zmienne zewnętrzne

28 Trafnośd danych w eksperymentach Trafnośd wewnętrzna (internal validity) odnosi się do pewności czy manipulacja zmiennymi niezależnymi rzeczywiście spowodowała obserwowane efekty w obrębie zmiennych zależnych. Dla osiągnięcia trafności wewnętrznej niezbędne jest zapewnienie kontroli nad zmiennymi zewnętrznymi. Trafnośd zewnętrzna (external validity) dotyczy podatności wyników eksperymentu do formułowania uogólnieo na szerszą populację

29 Czynniki obniżające trafnośd wewnętrzną Wydarzenia czynnik ten odnosi się do wszystkich niekontrolowanych i najczęściej nieoczekiwanych zdarzeo, które mogą zaistnied w trakcie eksperymentu i mają wpływ na pomiar koocowy Dojrzewanie (maturity) odnosi się do zmian w obrębie jednostek testowych niezwiązanych z manipulacją zmiennymi niezależnymi lecz będących efektem procesów wewnętrznych zachodzących wraz z upływem czasu. W badaniu konsumentów zmiany te są często efektem znudzenia i zmęczenia na skutek przedłużającej się procedury pomiarowej. Efekt pomiarowy (testing effect) związany z wywieraniem wpływu przez pierwszy pomiar na drugi pomiar, co często wiąże się z chęcią bycia konsekwentnym oraz ze zmianą nastawienia do badanego zjawiska na skutek samego pomiaru. Efekt pomiarowy ujawnia się również, gdy pomiar większa wrażliwośd badanych na zastosowany zabieg w tym wypadku obniżeniu ulega jednak trafnośd zewnętrzna

30 Czynniki obniżające trafnośd wewnętrzną cd. Instrumentacja (instrumentation) zachodzi na skutek wprowadzenia zmian w narzędziu badawczym, w składzie osób prowadzących badanie, w otoczeniu gdzie odbywa się eksperyment lub w sposobie zbierania danych. Błąd doboru (selection bias) zachodzi wtedy gdy grupy, które poddane zostaną oddziaływaniu różnych poziomów zmiennej niezależnej mają różną strukturę ze względu na cechy wpływające na siłę ujawnionego efektu eksperymentalnego. Utrata jednostek testowych (mortality) która ma miejsce, gdy częśd badanych podmiotów rezygnuje z udziału w eksperymencie przed jego zakooczeniem.

31 Sposoby kontroli zmiennych zewnętrznych Randomizacja (randomization) polega na przypisaniu jednostek testowych do grup eksperymentalnych za pomocą techniki doboru losowego. Dopasowanie (matching) przewiduje dopasowanie jednostek badawczych ze względu na kilka istotnych charakterystyk i rozdzielenie ich pomiędzy grupy eksperymentalne tak, aby każda z nich była identyczna ze względu na poziom wybranych cech Kontrola statystyczna (statistical control) obejmuje pomiar poziomu zmiennych zewnętrznych i skorygowanie badanych współzależności poprzez zastosowanie odpowiednich technik statystycznych (np. ANCOVA) Projekt eksperymentu (design control) wpływ zmiennych zewnętrznych może byd również obniżony poprzez odpowiedni projekt eksperymentu

32 Klasyfikacja rodzajów schematów eksperymentalnych (experimental designs) Schematy eksperymentalne Preeksperymentalny (Pre-experimental) Klasyczny eksperymentalny (True Experimental) Quasi eksperymentalny (Quasi Experimental) Podejście statystyczne (Statistical) Studium przypadku z pojedynczym pomiarem (One-Shot Case-Study) Schemat jednogrupowy z dwukrotnym pomiarem (One Group Pretest- Posttest) Grupa statyczna (Static Group) Pomiar początkowy i koocowy z grupą kontrolną (Pretest-Posttest Control Group) Pomiar koocowy z grupą kontrolną (Posttest-Only Control Group) Schemat Solomona (Solomon Four-Group) Szereg czasowy (Time Series) Wielokrotny szereg czasowy (Multiple Time Series) Zrandomizowane bloki badawcze (Randomized Blocks) Kwadrat łacioski (Latin Square) Schemat czynnikowy (Factorial Design)

33 Klasyfikacja schematów organizacyjnych Schematy preeksperymentalne nie stosują procedur randomizacji w celu kontroli zmiennych zewnętrznych Klasyczne schematy eksperymentalne badacz w drodze losowej przypisuje jednostki testowe oraz zabiegi do grup eksperymentalnych.

34 Klasyfikacja schematów eksperymentalnych cd. Schematy quasi-eksperymentalne stosowane są wtedy gdy badacz nie ma możliwości uzyskania pełnej kontroli nad czasem i sposobem przypisania zabiegów do jednostek testowych lecz mimo to jest w stanie zastosowad częśd z założeo metodycznych klasycznego eksperymentu Schematy statystyczne to odmiany klasycznych schematów eksperymentalnych pozwalające na uzyskanie zwiększonej kontroli nad zmiennymi zewnętrznymi

35 Studium przypadku z pojedynczym przypadkiem (One-Shot Case Study) X 0 1 Pojedyncza grupa jednostek badawczych jest poddana zabiegowi X. Wykonywany jest jednokrotny pomiar zmiennej zależnej (0 1 ). Brak losowego przypisania jednostek do grup badawczych i zabiegów Ten rodzaj badao ma bardziej charakter eksploracyjny niż rozstrzygający.

36 Schemat jednogrupowy z dwukrotnym pomiarem (One-Group Pretest-Posttest Design) 0 1 X 0 2 Jedna grupa jednostek grupowych jest mierzona dwukrotnie. Nie ma grupy kontrolnej. Wpływ zabiegu na zmienną zależną jest liczony jako Trafnośd wyników jest ograniczona ze względu na brak kontroli nad większością zmiennych zewnętrznych

37 EG: X 0 1 CG: 0 2 Grupa statyczna Schemat z dwoma grupami: kontrolną i eksperymentalną. Grupa eksperymentalna (EG) jest poddana na działanie zabiegu, a grupa kontrolna (CG) nie jest. Pomiar obu grup jest dokonany w tym samym czasie po manipulacji zmienną niezależną. Jednostki badawcze nie są rozmieszczane na zasadzie losowej. Efekt zabiegowy jest mierzony jako

38 Pomiar początkowy i koocowy z grupą kontrolną (Pretest-Posttest Control Group Design): EG: R 0 1 X 0 2 CG: R Jednostki badawcze są przypisane w sposób losowy do grupy eksperymentalnej lub losowej. Pomiar początkowy jest wykonywany w obu grupach. Efekt zabiegowy (TE) jest mierzony jako: ( ) - ( ). Błąd doboru jednostek badawczych jest ograniczony przez randomizację. Kontrolowanych jest większośd czynników zakłócających z wyjątkiem efektu pomiarowego związanego z uwrażliwieniem badanych na zmienne zabiegowe na skutek pomiaru wstępnego

39 Pomiar koocowy z grupą kontrolną (Posttest-Only Control Group Design) EG : R X 0 1 CG : R 0 2 Efekt zabiegowy jest uzyskiwany poprzez: TE = Brak pomiaru wstępnego eliminuje efekt testowy Schemat jest wrażliwy na błąd doboru ze względu na brak możliwości sprawdzenia ekwiwalentności grup pod względem poziomu zmiennej zależnej przed rozpoczęciem eksperymentu Problematyczna jest również ocena wpływu na wynik eksperymentu utraty jednostek testowych

40 Schemat eksperymentalny Solomona EG 1: R 0 1 X 0 2 CG 2: R EG 3: R X 0 5 (Solomon Design) CG 4: R 0 6 Występują dwie grupy eksperymentalne i dwie grupy kontrolne Grupa pierwsza eksperymentalna, w której przeprowadza się pretest, następnie poddaje się ją wpływowi bodźca eksperymentalnego, a na koniec przeprowadza postest w celu oceny wpływu bodźca Grupa druga kontrolna, w której przeprowadza się pretest i postest, bez podawania bodźca eksperymentalnego Grupa trzecia eksperymentalna, którą poddaje się wpływowi bodźca, a następnie przeprowadza posttest Grupa czwarta kontrolna, w której przeprowadza się jedynie postest. Schemat pozwala kontrolowad wszystkie czynniki zakłócające, jest jednak drogi i pracochłonny

41 Schemat quasi-eksperymentalny: szereg czasowy (Time Series Design) X Brak zrandomizowanego doboru jednostek do grup badawczych. Moment zastosowania zabiegu oraz dobór jednostek poddanych oddziaływaniu bodźca eksperymentalnego może byd poza kontrolą badacza

42 Wielokrotny szereg czasowy (Multiple Time Series Design) EG : X CG : Przy właściwym doborze jednostek do grupy kontrolnej można uzyskad wyższy poziom kontroli efektu pomiarowego niż w schemacie poprzednim Można mierzyd efekt eksperymentu dwukrotnie w porównaniu do testu wstępnego oraz na tle wyników z grupy kontrolnej.

43 Podejście statystyczne Dzięki zastosowaniu podejścia statystycznego w klasycznych schematach losowania można uzyskad następujące korzyści: można mierzyd efekt oddziaływania więcej niż jednej zmiennej niezależnej. można poddad kontroli konkretne zmienne zewnętrzne. Do najczęściej stosowanych schematów statystycznych należą: zrandomizowane bloki badawcze, łacioski kwadrat oraz schemat czynnikowy.

44 Zrandomizowane bloki badawcze Podejście jest użyteczne gdy istnieje jedna istotna zmienna zewnętrzna, która może wywierad wpływ na zmienną zależną. Jednostki badawcze są blokowane na podstawie poziomu zmiennej zależnej Poprzez blokowanie badacz upewnia się, że różne grupy kontrolne i eksperymentalne są ściśle dopasowane ze względu na poziom zmiennej zewnętrznej.

45 Przykład schematu zrandomizowanych bloków badawczych Grupy eksperymentalne Numer Zakupy Reklama Reklama Reklama Bloku w sklepie A B C 1 Częste A B C 2 Średnie A B C 3 Rzadkie A B C 4 Brak A B C

46 Kwadrat łacioski Pozwala na statystyczną kontrolę dwóch nieskorelowanych zmiennych zewnętrznych oraz na manipulację zmienną niezależną Każda ze zmiennych niezależnych jest podzielona ta identyczną liczbę kategorii. Zmienna niezależna przyjmuje identyczną liczbę wartości jak zmienne kontrolowane. Kwadrat łacioski jest prezentowany w formie tabelarycznej z wierszami i kolumnami reprezentującymi poszczególne poziomy zmiennych zewnętrznych Właściwe poziomy zmiennej niezależnej przypisane są poszczególnym komórkom wewnątrz tabeli. Każdy poziom zmiennej niezależnej pojawia się tylko raz w każdej kolumnie i wierszu tabeli

47 Przykład kwadratu łacioskiego Poziom wykształcenia Zakupy w sklepie Niski Średni Wysoki Częste B A C Średnie C B A Rzadkie lub brak A C B

48 Schemat czynnikowy Pozwala na pomiar efektów oddziaływania dwóch i więcej zmiennych niezależnych z dowolną liczbą poziomów Schemat czynnikowy może byd przedstawiony w formie tabelarycznej W schemacie dwu- czynnikowym każdy poziom zmiennej niezależnej reprezentuje dodatkową kolumnę lub wiersz w tabeli

49 Przykład schematu czynnikowego Humor w reklamie Informacje o Brak Umiarkowany Intensywny sklepie Mało A B C Średnio D E F Dużo G H I

50 Porównanie eksperymentów w warunkach laboratoryjnych i naturalnych Kryterium Laboratoryjne Naturalne Środowisko Sztuczne Realistyczne Kontrola Wysoka Niska Błąd reaktywny Wysoki Niski Efekt pomiarowy Wysoki Niski Trafnośd wewnętrzna Wysoka Niska Trafnośd zewnętrzna Niska Wysoka Czas realizacji Krótki Długi Liczba jednostek Mała Duża Łatwośd zastosowania Duża Mała Koszt Niski Wysoki