Kilka ciekawostek czyli licznik. Metodologia badania naukowego. Mianownik czyli wiedza ogółem. Globalny naukowy dorobek podwaja się co lat

Transkrypt

1 UNIWERSYTET IM. ADAMA MICKIEWICZA W POZNANIU Wydział Nauk Społecznych Instytut Psychologii Kilka ciekawostek czyli licznik Publikacje naukowe powstają od ponad 350 lat 2019, Dr Paweł Kleka Metodologia badania naukowego 1. Poznanie naukowe PLoS ONE w 2010 roku opublikowało swój artykuł. Czasopismo powstało w 2006 roku PubMed zawiera cytowań do artykułów tylko z biomedycyny przybywa ~1 artykuł / min ISI Web of Knowledge zawiera > rekordów od 1989 Scopus zawiera > rekordów w tym książek co roku samych książek przybywa ~ [1.14 książki/h] Mianownik czyli wiedza ogółem Globalny naukowy dorobek podwaja się co lat Anglojęzyczna Wikipedia zawiera artykułów Cała to wpisów Wydrukowana w 2015 Wikipedia mieści się w 7473 tomach po 700 stron każdy

2 Metodologia nauki Co charakteryzuje poznanie naukowe? bierna znajomość studiowanie literatury za zrozumieniem poprawne wykorzystywanie rezultatów badawczych umiejętne formułowanie pytań statystycznych czynna znajomość prowadzenie badań Jest intersubiektywne Jest powtarzalne Ma idealizacyjny charakter integrowanie rezultatów badawczych replikacja badań Nauka, czyli co? Zasada intersubiektywności Proces i wytwór cele tzw. słaba zasada racjonalności wewnętrzny - opisanie rzeczywistości zewnętrzny - wyjaśnianie i przewidywanie Wiedza racjonalna Intersubiektywna komunikowalność rezultatu badawczego Intersubiektywna sprawdzalność (kontrolowalność) rezultatu badawczego intersubiektywna i udowadnialna

3 Zasada racjonalnego uznawania przekonań (tzw. mocna zasada racjonalności) 1. Identyfikacja faktów wymagających wyjaśnienia 2. Postawienie hipotezy wyjaśniającej 3. Wyprowadzenie z niej (dedukcja) konsekwencji empirycznych Teoria Hipotezy Fakty 4. Test eksperymentalny (konfrontacja konsekwencji z faktami) 5. Wnioskowanie (uznanie lub odrzucenie) Obszar zainteresowania metodologii Przedmiot wnioskowania statystycznego Rola teorii w poznaniu naukowym Jeśli teoria jest falsyfikowalna, to jest naukowa. Karl Popper, 1935

4 Dany fakt jest wyjaśniony naukowo tylko wtedy, gdy można na jego podstawie przewidzieć nowy Imre Lakatos, 1973 Reguła wnioskowania z logiki zdań Modus tollens (tryb obalający) Jeśli p to q i nie q, to nie p Jeśli Hipoteza to Fakty i nie Fakty, to nie Hipoteza Wnioskowanie p > q ~q ~p Pozytywna nauka p > q q p

5 Pozytywna nauka Teoria > Fakty Fakty Teoria! Teorię można potwiedzić lub udowodnić jej błędność. Nigdy nie można zaś jej udowodnić. Nie odrzuca się teorii na Imre Lakatos, 1973 podstawie jednej falsyfikacji Rozwój nauki może być progresywny (przewidywanie nowych faktów) lub degeneratywny (specyfikacja warunków) Ok, to jak można cokolwiek udowodnić?

6 Na podstawie prawdopodobieństwa Rozkład częstości - prawdopodobieństwo [p-value!] odpowiada na pytanie: Jakie jest prawdopodobieństwo uzyskania danego wyniku, jeśli efekt nie istnieje w rzeczywistości? Jak bardzo zaskakujący jest obserwowany efekt, przy założeniu prawdziwości hipotezy o istnieniu efektu N = 32 p = 0,05

7 duże N p-value używa się wtedy, gdy nie zna się statystyki Bayesowskej ;-) p-value czyli NHST Krytyka Graniczne p = 0,05 jest wynikiem umowy Fisher w 1925 roku przparty do muru przez studenta powiedział: nie istotne jest wtedy gdy trafia się 1 raz na 20 przypadków Pearson zalecał aby za istotne uznawać wartości p < 0,015. Między 0,015 a 0,05 znajdują się wyniki, które trzeba dalej eksplorować (szara strefa). NHST odrzuca hipoteze zerową w porównaiu do jakiejkolwiek alternatywy Bardzo rzadko stosowane jest przewidywanie dokładne [point prediction]

8 Potwierdzanie hipotez Wiedza naukowa jest produktem społecznym CTT BCT odrzucenie lub przyjęcie hipotezy oszacowanie stopnia zaufania wobec hipotezy Helen Longino, 1990 Stopień zaufania to inaczej subiektywne prawdopodobieństwo uwzględniające dowody w danych Rodzaje wnioskowania Wnioskowanie częstościowe Szkolenie motywacyjne vs brak szkolenia częstostościowe [Frequentist paradigm] probabilistyczne [Bayesian paradigm] Uczestnicy: 2 grupy 20 osobowe grupa A: 5 nie znalazło pracy grupa B: 14 nie znalazło pracy Czy motywacja działa? Czy grupy się różnią?

9 Jeśli grupy się nie różnią, to prawdopodobieństwo znalezienia pracy jest takie same w obu grupach, czyli prawdopodobieństwo, że losowa osoba bezrobotna należy do grupy motywowanej wynosi 50% H0: p = 0,5 H1: p < 0,5 Rozumowanie naturalne k = 5 oraz n = 19 (łącznie osób bezrobotnych i 5 w grupie zmotywowanej) p = 0,5 zakładając, że H0 jest prawdziwa Jakie jest sumaryczne prawdopodobieństwo, że 5 osób bez pracy pochodzi grupy motywowanej? p-value = P(k <= 5) [czyli może być 5, 4, 3, 2, 1 i 0 z 19] Przekonania po obserwacji = Obserwowane fakty + Przekonania przed obserwacją

10 Wnioskowanie Bayesowskie Reguła Bayesa (prawdopodobieństwo warunkowe) Prawdopodobieńśtwo, że dany bezrobotny był motywowany wynosi p = 50% (bo 20/40) P(model data) = P(model & data) P(data) = P(data model)xp(model) P(data) Obserwowane p = 5/14 = 36% W rzeczywistości możliwe są też inne prawdopodobieństwa, np.: 10% 20% 30% 40% 60% 70% 80% 90% P(A) - prawdopodobieństwo, że A P(A B) - prawdopodobieństwo, że A jeśli zachodzi B P(A&B) - prawdopodobieństwo, że A i B jednocześnie Przekonania [beliefs] co do wartości parametru prior posterior data P(Θ) wstępne [prior] P(Θ dane) końcowe [posterior]

11 Relacja między α i β Wnioskowanie czyli podejmowanie decyzji Błędy decyzji Błędy decyzji Rzeczywistość DECYZJA Istnieje efekt Nie istnieje efekt hipoteza H0 prawdziwa błąd I rodzaju hipoteza H1 prawdziwa błąd II rodzaju DECYZJA Istnieje efekt α=5%, 1-β=80% Nie istnieje efekt α=95%, β=20% hipoteza H0 prawdziwa False Positive True Negative hipoteza H1 prawdziwa True Positivve False Negative α < 0,05 oznacza prawdopodobieństwo popełnienia błędu I rodzaju jest mniejsze niż 5% Błąd drugiego rodzaju kontroluje się przeważnie na poziomie β = 20%. Wynik 1-β określa się mianem mocy testu

12 Relacje między α i β Stwierdziliśmy, że wyniki uzyskane w badaniu pozwalają wyciągnąć wniosek o istnieniu istotnego efektu. Przy zakładanej wielkości efektu i dla przyjętej mocy testu wynik jest zgodny z naszymi oczekiwaniami. Obliczyliśmy prawdopodobieństwo, że istnieje efekt związany ze stymulacją pamięci krótkotrwałej i wynosi on OR = 3,2 CI.95 [2,63 3,84] (χ 2 (3, N = 64) = 12,3, p < 0,001). Testy statystyczne powinne być używane z dyskrecją i zrozumieniem, a nie jako narzędzie, które samo w sobie jest rozstrzygnięciem wyniku Krytycyzm intersubiektywny jest tym, co ustanawia obiektywność nauki Neyman i Pearson, 1928, s. 232

13 Kryteria formułowania hipotez naukowych Punktem wyjścia wszelkiego procesu badawczego jest sformułowanie pewnego pytania czy mniej lub bardziej uporządkowanego zbioru pytań. Pytania te czasem pojawiają się w świadomości badacza w sposób bezrefleksyjny - czasem zaś uprzytamnia on sobie mniej lub bardziej wyraźnie, dlaczego na te, a nie inne pytania chciałby uzyskać odpowiedź poprzez wyniki swoich badań -Nowak, 1985 hipoteza musi być adekwatną odpowiedzią na problem, hipoteza musi być najprostszą odpowiedzią na problem, hipoteza musi być tak sformułowana, by łatwo można było ją przyjąć względnie odrzucić, hipoteza nie powinna przyjmować postaci szerokiej generalizacji. Pytania badawcze Pytania badawcze można sprowadzić do dwóch postaci: (1) Czy dana zmienna X rzeczywiście wpływa na Y (X jako przyczyna Y) (2) Jak dana zmienna X wpływa na Y (określenie postaci związku łączącego Y z X) Jeżeli hipoteza jest zdolna wyjaśnić tylko te fakty, do wyjaśnienia których została sformułowana i nie jest zdolna do przewidywania nowych faktów (prognoz zjawisk innego typu), to może ona zasługiwać jedynie na miano hipotezy ad hoc inaczej: doraźnej.