Psychofizyka. Pomiary detekcji sygnałów Porównanie modeli

Transkrypt

1 Psychofizyka Pomiary detekcji sygnałów Porównanie modeli

2 Czym jest Teoria Detekcji Sygnałów (SDT)? W wielu przypadkach badań wydajnościowych proporcja poprawnych odpowiedzi (Pc) jest niewłaściwą lub nieinformacyjną wielkością Inną możliwością jest pomiar wielkości d (d prim) separacji rozkładów szumu dwóch bodźców wyrażonej w jednostkach odchylenia standardowego Model SDT próbuje wyjaśnić kształt PF wiążącej Pc z wartością bodźca. Obecność wewnętrznego szumu albo niepewności powoduje, że bodziec nie jest reprezentowany w mózgu jako pojedynczy punkt w przestrzeni bodźców, lecz jako losowa próbka z rozkładu zchcarakteryzowanego średnią i wariancją

3 N, m i M Próby tak/nie N=1 (jeden bodziec prezentowany w próbie) m= (dwie możliwe odpowiedzi) M=1 (jedna alternatywa bodźca) Próby takie samo/różne N= lub 4 (w zależności czy porównujemy jedną parę odpowiadając takie samo/różne, czy pary odpowiedając pierwsza/druga) m= (dwie możliwości odpowiedzi) M= (dwie alternatywy bodźca) Prawdopodobieństwa zgadywania γ = 1/m Próby z wymuszonym wyborem M-AFC lub M-IFC

4 Relacje między M, N i m w różnych ekperymentach psychofizycznych

5 Zalety pomiaru d Pomiar d może ujednolicić wyniki eksperymentów przeprowadzanych za pomocą różnych procedur M- AFC, dla których różna jest niepewność zgadywania Linearyzuje zależność od wartości bodźca Ułatwia porównywanie wydajności psychofizycznej w zależności od jakiegoś wymiaru (np. wieku)

6 Wartości Z i prawdopodobieństwa Standardowy rozkład normalny jest unormowanym rozkładem wyrażonym w jednostkach odchylenia standardowego (wartościach z)

7 Obliczanie d z wartości Pc dla M-AFC Założenia Brak uprzedzeń (bezstronność) obserwatora Wewnętrzna reprezentacja bodźców ma charakter rozkładu normalnego o stałej wariancji Rozważamy dwie reprezentacje braku bodźca (N) oraz obecności bodźca (S+N) Można także rozważyć bodźca (S1 i S) W każdej próbie reprezentacja wewnętrzna jest losową próbką z rozkładów

8 Strategia obserwatora Wybiera alternatywę o reprezentacji wewnętrznej o najwyższej wartości zasada decyzyjna Jak dobrze (z jaką wydajnością) taka zasada pozwoli odpowiadać obserwatorowi zmierzymy przez wartości Pc Wydajność będzie tym lepsza im bardziej odseparowane będą rozkłady N i S+N W przypadku ich pełnego odseparowania Pc=1 W przypadku ich pełnego pokrycia Pc=1/m Stopień odseparowania będzie zależał od wartości średnich N i S+N oraz odchylenia standardowego σ Standaryzując rozkłady (wyrażając w jednostkach z) różnica średnich będzie wartości d

9 Obliczanie Pc z d Załóżmy, że wartość zmysłowa bodźca S+N wynosi t Prawdopodobieństwo, że wartość zmysłowa dla bodźca N będzie niższa (prawidłowa odpowiedź) wyniesie Φ(t) w przypadku jednego źródła szumu (AFC) i Φ(t) M-1 w przypadku M-1 żródeł (M-AFC) Aby obliczyć wartość Pc dla każdej możliwej wartości zmysłowej danego bodźca musi obliczyć całkę:

10 Obliczanie d dla 1AFC Rozważmy próbę tak/nie, która jest skłonna do wykazywania uprzedzeń Jeśli pionowa linia oznacza kryterium, szary obszar gwarantować będzie odpowiedź tak : pf to proporcja błędów (fałszywych alarmów) ph to proporcja trafień

11 Obliczanie d dla 1AFC Oznaczmy jako c pozycję linii kryterium pf ph 1 1 c c c d d c z z pf ph c c d d z ph zpf

12 Obliczanie kryterium C dla 1AFC Kryterium określamy w jednostkach z Wysoka wartość oznacza kryterium restrykcyjne (mało trafień i mało błędów) Niska wartość oznacza luźne kryterium (dużo trafień i dużo błędów) Wartość kryterium zależy od wartości dla której przyjmiemy z=0 Konwencja określa że z=0 w połowie odległości między rozkładami S i S+N

13 Obliczanie kryterium C dla 1AFC Kryterium jest usytuowane dla bodźców N i S+N odpowiednio w punktach d d C z1 pf zpf C C z 1 ph zph z pf zph d d Ujemne C oznacza preferowanie odpowiedzi tak zaś dodatnie odpowiedzi nie

14 Obliczanie kryterium ln β dla 1AFC Inną metodą pomiaru kryterium jest logarytm naturalny stosunku wysokości dwóch rozkładów w punkcie C: Po uwzględnieniu funkcji Gaussa w powyższym wzorze otrzymujemy ln pf zph Cd Funkcja ta ma podobne właściwości do C z

15 Kryterium C Kryterium można też mierzyć jako stosunek C do d :

16 Obliczanie Pc max dla 1AFC Najwyższe Pc jest osiągane w ekperymencie 1AFC gdy obserwator jest nieuprzedzony (C=0) W takim przypadku z(ph)=-z(pf) i d =z(ph) z czego: Pc max d

17 Alternatywna metoda obliczenia d dla nieuprzedzonej próby AFC AFC- pokazujemy dwa bodźce i prosimy o wskazanie tego o większej wartości Obserwator więc mierzy różnicę między sygnałami S+N i N i jeśli jest dodatnia wskazuje poprawnie Różnica dwóch rozkładów normalnych o tej samej wariancji i średniej odpowiednio w 0 i d jest rozkładem normalnym o średniej równej d i wariancji równej (odchylenie standardowe ) Pc będzie szarym obszarem na wykresie: d Pc z czego: d' z Pc

18 Obliczanie d dla uprzedzonej próby AFC Weźmy pod uwagę próbę IFC z bodźcami X1 i X Jeśli obserwator jest uprzedzony (preferuje którąś z odpowiedzi) kryterium nie będzie równe zero i X1-X będzie większe lub mniejsze od C Aby obliczyć d należy sklasyfikować odpowiedzi w kontekście trafień i błędów (ph/pf) d C zph d C zpf z d ph zpf

19 Pozostałe parametry dla AFC C ln z z pf zph Wyrażenie na lnβ jest identyczne jak dla próby 1AFC (w liczeniu z definicji używamy rozkładów dla bodźców X1 i X, a nie dla różnic) Pc pf zph max d Cd

20 Próby takie samo/inne (AFC) Oznaczmy bodźce jako S1 i S Bodźce są ponadprogowe a obserwator nie musi widzieć czym się różnią Zakładamy że bodźce powodują powstanie wartości zmysłowych o rozkładzie normalnym Najlepszą strategią obserwatora jest porównanie wartości bodźców w obu parach Obserwator wybiera pierwszą parę jeśli różnica bezwzględna jest w niej większa X1-X > X3-X4

21 Obliczanie d dla prób takie Obserwator odpowiada 1 jeśli sygnał wewnętrzny znajdzie się w szarym obszarze Jest to odpowiedź prawidłowa jeśli przedstawiona była jedna z konfiguracji bodźców <S1,S,S1,S1>, <S1,S,S,S>, <S,S1,S1,S1>, <S,S1,S,S> Pc jest więc prawdopodobieństwem, że bodźce w powyższych konfiguracjach znajdą się w szarych obszarach Okręgi oznaczają rozłączne rozkłady podobieństwa o odchyleniu standardowym samo/inne (AFC)

22 Obliczanie d dla prób takie W każdym szarym obszarze mamy dwa prawdopodobieństwa: duże i małe Duże oznacza przypadki, gdy różnica bodźców odpowiada różnicy wartości wewnętrznych Małe oznacza przypadki, gdy różnica bodźców jest błędnie zostanie odczytana ale na tyle mocno, że i tak zostanie wskazana prawidłowa para d d Pc 1 Pc 1 d z samo/inne (AFC)

23 Model różnicowy (1AFC) Pokazujemy bodźce X1 i X i badany odpowiada że są różne jeśli X-X1 >k, gdzie k jest kryterium Jeśli bodziec S jest większy od bodźca S1 to z dużym prawdopodobieństwem badany stwierdzi, że X-X1>k, lecz istnieje też małe prawdopodobieństwo, że na skutek próbkowania stwierdzi, ze X1-X>k, a więc także poda prawidłową odpowiedź

24 Model różnicowy (1AFC) pf z k k pf k d k d ph

25 Metoda niezależnej obserwacji (1AFC) Najlepszą strategią przy próbie takie samo/różne z jedną parą bodźców jest odpowiadać różne gdy sygnały z bodźców S1 i S lezą po różnych stronach kryterium wyśrodkowanego pomiędzy rozkładami wartości zmysłowych dla tych bodźców Maksymalne Pc dla takiego kryterium będzie wynosiło: d Pc 1 d z z C ph zpf d Pc 1

26 Dopasowanie do wzorca Model niezależnej obserwacji (AFC) Model różnicowy (AFC) M-AFC (strategia różnicowa) Metoda Monte-Carlo losujemy wartość z bodźca wzorcowego (S1) i wzorca pasującego (S) oraz M-1 wartości z pozostałych bodźców porównywanych(si), jeśli różnica dla S1-S jest mniejsza od dowolnego S1- Si to próba określana jest jako poprawna, po wielu powtórzeniach otrzymujemy Pc

27 przerwa

28 Porównania modeli Wyniki badań psychofizycznych często różnią się między sobą z powodu różnic w warunkach ich przeprowadzania Niezbędne są więc kryteria oceny czy różnice te są rzeczywiste czy nie Aby ocenić czy zmienna X ma wpływ na wydajność jakiejś próby Adaptacja (w miarę obserwacji bodźca, między bodźcami) Szybkość przemieszczania bodźca Barwa bodźca Wielkość przestrzenna bodźca Itp

29 Adaptacja a wydajność? Czy różnice wynikają z wpływu adaptacji na wydajność czy też z niepewności pomiarowej? Wnioskowanie statystyczne Nie interesuje nas wydajność lecz jej zależność od adaptacji

30 Odchylenie standartowe

31 Odchylenie standartowe 68% pewności, że prawdziwa wartość mieści się w zakresie +/- σ 95% pewności jeśli zwiększymy zakres do +/- 1,96σ Jeśli punkty dla różnych wartości zmiennej X nie pokrywają się w ramach swoich odchyleń standartowych mało prawdopodobne jest aby ich różnice wynikały z niepewności pomiarowej

32 Stosunek podobieństw modele: 1PF: Wydajność (czułość na kontrast) nie zależy od adaptacji, wystarczy jedna PF do opisu danych niezależnie od wartości zmiennej X PF: dla każdej wartości zmiennej X (adaptacji) należy dopasować inną PF Dodatkowo zakładamy stabilność (wydajność nie zależy od numeru próby) oraz niezależność (wydajność nie zależy od poprzednich odpowiedzi) Zakładamy też że parametry γ (wsp. zgadywania) i λ (wsp. rozproszeń) są stałe oraz że PF ma kształt funkcji logistycznej

33 Modele Model PF jest pełniejszy (obejmuje mniejszą ilość warunków ograniczających restrykcji) Model 1PF jest węższy (obejmuje jeden warunek ograniczający więcej) Mówimy, że model węższy jest zagnieżdżony w modelu pełniejszym ponieważ stanowi jego szczególny przypadek

34 LR stosunek podobieństw Oba modele dopasowujemy metodą ML i porównujemy otrzymane podobieństwa

35 Stosunek podobieństw Stosunek podobieństw zawarty jest w zakresie 0-1, ponieważ model pełniejszy zawsze lepiej będzie opisywał dane dwie funkcje zawsze lepiej będą pasować niż jedna, chyba że obie serie danych są identyczne Współczynnik LR określa prawdopodobieństwo że model węższy określa prawidłowo PF obserwatora

36 LR stosunek podobieństw Symulacja daje LR na poziomie 63,6%

37 Stosunek podobieństw Wykonajmy wiele symulacji zakładając model węższy i sprawdźmy ile z nich będzie pasować gorzej niż dane od obserwatora Zgodnie z LR powinno to być 0,1% Po przeprowadzeniu prób 4 okazują się dawać LR gorsze od obserwatora, więc hipotezę o modelu węższym możemy odrzucić

38 Stosunek podobieństw

39 Logika Jeśli mniej prawdopodobieństwo dopasowania gorszego niż rzeczywiste jest mniejsze od 5% można stwierdzić, że dodatkowe założenie modelu węższego jest niesłuszne w stosunku do danych Jest to podobna sytuacja do zdań: Jeśli pamiętałby że dzisiaj jest nasza rocznica prawdopodobnie powiedziałby coś teraz. Jeśli nic dotąd nie powiedział prawdopodobnie zapomniał, że dziś jest nasza rocznica. Jeśli prostszy model byłby prawdziwy, stosunek podobieństw prawdopodobnie nie byłby tak mały jak jest. Jeśli jest tak mały jak jest to prawdopobnie prostszy model jest nieprawdziwy.

40 Inne porównania modeli Dotychczas rozważaliśmy dopasowanie PF w całości (tzn. zarówno nachylenia jak i progu). W modelach możemy założyć uwolnienie jedynie jednego z tych parametrów, a także uwolnienie pozostałych, np. współczynnika rozproszeń Można także jako model pełniejszy uznać model zakładające jedynie niezależność i stabilność tzw. model nasycony. W modelu takim nie zakładamy żadnego przebiegu funkcji, tzn. współczynniki Pc dla każdej wartości bodźca są wolnymi parametrami modelu. Porównywany model nazywamy w tym przypadku celowym.

41 Hipotezy proste i złożone Jeśli jakiś model nie ma wolnych parametrów (zakładamy, że znamy zależność dokładnie i ją weryfikujemy) hipotezę taką nazywamy prostą Jeśli model ma parametry zależne od danych (dopasowywane) jego hipotezę nazywamy złożoną

42 Test χ Jeśli w LR przetransformujemy w postaci tzw. Transformowanego stosunku podobieństw: TLR lnlr będzie on asymptotycznie rozłożony jak rozkład χ ze liczbą stopni swobody równą różnicy w ilości wolnych parametrów modeli pełniejszego i węższego

43 Kryteria informacyjne - AIC AIC An Information Criterion, Kryterium informacyjne Zwiększanie podobieństwa świadczy o coraz lepszym modelu Każdy nowy wolny parametr zwiększa LR Jednocześnie najlepsze modele mają jak najmniej parametrów i y; Mi Ki AIC LL Minimalizacja wsp. AIC świadczy o lepszym modelu K liczba wolnych parametrów w modelu LL() podobieństwo modelu M do serii danych θ

44 Kryteria informacyjne - BIC BIC Bayesian Information Criterion BIC i y; M i lnnk i LL Uwzględnia liczbę prób jako czynnik jeszcze mocniej obciążający dodawanie nowych parametrów (przy dużych próbach statystycznych)

45 Współczynnik Bayesa BF 1 y; M1p 1 y; M p L L Pozwala włączyć wstępne założenia co do przebiegu PF BF<1 wskazuje na bardziej prawdopodobny model i odwrotnie W przypadku tego kryterium nie musimy zakładać, że modele są zagnieżdżone d 1 d