Schematy przetwarzania informacji językowej. Łukasz Goraczewski, Antoni Wójcik Toruń 2012

Transkrypt

1 Schematy przetwarzania informacji językowej Łukasz Goraczewski, Antoni Wójcik Toruń 2012

2 Komunikacja u zwierzęt Funkcje sygnały związane z reprodukcją (płeć, gotowośc do reprodukcji) sygnały terytorialne sygnały ostrzegawcze komunikacja z potomstwem Rodzaje sygnałów wizualne chemiczne dźwiękowe dotykowe Prawie wszystkie sygnały są wrodzone

3 Funkcje język u ludzi Zaawansowana komunikacja Zaawansowane myślenie

4 Hipotezy ewolucyjne Oderwanie od tu i teraz wymagało wytworzenia reprezentacji własnych działań i świata zewnętrznego. Reprezentacje obiektów będących poza zasięgiem zmysłów pojęcia Relacje pomiędzy pojęciami pamięć semantyczna

5 Przetwarzanie języka w mózgu

6 Lateralizacja Większość przetwarzania języka zachodzi w dominującej półkuli. U praworęcznych ludzi jest to zwykle lewa półkula. Pacjenci po komisurotomii potrafią nazywać tylko obiekty znajdujące się w prawym polu widzenia. Prawa półkula jest jednak związana z subtelnymi analizami, odczytywaniem metafor i poczuciem humoru.

7 Ośrodek Broki i Wernickego

8 Tradycyjne rozróżnienie uznawano ośrodek Broki za generator mowy, a ośrodek Wernickego za odbiornik. Nie można traktować kompetencji językowych w sposób modularny. Centrum motoryczne języka, czyli ośrodek Broki, aktywuje się również podczas percepcji mowy. Natomiast centrum odbioru ośrodek Wernickego podczas produkowania mowy.

9 Połączenia obszarów związanych z przetwarzaniem języka af - pęczek łukowaty slf - pęczek podłużny górny Friederici (2009)

10 Koaktywacja ośrodku Broki i Wernickego Pullvermuller (2005)

11 Połączenia z obszarami sensorycznymi i motorycznymi

12 Rozproszenie funkcji językowych Młodsze ewolucyjnie funkcje bazują na bardziej rozproszonych obszarach aktywacji (Anderson 2010). U ludzi występują znacznie bogatsze połączenia ośrodków korowych związanych z przetwarzaniem języka (Friederici 2009)

13 Dwa szlaki przetwarzania informacji ( Hickok 2007)

14 Dwa szlaki przetwarzania informacji Szlak brzuszny przetwarzanie sygnałów mowy dla rozumienia bilateralny, różne w przetwarzaniu informacji pomiędzy półkulami Szlak grzbietowy mapowanie akustycznych sygnałów do obszarów artykulacyjnych w płacie czołowym silna lateralizacja, półkula dominująca

15 Kodowanie wyrazów w mózgu

16 Word webs Sieć neuronalna kodująca wyrazy (word web), to sieć będąca ich biologicznym substratem, czyli zespół neuronów łączący funkcje: fonologiczne i percepcyjne wraz z informacją o działaniu lub obrazie.

17 Pullvermuller (2002)

18 Po lewej stronie - do układu Wernicke Broki włączane są obszary kory przedruchowej i kodują słowa związane z działaniem. Po prawej, słowa odnoszące się do aspektów wizualnych, aktywują oprócz układu Wernicke Broki, dolne obszary kory skroniowej oraz płat potyliczny. Konkretne obszary są włączane do tej sieci w zależności od kategorii słowa.

19 Funkcjonalna kategoryzacja słów Podział na klasy gramatyczne AW i VRW wydaje się bardziej odzwierciedlać sposób kategoryzowania słów przez mózgi niż proponowany przez językoznawstwo podział na części mowy - czasowniki, rzeczowniki, przymiotniki, zaimki.

20 Action words Pullvermuller (2005)

21 Rozkład sieci leżących u podstaw AW związany jest z działaniem poszczególnych części ciała i ma swoje odzwierciedlenie na mapie aktywności kory zgodnie z rozkładem somatotopowym. słowa związane z twarzą tylna część dolnego zakrętu czołowego, tuż nad bruzdą boczną; słowa związane z ręką/ramieniem boczna część płata czołowego; słowa związane z nogą/stopą górna część kory czołowo ciemieniowej;

22 Neurony lustrzane U ludzi dochodzi do aktywacji neuronów lustrzanych nie tylko podczas obserwacji działania, czy słuchania dźwięków tegoż działania ale również podczas analizy semantycznej wypowiedzi, czy tekstu zawierającego AW.

23 Visually related words, czyli gdzie jest jabłko? czerwony-manipulowanie; niebieski-schronienie; zielony-jedzeie; żółty-długość słowa; Just (2010)

24 Bazowe cechy semantyczne manipulacyjne związane z jedzeniem związane ze schroniniem Każda z kategorii ma 3-4 lokalizacji neuronalnych związanych z nielingwistyczmnymi obszarami, określającymi znaczenie pojęć.

25 Znaczenie pojęć jako wypadkowa bazowych cech semantycznych. Pojęcie jest wynikiem aktywacji o różnym stopniu trzech bazowych domen semantycznych. Domeny odzwierciedlają kategorie ewolucyjnie istotne. Trzy bazowe domeny semantyczne cechują ludzkie mózgi, choć mogą mieć różną lokalizację to sposób kodowania pojęć jest wspólny.

26 Informacje skaładające się na pojęcie, w mózgu reprezentowane są w sposób rozsiany i przy zaangażowaniu obszarów, które specjalizują się w innych funkcjach niż lingwistyczne. Tak proste pojęcie jak jabłko, może angażować obszary wizualne ale też, te które kodują jego przeznaczenie, a to jaka sieć zostanie pobudzona zależy w dużej mierze od kontekstu.

27 Odgadywanie słów Znaczenie konkretnych rzeczowników reprezentowane jest przez trzy bazowe domenty semantyczne i kodowane za pomocą subdomen rozproszonych po 12 miejscach kory. Na podstawie wzorców aktywności można "odczytywać" słowa nie pojawiające sie podczas treningu.

28 Przewidywanie aktywności mózgu dla rzeczowników, czyli gdzie jest seler? Mitchell (2008)

29 Model przewidywania aktywacji fmri dla rzeczowników 1. Zakodowanie znaczenia słowa za pomocą pośrednich semantycznych własności wydobytych z korpusu tekstów 2. Przewidywanie aktywacji fmri jako kombinacji aktywacji dla każdej z semantycznych własności danego słowa

30 Przetwarzanie gramatyki w mózgu

31 Klasy gramatyczne Vigliocco (2011)

32 Klasy gramatyczne Klasyfikowanie gramatyczne pojedyńczych wyrazów. Rzeczowniki i czasowniki maja przynajmniej częściowo oddzielne reprezentacje neuronalne. Gdzie rzeczowniki kodowane są w sieci znajdującej się w leweych obszarach skroniowych, natomiast czasowniki w lewych dolnych obszarach czołowych. To podejście zakładało ponadto, że to rozróżnienie będzie równiez odzwierciedlać klasy gramatyczne. Damasio (1996). Vigliocco (2011)

33 Klasy gramatyczne Podział morfologiczno-syntaktyczny całych fraz. Sieci morfologiczno-syntaktyczne kodującące strukturę gramatyczną znajdują się w obszarach kodujących znaczenia danych słów. Obszary czołówe odpowiadać będą za tworzenie fraz czasownikowych, skroniowe - rzeczownikowych. Obszary odpowiadają za tworzenie i przetwarzanie całych fraz, a nie pojedyńczych wyrazów. Shapiro (2006) Vigliocco (2011)

34 Wspólna sieć przetwarzająca frazy AW i VRW. Klasy gramatyczne Wspólna sieć będzie odpowiednio przetwarzać dany rzeczownik, czy czasownik w zależności od kontekstu w jakim się pojawi. Sieć neuronów odpowiedzialna za przetwarzanie gramatyki w zależności od informacji semantycznej i pragmatycznej będzie będzie tworzyć odpowiednie struktury gramatyczne. Tyler (2008) Vigliocco (2011)

35 Klasy gramatyczne Klasy garmatyczne takie jak rzeczowniki, czasowniki, przymiotniki nie są najlepszym sposobem opisu uniwersum języka jako struktury wyłaniającej się z procesów mózgowych. W różnych językach występują różne części mowy oraz różne rozróżnienia między rzeczownikami i czasownikami.

36 Integracja zwrotów Klasy gramatyczne to informacje o tym jak prawidłowo używać słów w zdaniach, czyli jak łączyć je ze sobą. Informacja wynikająca z klasy gramatycznej jest konieczna dla zrozumieia zdania, nie jest jednak konieczna w wypadku przetwarzania pojedyńczych słów. Obecnie badania z zakresu neuroobrazowania pokazują, że słowa z różnych klas gramatycznych są przetwarzane przez wspólne sieci neuronalne.

37 Architektury kognitywne.

38 Architektury kognitywne. Wykorzystując i integrując wiedzę o działaniu umysłu tworzy się komputerowe modele jego funkcjonowania - są to właśnie architektury kognitywne (cognitive architecture, CA).

39 Podział CA Duch (2010)

40 Podział CA S P CA ined a r t ns o C sed a y t b i c apa tivation C l ica Ac t r o t C rren ystem u c Con ction S u Prod 4 Duch (2010)

41 4CAPS - krótka historia 4CAPS to najnowsza członek rodziny architektur kognitywnych CAPS i 3CAPS.

42 CAPS CAPS jego mechanizm obliczeniowy zawierał: zmienne wiązane (zmienne wiążąca się z określoną wartością lub wartościami); reprezentacje elementów struktury (reprezentacje formalnych struktur gramatycznych zdania w odniesieniu do jego poszczególnych części); aktywacje: ich poziom, wagi, wartości progowe; przetwarzanie równoległe; CAPS stosowano z powodzeniem w modelach: przetwarzania języka, rozwiązywania złożonych problemów, przekształceń przestrzennych.

43 3CAPS Następcą CAPS był 3CAPS. Nowym elementem jest tu uwzględnienie ograniczonych zasobów na utrzymywanie i przetwarzanie reprezentacji. Pozwala to na modelowanie zadań z uwzględnieniem indywidualnych różnic, np.: przetwarzanie zadań językowych przez dzieci i dorosłych, których charakteryzuje różna pojemność pamięci roboczej; modelowanie możliwości językowych u osób z afazją; modelowanie przetwarzani dyskursu językowego u dzieci; rozwiązywanie problemów u osób zdrowych oraz z uszkodzonymi strukturami czołowymi; 3CAPS pozwala na modelowanie procesów poznawczych z uwzględnieniem skończonych zasobów biologicznych mózgu.

44 4CAPS W odróżnieniu od swoich poprzedników 4CAPS korzysta z wyników neuroobrazowania, co pozwala porównywać wyniki modelowania z aktywnością kory. 4CAPS to model ośrodków korowych, które aktywują się w danym zadaniu. Każdy ośrodek jest systemem symboliczno koneksjonistycznym oraz posiada swoje stałe zasoby poznawcze i bioenergetyczne.

45 Podstawowe zasady 1.0. Myślenie jest produktem jednoczesnej aktywności wielu obszarów mózgu, które współpracują w obrębie rozległej sieci korowej Jeden obszar kory może wykonywać więcej niż jedną funkcję, oraz poszczególne funkcje poznawcze mogą być wykonywane przez więcej niż jeden obszar Każdy obszar korowy ma ograniczone zdolności obliczeniowe ograniczające jego aktywność Topologia sieci (rozumianej globalnie, jako całość kory) zmienia się dynamicznie podczas procesów poznawczych, adaptując się do nich zgodnie z uwzględnieniem ograniczonych zasobów poszczególnych obszarów oraz funkcjonalnych wymagań danego zadania Infrastruktura komunikacyjna sieci również podlega prawom ograniczonych zasobów, rozumianych jako ograniczenia w przepustowości Aktywacja kory różni się w zależności od poznawczego obciążenia, co może być mierzona za pomocą obrazowania fmri lub PET. Metody obrazowania pozwoliły na weryfikację modeli na podstawie badane aktywności kory, która waha się w zależności on obciążeń poznawczych.

46 Ad Myślenie jest produktem jednoczesnej aktywności wielu obszarów mózgu, które współpracują w obrębie rozległej sieci korowej. Podstawowymi wyzwaniami dla tego punktu jest odpowiedź dlaczego dany zestaw obszarów jest aktywny przy danym zadaniu. Dalej należy się przyjrzeć jak obszary ze sobą współpracują, ponieważ jest to coś więcej niż koaktywacja, obszary współpracują ze sobą aktywnie mierzona jest korelacja czasowa aktywności poszczególnych obszarów.

47 Ad Jeden obszar kory może wykonywać więcej niż jedną funkcję, oraz posczególne funkcje poznawcze mogą być wykonywane przez więcej niż jeden obszar. Jeden obszar może wykonywać kilka funkcji obszar Brocka przetwarzanie składni i artykulacja. W przypadku rozumienia mowy odpowiedzi ośrodka Wernickego następują zarówno podczas odbioru syntaktyki i leksyki. Jedna funkcja może być spełniana przez kilaka ośrodków przez pewnego rodzaju redundancja zasobów w całej korze. Nadmiar ten pozwala na wykonywanie konkretnej funkcji przez więcej niż jeden ośrodek. Zjawisko to widocznie jest przy uszkodzeniach, np. uszkodzenie ośrodka Brocki może powodować aktywację analogicznej struktury po prawej stronie. Tego rodzaju nadwyżka może leżeć u podłoża procesów plastyczności. Proces wykorzystywanie nadwyżki widać również w zdrowych mózgach. Kiedy zadanie poznawcze przekroczy pewien próg trudności, zostają wyczerpane zasoby obliczeniowe danego obszaru dochodzi do aktywacji prawopółkulowych struktur.

48 Ad Każdy obszar korowy ma ograniczone zasoby obliczeniowe ograniczające jego aktywność. Mózg podobnie jak wszystkie inne układy biologiczne ma ograniczone zasoby obliczeniowe. Podczas nadmiernego wykorzystywania jakiegoś obszaru odpowiedzialnego za daną funkcję jej wykonanie stawało by się mniej efektywne, jednak zdolność mózgu do dynamicznego konfigurowania w odpowiedzi na ograniczenia. Pozwala to lepiej się adaptować i lepiej wykorzystywać potencjał poznawczy. W teście N-back widać wyraźnie wzrost aktywności wraz ze wzrostem trudności w obszarach przedczołowych związanych z pamięcią roboczą. Oczywiście zasoby, które zostają zaprzęgnięte podczas trudnych zadań również nie są niewyczerpane. Podczas testu N-beck w próbie 3-beck dochodzi do załamania zdolności przetwarzania, zadanie nie jest wykonywane dobrze, a aktywność spada

49 Ad Topologia sieci (rozumianej globalnie, jako całość kory) zmienia się dynamicznie podczas procesów poznawczych, adaptując się do nich zgodnie z uwzględnieniem ograniczonych zasobów poszczególnych obszarów oraz funkcjonalnych wymagań danego zadania. Biologiczny substrat procesów poznawczych jest ruchomy. Zmienia się on między jednym a drugim zadaniem (takim samym) ale również w trakcie trwania zadania. Ta dynamiczna rekonfiguracja jest odpowiedzią na wahania w dostępności zasobów bioenergetycznych. Np. kiedy poziom trudności wzrasta w zadaniach rozumienia mowy, aktywuje się ośrodek homologiczny do ośrodka Wernickego aktywność ta wzrasta wraz z podnoszeniem się stopnia trudności. Kiedy zasoby obszarów dobrze wyspecjalizowanych w jakimś zadaniu kończą się dochodzi do włączenia w sieć mniej wyspecjalizowanych ośrodków. Ponadto topologia sieci może zmieniać się kiedy dochodzi do jakościowej zmiany zadania. Kiedy do zadania językowego dochodzi inne zadaie wymagające myślenia strategicznego do sieci językowej dołączane są kolejne obszary, np. związane z pamięcią roboczą i wykonawczą (grzbietowo boczna kora przedczołowa).

50 Ad Infrastruktura komunikacyjna sieci również podlega prawom ograniczonych zasobów, rozumianych jako ograniczenia w przepustowości. Te ograniczenia widać zwłaszcza podczas wykonywania na raz dwóch złożonych zadań. Można przypuszczać, że suma aktywności podczas wykonywania zadania po zadaniu oraz obu zadań równocześnie będzie taka sama (a nawet większa w wypadku dual-task przez nadkładanie się aktywności). Okazuje się jednak, że kiedy zadania wykonywane są równocześnie aktywność jest mniejsza. Ta zmniejszona suma aktywności może być tłumaczona ograniczoną przepustowością infrastruktury sieci.

51 Ad Aktywacja kory różni się w zależności od poznawczego obciążenia i mierzona jest za pomocą obrazowania fmri lub PET.

52 Bibliografia Anderson, M. L. (2010). Neural reuse: a fundamental organizational principle of the brain. The Behavioral and brain sciences, 33(4), ; discussion Duch. W. (2010). Architektury kognitywne, czyli jak zbudować sztuczny umysł. Neurocybernetyka teoretyczna. Friederici, A. D. (2009). Pathways to language: fiber tracts in the human brain. Trends in cognitive sciences, 13(4), Hickok, G. (2007). The cortical organization of speech processing. Nature Reviews Neuroscience, 8(May), Just, Marcel Adam, and Sashank Varma The organization of thinking: what functional brain imaging reveals about the neuroarchitecture of complex cognition. Cognitive, affective & behavioral neuroscience 7(3): Just, Marcel Adam, Vladimir L Cherkassky, Sandesh Aryal, and Tom M Mitchell A neurosemantic theory of concrete noun representation based on the underlying brain codes. PloS one 5(1):e8622. Mitchell, T. M., Shinkareva, S. V., Carlson, A., Chang, K.-M., Malave, V. L., Mason, R. a, & Just, M. A. (2008). Predicting human brain activity associated with the meanings of nouns. Science (New York, N.Y.), 320(5880), Pulvermüller, F The neuroscience of language: on brain circuits of words and serial order. Cambridge Univ Pr Retrieved March 9, Pulvermüller, F Brain mechanisms linking language and action. Nature Reviews Neuroscience 6(7): Tettamanti, Marco et al Listening to action-related sentences activates fronto-parietal motor circuits. Journal of cognitive neuroscience 17(2): Vigliocco, Gabriella, David P Vinson, Judit Druks, Horacio Barber, and Stefano F Cappa Nouns and verbs in the brain: a review of behavioural, electrophysiological, neuropsychological and imaging studies. Neuroscience and biobehavioral reviews 35(3):