DLACZEGO JEST TAK MAŁO SYNONIMÓW?

Podobne dokumenty
WSPÓLNOTA KOMUNIKACYJNA AGENTÓW

Powstawanie i samoorganizacja języka pomiędzy agentami

Gra w nazywanie jako model ewolucji języka

Czy znaczna niestabilność postrzegania atrakcyjności twarzy podważa adaptacjonistyczną interpretację tego zjawiska?

Algorytmy ewolucyjne - algorytmy genetyczne. I. Karcz-Dulęba

Stochastyczne dynamiki z opóźnieniami czasowymi w grach ewolucyjnych

Algorytmy genetyczne

Algorytmy genetyczne. Materiały do laboratorium PSI. Studia niestacjonarne

Metody Rozmyte i Algorytmy Ewolucyjne

Algorytmy i struktury danych. Wykład 4 Tablice nieporządkowane i uporządkowane

Hierarchiczna analiza skupień

Algorytmy genetyczne jako metoda wyszukiwania wzorców. Seminarium Metod Inteligencji Obliczeniowej Warszawa 26 X 2005 mgr inż.

Algorytmy ewolucyjne NAZEWNICTWO

Algorytmy genetyczne. Materiały do laboratorium PSI. Studia stacjonarne i niestacjonarne

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

Algorytmy metaheurystyczne Wykład 6. Piotr Syga

Pobieranie prób i rozkład z próby

Algorytmy genetyczne w interpolacji wielomianowej

Asocjacyjna reprezentacja danych i wnioskowanie

Agnieszka Nowak Brzezińska

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

GRA Przykład. 1) Zbiór graczy. 2) Zbiór strategii. 3) Wypłaty. n = 2 myśliwych. I= {1,,n} S = {polować na jelenia, gonić zająca} S = {1,,m} 10 utils

Rachunek prawdopodobieństwa- wykład 2

Modelowanie wieloskalowe. Automaty Komórkowe - podstawy

Algorytm Genetyczny. zastosowanie do procesów rozmieszczenia stacji raportujących w sieciach komórkowych

11. Gry Macierzowe - Strategie Czyste i Mieszane

O badaniach nad SZTUCZNĄ INTELIGENCJĄ

OpenAI Gym. Adam Szczepaniak, Kamil Walkowiak

Wykorzystanie metod ewolucyjnych w projektowaniu algorytmów kwantowych

Ewolucjonizm NEODARWINIZM. Dr Jacek Francikowski Uniwersyteckie Towarzystwo Naukowe Uniwersytet Śląski w Katowicach

Algorytmy genetyczne

Plan. Zakres badań teorii optymalizacji. Teoria optymalizacji. Teoria optymalizacji a badania operacyjne. Badania operacyjne i teoria optymalizacji

Agnieszka Nowak Brzezińska Wykład III

Sztuczna inteligencja : Algorytm KNN

Optymalizacja optymalizacji

Wykład 9 Wnioskowanie o średnich

Agnieszka Nowak Brzezińska Wykład III

Automatyczny dobór parametrów algorytmu genetycznego

Spis treści. Konwencje zastosowane w książce...5. Dodawanie stylów do dokumentów HTML oraz XHTML...6. Struktura reguł...9. Pierwszeństwo stylów...

Prognozowanie i Symulacje. Wykład I. Matematyczne metody prognozowania

Efekt Lombarda. Czym jest efekt Lombarda?

Programowanie genetyczne, gra SNAKE

Optymalizacja ciągła

O badaniach nad SZTUCZNĄ INTELIGENCJĄ

Paradygmaty programowania

Odkrywanie algorytmów kwantowych za pomocą programowania genetycznego

Ekologia wyk. 1. wiedza z zakresu zarówno matematyki, biologii, fizyki, chemii, rozumienia modeli matematycznych

Algorytm genetyczny (genetic algorithm)-

Wykorzystanie algorytmów mrówkowych w dynamicznym problem

ALGORYTMY GENETYCZNE ćwiczenia

Stronicowanie w systemie pamięci wirtualnej

STATYSTYKA MATEMATYCZNA WYKŁAD stycznia 2010

STATYSTYKA MATEMATYCZNA

Obliczenia ewolucyjne - plan wykładu

Algorytmy ewolucyjne `

PLAN WYKŁADU OPTYMALIZACJA GLOBALNA OPERATOR KRZYŻOWANIA ETAPY KRZYŻOWANIA

Elementy modelowania matematycznego

Rozkład normalny. Marcin Zajenkowski. Marcin Zajenkowski () Rozkład normalny 1 / 26

Programowanie obiektowe - 1.

Statystyka podstawowe wzory i definicje

SYLABUS. WyŜsza Szkoła Prawa i Administracji w Przemyślu Zamiejscowy Wydział Prawa i Administracji w Rzeszowie

Programowanie genetyczne - gra SNAKE

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego

Algorytmy i struktury danych. Wykład 6 Tablice rozproszone cz. 2

MODELOWANIE RZECZYWISTOŚCI

0 + 0 = 0, = 1, = 1, = 0.

OCENIANIE WYPOWIEDZI PISEMNYCH

Struktura terminowa rynku obligacji

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Stochastyczna dynamika z opóźnieniem czasowym w grach ewolucyjnych oraz modelach ekspresji i regulacji genów

Teoria przetwarzania A/C i C/A.

Wykład 8: Testy istotności

1 Genetykapopulacyjna

Zadanie transportowe i problem komiwojażera. Tadeusz Trzaskalik

ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH

Lingwistyczny system definicyjny wykorzystujący korpusy tekstów oraz zasoby internetowe.

CMAES. Zapis algorytmu. Generacja populacji oraz selekcja Populacja q i (t) w kroku t generowana jest w następujący sposób:

LABORATORIUM PODSTAW TELEKOMUNIKACJI

Zapisywanie algorytmów w języku programowania

Kompresja danych Streszczenie Studia Dzienne Wykład 10,

Rachunek prawdopodobieństwa

Analiza statystyczna trudności tekstu

STATYSTYKA wykład 8. Wnioskowanie. Weryfikacja hipotez. Wanda Olech

Równoważność algorytmów optymalizacji

Technologie i usługi internetowe cz. 2

Aproksymacja funkcji a regresja symboliczna

6. Klasyczny algorytm genetyczny. 1

SCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO

DOBÓR PRÓBY. Czyli kogo badać?

SYSTEM OCENIANIA Z JĘZYKÓW OBCYCH.

Generowanie i optymalizacja harmonogramu za pomoca

Techniki animacji komputerowej

Weryfikacja hipotez statystycznych

Prawdopodobieństwo. jest ilościową miarą niepewności

Metody Statystyczne. Metody Statystyczne.

Próbkowanie. Wykład 4 Próbkowanie i rozkłady próbkowe. Populacja a próba. Błędy w póbkowaniu, cd, Przykład 1 (Ochotnicy)

Układy stochastyczne

DOBÓR PRÓBY. Czyli kogo badać?

Regresja logistyczna (LOGISTIC)

mgr inż. Magdalena Deckert Poznań, r. Metody przyrostowego uczenia się ze strumieni danych.

Transkrypt:

DLACZEGO JEST TAK MAŁO SYNONIMÓW? Homonimy i synonimy w grze w nazywanie Dorota Lipowska Zakład Logiki Stosowanej Instytut Językoznawstwa UAM

Modelowanie komputerowe staje się coraz ważniejszym narzędziem badania ewolucji języka. Podstawowe założenie: język to złożony system adaptacyjny, powstający na bazie lokalnych interakcji między jego użytkownikami, stopniowo komplikujący się w trakcie rozwoju zgodnego z zasadami ewolucji i samo-organizacji. S. Pinker i P. Bloom (1990) Natural language and natural selection www.logic.amu.edu.pl 3

Korzyść słuchacza: zdobywa informacje. Dlaczego opłaca się mówić? Dlaczego (stosunkowo) rzadko kłamiemy? dobór krewniaczy wzajemny altruizm zdobywanie pozycji seks manipulowanie www.logic.amu.edu.pl 4

James R. Hurford (2003) Why synonymy is rare: Fitness is in the speaker model: trzy genotypy agentów konkurujące przez wiele pokoleń, aż do zdominowania populacji przez jeden z nich algorytm genetyczny preferował 1. albo sukces komunikacyjny 2. albo sukces interpretacyjny www.logic.amu.edu.pl 5

1. powstaje język podobny do naturalnego: synonimy są rzadkie, występują natomiast homonimy 2. sytuacja odwrotna nie występująca w językach naturalnych homonimy są rzadkie, występują zaś synonimy Humans evolved to be well adapted as senders of messages; accurate reception of messages was less important We may be primarily speakers, and secondarily listeners. www.logic.amu.edu.pl 6

Clark: wrodzona tendencja człowieka do szukania i tworzenia nowych znaczeń raczej niż akceptowania tego samego znaczenia dla różnych form. _ Markman: dzieci zakładają, że znaczenia żadnych dwóch słów nie nakładają się. _ Wexler formalne zasady akwizycji języka: Zasada Jednoznaczności ci powstrzymuje dziecko przed przyswajaniem więcej niż jednej formy dla danego znaczenia. _ www.logic.amu.edu.pl 7

Homonimy są w języku naturalnym znacznie częstsze niż synonimy, choć synonimia nie wpływa na efektywność komunikacji, podczas gdy homonimia może ją pogarszać! Ta asymetria wydaje nam się ważną cechą, typową dla języków naturalnych, która może być wykorzystana jako test dla różnych komputerowych modeli rozwoju języka. www.logic.amu.edu.pl 8

Gra w nazywanie dwóch agentów n obiektów Homonimia i synonimia homonimia z upływem czasu nie znika ( dynamiczna pułapka ) rola synonimii wyraźnie maleje (cecha przemijająca) Asymetria między homonimią a synonimią może e być więc c wytłumaczona w ramach dość prostego modelu gry w nazywanie, bez odwoływania się do argumentu ewolucyjnego Hurforda (słuchacz czerpie większe korzyści z konwersacji niż mówca). www.logic.amu.edu.pl 9

Luc Steels (1995) model naming game: grupa komunikujących się ze sobą agentów próbuje ustalić wspólne słownictwo dla pewnej liczby obiektów (zwykle 1). Tylko wymiana kulturowa (w ramach jednej generacji). Stan lingwistycznej zgodności (linguistic coherence). Iterated Learning Model interakcje międzypokoleniowe. www.logic.amu.edu.pl 10

Dwa agenty: mówca i słuchacz (na zmianę) Mówca wybiera obiekt, następnie reprezentujące go słowo i komunikuje je słuchaczowi. Słuchacz odgaduje znaczenie słowa. Sprawdzenie sukces lub porażka determinują modyfikacje słownika www.logic.amu.edu.pl 11

Każdy agent z każdym z n obiektów wiąże pewien zestaw odpowiadających mu słów (maksymalnie l). Każdemu słowu przypisana jest waga w. Słowa to liczby całkowite z przedziału 1,r (parametr r określa wielkość dostępnej przestrzeni werbalnej). www.logic.amu.edu.pl 12

Mówca losowo wybiera obiekt z odpowiadającej mu listy słów wybiera komunikowane słowo x (losowanie ruletkowe względem wagi słów) Słuchacz dla każdej listy (k=1,n) oblicza miarę jej podobieństwa do usłyszanego słowa x: w sk(x) = 1 i w ε+x -x ε i i i 10-5 10-1 - zapewnia skończoność miary s k i www.logic.amu.edu.pl 13

traktując obliczone miary jako wagi, wybiera w losowaniu ruletkowym listę (obiekt) Modyfikacja list jeśli lista słuchacza ma ten sam numer co mówcy (sukces), to obaj agenci zwiększają wagi komunikowanego słowa (jeśli słuchacz nie ma go na danej liście, to dodaje je z wagą jednostkową) w przeciwnym przypadku (porażka) mówca zmniejsza wagę słowa, a słuchacz (na liście o numerze wybranym przez mówcę) zwiększa jego wagę lub w przypadku jego braku dodaje je reinforcement learning approach www.logic.amu.edu.pl 14

Wpływ szumu z prawdopodobieństwem p komunikowane jest słowo x c = x+η -a η a (a - amplituda szumu, η - liczba losowa) z prawdopodobieństwem 1-p komunikowane jest słowo x. www.logic.amu.edu.pl 15

n=4, l=3, k=2 Mówca 1244 5678 6879 7890 5458 3609 7823 5678 9751 1134 9974 5001 7890 Słuchacz 1244 5667 1221 6658 7892 1012 7823 1230 9751 1244 9342 2381 SUKCES www.logic.amu.edu.pl 16

Mówca 1244 5678 6879 7890 5458 3609 7823 5678 9751 1134 9974 5001 7890 Słuchacz 1244 5667 1221 6658 7892 1012 7823 1230 9751 1244 9342 2381 PORAŻKA www.logic.amu.edu.pl 17

Mówca 1244 5678 6879 7890 5458 3609 7823 5678 9751 1134 9974 5001 7891 Słuchacz 1244 5667 1221 6658 7892 1012 7823 1230 9751 1244 9342 2381 SUKCES W OBECNOŚCI SZUMU www.logic.amu.edu.pl 18

parametr n l r ε p, a opis i wartości liczba obiektów (100 n 1000) maksymalna liczba słów odpowiadających obiektowi (5 l 20) słowa to liczby naturalne nie przekraczające r (500 r 10000) zapewnia skończoność miary podobieństwa (10-5 10-1 ) parametry opisujące szum (0 p 0.05, 0 a 10) ε www.logic.amu.edu.pl 19

OBLICZENIA NUMERYCZNE Konfiguracja początkowa: każdy agent ma na każdej liście jedno słowo wybrane losowo i o wadze jednostkowej. Jednostka czasu 2n prób komunikacji. Agenci korelują swoje listy, osiągając dość duży sukces komunikacyjny. www.logic.amu.edu.pl 20

Stosunek liczby sukcesów do liczby wszystkich prób komunikacji (w funkcji czasu) dla n=500, l=10, r=1000 _ www.logic.amu.edu.pl 21

Liczba różnych najcięższych słów (w funkcji czasu) dla n=500, l=10, r=1000 _ www.logic.amu.edu.pl 22

Stosunek liczby wypowiedzi przy użyciu słów drugich co do wagi do liczby wszystkich prób komunikacji (w funkcji czasu) dla n=500, l=10, r=1000 _ www.logic.amu.edu.pl 23

r= Dystrybucja słów o największej wadze (oś pozioma) i drugich co do wagi (oś pionowa) dla obu agentów ( i +) dla n=500, t=1000, r=1000 _ r= www.logic.amu.edu.pl 24

HOMONIMIA i SYNONIMIA Homonim słowo, które może być kojarzone z więcej niż jednym obiektem Synonim słowo przypisane obiektowi, z którym skojarzone jest więcej niż jedno słowo Elementy probabilistyczne modelu www.logic.amu.edu.pl 25

HOMONIM słowo, które ze stosunkowo dużym prawdopodobieństwem może oznaczać różne obiekty. Taka sytuacja występuje zwykle, gdy słowo wybrane przez mówcę występuje na więcej niż jednej liście słuchacza jako najcięższe. Miarą homonimii języka jest więc liczba różnych najcięższych słów: im jest mniejsza, tym częstsze są homonimy. www.logic.amu.edu.pl 26

SYNONIMY słowa, które z dość dużym prawdopodobieństwem mogą odnosić się do tego samego obiektu. Taka sytuacja występuje zwykle, gdy oba agenty na tej samej liście mają te same (lub bardzo zbliżone) najcięższe słowa oraz słowa drugie co do wagi. 7823 1230 9751 7823 9751 7824 5678 9750 1244 5678 6879 1134 9974 5001 1244 1244 5667 1221 1244 9342 2381 www.logic.amu.edu.pl 27

Liczba różnych słów o największej wadze dla n=500, l=10, ε=10-5 w funkcji czasu ( -wartości dla słów wybranych losowo) _ www.logic.amu.edu.pl 28

Stosunek liczby sukcesów do liczby wszystkich prób komunikacji (w funkcji czasu) przy użyciu słów najcięższych i drugich co do wagi _ www.logic.amu.edu.pl 29

Homonimia chociaż rzadka jednak nie znika (stała cecha języka). Po okresie początkowym częstotliwość wypowiedzi homonimicznych utrzymuje się na stałym poziomie. Częstotliwość wypowiedzi synonimicznych maleje z czasem. www.logic.amu.edu.pl 30

Przewidywania modelu dla języków naturalnych (synonimia w nich będzie zjawiskiem rzadkim) są zgodne z obserwacjami. Objaśnienie tego zjawiska zaproponowane przez Hurforda: wywołuje je asymetria między korzyściami ewolucyjnymi mówcy i słuchacza. Nasz model znacznie prostszy, bez efektów ewolucyjnych, rozwój języka w ramach jednej generacji (tylko mechanizmy kulturowe). www.logic.amu.edu.pl 31

SZUM a DYSTRYBUCJA z prawdopodobieństwem p komunikowane jest słowo x c = x+η -a η a (a - amplituda szumu, η -liczba losowa) Już przy p=0 następuje redystrybucja słów najcięższych redukująca homonimię. Szum istotnie wpływa na dalszy wzrost tej redystrybucji słów. www.logic.amu.edu.pl 32

N(d) średnia liczba odległości d między sąsiednimi słowami najcięższymi (n=500, r=1000, l=10, ε=10-5 ) _ www.logic.amu.edu.pl 33

r= r= Dystrybucja słów o największej wadze (oś pozioma) i drugich co do wagi (oś pionowa) dla obu agentów ( i +) dla n=500, t=1000, r=1000 _ www.logic.amu.edu.pl 34

Prawdopodobnie szum odegrał ważną rolę w procesie ewolucji języka: Wpłynął korzystnie na redystrybucję słów w obrębie dostępnej przestrzeni werbalnej. Zredukował liczbę homonimów. Zredukował liczbę synonimów. www.logic.amu.edu.pl 35

W przyszłości Model w wersji wieloagentowej? Model z ewolucją agentów? Model z interakcją danego języka z innymi? www.logic.amu.edu.pl 36

DZIĘKUJĘ

www.logic.amu.edu.pl 38