Sieci Neuronowe Wprowadzenie do teorii i praktyki

Wielkość: px
Rozpocząć pokaz od strony:

Download "Sieci Neuronowe Wprowadzenie do teorii i praktyki"

Transkrypt

1 Sieci neuronowe 14/04/ / 65 Sieci Neuronowe Wprowadzenie do teorii i praktyki Nguyen Hung Son, Uniwersytet Warszawski Część I Podstawy modelu sieci neuronowych Część II Uczenie sieci neuronych Część III Projektowanie sieci neuronowych Część IV Różne paradygmaty sieci neuronowych Część V Zastosowania sieci neuronowych

2 Outline Sieci neuronowe 14/04/ / 65 1 Podstawy sieci neuronowych 2 Problem klasyfikacji i sieci wielowarstwowe 3 Projektowanie sieci neuronowych 4 Zastosowania 5 Inne paradymaty sieci neuronowych Sieci rekurencyjne Modele samoorganizacji 6 Dodatki Historia Możliwości sieci wielowarstwowych

3 Inspiracje biologiczno-neurologiczne Sieci neuronowe 14/04/ / 65 Wiedza o mechanizmach myślenia zaczerpnięta z fizjologii, neurologii i badań nad procesem poznawania (cognitive science). Inteligencja ludzka? Czym charakteryzuje się inteligencja? Zdolność dostosowywania się do zmian środowiska lub do nowych środowisk; Pojemność wiedzy, rozumu, abstrakcje; Zdolność do oryginalnego, samodzielnego myślenia. Które gatunki to posiada? Jakie sa biologiczne uwarunkowania na inteligencję? Jaki jest rozwój inteligencji u człowieka,...

4 Mózg ludzki Sieci neuronowe 14/04/ / 65 Masa mózgu ludzkiego stanowi 2% masy ciała: u mężczyzny ok g; u kobiety ok g; u niemowlęcia ok. 350 g. Objetość ok cm 3, powierzchnia ok cm 2 czyli niemal trzykrotnie więcej niż kula o tej samej objętości. Kora - grubość 2-4 mm: ok komórek nerwowych; ok komórek glejowych; ok połaczeń (średnio 7000 na neuron).

5 Mózg super-komputerem? Sieci neuronowe 14/04/ / 65 Pojemność rzędu = 50 Tbitów (każda synapsa = 1 bit). Oszacowanie przepływu informacji (świadomego): Wzrok ok bitów/sek; Pozostałe zmysły 100 bitów/sek, Napięcie: 20V! W ciagu 60 lat życia człowiek zużywa około 10 Terabitów. Moc obliczeniowa: 5x1013 połaczeń, zmiana rzędu 100 Hz, 5x1015 operacji/sek = 5 Petaflopów Mózg na VLSI: 10x10x32 metry, 10 TB RAM, 1-10 Pflopów IBM Blue Gene w 2005 roku - porównywalna moc obliczeniowa

6 Współczynnik inteligencji Sieci neuronowe 14/04/ / 65 =)

7 Jak działa mózg? Sieci neuronowe 14/04/ / 65 1 Potencjały odebrane z innych komórek za pomoca dendrytów sa zbierane na błonie ciała komórki. 2 Gdy zebrane potencjały przekrocza wartość progowa neuron staje sie aktywny i wysyła sygnały elektryczne (elektrochemiczne) przez akson. 3 Inne neurony odbieraja sygnał zależnie od przepustowości synaps.

8 Badanie nad sztucznymi sieciami neuronami (ANN): Sieci neuronowe 14/04/ / 65 W układach nerwowych żywych organizmów stosunkowo proste elementy neurony współdziałajac sa w stanie realizować wysokopoziomowe, złożone funkcje.

9 Badanie nad sztucznymi sieciami neuronami (ANN): Sieci neuronowe 14/04/ / 65 W układach nerwowych żywych organizmów stosunkowo proste elementy neurony współdziałajac sa w stanie realizować wysokopoziomowe, złożone funkcje. U podstaw ANN leży idea wykorzystania prostych elementów obliczeniowych sztucznych neuronów do tworzenia układów zdolnych rozwiazywać skomplikowane zadania.

10 Badanie nad sztucznymi sieciami neuronami (ANN): Sieci neuronowe 14/04/ / 65 W układach nerwowych żywych organizmów stosunkowo proste elementy neurony współdziałajac sa w stanie realizować wysokopoziomowe, złożone funkcje. U podstaw ANN leży idea wykorzystania prostych elementów obliczeniowych sztucznych neuronów do tworzenia układów zdolnych rozwiazywać skomplikowane zadania. Siła rozwiazania leży nie w samych elementach obliczeniowych, a w sposobie ich łaczenia.

11 Badanie nad sztucznymi sieciami neuronami (ANN): Sieci neuronowe 14/04/ / 65 W układach nerwowych żywych organizmów stosunkowo proste elementy neurony współdziałajac sa w stanie realizować wysokopoziomowe, złożone funkcje. U podstaw ANN leży idea wykorzystania prostych elementów obliczeniowych sztucznych neuronów do tworzenia układów zdolnych rozwiazywać skomplikowane zadania. Siła rozwiazania leży nie w samych elementach obliczeniowych, a w sposobie ich łaczenia. Celem jest otrzymanie systemu, który przejawia cechy podobne do układu nerwowego.

12 Badanie nad sztucznymi sieciami neuronami (ANN): Sieci neuronowe 14/04/ / 65 W układach nerwowych żywych organizmów stosunkowo proste elementy neurony współdziałajac sa w stanie realizować wysokopoziomowe, złożone funkcje. U podstaw ANN leży idea wykorzystania prostych elementów obliczeniowych sztucznych neuronów do tworzenia układów zdolnych rozwiazywać skomplikowane zadania. Siła rozwiazania leży nie w samych elementach obliczeniowych, a w sposobie ich łaczenia. Celem jest otrzymanie systemu, który przejawia cechy podobne do układu nerwowego. Poznamy: Model sztucznego neuronu; Różne typy sieci neuronowych, które rozwiazuj a różne problemy, np. predykcja, rozpoznawanie, klasyfikacja, skojarzenie, grupowanie, optymalizacja...

13 Perceptron model sztucznego neuronu Sieci neuronowe 14/04/ / 65 x 0 = 1 w 1 x 1 w 2 w 0 x np w i x i i=0 net o = sign(net) x n w n

14 Perceptron model sztucznego neuronu Sieci neuronowe 14/04/ / 65 x 0 = 1 w 1 x 1 w 2 w 0 x np w i x i i=0 net o = sign(net) x n w n Przy ustalonych wartościach parametrów w 0,...,w n : o(x 0, x 1,...,x n )=sign! nx w i x i = sign(~w ~x) i=0

15 Perceptron model sztucznego neuronu Sieci neuronowe 14/04/ / 65 x 0 = 1 w 1 x 1 w 2 w 0 x np w i x i i=0 net o = sign(net) x n w n Przy ustalonych wartościach parametrów w 0,...,w n : o(x 0, x 1,...,x n )=sign! nx w i x i = sign(~w ~x) i=0 Biologiczna sieć Soma Dendrydy Sztuczna sieć Sumator Wejścia

16 Perceptron model sztucznego neuronu Sieci neuronowe 14/04/ / 65 x 0 = 1 w 1 x 1 w 2 w 0 x np w i x i i=0 net o = sign(net) x n w n Przy ustalonych wartościach parametrów w 0,...,w n : o(x 0, x 1,...,x n )=sign! nx w i x i = sign(~w ~x) i=0 Biologiczna sieć Soma Dendrydy Axon Sztuczna sieć Sumator Wejścia Wyjście

17 Perceptron model sztucznego neuronu Sieci neuronowe 14/04/ / 65 x 0 = 1 w 1 x 1 w 2 w 0 x np w i x i i=0 net o = sign(net) x n w n Przy ustalonych wartościach parametrów w 0,...,w n : o(x 0, x 1,...,x n )=sign! nx w i x i = sign(~w ~x) i=0 Biologiczna sieć Soma Dendrydy Axon Synapsa Sztuczna sieć Sumator Wejścia Wyjście Waga

18 Perceptron model sztucznego neuronu Sieci neuronowe 14/04/ / 65 x 0 = 1 w 1 x 1 w 2 w 0 x np w i x i i=0 net o = sign(net) x n w n Przy ustalonych wartościach parametrów w 0,...,w n : o(x 0, x 1,...,x n )=sign! nx w i x i = sign(~w ~x) i=0 Biologiczna sieć Soma Dendrydy Axon Synapsa Mała prędkość Sztuczna sieć Sumator Wejścia Wyjście Waga Duża prędkość

19 Perceptron model sztucznego neuronu Sieci neuronowe 14/04/ / 65 x 0 = 1 w 1 x 1 w 2 w 0 x np w i x i i=0 net o = sign(net) x n w n Przy ustalonych wartościach parametrów w 0,...,w n : o(x 0, x 1,...,x n )=sign! nx w i x i = sign(~w ~x) i=0 Biologiczna sieć Sztuczna sieć Soma Sumator Dendrydy Wejścia Axon Wyjście Synapsa Waga Mała prędkość Duża prędkość Dużo neuronów (10 9 ) Mało (od kilku do kilkudziesięciu tysięcy )

20 Outline Sieci neuronowe 14/04/ / 65 1 Podstawy sieci neuronowych 2 Problem klasyfikacji i sieci wielowarstwowe 3 Projektowanie sieci neuronowych 4 Zastosowania 5 Inne paradymaty sieci neuronowych Sieci rekurencyjne Modele samoorganizacji 6 Dodatki Historia Możliwości sieci wielowarstwowych

21 Problem klasyfikacji Sieci neuronowe 14/04/ / 65 Klasyfikacja i rozpoznawanie: Zadanie polega na przewidywaniu identyfikatora klasy, do której dany obiekt należy na podstawie wcześniej zaobserwowanych (nauczonych) przykładów.. Predykacja: Sieci neuronowe sa często wykorzystywane, aby na podstawie pewnych danych wejściowych przewidywała dane wyjściowe. Wazna zaleta jest to, ze sieć może nauczyć się przewidywania sygnałów wyjściowych bez jawnego zdefiniowania zwiazku między danymi wejściowymi a wyjściowymi. Tego typu układy sa też często przydatne w zadaniach zwiazanych ze sterowaniem. Kojarzenie danych: Sieci neuronowe, dzięki zdolności uczenia się i uogólniania doświadczeń, pozwalaja zautomatyzować procesy wnioskowania i pomagaja wykrywać istotne powiazania pomiędzy danymi.

22 Uczenie klasyfikacji przez perceptron: Sieci neuronowe 14/04/ / 65 Problem: Dany jezt zbiór treningowy D = {d 1,...d m }, gdzie d i =((x d i 1,...,xd i n ), t di ). Znaleźć w 0,...,w n, dla których funkcja błędu E(w 0, w 1,...,w n ) 1 X (t 2 d o d ) 2 d2d osiagnęła minimum, gdzie o d = o(1, x d 1,...,xd n). D x 1 x 2 x 3 t o o d d d d d ? 0.95 d ? 0.35

23 Reguła Hebba Sieci neuronowe 14/04/ / 65 A w AB B (Hebb, 1949) Jeżeli komórka A bierze systematycznie udział w pobudzaniu komórki B powodujacym jej aktywację, to wywołuje to zmianę metaboliczna w jednej lub w obu komórkach, prowadzac a do wzrostu (lub osłabienia) skuteczności pobudzania B przez A. w t+1 AB = wt AB + AB AB = "V A V B

24 Metoda gradientowa Sieci neuronowe 14/04/ / 65 E(w 0, w 1,...,w n ) 1 X (t 2 d o d ) 2 d2d

25 Metoda gradientowa Sieci neuronowe 14/04/ / 65 Algorytm gradientu 1 Inicjalizujemy wagi neuronu (sieci) np. losowo. 2 Powtarzamy ~w = ~ 0; Podajemy kolejny przykład (x i, d i ) do sieci i obliczamy wartość o(x i ); Poprawiamy wagi według reguły: ~w nowy ~w stary + ~w gdzie ~w = re[~w]

26 Metoda gradientowa Sieci neuronowe 14/04/ / 65 Algorytm gradientu 1 Inicjalizujemy wagi neuronu (sieci) np. losowo. 2 Powtarzamy ~w = ~ 0; Podajemy kolejny przykład (x i, d i ) do sieci i obliczamy wartość o(x i ); Poprawiamy wagi według reguły: ~w nowy ~w stary + ~w gdzie ~w = re[~w] n

27 Sieci neuronowe 14/04/ i i 2 X (t d o d ) 2 = X d d (t d o i (t d o d )= X d (t d o d i

28 Sieci neuronowe 14/04/ i i 2 X (t d o d ) 2 = X d d (t d o i (t d o d )= X d (t d o d i Dla perceptronu liniowego: x 0 = 1 w 0 w 1 x 1 w 2 x np w i x i i=0 net o = w 0 + w 1 x w n x n x n i = X d (t d o i ~w ~x d = X d (t d o d )x i,d

29 Sieci neuronowe 14/04/ i i 2 X (t d o d ) 2 = X d d (t d o i (t d o d )= X d (t d o d i Dla perceptronu liniowego: x 0 = 1 w 0 w 1 x 1 w 2 x np w i x i i=0 net o = w 0 + w 1 x w n x n x n i = X d (t d o i ~w ~x d = X d (t d o d )x i,d Reguły uczenia perceptronu liniowego (por. reguły Hebba) ~w nowy ~w stary + X d (t d o d )~x d

30 Nieliniowe perceptrony Sieci neuronowe 14/04/ / 65 Aby naprawić niedoskonałości perceptronu, wprowadzono nieliniowe, ciagłe i rózniczkowalne funkcje aktywacji dla neuronów. Standardowo, stosuje się: Logistyczna funkcje sigmoidalna (unipolarna): (x) = x 0 = e x =) w 1 x 1 w 2 w 0 d (x) dx = (x)(1 (x)) x np i=0 net w i x i o = (net) x n w n

31 Nieliniowe perceptrony Sieci neuronowe 14/04/ / 65 Aby naprawić niedoskonałości perceptronu, wprowadzono nieliniowe, ciagłe i rózniczkowalne funkcje aktywacji dla neuronów. Standardowo, stosuje się: Logistyczna funkcje sigmoidalna (unipolarna): (x) = x 0 = e x =) w 1 x 1 w 2 w 0 d (x) dx = (x)(1 (x)) x np i=0 net w i x i o = (net) x n w n Tangens hiperboliczny (bipolarny): (x) =tanh( x) = e x e x e x =) d (x) = (1 + e x dx 2 (x))

32 Sieci neuronowe 14/04/ i = X d (t d o i o d = X d (t d o d i Wiemy, że o d = (net), oraz net = w 0 + w 1 x w n x n, d (net d) = d (1 o d ) oraz d ~x d) = i,d i = X (t d o d )o d (1 o d )x i,d d2d Reguły uczenia perceptronu sigmoidalnego ~w nowy ~w stary + X d2d(t d o d )o d (1 o d )~x d

33 Ograniczenia perceptronu Sieci neuronowe 14/04/ / 65 Pojedyńczy perceptron potrafi niewiele! (por. praca Minsky ego i Paperta, 1969); Jeśli dane wejściowe sa w przestrzeni n-wymiarowej, to liniowa separowalność jest gwarantowana dla zbiorów zawierajacych niewięcej niż n + 1 obiektów! Jak uczyć się złożonych problemów klasyfikacji? (np. problemu wielu klas decyzyjnych lub wielu funkcji decyzyjnych)

34 Sieci jednokierunkowe wielowarstwowe Sieci neuronowe 14/04/ / 65 Według J. Werbos oraz E. Rumelhart i J.L. McCelland od warstwy wejściowej do warstwy wyjściowej; istnienie warstw pośrednich (tzw. warstw ukrytych neuronów); pełne połaczenia między warstwami nieliniowa funkcja aktywacji typu sigmoidalnego lub tangens hiperpoliczny. Warstwa wejściowa Warstwa ukryta Warstwa wyjściowa x 1 x 2 x 3 x 4 o 2 o 3 o 4

35 Przykład sieci dla XOR Sieci neuronowe 14/04/ / 65 Przykład sieci wielowarstwowej (z jedna warstwa ukryta) realizujacej XOR z wykorzystaniem bias i bez bias.

36 Przykład: ocena ryzyka bankructwa - Sieci neuronowe 14/04/ / 65 Metoda Altmana (1968): kapital obrotowy x 1 = aktywa ogółem zysk netto x 2 = aktywa ogółem zysk brutto x 3 = aktywa ogółem wartosc rynkowa kap. wlasnego x 4 = dług ogółem przychody operacyjne x 5 = aktywa ogółem Z = 1.2X X X X X 5..

37 Przykład: ocena ryzyka bankructwa - Sieci neuronowe 14/04/ / 65 Metoda Altmana (1968): kapital obrotowy x 1 = aktywa ogółem zysk netto x 2 = aktywa ogółem zysk brutto x 3 = aktywa ogółem wartosc rynkowa kap. wlasnego x 4 = dług ogółem przychody operacyjne x 5 = aktywa ogółem Z = 1.2X X X X X 5..

38 Przykład: ocena ryzyka bankructwa - Sieci neuronowe 14/04/ / 65 Metoda Altmana (1968): kapital obrotowy x 1 = aktywa ogółem zysk netto x 2 = aktywa ogółem zysk brutto x 3 = aktywa ogółem wartosc rynkowa kap. wlasnego x 4 = dług ogółem przychody operacyjne x 5 = aktywa ogółem Z = 1.2X X X X X 5..

39 Przykład: ocena ryzyka bankructwa - Sieci neuronowe 14/04/ / 65 Metoda Altmana (1968): kapital obrotowy x 1 = aktywa ogółem zysk netto x 2 = aktywa ogółem zysk brutto x 3 = aktywa ogółem wartosc rynkowa kap. wlasnego x 4 = dług ogółem przychody operacyjne x 5 = aktywa ogółem X1 X2 X3 X4 X5 o Bankrupt 1 o Nonbankrupt 1 Z = 1.2X X X X X 5..

40 Sieci neuronowe 14/04/ / 65 Projekt ALVINN - (Autonomous Land Vehicle In a Neural Network) Temat pracy doktorkiej Prof. Pomerleau (1992); (Carnegie Mellon University) Najpoważniejsze zastosowanie sieci neuronowych w pratyce; Metod uczenia z propagacja wsteczna; 32x30 = 960 wejść; 3994 wag;

41 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / d wejście (x (d) 1..., x(d) wyjście N )! (t(d) 1..., t(d) K )

42 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / d wejście (x (d) 1..., x(d) wyjście N )! (t(d) 1..., t(d) K ) x (d) x (d) N o (d) 1... o (d) K Bład globalny danego układu wag W ~ E( W) ~ KX E k gdzie E k 1 X 2 k=1 (t (d) k d2d o (d) k )2

43 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / d wejście (x (d) 1..., x(d) wyjście N )! (t(d) 1..., t(d) K ) x (d) x (d) N o (d) 1... o (d) K Bład globalny danego układu wag W ~ E( W) ~ KX E k gdzie E k 1 X 2 k=1 (t (d) k d2d o (d) k )2 Minimalizacja błędu globalnego metoda gradientu: ~W nowy ~ W stary + ~ W

44 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / 65 Dopóki nie spełniony jest warunek stopu Dla każdego wzorca uczacego d =((x (d) 1 wykonaj:..., x(d) N ), (t(d) 1..., t(d) K )) Podaj wektor uczacy (x 1,...,x n ) na wejście sieci i wyznacz wartości neuronów (o 1,...,o K ) warstwy wyjściowej. x x N o 1... o K

45 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / 65 Dopóki nie spełniony jest warunek stopu Dla każdego wzorca uczacego d =((x (d) 1 wykonaj:..., x(d) N ), (t(d) 1..., t(d) K )) Podaj wektor uczacy (x 1,...,x n ) na wejście sieci i wyznacz wartości neuronów (o 1,...,o K ) warstwy wyjściowej. Dla każdego neuronu k warstwy wyjściowej: k o k (1 o k )(t k o k ) x x N o 1... o K

46 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / 65 Dopóki nie spełniony jest warunek stopu Dla każdego wzorca uczacego d =((x (d) 1 wykonaj:..., x(d) N ), (t(d) 1..., t(d) K )) Podaj wektor uczacy (x 1,...,x n ) na wejście sieci i wyznacz wartości neuronów (o 1,...,o K ) warstwy wyjściowej. Dla każdego neuronu k warstwy wyjściowej: k o k (1 o k )(t k o k ) x 1... x i... i w ij j h w hk... k...

47 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / 65 Dopóki nie spełniony jest warunek stopu Dla każdego wzorca uczacego d =((x (d) 1 wykonaj:..., x(d) N ), (t(d) 1..., t(d) K )) Podaj wektor uczacy (x 1,...,x n ) na wejście sieci i wyznacz wartości neuronów (o 1,...,o K ) warstwy wyjściowej. Dla każdego neuronu k warstwy wyjściowej: k o k (1 o k )(t k o k ) x 1... x i... i w ij j h w hk... k... Dla każdego neuronu ukrytego X h o h (1 o h ) w h,k k k2outputs

48 Algorytm propagacji wstecznej błędu Sieci neuronowe 14/04/ / 65 Dopóki nie spełniony jest warunek stopu Dla każdego wzorca uczacego d =((x (d) 1 wykonaj:..., x(d) N ), (t(d) 1..., t(d) K )) Podaj wektor uczacy (x 1,...,x n ) na wejście sieci i wyznacz wartości neuronów (o 1,...,o K ) warstwy wyjściowej. Dla każdego neuronu k warstwy wyjściowej: k o k (1 o k )(t k o k ) x 1... x i... i w ij j h w hk... k... Dla każdego neuronu ukrytego X h o h (1 o h ) w h,k k k2outputs Dla każdej wagi w i,j popraw w i,j w i,j + j x i

49 Outline Sieci neuronowe 14/04/ / 65 1 Podstawy sieci neuronowych 2 Problem klasyfikacji i sieci wielowarstwowe 3 Projektowanie sieci neuronowych 4 Zastosowania 5 Inne paradymaty sieci neuronowych Sieci rekurencyjne Modele samoorganizacji 6 Dodatki Historia Możliwości sieci wielowarstwowych

50 Problem przeuczenia i warunek stopu Sieci neuronowe 14/04/ / 65 Przeuczenie Nadmierne dopasowanie podczas uczenia z nauczycielem; Objawa: gdy bład na zbiorze testowym rośnie, podczas gdy bład na zbiorze uczacym maleje! Optymalny warunek stopu: tuż przed zajściem zjawiska przeuczenia

51 Architektura sieci Sieci neuronowe 14/04/ / 65 Liczba warstw ukrytych; Liczba neuronów w każdej warstwie; Funkcja aktywacji; Współczynnik uczenia się; Kodowanie danych wejściowych i wyjściowych Warunek stopu i problem przeuczenia się

52 Przygotowywanie danych Sieci neuronowe 14/04/ / 65 Dane w praktycznych zastosowaniach sa brudne Sa niepełne: brak wartości lub ważnych atrybutów Zawieraja szumy, błędy lub wyjatki; Sa sprzeczne.

53 Przygotowywanie danych Sieci neuronowe 14/04/ / 65 Dane w praktycznych zastosowaniach sa brudne Sa niepełne: brak wartości lub ważnych atrybutów Zawieraja szumy, błędy lub wyjatki; Sa sprzeczne. Nie ma wartościowych wyników analizy bez danych dobrej jakości!

54 Przygotowywanie danych Sieci neuronowe 14/04/ / 65 Dane w praktycznych zastosowaniach sa brudne Sa niepełne: brak wartości lub ważnych atrybutów Zawieraja szumy, błędy lub wyjatki; Sa sprzeczne. Nie ma wartościowych wyników analizy bez danych dobrej jakości! Metadane = informacja o danych: Informacje ilościowe: liczba wzorców (obiektów), liczba atrybutów (zmiennych), liczba klas decyzyjnych,... Rola atrybutu: wejściowy, wyjściowy, ID,... Opisy atrybutów; Typy danych: Binarny, symboliczny, numeryczny, porzadkowy,... Formaty: np. formaty dat i czasu, formaty liczb rzeczywistych,...

55 Konwersja danych Sieci neuronowe 14/04/ / 65 Z daty i czasu na wartości liczbowe: Formaty daty i czasu: Sep 24, 2003, 9/24/03, Konwersja na liczby rzeczywiste:

56 Konwersja danych Sieci neuronowe 14/04/ / 65 Z daty i czasu na wartości liczbowe: Formaty daty i czasu: Sep 24, 2003, 9/24/03, Konwersja na liczby rzeczywiste: YYYYMMDD: Np nie zachowuje odległość między datami, np =

57 Konwersja danych Sieci neuronowe 14/04/ / 65 Z daty i czasu na wartości liczbowe: Formaty daty i czasu: Sep 24, 2003, 9/24/03, Konwersja na liczby rzeczywiste: 32-bitowa liczba sekund od północy 1 stycznia 1970 GMT (Unix) liczba dni od 1 stycznia 1960 (SAS). wartości nie sa intuicyjne i trudne do interpretacji

58 Sieci neuronowe 14/04/ / 65 Konwersja danych Z daty i czasu na wartości liczbowe: Formaty daty i czasu: Sep 24, 2003, 9/24/03, Konwersja na liczby rzeczywiste: Format KPS: YYYY + L.dni od 1 Sty LF Np. data 24 Września 2003 jest konwertowana na ( ) 365 =

59 Konwersja danych Sieci neuronowe 14/04/ / 65 Z daty i czasu na wartości liczbowe: Z porzadkowych na wartości liczbowe:

60 Konwersja danych Sieci neuronowe 14/04/ / 65 Z daty i czasu na wartości liczbowe: Z porzadkowych na wartości liczbowe: Jak konwertować ocenę z systemu brytyjskiego na polski? GB!PL A!5.0 A!4.7 B+!4.3 B!4.0...!... Skala ocen powinna zachować porzadek i proporcje między oryginalnymi wartościami

61 Konwersja danych Sieci neuronowe 14/04/ / 65 Z daty i czasu na wartości liczbowe: Z porzadkowych na wartości liczbowe: Z symbolicznych na wartości liczbowe:

62 Kodowanie wektorów wyjściowych Sieci neuronowe 14/04/ / 65 Kod one of N

63 Kodowanie wektorów wyjściowych Sieci neuronowe 14/04/ / 65 Kod one of N Kod one of N + poprawki:

64 Kodowanie wektorów wyjściowych Sieci neuronowe 14/04/ / 65 Kod one of N Kod one of N + poprawki: Kod binarny:

65 Outline Sieci neuronowe 14/04/ / 65 1 Podstawy sieci neuronowych 2 Problem klasyfikacji i sieci wielowarstwowe 3 Projektowanie sieci neuronowych 4 Zastosowania 5 Inne paradymaty sieci neuronowych Sieci rekurencyjne Modele samoorganizacji 6 Dodatki Historia Możliwości sieci wielowarstwowych

66 Przykład: ocena ryzyka bankructwa (2) Sieci neuronowe 14/04/ / 65 Wilson and Sharda (1994): firm Sieci neuronowe: 95,6% Regresja logistyczna: 92,2%

67 Rynki finansowe Sieci neuronowe 14/04/ / 65 Model (oparty na ANN) dla obrotu towarowego prowadzi do większego zysku niż inne strategie handlowe (Collard (1990))

68 Rynki finansowe Sieci neuronowe 14/04/ / 65 Model (oparty na ANN) dla obrotu towarowego prowadzi do większego zysku niż inne strategie handlowe (Collard (1990)) Analiza szerogów czasowych: Np. NETPROPHET (Neural Applications Corporation) - predykcja kursu akcji

69 Rynki finansowe Sieci neuronowe 14/04/ / 65 Model (oparty na ANN) dla obrotu towarowego prowadzi do większego zysku niż inne strategie handlowe (Collard (1990)) Analiza szerogów czasowych: Np. NETPROPHET (Neural Applications Corporation) - predykcja kursu akcji Wykrywanie oszustw bankowych

70 Rynki finansowe Sieci neuronowe 14/04/ / 65 Model (oparty na ANN) dla obrotu towarowego prowadzi do większego zysku niż inne strategie handlowe (Collard (1990)) Analiza szerogów czasowych: Np. NETPROPHET (Neural Applications Corporation) - predykcja kursu akcji Wykrywanie oszustw bankowych Np. Program Falcon (firmy HNC założonej przez Robert Hecht-Nielsen i Todd Gutschow w 1986)

71 Rynki finansowe Sieci neuronowe 14/04/ / 65 Model (oparty na ANN) dla obrotu towarowego prowadzi do większego zysku niż inne strategie handlowe (Collard (1990)) Analiza szerogów czasowych: Np. NETPROPHET (Neural Applications Corporation) - predykcja kursu akcji Wykrywanie oszustw bankowych Np. Program Falcon (firmy HNC założonej przez Robert Hecht-Nielsen i Todd Gutschow w 1986) Walidacja podpisów bankowych: sieci neuronowe działaja lepiej niż ludzki ekspert!

72 Le-Net5: system OCR Sieci neuronowe 14/04/ / 65

73 Le-Net5: system OCR Sieci neuronowe 14/04/ / 65

74 Le-Net5: system OCR Sieci neuronowe 14/04/ / 65

75 Podsumowanie: Sieci neuronowe 14/04/ / 65 Sieci neuronowe oferuja zestaw metod, które naśladuja sposób działania ludzkiego mózgu. Podstawowa jednostka przetwarzajac a jest neuron. Neurony sa podzielone na warstwy i połaczone ze soba. W sieciach neuronowych, wiedza jest przechowywana w wagach połaczenia między neuronami. Algorytm wstecznej propagacji błędów jest najbardziej popularny (zwłaszcza w zastosowaniach biznesowych) wśród metod uczenia sieci neuronowych. uczenia sieci neuronowych może być zarówno z nauczycielem lub bez nauczyciela.

76 Podsumowanie: Sieci neuronowe 14/04/ / 65 Wady? Sieci neuronowe oferuja zestaw metod, które naśladuja sposób działania ludzkiego mózgu. Podstawowa jednostka przetwarzajac a jest neuron. Neurony sa podzielone na warstwy i połaczone ze soba. W sieciach neuronowych, wiedza jest przechowywana w wagach połaczenia między neuronami. Algorytm wstecznej propagacji błędów jest najbardziej popularny (zwłaszcza w zastosowaniach biznesowych) wśród metod uczenia sieci neuronowych. uczenia sieci neuronowych może być zarówno z nauczycielem lub bez nauczyciela.

77 Uczenie z nauczycielem i bez nauczyciela Sieci neuronowe 14/04/ / 65

78 Outline Sieci neuronowe 14/04/ / 65 1 Podstawy sieci neuronowych 2 Problem klasyfikacji i sieci wielowarstwowe 3 Projektowanie sieci neuronowych 4 Zastosowania 5 Inne paradymaty sieci neuronowych Sieci rekurencyjne Modele samoorganizacji 6 Dodatki Historia Możliwości sieci wielowarstwowych

79 Sieci Hopfielda Sieci neuronowe 14/04/ / 65 Zbadane przez Hopfielda; Zwane również sieciami auto-asocjacyjnymi; Sa to jedno-warstwowe sieci z pełnym połaczeniem typu każdy z każdym ; Każdy neuron ma bipolarne wartość wejść i wyjść;

80 Operacje w sieciach Hopfielda: Sieci neuronowe 14/04/ / 65 Zainicjuj wartości poczatkowe do sieci; Czekaj aż sieć się ustabilizuje; To działa w czasie dyskretnym: t 1, t 2,...,t N ; wartości neuronów w chwili t n zależy od wartości neuronów w chwili t n 1 : u i (t n )= X w ij y j (t n 1 ) j 8 < y i (t n )= : 1 jeśli u i (t n ) > T i y i (t n 1 ) gdy u i (t n )=T i 1 jeśli u i (t n ) < T i Odczytaj wartości neuronów jako wynik obliczeń; Istnieja modele synchroniczne i asynchroniczne;

81 Dlaczego to działa? Sieci neuronowe 14/04/ / 65 Stanem sieci nazywamy wektor wartości neuronów w danym momencie 0 1 y 1 (t) y(t) = B y 2 (t) A =(y 1(t), y 2 (t),...,y n (t)) T y n (t) Charakterystyczna własnościa dla bieżacego stanu y =(y 1,...,y n ) T sieci Hopfielda jest funkcja energii: E(y) = 1 2 yt Wy + T T y = 1 2 nx nx nx w ij y i y j + T i y i i=1 j=1 i=1 Hopfield pokazał, że funkcja energii jest nierosnaca: E = E(y(t + 1)) E(y(t)) apple 0

82 Sieci neuronowe 14/04/ / 65 Istnieja więc stany o minimalnej energii (lokalnie); Takie stany możemy traktować jako atraktory, których zbiegaja inne stany: Sieć Hopfielda jest pewnym rodzajem pamięci asocjacyjnej; Problem: jak zaprojektować sieć, która pamięta zadane wzorce?

83 Ustalenie wartości wag: Sieci neuronowe 14/04/ / 65 UWAGA: wagi się nie zmieniaja w procesie uczenia się; Maciecz wag musi spełniać warunki: symetryczność: zerowa przekatna: w ij = w ji w ii = 0 Zwykle chcemy, aby sieć ustabilizowała w jednym z wektorów: ~v 1,..., v~ m, gdzie v p =(x p 1,...xp n) Aby to zapewnić możemy stosować reguły Hebba: w ij = PX p=1 x p i xp j lub PX W = v p v T p mi p=1

84 Sieci neuronowe 14/04/ / 65 Przykład Niech Wówczas 0 v A v 2 0 W = v 1 v T 1 + v 2 v T 2 2I A Łatwo można sprawdzić, że jeśli y(t n 1 )=v i to Wv 1 4 A 4 czyli y(t n )=v i 1 A

85 Sieci neuronowe 14/04/ / 65 Hopfield pokazał, że pojemność sieci wynosi m max = 0.15n Przy pewnych założeniach m max = n/2 log n

86 Sieć Hopfielda w rozwiazywaniu problemu kombinatorycznego Sieci neuronowe 14/04/ / 65

87 Sieci neuronowe 14/04/ / 65 SOM (Self-Organized Maps) - samorganizujaca się mapa. Mapy topograficzne powstaje przez połaczenia lokalne: neuron silnie pobudzany przez pobliskie połaczenie, słabo przez odległe, hamowany przez neurony pośrednie. Historia: von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm Hebbowski, wzbudzenie typu Meksykańskiego kapelusza, model układu wzrokowego. Amari (1980) - model ciagłej tkanki neuronowej. Kohonen (1981) - uproszczenie, bez hamowania; dwie fazy - konkurencja i kooperacja.

88 Algorytm SOM Sieci neuronowe 14/04/ / 65 Struktura: Neurony sa umieszczone (ale nie połaczone ze soba) na siatce 1,2 lub 3-wymiarowa. Każdy neuron ma N wag. Neuron i-ty ma wagi Wi ~ (t) =(w i1,...,w in ),a wektor wejściowy ma współrzędne: (x 1,...,x N ) (t - czas dyskretny)

89 Algorytm: Sieci neuronowe 14/04/ / 65 1 Inicjalizacja: przypadkowe W i (0) dla wszystkich i = 1..K. Definiuj wokół neuronu położonego w miejscu r c siatki obszar sasiedztwa Os(r c, (t)) o promieniu (t). 2 Oblicz odległości s X d(x, W i )= X W i = (x j w ij ) 2 3 znajdź neuron c = argmin i X W i z wagami W c najbardziej podobnymi do X (neuron-zwycięzcę). 4 Zmień wagi wszystkich neuronów r i w sasiedztwie Os(r c, j (t)) W i (t + 1) =W i (t)+h(r i, r c )(X W i (t)) where h(r i, r c )=h 0 (t) e r rc 2 / 2 c (t) 5 Powoli zmniejszaj siłę h 0 (t) i promień (t). 6 Iteruj aż ustana zmiany.

90 Własności SOM Sieci neuronowe 14/04/ / 65 Brak dowodu o zbieżności lub punktach stacjonarnych dla SOM: Wyniki analityczne tylko w 1D dla ciagłego czasu, proces Markova: wartości wag wzdłuż prostej porzadkuj a się. Powolna zbieżność: iteracji. Sasiednie neurony koduja sasiednie obszary, ale niekoniecznie odwrotnie Skręcone konfiguracje przy zbyt szybkiej redukcji sasiedztwa. Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych: konieczne porównanie wszystkich odległości; niezbyt duże mapy. Na komputerach wieloprocesorowych szukanie min z K będzie powolne. SOM działa jak metoda klasteryzacji k-średnich jeśli = 0.

91 Modyfikacje SOM Sieci neuronowe 14/04/ / 65 Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen). Bład lokalny neuronu i jest suma po wszystkich neuronach: gdzie E i (X; t) = 1 X h( r i r j, t) X W i (t) 2 2 h( r i r j, t) =exp r i r j 2 j 2 2 (t) ; (t) = 0e 2 0t/t max Neuron-zwycięzca ma najmniejszy bład lokalny: c = argmin i E i (X; t)

92 Uczenie sieci 2D Sieci neuronowe 14/04/ / 65

93 Uczenie kwadratu w sieci 2D Sieci neuronowe 14/04/ / 65

94 Uczenie trojkata w sieci 1D Sieci neuronowe 14/04/ / 65 Tworzy się fraktalne krzywe Peano.

95 Zniekształcenie Sieci neuronowe 14/04/ / 65 Poczatkowe zniekształcenia moga zniknać lub pozostać.

96 WEBSOM websom.hut.fi/websom/ Sieci neuronowe 14/04/ / 65

97 Outline Sieci neuronowe 14/04/ / 65 1 Podstawy sieci neuronowych 2 Problem klasyfikacji i sieci wielowarstwowe 3 Projektowanie sieci neuronowych 4 Zastosowania 5 Inne paradymaty sieci neuronowych Sieci rekurencyjne Modele samoorganizacji 6 Dodatki Historia Możliwości sieci wielowarstwowych

98 Ogólny model uczenia indukcyjnego Sieci neuronowe 14/04/ / 65 Niech X (skończony lub nieskończony) zbiór obiektów; Pojęcie t : X!{0, 1} zwane funkcja celu.

99 Ogólny model uczenia indukcyjnego Sieci neuronowe 14/04/ / 65 Niech X (skończony lub nieskończony) zbiór obiektów; Pojęcie t : X!{0, 1} zwane funkcja celu. Dane: skończona próbka treningowych wzorców: D = {hx 1, c(x 1 )i,...,hx m, c(x m )i} 2 S(m, c) gdzie x 1,...,x m 2X. przestrzeń hipotez H = {h : X!{0, 1}};

100 Ogólny model uczenia indukcyjnego Sieci neuronowe 14/04/ / 65 Niech X (skończony lub nieskończony) zbiór obiektów; Pojęcie t : X!{0, 1} zwane funkcja celu. Dane: skończona próbka treningowych wzorców: D = {hx 1, c(x 1 )i,...,hx m, c(x m )i} 2 S(m, c) gdzie x 1,...,x m 2X. przestrzeń hipotez H = {h : X!{0, 1}}; Szukane algorytm uczacy się L

101 Ogólny model uczenia indukcyjnego Sieci neuronowe 14/04/ / 65 Niech X (skończony lub nieskończony) zbiór obiektów; Pojęcie t : X!{0, 1} zwane funkcja celu. Dane: skończona próbka treningowych wzorców: D = {hx 1, c(x 1 )i,...,hx m, c(x m )i} 2 S(m, c) gdzie x 1,...,x m 2X. przestrzeń hipotez H = {h : X!{0, 1}}; Szukane algorytm uczacy się L Wymagane hipoteza h = L(D) 2 H jest dobra aproksymacja pojęcia t.

102 Krótka historia ANN - czasy pionierskie Sieci neuronowe 14/04/ / 65 Dawno, dawno temu powstały neurony i układ nerwowy J.C. Maxwell opisał mechanizm sprzężenia zwrotnego N. Wiener formułuje podstawy współczesnej cybernetyki W.S. McCulloch i W.H. Pitts przedstawiaja ideę działania sztucznego neuronu D.O. Hebb w dziele The Organization of Behavior opisuje zasadę (regułę Hebba) w oparciu o która następuje adaptacja w sieciach neuronowych Badania F. Rosenblatta nad pierwszymi fizycznymi modelami sieci neuronowych - perceptronami G. Widrow i M. Hoff przedstawiaja pierwsze modele sieci jednowarstwowych ADALINE/MADALINE M. Minsky i S. Pappert w ksiażce Perceptrons poddaja miażdżacej krytyce dotychczasowe osiagnięcia perceptroniki. Wykazuja słabości i ograniczoność modelu jednowarstwowego. Rezultatem jest zawieszenie na niemal dekadę ok. 70% badań nad ANN.

103 Krótka historia ANN - renesans Sieci neuronowe 14/04/ / 65 Od 1972 S. Amari, D. Grossberg, J. Anderson i inni pierwsze badania nad samoorganizacja w sieciach neuronowych. Wykorzystanie sprzężenia zwrotnego do tworzenia układów naśladujacych pamięć asocjacyjna u człowieka P. Werbos w swojej pracy doktorskiej podał ideę propagacji wstecznej (backpropagation), dzięki której możliwe stało się opracowanie efektywnego mechanizmu adaptacji (uczenia się) w sieciach wielowarstwowych J. Hopfield przedstawia model sieci rekurencyjnej realizujacej zadania rozpoznawania wzorców i optymalizacji D.E. Rumelhart i J.L. McClelland w ksiażce Parallel Distributed Processing opisali propagację wsteczna i sformułowali algorytm zmiany wag (regułę delty). Ich praca spowodowała rozpowszechnienie tych idei i w rezultacie lawinowy rozwój badań nad teoria i zastosowaniami ANN.

104 Krótka historia ANN - współczesność Sieci neuronowe 14/04/ / C. Mead przedstawia pierwsze analogowo-cyfrowe układy elektroniczne wykorzystujace architekturę ANN. Pojawiaja się poważne zastosowania w przemyśle i obronności T. Kohonen przedstawia idee sieci z samoorganizacja (Self Organising Map SOM) nazwanej potem jego imieniem. Opisuje także mechanizm uczenia się kwantyzacji wektorów (Learning Vector Quantisation). Od 1988 prowadzone sa intensywne badania podstawowe i stosowane majace na celu podanie lepszych metod konstruowania, uczenia i oceny działania sieci neuronowych. Prowadzone sa także badania nad podstawami teoretycznymi działania modelu ANN. Dzień dzisiejszy sztuczne sieci neuronowe sa uznanym i powszechnie stosowanym narzędziem w wielu działach nauki i techniki.

105 Możliwości sieci wielowarstwowych Sieci neuronowe 14/04/ / 65 Okazuje się, że sieci wielowarstwowe o nieliniowych (sigmoidalnych) funkcjach aktywacji neuronów maja, przynajmniej teoretycznie, bardzo duże możliwości. Można za ich pomoca aproksymować w zasadzie wszelkie rozsadne funkcje z R s w R m. Niestety, twierdzenia określajace możliwości sieci neuronowych sa egzystencjalne. Ich konstruktywność pozostawia wiele do życzenia. Dlatego w praktyce parametry takie jak liczba i układ neuronów (architektura sieci), stałe i strategia uczenia, funkcja aktywacji itp., musza być wyznaczone heurystycznie na podstawie znajomości problemu. Istnieja pewne wskazówki wspomagajace wybór architektury i parametrów sieci, ale maja one charakter nieścisły. W terminach klasycznej teorii złożoności konstruowanie sieci neuronowej nie jest typowym zadaniem optymalizacji. Jednakże można pokazać, że nawet dla bardzo prostej, ustalonej architektury sieci i ustalonej konfiguracji parametrów uczenia, znalezienie optymalnego układu wag jest co najmniej NP-trudne.

106 Istnienie sieci o ustalonej architekturze Sieci neuronowe 14/04/ / 65 Niech I =[0, 1], S = I s będzie s-wymiarowa kostka (domknięta), 0 apple x p apple 1, p = 1,..,s. Twierdzenie Kołmogorowa-Arnolda-Sprechera Istnieje s stałych 0 < p apple 1, p = 1,...,s, i 2s + 1 funkcji q(x), q = 0,...,2s określonych na I, ściśle rosnacych i należacych do klasy Lip, dla >0takich, że dla każdej funkcji ciagłej f określonej na S istnieje funkcja ciagła g(u), dla której: 0 1 X2s X2s sx f (x 1,...,x s )= g( 1 q (x 1 ) s q (x s )) = p q(x p ) A q=0 q=0 p=1 Wniosek Hecht-Nielsen Dla dowolnej funkcji ciagłej h :[a, b] s! R m istnieje czterowarstwowa sieć neuronowa zupełna o s wejściach, odpowiednio m(2s + 1) i s(2s + 1) neuronach w warstwach ukrytych i m wyjściach, która oblicza h.

107 Istnienie sieci o ustalonej aktywacji Sieci neuronowe 14/04/ / 65 Przez funkcję sigmoidalna (ang. sigmoid, squashing) będziemy rozumieć każda funkcję ' : R! [0, 1] taka że: ' jest niemalejaca w R. lim x!1 '(x) =1 lim x! 1 '(x) =0 Termin funkcja sigmoidalna jest często utożsamiany z logistyczna funkcja sigmoidalna '(x) = 1 1+e x ze względu na powszechne występowanie tej ostatniej w zastosowaniach. Poprzednio wprowadziliśmy oznaczenie S = I s. Przez C(I s ) oznaczymy przestrzeń funkcji ciagłych nad I s o wartościach w R, przez Af s zbiór funkcji afinicznych z R s w R, to jest funkcji postaci A(! x )=! w!x + b, gdzie! x,! w 2 R s, b 2 R. Przez B s oznaczmy rodzinę zbiorów borelowskich w R s. C(R s, R m ) oznacza rodzinę funkcji ciagłych z R s w R m.

108 Istnienie sieci o ustalonej aktywacji Sieci neuronowe 14/04/ / 65 Dla dowolnej funkcji mierzalnej ' : R! R i liczby naturalnej s X s(') = {f : R s! R : f (! x )= qx j=1 j' A j (! x ), dla pewnych j 2 R, A j 2 Af s, q 2{1, 2,...}}, w której neurony warstwy ukrytej maja funkcje pobudzenia ', a neuron wyjściowy realizuje liniowa funkcję pobudzenia (x) =x dla argumentu będacego iloczynem skalarnym!!', gdzie! =( 1,..., q),! ' =('(A 1 (! x )),...,'(A q (! x ))). Dla dowolnej funkcji mierzalnej ' : R! R i liczby naturalnej s XY s(') = {f : R s! R : f (! x )= qx j=1 j l j Y k=1 ' A j,k (! x ) dla pewnych j 2 R, A j,k 2 Af s, l j 2 N, q 2{1, 2,...}}

109 Istnienie sieci o ustalonej aktywacji Sieci neuronowe 14/04/ / 65 Twierdzenie Hornick-Stinchcombe-White Dla dowolnej funkcji sigmoidalnej ', dowolnego naturalnego s i dowolnej miary probabilistycznej µ na (R s, B s ) rodzina Ps (') jest jednostajnie gęsta na zbiorach zwartych w C(R s, R). Ponieważ, jak wcześniej zaznaczyliśmy, klasa Ps (') może być utożsamiona z klasa funkcji z R s w R obliczalna przez sieć neuronowa o jednej warstwie ukrytej, na mocy powyższego twierdzenia otrzymujemy uniwersalność aproksymacji taka siecia dla funkcji z C(R s, R). Analogiczny wynik dla przypadku aproksymacji funkcji idacych z R P s w R m uzyskujemy przez zdefiniowanie analogów rodzin funkcji s i PQs.

Sieci Rekurencyjne 1 / 33. Sieci Rekurencyjne. Nguyen Hung Son

Sieci Rekurencyjne 1 / 33. Sieci Rekurencyjne. Nguyen Hung Son Sieci Rekurencyjne 1 / 33 Sieci Rekurencyjne Nguyen Hung Son Outline Sieci Rekurencyjne 2 / 33 1 Sztuczne sieci neuronowe 2 Inne modele i zastosowania 3 Sieci rekurencyjne 4 Modele samoorganizacji Na poprzednim

Bardziej szczegółowo

wiedzy Sieci neuronowe

wiedzy Sieci neuronowe Metody detekcji uszkodzeń oparte na wiedzy Sieci neuronowe Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 7 Wprowadzenie Okres kształtowania się teorii sztucznych sieci

Bardziej szczegółowo

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu Literatura Wykład : Wprowadzenie do sztucznych sieci neuronowych Małgorzata Krętowska Wydział Informatyki Politechnika Białostocka Tadeusiewicz R: Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji (PSZT)

Podstawy Sztucznej Inteligencji (PSZT) Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12

Bardziej szczegółowo

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia

Bardziej szczegółowo

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe www.math.uni.lodz.pl/ radmat Cel wykładu Celem wykładu jest prezentacja różnych rodzajów sztucznych sieci neuronowych. Biologiczny model neuronu Mózg człowieka składa się z około 10 11 komórek nerwowych,

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

Uczenie sieci neuronowych i bayesowskich

Uczenie sieci neuronowych i bayesowskich Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10

Bardziej szczegółowo

Wykład 1: Wprowadzenie do sieci neuronowych

Wykład 1: Wprowadzenie do sieci neuronowych Wykład 1: Wprowadzenie do sieci neuronowych Historia badań nad sieciami neuronowymi. - początki: badanie komórek ośrodkowego układu nerwowego zwierząt i człowieka, czyli neuronów; próby wyjaśnienia i matematycznego

Bardziej szczegółowo

Elementy inteligencji obliczeniowej

Elementy inteligencji obliczeniowej Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego

Bardziej szczegółowo

Inteligentne systemy informacyjne

Inteligentne systemy informacyjne Inteligentne systemy informacyjne Moduł 10 Mieczysław Muraszkiewicz www.icie.com.pl/lect_pw.htm M. Muraszkiewicz strona 1 Sieci neuronowe szkic Moduł 10 M. Muraszkiewicz strona 2 Dwa nurty M. Muraszkiewicz

Bardziej szczegółowo

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe Sztuczne sieci neuronowe Wprowadzenie Trochę historii Podstawy działania Funkcja aktywacji Typy sieci 2 Wprowadzenie Zainteresowanie

Bardziej szczegółowo

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,

Bardziej szczegółowo

Sztuczne sieci neuronowe (SNN)

Sztuczne sieci neuronowe (SNN) Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych. Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji

Bardziej szczegółowo

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Temat: Sztuczne Sieci Neuronowe Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1 Wprowadzenie Sztuczne sieci neuronowe

Bardziej szczegółowo

synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.

synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna. Sieci neuronowe model konekcjonistyczny Plan wykładu Mózg ludzki a komputer Modele konekcjonistycze Perceptron Sieć neuronowa Uczenie sieci Sieci Hopfielda Mózg ludzki a komputer Twój mózg to 00 000 000

Bardziej szczegółowo

Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści

Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, 2013 Spis treści Przedmowa 7 1. Wstęp 9 1.1. Podstawy biologiczne działania neuronu 9 1.2. Pierwsze modele sieci neuronowej

Bardziej szczegółowo

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie

Bardziej szczegółowo

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM ZASTOSOWANIE SIECI NEURONOWYCH W SYSTEMACH AKTYWNEJ REDUKCJI HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM WPROWADZENIE Zwalczanie hałasu przy pomocy metod aktywnych redukcji hałasu polega

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe wykład 1. Właściwości sieci neuronowych Model matematyczny sztucznego neuronu Rodzaje sieci neuronowych Przegląd d głównych g

Bardziej szczegółowo

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor S O M SELF-ORGANIZING MAPS Przemysław Szczepańczyk Łukasz Myszor Podstawy teoretyczne Map Samoorganizujących się stworzył prof. Teuvo Kohonen (1982 r.). SOM wywodzi się ze sztucznych sieci neuronowych.

Bardziej szczegółowo

Uczenie sieci typu MLP

Uczenie sieci typu MLP Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik

Bardziej szczegółowo

MODELOWANIE RZECZYWISTOŚCI

MODELOWANIE RZECZYWISTOŚCI MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN Szkoła Wyższa Psychologii Społecznej d.wojcik@nencki.gov.pl dwojcik@swps.edu.pl tel. 022 5892 424 http://www.neuroinf.pl/members/danek/swps/

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką

Bardziej szczegółowo

Temat: Sieci neuronowe oraz technologia CUDA

Temat: Sieci neuronowe oraz technologia CUDA Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY

METODY INŻYNIERII WIEDZY METODY INŻYNIERII WIEDZY SZTUCZNE SIECI NEURONOWE MLP Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii

Bardziej szczegółowo

Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.

Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów. Wstęp do teorii sztucznej inteligencji Wykład II Uczenie sztucznych neuronów. 1 - powtórzyć o klasyfikacji: Sieci liniowe I nieliniowe Sieci rekurencyjne Uczenie z nauczycielem lub bez Jednowarstwowe I

Bardziej szczegółowo

Wstęp do sztucznych sieci neuronowych

Wstęp do sztucznych sieci neuronowych Wstęp do sztucznych sieci neuronowych Michał Garbowski Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Wydział Informatyki 15 grudnia 2011 Plan wykładu I 1 Wprowadzenie Inspiracja biologiczna

Bardziej szczegółowo

Wyk lad 9: Sztuczne sieci neuronowe

Wyk lad 9: Sztuczne sieci neuronowe Wyk lad 9: Sztuczne sieci neuronowe Nguyen Hung Son son@mimuw.edu.pl Streszczenie Page 1 of 38 Page 2 of 38 1. Wprowadzenie I cannot articulate enough to express my dislike to people who think that understanding

Bardziej szczegółowo

Optymalizacja optymalizacji

Optymalizacja optymalizacji 7 maja 2008 Wstęp Optymalizacja lokalna Optymalizacja globalna Algorytmy genetyczne Badane czasteczki Wykorzystane oprogramowanie (Algorytm genetyczny) 2 Sieć neuronowa Pochodne met-enkefaliny Optymalizacja

Bardziej szczegółowo

Sieci neuronowe i ich ciekawe zastosowania. Autor: Wojciech Jamrozy III rok SMP / Informatyka

Sieci neuronowe i ich ciekawe zastosowania. Autor: Wojciech Jamrozy III rok SMP / Informatyka Sieci neuronowe i ich ciekawe zastosowania Autor: Wojciech Jamrozy III rok SMP / Informatyka Klasyczna algorytmika Sortowanie ciągu liczb Czy i ile razy dane słowo wystąpiło w tekście Najkrótsza droga

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej

Bardziej szczegółowo

Seminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman

Seminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman Seminarium magisterskie Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman Plan wystąpienia Ogólnie o sztucznych sieciach neuronowych Temat pracy magisterskiej

Bardziej szczegółowo

Sieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych.

Sieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych. Sieci rekurencyjne Ewa Adamus ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych 7 maja 2012 Jednowarstwowa sieć Hopfielda, z n neuronami Bipolarna funkcja przejścia W wariancie

Bardziej szczegółowo

1. Logika, funkcje logiczne, preceptron.

1. Logika, funkcje logiczne, preceptron. Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję

Bardziej szczegółowo

I EKSPLORACJA DANYCH

I EKSPLORACJA DANYCH I EKSPLORACJA DANYCH Zadania eksploracji danych: przewidywanie Przewidywanie jest podobne do klasyfikacji i szacowania, z wyjątkiem faktu, że w przewidywaniu wynik dotyczy przyszłości. Typowe zadania przewidywania

Bardziej szczegółowo

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej. Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego

Bardziej szczegółowo

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010 Materiały/konsultacje Automatyczna predykcja http://www.ibp.pwr.wroc.pl/kotulskalab Konsultacje wtorek, piątek 9-11 (uprzedzić) D1-115 malgorzata.kotulska@pwr.wroc.pl Co to jest uczenie maszynowe? Uczenie

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:

OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA: METODY HEURYSTYCZNE wykład 4 OCENA DZIAŁANIA AE 1 2 LOSOWOŚĆ W AE Różne zachowanie algorytmuw poszczególnych uruchomieniach przy jednakowych ustawieniach parametrów i identycznych populacjach początkowych.

Bardziej szczegółowo

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych mgr inż. C. Dendek prof. nzw. dr hab. J. Mańdziuk Politechnika Warszawska, Wydział Matematyki i Nauk Informacyjnych Outline 1 Uczenie

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska

Bardziej szczegółowo

ELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe

ELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe ELEMENTY SZTUCZNEJ INTELIGENCJI Sztuczne sieci neuronowe Plan 2 Wzorce biologiczne. Idea SSN - model sztucznego neuronu. Perceptron prosty i jego uczenie regułą delta Perceptron wielowarstwowy i jego uczenie

Bardziej szczegółowo

Monitorowanie i Diagnostyka w Systemach Sterowania

Monitorowanie i Diagnostyka w Systemach Sterowania Monitorowanie i Diagnostyka w Systemach Sterowania Katedra Inżynierii Systemów Sterowania Dr inż. Michał Grochowski Monitorowanie i Diagnostyka w Systemach Sterowania na studiach II stopnia specjalności:

Bardziej szczegółowo

METODY INTELIGENCJI OBLICZENIOWEJ wykład 4

METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 1 2 SZTUCZNE SIECI NEURONOWE HISTORIA SSN 3 Walter Pitts, Warren McCulloch (1943) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich

Bardziej szczegółowo

SZTUCZNE SIECI NEURONOWE

SZTUCZNE SIECI NEURONOWE METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 SZTUCZNE SIECI NEURONOWE HISTORIA SSN Walter Pitts, Warren McCulloch (94) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich wynalazek

Bardziej szczegółowo

Inteligentne systemy przeciw atakom sieciowym

Inteligentne systemy przeciw atakom sieciowym Inteligentne systemy przeciw atakom sieciowym wykład Sztuczne sieci neuronowe (SSN) Joanna Kołodziejczyk 2016 Joanna Kołodziejczyk Inteligentne systemy przeciw atakom sieciowym 2016 1 / 36 Biologiczne

Bardziej szczegółowo

6. Perceptron Rosenblatta

6. Perceptron Rosenblatta 6. Perceptron Rosenblatta 6-1 Krótka historia perceptronu Rosenblatta 6-2 Binarne klasyfikatory liniowe 6-3 Struktura perceptronu Rosenblatta 6-4 Perceptron Rosenblatta a klasyfikacja 6-5 Perceptron jednowarstwowy:

Bardziej szczegółowo

Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści

Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, 2012 Spis treści Przedmowa do wydania drugiego Przedmowa IX X 1. Wstęp 1 2. Wybrane zagadnienia sztucznej inteligencji

Bardziej szczegółowo

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I. Sieci M. I. Jordana Sieci rekurencyjne z parametrycznym biasem Leszek Rybicki 30 listopada 2007 Leszek Rybicki Sieci M. I. Jordana 1/21 Plan O czym będzie 1 Wstęp do sieci neuronowych Neurony i perceptrony

Bardziej szczegółowo

SZTUCZNE SIECI NEURONOWE

SZTUCZNE SIECI NEURONOWE INTELIGENTNE TECHNIKI KOMPUTEROWE wykład SZTUCZNE SIECI NEURONOWE HISTORIA SSN Walter Pitts, Warren McCulloch (94) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich wynalazek

Bardziej szczegółowo

Sztuczne sieci neuronowe. Uczenie, zastosowania

Sztuczne sieci neuronowe. Uczenie, zastosowania Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe. Uczenie, zastosowania Inteligencja Sztuczne sieci neuronowe Metody uczenia Budowa modelu Algorytm wstecznej propagacji błędu

Bardziej szczegółowo

Co to jest grupowanie

Co to jest grupowanie Grupowanie danych Co to jest grupowanie 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Szukanie grup, obszarów stanowiących lokalne gromady punktów Co to jest grupowanie

Bardziej szczegółowo

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU

Bardziej szczegółowo

Definicja perceptronu wielowarstwowego

Definicja perceptronu wielowarstwowego 1 Sieci neuronowe - wprowadzenie 2 Definicja perceptronu wielowarstwowego 3 Interpretacja znaczenia parametrów sieci 4 Wpływ wag perceptronu na jakość aproksymacji 4.1 Twierdzenie o uniwersalnych właściwościach

Bardziej szczegółowo

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2 Elementy Sztucznej Inteligencji Sztuczne sieci neuronowe cz. 2 1 Plan wykładu Uczenie bez nauczyciela (nienadzorowane). Sieci Kohonena (konkurencyjna) Sieć ze sprzężeniem zwrotnym Hopfielda. 2 Cechy uczenia

Bardziej szczegółowo

wiedzy Sieci neuronowe (c.d.)

wiedzy Sieci neuronowe (c.d.) Metody detekci uszkodzeń oparte na wiedzy Sieci neuronowe (c.d.) Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 8 Metody detekci uszkodzeń oparte na wiedzy Wprowadzenie

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 9. M. Czoków, J. Piersa 2010-12-07 1 Sieci skierowane 2 Modele sieci rekurencyjnej Energia sieci 3 Sieci skierowane Sieci skierowane Sieci skierowane graf połączeń synaptycznych

Bardziej szczegółowo

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014 Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner rok akademicki 2013/2014 Sieci neuronowe Sieci neuronowe W XIX wieku sformułowano teorię opisującą podstawowe

Bardziej szczegółowo

Widzenie komputerowe

Widzenie komputerowe Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3

Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt

Bardziej szczegółowo

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron Elementy kognitywistyki II: Sztuczna inteligencja WYKŁAD X: Sztuczny neuron Koneksjonizm: wprowadzenie 1943: Warren McCulloch, Walter Pitts: ogólna teoria przetwarzania informacji oparta na sieciach binarnych

Bardziej szczegółowo

Lekcja 5: Sieć Kohonena i sieć ART

Lekcja 5: Sieć Kohonena i sieć ART Lekcja 5: Sieć Kohonena i sieć ART S. Hoa Nguyen 1 Materiał Sieci Kohonena (Sieć samo-organizująca) Rysunek 1: Sieć Kohonena Charakterystyka sieci: Jednowarstwowa jednokierunkowa sieć. Na ogół neurony

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe. Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408

Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe. Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408 Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe Krzysztof Regulski, WIMiIP, KISiM, regulski@aghedupl B5, pok 408 Inteligencja Czy inteligencja jest jakąś jedną dziedziną, czy też jest to nazwa

Bardziej szczegółowo

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów

Bardziej szczegółowo

SIECI NEURONOWE Wprowadzenie

SIECI NEURONOWE Wprowadzenie SIECI NEURONOWE Wprowadzenie JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA WYKŁADOWCA JOANNA GRABSKA CHRZĄSTOWSKA KATEDRA

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt

Bardziej szczegółowo

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie Wykaz tabel Wykaz rysunków Przedmowa 1. Wprowadzenie 1.1. Wprowadzenie do eksploracji danych 1.2. Natura zbiorów danych 1.3. Rodzaje struktur: modele i wzorce 1.4. Zadania eksploracji danych 1.5. Komponenty

Bardziej szczegółowo

komputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW

komputery? Andrzej Skowron, Hung Son Nguyen  Instytut Matematyki, Wydział MIM, UW Czego moga się nauczyć komputery? Andrzej Skowron, Hung Son Nguyen son@mimuw.edu.pl; skowron@mimuw.edu.pl Instytut Matematyki, Wydział MIM, UW colt.tex Czego mogą się nauczyć komputery? Andrzej Skowron,

Bardziej szczegółowo

SIECI REKURENCYJNE SIECI HOPFIELDA

SIECI REKURENCYJNE SIECI HOPFIELDA SIECI REKURENCYJNE SIECI HOPFIELDA Joanna Grabska- Chrząstowska Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA SPRZĘŻENIE ZWROTNE W NEURONIE LINIOWYM sygnał

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 9. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-12-10 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu

Bardziej szczegółowo

Wprowadzenie do Sieci Neuronowych Laboratorium 05 Algorytm wstecznej propagacji błędu

Wprowadzenie do Sieci Neuronowych Laboratorium 05 Algorytm wstecznej propagacji błędu Wprowadzenie do Sieci Neuronowych Laboratorium Algorytm wstecznej propagacji błędu Maja Czoków, Jarosław Piersa --7. Powtórzenie Perceptron sigmoidalny Funkcja sigmoidalna: σ(x) = + exp( c (x p)) () Parametr

Bardziej szczegółowo

Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335

Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335 Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335 Wykład 10 Mapa cech Kohonena i jej modyfikacje - uczenie sieci samoorganizujących się - kwantowanie wektorowe

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

Sieci neuronowe w Statistica

Sieci neuronowe w Statistica http://usnet.us.edu.pl/uslugi-sieciowe/oprogramowanie-w-usk-usnet/oprogramowaniestatystyczne/ Sieci neuronowe w Statistica Agnieszka Nowak - Brzezińska Podstawowym elementem składowym sztucznej sieci neuronowej

Bardziej szczegółowo

SID Wykład 8 Sieci neuronowe

SID Wykład 8 Sieci neuronowe SID Wykład 8 Sieci neuronowe Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Sztuczna inteligencja - uczenie Uczenie się jest procesem nastawionym na osiaganie rezultatów opartych o

Bardziej szczegółowo

ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ

ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny

Bardziej szczegółowo

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH** Górnictwo i Geoinżynieria Rok 31 Zeszyt 3 2007 Dorota Pawluś* PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH** 1. Wstęp Eksploatacja górnicza złóż ma niekorzystny wpływ na powierzchnię

Bardziej szczegółowo

O badaniach nad SZTUCZNĄ INTELIGENCJĄ

O badaniach nad SZTUCZNĄ INTELIGENCJĄ O badaniach nad SZTUCZNĄ INTELIGENCJĄ SZTUCZNA INTELIGENCJA dwa podstawowe znaczenia Co nazywamy sztuczną inteligencją? zaawansowane systemy informatyczne (np. uczące się), pewną dyscyplinę badawczą (dział

Bardziej szczegółowo

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:

Bardziej szczegółowo

METODY INTELIGENCJI OBLICZENIOWEJ wykład 5

METODY INTELIGENCJI OBLICZENIOWEJ wykład 5 METODY INTELIGENCJI OBLICZENIOWEJ wykład 5 1 2 SZTUCZNE SIECI NEURONOWE cd 3 UCZENIE PERCEPTRONU: Pojedynczy neuron (lub 1 warstwa neuronów) typu percep- tronowego jest w stanie rozdzielić przestrzeń obsza-

Bardziej szczegółowo

SZTUCZNA INTELIGENCJA

SZTUCZNA INTELIGENCJA SZTUCZNA INTELIGENCJA WYKŁAD 4. UCZENIE SIĘ INDUKCYJNE Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska WSTĘP Wiedza pozyskana przez ucznia ma charakter odwzorowania

Bardziej szczegółowo

Projekt Sieci neuronowe

Projekt Sieci neuronowe Projekt Sieci neuronowe Chmielecka Katarzyna Gr. 9 IiE 1. Problem i dane Sieć neuronowa miała za zadanie nauczyć się klasyfikować wnioski kredytowe. W projekcie wykorzystano dane pochodzące z 110 wniosków

Bardziej szczegółowo

Elementy kognitywistyki III: Modele i architektury poznawcze

Elementy kognitywistyki III: Modele i architektury poznawcze Elementy kognitywistyki III: Modele i architektury poznawcze Wykład III: Psychologiczne modele umysłu Gwoli przypomnienia: Kroki w modelowaniu kognitywnym: teoretyczne ramy pojęciowe (modele pojęciowe)

Bardziej szczegółowo

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Metody Sztucznej Inteligencji 2 Projekt Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Autorzy: Robert Wojciechowski Michał Denkiewicz Mateusz Gągol Wstęp Celem projektu

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 01 Neuron biologiczny. Model perceptronu prostego.

Wstęp do sieci neuronowych, wykład 01 Neuron biologiczny. Model perceptronu prostego. Wstęp do sieci neuronowych, wykład 01. Model perceptronu prostego. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-04 In memoriam prof. dr hab. Tomasz Schreiber

Bardziej szczegółowo

Sztuczna inteligencja

Sztuczna inteligencja Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury

Bardziej szczegółowo

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice) WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO Stanisław Kowalik (Poland, Gliwice) 1. Wprowadzenie Wstrząsy podziemne i tąpania występujące w kopalniach

Bardziej szczegółowo

ESI: Perceptrony proste i liniowe

ESI: Perceptrony proste i liniowe ESI: Perceptrony proste i liniowe [Matlab 1.1] Matlab2015b i nowsze 1 kwietnia 2019 1. Cel ćwiczeń: Celem ćwiczeń jest zapoznanie się studentów z podstawami zagadnieniami z zakresu sztucznych sieci neuronowych.

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd.

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu 2013-11-26 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16 Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego

Bardziej szczegółowo

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW Sztuczne Sieci Neuronowe Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW SN są częścią dziedziny Sztucznej Inteligencji Sztuczna Inteligencja (SI) zajmuje się

Bardziej szczegółowo

SZTUCZNA INTELIGENCJA

SZTUCZNA INTELIGENCJA SZTUCZNA INTELIGENCJA WYKŁAD 8. SZTUCZNE SIECI NEURONOWE INNE ARCHITEKTURY Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska SIEĆ O RADIALNYCH FUNKCJACH BAZOWYCH

Bardziej szczegółowo

MATLAB Neural Network Toolbox przegląd

MATLAB Neural Network Toolbox przegląd MATLAB Neural Network Toolbox przegląd WYKŁAD Piotr Ciskowski Neural Network Toolbox: Neural Network Toolbox - zastosowania: przykłady zastosowań sieci neuronowych: The 1988 DARPA Neural Network Study

Bardziej szczegółowo