Elementy Sztucznej Inteligencji



Podobne dokumenty
Elementy Sztucznej Inteligencji

ELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe

WYKŁAD 4 PLAN WYKŁADU. Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania. Metody uczenia sieci: Zastosowania

Metody Sztucznej Inteligencji II

Podstawy sztucznej inteligencji

Inteligentne systemy przeciw atakom sieciowym

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.

Poprawa efektywnoci metody wstecznej propagacji bdu. Jacek Bartman

Uczenie Wielowarstwowych Sieci Neuronów o

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Sztuczne sieci neuronowe

wiedzy Sieci neuronowe

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ

Daniel Kierepka. Kompresja obrazów za pomoc sztucznych sieci neuronowych

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.

synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE

Sztuczne sieci neuronowe

Inteligentne systemy informacyjne

Wstęp do sztucznych sieci neuronowych

Podstawy Sztucznej Inteligencji (PSZT)

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**

Elementy inteligencji obliczeniowej

8. Neuron z ciągłą funkcją aktywacji.

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

Temat: Sieci neuronowe oraz technologia CUDA

Uczenie się pojedynczego neuronu. Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z<0 y=1 gdy z>=0. Wówczas: W 1 x 1 + w 2 x 2 + = 0

Elementy pneumatyczne

Sztuczne sieci neuronowe (SNN)

Problem decyzyjny naley do klasy NP. (Polynomial), jeeli moe by rozwizany w czasie conajwyej wielomianowym przez algorytm A dla DTM.

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014

Sztuczne sieci neuronowe. Uczenie, zastosowania

Dyskretyzacja sygnałów cigłych.

Uczenie sieci neuronowych i bayesowskich

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron

Zastosowania sieci neuronowych

Sieci neuronowe w Statistica

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska

6. Perceptron Rosenblatta

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.

METODY INTELIGENCJI OBLICZENIOWEJ wykład 5

Seminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman

Podstawy sztucznej inteligencji

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Zastosowania sieci neuronowych oraz modeli alternatywnych. PLAN WYKŁADU

Sterowanie prac plotera w układach logiki programowalnej

Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści

ZACHODNIOPOMORSKI UNIWERSYTET TECHNOLOGICZNY W SZCZECINIE

MODELOWANIE RZECZYWISTOŚCI

Wstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. Algorytmy konstrukcyjne dla sieci skierowanych

PROCEDURY REGULACYJNE STEROWNIKÓW PROGRAMOWALNYCH (PLC)

Temat: Problem najkrótszych cieek w grafach waonych, cz. I: Algorytmy typu label - setting.

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie

Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Wykład 1: Wprowadzenie do sieci neuronowych

Systemy uczące się wykład 2

Planowanie adresacji IP dla przedsibiorstwa.

Uczenie sieci typu MLP

SZTUCZNA INTELIGENCJA

PRÓBA ZASTOSOWANIA SIECI NEURONOWYCH DO PROGNOZOWANIA OSIADAŃ POWIERZCHNI TERENU POWSTAŁYCH NA SKUTEK EKSPLOATACJI GÓRNICZEJ**

Multipro GbE. Testy RFC2544. Wszystko na jednej platformie

Wst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe

Szukanie najkrótszych dróg z jednym ródłem

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

ALGORYTMY SZTUCZNEJ INTELIGENCJI

Lekcja 5: Sieć Kohonena i sieć ART

Zastosowanie programu Microsoft Excel do analizy wyników nauczania

1. Logika, funkcje logiczne, preceptron.

Zastosowania sieci neuronowych

Instrukcja obsługi programu Pilot PS 5rc

Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe. Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408

Jacek Skorupski pok. 251 tel konsultacje: poniedziałek , sobota zjazdowa

Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych. Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010

Obwody sprzone magnetycznie.

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

METODY INŻYNIERII WIEDZY

Sieci neuronowe i ich ciekawe zastosowania. Autor: Wojciech Jamrozy III rok SMP / Informatyka

Sztuczne Sieci Neuronowe

Wstp. Warto przepływu to

Rys1. Schemat blokowy uk adu. Napi cie wyj ciowe czujnika [mv]

Metody numeryczne i statystyka dla in»ynierów

I EKSPLORACJA DANYCH

OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:

Temat: Technika zachłanna. Przykłady zastosowania. Własno wyboru zachłannego i optymalnej podstruktury.

Blok funkcjonalny to specjalizowany układ cyfrowy przystosowany do wykonania jednej lub kilku okrelonych operacji przetwarzania sygnałów binarnych.

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty

Sztuczne sieci neuronowe

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Bazy danych Podstawy teoretyczne

Prof. Stanisław Jankowski

Transkrypt:

Elementy Sztucznej Inteligencji Sztuczne sieci neuronowe wykład Elementy Sztucznej Inteligencji - wykład Plan Wzorce biologiczne. Idea SSN - model sztucznego neuronu. Perceptron prosty i jego uczenie reguł delta Perceptron wielowarstwowy i jego uczenie metod wstecznej propagacji błdów Zastosowania SSN. Elementy Sztucznej Inteligencji - wykład

Mózg jako wydajna maszyna liczca. Wzorowanie si na budowie mózgu człowieka. Systemy przetwarzajce informacj. Elementy Sztucznej Inteligencji - wykład 3 Mózg dane Mózg składa si z elementarnych komórek nerwowych neuronów. Ilo neuronów w mózgu to szacunkowo miliardów. Kady neuron: połczony jest z du liczb komponentów ( 4 ). przeprowadza relatywnie proste obliczenia (ich natura jest niejasna). Przez neurony połczone w sie przechodz impulsy elektryczne z rón czstotliwoci od do Hz i o rónej amplitudzie. Mózg jest skuteczny dziki masowemu zrównolegleniu. Elementy Sztucznej Inteligencji - wykład 4

Komórka nerwowa Neuron składa si z:. Wielu dendrytów, których celem jest pobieranie impulsów z innych neuronów.. Ciała komórki z jdrem. 3. Jednego aksonu, który przekazuje impuls dalej. 4. Synaps neuroprzekaników osłabiajcych lub wzmacniajcych sygnał. Elementy Sztucznej Inteligencji - wykład 5 Sztuczne sieci neuronowe idea Uproszczony model mózgu. Składa si z pewnej liczby elementów przetwarzajcych informacj (sztucznych neuronów). Elementy te s prymitywn imitacj neuronu biologicznego. Neurony s połczone poprzez powizania o nadanych parametrach zwanych wagami, które s modyfikowane w trakcie uczenia. Topologia połcze i wartoci parametrów to architektura sieci. Rozwizaniem sieci neuronowej s wartoci (sygnały) pojawiajce si na wyjciu dla zadanych wartoci wejciowych. Elementy Sztucznej Inteligencji - wykład 6

Model sztucznego neuronu McCulloch- Pitts a 943 pierwszy matematyczny opis neuronu. Najprociej neuron mona sobie wyobrazi jako przetwornik, który pobiera informacje ze wszystkich, tzw. wej i na ich podstawie emituje sygnał wyjciowy. Kade wejcie jest mnoone przez pewn warto zwana wag (wzmocnienie lub osłabienie sygnału). Sygnały wejciowe s sumowane, by nastpnie dopasowa odpowied za pomoc funkcji aktywacji (przejcia neuronu). Elementy Sztucznej Inteligencji - wykład 7 Graficzna prezentacja modelu neuronu θ k = a i= w u i i +θ Elementy Sztucznej Inteligencji - wykład 8

Funkcja aktywacji Zachowanie neuronu jest silnie uzalenione od rodzaju funkcji aktywacji. Typy funkcji aktywacji niecigłe: progowa, signum, cigłe: liniowa, sigmoidalna gaussa. Elementy Sztucznej Inteligencji - wykład 9 Funkcja progowa f ( a) = gdy gdy a a < Elementy Sztucznej Inteligencji - wykład

Funkcja signum f ( a ) = gdy gdy gdy a a a > = < Elementy Sztucznej Inteligencji - wykład Funkcja liniowa f ( a ) = a Elementy Sztucznej Inteligencji - wykład

Funkcja sigmoidalna f ( a ) = + e β a Elementy Sztucznej Inteligencji - wykład 3 Tangens hiperboliczny f ( a ) = e e β a β a + e e β a β a Elementy Sztucznej Inteligencji - wykład 4

Funkcja Gaussa f a ( a ) = e β Elementy Sztucznej Inteligencji - wykład 5 Cechy sztucznego neuronu Wejcia i wagi s liczbami rzeczywistymi dodatnimi i ujemnymi. Jeeli jaka cecha (wejcie) powoduje odpalenie neuronu, waga bdzie dodatnia, a jeeli cecha ma działanie hamujce to waga jest ujemna. Neuron dokonuje sumowania i dopasowania do progu (biasu) θ. Przyjmuje si traktowanie progu θ jako wagi w, gdzie wejcie jest zawsze równe. Elementy Sztucznej Inteligencji - wykład 6

Przykład działania a =,5,5 + ( ) +, ( ) + (,) =,75,, =,55 f( a) = gdy a gdy a< Elementy Sztucznej Inteligencji - wykład 7 Neuron jako bramka logiczna - - Elementy Sztucznej Inteligencji - wykład 8

Typy sieci neuronowych Ze wzgldu na funkcj aktywacji: liniowe (f(a) = a) nieliniowe radialne (funkcja gaussa) Ze wzgldu na architektur jednokierunkowe ze sprzeniami zwrotnymi mieszane Elementy Sztucznej Inteligencji - wykład 9 Neuron liniowy Bez funkcji aktywacji (funkcja aktywacji liniowa). Σ Działanie neuronu mona opisa równaniem wektorowym: y = W T U, gdzie U=<u,u,...,u k > T, wektor wej a W =<w,w,...,w k > T, wektor wag. Wyjcie y bdzie miało najwiksz warto, gdy połoenie wektora wejciowego U, bdzie najbardziej przypomina połoenie wektora wag W. W wektorze wag zatem pamitany jest sygnał wzorcowy. Elementy Sztucznej Inteligencji - wykład

Perceptron prosty Najstarsz koncepcj [Rosenblatt 96] sieci neuronowej jest perceptron. Perceptron prosty składa si z jednej warstwy neuronów. W najprostszym przypadku składa si z pojedynczego neuronu. Jeeli funkcja aktywacji to signum i sie składa si z neuronu, to zadaniem perceptronu jest klasyfikacja wektora u=[u,...,u n ] T do jednej z dwóch klas: L (sygnał wyjcia ) lub L (sygnał wyjcia równy -). Zatem perceptron dzieli przestrze wej N-wymiarow hyperpłaszczyzn (granic decyzyjn) o równaniu: k i= wiui + θ = wiui k i= = Elementy Sztucznej Inteligencji - wykład Analiza działania perceptronu Zakładamy, e perceptron składa si z neuronu. Wejciami s dwie liczby u i u. Perceptron dzieli płaszczyzn dwuwymiarow granic decyzyjn o wzorze: w u + w u + w = std otrzymujemy: u w w = u w w w!" w! # w w Elementy Sztucznej Inteligencji - wykład

Perceptron jednowarstwowy u u u 3 u n Elementy Sztucznej Inteligencji - wykład 3 Klasyfikacja do wikszej liczby klas Wartoci wyjcia s kodowane cigiem o długoci m (liczba neuronów w warstwie) wartociami i (funkcja aktywacji signum). Jeeli potrzebujemy m elementów na kodowanie wymagamy m neuronów w perceptronie. np.. Klasa C=(-,-,,-). Przyporzdkowanie wej do klasy C nastpi, gdy wyjcia z sieci bd kolejno przyjmowa wartoci: -,-,,-. Przyjmuje si, e potrzeba m wyj by przyporzdkowa do m klas. Elementy Sztucznej Inteligencji - wykład 4

Uczenie si SSN z nauczycielem Uczenie si jest procesem zmiany wartoci wag i wartoci progowych w SSN. Rozpatrujc pojedynczy neuron: uczenie zmienia zatem współczynnik kierunkowy i przesunicie granicy decyzyjnej. Jest to proces iteracyjny. Wymaga zebrania danych: Naley zebra dane w parach: wejcia i wyjcia. np. cechy obiektów poddawanych klasyfikacji i klasa do której nale. Zbiór danych musi by na tyle duy by wybra z niego dwie grupy danych: dane uczce i testujce. Elementy Sztucznej Inteligencji - wykład 5 Uczenie z nauczycielem cd. Uczenie z nauczycielem polega na wskazaniu poprawnej klasyfikacji sygnału do odpowiednich klas pomimo braku znajomoci wag. Po zakoczeniu uczenia perceptron powinien poprawnie wskazywa przynaleno podanego elementu do danej klasy, nawet dla sygnałów nie wchodzcych w skład zbioru uczcego (dla zbioru testowego). Elementy Sztucznej Inteligencji - wykład 6

Uczenie reguł DELTA Uczenie z nauczycielem dla sieci typu perceptron prosty: Zakładamy, e wektor wejciowy U jest zwizany zalenoci funkcyjn z wyjciem y: y=f(u). Funkcja f nie musi by znana. Znane musi by z, które stanowi danie odnonie sygnału wyjciowego: z=f(u). Algorytm uczenia reguł DELTA wymaga podania dla kadego zestawu wej U wartoci odpowiedzi z (zadana warto odpowiedzi). Neuron na zadane sygnały U odpowiada pewn wartoci y. Jeeli jest ona róna od z to neuron nie jest nauczony odpowiedzi na sygnał U. Błd popełniony przez sie jest równy: δ=z-y. Elementy Sztucznej Inteligencji - wykład 7 DELTA cd. Zła odpowied wymaga korekty. Dotychczasowy wektor wag zmieni si według wzoru: W =W+ ηδu, gdzie η współczynnik liczbowy decydujcy o szybkoci uczenia. Uczenie moe odbywa si dla wielu punktów idealnych. Taki zbiór danych nazywa si zbiorem uczcym. Składa si on z par: <U j, z j >. W pierwszym kroku wymagane jest, by dane były jakie wartoci wag. Dobiera si je losowo. Celem procesu uczenia jest uzyskanie odpowiedzi neuronu y zgodnych z zadanymi odpowiedziami z, co mona okreli jako proces minimalizacji funkcji: Q = ( z j y j ) gdzie j liczb wzorców. j = Elementy Sztucznej Inteligencji - wykład 8

Algorytm uczenie metod DELTA Dane: problem klasyfikacji obiektu na podstawie n cech. Wektor wej: (u,..., u n ). Klasyfikacja do dwóch klas: L () i L (-). Obliczane: Zbiór wag (w,..,w n ).. Stwórz perceptron z n+ wejciami, wejcie u zawsze ma warto (bias).. Inicjalizuj losowo wagi. 3. Dla wszystkich k wzorców uczcych: a. Jeeli wszystkie przykłady sklasyfikowane, wywietl wagi i zakocz. b. W przeciwnym przypadku, oblicz sum S: dodaj u gdy sklasyfikowane do, a powinno by lub u w przeciwnym wypadku. c. Modyfikuj wagi : w t+ = w + ηs t Elementy Sztucznej Inteligencji - wykład 9 Przykład dane "! 475 Hz 557 Hz Quality OK?.958.3 yes.43. yes.97.3 yes.78. yes.579. yes.3.5 no..748 no.4.839 no.7. no.4.4 no $ $ Zadanie: Nauczy sie klasyfikacji do klas: yes (pknita) i no (nie pknita) dla zbioru opisujcego dane z systemu rozpoznawania pknitych dachówek. Uderzenia w pojedynczy element s rejestrowane i filtrowane. fuzzy.iau.dtu.dk/demo/detron/detron.ppt Elementy Sztucznej Inteligencji - wykład 3

Przykład wykres log(u) 557 Hz Tile classifier (blue = target, red = neuron) - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz o klasa wartoci yes ; * klasa wartoci no. Elementy Sztucznej Inteligencji - wykład 3 Przykład perceptron Hard limiter w w + f(x) f(x) w - - x Sie zastosowana do zadania: perceptron prosty, funkcja aktywacja signum. (a) (b) Elementy Sztucznej Inteligencji - wykład 3

Przykład: opis postpowania W procesie uczenia podajemy kolejne cele jako wejcia (oznaczane na czerwono) i sprawdzamy jako klasyfikacji. Kady punkt niewłaciwie sklasyfikowany (zaznaczony znakiem czerwonym odpowiedniej klasy) zmienia wagi i powoduje przesunicie granicy decyzyjnej (zielona linia). Elementy Sztucznej Inteligencji - wykład 33 Epoka : wzorzec le sklasyfikowany, zmiana połoenia granicy decyzyjnej Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 34

Epoka : wzorzec le sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 35 Epoka : 3 wzorzec le sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 36

Epoka : 4 wzorzec le sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 37 Epoka : 5 wzorzec dobrze sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 38

Epoka : wzorce 6 do dobrze sklasyfikowane Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 39 Epoka : wzorzec dobrze sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 4

Epoka : wzorce do dobrze sklasyfikowane Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 4 Zwikszamy współczynnik uczenia z, na, i dokonujemy ponownego nauczania sieci Elementy Sztucznej Inteligencji - wykład 4

Epoka : wzorzec le sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 43 Epoka : wzorzec dobrze sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 44

Epoka : wzorce od 3 do dobrze sklasyfikowane Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 45 Epoka : wzorce od do poprawne. Granica pozostaje ustalona, nauczanie zakoczone Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 46

Zwikszamy współczynnik uczenia z, na i dokonujemy ponownego nauczania sieci Elementy Sztucznej Inteligencji - wykład 47 Epoka : wzorzec le sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 48

Epoka : wzorzec dobrze sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 49 Epoka : wzorce od 3 do 5 dobrze sklasyfikowane. 6 niepoprawny, zmienia połoenie granicy decyzyjnej. Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 5

Epoka : 7 wzorzec dobrze sklasyfikowany Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 5 Epoka : wzorce 8 - (poprawne( poprawne). Zbieno niestabilna, współczynnik nauczania zbyt duy. Tile classifier (blue = target, red = neuron) log(u) 557 Hz - - -3-4 -5-6 -7-8 -8-7 -6-5 -4-3 - - log(u) 475 Hz Elementy Sztucznej Inteligencji - wykład 5

Problem typu XOR $ Brak liniowej separowalnoci. Przy liniowym podziale z jedn granica decyzyjn nie uzyska si podziału. $ Elementy Sztucznej Inteligencji - wykład 53 Perceptron wielowarstwowy u u u 3 u 4 u n Perceptrony wielowarstwowe mog zamodelowa wszystko. Jeeli element przetwarzajcy moe by dowoln bramk logiczn AND, OR, NOT, to na podstawie okrelenie minimalnej biblioteki wiemy, e mona a za pomoc takich elementów opisa dowolnie złoona funkcj. Elementy Sztucznej Inteligencji - wykład 54

Rozwizanie problemu XOR u u y %&% Funkcja aktywacji: progowa. Elementy Sztucznej Inteligencji - wykład 55 Płaszczyzny klasyfikacji w zalenoci od modelu sieci Elementy Sztucznej Inteligencji - wykład 56

Uczenie reguł DELTA perceptronów wielowarstwowych Uczenie z nauczycielem. Funkcja aktywacji musi by cigła i róniczkowalna w całej dziedzinie. Problemem jest wyznaczenie korekty wag w warstwach ukrytych. Algorytm nazywa si uczeniem metod wstecznej propagacji błdów (backpropagation). Elementy Sztucznej Inteligencji - wykład 57 Algorytm backpropagation Wagi pocztkowe wybierane losowo. Modyfikacja wag dla kadej pary wejcie-wyjcie (znana odpowied). Kada para wymaga przejcia oblicze w przód i wstecz. Krok w przód oblicza dla zadanych wej sygnał wyjciowy. W kroku wstecznym otrzymane wyjcie jest porównywane z oczekiwanym wynikiem i obliczany jest błd jednostek wyjciowych. Obliczana jest korekta wag w kadej warstwie od ostatniej do wejciowej. Zmiana wag połcze ma doprowadzi do zmniejszenia błdu. Błd propagowany jest wstecz przez połczenia ukryte. Jedna epoka jest to prezentacja wszystkich wzorców (zazwyczaj backpropagation wymaga wielu epok). Elementy Sztucznej Inteligencji - wykład 58

Backpropagation Backpropagation (cechy) Nowy przykład y (k) = f(u (k) ) (k) = wyjcie SNN z wagami w (k-) dla wejcia u (k) Funkcja błdu: E (k) (w (k-) ) = (k) y (k) w ij (k) = w ij (k-) η E/ w ij Elementy Sztucznej Inteligencji - wykład 59 Kroki BP!"# $ %&$$ ' %&$$ ' % ($ $&)$ Elementy Sztucznej Inteligencji - wykład 6

Kroki BP cd. ( $ *+%# $ $ + ( ( (, - $ %$). ) Elementy Sztucznej Inteligencji - wykład 6!'()*+,""*+"-../ Elementy Sztucznej Inteligencji - wykład 6

!'()*+,""*+"-../ Elementy Sztucznej Inteligencji - wykład 63!'()*+,""*+"-../ Elementy Sztucznej Inteligencji - wykład 64

!'()*+,""*+"-../ Elementy Sztucznej Inteligencji - wykład 65!'()*+,""*+"-../ Elementy Sztucznej Inteligencji - wykład 66

!'()*+,""*+"-../ Elementy Sztucznej Inteligencji - wykład 67 Jak długo uczy? / # ) # " ) " '& )%$) $) 3+) - $$) Elementy Sztucznej Inteligencji - wykład 68

Generalizacja 4$+ 5$ $ $ 6%) $ " 5 "$' %' " 7)$ Elementy Sztucznej Inteligencji - wykład 69 Dane dla sieci neuronowych Naley zebra dane niezbdne w procesie uczenia: pewn liczb przypadków, z których kady zawiera wartoci dostpnych zmiennych wejciowych i wyjciowych okreli, które zmienne powinny zosta uwzgldnione i ile a take jakie przypadki naley zgromadzi. Wybierajc zmienne (przynajmniej pocztkowy ich zestaw) kierujemy si intuicj. Przy pierwszej próbie powinno si uwzgldni wszystkie zmienne, które, mog mie znaczenie, gdy potem, na etapie projektowania, zbiór ten bdzie redukowany. Elementy Sztucznej Inteligencji - wykład 7 ))))")*) -)+""3*"!4)))5*6))787979))")*79) -)+""793*")5*

Dane dla sieci neuronowych Dane numeryczne s przeskalowywane do właciwego dla sieci przedziału (normalizacja). Wartoci brakujce s zastpowane wartociami rednimi (lub innymi statystykami) obliczanymi na podstawie wartoci zmiennych dostpnych w cigu uczcym. Typ danych nominalnych takich jak Płe = {Mczyzna, Kobieta} zamienia si na wartoci numeryczne. Przy duej liczbie klas łczy si je w grupy. Wartoci rzeczywiste poddaje si procesowi dyskretyzacji. Elementy Sztucznej Inteligencji - wykład 7 ))))")*) -)+""3*"!4)))5*6))787979))")*79) -)+""793*")5* Dane dla sieci neuronowych Rozmiar zbioru uczcego uzalenia si od rozmiaru sieci. np.. e liczba przypadków powinna by dziesiciokrotnie wiksza od liczby połcze wystpujcych w sieci. W rzeczywistoci liczba potrzebnych przypadków jest równie uzaleniona od złoonoci zalenoci funkcyjnej poddawanej modelowaniu. Jednak zaleno ta ma z reguły nieznan posta trudno jest wic poda naprawd wyczerpujcy i trafny przepis, okrelajcy, ile elementów cigu uczcego jest naprawd nieodzownych. Elementy Sztucznej Inteligencji - wykład 7 ))))")*) -)+""3*"!4)))5*6))787979))")*79) -)+""793*")5*

Zastosowania sieci neuronowych - predykcja Klasa zada, w których na podstawie zbioru danych wejciowych okrela si dane wyjciowe. Przykłady: ocena zdolnoci kredytowej, prognozy zmiany rynku, automatyczne sterowanie, gra na giełdzie. W wyniku procesu uczenia SSN nabywa zdolnoci okrelania wyj dla zadanych wej. Uczenie polega na prezentowaniu materiałów empirycznych z przeszłoci. Nie trzeba zna, ani stawia hipotez o naturze zwizku pomidzy danymi wejciowymi a wyjciowymi - NIE TRZEBA ZNA ZALENOCI WEJCIE - WYJCIE. Elementy Sztucznej Inteligencji - wykład 73 Zastosowania sieci neuronowych - klasyfikacja i rozpoznanie Zadania, w których przydzielamy obiekty na podstawie pewnych cech do klas lub rozpoznajemy zgodno ze znanym wzorcem. Przykłady: rozpoznawanie znaków, twarzy, identyfikacja regionów zagroonych bezrobociem. SSN przewiduje identyfikator klasy, do której moe zaliczy dane wejciowe. SSN sama znajduje istotne cechy podawanych danych, bez udziału jakiekolwiek teorii. Elementy Sztucznej Inteligencji - wykład 74

Zastosowania sieci neuronowych - kojarzenie danych Zadania polegajce na kojarzeniu duej liczby faktów. Przykłady: wnioskowanie powiza ekonomicznych. SSN automatyzuj proces wnioskowania na podstawie zgromadzonych danych, w których wyszukuj trendy, istotne powizania z bardzo duej liczby rónych współczynników Elementy Sztucznej Inteligencji - wykład 75 Zastosowania sieci neuronowych - analiza danych Znalezienie zwizków majcych charakter przyczynowy dla danych ze zbioru wejciowego. Przykłady: analiza danych ekonomicznych i przewidywanie intencji podmiotów gospodarczych, okrelanie przyczyn niepowodze. SSN daj nowe moliwoci znalezienia zalenoci pomidzy danymi majcymi faktyczn przyczyn, ale mog by to równie zwizki incydentalne. Elementy Sztucznej Inteligencji - wykład 76

Zastosowania sieci neuronowych - filtracja sygnałów Wycinanie sygnałów zaszumionego kanału, eliminacja zakłóce o charakterze losowym. Przykłady: diagnostyka medyczna, telekomunikacja. Zadaniem SSN jest wyczyszczenie sygnału z przypadkowych zniekształce. Sie zapoznana z pewnym zestawem idealnych wzorców potrafi dopasowywa do nich zniekształcone wzorce. Elementy Sztucznej Inteligencji - wykład 77 Zastosowania sieci neuronowych optymalizacja Szukanie optimów dla danego zagadnienia. Przykład: optymalne decyzje gospodarcze, optymalizacja cieek, układów cyfrowych. SSN poszukuje stanów stabilnych dla pewnego zestawu danych. Charakteryzuj si one optymalnym rozłoeniem energii. Elementy Sztucznej Inteligencji - wykład 78