Uniwersytet Mikołaja Kopernika. Wydział Matematyki i Informatyki. Jarosław Piersa piersaj(at)mat.uni.torun.pl

Save this PDF as:
 WORD  PNG  TXT  JPG

Wielkość: px
Rozpocząć pokaz od strony:

Download "Uniwersytet Mikołaja Kopernika. Wydział Matematyki i Informatyki. Jarosław Piersa piersaj(at)mat.uni.torun.pl"

Transkrypt

1 Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki Jarosław Piersa piersaj(at)mat.uni.torun.pl Abstrakt Poniższy referat dotyczy zagadnień uczenia w sieciach neuronowych i bayesowskich(sieciach przekonań). Jest opracowaniem rozdziału 19-go książki Artificial Intelligence, A modern Approach Russela i Norviga[1]. Przygotowany został w ramach laboratorium Wstęp do Metod Sztucznej Inteligencji w roku akademickim 2008/ SieciNeuronowe 1.1 Komórkineuronowe Z biologicznego punktu widzenia neuron jest komórką(rys 1). Składa się z ciała komórki (soma), odchodzących drzewiastych dendrytów oraz zazwyczaj jednego długiego połączenia aksonu. Dendryty i akson są zakończone połączeniami synaptycznymi które umożliwaiają komunikacje między neuronami. Ilość połączeń wynosi od kilkudziesięciu do kilkuset tysięcy. Dendryty zazwyczaj przewodzą impulsy do komórki. Akson jest długim mierzącym nawet do metra połączeniem przewodzącym impulsy od ciała komórki. Impulsy elektryczne wysyłane przez neurony bazują na prądzie jonowym(a nie elektronowym). Potencjał elektryczny gromadzny na błonie komórkowej kumuluje się wraz z odbieraniem impulsów od innych neuronów i gdy przekroczy próg wysyłana jest odpowiedź impulsową wzdłóż aksonu. Po wysłaniu impulsu neuron przez pewien okrez czasu staje się niezdolny do odbierania i wysłania kolejnych impulsów, po czym powraca do normalnego stanu. Połączone ze sobą neurony tworzą ośrodki nerwowe zarówno u ludzi, jak i u ssaków, kręgowców, a także zwierząt bezstrunowych(owady, pajęczaki). Istniejące w potocznym języku szare komórki nie są niczym innym jak siecią neuronową, składającą się na zewnętrzną warstwę mózgu. Co prawda pełne zrozumienie funkcjonowania ludzkiego umysłu nadal pozostaje wyzwaniem, ale znajomość samej ogólnej budowy i dynamiki komórek nerwowych pozwala do pewnego stopnia je symulować. Sztuczne sieci neuronowe jako przedmiot badań wyrosły właśnie z nauki o prawdziwych komórkach neuronowych i do dziś są jednym z filarów sztucznej inteligencji. Modele są oczywiście znacznie uproszczone ale sprowadzają się do podebnej idei wiele prostych i podobnych do siebie jednostek współpracuje w celu osiągnięcia pewnego celu. Mimo postępu w rozwoju techniki nadal nie udało się zbudować komputera o mocy obliczeniowej choćby porównywalnej z ludzkim mózgiem. Zasadniczą zaporą zdaje się być całkowita współbieżność komórek nerwowych, podczas gdy symulacje dzielą czas kilku do kilkunastu procesorów pomiędzy wiele milionów czy miliardów jednostek w sztucznej sieci (patrz tabela 2). 1.2 Perceptron Perceptron jest najprostszym modelem komórki nerwowej. Jednostka składa się z określonej (N)liczbywejść x i, i = 1..N,wag w i, i = 1..N(jednawagaskojarzonazkażdymwejściem) oraz pewnej funkcji aktywacji f : R R. Jednostka działa synchronicznie. W danym kroku 1

2 Rysunek 1: Komórka nerwowa komputer mózg Jednostkiobliczeniowe 1CPU neuronów Pojemność 10 9 bram, dyski neuronów, synaps Czas1cyklu 10 8 s 10 3 s Przepustowość 10 9 b/s b/s Operacjinaneuronach1/s Rysunek 2: Porównanie możliwości obliczeniowych kompurerów(ok 1995) i ludzkiego mózgu. na wszystkich wejściach pojawiają się wartości(całkowite lub rzeczywiste). Jednostka liczy sumę ważoną wszystkich wejść: N in = x i w i a następnie zwraca wartość funkcji aktywacji na wyliczonej wartości(patrz rys 3) f(in) W zależności od rodzaju zagadnienia rozważa się różne postacie funkcji f: Identyczność f(s) = s takajednostkaliczypoprostusumęważonąwejść, i=1 Rysunek 3: Schemat działania perceptronu 2

3 Funkcja progowa(bipolarna) f(s) = { 0 s < p 1 s p Wartość p może być dodatkowym parametrem opisującym perceptron. Ten typ funkcji modeluje wysyłanie impulsu po przekroczeniu pewnego progu, które to zachowanie charakteryzuje komórki neuronowe. funkcja znakowa(bipolarna) f(s) = { 1 s < p +1 s p Funkcja podobna do poprzedniej z tą różnicą, że wartość 1 nie jest elementem neutralnym dodawania i odpowiedź negatywna może mieć pewien wpływ. Sigmoida f(s) = σ(s) = exp( s) Funkcja sigmoidalna może tu dziwić. Wymaga dzielenia i potęgowania, czyli więcej obliczeń, co nie powinno być wskazane przy wielokrotnym wykonywaniu. Jednakże jest ciągła i różniczkowalna co ma zasadnicze znaczenie przy algorytmach uczenia i przybliża funkcją bipolarną. Ponadto zachodzi 1.3 Uczenieperceptronu σ (s) = σ(s) (1 σ + (s)) Termin perceptron poza pojedynczą jednostką może czasem oznaczać sieć składającą się z kilku niezależnych od siebie jednostek, która zwraca nie jedną, a kilka liczb. W takim przypadkuwynikinterpretowanyjestjakojedenelement R M,gdzie Mjestilościąperceptronów. Problemuczeniasiecsprowadzasiędoznalezieniawartościwag w i iewentualnieprogu pdla wszystkich jednostek w sieci(często dla jednej). Czasami przyjmuje się, że zamiast progu neuron ma dodatkowe wejście na które zawsze przychodzi wartość 1 a jego waga wynosi w 0 = p. Danyniechbędziezestawprzykładów E = { E (1)...E (k)},gdzie E (i) = (e (i) 1,..., e(i) N ) R N iodpowiadająceimpoprawnewyniki T (1)...T (k). DanyteżmamyperceptronoN wejściach i jednym wyjściu. Weźmyprzykład E j iodpowiadającąmupoprawnąodpowiedź T j,niechsiećzbieżącym zestawem wag zwróci wartość O. Rozważmy błąd: ERR = T j O Jeżelijestdodatnitomusimyzwiększyć O,jeżeliwejście e j i > 0tozwiększeniewagi w i zwiększy O,jeżeli e j i < 0tozmniejszenie w izwiększy O. Jeżeli błąd ERR jest ujemny to musimy zmniejszyć O. Podobnie rozumując musimy zmniejszyćwagi w i jeśliwejście e j i > 0izwiększyć w iwprzeciwnymwypadkutj. e j i < 0. Podsumowując te rozważania otrzymujemy algorytm: Wylosujwagi w i małe,blisko 0. Wybierzprzykład E j iodpowiadającąmupoprawnąodpowiedź T j, Oblicz O wynikdziałaniasiecina E j Oblicz ERR = T j O 3

4 Rysunek 4: Problem liniowo separowalny(po lewej), i nieseparowalny(po prawej) Uaktualnij wszystkie wagi zgodnie ze wzorem η > 0jeststałąuczenia. w i = w i + η ERR e j i Jeżeli sieć klasyfikuje poprawnie wszystkie(większość) przykłady to zakończ, wpw wróćdo2. Warunek końcowy powinien traktowany ze szczególną uwagą. Nie musi być prawdą, że dla każdego zestawu uczącego istnieje zestaw wag, który daje poprawną klasyfikację na wszystkich przykładach. Obliczenia wykonywane przez perceptron dają równanie pewnej hiperprzestrzeni N 1 wymiarowej. Nałożenie na to funkcji progowej pozwala stwierdzić czy dany punkt leży po właściwej stronie tej hiperprzestrzeni, ale niewiele więcej. To ograniczenie nazywa się liniową separowalnością problemu i już w latach 60-tych XX wieku pokazano, że pojedynczy perceptron(a także jednowarstwowa sieć perceptronów) nie może rozwiązać problemu, który nie jest liniowo separowalny(patrz rys. 4). 1.4 Siecineuronowe Podobnie jak w mózgu, sztuczne sieci neuronowe są zestawem prostych jednostek połączonych między sobą w bardziej skomplikowane struktury. Jak się okazuje przejście z jednej jednostki do wielu współpracujących ze sobą pozwala znacznie zwiększyć możliwości obliczeniowe. W zależności od architektury wyróżniane są następujące klasy sieci: Sieci skierowane(ang. feed-forward) z jednoznacznie zdefiniowanym kierunkiem przepływu impulsów, nie dopuszczają skierowanych cykli. Sieci rekurencyjne, bardziej ogólne, dopuszczające cykle(podobnie jak sieci nerwowe) ale trudniejsze w uczeniu. Nawet najlepiej opisane z nich charakterysują się regularną strukturą, np: sieci Hopfielda, maszyny Boltzmanna. Studiowanie właściwości sieci rekurencyjnych wykracza poza materiał tego referatu. 1.5 Sieciwarstwowe Sieci warstwowe są przykładem sieci feed-forward. Perceptrony pogrupowane są w warstwy, dane wejściowe wchodzą do wszystkich jednostek w najniższej warstwie Wyniki policzone w warstwie niższej są traktowane jako wejścia w warstwie bezpośrednio wyżej. Wyniki z warstwy najwyższej są zwracane jako wyniki całej sieci na danych wejściowych(rys. 5). Warstwy, które nie są wyjściowymi nazywane są ukrytymi. Sieci neuronowe zjedną warstwą ukrytą mogą przybliżać każdą funkcję ciągłą. Sieci z dwiema i więcej warstwami nieciągłymi mogą przybliżać funkcje nieciągłe, o ile ilość jednostek w sieci jest wystarczająca. 4

5 Rysunek 5: Warstwowa sieć neuronowa O ile znane są algorytmy uczenia dla sieci warstwowych to problem optymalizacji samej architektury sieci dla zadanych danych jest trudny. Zbyt mała ilość neuronów nie zagwarantuje wystarczającej ilości pamięci by się funkcji nauczyć. Zbyt wielka da z kolei pamięć słownikową, sieć zapamięta wyniki wraz z odpowiedziami, ale straci zdolność do generalizacjitj.ocenydanych,któresą podobne dotegoczegosięuczyła(ipowinnymiećrównież podobne wyniki). Stosowane są algorytmu genetyczne lub w konkretnych wprzypadkach algorytmy konstrukcji sieci wraz z doborem wag, ale w ogólnej sytuacji problem zależy od danych, jakimi sieć ma być uczona. Najpopularniejszym algorytmem uczenia sieci neuronowych jest propagacja wsteczna czasem zwana również wsteczna propagacja błędu(ang. back-propagation, back-errorpropagation). Idea algorytmu polega na obliczeniu błędu między zwracaną odpowiedzią, a poprawnym wynikiem i następnie podzieleniu odpowiedzialności za ten błąd pomiędzy wagi. Następnie korygowane są wagi w głębszych warstwach sieci w zależności od ich wpływu na błąd. Propagacja wsteczna jest przypadkiem algorytmu spadku gradientowego. Daną mamy funkcję(błąd), którą minimalizujemy na przestrzeni wartości wag. Ponieważ w obliczeniach potrzebujemy pochodnej, w sieci powinna być stosowana sigmoidalna funkcja aktywacji. Dane Śieć neuronowa, zestaw danych wejściowych E i poprawnych odpowiedzi T. Wynik Wartościwag w i, j Algorytm Wybierz przykład E z listy przykładów i odpowiadający mu poprawny wynik T Oblicz wynik działania sieci na E, zapamiataj go, zapamietaj również wyniki w warstwachpośrednich o j,sumyważone in j (wynikiprzedzaaplikowaniemfunkcjiaktywującej)iwejsciadoneuronowwdanejwarstwie I k,j (wejsciemdowarstwypierwszej jest przykład, dla warstw wyższych j są nimi wyniki z warstwy poprzedniej k) Dla wszystkich jednostek i w zewnętrznej warstwie sieci: Obliczbłąd err i = T i o i Oblicz i = err i f (in i ) 5

6 Uaktualnij wagi w jednostce i w j,i = w j,i + η o j err i f (in i ) Dla wszystkich jednostek j w kolejnych warstwach sieci: Oblicz błąd j = f (in j ) l w j,l l Uaktualnij wagi do jednostki j Wróćdo1. w k,j = w k,j + η I k,j j Zakończ po wykonaniu określonej liczby kroków lub osiągnięciu zadowalającego poziomu błędu Gdzie: I k,j k-tewejściedojednostki j η > 0stałauczenia 1.6 Podsumowanie Sieci neuronowe znalazły zastosowanie przede wszystkim tam, gdzie metody analityczne zawodzą ze względu na poziom skomplikowania czy wymiar przestrzeni. Między innymi: rozpoznawanie obrazów, rozpoznawanie tekstu pisanego, wymawianie tekstu pisanego, kierowanie pojazdami itp. Same sieci charakteryzują się: Odpornością na szum ze względy na obliczenia na średnich ważonych i progowe funkcje. Efektywność obliczeniowa mając dane wejście, wynik może zostać obliczony w czasie liniowym względem ilości jednostek w sieci. Obliczenia to w większości mnożenia i dodawania. Generalizacja jeżeli sieć nie zostanie przeuczona, nauka na przykładach daje również porządane zachowanie na danych które nie znalazły się w zestawie uczącym. Zdolności opisu dane wejściowe mają często interpretację w świecie podobnie jak wynik. Ale już wartościom w jednostkach ukrytych trudno przypisać jakiekolwiek znaczenie. Sieci neuronowe mogą działać zarówno dla danych dyskretnych(całkowitoliczbowych) jak i ciągłych. Z drugiej strony odporność na szum, czyni je niemal niezdatnymi do obliczeń logicznych, które zależą od wartości pojedynczych zmiennych. W takich sytuacjach potrzebna jest wykładnicza wzgledem ilości zmiennych liczba jednostek ukrytych. Nieprzeźroczystość sieć neuronowa jest czarną skrzynką raz nauczona może działać stale. Przyjmuje pewne dane i zwraca wyniki, ale absolutnie nie wiadomo jak są one obliczane, ani jakie są wyniki pośrednie. Jeżeli z jakichś powodów sieć przestanie działać(uszkodzenie procesora), trudno stwierdzić dlaczego i naprawić problem. Najprostszym(często jedynym) rozwiązaniem jest wówczas ponowne uczenie sieci, czego użytkownik sam wykonać nie może. Korzystanie z wiedzy choć znane są algorytmu uczenia bez nauczyciela, w większości przypadków wiedza jest konieczna do uczenia sieci. 6

7 2 Siecibayesowskie 2.1 Co to jest sieć bayesowsja Rysunek 6: Sieć bayesowska Podobniejak sieć neuronowa, sieć bayesowska jest układem połączonych ze sobą niekomplikowanych jednostek. Graf sieci jest skierowany i acykliczny, dopuszczamy wyłącznie cykle nieskierowane np. dwie różne drogi między tą samą parą węzłów. Jednostki opisują pewne rozkłady prawdopodobieństw warunkowych zależnych od wartości ich rodziców, po jednym rozkładnie na każdą możliwą kombinację wartości. Jednostki, które nie posiadają rodziców opisują tylko jeden rozkład. W działaniu mając daną wiedzę(to jest wartości zmiennych w jednym lub więcej węźle), można za pomocą sieci bayesowskiej obliczyć prawdopodobieństwa przyjęcia konkretnych wartości przez pozostałe jednostki. Jeżeli wiedza dotyczy węzłów na początku sieci mówimy o wnioskowaniu predyktywnym, czyli co może nastąpić w wyniku aktualnej sytuacji. Jeżeli wiedza dotyczy liści sieci, wówczas wnioskowanie nazywane jest diagnostycznym co spowodowało aktualny stan. Połączenie obu tych sytuacji nazywane jest wnioskowaniem mieszanym lub hybrydowym. 2.2 Uczenie sieci bayesowskiej Zasadniczym problemem podczas uczenia(i wnioskowania) jest obliczenie wielu łańcuchów prawdopodobienstw warunkowych by z wiedzy dojść do interesującego nas węzła, którego prawdopodobieństwo próbujemy oszacować. Mając daną wiedzę D, interesujący nas węzeł Xipośredniehipotezy H 1, H 2...mamy P(X D) = i P(X H i, D)P(H i D) Jako, że hipotez pośrednich może być wiele wynik można przybliżać poprzez: P(X D) P(X H MAP )P(H MAP D) 7

8 gdzie H MAP jesthipotezą,któramaksymalizujeteniloczyn(maximumaposteriori).podstawiając dodatkowo P(H i D) = P(D H i)p(h i ) P(D) zagadnienie redukuje się do maksymalizowania licznika. Przy dodatkowym założeniu, żę hipotezy H i sąjednakowoprawdopodobne,pozostajejużtylkoznaleźć H i,któremaksymalizuje P(D H i ),oznaczaneczasemjako H ML (maximumlikehood).zauważmy,żepoczynione tu uproszczenia z jednej strony upraszczają problem i czynią go mniej podatnym na szum, ale z drugiej mogą ignorować część danych uczących i skutkować gorszymi rezultatami. Uczenie sieci bayesowskiej można rozpatrywać w kilku przypadkach: Znana jest struktura sieci, brak jednostek ukrytych. W tym przypadku uczenie ogranicza się do znalezenia tabel rozkładów warunkowych, zazwyczaj za pomocą metod statystycznych. Czasami działające już sieci, podczas pracy zbierają informacje wejściowe by uaktualniać wartości w tabelach. Nieznana struktura sieci, brak jednostek ukrytych. Poza tabelami, należy znaleźć architekturę sieci, tj połączenia między węzłami. Mogą być wykorzystywane algorytmy przeszukiwania do znalezienia optymalnego grafu i przybliżanie wartości prawdopodobieństwpoprzezhipotezy H MAP i H ML. Znana struktura sieci, obecne jednostki ukryte. Sytuacja podobna do uczenia sieci neuronowych z warstwami ukrytymi. Nieznana struktura sieci, jednostki ukryte. Problem najogólniejszy i najtrudniejszy. Na chwilę obecną nie są znane efektywne algorytmy dla tego przypadku. 2.3 Uczenie sieci ze znaną architekturą Jeżeli sieć nie ma ogromnej ilości węzłów, strukturę można dość łatwo przyporządkować zgodnie ze zdrowym rozsądkiem. Każdy węzeł(widoczny) w sieci reprezentuje pewne zdarzenie i człowiek jest w stanie jasno sprecyzować związki przyczynowo-skutkowe między nimi. Jednostki ukryte mają istotny wpływ na rozkłady w tabelach prawdopodobieństw, ale już określenie praktycznego znaczenia jednostki ukrytej może być problemem. Rozpatrywane są z kilku powodów Po pierwsze sieci z jednostkami ukrytymi mogą być znacznie mniejsze pod kątem ilości połączeń między węzłami(rys. 7). Ma to zasadnicze znaczenie gdyż, ilość danych podczas uczenia zależy wykładniczo od stopnia wejściowego jednostek. Węzeł mający Nwejśćbinarnychposiadatabelęprawdopodobieństwz2 N rozkładamiwarunkowymi. Ponadto nie jest prawdą że dla danej architektury sieci i zestawy danych da się znależć tablice, które wiernie odtwarzają te dane. Dodanie jednostek ukrytych może rozwiązać ten problem. Rozważającproblemuczeniawterminachhipotez,chcemyznaleźć H i,któremaksymalizuje P(D H i ). Metodajestpodobnadoalgorytmuspadkugradientowego,używanegow uczeniusiecineuronowych. Ponieważmaksymalizujemywartość P(D H i )tamodyfikacja będzieraczej wspinaczką gradientową.zakładając,żewagi w i odpowiadająwartościom prawdopodobieństwa w tabnlicach pozostaje znaleźć pochodną szukanego prawdopodobieństwa po danej wadze. Niech D = {D 1...D m }będziezestawemdanych.zpowodudużejilościmnożeńrozsądnym będzie liczyć pochodną po logarytmie iloczynu(przejdzie na sumę logarytmów). ln P(D) w i = ln j P(D j) = w i j ln P(D j ) w i = j 1 P(D j ) P(D j ) w i 8

9 Rysunek 7: Sieć bayesowska ze wszystkimi jednostkami widzialnymi(po lewej), równoważna sieć z dodatkową jednostką ukrytą(po prawej). P(D j )/ w i P(D j ) = w i ( x,u P(D j x, u)p(x, u)) P(D j ) Jako,żewaga w i odpowiadazadokładniejedenwpiswtabeliprawdopodobieństwwarunkowych w i = P(X = x i U = u i ) = P(x i u i ) mamy w tej sumie tylko jeden niezerowy składniek w i ( x,u P(D j x, u)p(x u)p(u)) = P(D j x i, u i )P(u i ) = P(x i, u i D j ) = P(x i, u i D j ) P(D j ) P(D j ) P(x i u i ) w i W większości przypadków tę wartość można albo uzyskać bezpośrednio albo kosztem niewielkiej ilości operacji. 2.4 Porównanie sieci neuronowych i bayesowskich Sieci neuronoew i bayesowski, w kontekście rozważań o sztucznej inteligencji, są zazwyczaj wymieniane obok siebie. Jedne i drugie pracują na danych posiadających pewne znaczenie (atrybutach). Wejścia mogą być jedno lub wielowymiarowe, dyskretne i ciągłe, choć sieci bayesowskie dla danych ciągłych są mniej rozwijane. Jednakże w sieciach bayesowskich prawie wszystkie węzły mają pewne semantyczne znaczenie, w sieciach neuronowych znaczenie (semantyczne czyli interpretację w świecie) mają tylko wejścia i jednostki wyjściowe. Sieć neuronowa ma ustaloną ilość wyjść i wejść. Wejścim do sieci bayesowskij może być dowolny (niepełny) podzbiór wierzchołków. Zeleżności między jednostkami w sieciach bayesowskich są proste do opisania i zrozumienia, w sieciach neuronowych niemal niemożliwe. Raz nauczona sieć neuronowa może działać stale i szybko, w liniowym czasie. Sieć bayesowska również nie musi wymagać dodatkowego uczenia, ale wnioskowanie w ogólnych przypadkach jest problemem NP-trudnym, zazwyczaj jednak da się je efektywnie wykonać. Patrząc z drugiej strony sień neuronowa może mieć wykładniczo wiele węzłów ukrytych. Algorytmy konstrukcji architektury sieci są słabo rozwijane w obu przypadkach. Warości w sieciach bayesowskich mają dwa poziomy same wartości zmiennych losowych i prawdopodobieństwa z jakimi są przyjmowane. Sieci neuronowe potrzebują jawnego rozróżnienia między nimi. Literatura [1] Stuart J. Russell, Peter Norvig, Artificial Intelligence, A modern Approach, Prentice Hall, Englewood Cliffs, New Jersey

Uczenie sieci neuronowych i bayesowskich

Uczenie sieci neuronowych i bayesowskich Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10

Bardziej szczegółowo

Wprowadzenie do Sieci Neuronowych lista zadań 1

Wprowadzenie do Sieci Neuronowych lista zadań 1 Wprowadzenie do Sieci Neuronowych lista zadań 1 Maja Czoków, Jarosław Piersa 2010-10-04 1 Zasadyzaliczania 1.1 Oceny Zaliczenie laboratoriów na podstawie implementowania omawianych algorytmów. Każde zadanie

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-03 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką

Bardziej szczegółowo

Temat: Sieci neuronowe oraz technologia CUDA

Temat: Sieci neuronowe oraz technologia CUDA Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie

Bardziej szczegółowo

Uczenie sieci typu MLP

Uczenie sieci typu MLP Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik

Bardziej szczegółowo

Sieci neuronowe i ich ciekawe zastosowania. Autor: Wojciech Jamrozy III rok SMP / Informatyka

Sieci neuronowe i ich ciekawe zastosowania. Autor: Wojciech Jamrozy III rok SMP / Informatyka Sieci neuronowe i ich ciekawe zastosowania Autor: Wojciech Jamrozy III rok SMP / Informatyka Klasyczna algorytmika Sortowanie ciągu liczb Czy i ile razy dane słowo wystąpiło w tekście Najkrótsza droga

Bardziej szczegółowo

Projekt Sieci neuronowe

Projekt Sieci neuronowe Projekt Sieci neuronowe Chmielecka Katarzyna Gr. 9 IiE 1. Problem i dane Sieć neuronowa miała za zadanie nauczyć się klasyfikować wnioski kredytowe. W projekcie wykorzystano dane pochodzące z 110 wniosków

Bardziej szczegółowo

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18 Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)

Bardziej szczegółowo

Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji a regresja symboliczna Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą

Bardziej szczegółowo

Optymalizacja optymalizacji

Optymalizacja optymalizacji 7 maja 2008 Wstęp Optymalizacja lokalna Optymalizacja globalna Algorytmy genetyczne Badane czasteczki Wykorzystane oprogramowanie (Algorytm genetyczny) 2 Sieć neuronowa Pochodne met-enkefaliny Optymalizacja

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 9. M. Czoków, J. Piersa 2010-12-07 1 Sieci skierowane 2 Modele sieci rekurencyjnej Energia sieci 3 Sieci skierowane Sieci skierowane Sieci skierowane graf połączeń synaptycznych

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-12-19 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu

Bardziej szczegółowo

Metody Prognozowania: Sztuczne sieci neuronowe

Metody Prognozowania: Sztuczne sieci neuronowe Metody prognozowania: Sztuczne sieci Cechy mózgu ODPORNY NA USZKODZENIA; ELASTYCZNY ŁATWO DOSTOSOWUJE SIĘ DO ZMIENNEGO OTOCZENIA; UCZY SIĘ -NIE MUSI BYĆ PROGRAMOWANY; POTRAFI RADZIĆ SOBIE Z INFORMACJĄ

Bardziej szczegółowo

ALGORYTMY SZTUCZNEJ INTELIGENCJI

ALGORYTMY SZTUCZNEJ INTELIGENCJI ALGORYTMY SZTUCZNEJ INTELIGENCJI Sieci neuronowe 06.12.2014 Krzysztof Salamon 1 Wstęp Sprawozdanie to dotyczy ćwiczeń z zakresu sieci neuronowych realizowanym na przedmiocie: Algorytmy Sztucznej Inteligencji.

Bardziej szczegółowo

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron Elementy kognitywistyki II: Sztuczna inteligencja WYKŁAD X: Sztuczny neuron Koneksjonizm: wprowadzenie 1943: Warren McCulloch, Walter Pitts: ogólna teoria przetwarzania informacji oparta na sieciach binarnych

Bardziej szczegółowo

Inteligentne systemy informacyjne

Inteligentne systemy informacyjne Inteligentne systemy informacyjne Moduł 10 Mieczysław Muraszkiewicz www.icie.com.pl/lect_pw.htm M. Muraszkiewicz strona 1 Sieci neuronowe szkic Moduł 10 M. Muraszkiewicz strona 2 Dwa nurty M. Muraszkiewicz

Bardziej szczegółowo

Sztuczne siei neuronowe - wprowadzenie

Sztuczne siei neuronowe - wprowadzenie Metody Sztucznej Inteligencji w Sterowaniu Ćwiczenie 2 Sztuczne siei neuronowe - wprowadzenie Przygotował: mgr inż. Marcin Pelic Instytut Technologii Mechanicznej Politechnika Poznańska Poznań, 2 Wstęp

Bardziej szczegółowo

Sztuczne sieci neuronowe (SNN)

Sztuczne sieci neuronowe (SNN) Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe

Bardziej szczegółowo

Sieć przesyłająca żetony CP (counter propagation)

Sieć przesyłająca żetony CP (counter propagation) Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są

Bardziej szczegółowo

ID1SII4. Informatyka I stopień (I stopień / II stopień) ogólnoakademicki (ogólno akademicki / praktyczny) stacjonarne (stacjonarne / niestacjonarne)

ID1SII4. Informatyka I stopień (I stopień / II stopień) ogólnoakademicki (ogólno akademicki / praktyczny) stacjonarne (stacjonarne / niestacjonarne) Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu ID1SII4 Nazwa modułu Systemy inteligentne 1 Nazwa modułu w języku angielskim Intelligent

Bardziej szczegółowo

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice) WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO Stanisław Kowalik (Poland, Gliwice) 1. Wprowadzenie Wstrząsy podziemne i tąpania występujące w kopalniach

Bardziej szczegółowo

1. Logika, funkcje logiczne, preceptron.

1. Logika, funkcje logiczne, preceptron. Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład

Bardziej szczegółowo

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów

Bardziej szczegółowo

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,

Bardziej szczegółowo

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I. Sieci M. I. Jordana Sieci rekurencyjne z parametrycznym biasem Leszek Rybicki 30 listopada 2007 Leszek Rybicki Sieci M. I. Jordana 1/21 Plan O czym będzie 1 Wstęp do sieci neuronowych Neurony i perceptrony

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

Elementy kognitywistyki III: Modele i architektury poznawcze

Elementy kognitywistyki III: Modele i architektury poznawcze Elementy kognitywistyki III: Modele i architektury poznawcze Wykład VII: Modelowanie uczenia się w sieciach neuronowych Uczenie się sieci i trening nienaruszona struktura sieci (z pewnym ale ) nienaruszone

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska Sieci neuronowe w Statistica Agnieszka Nowak - Brzezioska Podstawowym elementem składowym sztucznej sieci neuronowej jest element przetwarzający neuron. Schemat działania neuronu: x1 x2 w1 w2 Dendrites

Bardziej szczegółowo

Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2)

Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2) Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2) Ewa Wołoszko Praca pisana pod kierunkiem Pani dr hab. Małgorzaty Doman Plan tego wystąpienia Teoria Narzędzia

Bardziej szczegółowo

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek Sztuczne sieci neuronowe Ćwiczenia Piotr Fulmański, Marta Grzanek Piotr Fulmański 1 Wydział Matematyki i Informatyki, Marta Grzanek 2 Uniwersytet Łódzki Banacha 22, 90-232, Łódź Polska e-mail 1: fulmanp@math.uni.lodz.pl,

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego

Bardziej szczegółowo

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska

Bardziej szczegółowo

Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego

Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego Budowa sztucznych sieci neuronowych do prognozowania. Przykład jednostek uczestnictwa otwartego funduszu inwestycyjnego Dorota Witkowska Szkoła Główna Gospodarstwa Wiejskiego w Warszawie Wprowadzenie Sztuczne

Bardziej szczegółowo

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010 Materiały/konsultacje Automatyczna predykcja http://www.ibp.pwr.wroc.pl/kotulskalab Konsultacje wtorek, piątek 9-11 (uprzedzić) D1-115 malgorzata.kotulska@pwr.wroc.pl Co to jest uczenie maszynowe? Uczenie

Bardziej szczegółowo

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH Jakub Karbowski Gimnazjum nr 17 w Krakowie KRAKÓW 2017 1. Spis treści 2. WSTĘP 2 3. SIECI NEURONOWE 2 3.1. Co to są sieci neuronowe... 2

Bardziej szczegółowo

Uczenie Wielowarstwowych Sieci Neuronów o

Uczenie Wielowarstwowych Sieci Neuronów o Plan uczenie neuronu o ci gªej funkcji aktywacji uczenie jednowarstwowej sieci neuronów o ci gªej funkcji aktywacji uczenie sieci wielowarstwowej - metoda propagacji wstecznej neuronu o ci gªej funkcji

Bardziej szczegółowo

Sieci neuronowe w Statistica

Sieci neuronowe w Statistica http://usnet.us.edu.pl/uslugi-sieciowe/oprogramowanie-w-usk-usnet/oprogramowaniestatystyczne/ Sieci neuronowe w Statistica Agnieszka Nowak - Brzezińska Podstawowym elementem składowym sztucznej sieci neuronowej

Bardziej szczegółowo

Wykład z Technologii Informacyjnych. Piotr Mika

Wykład z Technologii Informacyjnych. Piotr Mika Wykład z Technologii Informacyjnych Piotr Mika Uniwersalna forma graficznego zapisu algorytmów Schemat blokowy zbiór bloków, powiązanych ze sobą liniami zorientowanymi. Jest to rodzaj grafu, którego węzły

Bardziej szczegółowo

Klasyfikacja metodą Bayesa

Klasyfikacja metodą Bayesa Klasyfikacja metodą Bayesa Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski warunkowe i bezwarunkowe 1. Klasyfikacja Bayesowska jest klasyfikacją statystyczną. Pozwala przewidzieć prawdopodobieństwo

Bardziej szczegółowo

Obliczenia Naturalne - Sztuczne sieci neuronowe

Obliczenia Naturalne - Sztuczne sieci neuronowe Literatura Wprowadzenie Obliczenia Naturalne - Sztuczne sieci neuronowe Paweł Paduch Politechnika Świętokrzyska 13 marca 2014 Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 1 z 43 Plan wykładu

Bardziej szczegółowo

Testowanie modeli predykcyjnych

Testowanie modeli predykcyjnych Testowanie modeli predykcyjnych Wstęp Podczas budowy modelu, którego celem jest przewidywanie pewnych wartości na podstawie zbioru danych uczących poważnym problemem jest ocena jakości uczenia i zdolności

Bardziej szczegółowo

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe.

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe. Naśladując w komputerze ludzki mózg staramy się połączyć zalety komputera (dostępność i szybkość działania) z zaletami mózgu (zdolność do uczenia się) informatyka + 2 Badacze zbudowali wiele systemów technicznych,

Bardziej szczegółowo

Obliczenia inspirowane Naturą

Obliczenia inspirowane Naturą Obliczenia inspirowane Naturą Wykład 01 Modele obliczeń Jarosław Miszczak IITiS PAN Gliwice 05/10/2016 1 / 33 1 2 3 4 5 6 2 / 33 Co to znaczy obliczać? Co to znaczy obliczać? Deterministyczna maszyna Turinga

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego

Bardziej szczegółowo

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego IBS PAN, Warszawa 9 kwietnia 2008 Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego mgr inż. Marcin Jaruszewicz promotor: dr hab. inż. Jacek Mańdziuk,

Bardziej szczegółowo

Systemy ekspertowe - wiedza niepewna

Systemy ekspertowe - wiedza niepewna Instytut Informatyki Uniwersytetu Śląskiego lab 8 Rozpatrzmy następujący przykład: Miażdżyca powoduje często zwężenie tętnic wieńcowych. Prowadzi to zazwyczaj do zmniejszenia przepływu krwi w tych naczyniach,

Bardziej szczegółowo

Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści

Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, 2012 Spis treści Przedmowa do wydania drugiego Przedmowa IX X 1. Wstęp 1 2. Wybrane zagadnienia sztucznej inteligencji

Bardziej szczegółowo

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej. Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego

Bardziej szczegółowo

Sztuczna inteligencja

Sztuczna inteligencja Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 13-1- Projekt pn. Wzmocnienie potencjału dydaktycznego

Bardziej szczegółowo

Elementy kognitywistyki III: Modele i architektury poznawcze

Elementy kognitywistyki III: Modele i architektury poznawcze Elementy kognitywistyki III: Modele i architektury poznawcze Wykład III: Psychologiczne modele umysłu Gwoli przypomnienia: Kroki w modelowaniu kognitywnym: teoretyczne ramy pojęciowe (modele pojęciowe)

Bardziej szczegółowo

0 + 0 = 0, = 1, = 1, = 0.

0 + 0 = 0, = 1, = 1, = 0. 5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,

Bardziej szczegółowo

Metody numeryczne w przykładach

Metody numeryczne w przykładach Metody numeryczne w przykładach Bartosz Ziemkiewicz Wydział Matematyki i Informatyki UMK, Toruń Regionalne Koło Matematyczne 8 kwietnia 2010 r. Bartosz Ziemkiewicz (WMiI UMK) Metody numeryczne w przykładach

Bardziej szczegółowo

Metody probabilistyczne klasyfikatory bayesowskie

Metody probabilistyczne klasyfikatory bayesowskie Konwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych First Prev Next Last Go Back Full Screen Close Quit Metody probabilistyczne klasyfikatory bayesowskie Wykład 8 Marcin

Bardziej szczegółowo

Elektroniczne materiały dydaktyczne do przedmiotu Wstęp do Sieci Neuronowych

Elektroniczne materiały dydaktyczne do przedmiotu Wstęp do Sieci Neuronowych Elektroniczne materiały dydaktyczne do przedmiotu Wstęp do Sieci Neuronowych Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-12-21 Koncepcja kursu Koncepcja

Bardziej szczegółowo

komputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW

komputery? Andrzej Skowron, Hung Son Nguyen  Instytut Matematyki, Wydział MIM, UW Czego moga się nauczyć komputery? Andrzej Skowron, Hung Son Nguyen son@mimuw.edu.pl; skowron@mimuw.edu.pl Instytut Matematyki, Wydział MIM, UW colt.tex Czego mogą się nauczyć komputery? Andrzej Skowron,

Bardziej szczegółowo

Treść wykładu. Pierścienie wielomianów. Dzielenie wielomianów i algorytm Euklidesa Pierścienie ilorazowe wielomianów

Treść wykładu. Pierścienie wielomianów. Dzielenie wielomianów i algorytm Euklidesa Pierścienie ilorazowe wielomianów Treść wykładu Pierścienie wielomianów. Definicja Niech P będzie pierścieniem. Wielomianem jednej zmiennej o współczynnikach z P nazywamy każdy ciąg f = (f 0, f 1, f 2,...), gdzie wyrazy ciągu f są prawie

Bardziej szczegółowo

6. Perceptron Rosenblatta

6. Perceptron Rosenblatta 6. Perceptron Rosenblatta 6-1 Krótka historia perceptronu Rosenblatta 6-2 Binarne klasyfikatory liniowe 6-3 Struktura perceptronu Rosenblatta 6-4 Perceptron Rosenblatta a klasyfikacja 6-5 Perceptron jednowarstwowy:

Bardziej szczegółowo

Algorytmy sztucznej inteligencji

Algorytmy sztucznej inteligencji Algorytmy sztucznej inteligencji Dynamiczne sieci neuronowe 1 Zapis macierzowy sieci neuronowych Poniżej omówione zostaną części składowe sieci neuronowych i metoda ich zapisu za pomocą macierzy. Obliczenia

Bardziej szczegółowo

Elementy Modelowania Matematycznego Wykład 4 Regresja i dyskryminacja liniowa

Elementy Modelowania Matematycznego Wykład 4 Regresja i dyskryminacja liniowa Spis treści Elementy Modelowania Matematycznego Wykład 4 Regresja i dyskryminacja liniowa Romuald Kotowski Katedra Informatyki Stosowanej PJWSTK 2009 Spis treści Spis treści 1 Wstęp Bardzo często interesujący

Bardziej szczegółowo

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie Wykaz tabel Wykaz rysunków Przedmowa 1. Wprowadzenie 1.1. Wprowadzenie do eksploracji danych 1.2. Natura zbiorów danych 1.3. Rodzaje struktur: modele i wzorce 1.4. Zadania eksploracji danych 1.5. Komponenty

Bardziej szczegółowo

ZAGADNIENIE TRANSPORTOWE

ZAGADNIENIE TRANSPORTOWE ZAGADNIENIE TRANSPORTOWE ZT jest specyficznym problemem z zakresu zastosowań programowania liniowego. ZT wykorzystuje się najczęściej do: optymalnego planowania transportu towarów, przy minimalizacji kosztów,

Bardziej szczegółowo

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Metody Sztucznej Inteligencji 2 Projekt Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Autorzy: Robert Wojciechowski Michał Denkiewicz Mateusz Gągol Wstęp Celem projektu

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 2 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 213-1-15 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji

Bardziej szczegółowo

Technologia informacyjna Algorytm Janusz Uriasz

Technologia informacyjna Algorytm Janusz Uriasz Technologia informacyjna Algorytm Janusz Uriasz Algorytm Algorytm - (łac. algorithmus); ścisły przepis realizacji działań w określonym porządku, system operacji, reguła komponowania operacji, sposób postępowania.

Bardziej szczegółowo

Działanie algorytmu oparte jest na minimalizacji funkcji celu jako suma funkcji kosztu ( ) oraz funkcji heurystycznej ( ).

Działanie algorytmu oparte jest na minimalizacji funkcji celu jako suma funkcji kosztu ( ) oraz funkcji heurystycznej ( ). Algorytm A* Opracowanie: Joanna Raczyńska 1.Wstęp Algorytm A* jest heurystycznym algorytmem służącym do znajdowania najkrótszej ścieżki w grafie. Jest to algorytm zupełny i optymalny, co oznacza, że zawsze

Bardziej szczegółowo

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor S O M SELF-ORGANIZING MAPS Przemysław Szczepańczyk Łukasz Myszor Podstawy teoretyczne Map Samoorganizujących się stworzył prof. Teuvo Kohonen (1982 r.). SOM wywodzi się ze sztucznych sieci neuronowych.

Bardziej szczegółowo

Widzenie komputerowe

Widzenie komputerowe Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie

Bardziej szczegółowo

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM ZASTOSOWANIE SIECI NEURONOWYCH W SYSTEMACH AKTYWNEJ REDUKCJI HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM WPROWADZENIE Zwalczanie hałasu przy pomocy metod aktywnych redukcji hałasu polega

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe wykład 1. Właściwości sieci neuronowych Model matematyczny sztucznego neuronu Rodzaje sieci neuronowych Przegląd d głównych g

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji

Podstawy Sztucznej Inteligencji Politechnika Łódzka Katedra Informatyki Stosowanej Podstawy Sztucznej Inteligencji Laboratorium Ćwiczenie 2 Wykorzystanie środowiska Matlab do modelowania sztucznych sieci neuronowych Opracowali: Dr hab

Bardziej szczegółowo

5. OKREŚLANIE WARTOŚCI LOGICZNEJ ZDAŃ ZŁOŻONYCH

5. OKREŚLANIE WARTOŚCI LOGICZNEJ ZDAŃ ZŁOŻONYCH 5. OKREŚLANIE WARTOŚCI LOGICZNEJ ZDAŃ ZŁOŻONYCH Temat, którym mamy się tu zająć, jest nudny i żmudny będziemy się uczyć techniki obliczania wartości logicznej zdań dowolnie złożonych. Po co? możecie zapytać.

Bardziej szczegółowo

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych Rafał Walkowiak Politechnika Poznańska Studia inżynierskie Informatyka 2014/15 Znajdowanie maksimum w zbiorze

Bardziej szczegółowo

Algorytm. a programowanie -

Algorytm. a programowanie - Algorytm a programowanie - Program komputerowy: Program komputerowy można rozumieć jako: kod źródłowy - program komputerowy zapisany w pewnym języku programowania, zestaw poszczególnych instrukcji, plik

Bardziej szczegółowo

Wprowadzenie do teorii systemów ekspertowych

Wprowadzenie do teorii systemów ekspertowych Myślące komputery przyszłość czy utopia? Wprowadzenie do teorii systemów ekspertowych Roman Simiński siminski@us.edu.pl Wizja inteligentnych maszyn jest od wielu lat obecna w literaturze oraz filmach z

Bardziej szczegółowo

Aby mówić o procesie decyzyjnym Markowa musimy zdefiniować następujący zestaw (krotkę): gdzie:

Aby mówić o procesie decyzyjnym Markowa musimy zdefiniować następujący zestaw (krotkę): gdzie: Spis treści 1 Uczenie ze wzmocnieniem 2 Proces decyzyjny Markowa 3 Jak wyznaczyć optymalną strategię? 3.1 Algorytm iteracji funkcji wartościującej 3.2 Algorytm iteracji strategii 4 Estymowanie modelu dla

Bardziej szczegółowo

Elementy kognitywistyki II: Sztuczna inteligencja

Elementy kognitywistyki II: Sztuczna inteligencja Elementy kognitywistyki II: Sztuczna inteligencja Piotr Konderak Zakład Logiki i Filozofii Nauki p.203b, Collegium Humanicum konsultacje: wtorki, 16:00-17:00 kondorp@bacon.umcs.lublin.pl http://konderak.eu

Bardziej szczegółowo

W naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora.

W naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora. 1. Podstawy matematyki 1.1. Geometria analityczna W naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora. Skalarem w fizyce nazywamy

Bardziej szczegółowo

Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311

Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311 Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311 Wykład 7 PLAN: - Repetitio (brevis) -Algorytmy miękkiej selekcji: algorytmy ewolucyjne symulowane wyżarzanie

Bardziej szczegółowo

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW Sztuczne Sieci Neuronowe Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW SN są częścią dziedziny Sztucznej Inteligencji Sztuczna Inteligencja (SI) zajmuje się

Bardziej szczegółowo

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny

Bardziej szczegółowo

Elementy modelowania matematycznego

Elementy modelowania matematycznego Elementy modelowania matematycznego Modelowanie algorytmów klasyfikujących. Podejście probabilistyczne. Naiwny klasyfikator bayesowski. Modelowanie danych metodą najbliższych sąsiadów. Jakub Wróblewski

Bardziej szczegółowo

Metody numeryczne. materiały do wykładu dla studentów. 7. Całkowanie numeryczne

Metody numeryczne. materiały do wykładu dla studentów. 7. Całkowanie numeryczne Metody numeryczne materiały do wykładu dla studentów 7. Całkowanie numeryczne 7.1. Całkowanie numeryczne 7.2. Metoda trapezów 7.3. Metoda Simpsona 7.4. Metoda 3/8 Newtona 7.5. Ogólna postać wzorów kwadratur

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 6 Sztuczne sieci neuronowe (SSN) 04 stycznia 2012 Plan wykładu 1 Uczenie sieci neuronowej wielowarstwowej 2 3 Uczenie nadzorowanie sieci wielowarstwowej Wagi Inteligencja sztucznej sieci neuronowe

Bardziej szczegółowo

KOŁO MATEMATYCZNE LUB INFORMATYCZNE - klasa III gimnazjum, I LO

KOŁO MATEMATYCZNE LUB INFORMATYCZNE - klasa III gimnazjum, I LO Aleksandra Nogała nauczycielka matematyki w Gimnazjum im. Macieja Rataja w Żmigrodzie olanog@poczta.onet.pl KONSPEKT ZAJĘĆ ( 2 godziny) KOŁO MATEMATYCZNE LUB INFORMATYCZNE - klasa III gimnazjum, I LO TEMAT

Bardziej szczegółowo

Rozkład materiału nauczania

Rozkład materiału nauczania Dział/l.p. Ilość godz. Typ szkoły: TECHNIKUM Zawód: TECHNIK USŁUG FRYZJERSKICH Rok szkolny 2015/2016 Przedmiot: MATEMATYKA Klasa: III 2 godz/tyg 30 = 60 godzin Rozkład materiału nauczania Temat I. LOGARYTMY

Bardziej szczegółowo