Algorytmy wstecznej propagacji sieci neuronowych

Save this PDF as:
 WORD  PNG  TXT  JPG

Wielkość: px
Rozpocząć pokaz od strony:

Download "Algorytmy wstecznej propagacji sieci neuronowych"

Transkrypt

1 Algorytmy wstecznej propagacji sieci neuronowych Mateusz Nowicki, Krzysztof Jabłoński 1 Wydział Inżynierii Mechanicznej i Informatyki Politechnika Częstochowska Kierunek Informatyka, Rok III 1 Streszczenie Tematem ninejszego artykułu jest analiza działania sieci neuronowych budowanych w oparciu o koncepcję propagacji wstecznej, przez którą to rozumiany jest pewien algorytm służący do procesu uczenia sieci oparty na propagacji wstecznej błędu uzyskanego dla zadanego zestawu danych uczących. Algorytm ten jest jednym z najczęściej wybieranych przy budowie sieci neuronowych ze względu na względną prostotę jego implementacji oraz szereg czynników, które pozwalają dopasować utworzoną sieć do swoich potrzeb. Sieci budowane w oparciu o algorytm propagacji wstecznej są budowane najczęściej na podstawie wielowarstwowej architekturzy sieci bez dowiązań wstecznych. W artykule pozostanie przyjęte, iż właśnie taka architketura pozostanie użyta. 1 Wstęp Sieci neuronowe oparte na algorytmie propagacji wstecznej błędu zbudowane są z co najmniej trzech warstw: wejściowej, wyjściowej oraz pozostałych ukrytych. Każda warstwa złożona jest z przynajmniej jednego neuronu - podstawowego nośnika informacji w sieci. Poszczególne warstwy są połączone są ze sobą dowiązaniami, które to łączą wszystkie neurony warstwy wyższej ze wszystkimi neuronami warstwy niższej. Każde dowiązanie posiada przypisaną wagę; w momencie, gdy próbka wyrażona jako liczba rzeczywista przechodzi przez dane powiązanie, wartość próbki jest przemnażana przez współczynnik równy wadze. Dodatkowo, każdy neuron charakteryzuje przypisana mu funkcja aktywacyjna, której zastosowanie powoduje zmniejszenie liniowości otrzymywanych wyników. Każdy neuron może posiadać przypisaną inną funkcję aktywacyjną niż pozostałe neurony - nie jest to jednak praktyka polecana: praktycznie zawsze wybrana funkcja aktywacyjna charakteryzuje wszystkie neurony składające się na sieć. Funkcję aktywacyjną posiadają wszytkie neurony oprócz neuronów wejściowych oraz tak zwanych bias neuronów, które to mają za zadanie zmienić wartość zwracaną przez neurony tak, aby odpowiadało to preferencjom konstruktora sieci. Bias neurony działają jak neurony wejściowe z tą różnicą, iż mają przypisaną wartość stałą oraz mogą być obecne zarówno w warstwie wejściowej, jak i warstwach ukrytych. W praktyce nie ma potrzeby 1

2 dodawania więcej niż jednego bias neuronu na warstwę. Posiadając informację o danych wejściowych, można wyliczyć wartości neuronów dla warstw pośrednich oraz wyjściowej. Wzór służący do tego celu posiada przedstawioną poniżej postać: n j = actv( i max i=1 n i w i j ) Aplikując ten wzór dla wszystkich neuronów kolejnych warstw, neurony warstwy wyjściowej będą przechowywać rezultat końcowy. Jeżeli znana jest próbka danych wyjściowych przyporządkowanych do danej próbki wejściowej, można porównać ją z wynikami uzyskanymi w wartwie wyjściowej. Różnica między tymi wartościami zwana jest błędem (lokalnym). Algorytm propagacji wstecznej błędu wykorzystuje informację o tak uzyskanym błędzie w celu znielowania jego wartości do progu ustalonego przez konstruktora sieci, który powinien być możliwie bliski zeru. Najczęściej dobiera się wartości mieszczące się w zakresie (0, 1] punktów procentowych dla wskaźnika błędu globalnego jako błędu średniokwadratowego. 2 Algorytm propagacji wstecznej Algorytm propagacji wstecznej jest często używaną metodą uczenia wielowarstwowych sieci jednokierunkowych. Może być on użyty w każdej takiej sieci, która posiada rożniczkowalną funkcję aktywacyjną. Pochodna tej funkcji będzie użyta podczas uczenia. Aby nauczyć sieć neuronową, trzeba wyznaczyć metodę obliczania błędu globalnego, który jest jednocześnie wskaźnikiem poprawności działania takowej (im mniejszy, tym lepiej). Błąd globalny obliczany jest na podstawie błędów lokalnych - odchyleń między wartościami oczekiwanymi a wartościami otrzymanymi w wartwie wyjściowej sieci neuronwej. Istnieje kilka metod obliczania błędu globalnego. Najczęściej używany jest błąd średniokwadratowy. Inne metody, jak wyciąganie średniej kwadratowej, stosowane są w bardziej wyspecjalizowanych dziedzinach, jak analiza fali [1]. W celu nauczenia sieci neuronowej musimy zminimalizować ten błąd. By to zrobić trzeba zmodyfikować wagi połączeń neuronów. Musimy wyznaczyć funkcję która obliczy nam stopień błędu, przy czym funkcja ta musi być matematycznie różniczkowalna. Ponieważ sieć używa różniczkowalnej funkcji aktywacyjnej, aktywacje neuronów wyjściowych mogą być uznane jako rożniczkowalne funkcje wejścia i wag. Jeżeli funkcja błędu również jest różniczkowalną funkcją to jest ona różniczkowalną funkcją tych wag. To pozwala nam wyznaczyć pochodną błędu używając tych wag. Następnie uzywając tych pochodnych obliczane są współczynnki, o jakie modyfikowane są wartości wag. Dzięki takiemu zabiegowi następuje minimalizacja występujących błędów. Jest kilka sposobów odnajdywania wag minimalizujących funkcję błędu. Najczęściej używanym podejściem jest metoda gradientu prostego. Gradientem oznaczamy współczynnik nachylenia stycznej funkcji błędu w punkcie określonym jako aktualna wartość wagi. Dla każdej iteracji uczenia wartość delty aplikowanej do każdej wagi obliczana jest za pomocą następującego wzoru: w i j = α δe δw i j + β w 1 i j 2

3 δe gdzie w i j oznacza wartość zmiany wagi, α - wartość współczynnika uczenia, δw i j - wartość gradientu, β - wartość momentum, oraz w 1 i j oznacza wartość zmiany wagi w poprzedniej iteracji uczenia. Współczynnik uczenia posiada największy wpływ na szybkość, a zarazem efektywność uczenia sieci. Skaluje on stosunek aplikowania gradientu w stosunku do delty wagi. Ustalenie zbyt wysokiego współczynnika uczenia może powodować utratę zbieżności do oczekiwanego wyniku, natomiast dobór zbyt niskiego współczynnika powoduje znaczne spowolnienie samego procesu uczenia bez znacznej poprawy jego jakości. Momentum jest współczynnikem, który pozostał dodany w celu rozwiązania problemu tendencji wchodzenia w minima, które nie są minimami najbardziej optymalnymi. Zastosowanie momentum pozwala zapobiec temu zjawisku. Stosowanie momentum wiąże się również z wymuszeniem kierunku zmiany delty wagi; dobranie ujemnego momentum może spowodować spowolnienie zbieżności do minimum [5]. Użycie tego współczynnika nie jest obowiązkowe. 3 Obliczanie gradientów Wyznaczenie wartości gradientów dla poszczególnych wag w iteracji uczenia jest procesem składającym się z kilku kroków [1] : Wyznaczenia wartości błędu; Wyznaczenia wartości delty warstwy dla neuronów wyjściowych; Wyznaczenia wartości delty warstwy dla neuronów ukrytych/wewnętrznych; Wyznaczenia wartości indywidualnych gradientów. Wyznaczenie wartości błędu jest operacją trywialną i nie pozostanie tutaj poruszona. Delta warstwy jest wartością stałą dla każdej iteracji uczenia, mającą bezpośrednie przełożenie na wartość gradientu. Do obliczenia wartości delty warstwy dla neuronów wyjściowych służy wzór: δ i = E i actv(n i ) Z kolei wartość delty warstwy dla neuronów warstw ukrytych określona jest wzorem: δ i = actv(n i ) j (w i j δ j ) Warto zauważyć, iż nie są liczone wartości delty warstwy dla neuronów wejściowych oraz bias neuronów warstw ukrytych. Wynika to z bardzo prostej przyczyny - neurony te nie posiadają bezpośrednich wiązań wchodzących, zatem liczenie dla nich delty warstw jest zabiegiem zbytecznym, ponieważ delty takiej nie można nigdzie zaaplikować. Znając wartości delty warstwy dla wszystkich neuronów uczestniczących podczas przetwarzania algorytmu, można przystąpić do obliczenia wartości gradientów wag. Wartość gradientu dla wagi między neuronem warstwy wyższej (i) a neuronem warstwy niższej (j) wyznaczana jest w następujący sposób: 3

4 δe δw i j = δ k n i Tak odnalezione wartości gradientów można wykorzystać do wprowadzenia zmian wartości wag zgodnie ze wzorem podanym w punkcie 3) artykułu. 4 Metody aplikowania zebranych zmian Zebrane w procesie propagacji wstecznej błędu gradienty można zaaplikować do wag dowiązań na dwa różne sposoby, znane w literaturze angielskiej jako batch oraz online. Istnieją sprzeczności co do tego, która metoda powinna być stosowana przy konstrukcji sieci [2,3] pod względem uzyskiwanej szybkości uczenia sieci (liczby epok potrzebnych do poprawienia współczynnika błędu do oczekiwanej wartości) oraz rozwiązania problemu wejścia w minimum lokalne, które może spowodować spowolnienie uczenia sieci, bądź nawet doprowadzić do niepoprawnego jej nauczenia. Zasadnicza różnica między metodami polega na częstotliwości aplikowania gradientów do wag. Metoda batch zakłada zbieranie próbek gradientów dla wszystkich próbek danych uczących w postaci ich sumy przed ich zaaplikowaniem. W myśl metody online zmiany gradientów aplikowane są dla każdej próbki z zestawu uczącego. Każda zmiana aplikowana do wartości wag sieci neuronowej wiąże się ze zmianą położenia danej sieci na tak zwanej przestrzeni wagowej sieci neuronowej, która to jest indywidualna dla każdej tworzonej sieci. Jej kształt zależy od indywidualnych parametrów sieci oraz zestawu uczącego - dla różnych zestawów różne wartości wag stanowią możliwie najlepsze optimum pod kątem minimalizacji błędu. Na każdej tak zdefiniowanej powierzchni znajdują się punkty zwane minimami lokalnymi - proces uczenia sieci powinien dążyć do tego, aby znaleźć minimum o najmniejszej wartości błędu. Przedstawiającym się tutaj problemem jest wejście uczonej sieci w minimum, które nie jest tym najbardziej optymalnym. Stąd przedstawia się problem z metodą typu batch. Przełożenie sposobu aplikowania gradientów na powierzchnię błędu powoduje przesuwanie się po niej w postaci wektora, który jest sumą wektorów od wszystkich obliczonych gradientów. Może być to przyczyną wielu niepożądanych skutków, takich jak potencjalne ominięcie poszukiwanego minimum. Problem ten nasila się zwłaszcza przy dużym zbiorze danych uczących, gdzie suma wektorowa tak zebranych danych może znacząco opóźnić proces znalezienia optymalnego minimum. Rozwiązaniem tego problemu może być zmniejszenie współczynnika uczenia, co może zwiększyć dokładność takiej metody kosztem spowolnienia procesu uczenia. Zaletą tej metody jest natomiast możliwość efektywnej implementacji wielowątkowej, co pomaga lepiej wykorzystać zasoby procesora. Można spotkać się z przypadkami, gdzie stosowane jest rozwiązanie hybrydowe, które jako pierwsze stosuje metodę online do naprowadzenia sieci do pozycji możliwie bliskiej minimum optymalnemu, po czym to stosowana jest metoda batch. Innym znanym podejściem jest tak zwany mini-batch, który do zliczenia sumy gradientów używa tylko części próbek z zestawu uczącego. Metoda ta nie jest jednak często stosowana. 4

5 5 Metodyki obliczania błędów W ramach artykułu pozostaną poruszone trzy metody obliczania błędów wraz z ich krótką charakterystyką. 5.1 Bład średniokwadratowy Najczęściej wykorzystywanym błędem jest błąd średniokwadratowy. Pojęcie to może być dobrze znane ze statystyki. Wzór służący do obliczenia takiego błędu prezentuje się następująco: MSE = 1 n n i=1 E i 2 Błąd średniokwadratowy określany jest w stosunku procentowym. Podczas uczenia, wartości te zbiegają się szybko do 1-2 punktów procentowych, aby następnie szybko zniwelować różnice między kolejnymi epokami. 5.2 Bład sumy kwadratów Odmianą błędu średniokwadratowego jest błąd sumy kwadratów, w którym stosunek sumy kwadratów błędów nie definiuje się jako liczby zliczanych błędów, a jako połowa tej sumy. MSE = 1 2 n i=1 E i 2 Błąd ten wyrażany jest jako liczba rzeczywista. Metoda to nie jest wykorzystywana często - z przypadkami jej użycia można się spotkać w przypadku bardziej wyspecjalizowanych algorytmów uczących, jak chociażby algorytm Levenberga-Marquardta [1]. 5.3 Bład średniej kwadratowej Kolejny z rzadziej wybieranych błędów, określany, podobnie jak błąd średniokwadratowy, za pomocą punktów procentowych. W porównaniu do błędu średniokwadratowego, jego wartości zbiegają się szybko do wartości ok. 2-5 punktów procentowych. 1 MSE = n n i=1 E i 2 6 Funkcje aktywacyjne Jednym z najważniejszych elementów sieci neuronowych są funkcje aktywacyjne. Każdy neuron sieci przetwarza swoje dane wejściowe na podstawie przypisanej mu funkcji aktywacyjnej. Jako że wyniki zwracane przez poszczególne neurony mają charakter binarny tzn. przyjmują jedną z dwóch wartości (lub bardzo im bliskie), funkcje aktywacjne mają na celu zmniejszenie amplitudy wyników wyjściowych neuronów do pewnej skończonej 5

6 wartości. Kilka najczęściej używanych funkcji aktywacyjnych to: funkcja unipolarna sigmoidalna, funkcja bipolarna sigmoidalna oraz tangens hiperboliczny. 6.1 Funkcja sigmoidalna unipolarna Unipolarna funkcja sigmoidala wyraża się następującym wzorem: f (x) = 1 1+e x Funkcja ta jest szczególnie przydatna w sieciach uczonych propagacją wsteczną, ponieważ jest łatwa do rozróżnienia co minimalizuje złożoność obliczeniową procesu uczenia. Poniżej wykres: 6.2 Funkcja sigmoidalna bipolarna Bipolarna funkcja sigmodialna wyraża się następującym wzorem: f (x) = 1 e x 1+e x Funkcja ta jest podobna do funkcji sigmoidalnej i przydaje się w sieciach których wartości wyściowe znajdują się w zakresie [ 1,1]. 6

7 6.3 Tangens hiperboliczny Tangens hiperboliczny może być łatwo zdefiniowany jako stosunek pomiędzy hiperbolicznm sinuesem i cosinusem lub stosunkiem różnicy do sumy funkcji eksponencjalnych w punktach x i -x tghx = sinhx coshx = ex e x e x +e x Tangens hiperboliczny zachowuje się podobnie jak funkcja sigmoidalna. Zbiór wartości funkcji mieści się w zakresie od -1 do 1. 7

8 7 Podsumowanie Jako dziedzina rozwijana od lat siedemdziesiątych XX wieku, sieci neuronowe oparte na propagacji wstecznej dorobiły się szerokiej analizy, zwłaszcza pod kątem optymalizacyjnym. Algorytmy są cały czas rozwijane - między innymi powstało wiele wariantów dokonujących zmiany współczynników uczenia oraz momentum w trakcie uczenia. Mnogość możliwości konfiguracyjnych z pewnością przemawia do implementacji takich algorytmów w tworzonych sieciach. Kwestie poruszone w tym artykule to jednak zaledwie czubek góry lodowej - jednakże dobra znajomość teoretyczna tematu nie wystarczy do tworzenia dobrych jakościowo sieci. Aby dobrze zapoznać się z dziedziną, warto samemu podjąć się próbie utworzenia takowej w zastosowaniu do różnych dziedzin, w tym nie tylko inżynieryjnych. Optymalizacja zmiennych takich jak stosunek neuronów wejściowych do wyjściowych, liczba oraz rozmiar warstw ukrytych sieci czy stopień optymalizacji interpretacji sygnałów wyjściowych względem sygnałów wejściowych [6] wymaga dużego doświadczenia praktycznego w poruszonej w tym artykule dziedzinie. Literatura [1] J. Heaton, Introduction to the Math of Neural Networks, Heaton Research, 2011 [2] J. Heaton, Introduction to Neural Networks in C#, Second Edition, Heaton Research, 2008 [3] D. R. Wilson, T. R. Martinez, The general inefficiency of batch training for gradient descent learning, 2003 [4] B. Karlik, A. V. Olgac, Performance Analysis of Various Activation Functions in Generalized MLP Architectures of Neural Networks [5] V. V. Phansalkar, P. S. Sastry, Analysis of the Back- Propagation Algorithm with Monumentum, 1994 [6] D. C. Plaut, S. J. Nowlan, G. E. hinton Experiments on Learning by Back Propagation,

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska

Bardziej szczegółowo

Uczenie sieci typu MLP

Uczenie sieci typu MLP Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik

Bardziej szczegółowo

Temat: Sieci neuronowe oraz technologia CUDA

Temat: Sieci neuronowe oraz technologia CUDA Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką

Bardziej szczegółowo

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Metody Sztucznej Inteligencji 2 Projekt Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Autorzy: Robert Wojciechowski Michał Denkiewicz Mateusz Gągol Wstęp Celem projektu

Bardziej szczegółowo

Widzenie komputerowe

Widzenie komputerowe Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie

Bardziej szczegółowo

Sieci neuronowe w Statistica

Sieci neuronowe w Statistica http://usnet.us.edu.pl/uslugi-sieciowe/oprogramowanie-w-usk-usnet/oprogramowaniestatystyczne/ Sieci neuronowe w Statistica Agnieszka Nowak - Brzezińska Podstawowym elementem składowym sztucznej sieci neuronowej

Bardziej szczegółowo

ALGORYTMY SZTUCZNEJ INTELIGENCJI

ALGORYTMY SZTUCZNEJ INTELIGENCJI ALGORYTMY SZTUCZNEJ INTELIGENCJI Sieci neuronowe 06.12.2014 Krzysztof Salamon 1 Wstęp Sprawozdanie to dotyczy ćwiczeń z zakresu sieci neuronowych realizowanym na przedmiocie: Algorytmy Sztucznej Inteligencji.

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład

Bardziej szczegółowo

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej. Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego

Bardziej szczegółowo

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie

Bardziej szczegółowo

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska Sieci neuronowe w Statistica Agnieszka Nowak - Brzezioska Podstawowym elementem składowym sztucznej sieci neuronowej jest element przetwarzający neuron. Schemat działania neuronu: x1 x2 w1 w2 Dendrites

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2

Bardziej szczegółowo

Uczenie sieci neuronowych i bayesowskich

Uczenie sieci neuronowych i bayesowskich Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10

Bardziej szczegółowo

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW

Bardziej szczegółowo

Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,

Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości

Bardziej szczegółowo

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek Sztuczne sieci neuronowe Ćwiczenia Piotr Fulmański, Marta Grzanek Piotr Fulmański 1 Wydział Matematyki i Informatyki, Marta Grzanek 2 Uniwersytet Łódzki Banacha 22, 90-232, Łódź Polska e-mail 1: fulmanp@math.uni.lodz.pl,

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 3 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba Cel zadania Celem zadania jest zaimplementowanie algorytmów

Bardziej szczegółowo

2.4. Algorytmy uczenia sieci neuronowych

2.4. Algorytmy uczenia sieci neuronowych 2.4. Algorytmy uczenia sieci neuronowych Prosta struktura sieci jednokierunkowych sprawia, że są najchętniej stosowane. Ponadto metody uczenia ich należą również do popularnych i łatwych w realizacji.

Bardziej szczegółowo

Sztuczna inteligencja

Sztuczna inteligencja Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury

Bardziej szczegółowo

Projekt Sieci neuronowe

Projekt Sieci neuronowe Projekt Sieci neuronowe Chmielecka Katarzyna Gr. 9 IiE 1. Problem i dane Sieć neuronowa miała za zadanie nauczyć się klasyfikować wnioski kredytowe. W projekcie wykorzystano dane pochodzące z 110 wniosków

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji

Podstawy Sztucznej Inteligencji Politechnika Łódzka Katedra Informatyki Stosowanej Podstawy Sztucznej Inteligencji Laboratorium Ćwiczenie 2 Wykorzystanie środowiska Matlab do modelowania sztucznych sieci neuronowych Opracowali: Dr hab

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji

Bardziej szczegółowo

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice) WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO Stanisław Kowalik (Poland, Gliwice) 1. Wprowadzenie Wstrząsy podziemne i tąpania występujące w kopalniach

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I. Sieci M. I. Jordana Sieci rekurencyjne z parametrycznym biasem Leszek Rybicki 30 listopada 2007 Leszek Rybicki Sieci M. I. Jordana 1/21 Plan O czym będzie 1 Wstęp do sieci neuronowych Neurony i perceptrony

Bardziej szczegółowo

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny

Bardziej szczegółowo

1. Logika, funkcje logiczne, preceptron.

1. Logika, funkcje logiczne, preceptron. Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję

Bardziej szczegółowo

Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji a regresja symboliczna Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą

Bardziej szczegółowo

Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów

Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów Funkcja Wzór funkcji Wzór pochodnej Sigmoida f(s)=1/(1+e -(β*s) ) f (s)=β*(1- f(s))* f(s) Funkcje przejścia neuronu powinno się rozpatrywać

Bardziej szczegółowo

Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych

Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych inż. Marek Duczkowski Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych słowa kluczowe: algorytm gradientowy, optymalizacja, określanie wodnicy W artykule

Bardziej szczegółowo

ZASTOSOWANIE SIECI NEURONOWYCH DO OPTYMALIZACJI WARUNKÓW OBRÓBKI CIEPLNEJ STOPÓW Mg-Al

ZASTOSOWANIE SIECI NEURONOWYCH DO OPTYMALIZACJI WARUNKÓW OBRÓBKI CIEPLNEJ STOPÓW Mg-Al LESZEK A. DOBRZAŃSKI, TOMASZ TAŃSKI ZASTOSOWANIE SIECI NEURONOWYCH DO OPTYMALIZACJI WARUNKÓW OBRÓBKI CIEPLNEJ STOPÓW Mg-Al APPLICATION OF NEURAL NETWORKS FOR OPTIMISATION OF Mg-Al ALLOYS HEAT TREATMENT

Bardziej szczegółowo

Pochodna funkcji. Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji.

Pochodna funkcji. Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji. Pochodna funkcji Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji. Małgorzata Wyrwas Katedra Matematyki Wydział Informatyki Politechnika

Bardziej szczegółowo

KADD Minimalizacja funkcji

KADD Minimalizacja funkcji Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków

Bardziej szczegółowo

ĆWICZENIE 5: Sztuczne sieci neuronowe

ĆWICZENIE 5: Sztuczne sieci neuronowe Instytut Mechaniki i Inżynierii Obliczeniowej Wydział Mechaniczny Technologiczny, Politechnika Śląska www.imio.polsl.pl METODY HEURYSTYCZNE ĆWICZENIE 5: Sztuczne sieci neuronowe opracował: dr inż. Witold

Bardziej szczegółowo

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych Rafał Walkowiak Politechnika Poznańska Studia inżynierskie Informatyka 2014/15 Znajdowanie maksimum w zbiorze

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 6 Sztuczne sieci neuronowe (SSN) 04 stycznia 2012 Plan wykładu 1 Uczenie sieci neuronowej wielowarstwowej 2 3 Uczenie nadzorowanie sieci wielowarstwowej Wagi Inteligencja sztucznej sieci neuronowe

Bardziej szczegółowo

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów

Bardziej szczegółowo

Optymalizacja optymalizacji

Optymalizacja optymalizacji 7 maja 2008 Wstęp Optymalizacja lokalna Optymalizacja globalna Algorytmy genetyczne Badane czasteczki Wykorzystane oprogramowanie (Algorytm genetyczny) 2 Sieć neuronowa Pochodne met-enkefaliny Optymalizacja

Bardziej szczegółowo

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW 17 XII 2013 Jan Karwowski

Bardziej szczegółowo

Algorytmy sztucznej inteligencji

Algorytmy sztucznej inteligencji Algorytmy sztucznej inteligencji Dynamiczne sieci neuronowe 1 Zapis macierzowy sieci neuronowych Poniżej omówione zostaną części składowe sieci neuronowych i metoda ich zapisu za pomocą macierzy. Obliczenia

Bardziej szczegółowo

Sieć przesyłająca żetony CP (counter propagation)

Sieć przesyłająca żetony CP (counter propagation) Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są

Bardziej szczegółowo

SIECI RBF (RADIAL BASIS FUNCTIONS)

SIECI RBF (RADIAL BASIS FUNCTIONS) SIECI RBF (RADIAL BASIS FUNCTIONS) Wybrane slajdy z prezentacji prof. Tadeusiewicza Wykład Andrzeja Burdy S. Osowski, Sieci Neuronowe w ujęciu algorytmicznym, Rozdz. 5, PWNT, Warszawa 1996. opr. P.Lula,

Bardziej szczegółowo

Metody numeryczne Technika obliczeniowa i symulacyjna Sem. 2, EiT, 2014/2015

Metody numeryczne Technika obliczeniowa i symulacyjna Sem. 2, EiT, 2014/2015 Metody numeryczne Technika obliczeniowa i symulacyjna Sem. 2, EiT, 2014/2015 1 Metody numeryczne Dział matematyki Metody rozwiązywania problemów matematycznych za pomocą operacji na liczbach. Otrzymywane

Bardziej szczegółowo

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,

Bardziej szczegółowo

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-03 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych Rafał Walkowiak Politechnika Poznańska Studia inżynierskie Informatyka 2013/14 Znajdowanie maksimum w zbiorze

Bardziej szczegółowo

WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH W PROGNOZOWANIU

WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH W PROGNOZOWANIU WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH W PROGNOZOWANIU THE USE OF ARTIFICIAL NEURAL NETWORKS IN FORECASTING Konrad BAJDA, Sebastian PIRÓG Resume Artykuł opisuje wykorzystanie sztucznych sieci neuronowych

Bardziej szczegółowo

MATLAB Neural Network Toolbox przegląd

MATLAB Neural Network Toolbox przegląd MATLAB Neural Network Toolbox przegląd WYKŁAD Piotr Ciskowski Neural Network Toolbox: Neural Network Toolbox - zastosowania: przykłady zastosowań sieci neuronowych: The 1988 DARPA Neural Network Study

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU

Bardziej szczegółowo

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Mateusz Kobos, 07.04.2010 Seminarium Metody Inteligencji Obliczeniowej Spis treści Opis algorytmu i zbioru

Bardziej szczegółowo

WYKORZYSTANIE SIECI NEURONOWYCH DO ODWZOROWANIA DEFORMACJI POWIERZCHNI NA TERENACH GÓRNICZYCH

WYKORZYSTANIE SIECI NEURONOWYCH DO ODWZOROWANIA DEFORMACJI POWIERZCHNI NA TERENACH GÓRNICZYCH IZABELA SKRZYPCZAK, DAWID ZIENTEK WYKORZYSTANIE SIECI NEURONOWYCH DO ODWZOROWANIA DEFORMACJI POWIERZCHNI NA TERENACH GÓRNICZYCH THE APPLICATION OF NEURAL NETWORKS FOR PROJECTION OF SURFACES DEFORMATIONS

Bardziej szczegółowo

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron Elementy kognitywistyki II: Sztuczna inteligencja WYKŁAD X: Sztuczny neuron Koneksjonizm: wprowadzenie 1943: Warren McCulloch, Walter Pitts: ogólna teoria przetwarzania informacji oparta na sieciach binarnych

Bardziej szczegółowo

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH Jakub Karbowski Gimnazjum nr 17 w Krakowie KRAKÓW 2017 1. Spis treści 2. WSTĘP 2 3. SIECI NEURONOWE 2 3.1. Co to są sieci neuronowe... 2

Bardziej szczegółowo

Funkcje wielu zmiennych

Funkcje wielu zmiennych Funkcje wielu zmiennych Wykresy i warstwice funkcji wielu zmiennych. Granice i ciagłość funkcji wielu zmiennych. Pochodne czastkowe funkcji wielu zmiennych. Gradient. Pochodna kierunkowa. Różniczka zupełna.

Bardziej szczegółowo

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16 Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego

Bardziej szczegółowo

Seminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman

Seminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman Seminarium magisterskie Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman Plan wystąpienia Ogólnie o sztucznych sieciach neuronowych Temat pracy magisterskiej

Bardziej szczegółowo

Sztuczne sieci neuronowe. Uczenie, zastosowania

Sztuczne sieci neuronowe. Uczenie, zastosowania Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe. Uczenie, zastosowania Inteligencja Sztuczne sieci neuronowe Metody uczenia Budowa modelu Algorytm wstecznej propagacji błędu

Bardziej szczegółowo

POPRAWA EFEKTYWNOŚCI METODY WSTECZNEJ

POPRAWA EFEKTYWNOŚCI METODY WSTECZNEJ Nowoczesne techniki informatyczne - Ćwiczenie 6: POPRAWA EFEKTYWNOŚCI METODY BP str. 1 Ćwiczenie 6: UCZENIE SIECI WIELOWARSTWOWYCH. POPRAWA EFEKTYWNOŚCI METODY WSTECZNEJ PROPAGACJI BŁĘDU WYMAGANIA 1. Sztuczne

Bardziej szczegółowo

Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki

Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki Przetwarzanie Sygnałów Studia Podyplomowe, Automatyka i Robotyka. Wstęp teoretyczny Zmienne losowe Zmienne losowe

Bardziej szczegółowo

Zrealizować sieć neuronową (learnbpm) uczącą się odwzorowania z = x 2 + y 2 dla x i y zmieniających się od -1 do 1.

Zrealizować sieć neuronową (learnbpm) uczącą się odwzorowania z = x 2 + y 2 dla x i y zmieniających się od -1 do 1. Politechnika Rzeszowska Wydział Elektrotechniki i Informatyki Mateusz Błażej Nr albumu: 130366 Zrealizować sieć neuronową (learnbpm) uczącą się odwzorowania z = x 2 + y 2 dla x i y zmieniających się od

Bardziej szczegółowo

INSTRUKCJA DO ĆWICZENIA NR 1

INSTRUKCJA DO ĆWICZENIA NR 1 L01 ---2014/10/17 ---10:52---page1---#1 KATEDRA MECHANIKI STOSOWANEJ Wydział Mechaniczny POLITECHNIKA LUBELSKA INSTRUKCJA DO ĆWICZENIA NR 1 PRZEDMIOT TEMAT Wybrane zagadnienia z optymalizacji elementów

Bardziej szczegółowo

Przykładowa analiza danych

Przykładowa analiza danych Przykładowa analiza danych W analizie wykorzystano dane pochodzące z publicznego repozytorium ArrayExpress udostępnionego na stronach Europejskiego Instytutu Bioinformatyki (http://www.ebi.ac.uk/). Zbiór

Bardziej szczegółowo

IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. - funkcja dwóch zmiennych,

IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. - funkcja dwóch zmiennych, IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. Definicja 1.1. Niech D będzie podzbiorem przestrzeni R n, n 2. Odwzorowanie f : D R nazywamy

Bardziej szczegółowo

PODSTAWY BAZ DANYCH I SZTUCZNEJ INTELIGENCJI. Adrian Horzyk. Akademia Górniczo-Hutnicza

PODSTAWY BAZ DANYCH I SZTUCZNEJ INTELIGENCJI. Adrian Horzyk. Akademia Górniczo-Hutnicza PODSTAWY BAZ DANYCH I SZTUCZNEJ INTELIGENCJI Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH DO ANALIZY WPŁYWU WYBRANYCH PARAMETRÓW NA ŚREDNICE KOLUMN INIEKCYJNYCH

WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH DO ANALIZY WPŁYWU WYBRANYCH PARAMETRÓW NA ŚREDNICE KOLUMN INIEKCYJNYCH Maciej OCHMAŃSKI * Politechnika Śląska WYKORZYSTANIE SZTUCZNYCH SIECI NEURONOWYCH DO ANALIZY WPŁYWU WYBRANYCH PARAMETRÓW NA ŚREDNICE KOLUMN INIEKCYJNYCH 1. Wprowadzenie Kolumny iniekcyjne jet grouting

Bardziej szczegółowo

Politechnika Warszawska

Politechnika Warszawska Politechnika Warszawska Programowa realizacja sieci neuronowych Zbigniew Szymański, Stanisław Jankowski grudzień 03 Instytut Informatyki Nowowiejska 5 / 9, 00-665 Warszawa Programowa realizacja sieci neuronowych

Bardziej szczegółowo

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody poszukiwania ekstremum funkcji jednej zmiennej Materiały pomocnicze do ćwiczeń

Bardziej szczegółowo

Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie

Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie LABORKA Piotr Ciskowski ZASTOSOWANIA SIECI NEURONOWYCH IDENTYFIKACJA zastosowania przegląd zastosowania sieci neuronowych: o identyfikacja

Bardziej szczegółowo

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych mgr inż. C. Dendek prof. nzw. dr hab. J. Mańdziuk Politechnika Warszawska, Wydział Matematyki i Nauk Informacyjnych Outline 1 Uczenie

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego

Bardziej szczegółowo

Sztuczne sieci neuronowe (SNN)

Sztuczne sieci neuronowe (SNN) Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe

Bardziej szczegółowo

Aplikacja realizująca: Rozpoznawanie pisma odręcznego z wykorzystaniem sieci neuronowych Wersja 2 (dodatkowe informacje o ramce znaku)

Aplikacja realizująca: Rozpoznawanie pisma odręcznego z wykorzystaniem sieci neuronowych Wersja 2 (dodatkowe informacje o ramce znaku) Dokumentacja: Start: 2010-02-08; 08; Wersja: 2010-03-18; Autor: Artur Czekalski Aplikacja realizująca: Rozpoznawanie pisma odręcznego z wykorzystaniem sieci neuronowych Wersja 2 (dodatkowe informacje o

Bardziej szczegółowo

ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ

ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny

Bardziej szczegółowo

Inteligentne systemy informacyjne

Inteligentne systemy informacyjne Inteligentne systemy informacyjne Moduł 10 Mieczysław Muraszkiewicz www.icie.com.pl/lect_pw.htm M. Muraszkiewicz strona 1 Sieci neuronowe szkic Moduł 10 M. Muraszkiewicz strona 2 Dwa nurty M. Muraszkiewicz

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING UCZENIE GŁĘBOKIE I GŁĘBOKIE SIECI NEURONOWE DEEP LEARNING AND DEEP NEURAL NETWORKS Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki,

Bardziej szczegółowo

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor S O M SELF-ORGANIZING MAPS Przemysław Szczepańczyk Łukasz Myszor Podstawy teoretyczne Map Samoorganizujących się stworzył prof. Teuvo Kohonen (1982 r.). SOM wywodzi się ze sztucznych sieci neuronowych.

Bardziej szczegółowo

METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH

METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH Jednym z zastosowań metod numerycznych jest wyznaczenie pierwiastka lub pierwiastków równania nieliniowego. W tym celu stosuje się szereg metod obliczeniowych np:

Bardziej szczegółowo

SID Wykład 8 Sieci neuronowe

SID Wykład 8 Sieci neuronowe SID Wykład 8 Sieci neuronowe Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Sztuczna inteligencja - uczenie Uczenie się jest procesem nastawionym na osiaganie rezultatów opartych o

Bardziej szczegółowo

KADD Minimalizacja funkcji

KADD Minimalizacja funkcji Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego

Bardziej szczegółowo

komputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW

komputery? Andrzej Skowron, Hung Son Nguyen  Instytut Matematyki, Wydział MIM, UW Czego moga się nauczyć komputery? Andrzej Skowron, Hung Son Nguyen son@mimuw.edu.pl; skowron@mimuw.edu.pl Instytut Matematyki, Wydział MIM, UW colt.tex Czego mogą się nauczyć komputery? Andrzej Skowron,

Bardziej szczegółowo

Wyszukiwanie binarne

Wyszukiwanie binarne Wyszukiwanie binarne Wyszukiwanie binarne to technika pozwalająca na przeszukanie jakiegoś posortowanego zbioru danych w czasie logarytmicznie zależnym od jego wielkości (co to dokładnie znaczy dowiecie

Bardziej szczegółowo

Sztuczne siei neuronowe - wprowadzenie

Sztuczne siei neuronowe - wprowadzenie Metody Sztucznej Inteligencji w Sterowaniu Ćwiczenie 2 Sztuczne siei neuronowe - wprowadzenie Przygotował: mgr inż. Marcin Pelic Instytut Technologii Mechanicznej Politechnika Poznańska Poznań, 2 Wstęp

Bardziej szczegółowo

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe.

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe. Naśladując w komputerze ludzki mózg staramy się połączyć zalety komputera (dostępność i szybkość działania) z zaletami mózgu (zdolność do uczenia się) informatyka + 2 Badacze zbudowali wiele systemów technicznych,

Bardziej szczegółowo

Metody sztucznej inteligencji Zadanie 3: (1) klasteryzacja samoorganizująca się mapa Kohonena, (2) aproksymacja sieć RBF.

Metody sztucznej inteligencji Zadanie 3: (1) klasteryzacja samoorganizująca się mapa Kohonena, (2) aproksymacja sieć RBF. Metody sztucznej inteligencji Zadanie 3: ( klasteryzacja samoorganizująca się mapa Kohonena, (2 aproksymacja sieć RBF dr inż Przemysław Klęsk Klasteryzacja za pomocą samoorganizującej się mapy Kohonena

Bardziej szczegółowo

Deep Learning na przykładzie Deep Belief Networks

Deep Learning na przykładzie Deep Belief Networks Deep Learning na przykładzie Deep Belief Networks Jan Karwowski Zakład Sztucznej Inteligencji i Metod Obliczeniowych Wydział Matematyki i Nauk Informacyjnych PW 20 V 2014 Jan Karwowski (MiNI) Deep Learning

Bardziej szczegółowo

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM ZASTOSOWANIE SIECI NEURONOWYCH W SYSTEMACH AKTYWNEJ REDUKCJI HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM WPROWADZENIE Zwalczanie hałasu przy pomocy metod aktywnych redukcji hałasu polega

Bardziej szczegółowo

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki

Bardziej szczegółowo

Przetworniki cyfrowo analogowe oraz analogowo - cyfrowe

Przetworniki cyfrowo analogowe oraz analogowo - cyfrowe Przetworniki cyfrowo analogowe oraz analogowo - cyfrowe Przetworniki cyfrowo / analogowe W cyfrowych systemach pomiarowych często zachodzi konieczność zmiany sygnału cyfrowego na analogowy, np. w celu

Bardziej szczegółowo

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L,

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L, Klasyfikator Jedną z najistotniejszych nieparametrycznych metod klasyfikacji jest metoda K-najbliższych sąsiadów, oznaczana przez K-NN. W metodzie tej zaliczamy rozpoznawany obiekt do tej klasy, do której

Bardziej szczegółowo

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW Sztuczne Sieci Neuronowe Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW SN są częścią dziedziny Sztucznej Inteligencji Sztuczna Inteligencja (SI) zajmuje się

Bardziej szczegółowo

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010 Materiały/konsultacje Automatyczna predykcja http://www.ibp.pwr.wroc.pl/kotulskalab Konsultacje wtorek, piątek 9-11 (uprzedzić) D1-115 malgorzata.kotulska@pwr.wroc.pl Co to jest uczenie maszynowe? Uczenie

Bardziej szczegółowo

Algorytmy przeszukiwania w zastosowaniu do perceptrona wielowarstwowego

Algorytmy przeszukiwania w zastosowaniu do perceptrona wielowarstwowego Algorytmy przeszukiwania w zastosowaniu do perceptrona wielowarstwowego Mirosław Kordos Autoreferat rozprawy doktorskiej promotor: prof. dr hab. Włodzisław Duch Politechnika Śląska Wydział Automatyki,

Bardziej szczegółowo

RAPORT Z PRAKTYKI. Zastosowanie Sztucznych Sieci Neuronowych do wspomagania podejmowania decyzji kupna/sprzedaży na rynku Forex.

RAPORT Z PRAKTYKI. Zastosowanie Sztucznych Sieci Neuronowych do wspomagania podejmowania decyzji kupna/sprzedaży na rynku Forex. Projekt współfinansowane przez Unię Europejską ze środków Europejskiego Funduszu Społecznego w ramach projektu Wiedza Techniczna Wzmocnienie znaczenia Politechniki Krakowskiej w kształceniu przedmiotów

Bardziej szczegółowo