Metody klasyfikacji danych - część 2 p.1/55
|
|
- Bernard Wójtowicz
- 6 lat temu
- Przeglądów:
Transkrypt
1 Metody klasyfikacji danych - część 2 Inteligentne Usługi Informacyjne Jerzy Dembski Metody klasyfikacji danych - część 2 p.1/55
2 Plan wykładu - AdaBoost - Klasyfikacja metoda wektorów wspierajacych (SVM) - Klasyczne sztuczne sieci neuronowe - Głębokie uczenie (Deep Learning) Metody klasyfikacji danych - część 2 p.2/55
3 Algorytm AdaBoost for każdy przykład do uczenia {(x 1,c 1 ),(x 2,c 2 )...(x K,c K )} przypisz wagom wartości poczatkowew i = 1, gdziek K c jest liczba przykładów, które należa do tej samej klasy c co i-ty c przykład end for while bład fałszywie pozytywnych f > f max or proporcja prawdziwie pozytywnych d < d min 1. normalizuj wagi: w i w i Kj=1 w j 2. wybierz słaby klasyfikator h t (x), który minimalizuje ważony bład klasyfikacji: ǫ t = min K j i=1 w i h j (x i ) c i 3. ǫ zmniejsz wagi poprawnie klasyfikowanych przykładów: w i w t i 1 ǫ t 4. znajdź wartość progu Θ dla silnego klasyfikatora dajac a jak najmniejsza wartość błędu fałszywie pozytywnych, podczas gdy d >= d min end while Metody klasyfikacji danych - część 2 p.3/55
4 Algorytm AdaBoost - prosty przykład Słaby klasyfikator progowy jest reprezentowany funkcja 4-argumentowa: h(x,f,θ,p), gdzie x - wektor cech, f - cecha, θ - wartość progu, p - polaryzacja h 1 h 3 h 2 H h h 2 h 3 Metody klasyfikacji danych - część 2 p.4/55
5 Algorytm AdaBoost - wzór na silny klasyfikator Silny klasyfikator zawierajacy T słabych klasyfikatorów: H(x) = 1 if T t=1 α th t (x) Θ 0 w przeciwnym razie, gdzie α t = log(1 ǫ t ) logǫ t jest waga t-tego słabego klasyfikatora, h t (x) wartość na wyjściu t-tego słabego klasyfikatora, x obraz wejściowy, Θ wartość progu. Metody klasyfikacji danych - część 2 p.5/55
6 Algorytm AdaBoost - granice decyzji Granice decyzji dla zadania klasyfikacji punktów i przy różnej liczbie słabych klasyfikatorów T : a) 1, b) 5, c) 10, d) 50, e) 100, f) a) b) c) klasa 1 klasa klasa 1 klasa 2 2 klasa 1 klasa 2 2 klasa 1 klasa d) e) f) klasa 1 klasa 2 2 klasa 1 klasa 2 2 klasa 1 klasa Metody klasyfikacji danych - część 2 p.6/55
7 Algorytm AdaBoost w detekcji twarzy Wymagania: Znormalizowane położenie twarzy w przykładach uczacych Znormalizowane średnia i wariancja jasności pikseli Kaskadowa wersja klasyfikatora AdaBoost (przewaga obrazów negatywnych) Cechy obrazów: Różnice średnich jasności pikseli w obszarach prostokatowych (HAAR Features) Lokalne cechy binarne (CENSUS, Local Binary Features (LBF)) Histogram kierunków gradientów (Histogram of Oriented Gradients (HOG)) Zgrupowane binarne cechy prostokatowe, Lokalne zgrupowane cechy binarne (LAB) Metody klasyfikacji danych - część 2 p.7/55
8 Kaskada silnych klasyfikatorów image Layer 1 object non-object Layer 2 non-object object Layer 3 object non-object Layer 4 object non-object Zaleta kaskady - odrzucanie dużej liczby obrazów negatywnych małym kosztem obliczeniowym w przypadku dużej przewagi obrazów negatywnych podczas skanowania zdjęcia lub obrazu z kamery Metody klasyfikacji danych - część 2 p.8/55
9 Schemat uczenia kaskady silnych klasyfikatorów w zadaniu detekcji obiektów START CASCADE LAYER CONSTRUCTION MODULE Cropped training images Positive examples Negative examples False positive detections Prepare feature libraries for training Add the layer with classifier definition DETECTION MODULE Photo images without objects repository No target Yes END Metody klasyfikacji danych - część 2 p.9/55
10 Typy cech prostokątowych (Haar features) w detekcji twarzy Użycie obrazu całkowego: Suma jasności pikseli w prostokacie ABCD = B+D-A-C Dodatkowe założenia: każde okno prostokatne cechy może być skalowane i przesuwane w obszarze obrazu, średnie i wariancje jasności pikseli obrazów w zbiorze do uczenia i do testu (detekcji) musza być takie same. Metody klasyfikacji danych - część 2 p.10/55
11 Zmodyfikowany Census Przykład obliczania wartości cech zmodyfikowanego Census: k e > mean w feature parameters: (w,k) mean = sum feature value 259 classification classification parameters class 1 Metody klasyfikacji danych - część 2 p.11/55
12 Zmodyfikowany Census Uczenie słabego klasyfikatora: x best = argmin x (ǫ(x)) ǫ(x) = γ min{g0 (x,γ),g 1 (x,γ)}, gdzie x - wektor parametrów cech: (w,k) lub (w,k,s) w wersji wieloskalowej, γ - numer wzorca (od 1 do 512), g c (x,γ) - ważona suma przykładów uczacych klasy c {0,1} Numer klasy dla wybranej cechy x best i wzorca γ: c γ = 0 jeśli g 0 (x best,γ) < g 1 (x best,γ) 1 w przeciwnym wypadku. c 1 c 2 c 3 c 4 c 5 c 6 c 512 Metody klasyfikacji danych - część 2 p.12/55
13 AdaBoost: zestawienie typów cech i słabych klasyfikatorów typ cechy typ klasyfikatora parametry cechy p f parametry klasyfikatora p c prostokatowa (Haar) progowy współrzędne lewego górnego i prawego dolnego narożnika prostokata, orientacja prostokata (tylko cechy krawędziowe i liniowe) Z.Census tabelaryczny współrzędne centralnego piksela siatki 3x3 (w,k) próg decyzji, polaryzacja wektor binarny klas: numery klas dla wszystkich możliwych wzorców Metody klasyfikacji danych - część 2 p.13/55
14 Przykładowa krzywa ROC correct detection rate d Census 24 (11 levels) Census multiscaled 24 (17 levels) false positive error f Metody klasyfikacji danych - część 2 p.14/55
15 SVM: problem klasyfikacji Zbiór danych - przykładów (każdy przykład i zawiera wektor cech obrazu x i oraz klasę d i, do której należy): P = {(x i,d i )} K i=1, x i X R N, d i { 1,1}. Cel uczenia: znaleźć hiperpłaszczyznę (np. prosta o równaniu w 1 x 1 + w 2 x 2 + b = 0) dzielac a skupiska punktów należa- cych do klas 1 i 1 z jak najszerszym marginesem. Granice tego marginesu sa wyznaczane przez wybrane wektory x i - tzw. wektory wspierajace. Metody klasyfikacji danych - część 2 p.15/55
16 SVM: optymalna hiperpłaszczyzna x 2 margines optymalna hiperp³aszczyzna w T x + b = 0 w T x + b = 1 w T x + b = -1 wektory wspieraj¹ce x 1 szerokość marginesu = 2 w Metody klasyfikacji danych - część 2 p.16/55
17 SVM: szukanie optymalnej hiperpłaszczyzny maksymalizacja marginesu: min w,b 1 2 w 2, przy ograniczeniach: d i ( w T x i +b ) 1, i = 1,...,K. Metody klasyfikacji danych - część 2 p.17/55
18 SVM: szukanie optymalnej hiperpłaszczyzny Metoda mnożników Lagrange a: 1. definicja lagrangiana: L = 1 2 w 2 K i=1 α i(d i ( w T x i +b ) 1), 2. tzw. dualny problem optymalizacyjny (szukanie punktu siodłowego): minimalizacja L ze względu na w oraz b maksymalizacja L względem α i, i = 1,...,K. Metody klasyfikacji danych - część 2 p.18/55
19 SVM: minimalizacjalze względu na w oraz b przyrównanie pochodnych do zera: δl δb = 0, δl δw = 0, co daje K α i d i = 0, i=1 w = K α i d i x i. i=1 Metody klasyfikacji danych - część 2 p.19/55
20 SVM: maksymalizacjalwzględemα problem programowania kwadratowego (QP): max α K α i 1 2 i=1 przy ograniczeniach: K i,j=1 K α i d i = 0, i=1 α i α j d i d j x T i x j, α i 0, i = 1,...,K, α i (d i ( w T x i +b ) 1) = 0, i = 1,...,K. Metody klasyfikacji danych - część 2 p.20/55
21 SVM: klasyfikacja numer klasy dla obrazu x j : ( S f(x j ) = sgn i=1 ) α i d i x T j x i +b, gdzie S - liczba wektorów wspierajacych (zwykle dużo mniejsza niż liczba wszystkich przykładów K) Metody klasyfikacji danych - część 2 p.21/55
22 SVM: przykład zadania nieseparowalnego Metody klasyfikacji danych - część 2 p.22/55
23 SVM: zadania liniowo nieseparowalne Metody rozwiazywania zadań nieseparowalnych: - Ograniczenie wartości mnożników Lagrange a α i C, i = 1,...,K Metody klasyfikacji danych - część 2 p.23/55
24 SVM: zadania liniowo nieseparowalne Metody rozwiazywania zadań nieseparowalnych: - Ograniczenie wartości mnożników Lagrange a α i C, i = 1,...,K - Zastosowanie współczynników rozluźniajacych ξ i 0 : d i ( w T x i +b ) 1 ξ i, i = 1,...,K Metody klasyfikacji danych - część 2 p.23/55
25 SVM: zadania liniowo nieseparowalne Metody rozwiazywania zadań nieseparowalnych: - Ograniczenie wartości mnożników Lagrange a α i C, i = 1,...,K - Zastosowanie współczynników rozluźniajacych ξ i 0 : d i ( w T x i +b ) 1 ξ i, i = 1,...,K - Przejście do nowej przestrzeni cech: Φ : R N R M Metody klasyfikacji danych - część 2 p.23/55
26 SVM: funkcja jądra dokonujac podstawienia: x T i x j kernel(x i,x j ) = Φ(x i ) T Φ(x j ), otrzymujemy nowa postać problemu QP: max α K α i 1 2 i=1 K i,j=1 oraz funkcji klasyfikacji SVM: ( S f(x j ) = sgn i=1 α i α j d i d j kernel(x i,x j ), ) α i y i kernel(x i,x j )+b Metody klasyfikacji danych - część 2 p.24/55
27 SVM: typy funkcji jądra kernel(x i,x j ) = x T i x j liniowa, (x T i x j +θ) p wielomianowa, exp ( x i x j 2 ) radialna. σ 2 Metody klasyfikacji danych - część 2 p.25/55
28 SVM: funkcja kwadratowa kernel(u,v) = (u T v) 2 = ([u 1,u 2 ][v 1,v 2 ] T ) 2 = = u 2 1v1 2 +2u 1 v 1 u 2 v 2 +u 2 2v2 2 = = [u 2 1, 2u 1 u 2,u 2 2][v1, 2 2v 1 v 2,v2] 2 T = = Φ(u) T Φ(v). Metody klasyfikacji danych - część 2 p.26/55
29 SVM: schemat klasyfikacji numer klasy sgn( ) 1 2 S ( ) ( ) ( ) ( x 1 ) ( x 2 ) (z) ( x s ) iloczyn skalarny przejœcie do przestrzeni cech } funkcja j¹dra K( z, xi) = ( z) T ( x i ) obrazy (wektory) wspieraj¹ce obraz rozpoznawany Metody klasyfikacji danych - część 2 p.27/55
30 a) b) c) klasa 1 klasa 2 2 klasa 1 klasa 2 2 klasa 1 klasa d) e) f) klasa 1 klasa 2 2 klasa 1 klasa 2 2 klasa 1 klasa Granice decyzji dla przykładowego zadania klasyfikacji wektorów obserwacji o N = 2 punkty-1 dla klasyfikata SVM z różnymi funkcjami jadra: a) wielomian 2-stopnia, b) wielomian 3-stopnia, c) wielomian 4-stopnia, d) funkcja radialna σ = 1.0, e) funkcja radialna σ = 2.0, f) funkcja radialna σ = 5.0. Wektory wspierajace pogrubiono, granicę decyzji zaznaczono czarna, pogrubioną krzywa. Metody klasyfikacji danych - część 2 p.28/55
31 Sztuczne sieci neuronowe: Model neuronu z progową bipolarną funkcją aktywacji y b w 1 w2 w 3 w N x 1 x 2 x 3 x N Funkcja, która taka sieć reprezentuje wyraża się wzorem: N f(x) = y = sgn( w i x i +b) = sgn(w T x+b), i=1 Metody klasyfikacji danych - część 2 p.29/55
32 Model neuronu z progową unipolarną funkcją aktywacji w 1 w 2 w Σ 1,0 x 1 x 2 x 3 x N Funkcja, która taka sieć reprezentuje wyraża się wzorem: N f(x) = y = hardlim( w i x i +b) = hardlim(w T x+b), i=1 Metody klasyfikacji danych - część 2 p.30/55
33 Interpretacja geometryczna funkcji reprezentowanej przez neuron Prosta wyznaczajaca półpaszczyznę klasy 1. y x 2 Σ b 1,0 x 1 w 1 w 2 x 1 x 2 w 1 x 1 + w 2 x 2 + b = 0 Metody klasyfikacji danych - część 2 p.31/55
34 Płaszczyzna separująca przestrzeń na dwie półprzestrzenie Σ w 1 w 2 w 1,0 x 1 x 2 x 3 Metody klasyfikacji danych - część 2 p.32/55
35 Możliwość reprezentowania funkcji logicznych alternatywa: x 1 x 2 w 1 = 1 w 2 = 1 b = -0.5 koniunkcja: x 1 x 2 w 1 = 1 w 2 = 1 b = -1.5 x 2 x 2 klasa 1 1,0 punkt (1,1) 1,0 punkt (1,1) klasa 1 0,5 0,5 0 0,5 1,0 x 1 0 0,5 1,0 x 1 klasa 0 klasa 0 Metody klasyfikacji danych - część 2 p.33/55
36 Możliwość reprezentowania funkcji logicznych alternatywa: x 1 x 2 w 1 = 1 w 2 = 1 b = -0.5 koniunkcja: x 1 x 2 w 1 = 1 w 2 = 1 b = -1.5 x 2 x 2 klasa 1 1,0 1 1 punkt (1,1) 1,0 0 1 punkt (1,1) klasa 1 0,5 0, ,5 1 1,0 x ,5 1,0 x 1 klasa 0 klasa 0 Metody klasyfikacji danych - część 2 p.34/55
37 Możliwość reprezentowania funkcji logicznych w 1 = -1 x 1 ~ x 2 w 2 = 1 b = -0.5 w 1 = 1 ~ x 1 x 2 w 2 = -1 b = -0.5 x 2 klasa 1 x 2 klasa 1 1,0 punkt (1,1) 1,0 punkt (1,1) 0,5 0,5 0 0,5 1,0 x 1 0 0,5 1,0 x 1 klasa 0 klasa 0 Metody klasyfikacji danych - część 2 p.35/55
38 Problem parzystości - XOR problem XOR x 2 1,0 1 0 punkt (1,1) 0,5? ,5 1,0 x 1 Metody klasyfikacji danych - część 2 p.36/55
39 XOR - interpretacja geometryczna problem XOR x 2 punkt (1,1) 1,0 0, ,5 1,0 x 1 Metody klasyfikacji danych - część 2 p.37/55
40 Sieć dwuwarstwowa reprezentująca XOR Metody klasyfikacji danych - część 2 p.38/55
41 Metody uczenia perceptronu Metody uczenia: Hebba: w w+αy i x i (uczenie bez nauczyciela), Delta: w w+α(d i y i )x i, uogólniona Delta: w w +α(d i y i )f (x i )x i, gdzie y i - wyjście po prezentacji i-tego przykładu x i, d i - pożadana wartość (klasa) na wyjściu, α - współczynnik szybkości uczenia, np. 0,5, f (x i ) - pochodna funkcji aktywacji. Sposoby prezentacji przykładów uczacych: Przyrostowy - aktualizacja wag po prezentacji każdego przykładu) Wsadowy (ang. batch) - aktualizacja wag po prezentacji wszystkich przykładów) Mini-batch - aktualizacja wag po prezentacji niewielkiego losowego podzbioru przykładów Metody klasyfikacji danych - część 2 p.39/55
42 Przykład uczenia perceptronu z progową unipolarną funkcją aktywacji y x 2 Σ w 1 w 2 b 1,0 x 1 x 1 x 2 w 1 x 1 + w 2 x 2 + b = 0 Warunki poczatkowe: w 1 = w 2 = 1,b = 0 Współczynnik szybkości uczenia: α = 0.5 Reguła korekty wag Delta: w w+α(d i y i )x i Sposób prezentacji przykładów uczacych: przyrostowy Metody klasyfikacji danych - część 2 p.40/55
43 Klasyczne wielowarstwowe sztuczne sieci y 1 neuronowe y 2 y M warstwa M (2) w (2) 11 w (2) w MP 21 warstwa P (1) w PK (1) w 11 b 1 wejœcia x 1 x 2 x 3 x N Przykładowa jednokierunkowa sztuczna sieć neuronowa, z prawej strony schemat pojedynczego neuronu Funkcja reprezentowana przez i-te wyjście sieci: y i = f (2) akt P j=1 w (2) ij f(1) akt x 4 ( N k=1 w (1) jk x k +b (1) j ) +b (2) i Metody klasyfikacji danych - część 2 p.41/55
44 Zestawienie funkcji aktywacji neuronu funkcja aktywacji zakres wartości wykres opis f akt na wyjściu funkcji model neuronu z iloczynem skalarnym s = w T x+b 0 gdy s < 0 1 gdy s 0 y { 1,1} 1-1 funkcja skoku jednostkowego 1 1/(1+e s ) y (0,1) -1 funkcja sigmoidalna unipolarna 1 2/(1+e 2s ) 1 y ( 1,1) -1 funkcja sigmoidalna bipolarna s y (, ) funkcja liniowa identycznościowa model z miara odległościowa s = w x b 1 e s2 y (0,1) funkcja radialna Metody klasyfikacji danych - część 2 p.42/55
45 Uczenie sieci wielowarstwowych: algorytm propagacji wstecznej błędu Za miarę błędu klasyfikacji przyjmuje się w klasycznych SSN bład średniokwadratowy: E(w) = 1 2 K u µ=1 i=1 M (d iµ y iµ ) 2, gdzie K u jest liczba przykładów do uczenia, M jest liczba neuronów w warstwie wyjściowej, zaś d iµ jest pożadan a wartościa na wyjściu i-tego neuronu, gdy na wejściu sieci podano µ-ty obraz. Uczenie polega na modyfikacji wektora wszystkich wag sieci w kierunku największego spadku funkcji błędu. Kierunek ten wyznaczany jest przez gradient funkcji błędu: E(w) = [ E/ w 1, E/ w 2,..., E/ w L ] T. Kierunek gradientu wyznacza kierunek największego wzrostu funkcji błędu w L-wymiarowej przestrzeni wag, więc w celu zmniejszenia błędu należy zmodyfikować wagi w kierunku przeciwnym: w = w+ w = w α E(w), gdzie α jest współczynnikiem szybkości uczenia. Metody klasyfikacji danych - część 2 p.43/55
46 Uczenie a uogólnianie a) b) c) funkcja zadana przyklady uczace aproksymacja funkcji funkcja zadana przyklady uczace aproksymacja funkcji funkcja zadana przyklady uczace aproksymacja funkcji Aproksymacja funkcji sin 2 (3πx)sin(πx) z wykorzystaniem dwuwarstwowej sztucznej sieci neuronowej o a) 3, b) 10 oraz c) 50 neuronach w pierwszej warstwie Metody klasyfikacji danych - część 2 p.44/55
47 Uczenie a uogólnianie Metody poprawy uogólniania: Dobór architektury sieci (liczba warstw, liczby neuronów w warstwach) do problemu. Zatrzymywanie uczenia, gdy bład walidacji (testu) zaczyna rosnać (ang. early stopping). Regularyzacja: Dodanie szumu do danych podczas uczenia. Dodanie specjalnego członu do funkcji błędu: E = E + λ 2K w 2 ograniczającego wzrost wartości wag. Blokowanie aktywacji losowo wybranych neuronów podczas uczenia (ang. dropout) Metody klasyfikacji danych - część 2 p.45/55
48 Klasyczne Sztuczne sieci neuronowe: problemy z uczeniem Zanikajacy gradient w przypadku sieci o dużej liczbie warstw. Słabe uogólnianie w przypadku dużej liczby warstw. Wymagana duża liczba neuronów w przypadku sieci dwuwarstwowych. Metody klasyfikacji danych - część 2 p.46/55
49 Głębokie uczenie (Deep Learning - DN) Dwa główne kierunki rozwoju: Sieci realizujace funkcje splotu (Convolutional Neural Networks - CNN). Głębokie sieci przekonań (Deep Belief Networks - DBN). Metody klasyfikacji danych - część 2 p.47/55
50 Sieć realizująca funkcje splotu Techniki poprawiajace szybkość uczenia i uogólnianie: Funkcja aktywacji ReLU: f(x) = max(x,0). Redukcja rozdzielczości obrazu (subsampling). Regularyzacja metoda Dropout: aktywacja losowo wybranych neuronów. Uczenie metoda stochastycznego spadku gradientu (SGD). Funkcja entropii krzyżowej jako funkcja błędu zamiast średniego błędu kwadratowego. Metody klasyfikacji danych - część 2 p.48/55
51 Funkcja splotu i podpróbkowania Metody klasyfikacji danych - część 2 p.49/55
52 Sieć realizująca funkcje splotu - hierarchia przekształceń Metody klasyfikacji danych - część 2 p.50/55
53 Schemat procesu rozpoznawania sygna³ wektor cech numer klasy Klasyfikator Ekstraktor Metody klasyfikacji danych - część 2 p.51/55
54 Schemat procesu rozpoznawania - dane do uczenia przyk³ady ucz¹ce z wielu podobnych zadañ przyk³ady ucz¹ce z konkretnego zadania sygna³ wektor cech numer klasy Klasyfikator Ekstraktor Metody klasyfikacji danych - część 2 p.52/55
55 Sieć realizująca funkcje splotu - ekstrakcja cech Metody klasyfikacji danych - część 2 p.53/55
56 Sieć autoasocjacyjna - ekstrakcja cech Metody klasyfikacji danych - część 2 p.54/55
Sztuczna Inteligencja Tematy projektów Sieci Neuronowe
PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia
Bardziej szczegółowoElementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Bardziej szczegółowoZastosowania sieci neuronowych
Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt
Bardziej szczegółowoZagadnienia optymalizacji i aproksymacji. Sieci neuronowe.
Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI
Bardziej szczegółowoMetody Sztucznej Inteligencji II
17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie
Bardziej szczegółowoAlgorytmy decyzyjne będące alternatywą dla sieci neuronowych
Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny
Bardziej szczegółowo8. Neuron z ciągłą funkcją aktywacji.
8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i
Bardziej szczegółowoSVM: Maszyny Wektorów Podpieraja cych
SVM 1 / 24 SVM: Maszyny Wektorów Podpieraja cych Nguyen Hung Son Outline SVM 2 / 24 1 Wprowadzenie 2 Brak liniowej separowalności danych Nieznaczna nieseparowalność Zmiana przetrzeń atrybutów 3 Implementacja
Bardziej szczegółowoMetody klasyfikacji danych - część 1 p.1/24
Metody klasyfikacji danych - część 1 Inteligentne Usługi Informacyjne Jerzy Dembski Metody klasyfikacji danych - część 1 p.1/24 Plan wykładu - Zadanie klasyfikacji danych - Przeglad problemów klasyfikacji
Bardziej szczegółowowiedzy Sieci neuronowe
Metody detekcji uszkodzeń oparte na wiedzy Sieci neuronowe Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 7 Wprowadzenie Okres kształtowania się teorii sztucznych sieci
Bardziej szczegółowoWrocław University of Technology. Uczenie głębokie. Maciej Zięba
Wrocław University of Technology Uczenie głębokie Maciej Zięba UCZENIE GŁĘBOKIE (ang. deep learning) = klasa metod uczenia maszynowego, gdzie model ma strukturę hierarchiczną złożoną z wielu nieliniowych
Bardziej szczegółowoPodstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
Bardziej szczegółowoDeep Learning na przykładzie Deep Belief Networks
Deep Learning na przykładzie Deep Belief Networks Jan Karwowski Zakład Sztucznej Inteligencji i Metod Obliczeniowych Wydział Matematyki i Nauk Informacyjnych PW 20 V 2014 Jan Karwowski (MiNI) Deep Learning
Bardziej szczegółowo7. Maszyny wektorów podpierajacych SVMs
Algorytmy rozpoznawania obrazów 7. Maszyny wektorów podpierajacych SVMs dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Maszyny wektorów podpierajacych - SVMs Maszyny wektorów podpierających (ang.
Bardziej szczegółowoPopularne klasyfikatory w pakietach komputerowych
Popularne klasyfikatory w pakietach komputerowych Klasyfikator liniowy Uogólniony klasyfikator liniowy SVM aiwny klasyfikator bayesowski Ocena klasyfikatora ROC Lista popularnych pakietów Klasyfikator
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego
Bardziej szczegółowoUczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
Bardziej szczegółowoOptymalizacja systemów
Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji
Bardziej szczegółowoInteligentne systemy przeciw atakom sieciowym
Inteligentne systemy przeciw atakom sieciowym wykład Sztuczne sieci neuronowe (SSN) Joanna Kołodziejczyk 2016 Joanna Kołodziejczyk Inteligentne systemy przeciw atakom sieciowym 2016 1 / 36 Biologiczne
Bardziej szczegółowo1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda
Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy
Bardziej szczegółowo6. Perceptron Rosenblatta
6. Perceptron Rosenblatta 6-1 Krótka historia perceptronu Rosenblatta 6-2 Binarne klasyfikatory liniowe 6-3 Struktura perceptronu Rosenblatta 6-4 Perceptron Rosenblatta a klasyfikacja 6-5 Perceptron jednowarstwowy:
Bardziej szczegółowoInteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska
Bardziej szczegółowoUCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow
UCZENIE MASZYNOWE III - SVM mgr inż. Adam Kupryjanow Plan wykładu Wprowadzenie LSVM dane separowalne liniowo SVM dane nieseparowalne liniowo Nieliniowy SVM Kernel trick Przykłady zastosowań Historia 1992
Bardziej szczegółowoMetody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017
Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 3 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba Cel zadania Celem zadania jest zaimplementowanie algorytmów
Bardziej szczegółowoPodstawy sztucznej inteligencji
wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2
Bardziej szczegółowoBIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.
Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego
Bardziej szczegółowoSieć przesyłająca żetony CP (counter propagation)
Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są
Bardziej szczegółowoWstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych
Wstęp do przetwarzania języka naturalnego Wykład 11 Wojciech Czarnecki 8 stycznia 2014 Section 1 Przypomnienie Wektoryzacja tfidf Przypomnienie document x y z Antony and Cleopatra 5.25 1.21 1.51 Julius
Bardziej szczegółowoSystemy agentowe. Sieci neuronowe. Jędrzej Potoniec
Systemy agentowe Sieci neuronowe Jędrzej Potoniec Złe wieści o teście To jest slajd, przy którym wygłaszam złe wieści. Perceptron (Rossenblat, 1957) A. Géron, Hands-On Machine Learning with Scikit-Learn
Bardziej szczegółowoAlgorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa
Bardziej szczegółowoMETODY INŻYNIERII WIEDZY
METODY INŻYNIERII WIEDZY SZTUCZNE SIECI NEURONOWE MLP Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Laboratorium Python Zadanie nr 3 Regresja logistyczna autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest zaimplementowanie modelu
Bardziej szczegółowoSztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek
Sztuczne sieci neuronowe Ćwiczenia Piotr Fulmański, Marta Grzanek Piotr Fulmański 1 Wydział Matematyki i Informatyki, Marta Grzanek 2 Uniwersytet Łódzki Banacha 22, 90-232, Łódź Polska e-mail 1: fulmanp@math.uni.lodz.pl,
Bardziej szczegółowoUczenie się pojedynczego neuronu. Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z<0 y=1 gdy z>=0. Wówczas: W 1 x 1 + w 2 x 2 + = 0
Uczenie się pojedynczego neuronu W0 X0=1 W1 x1 W2 s f y x2 Wp xp p x i w i=x w+wo i=0 Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z=0 Wówczas: W 1 x 1 + w 2 x 2 + = 0 Algorytm
Bardziej szczegółowoSieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści
Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, 2013 Spis treści Przedmowa 7 1. Wstęp 9 1.1. Podstawy biologiczne działania neuronu 9 1.2. Pierwsze modele sieci neuronowej
Bardziej szczegółowoWYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie. Zaawansowane Metody Uczenia Maszynowego
WYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie Zaawansowane Metody Uczenia Maszynowego Perceptron Rosenblatta Szukamy hiperpłaszczyzny β 0 + β 1 najlepiej
Bardziej szczegółowoWidzenie komputerowe
Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie
Bardziej szczegółowoZastosowania sieci neuronowych
Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład
Bardziej szczegółowoWstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.
Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji
Bardziej szczegółowoLiteratura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu
Literatura Wykład : Wprowadzenie do sztucznych sieci neuronowych Małgorzata Krętowska Wydział Informatyki Politechnika Białostocka Tadeusiewicz R: Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa
Bardziej szczegółowoSztuczne sieci neuronowe
Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe Sztuczne sieci neuronowe Wprowadzenie Trochę historii Podstawy działania Funkcja aktywacji Typy sieci 2 Wprowadzenie Zainteresowanie
Bardziej szczegółowoUczenie sieci neuronowych i bayesowskich
Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10
Bardziej szczegółowo5. Analiza dyskryminacyjna: FLD, LDA, QDA
Algorytmy rozpoznawania obrazów 5. Analiza dyskryminacyjna: FLD, LDA, QDA dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Liniowe funkcje dyskryminacyjne Liniowe funkcje dyskryminacyjne mają ogólną
Bardziej szczegółowoLekcja 5: Sieć Kohonena i sieć ART
Lekcja 5: Sieć Kohonena i sieć ART S. Hoa Nguyen 1 Materiał Sieci Kohonena (Sieć samo-organizująca) Rysunek 1: Sieć Kohonena Charakterystyka sieci: Jednowarstwowa jednokierunkowa sieć. Na ogół neurony
Bardziej szczegółowoOntogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę
Norbert Jankowski Ontogeniczne sieci neuronowe O sieciach zmieniających swoją strukturę Warszawa 2003 Opracowanie książki było wspierane stypendium Uniwersytetu Mikołaja Kopernika Spis treści Wprowadzenie
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowo1. Logika, funkcje logiczne, preceptron.
Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję
Bardziej szczegółowosynaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.
Sieci neuronowe model konekcjonistyczny Plan wykładu Mózg ludzki a komputer Modele konekcjonistycze Perceptron Sieć neuronowa Uczenie sieci Sieci Hopfielda Mózg ludzki a komputer Twój mózg to 00 000 000
Bardziej szczegółowoSztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335
Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335 Wykład 10 Mapa cech Kohonena i jej modyfikacje - uczenie sieci samoorganizujących się - kwantowanie wektorowe
Bardziej szczegółowoWprowadzenie do uczenia maszynowego
Wprowadzenie do uczenia maszynowego Agnieszka Ławrynowicz 12 stycznia 2017 Co to jest uczenie maszynowe? dziedzina nauki, która zajmuje się sprawianiem aby komputery mogły uczyć się bez ich zaprogramowania
Bardziej szczegółowoCyfrowe przetwarzanie obrazów i sygnałów Wykład 7 AiR III
1 Niniejszy dokument zawiera materiały do wykładu z przedmiotu Cyfrowe Przetwarzanie Obrazów i Sygnałów. Jest on udostępniony pod warunkiem wykorzystania wyłącznie do własnych, prywatnych potrzeb i może
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Laboratorium Python Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest implementacja liniowego zadania
Bardziej szczegółowoAutomatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010
Materiały/konsultacje Automatyczna predykcja http://www.ibp.pwr.wroc.pl/kotulskalab Konsultacje wtorek, piątek 9-11 (uprzedzić) D1-115 malgorzata.kotulska@pwr.wroc.pl Co to jest uczenie maszynowe? Uczenie
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt
Bardziej szczegółowoZastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW
Bardziej szczegółowoZastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW 17 XII 2013 Jan Karwowski
Bardziej szczegółowoSztuczna inteligencja
Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury
Bardziej szczegółowoSztuczne sieci neuronowe (SNN)
Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka ADALINE.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka ADALINE. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 218-1-15/22 Projekt pn.
Bardziej szczegółowoSztuczne Sieci Neuronowe
Sztuczne Sieci Neuronowe Wykład 7 Sieci neuronowe o radialnych funkcjach bazowych wykład przygotowany na podstawie. S. Osowski, Sieci Neuronowe w ujęciu algorytmicznym, Rozdz. 5, PWNT, Warszawa 1996. 26/11/08
Bardziej szczegółowoSztuczne sieci neuronowe
www.math.uni.lodz.pl/ radmat Cel wykładu Celem wykładu jest prezentacja różnych rodzajów sztucznych sieci neuronowych. Biologiczny model neuronu Mózg człowieka składa się z około 10 11 komórek nerwowych,
Bardziej szczegółowoA Zadanie
where a, b, and c are binary (boolean) attributes. A Zadanie 1 2 3 4 5 6 7 8 9 10 Punkty a (maks) (2) (2) (2) (2) (4) F(6) (8) T (8) (12) (12) (40) Nazwisko i Imiȩ: c Uwaga: ta część zostanie wypełniona
Bardziej szczegółowoSztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311
Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311 PLAN: Wykład 5 - Metody doboru współczynnika uczenia - Problem inicjalizacji wag - Problem doboru architektury
Bardziej szczegółowoWYKŁAD 4 PLAN WYKŁADU. Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania. Metody uczenia sieci: Zastosowania
WYKŁAD 4 Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania PLAN WYKŁADU Metody uczenia sieci: Uczenie perceptronu Propagacja wsteczna Zastosowania Sterowanie (powtórzenie) Kompresja obrazu Rozpoznawanie
Bardziej szczegółowoSYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska
SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska DRZEWO REGRESYJNE Sposób konstrukcji i przycinania
Bardziej szczegółowowiedzy Sieci neuronowe (c.d.)
Metody detekci uszkodzeń oparte na wiedzy Sieci neuronowe (c.d.) Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 8 Metody detekci uszkodzeń oparte na wiedzy Wprowadzenie
Bardziej szczegółowoTemat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE
Temat: Sztuczne Sieci Neuronowe Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1 Wprowadzenie Sztuczne sieci neuronowe
Bardziej szczegółowoUczenie Wielowarstwowych Sieci Neuronów o
Plan uczenie neuronu o ci gªej funkcji aktywacji uczenie jednowarstwowej sieci neuronów o ci gªej funkcji aktywacji uczenie sieci wielowarstwowej - metoda propagacji wstecznej neuronu o ci gªej funkcji
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z liniowym zadaniem najmniejszych
Bardziej szczegółowoBiometria WYKŁAD 7: ROZPOZNAWANIE I KLASYFIKACJA OBIEKTÓW
Biometria WYKŁAD 7: ROZPOZNAWANIE I KLASYFIKACJA OBIEKTÓW http://ryszardtadeusiewicz.natemat.pl/151007,klasyka-sztucznej-inteligencji-rozpoznawanie-obrazow Cechy i przestrzenie cech Każda z właściwości
Bardziej szczegółowoOCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:
METODY HEURYSTYCZNE wykład 4 OCENA DZIAŁANIA AE 1 2 LOSOWOŚĆ W AE Różne zachowanie algorytmuw poszczególnych uruchomieniach przy jednakowych ustawieniach parametrów i identycznych populacjach początkowych.
Bardziej szczegółowoWprowadzenie do Sieci Neuronowych Laboratorium 05 Algorytm wstecznej propagacji błędu
Wprowadzenie do Sieci Neuronowych Laboratorium Algorytm wstecznej propagacji błędu Maja Czoków, Jarosław Piersa --7. Powtórzenie Perceptron sigmoidalny Funkcja sigmoidalna: σ(x) = + exp( c (x p)) () Parametr
Bardziej szczegółowoWstęp do sztucznych sieci neuronowych
Wstęp do sztucznych sieci neuronowych Michał Garbowski Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Wydział Informatyki 15 grudnia 2011 Plan wykładu I 1 Wprowadzenie Inspiracja biologiczna
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji
Bardziej szczegółowoAUTOMATYKA INFORMATYKA
AUTOMATYKA INFORMATYKA Technologie Informacyjne Sieć Semantyczna Przetwarzanie Języka Naturalnego Internet Edytor Serii: Zdzisław Kowalczuk Inteligentne wydobywanie informacji z internetowych serwisów
Bardziej szczegółowoSZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA WYKŁAD 4. UCZENIE SIĘ INDUKCYJNE Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska WSTĘP Wiedza pozyskana przez ucznia ma charakter odwzorowania
Bardziej szczegółowoSID Wykład 8 Sieci neuronowe
SID Wykład 8 Sieci neuronowe Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Sztuczna inteligencja - uczenie Uczenie się jest procesem nastawionym na osiaganie rezultatów opartych o
Bardziej szczegółowoELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe
ELEMENTY SZTUCZNEJ INTELIGENCJI Sztuczne sieci neuronowe Plan 2 Wzorce biologiczne. Idea SSN - model sztucznego neuronu. Perceptron prosty i jego uczenie regułą delta Perceptron wielowarstwowy i jego uczenie
Bardziej szczegółowoWprowadzenie do sieci neuronowych i zagadnień deep learning
Wprowadzenie do sieci neuronowych i zagadnień deep learning Inteligentne Obliczenia Wydział Mechatroniki Politechniki Warszawskiej Anna Sztyber INO (IAiR PW) Deep learning Anna Sztyber 1 / 28 Deep learning
Bardziej szczegółowoSystemy agentowe. Sieci neuronowe. Jędrzej Potoniec
Systemy agentowe Sieci neuronowe Jędrzej Potoniec Perceptron (Rossenblat, 1957) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017 Perceptron { 1 z 0 step(z) = 0 w przeciwnym przypadku
Bardziej szczegółowoTechniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Bardziej szczegółowoOprogramowanie Systemów Obrazowania SIECI NEURONOWE
SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie
Bardziej szczegółowoI EKSPLORACJA DANYCH
I EKSPLORACJA DANYCH Zadania eksploracji danych: przewidywanie Przewidywanie jest podobne do klasyfikacji i szacowania, z wyjątkiem faktu, że w przewidywaniu wynik dotyczy przyszłości. Typowe zadania przewidywania
Bardziej szczegółowoInteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe wykład 1. Właściwości sieci neuronowych Model matematyczny sztucznego neuronu Rodzaje sieci neuronowych Przegląd d głównych g
Bardziej szczegółowoSieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska
Sieci neuronowe w Statistica Agnieszka Nowak - Brzezioska Podstawowym elementem składowym sztucznej sieci neuronowej jest element przetwarzający neuron. Schemat działania neuronu: x1 x2 w1 w2 Dendrites
Bardziej szczegółowoWstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty
Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-03 Projekt pn. Wzmocnienie potencjału
Bardziej szczegółowoUczenie sieci radialnych (RBF)
Uczenie sieci radialnych (RBF) Budowa sieci radialnej Lokalne odwzorowanie przestrzeni wokół neuronu MLP RBF Budowa sieci radialnych Zawsze jedna warstwa ukryta Budowa neuronu Neuron radialny powinien
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. Algorytmy konstrukcyjne dla sieci skierowanych
Wstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. dla sieci skierowanych Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-25 1 Motywacja
Bardziej szczegółowoSystemy Inteligentnego Przetwarzania wykład 7: Sieci RBF
Systemy Inteligentnego Przetwarzania wykład 7: Sieci RBF Dr inż. Jacek Mazurkiewicz Katedra Informatyki Technicznej e-mail: Jacek.Mazurkiewicz@pwr.edu.pl Bazowe funkcje radialne (1) Sieci neuronowe wielowarstwowe
Bardziej szczegółowoESI: Perceptrony proste i liniowe
ESI: Perceptrony proste i liniowe [Matlab 1.1] Matlab2015b i nowsze 1 kwietnia 2019 1. Cel ćwiczeń: Celem ćwiczeń jest zapoznanie się studentów z podstawami zagadnieniami z zakresu sztucznych sieci neuronowych.
Bardziej szczegółowoAlgorytm grupowania danych typu kwantyzacji wektorów
Algorytm grupowania danych typu kwantyzacji wektorów Wstęp Definicja problemu: Typowe, problemem często spotykanym w zagadnieniach eksploracji danych (ang. data mining) jest zagadnienie grupowania danych
Bardziej szczegółowoZastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr.
Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr. Warszawa, 10 Marca 2016 Plan prezentacji. Definicja funkcji jądrowej. Plan prezentacji. Definicja funkcji jądrowej. Opis problemu
Bardziej szczegółowoSieci neuronowe w Statistica
http://usnet.us.edu.pl/uslugi-sieciowe/oprogramowanie-w-usk-usnet/oprogramowaniestatystyczne/ Sieci neuronowe w Statistica Agnieszka Nowak - Brzezińska Podstawowym elementem składowym sztucznej sieci neuronowej
Bardziej szczegółowo