Jednowarstwowe Sieci Neuronowe jako. klasykatory do wielu klas. (c) Marcin Sydow

Podobne dokumenty
Uczenie Wielowarstwowych Sieci Neuronów o

WYKŁAD 4 PLAN WYKŁADU. Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania. Metody uczenia sieci: Zastosowania

Relacj binarn okre±lon w zbiorze X nazywamy podzbiór ϱ X X.

Metody numeryczne i statystyka dla in»ynierów

przewidywania zapotrzebowania na moc elektryczn

Uczenie Maszynowe: reprezentacja wiedzy, wybór i ocena modelu, drzewa decyzjne

ARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15

Listy Inne przykªady Rozwi zywanie problemów. Listy w Mathematice. Marcin Karcz. Wydziaª Matematyki, Fizyki i Informatyki.

Wst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe

ARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15

Metodydowodzenia twierdzeń

AUTO-ENKODER JAKO SKŠADNIK ARCHITEKTURY DEEP LEARNING

Lab. 02: Algorytm Schrage

Twierdzenie Wainera. Marek Czarnecki. Warszawa, 3 lipca Wydziaª Filozoi i Socjologii Uniwersytet Warszawski

Eksploracja Danych. Wprowadzenie. (c) Marcin Sydow

Ekonometria. wiczenia 1 Regresja liniowa i MNK. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

Równania ró»niczkowe I rz du (RRIR) Twierdzenie Picarda. Anna D browska. WFTiMS. 23 marca 2010

ANALIZA NUMERYCZNA. Grzegorz Szkibiel. Wiosna 2014/15

Ciaªa i wielomiany. 1 Denicja ciaªa. Ciaªa i wielomiany 1

Algorytm grupowania K-Means Reprezentacja wiedzy Selekcja i ocena modeli

1 Metody iteracyjne rozwi zywania równania f(x)=0

1 Granice funkcji wielu zmiennych.

Zbiory i odwzorowania

Matematyka 1. Šukasz Dawidowski. Instytut Matematyki, Uniwersytet l ski

Programowanie i struktury danych 1 / 44

Metody numeryczne. Wst p do metod numerycznych. Dawid Rasaªa. January 9, Dawid Rasaªa Metody numeryczne 1 / 9

Modele wielorównaniowe. Problem identykacji

Algorytmiczna teoria grafów

punkcie. Jej granica lewostronna i prawostronna w punkcie x = 2 wynosz odpowiednio:

WST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14

Wst p do sieci neuronowych 2010/2011 wykªad 7 Algorytm propagacji wstecznej cd.

ARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15

Wykªad 7. Ekstrema lokalne funkcji dwóch zmiennych.

2 Liczby rzeczywiste - cz. 2

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ

Uczenie Maszynowe: Wprowadzenie. (c) Marcin Sydow

A = n. 2. Ka»dy podzbiór zbioru sko«czonego jest zbiorem sko«czonym. Dowody tych twierdze«(elementarne, lecz nieco nu» ce) pominiemy.

x y x y x y x + y x y

ARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15

AM II /2019 (gr. 2 i 3) zadania przygotowawcze do I kolokwium

ARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15

KLASYCZNE ZDANIA KATEGORYCZNE. ogólne - orzekaj co± o wszystkich desygnatach podmiotu szczegóªowe - orzekaj co± o niektórych desygnatach podmiotu

Ukªady równa«liniowych

det A := a 11, ( 1) 1+j a 1j det A 1j, a 11 a 12 a 21 a 22 Wn. 1 (Wyznacznik macierzy stopnia 2:). = a 11a 22 a 33 +a 12 a 23 a 31 +a 13 a 21 a 32

Interpolacja funkcjami sklejanymi

Matematyka dyskretna dla informatyków

Zad. 1 Zad. 2 Zad. 3 Zad. 4 Zad. 5 SUMA. W obu podpunktach zakªadamy,»e kolejno± ta«ców jest wa»na.

1 Ró»niczka drugiego rz du i ekstrema

PRZYPOMNIENIE Ka»d przestrze«wektorow V, o wymiarze dim V = n < nad ciaªem F mo»na jednoznacznie odwzorowa na przestrze«f n n-ek uporz dkowanych:

Podstawy modelowania w j zyku UML

Metody numeryczne i statystyka dla in»ynierów

1 Poj cia pomocnicze. Przykªad 1. A A d

Macierze i Wyznaczniki

1. Wprowadzenie do C/C++

Koªo Naukowe Robotyków KoNaR. Plan prezentacji. Wst p Rezystory Potencjomerty Kondensatory Podsumowanie

Indeksowane rodziny zbiorów

O pewnym zadaniu olimpijskim

Wykªad 6: Model logitowy

Oba zbiory s uporz dkowane liniowo. Badamy funkcj w pobli»u kresów dziedziny. Pewne punkty szczególne (np. zmiana denicji funkcji).

Maªgorzata Murat. Modele matematyczne.

MiASI. Modelowanie systemów informatycznych. Piotr Fulma«ski. 18 stycznia Wydziaª Matematyki i Informatyki, Uniwersytet Šódzki, Polska

Sieci Neuronowe Laboratorium 2

Macierze i Wyznaczniki

Funkcje jednej zmiennej. Granica, ci gªo±. (szkic wykªadu)

Ekonometria - wykªad 8

Lekcja 9 - LICZBY LOSOWE, ZMIENNE

Wykªad 4. Funkcje wielu zmiennych.

Rachunek zda«. Relacje. 2018/2019

Macierze. 1 Podstawowe denicje. 2 Rodzaje macierzy. Denicja

Systemy decyzyjne Wykªad 5: Drzewa decyzyjne

WST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14

Programowanie i struktury danych

Elementy Modelowania Matematycznego Wykªad 1 Prawdopodobie«stwo

I Rok LOGISTYKI: wykªad 2 Pochodna funkcji. iloraz ró»nicowy x y x

ARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15

Metody dowodzenia twierdze«

Vincent Van GOGH: M»czyzna pij cy li»ank kawy. Radosªaw Klimek. J zyk programowania Java

CAŠKOWANIE METODAMI MONTE CARLO Janusz Adamowski

Interpolacja Lagrange'a, bazy wielomianów

1 Bª dy i arytmetyka zmiennopozycyjna

Mikro II: Krzywe kosztów, Poda» rmy i Poda» gaª zi.

Ewolucja Ró»nicowa - Wprowadzenie

WFiIS Imi i nazwisko: Rok: Zespóª: Nr wiczenia: Fizyka Dominik Przyborowski IV 5 22 J drowa Katarzyna Wolska

Aproksymacja funkcji metod najmniejszych kwadratów

Ekonometria Bayesowska

Matematyka wykªad 1. Macierze (1) Andrzej Torój. 17 wrze±nia Wy»sza Szkoªa Zarz dzania i Prawa im. H. Chodkowskiej

Lekcja 9 Liczby losowe, zmienne, staªe

ARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15

Funkcje wielu zmiennych

K P K P R K P R D K P R D W

Ekonometria. wiczenia 8 Modele zmiennej jako±ciowej. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

Baza danych - Access. 2 Budowa bazy danych

WBiA Architektura i Urbanistyka. 1. Wykonaj dziaªania na macierzach: Które z iloczynów: A 2 B, AB 2, BA 2, B 2 3, B = 1 2 0

Przetwarzanie sygnaªów

Egzamin test GRUPA A (c) maleje na przedziale (1, 6). 0, ,5 1

Ekonometria. wiczenia 7 Modele nieliniowe. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

c Marcin Sydow Przepªywy Grafy i Zastosowania Podsumowanie 12: Przepªywy w sieciach

Liniowe zadania najmniejszych kwadratów

Przykªady problemów optymalizacji kombinatorycznej

Metody bioinformatyki (MBI)

Transkrypt:

Plan dyskretny perceptron i jego ograniczenia inne funkcje aktywacji wielo-klasykacja przy pomocy jedno-warstwowe sieci neuronowej ograniczenia jedno-warstwowej sieci neuronowej miary ewaluacyjne dla klasykacji

Ograniczenia pojedynczego perceptronu Pojedyczny perceptron mo»e by u»yty klasykator w przypadku najwy»ej 2 klas Nawet dla 2 klas s przypadki, które nie mog by rozwi zane przez pojedynczy perceptron. Ma te» pewne oczywiste ograniczenia: mo»e rozró»nia tylko rejony liniowo-separowalne w przestrzeni atrybutów

Funkcja aktywacji neuronu Warto± aktywacji perceptronu: i w i x i Θ (zwana tak»e net) jest nast pnie u»yta argument w tzw. funkcji aktywacji, która ostatecznie zwraca wyj±cie neuronu. Jest wiele rodzajów funkcji aktywacji. Ze wzgl du na typ numeryczny warto±ci wyj±cia: dyskretny (liczba caªkowita): mo»e by u»yty do klasykacji ci gªy (liczba zmiennoprzecinkowa): mo»e by u»yty do regresji (lub równie» klasykacji) Ze wzgl du na maksymaln (aktywacja) i minimaln (brak aktywacji) zwracan warto± : bipolarny (dyskretny: {0,1}, ci gªy: [0,1]) unipolarny (dyskretny: {-1,1}, ci gªy: [-1,1]) Ze wzgl du na ksztaªt funkcji aktywacji (progowa, liniowa, sigmoidalna, etc.)

Przykªady najwa»niejszych funkcji aktywacji Niech x oznacza wektor wej±ciowy, net = i w i x i Θ, (y oznacza wyj±cie neuronu) Najcz ±ciej u»ywane funkcje aktywacji: funkcja signum (znak): y = signum(net) funkcja progowa: y = x > 0 funkcja sigmoidalna: y = 1 1+e net funkcja liniowa (surowe wyj±cie): y = net mini-test: które funkcje odpowiadaj :

Przykªady najwa»niejszych funkcji aktywacji Niech x oznacza wektor wej±ciowy, net = i w i x i Θ, (y oznacza wyj±cie neuronu) Najcz ±ciej u»ywane funkcje aktywacji: funkcja signum (znak): y = signum(net) funkcja progowa: y = x > 0 funkcja sigmoidalna: y = 1 1+e net funkcja liniowa (surowe wyj±cie): y = net mini-test: które funkcje odpowiadaj : ci gªemu/dyskretnemu neuronowi?, unipolarnemu/bipolarnemu?

Przykªady najwa»niejszych funkcji aktywacji Niech x oznacza wektor wej±ciowy, net = i w i x i Θ, (y oznacza wyj±cie neuronu) Najcz ±ciej u»ywane funkcje aktywacji: funkcja signum (znak): y = signum(net) funkcja progowa: y = x > 0 funkcja sigmoidalna: y = 1 1+e net funkcja liniowa (surowe wyj±cie): y = net mini-test: które funkcje odpowiadaj : ci gªemu/dyskretnemu neuronowi?, unipolarnemu/bipolarnemu? która funkcja aktywacji nadaje si do klasykacji/regresji?

Funkcja sigmoidalna Wariant unipolarny: y = 1 1+e net Wariant bipolarny: y = 2 1+e net 1 Funkcja mo»e by wyposa»ona w parametr stromo±ci λ (0, ): 1 y = 1 + e λ net (im wy»sza jego warto± tym bardziej stromy jest wykres funkcji) Funkcja sigmoidalna ma kilka wa»nych wªasno±ci: jest ci gªa i rosn ca wªasno± wzmacniania (amplikacji) ma pochodn i jej pochodna ma prost form podobn do tej samej funkcji (jest to wa»na matematycznie wªasno± dla metody wstecznej propagacji bª du w wielowarstwowych sieciach neuronowych)

Jednowarstwowa sie neuronowa wielo-klasykator Ka»dy pojedyczny perceptron mo»e klasykowa do 2 klas. Gdy mamy wiec j ni» 2 klasy, mo»emy u»y caªej warstwy perceptronów aby dokonywa klasykacji. Typowa architektura jest nast puj ca: ka»de wej±cie jest podª czone do ka»dego perceptrona wyj±cia poszczególnych perceptronów s agregowane aby wyznaczy wyj±cie caªej takiej 1-warstwowej sieci

Interpretowanie wyj±cia sieci neuronowej W przypadku 2 klas, wyj±cie perceptronu stanowi cego klasykator jest naturalnie interpretowane: maximum aktywacji: klasa 1 minimum aktywacji: klasa 0 W przypadku wielu klas, klasykator w formie 1-warstwowej sieci neuronów ma wiele wyj±. Istniej 2 gªówne podej±cia do architektury i reprezentacji wyj±cia sieci: lokalne globalne

Lokalna architektura i reprezentacja wyj±cia Liczba perceptronów jest dokªadnie taka sama jak liczba klas. Ka»dy perceptron jest trenowany do aktywacji dla dokªadnie jedej klasy Prawidªowe wyj±cie takiej architektury jest nast puj ce: dokªadnie jeden perceptron jest aktywny (i wyznacza decyzj klasykatora) a pozostaªe s niekatywne.

Globalna architektura i reprezentacja wyj±cia W tym przypadku liczba perceptronów nie jest dokªadnie okre±lona (ale mo»e by mniejsza ni» w lokalnej) Decyzja klasykacyjna wyznaczana jest na podstawie kombinacji wyj± wszystkich perceptronów. Uwaga: skoro ka»dy perceptron ma 2 mo»liwe wyj±cia to dla K klas potrzeba nie mniej ni» log 2 K perceptronów (ale cz sto wi cej). Lokalna reprezentacja ma t zalet,»e je±li jest mo»liwa to ªatwiej j wytrenowa. Z drugiej strony, potrzebuje wi cej perceptronów i nie zawsze mo»na j stosowa.

U»ycie ci gªych neuronów do klasykacji Zamiast dyskretnych perceptronów w warstwie mo»na u»y te» ci gªych (o ci gªej funkcji aktywacji). Wtedy podej±cie mo»e by nast puj ce: ka»dy ci gªy neuron jest trenowany aby maksymalnie si aktywowa tylko dla swojej klasy decyzja klasykacyjna podj ta jest na podstawie tego neurona, który si maksymalnie aktywuje Takie podej±cie jest bardziej odporne na niepo» dane sytuacje ni» klasyczna dyskretna reprezentacja lokalna, poniewa» praktycznie ka»de wyj±cie mo»e by interpretowalne. (zredukowany jest problem jednoczesnej aktywacji wielu neuronów)

Ewaluacja klasykatorów U»ywane s nast puj ce miary ewaluacji klasykatorów: Dokªadno± (ang. accuracy) Precyzja i Peªno± (Precision, Recall) (tylko 2 klasy) F-miara (tylko 2 klasy) Macierz omyªek (ang. Confusion Matrix) (dowolna liczba klas)

Dokªadno± (Accuracy) i wady tej miary Najprosztsz miar ±ci klasykatora jest dokªadno±, czyli procentowy udziaª przypadków prawidªowo zaklasykowanych w zbiorze testowym Problem: wyobra¹my sobie 2 klasy A i B, przy czym 99% przypadków klasykowanych jest do klasy A. W takim przypadku, oszukany klasykator, który zawsze na ±lepo przyporz dkowuje do klasy A osi gaªby a» 99% dokªadno±ci! (w istocie jest bezu»yteczny, rozwa»my np. detektor po»aru, etc.) Inne miary s potrzebne szczególnie w przypadku, gdy mamy wiele klas i bl dy maj bardziej zªo»on struktur.

Macierz omyªek Kwadratowa macierz K K, gdzie K jest liczb klas. Ka»dy wiersz odpowiada faktycznej klasie obiektów. Ka»da kolumna odpowiada klasie wskazanej przez klasykator (by mo»e nieprawidªowo) Ka»da komórka (i, j) zawiera liczb przypadków (lub procent) obiektów klasy i zaklasykowanych j. Przykªad: zaklasykowano -> a b c a = Iris-setosa 50 0 0 b = Iris-versicolor 0 44 6 c = Iris-virginica 0 5 45 Pytanie: Jak wygl daªaby macierz idealnego klaskatora?

Macierz omyªek Kwadratowa macierz K K, gdzie K jest liczb klas. Ka»dy wiersz odpowiada faktycznej klasie obiektów. Ka»da kolumna odpowiada klasie wskazanej przez klasykator (by mo»e nieprawidªowo) Ka»da komórka (i, j) zawiera liczb przypadków (lub procent) obiektów klasy i zaklasykowanych j. Przykªad: zaklasykowano -> a b c a = Iris-setosa 50 0 0 b = Iris-versicolor 0 44 6 c = Iris-virginica 0 5 45 Pytanie: Jak wygl daªaby macierz idealnego klaskatora? (byªaby to macierz diagonalna)

Ewaluacja klasykatora gdy s tylko 2 klasy: Precyzja i Peªno± Gdy mamy tylko 2 klasy (nazwijmy je pozytywn i negatywn ) mo»emy u»y klasycznych miar precyzji i peªno±ci (Precision i Recall) (oznaczane P oraz R) Miary te pochodz z dziedziny wyszukiwania informacji (ang. Information Retrieval, IR) Denition Precyzja to proporcja przypadków zaklasykowanych pozytywne i faktycznie pozytywnych do wszystkich zaklasykowanych pozytywne Denition Peªno± to proporcja przypadków zaklasykowanych pozytywne i faktycznie pozytywnych do wszystkich faktycznie pozytywnych Warto±ci P i R s pomi dzy 0 a 1 (im wy»sze tym lepiej)

F-miara W praktyce P i R s w pewnym sensie sprzeczne i zwykle poprawianie jednej z nich pogarsza drug. Poniewa» trudno jest w praktyce zbudowa klasykator maksymalizuj cy równocze±nie P i R, wprowadzona inn miar, która zbiorczo reprezentuje te 2 miary za pomoc jendej liczby: F-miara: Denition F = 2 P R P+R (jest to ±rednia harmoniczna P i R) Intuicyjnie, je±li F-miara jest wysoka, to obie miary P i R musz by wysokie.

Przykªad Rozwa»my nast puj c macierz omyªek: zaklasykowano pozytywne negatywne pozytywne 40 5 negatywne 10 45 Precyzja: P = 40 (40+10) = 4 5 Peªno± : R = 40 (40+5) = 8 9 F-miara: F = 2 4 5 8 9 4 5 + 8 9 = 64 = 16 76 19

Zagadnienia do przyswojenia: dyskretny perceptron i jego ograniczenia inne funkcje aktywacji wielo-klasykacja przy pomocy jedno-warstwowe sieci neuronowej ograniczenia jedno-warstwowej sieci neuronowej miary ewaluacyjne dla klasykacji

Dzi kuj za uwag.