Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę

Wielkość: px

Rozpocząć pokaz od strony:

Download "Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę"

Szczepan Marek
6 lat temu
Przeglądów:

1 Norbert Jankowski Ontogeniczne sieci neuronowe O sieciach zmieniających swoją strukturę Warszawa 2003

2 Opracowanie książki było wspierane stypendium Uniwersytetu Mikołaja Kopernika

3 Spis treści Wprowadzenie 15 1 Funkcje transferu Funkcjerealizowaneprzezneuron Funkcjeaktywacji Miary odległości i podobieństwa jako funkcje aktywacji Jednorodnemiaryodległości Niejednorodnemiaryodległości Funkcje aktywacji powstające jako złożenie iloczynu skalarnegoimiarpodobieństwa Funkcjewyjścia Funkcjesigmoidalne Funkcje zlokalizowane wokół jednego centrum Funkcjesemi-centralne Funkcjetransferu Nielokalnefunkcjetransferu Lokalneisemi-lokalnefunkcjetransferu Gaussowska i sigmoidalna funkcja wstęgowa Funkcjeogęstościachelipsoidalnych Uniwersalnefunkcjetransferu Funkcjebicentralne Rozszerzeniafunkcjibicentralnych Funkcje bicentralne z niezależnymi skosami Funkcjebicentralnezrotacją Funkcje bicentralne z rotacją i niezależnymi skosami Hierarchia funkcji transferu pod względem ich elastyczności Końcowe porównanie różnych funkcji transferu Sieci z radialnymi funkcjami bazowymi (RBF) Sieci z radialnymi funkcjami bazowymi i regularyzacją Uogólniona sieć z radialnymi funkcjami bazowymi (GRBF) Metody inicjalizacji i uczenia bez nadzoru sieci typu RBF Inicjalizacja położeń zbiorem wektorów uczących

4 4 SPIS TREŚCI Inicjalizacja położeń poprzez podzbiór zbioru uczącego Inicjalizacja położeń metodą klasteryzacji k-średnich Inicjalizacja za pomocą metody k najbliższych sąsiadów Konstruowanie klastrów za pomocą dendrogramów Inicjalizacja za pomocą histogramów i drzew decyzyjnych UczenieznadzoremsieciRBF RozszerzeniasieciRBF RozszerzeniagłównegorównaniasieciRBF Regularyzacja InnemetodyuczeniasieciRBF PorównaniesieciRBFzsieciamiMLP Probabilistyczne sieci neuronowe Support Vector Machines (SVM) Funkcjejądrowe Konstrukcjaoptymalnejhiperpłaszczyzny Konstrukcja hiperpłaszczyzny dla przypadków nieseparowalnych (C-SVC) ν-svc Problem regresji (ǫ-svr) Problem regresji dla ν-svm (ν-svr) Optymalizacja problemów programowania kwadratowego (QP) Dekompozycja WybórzbioruroboczegodlaC-SVM Kryteriumstopu Wybór zbioru roboczego dla ν-svm Kryterium stopu dla ν-svm Analityczne rozwiązanie problemu dekompozycji Wyznaczenie wartości b i ρ Dalsze sposoby przyspieszenia rozwiązywania problemów QPdlaSVM ZbieżnośćalgorytmówdekompozycjiQP SVMaRBF Meta-SVM Walidacjaskośnastosowanadouczenia WynikialgorytmuMeta-SVM Podsumowanie Ontogeniczne modele sieci neuronowych Modelezmniejszającestrukturę Modelezmniejszającestrukturęaregularyzacja Rozpadwag Eliminacjawag MLP2LN Lokalnaregresjagrzbietowa...140

5 SPIS TREŚCI Metodywspółdzieleniawag Usuwanie wag metodami Optimal Brain Damage (OBD) ioptimalbrainsurgeon(obs) Statystyczne i inne metody zmniejszania struktury sieci neuronowych Modeleostrukturachrozrastającychsię Algorytmkafelkowania Algorytmkieszonkowy Sieć kafelkowa dla problemów wieloklasowych Algorytmwieżaipiramida Upstart Algorytm budowania sieci kaskadowych przez analizę dychotomii Algorytmkorelacjikaskadowej Kaskadowasiećperceptronowa FeatureSpaceMapping(FSM) SiećRANzprzydziałemzasobów Uczeniesekwencyjne GeometryczneKryteriumRozrostu AdaptacjasieciRAN Sieć IncNet ze statystyczną kontrolą złożoności sieci Strukturasieciifunkcjetransferu RozszerzonyfiltrKalmana SzybkawersjarozszerzonegofiltruKalmana Kryteriumwystarczalnościmodelu Usuwanieneuronów Łączenieneuronów WykorzystaniesieciIncNetwklasyfikacji Charakterystyka parametrów kontroli procesu adaptacji sieciincnet Siećneuronowaoptymalnychfunkcjitransferu Siećoptymalnychfunkcjitransferu(OTFN) Usuwanieneuronów Statystyczne kryterium usuwania neuronów Kryteriumwystarczalnościsieci SiećoptymalnychfunkcjitransferutypuII Przykłady działania sieci optymalnych funkcji transferu Problemparzystości Problempółsferyipółprzestrzeni Problemtrójkąta...184

6 6 SPIS TREŚCI 5 Komitety modeli K-klasyfikatorów K 2 -klasyfikatorów Maszynaliniowa Sposobypodejmowaniadecyzjiprzezkomitet Bootstrap Aggregating (Bagging) BoostingiAdaBoost Innekomitety Arcing RegionBoost Stacking Grading Mixtureoflocalexperts Komitetyheterogeniczne Komitetyzlokalnąkompetencją Wstępne i końcowe przetwarzanie danych Transformacjedanych Wartościnietypoweibrakujące Wartościnietypowe Wartościbrakujące Metodyselekcjiiważeniacech Ważenie i selekcja cech dyskretną metodą quasi-gradientową Algorytmważeniacech Uczenie z wykorzystaniem walidacji skośnej Estymacjawagkońcowych Procedura FindWeights Eliminacjacech Przykłady rezultatów dla ważenia cech Bazadanychtarczycy Dane wyrostka robaczkowego (Appendicitis) Dane Australian credit Dane opisujące flagi narodowe (Flags) Danerakapiersi Zbiór danych Glass Danechoróbserca Daneopisującegatunkiwin Podsumowanie Regularyzacjadanych Odcienieszarości Eliminacja złych wektorów i przeetykietowanie klas Przykładyużyciaregularyzacjidanych Podsumowanie...223

7 SPIS TREŚCI Przedziały ufności jako narzędzie analizy danych i wizualizacji wyników Przedziały ufności i probabilistyczne przedziały ufności aregułylogiczne Zastosowanie sieci neuronowych Technikiporównywaniaróżnychmodeli MedycznezastosowaniasieciIncNet Klasyfikacja i analiza danych psychometrycznych Opisproblemu Dane Procesuczenia Porównanieianalizawyników Typowemedycznedaneporównawcze Zapaleniewyrostkarobaczkowego Danedotyczącerakapiersi Danedotyczącezapaleniawątroby Danedotyczącecukrzycy Chorobytarczycy Aproksymacja FunkcjaHermita FunkcjaGaboraiGirosiego FunkcjaSugeno Zakończenie 277 Bibliografia 279 Skorowidz 298 Ilustracje kolorowe 305

Podobne dokumenty

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę Norbert Jankowski Ontogeniczne sieci neuronowe O sieciach zmieniających swoją strukturę Warszawa 23 Opracowanie książki było wspierane stypendium Uniwersytetu Mikołaja Kopernika Spis treści Wprowadzenie