Nieujemna faktoryzacja macierzy i tensorów

Transkrypt

1

2

3 Rafał Zdunek Nieujemna faktoryzacja macierzy i tensorów Zastosowanie do klasyfikacji i przetwarzania sygnałów Oficyna Wydawnicza Politechniki Wrocławskiej Wrocław 2014

4 Recenzenci Andrzej CICHOCKI Ewaryst RAFAJŁOWICZ Opracowanie redakcyjne i korekta Alina KACZAK Projekt okładki Marcin ZAWADZKI Wszelkie prawa zastrzeżone. Żadna część niniejszej książki, zarówno w całości, jak i we fragmentach, nie może być reprodukowana w sposób elektroniczny, fotograficzny i inny bez zgody wydawcy i właściciela praw autorskich. Copyright by Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław 2014 OFICYNA WYDAWNICZA POLITECHNIKI WROCŁAWSKIEJ Wybrzeże Wyspiańskiego 27, Wrocław oficwyd@pwr.edu.pl zamawianie.ksiazek@pwr.edu.pl ISBN Drukarnia Oficyny Wydawniczej Politechniki Wrocławskiej. Zam. nr 564/2014.

5 Spis tre±ci Przedmowa Wykaz oznacze« Rozdziaª 1. Wprowadzenie Podstawowe modele Nieujemna faktoryzacja macierzy Nieujemna faktoryzacja tensora Algorytm naprzemiennej minimalizacji funkcji celu Estymacja liczby komponentów ukrytych Zarys historyczny Rozdziaª 2. Podstawowe funkcje celu Odlegªo± euklidesowa Dywergencja Csiszára Dywergencja α Dywergencja KullbackaLeiblera Model Tweedie dla dywergencji α Dywergencja Bregmana Dywergencja β Model Tweedie dla dywergencji β Inne funkcje celu Rozdziaª 3. Podstawy teoretyczne Niejednoznaczno± nieujemnej faktoryzacji macierzy Normalizacja faktorów Miary rzadko±ci Podej±cie geometryczne Warunki jednoznaczno±ci Cechy faktorów Rzadko± faktorów Gªadko± faktorów Ortogonalno± faktorów Korelacja faktorów Lokalna niezmienniczo± faktorów

6 4 Rozdziaª 4. Algorytmy Inicjalizacja faktorów Inicjalizacja losowa Inicjalizacja wektorami centroidów Inicjalizacja wektorami osobliwymi Inicjalizacja wektorami bidiagonalizacji Lanczosa Inicjalizacja wierzchoªkami otoczki wypukªej Warunki optymalno±ci Kryteria stopu Algorytmy multiplikatywne Algorytm MUE Algorytm MKL Algorytm α-nmf Algorytm β-nmf Algorytmy zregularyzowane Algorytmy projekcyjne najmniejszych kwadratów Algorytm ALS Algorytm RALS Algorytmy blokowo-sekwencyjne Algorytm HALS Algorytm SCWA Gradientowe algorytmy kierunków poprawy Projekcyjna metoda Landwebera Algorytm rzutowania gradientu Algorytm gradientów skalowanych Algorytm gradientów optymalnych Algorytmy punktów wewn trznych Algorytmy zbioru aktywnego Algorytm LH-NNLS Algorytm FC-NNLS Zregularyzowany NNLS Algorytmy quasi-newtona Regularyzacja hesjanu Algorytm obszaru zaufania Tªumione iteracje Newtona Algorytm punktów wewn trznych w obszarach zaufania Algorytm spektralnego rzutowania gradientu Wyniki testów numerycznych Testy metod inicjalizacji faktorów Liniowe zadanie najmniejszych kwadratów Testy prostych algorytmów NMF Testy zregularyzowanych algorytmów NMF

7 Testy uogólnionych algorytmów NMF Rozdziaª 5. Struktura modelu NMF Struktura symetryczna Algorytmy multiplikatywne Algorytmy addytywne Wyniki bada« Struktura wielowarstwowa Struktura splotowa Struktura trójczªonowa Struktura dwuortogonalna Liniowa kombinacja funkcji bazowych Struktura wypukªa Struktura aniczna Struktura nieliniowa Rozdziaª 6. Modele dekompozycji tensorów Wybrane dziaªania na tensorach Nieujemna faktoryzacja tensora Estymacja faktorów Model NTF Model NTF Modele hybrydowe Dekompozycja Tuckera Ortogonalno± faktorów Nieujemno± faktorów Cechy mieszane Dekompozycja du»ych zbiorów danych Rozdziaª 7. Przykªadowe zastosowania modeli NMF i NTF lepa separacja ¹ródeª Separacja sygnaªów spektralnych Separacja sygnaªów akustycznych Grupowanie danych Grupowanie twarde Grupowanie probabilistyczne Grupowanie dokumentów tekstowych Klasykacja nadzorowana Klasykacja obrazów twarzy Klasykacja obrazów tekstury Klasykacja obrazów algorytmem UO-NTF Rozdziaª 8. Podsumowanie Bibliograa Streszczenie w j zyku angielskim