Nieujemna faktoryzacja macierzy i tensorów

Rafał Zdunek Nieujemna faktoryzacja macierzy i tensorów Zastosowanie do klasyfikacji i przetwarzania sygnałów Oficyna Wydawnicza Politechniki Wrocławskiej Wrocław 2014

Recenzenci Andrzej CICHOCKI Ewaryst RAFAJŁOWICZ Opracowanie redakcyjne i korekta Alina KACZAK Projekt okładki Marcin ZAWADZKI Wszelkie prawa zastrzeżone. Żadna część niniejszej książki, zarówno w całości, jak i we fragmentach, nie może być reprodukowana w sposób elektroniczny, fotograficzny i inny bez zgody wydawcy i właściciela praw autorskich. Copyright by Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław 2014 OFICYNA WYDAWNICZA POLITECHNIKI WROCŁAWSKIEJ Wybrzeże Wyspiańskiego 27, 50-370 Wrocław http://www.oficyna.pwr.edu.pl e-mail: oficwyd@pwr.edu.pl zamawianie.ksiazek@pwr.edu.pl ISBN 978-83-7493-844-0 Drukarnia Oficyny Wydawniczej Politechniki Wrocławskiej. Zam. nr 564/2014.

Spis tre±ci Przedmowa................................................... 7 Wykaz oznacze«................................................ 11 Rozdziaª 1. Wprowadzenie........................................ 17 1.1. Podstawowe modele....................................... 18 1.1.1. Nieujemna faktoryzacja macierzy........................ 19 1.1.2. Nieujemna faktoryzacja tensora.......................... 21 1.2. Algorytm naprzemiennej minimalizacji funkcji celu................. 23 1.3. Estymacja liczby komponentów ukrytych........................ 26 1.4. Zarys historyczny......................................... 31 Rozdziaª 2. Podstawowe funkcje celu................................. 35 2.1. Odlegªo± euklidesowa...................................... 36 2.2. Dywergencja Csiszára...................................... 37 2.2.1. Dywergencja α...................................... 37 2.2.2. Dywergencja KullbackaLeiblera......................... 39 2.2.3. Model Tweedie dla dywergencji α........................ 40 2.3. Dywergencja Bregmana..................................... 43 2.3.1. Dywergencja β...................................... 43 2.3.2. Model Tweedie dla dywergencji β........................ 45 2.4. Inne funkcje celu.......................................... 46 Rozdziaª 3. Podstawy teoretyczne................................... 49 3.1. Niejednoznaczno± nieujemnej faktoryzacji macierzy................ 49 3.1.1. Normalizacja faktorów................................ 50 3.1.2. Miary rzadko±ci..................................... 54 3.1.3. Podej±cie geometryczne............................... 55 3.1.4. Warunki jednoznaczno±ci.............................. 60 3.2. Cechy faktorów........................................... 73 3.2.1. Rzadko± faktorów................................... 74 3.2.2. Gªadko± faktorów................................... 79 3.2.3. Ortogonalno± faktorów............................... 85 3.2.4. Korelacja faktorów................................... 87 3.2.5. Lokalna niezmienniczo± faktorów........................ 91

4 Rozdziaª 4. Algorytmy........................................... 99 4.1. Inicjalizacja faktorów...................................... 101 4.1.1. Inicjalizacja losowa................................... 101 4.1.2. Inicjalizacja wektorami centroidów....................... 103 4.1.3. Inicjalizacja wektorami osobliwymi....................... 106 4.1.4. Inicjalizacja wektorami bidiagonalizacji Lanczosa............. 109 4.1.5. Inicjalizacja wierzchoªkami otoczki wypukªej................ 110 4.2. Warunki optymalno±ci...................................... 114 4.3. Kryteria stopu........................................... 116 4.4. Algorytmy multiplikatywne.................................. 118 4.4.1. Algorytm MUE..................................... 119 4.4.2. Algorytm MKL..................................... 124 4.4.3. Algorytm α-nmf................................... 126 4.4.4. Algorytm β-nmf.................................... 128 4.4.5. Algorytmy zregularyzowane............................ 130 4.5. Algorytmy projekcyjne najmniejszych kwadratów.................. 140 4.5.1. Algorytm ALS...................................... 141 4.5.2. Algorytm RALS.................................... 142 4.6. Algorytmy blokowo-sekwencyjne.............................. 144 4.6.1. Algorytm HALS.................................... 144 4.6.2. Algorytm SCWA.................................... 147 4.7. Gradientowe algorytmy kierunków poprawy...................... 150 4.7.1. Projekcyjna metoda Landwebera......................... 151 4.7.2. Algorytm rzutowania gradientu.......................... 153 4.7.3. Algorytm gradientów skalowanych....................... 154 4.7.4. Algorytm gradientów optymalnych....................... 155 4.8. Algorytmy punktów wewn trznych............................. 157 4.9. Algorytmy zbioru aktywnego................................. 162 4.9.1. Algorytm LH-NNLS.................................. 162 4.9.2. Algorytm FC-NNLS.................................. 165 4.9.3. Zregularyzowany NNLS............................... 166 4.10. Algorytmy quasi-newtona................................... 174 4.10.1. Regularyzacja hesjanu................................ 175 4.10.2. Algorytm obszaru zaufania............................. 178 4.10.3. Tªumione iteracje Newtona............................. 182 4.10.4. Algorytm punktów wewn trznych w obszarach zaufania........ 187 4.10.5. Algorytm spektralnego rzutowania gradientu................ 193 4.11. Wyniki testów numerycznych................................. 196 4.11.1. Testy metod inicjalizacji faktorów........................ 197 4.11.2. Liniowe zadanie najmniejszych kwadratów.................. 199 4.11.3. Testy prostych algorytmów NMF........................ 202 4.11.4. Testy zregularyzowanych algorytmów NMF................. 219

4.11.5. Testy uogólnionych algorytmów NMF..................... 222 Rozdziaª 5. Struktura modelu NMF.................................. 225 5.1. Struktura symetryczna..................................... 225 5.1.1. Algorytmy multiplikatywne............................. 226 5.1.2. Algorytmy addytywne................................ 231 5.1.3. Wyniki bada«...................................... 233 5.2. Struktura wielowarstwowa................................... 237 5.3. Struktura splotowa........................................ 239 5.4. Struktura trójczªonowa..................................... 241 5.4.1. Struktura dwuortogonalna............................. 241 5.4.2. Liniowa kombinacja funkcji bazowych..................... 243 5.4.3. Struktura wypukªa................................... 246 5.5. Struktura aniczna........................................ 249 5.6. Struktura nieliniowa....................................... 250 Rozdziaª 6. Modele dekompozycji tensorów............................ 253 6.1. Wybrane dziaªania na tensorach............................... 253 6.2. Nieujemna faktoryzacja tensora............................... 256 6.2.1. Estymacja faktorów.................................. 259 6.2.2. Model NTF1....................................... 260 6.2.3. Model NTF2....................................... 262 6.2.4. Modele hybrydowe................................... 262 6.3. Dekompozycja Tuckera..................................... 265 6.3.1. Ortogonalno± faktorów............................... 265 6.3.2. Nieujemno± faktorów................................ 266 6.3.3. Cechy mieszane..................................... 268 6.4. Dekompozycja du»ych zbiorów danych.......................... 270 Rozdziaª 7. Przykªadowe zastosowania modeli NMF i NTF................. 275 7.1. lepa separacja ¹ródeª...................................... 275 7.1.1. Separacja sygnaªów spektralnych......................... 276 7.1.2. Separacja sygnaªów akustycznych........................ 279 7.2. Grupowanie danych....................................... 290 7.2.1. Grupowanie twarde.................................. 290 7.2.2. Grupowanie probabilistyczne............................ 296 7.2.3. Grupowanie dokumentów tekstowych...................... 297 7.3. Klasykacja nadzorowana................................... 301 7.3.1. Klasykacja obrazów twarzy............................ 302 7.3.2. Klasykacja obrazów tekstury........................... 305 7.3.3. Klasykacja obrazów algorytmem UO-NTF................. 308 Rozdziaª 8. Podsumowanie........................................ 313 Bibliograa................................................... 325 Streszczenie w j zyku angielskim.................................... 361 5