Klasyfikacja z milionami etykiet

Wielkość: px

Rozpocząć pokaz od strony:

Download "Klasyfikacja z milionami etykiet"

Bogna Niewiadomska
6 lat temu
Przeglądów:

1 Klasyfikacja z milionami etykiet Krzysztof Dembczyński Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Big Data: Przetwarzanie i eksploracja Poznań, 22 kwietnia 2016 r.

2 Geoff Hinton Andrew Ng Yann LeCun Yoshua Bengio 1 / 16

3 Geoff Hinton Andrew Ng Yann LeCun Yoshua Bengio 1 / 16

4 Geoff Hinton Andrew Ng Yann LeCun Yoshua Bengio 1 / 16

5 Dwa rodzaje problemów Klasyfikacja wieloklasowa: jedna etykieta przypisana do obiektu. Klasyfikacja wieloetykietowa: żadna, jedna lub więcej etykiet przypisanych do obiektu. x = (x 1, x 2,..., x p ) R p h(x) y = (y 1, y 2,..., y m ) {0, 1} m x 1 x 2... x p y 1 y 2... y m x ??? 2 / 16

6 Dwa rodzaje problemów Klasyfikacja wieloklasowa: jedna etykieta przypisana do obiektu. Klasyfikacja wieloetykietowa: żadna, jedna lub więcej etykiet przypisanych do obiektu. x = (x 1, x 2,..., x p ) R p h(x) y = (y 1, y 2,..., y m ) {0, 1} m x 1 x 2... x p y 1 y 2... y m x / 16

7 Dwa rodzaje problemów Klasyfikacja wieloklasowa: jedna etykieta przypisana do obiektu. Klasyfikacja wieloetykietowa: żadna, jedna lub więcej etykiet przypisanych do obiektu. x = (x 1, x 2,..., x p ) R p h(x) y = (y 1, y 2,..., y m ) {0, 1} m x 1 x 2... x p y 1 y 2... y m x m klasyfikacja ekstremalna (ang.extreme classification) 2 / 16

8 Zbiory danych #etykiet #cech #test. #trening. przk./etyk. etyk./przk. RCV AmazonCat Wiki Delicious WikiLSHTC Amazon Tabela: Zbiory danych z repozytorium XMLRepository XMLRepository.html 3 / 16

9 Podejście tradycyjne/naiwne 4 / 16

10 Podejście tradycyjne/naiwne Gęsty model liniowy dla każdej etykiety: X T W = Ŷ 4 / 16

11 Podejście tradycyjne/naiwne Gęsty model liniowy dla każdej etykiety: Rozmiar problemu WikiLSHTC: X T W = Ŷ # przykładów treningowych: n = # przykładów testowych: n = # cech: d = # etykiet: m = / 16

12 Podejście tradycyjne/naiwne Gęsty model liniowy dla każdej etykiety: Rozmiar problemu WikiLSHTC: X T W = Ŷ # przykładów treningowych: n = # przykładów testowych: n = # cech: d = # etykiet: m = Złożoność pamięciowa: Złożoność obliczeniowa uczenia: = = Złożoność obliczeniowa testowania: = / 16

13 Podejście tradycyjne Nie musi być aż tak źle: 5 / 16

14 Podejście tradycyjne Nie musi być aż tak źle: Duże dane rzadkie dane (rzadkie cechy i rzadkie etykiety) 5 / 16

15 Podejście tradycyjne Nie musi być aż tak źle: Duże dane rzadkie dane (rzadkie cechy i rzadkie etykiety) Szybkie algorytmy dla tradycyjnych problemów uczenia maszynowego 5 / 16

16 Podejście tradycyjne Nie musi być aż tak źle: Duże dane rzadkie dane (rzadkie cechy i rzadkie etykiety) Szybkie algorytmy dla tradycyjnych problemów uczenia maszynowego Duże moce obliczeniowe 5 / 16

17 Rysunek: Vowpal Wabbit 2 na wykładzie Johna Langforda 3 2 Vowpal Wabbit, / 16

18 Szybka klasyfikacja binarna 4 Zbiór danych: RCV1 Predykcja kategorii: CCAT # przykładów uczących: # cech: 60M Rozmiar: 1.1 GB Linia komend: time vw -sgd rcv1.train.txt -c Czas uczenia: 1-3 sekundy na laptopie / 16

19 Uczenie modeli: Przyśpieszanie modeli liniowych Stochastyczny spadek wzdłuż gradientu. 5 Obsługa rzadkich cech. 6 Negatywne samplowanie. 7 Rozmiar modelu: Regularyzacja: L 1 vs L 2. Haszowanie cech. 8 Dwa kryteria na raz: Projekcja do nisko-wymiarowej przestrzeni X, W, Y, etc. 9 5 Bottou, L. (2010). Large-scale machine learning with stochastic gradient descent. In COMP- STAT. Springer 6 Duchi, J. i Singer, Y. (2009). Efficient online and batch learning using forward backward splitting. JMLR, 10: Collobert, R. i Weston, J. (2008). A unified architecture for natural language processing: Deep neural networks with multitask learning. In ICML 8 Weinberger, K., Dasgupta, A., Langford, J., Smola, A., i Attenberg, J. (2009). Feature hashing for large scale multitask learning. In ICML 9 Hsu, D., Kakade, S., Langford, J., i Zhang, T. (2009). Multi-label prediction via compressed sensing. In NIPS 8 / 16

20 Klasyfikacja ekstremalna Wszystkie powyższe techniki poprawiają wydajność, ale... 9 / 16

21 Klasyfikacja ekstremalna Wszystkie powyższe techniki poprawiają wydajność, ale... Czas predykcji ciągle rośnie linowo z liczbą etykiet! 9 / 16

22 Klasyfikacja ekstremalna Wszystkie powyższe techniki poprawiają wydajność, ale... Czas predykcji ciągle rośnie linowo z liczbą etykiet! Redukcja złożoności poprzez wykorzystanie odpowiednich struktur danych: 9 / 16

23 Klasyfikacja ekstremalna Wszystkie powyższe techniki poprawiają wydajność, ale... Czas predykcji ciągle rośnie linowo z liczbą etykiet! Redukcja złożoności poprzez wykorzystanie odpowiednich struktur danych: Funkcje mieszające 9 / 16

24 Klasyfikacja ekstremalna Wszystkie powyższe techniki poprawiają wydajność, ale... Czas predykcji ciągle rośnie linowo z liczbą etykiet! Redukcja złożoności poprzez wykorzystanie odpowiednich struktur danych: Funkcje mieszające ( grupowanie). 9 / 16

25 Klasyfikacja ekstremalna Wszystkie powyższe techniki poprawiają wydajność, ale... Czas predykcji ciągle rośnie linowo z liczbą etykiet! Redukcja złożoności poprzez wykorzystanie odpowiednich struktur danych: Funkcje mieszające ( grupowanie). Sortowanie drzewa 9 / 16

26 Klasyfikacja ekstremalna Wszystkie powyższe techniki poprawiają wydajność, ale... Czas predykcji ciągle rośnie linowo z liczbą etykiet! Redukcja złożoności poprzez wykorzystanie odpowiednich struktur danych: Funkcje mieszające ( grupowanie). Sortowanie drzewa drzewa decyzyjne. drzewa etykiet. 9 / 16

27 Drzewa decyzyjne dla klasyfikacji ekstremalnej Dwa przykładowe podejścia: FastXML 10 i LomTrees 11 Klasyfikatory liniowe w wierzchołkach drzewa. Szybki podział obiektów na prawe/lewe w wierzchołkach. Jedna ścieżka wzdłuż drzewa podczas predykcji. Predykcja logarytmiczna w liczbie przykładów uczących. w 1 x 0 w 2 x 0 w 3 x 0 η 1(x)=0.6 η 12(x)= w 4 x 0 η 44(x)=0.46 η 3(x)=0.15 η 102(x)= η 45(x)=0.45 η 2(x)= η 3(x)=0.46 η 1(x)= η 34(x)=0.8 η 45(x)=0.45 η 5(x)= Prabhu, Y. i Varma, M. (2014). FastXML: A fast, accurate and stable tree-classifier for extreme multi-label learning. In KDD 11 Choromanska, A. i Langford, J. (2015). Logarithmic time online multiclass prediction. In NIPS / 16

28 Drzewa decyzyjne dla klasyfikacji ekstremalnej Dwa przykładowe podejścia: FastXML 10 i LomTrees 11 Klasyfikatory liniowe w wierzchołkach drzewa. Szybki podział obiektów na prawe/lewe w wierzchołkach. Jedna ścieżka wzdłuż drzewa podczas predykcji. Predykcja logarytmiczna w liczbie przykładów uczących. w 1 x 0 w 2 x 0 w 3 x 0 η 1(x)=0.6 η 12(x)= w 4 x 0 η 44(x)=0.46 η 3(x)=0.15 η 102(x)= η 45(x)=0.45 η 2(x)= η 3(x)=0.46 η 1(x)= η 34(x)=0.8 η 45(x)=0.45 η 5(x)= Prabhu, Y. i Varma, M. (2014). FastXML: A fast, accurate and stable tree-classifier for extreme multi-label learning. In KDD 11 Choromanska, A. i Langford, J. (2015). Logarithmic time online multiclass prediction. In NIPS / 16

29 Drzewa etykiet Bazują na b-arnych drzewach y 1 y y 3 y y 5 y y 7 y 8 Każdy liść odpowiada jednej etykiecie. Wewnętrzne klasyfikatory decydują, czy przejść do potomków. Liść może zawierać ostateczny klasyfikator dla danej etykiety. Przykład testowy może odwiedzić wiele ścieżek od korzenia do liści. 12 Bengio, S., Weston, J., i Grangier, D. (2010). Label embedding trees for large multi-class tasks. In NIPS, pages Curran Associates, Inc Jasinka, K., Dembczynski, K., Busa-Fekete, R., Pfannschmidt, K., Klerx, T., i Hüllermeier, E. (2016). Extreme F-measure maximization using sparse probability estimates 11 / 16

30 Drzewa etykiet Bazują na b-arnych drzewach Każdy liść odpowiada jednej etykiecie. Wewnętrzne klasyfikatory decydują, czy przejść do potomków. Liść może zawierać ostateczny klasyfikator dla danej etykiety. Przykład testowy może odwiedzić wiele ścieżek od korzenia do liści. 12 Bengio, S., Weston, J., i Grangier, D. (2010). Label embedding trees for large multi-class tasks. In NIPS, pages Curran Associates, Inc Jasinka, K., Dembczynski, K., Busa-Fekete, R., Pfannschmidt, K., Klerx, T., i Hüllermeier, E. (2016). Extreme F-measure maximization using sparse probability estimates 11 / 16

31 Drzewa etykiet Bazują na b-arnych drzewach Każdy liść odpowiada jednej etykiecie. Wewnętrzne klasyfikatory decydują, czy przejść do potomków. Liść może zawierać ostateczny klasyfikator dla danej etykiety. Przykład testowy może odwiedzić wiele ścieżek od korzenia do liści. 12 Bengio, S., Weston, J., i Grangier, D. (2010). Label embedding trees for large multi-class tasks. In NIPS, pages Curran Associates, Inc Jasinka, K., Dembczynski, K., Busa-Fekete, R., Pfannschmidt, K., Klerx, T., i Hüllermeier, E. (2016). Extreme F-measure maximization using sparse probability estimates 11 / 16

32 Wyniki eksperymentalne #etykiet #cech #test. #trening. przk./etyk. etyk./przk. RCV AmazonCat Wiki Delicious WikiLSHTC Amazon Tabela: Zbiory danych z repozytorium XMLRepository XMLRepository.html 12 / 16

33 Wyniki eksperymentalne PLT FastXML RCV AmazonCat Wiki Delicious WikiLSHTC Amazon PLT FastXML uczen. test. b wysok. #ilocz. uczen. test. wysok. #ilocz. [min] [ms] drzewa skalar.. [min] [ms] drzewa skalar. RCV ,25 43, AmazonCat ,43 54, Wiki ,98 121, Delicious , , WikiLSHTC ,66 622, Amazon ,45 374, / 16

34 Czy szukamy rozwiązania w dobrym miejscu? Rysunek: 14 Podobny rysunek użyty wcześniej przez Aselę Gunawardanę Oryginał: Florence Morning News, Mutt and Jeff Comic Strip, Page 7, Florence, South Carolina, Asela Gunawardana, Evaluating Machine Learned User Experiences. Extreme Classification Workshop. NIPS / 16

35 Wyzwania Redukcja złożoności obliczeniowej: czas vs. pamięć #przykładów vs. #cech vs. #etykiet uczenie vs. walidacja vs. testowanie Poprawa wydajności predykcyjnej: Miary wydajności: błąd Hamminga, miara F,.... Statystyczna teoria uczenia dla dużego m. Uczenie rzadkich etykiet. 15 / 16

36 Koniec Więcej na stronie: 16 / 16

Podobne dokumenty

Optymalizacja ciągła

Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej