Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa

Transkrypt

1 Systemy uczace się / 32 Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa Hung Son Nguyen Wydział Matematyki, Informatyki i Mechaniki Uniwersytet Warszawski son@mimuw.edu.pl Grudzień 2009

2 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem

3 Podejście indukcyjne Systemy uczace się / 32 Np. Pokazać, że dla każdego n N zachodzi Ψ(n) : n 2 = n(n + 1)(2n + 1) 6

4 Podejście indukcyjne Systemy uczace się / 32 Np. Pokazać, że dla każdego n N zachodzi Ψ(n) : n 2 = n(n + 1)(2n + 1) 6 Indukcja pełna: Ψ(1) oraz n 1 [Ψ(n) = Ψ(n + 1)]

5 Podejście indukcyjne Systemy uczace się / 32 Np. Pokazać, że dla każdego n N zachodzi Ψ(n) : n 2 = n(n + 1)(2n + 1) 6 Indukcja pełna: Ψ(1) oraz n 1 [Ψ(n) = Ψ(n + 1)] Indukcja niepełna: czy wystarczy sprawdzić, np. Ψ(1), Ψ(2), Ψ(3), Ψ(4)?

6 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji

7 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć?

8 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć;

9 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych;

10 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych; Złożoności przestrzeni hipotez;

11 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych; Złożoności przestrzeni hipotez; Jakości aproksymacji;

12 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych; Złożoności przestrzeni hipotez; Jakości aproksymacji; Metod reprezentacji danych treningowych;

13 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech

14 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów;

15 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}}

16 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu;

17 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa

18 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X.

19 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}};

20 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana

21 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c.

22 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c. Wymagane

23 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c. Wymagane dobra jakość aproksymacji

24 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c. Wymagane dobra jakość aproksymacji szybki czas wyuczania.

25 Przykład Systemy uczace się / 32

26 Przykład Systemy uczace się / 32

27 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała.

28 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i.

29 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA

30 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA

31 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata

32 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ;

33 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ; C = H = zbiór prostokatów;

34 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ; C = H = zbiór prostokatów; Przykład zbioru treningowego ((84, 184), +), ((70, 170), +), ((75, 163), ), ((80, 180), +), ((81, 195), ), ((63, 191), ), ((77, 187), ), ((68, 168), +)

35 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ; C = H = zbiór prostokatów; Przykład zbioru treningowego ((84, 184), +), ((70, 170), +), ((75, 163), ), ((80, 180), +), ((81, 195), ), ((63, 191), ), ((77, 187), ), ((68, 168), +) ((79, 183,?)

36 Inne przykłady Systemy uczace się / 32 Uczenie półosi (lub dyskretyzacji): X = R; C = H = {[λ, ) : α R}

37 Inne przykłady Systemy uczace się / 32 Uczenie półosi (lub dyskretyzacji): X = R; C = H = {[λ, ) : α R} Uczenie hiperpłaszczyzny: X = R n ; H = {f w0,w 1,...,w n : R n {0, 1} } gdzie f w0,...,w n (x 1,..., x n ) = sgn(w 0 + w 1 x w n x n ).

38 Inne przykłady Systemy uczace się / 32 Uczenie półosi (lub dyskretyzacji): X = R; C = H = {[λ, ) : α R} Uczenie hiperpłaszczyzny: X = R n ; H = {f w0,w 1,...,w n : R n {0, 1} } gdzie f w0,...,w n (x 1,..., x n ) = sgn(w 0 + w 1 x w n x n ). Uczenie jednomianów Boolowskich: X = {0, 1} n ; c : {0, 1} n {0, 1}; H = M n = zbiór jednomianów Boolowskich o n zmiennych.

39 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty

40 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ;

41 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}.

42 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}. Statystyka: Jeśli przykłady z D sa wybrane zgodnie z miara prawdopodobieństwa µ w sposób niezależny oraz D 30, to

43 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}. Statystyka: Jeśli przykłady z D sa wybrane zgodnie z miara prawdopodobieństwa µ w sposób niezależny oraz D 30, to er c Ω (h) erc D (h) = D X h c D,

44 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}. Statystyka: Jeśli przykłady z D sa wybrane zgodnie z miara prawdopodobieństwa µ w sposób niezależny oraz D 30, to er c Ω (h) erc D (h) = D X h c D, z prawdopodobieństwem (1 ε) er c Ω erc D s ε er c D (1 erc D ) 2 D

45 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem

46 Model uczenia się PAC Systemy uczace się / 32 Idea modelu PAC (Probably Approximately Correct): Określenie warunków, przy których uczeń (algorytm uczenia się) z dużym prawdopodobieństwem znajdzie dobra hipotezę na podstawie danych D.

47 Model uczenia się PAC Systemy uczace się / 32 Idea modelu PAC (Probably Approximately Correct): Określenie warunków, przy których uczeń (algorytm uczenia się) z dużym prawdopodobieństwem znajdzie dobra hipotezę na podstawie danych D. PAC-owy uczeń Niech L będzie algorytmem uczenia się, jeśli dla każdych 0 < ε, δ < 1, istnieje liczba m 0 = m 0 (ε, δ) taka, że dla dowolnego pojęcia c C, dla dowolnego rozkładu Ω na X i dla m > m 0 mamy µ m {D S(m, c) : er Ω (L(D)) < ε} > 1 δ Wówczas mówimy w skrócie, że L jest PAC dla klasy C ( prawdopodobnie aproksymacyjnie poprawny ). ε = dopuszczalny poziom błędu; (1 δ) = poziom zaufania.

48 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ}

49 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0

50 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) }

51 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm:

52 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm: 1 Set λ := min i {1,...,m} {x i : f λ0 (x i ) = 1};

53 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm: 1 Set λ := min i {1,...,m} {x i : f λ0 (x i ) = 1}; 2 L(D) := f λ ; Systemy uczace się / 32

54 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm: 1 Set λ := min i {1,...,m} {x i : f λ0 (x i ) = 1}; 2 L(D) := f λ ; Twierdzenie: Powyższy algorytm jest PAC Systemy uczace się / 32

55 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )).

56 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}.

57 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}. Wówczas er c Ω (f λ ) ε x i D : x i / [λ 0, β 0 ];

58 Dowód er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}. Wówczas er c Ω (f λ ) ε x i D : x i / [λ 0, β 0 ]; Stad µ m {(x 1,..., x m ) : xi D : x i / [λ 0, β 0 ]} (1 ε) m µ m {D S(m, f λ0 ) : er Ω (f λ ) ε} 1 (1 ε) m Systemy uczace się / 32

59 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}. Wówczas er c Ω (f λ ) ε x i D : x i / [λ 0, β 0 ]; Stad µ m {(x 1,..., x m ) : xi D : x i / [λ 0, β 0 ]} (1 ε) m µ m {D S(m, f λ0 ) : er Ω (f λ ) ε} 1 (1 ε) m Aby to prawdopodobieństwo było > 1 δ, wystarczy przyjać m m 0 = 1 ε ln 1 δ

60 Dokładne uczenie się Systemy uczace się / 32 Niech Ω będzie rozkładem dyskretnym zdefiniowanym przez µ 1 = µ(x 1 ),..., µ n = µ(x n ) dla pewnych x 1,..., x n X takich, że µ µ n = 1. Niech ε min = min i µ i.

61 Dokładne uczenie się Systemy uczace się / 32 Niech Ω będzie rozkładem dyskretnym zdefiniowanym przez µ 1 = µ(x 1 ),..., µ n = µ(x n ) dla pewnych x 1,..., x n X takich, że µ µ n = 1. Niech ε min = min µ i. i Jeśli L jest PAC, i jeśli ε ε min to warunek er c Ω (L(D)) < ε jest równoważny z erc Ω (L(D)) = 0. St ad dla każdego δ, istnieje m 0 = m 0 (ε min, δ) taka, że dla dowolnego c C i Ω m > m 0 µ m {D S(m, t) er Ω (L(D)) = 0} > 1 δ

62 Dokładne uczenie się Systemy uczace się / 32 Niech Ω będzie rozkładem dyskretnym zdefiniowanym przez µ 1 = µ(x 1 ),..., µ n = µ(x n ) dla pewnych x 1,..., x n X takich, że µ µ n = 1. Niech ε min = min µ i. i Jeśli L jest PAC, i jeśli ε ε min to warunek er c Ω (L(D)) < ε jest równoważny z erc Ω (L(D)) = 0. St ad dla każdego δ, istnieje m 0 = m 0 (ε min, δ) taka, że dla dowolnego c C i Ω m > m 0 µ m {D S(m, t) er Ω (L(D)) = 0} > 1 δ Wówczas mówimy, że prawdopodobnie L jest dokładnym algorytmem (jest PEC probably exactly correct)

63 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem

64 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D.

65 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D. B c ε = {h H : er Ω (h) ε} zbiór ε-złych hipotez

66 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D. B c ε = {h H : er Ω (h) ε} zbiór ε-złych hipotez

67 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D. B c ε = {h H : er Ω (h) ε} zbiór ε-złych hipotez Definicja: Potencjalna wyuczalność Mówimy, że C jest potencjalnie wyuczalna za pomoca H, jeśli dla każdego rozkładu Ω na X i dowolnego pojęcia c C oraz dla dowolnych 0 < ε, δ < 1 istnieje m 0 = m 0 (ε, δ) takie, że m m 0 µ m {D S(m, c) : H c (D) B c ε = } > 1 δ

68 Potencjalna wyuczalność Systemy uczace się / 32 Algorytm L nazywamy niesprzecznym jeśli L(D) H c (D) dla każdego zbioru D. Twierdzenie W przestrzeni potencjalnie wyuczalnej, każdy wzorowy uczeń (niesprzeczny algorytm) jest PAC-owy.

69 Potencjalna wyuczalność Systemy uczace się / 32 Algorytm L nazywamy niesprzecznym jeśli L(D) H c (D) dla każdego zbioru D. Twierdzenie W przestrzeni potencjalnie wyuczalnej, każdy wzorowy uczeń (niesprzeczny algorytm) jest PAC-owy. Twierdzenie (Haussler, 1988) Jeśli C = H i C <, to C jest potencjalnie wyuczalna. Dowód: Niech h B ε (tzn. er Ω (h) ε). Wówczas µ m {D S(m, c) : er D (h) = 0} (1 ε) m µ m {D : H c (D) B ε } B ε (1 ε) m H (1 ε) m Aby H (1 ε) m < δ wystarczy wybrać m m 0 = 1 ε ln H δ

70 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem

71 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H}

72 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m.

73 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m. Gdy Π H ( x ) = 2 m, mówimy, że H rozbija x.

74 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m. Gdy Π H ( x ) = 2 m, mówimy, że H rozbija x. Niech Π H (m) = max Π H ( x ) x X m

75 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m. Gdy Π H ( x ) = 2 m, mówimy, że H rozbija x. Niech Π H (m) = max Π H ( x ) x X m Na przykład: W przypadku klasy pojęć "półosi"postaci [α, ) mamy Π H (m) = m + 1.

76 Systemy uczace się / 32 Uwagi: Wymiar Vapnika-Chervonenkisa (c.d.) Jeśli Π H (m) = 2 m, to istnieje pewien zbiór o mocy m taki, że H może definiować każdy jego podzbiór (H rozbija ten zbiór).

77 Uwagi: Wymiar Vapnika-Chervonenkisa (c.d.) Jeśli Π H (m) = 2 m, to istnieje pewien zbiór o mocy m taki, że H może definiować każdy jego podzbiór (H rozbija ten zbiór). Maksymalna wartość m, dla której Π H (m) = 2 m można uważać za siłę wyrażalności przestrzeni H Systemy uczace się / 32

78 Uwagi: Wymiar Vapnika-Chervonenkisa (c.d.) Jeśli Π H (m) = 2 m, to istnieje pewien zbiór o mocy m taki, że H może definiować każdy jego podzbiór (H rozbija ten zbiór). Maksymalna wartość m, dla której Π H (m) = 2 m można uważać za siłę wyrażalności przestrzeni H Definicja: wymiar VCdim Wymiarem Vapnika-Chervonenkisa przestrzeni hipotez H nazywamy liczbę VCdim(H) = max{m : Π H (m) = 2 m } gdzie maksimum wynosi jeśli ten zbiór jest nieograniczony. Systemy uczace się / 32

79 Przykłady wymiarów VCdim Systemy uczace się / 32

80 Przykłady wymiarów VCdim Systemy uczace się / 32

81 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3

82 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4

83 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach

84 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i -

85 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i - H = { półpłaszczyzny w R 2... } = VC(H) = 3

86 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i - H = { półpłaszczyzny w R 2... } = VC(H) = 3 czy istnieje H dla której VC(H) =?

87 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i - H = { półpłaszczyzny w R 2... } = VC(H) = 3 czy istnieje H dla której VC(H) =?

88 Wymiar VCdim dla perceptronu Systemy uczace się / 32 Twierdzenie Dla każdej liczby naturalnej n, niech P n będzie perceptronem o n wejściach rzeczywistych. Wówczas Dowód: VCdim(P n ) = n + 1

89 Twierdzenie Wymiar VCdim dla perceptronu Dla każdej liczby naturalnej n, niech P n będzie perceptronem o n wejściach rzeczywistych. Wówczas VCdim(P n ) = n + 1 Dowód: VCdim(P n ) n + 1: Wynika z Twierdzenia Radona: Dla dowolnego zbioru E zawierajacego n + 2 punktów w przestrzeni R n istnieje niepusty podzbiór S E taki, że conv(s) conv(e \ S) Systemy uczace się / 32

90 Twierdzenie Wymiar VCdim dla perceptronu Dla każdej liczby naturalnej n, niech P n będzie perceptronem o n wejściach rzeczywistych. Wówczas VCdim(P n ) = n + 1 Dowód: VCdim(P n ) n + 1: Wynika z Twierdzenia Radona: Dla dowolnego zbioru E zawierajacego n + 2 punktów w przestrzeni R n istnieje niepusty podzbiór S E taki, że conv(s) conv(e \ S) VCdim(P n ) n + 1 : Wystarczy wybrać x = {0, e 1,..., e n } i pokazać, że każdy jego podzbiór jest definiowany przez jakiś perceptron. Systemy uczace się / 32

91 Wymiar VCdim Systemy uczace się / 32 Twierdzenie

92 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H.

93 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H. 2 (Lemat Sauer a) Jeśli VCdim(H) = d 0 i m 1, to ( ) ( ) m m Π H (m) = Φ(d, m) 1 d

94 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H. 2 (Lemat Sauer a) Jeśli VCdim(H) = d 0 i m 1, to ( ) ( ) m m Π H (m) = Φ(d, m) 1 d ( em ) d ( em 3 Wniosek: Φ(d, m) ΠH (m) d d ) d

95 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H. 2 (Lemat Sauer a) Jeśli VCdim(H) = d 0 i m 1, to ( ) ( ) m m Π H (m) = Φ(d, m) 1 d ( em ) d ( em 3 Wniosek: Φ(d, m) ΠH (m) d d 4 Jeśli X <, H 2 X oraz H > 1 X < = VCdim(H) > ln H 1 + ln X ) d

96 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem

97 Fundamentalne twierdzenia Systemy uczace się / 32 Twierdzenie: (Warunek konieczny) Jeśli przestrzeń hipotez ma nieskończony wymiar VCdim to nie jest potencjalnie wyuczalna.

98 Fundamentalne twierdzenia Systemy uczace się / 32 Twierdzenie: (Warunek konieczny) Jeśli przestrzeń hipotez ma nieskończony wymiar VCdim to nie jest potencjalnie wyuczalna. Twierdzenie: (fundamentalne) Jeśli przestrzeń hipotez ma skończony wymiar VC, to jest ona potencjalnie wyuczalna.

99 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε }

100 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε } 2 Szukamy górnego ograniczenia f (m, ε) dla µ m (Q ε m), które powinno - być niezależne od c C i µ (rozkład). - dażyć do 0 przy m

101 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε } 2 Szukamy górnego ograniczenia f (m, ε) dla µ m (Q ε m), które powinno - być niezależne od c C i µ (rozkład). - dażyć do 0 przy m 3 Twierdzenie Niech H będzie przestrzenia hipotez określonych na X. Dla dowolnych c, µ, ε (ale ustalonych) mamy o ile m 8/ε. µ m (Q ε m) < 2Π H (2m)2 εm/2

102 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε } 2 Szukamy górnego ograniczenia f (m, ε) dla µ m (Q ε m), które powinno - być niezależne od c C i µ (rozkład). - dażyć do 0 przy m 3 Twierdzenie Niech H będzie przestrzenia hipotez określonych na X. Dla dowolnych c, µ, ε (ale ustalonych) mamy o ile m 8/ε. µ m (Q ε m) < 2Π H (2m)2 εm/2 4 Korzystamy z lematu Sauer a, aby pokazać, że µ m (Q ε m) < δ dla dostatecznie dużych m.

103 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε

104 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ )

105 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia:

106 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia: m L (H, δ, ε) d(1 ε)

107 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia: m L (H, δ, ε) d(1 ε) Jeśli δ 1/100 i ε 1/8, to m L (H, δ, ε) > d 1 32ε

108 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia: m L (H, δ, ε) d(1 ε) Jeśli δ 1/100 i ε 1/8, to m L (H, δ, ε) > d 1 32ε m L (H, δ, ε) > 1 ε ε ln 1 δ

109 Konkluzje Systemy uczace się / Wyuczalność Kiedy każdy wzorowy uczeń będzie PAC-owy?

110 Konkluzje Systemy uczace się / Wyuczalność Kiedy każdy wzorowy uczeń będzie PAC-owy? 2. Liczba przykładów Ile przykładów musi mieć uczeń, by się nauczyć?

111 Konkluzje Systemy uczace się / Wyuczalność Kiedy każdy wzorowy uczeń będzie PAC-owy? 2. Liczba przykładów Ile przykładów musi mieć uczeń, by się nauczyć? Skończoność wymiaru VCdim() 1 VCdim(C) = d < C jest wyuczalna; 2 Wówczas L( 1 ε, 1 δ, d) < m(ε, δ) < U( 1 ε, 1 δ, d)

112 Analiza ryzyka błędu algorytmów Systemy uczace się / Ocena ucznia R(α) = min α A Q c Ω (h α)dµ na podstawie N losowych przykładów 1 R(α N ) = min α i D N Kiedy i jak szybko R(α N ) R(α)? N Q c (h αi ) i=1

113 Analiza ryzyka błędu algorytmów Systemy uczace się / Ocena ucznia R(α) = min α A Q c Ω (h α)dµ na podstawie N losowych przykładów 1 R(α N ) = min α i D N Kiedy i jak szybko R(α N ) R(α)? N Q c (h αi ) i=1 Skończoność wymiaru VCdim() 3 Dla algorytmów typu ERM, R(α N ) R(α) szybko.

114 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem

115 O co chodzi w NFL? Systemy uczace się / 32 Znaleźć optimum nieznanej funkcji f : S W (f F), gdzie S, W sa skończonymi zbiorami.

116 O co chodzi w NFL? Systemy uczace się / 32 Znaleźć optimum nieznanej funkcji f : S W (f F), gdzie S, W sa skończonymi zbiorami. Działanie algorytmu przeszukiwania A dla funkcji f jest identyfikowany z wektorem: V A (f, t) = (s 1, f (s 1 )), (s 2, f (s 2 )),..., (s t, f (s t ))

117 O co chodzi w NFL? Systemy uczace się / 32 Znaleźć optimum nieznanej funkcji f : S W (f F), gdzie S, W sa skończonymi zbiorami. Działanie algorytmu przeszukiwania A dla funkcji f jest identyfikowany z wektorem: V A (f, t) = (s 1, f (s 1 )), (s 2, f (s 2 )),..., (s t, f (s t )) Ocena algorytmu: M : {V A (f, t) A, f, t} R; Np. M(V A (f, t)) = min{i f (s i ) = f max }

118 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F

119 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F

120 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F Twierdzenie o NFL

121 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F Twierdzenie o NFL zachodzi równoważność NFL F jest zamknięta wzg. permutacji

122 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F Twierdzenie o NFL zachodzi równoważność NFL F jest zamknięta wzg. permutacji Prawdopodobieństwo wylosowania niepustej klasy funkcji zamkniętej wzg. permutacji wynosi: 2 ( S + W 1 S ) 1 2 S W 1

123 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały.

124 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2?

125 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że:

126 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć.

127 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć. Każdy algorytm jest najlepszy dla takiej samej liczby pojęć

128 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć. Każdy algorytm jest najlepszy dla takiej samej liczby pojęć Ale interesuje nas tylko pewna klasa problemów czyli klasa pojęć C P(X)

129 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć. Każdy algorytm jest najlepszy dla takiej samej liczby pojęć Ale interesuje nas tylko pewna klasa problemów czyli klasa pojęć C P(X) Wniosek: Należy znaleźć odp. algorytm do każdego problemu.