Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa
|
|
|
- Sabina Nina Sikorska
- 4 lat temu
- Przeglądów:
Transkrypt
1 Systemy uczace się / 32 Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa Hung Son Nguyen Wydział Matematyki, Informatyki i Mechaniki Uniwersytet Warszawski son@mimuw.edu.pl Grudzień 2009
2 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem
3 Podejście indukcyjne Systemy uczace się / 32 Np. Pokazać, że dla każdego n N zachodzi Ψ(n) : n 2 = n(n + 1)(2n + 1) 6
4 Podejście indukcyjne Systemy uczace się / 32 Np. Pokazać, że dla każdego n N zachodzi Ψ(n) : n 2 = n(n + 1)(2n + 1) 6 Indukcja pełna: Ψ(1) oraz n 1 [Ψ(n) = Ψ(n + 1)]
5 Podejście indukcyjne Systemy uczace się / 32 Np. Pokazać, że dla każdego n N zachodzi Ψ(n) : n 2 = n(n + 1)(2n + 1) 6 Indukcja pełna: Ψ(1) oraz n 1 [Ψ(n) = Ψ(n + 1)] Indukcja niepełna: czy wystarczy sprawdzić, np. Ψ(1), Ψ(2), Ψ(3), Ψ(4)?
6 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji
7 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć?
8 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć;
9 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych;
10 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych; Złożoności przestrzeni hipotez;
11 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych; Złożoności przestrzeni hipotez; Jakości aproksymacji;
12 Komputerowe uczenie się pojęć Systemy uczace się / 32 Podejście indukcyjne: Wnioskowanie na podstawie skończonego zbioru obserwacji Jakie prawa rzadz a procesem indukcyjnego uczenia się pojęć? Szukamy teorii obejmujacej zagadnienia: Szansy na skuteczne wyuczanie się pojęć; Niezbędnej liczby przykładów treningowych; Złożoności przestrzeni hipotez; Jakości aproksymacji; Metod reprezentacji danych treningowych;
13 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech
14 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów;
15 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}}
16 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu;
17 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa
18 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X.
19 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}};
20 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana
21 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c.
22 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c. Wymagane
23 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c. Wymagane dobra jakość aproksymacji
24 Ogólny model uczenia indukcyjnego Systemy uczace się / 32 Niech X (skończony lub nieskończony) zbiór obiektów; C klasa pojęć w X, tj. C = {f : X {0, 1}} c C pojęcie docelowe lub funkcja celu; Dane sa skończona próbka etykietowanych obiektów: D = { x 1, c(x 1 ),..., x m, c(x m ) } S(m, c) gdzie x 1,..., x m X. przestrzeń hipotez H = {h : X {0, 1}}; Szukana hipoteza h H będaca dobra aproksymacja pojęcia c. Wymagane dobra jakość aproksymacji szybki czas wyuczania.
25 Przykład Systemy uczace się / 32
26 Przykład Systemy uczace się / 32
27 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała.
28 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i.
29 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA
30 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA
31 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata
32 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ;
33 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ; C = H = zbiór prostokatów;
34 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ; C = H = zbiór prostokatów; Przykład zbioru treningowego ((84, 184), +), ((70, 170), +), ((75, 163), ), ((80, 180), +), ((81, 195), ), ((63, 191), ), ((77, 187), ), ((68, 168), +)
35 Przykład Systemy uczace się / 32 Pojęcie: człowieka o średniej budowie ciała. Dane czyli osoby sa reprezentowane przez ich wagę(kg) i wzrost(cm) i sa etykietowane przez + i. Dodatkowa wiedza: szukane pojęcie można wyrazić za pomoca PROSTOKATA Uczenie prostokata X = R 2 ; C = H = zbiór prostokatów; Przykład zbioru treningowego ((84, 184), +), ((70, 170), +), ((75, 163), ), ((80, 180), +), ((81, 195), ), ((63, 191), ), ((77, 187), ), ((68, 168), +) ((79, 183,?)
36 Inne przykłady Systemy uczace się / 32 Uczenie półosi (lub dyskretyzacji): X = R; C = H = {[λ, ) : α R}
37 Inne przykłady Systemy uczace się / 32 Uczenie półosi (lub dyskretyzacji): X = R; C = H = {[λ, ) : α R} Uczenie hiperpłaszczyzny: X = R n ; H = {f w0,w 1,...,w n : R n {0, 1} } gdzie f w0,...,w n (x 1,..., x n ) = sgn(w 0 + w 1 x w n x n ).
38 Inne przykłady Systemy uczace się / 32 Uczenie półosi (lub dyskretyzacji): X = R; C = H = {[λ, ) : α R} Uczenie hiperpłaszczyzny: X = R n ; H = {f w0,w 1,...,w n : R n {0, 1} } gdzie f w0,...,w n (x 1,..., x n ) = sgn(w 0 + w 1 x w n x n ). Uczenie jednomianów Boolowskich: X = {0, 1} n ; c : {0, 1} n {0, 1}; H = M n = zbiór jednomianów Boolowskich o n zmiennych.
39 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty
40 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ;
41 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}.
42 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}. Statystyka: Jeśli przykłady z D sa wybrane zgodnie z miara prawdopodobieństwa µ w sposób niezależny oraz D 30, to
43 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}. Statystyka: Jeśli przykłady z D sa wybrane zgodnie z miara prawdopodobieństwa µ w sposób niezależny oraz D 30, to er c Ω (h) erc D (h) = D X h c D,
44 Bład hipotezy Systemy uczace się / 32 Bład rzeczywisty Ω = (X, µ) przestrzeń probabilistyczna na X ; Bład hipotezy h H względem funkcji celu c: er Ω (h, c) = er c Ω (h) = µ(x h c) gdzie X h c = {x X : h(x) c(x)}. Statystyka: Jeśli przykłady z D sa wybrane zgodnie z miara prawdopodobieństwa µ w sposób niezależny oraz D 30, to er c Ω (h) erc D (h) = D X h c D, z prawdopodobieństwem (1 ε) er c Ω erc D s ε er c D (1 erc D ) 2 D
45 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem
46 Model uczenia się PAC Systemy uczace się / 32 Idea modelu PAC (Probably Approximately Correct): Określenie warunków, przy których uczeń (algorytm uczenia się) z dużym prawdopodobieństwem znajdzie dobra hipotezę na podstawie danych D.
47 Model uczenia się PAC Systemy uczace się / 32 Idea modelu PAC (Probably Approximately Correct): Określenie warunków, przy których uczeń (algorytm uczenia się) z dużym prawdopodobieństwem znajdzie dobra hipotezę na podstawie danych D. PAC-owy uczeń Niech L będzie algorytmem uczenia się, jeśli dla każdych 0 < ε, δ < 1, istnieje liczba m 0 = m 0 (ε, δ) taka, że dla dowolnego pojęcia c C, dla dowolnego rozkładu Ω na X i dla m > m 0 mamy µ m {D S(m, c) : er Ω (L(D)) < ε} > 1 δ Wówczas mówimy w skrócie, że L jest PAC dla klasy C ( prawdopodobnie aproksymacyjnie poprawny ). ε = dopuszczalny poziom błędu; (1 δ) = poziom zaufania.
48 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ}
49 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0
50 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) }
51 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm:
52 Systemy uczace się / 32 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm: 1 Set λ := min i {1,...,m} {x i : f λ0 (x i ) = 1};
53 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm: 1 Set λ := min i {1,...,m} {x i : f λ0 (x i ) = 1}; 2 L(D) := f λ ; Systemy uczace się / 32
54 Przykład problemu dyskretyzacji H = C = {f λ : R {0, 1} : f λ (x) = 1 x λ} c = f λ0 znaleźć λ 0 na podstawie losowo wygenerowanych przykładów D = { x 1, f λ0 (x 1 ),..., x m, f λ0 (x m ) } Algorytm: 1 Set λ := min i {1,...,m} {x i : f λ0 (x i ) = 1}; 2 L(D) := f λ ; Twierdzenie: Powyższy algorytm jest PAC Systemy uczace się / 32
55 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )).
56 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}.
57 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}. Wówczas er c Ω (f λ ) ε x i D : x i / [λ 0, β 0 ];
58 Dowód er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}. Wówczas er c Ω (f λ ) ε x i D : x i / [λ 0, β 0 ]; Stad µ m {(x 1,..., x m ) : xi D : x i / [λ 0, β 0 ]} (1 ε) m µ m {D S(m, f λ0 ) : er Ω (f λ ) ε} 1 (1 ε) m Systemy uczace się / 32
59 Dowód Systemy uczace się / 32 er c Ω (f λ ) = µ([λ 0, λ )). Niech β 0 = sup{β : µ([λ 0, β)) < ε}. Wówczas er c Ω (f λ ) ε x i D : x i / [λ 0, β 0 ]; Stad µ m {(x 1,..., x m ) : xi D : x i / [λ 0, β 0 ]} (1 ε) m µ m {D S(m, f λ0 ) : er Ω (f λ ) ε} 1 (1 ε) m Aby to prawdopodobieństwo było > 1 δ, wystarczy przyjać m m 0 = 1 ε ln 1 δ
60 Dokładne uczenie się Systemy uczace się / 32 Niech Ω będzie rozkładem dyskretnym zdefiniowanym przez µ 1 = µ(x 1 ),..., µ n = µ(x n ) dla pewnych x 1,..., x n X takich, że µ µ n = 1. Niech ε min = min i µ i.
61 Dokładne uczenie się Systemy uczace się / 32 Niech Ω będzie rozkładem dyskretnym zdefiniowanym przez µ 1 = µ(x 1 ),..., µ n = µ(x n ) dla pewnych x 1,..., x n X takich, że µ µ n = 1. Niech ε min = min µ i. i Jeśli L jest PAC, i jeśli ε ε min to warunek er c Ω (L(D)) < ε jest równoważny z erc Ω (L(D)) = 0. St ad dla każdego δ, istnieje m 0 = m 0 (ε min, δ) taka, że dla dowolnego c C i Ω m > m 0 µ m {D S(m, t) er Ω (L(D)) = 0} > 1 δ
62 Dokładne uczenie się Systemy uczace się / 32 Niech Ω będzie rozkładem dyskretnym zdefiniowanym przez µ 1 = µ(x 1 ),..., µ n = µ(x n ) dla pewnych x 1,..., x n X takich, że µ µ n = 1. Niech ε min = min µ i. i Jeśli L jest PAC, i jeśli ε ε min to warunek er c Ω (L(D)) < ε jest równoważny z erc Ω (L(D)) = 0. St ad dla każdego δ, istnieje m 0 = m 0 (ε min, δ) taka, że dla dowolnego c C i Ω m > m 0 µ m {D S(m, t) er Ω (L(D)) = 0} > 1 δ Wówczas mówimy, że prawdopodobnie L jest dokładnym algorytmem (jest PEC probably exactly correct)
63 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem
64 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D.
65 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D. B c ε = {h H : er Ω (h) ε} zbiór ε-złych hipotez
66 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D. B c ε = {h H : er Ω (h) ε} zbiór ε-złych hipotez
67 Potencjalna wyuczalność Systemy uczace się / 32 Niech D = { x 1, c(x 1 ),..., x m, c(x m ) } i niech H c (D) = {h H : h D = c D} zbiór hipotez zgodnych z c na próbce D. B c ε = {h H : er Ω (h) ε} zbiór ε-złych hipotez Definicja: Potencjalna wyuczalność Mówimy, że C jest potencjalnie wyuczalna za pomoca H, jeśli dla każdego rozkładu Ω na X i dowolnego pojęcia c C oraz dla dowolnych 0 < ε, δ < 1 istnieje m 0 = m 0 (ε, δ) takie, że m m 0 µ m {D S(m, c) : H c (D) B c ε = } > 1 δ
68 Potencjalna wyuczalność Systemy uczace się / 32 Algorytm L nazywamy niesprzecznym jeśli L(D) H c (D) dla każdego zbioru D. Twierdzenie W przestrzeni potencjalnie wyuczalnej, każdy wzorowy uczeń (niesprzeczny algorytm) jest PAC-owy.
69 Potencjalna wyuczalność Systemy uczace się / 32 Algorytm L nazywamy niesprzecznym jeśli L(D) H c (D) dla każdego zbioru D. Twierdzenie W przestrzeni potencjalnie wyuczalnej, każdy wzorowy uczeń (niesprzeczny algorytm) jest PAC-owy. Twierdzenie (Haussler, 1988) Jeśli C = H i C <, to C jest potencjalnie wyuczalna. Dowód: Niech h B ε (tzn. er Ω (h) ε). Wówczas µ m {D S(m, c) : er D (h) = 0} (1 ε) m µ m {D : H c (D) B ε } B ε (1 ε) m H (1 ε) m Aby H (1 ε) m < δ wystarczy wybrać m m 0 = 1 ε ln H δ
70 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem
71 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H}
72 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m.
73 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m. Gdy Π H ( x ) = 2 m, mówimy, że H rozbija x.
74 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m. Gdy Π H ( x ) = 2 m, mówimy, że H rozbija x. Niech Π H (m) = max Π H ( x ) x X m
75 Systemy uczace się / 32 Wymiar Vapnika-Chervonenkisa Niech x = x 1,..., x m X m. Niech Π H ( x ) = { h(x 1 ),..., h(x m ) {0, 1} m : h H} Π H ( x ) jest liczba podziałów zbioru elementów x wyznaczonych przez H. Mamy Π H ( x ) 2 m. Gdy Π H ( x ) = 2 m, mówimy, że H rozbija x. Niech Π H (m) = max Π H ( x ) x X m Na przykład: W przypadku klasy pojęć "półosi"postaci [α, ) mamy Π H (m) = m + 1.
76 Systemy uczace się / 32 Uwagi: Wymiar Vapnika-Chervonenkisa (c.d.) Jeśli Π H (m) = 2 m, to istnieje pewien zbiór o mocy m taki, że H może definiować każdy jego podzbiór (H rozbija ten zbiór).
77 Uwagi: Wymiar Vapnika-Chervonenkisa (c.d.) Jeśli Π H (m) = 2 m, to istnieje pewien zbiór o mocy m taki, że H może definiować każdy jego podzbiór (H rozbija ten zbiór). Maksymalna wartość m, dla której Π H (m) = 2 m można uważać za siłę wyrażalności przestrzeni H Systemy uczace się / 32
78 Uwagi: Wymiar Vapnika-Chervonenkisa (c.d.) Jeśli Π H (m) = 2 m, to istnieje pewien zbiór o mocy m taki, że H może definiować każdy jego podzbiór (H rozbija ten zbiór). Maksymalna wartość m, dla której Π H (m) = 2 m można uważać za siłę wyrażalności przestrzeni H Definicja: wymiar VCdim Wymiarem Vapnika-Chervonenkisa przestrzeni hipotez H nazywamy liczbę VCdim(H) = max{m : Π H (m) = 2 m } gdzie maksimum wynosi jeśli ten zbiór jest nieograniczony. Systemy uczace się / 32
79 Przykłady wymiarów VCdim Systemy uczace się / 32
80 Przykłady wymiarów VCdim Systemy uczace się / 32
81 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3
82 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4
83 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach
84 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i -
85 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i - H = { półpłaszczyzny w R 2... } = VC(H) = 3
86 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i - H = { półpłaszczyzny w R 2... } = VC(H) = 3 czy istnieje H dla której VC(H) =?
87 Przykłady wymiarów VCdim Systemy uczace się / 32 H = {okręgi... } = VC(H) = 3 H = {prostokaty... } = VC(H) = 4 H = {funkcje progowe... } = VC(H) = 1 jeśli + sa zawsze po prawej stronie; VC(H) = 2 jeśli + moga być po obu stronach H = {przedziały... } = VC(H) = 2 jeśli + sa zawsze w środku VC(H) = 3 jeśli w środku moga być zarówno + i - H = { półpłaszczyzny w R 2... } = VC(H) = 3 czy istnieje H dla której VC(H) =?
88 Wymiar VCdim dla perceptronu Systemy uczace się / 32 Twierdzenie Dla każdej liczby naturalnej n, niech P n będzie perceptronem o n wejściach rzeczywistych. Wówczas Dowód: VCdim(P n ) = n + 1
89 Twierdzenie Wymiar VCdim dla perceptronu Dla każdej liczby naturalnej n, niech P n będzie perceptronem o n wejściach rzeczywistych. Wówczas VCdim(P n ) = n + 1 Dowód: VCdim(P n ) n + 1: Wynika z Twierdzenia Radona: Dla dowolnego zbioru E zawierajacego n + 2 punktów w przestrzeni R n istnieje niepusty podzbiór S E taki, że conv(s) conv(e \ S) Systemy uczace się / 32
90 Twierdzenie Wymiar VCdim dla perceptronu Dla każdej liczby naturalnej n, niech P n będzie perceptronem o n wejściach rzeczywistych. Wówczas VCdim(P n ) = n + 1 Dowód: VCdim(P n ) n + 1: Wynika z Twierdzenia Radona: Dla dowolnego zbioru E zawierajacego n + 2 punktów w przestrzeni R n istnieje niepusty podzbiór S E taki, że conv(s) conv(e \ S) VCdim(P n ) n + 1 : Wystarczy wybrać x = {0, e 1,..., e n } i pokazać, że każdy jego podzbiór jest definiowany przez jakiś perceptron. Systemy uczace się / 32
91 Wymiar VCdim Systemy uczace się / 32 Twierdzenie
92 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H.
93 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H. 2 (Lemat Sauer a) Jeśli VCdim(H) = d 0 i m 1, to ( ) ( ) m m Π H (m) = Φ(d, m) 1 d
94 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H. 2 (Lemat Sauer a) Jeśli VCdim(H) = d 0 i m 1, to ( ) ( ) m m Π H (m) = Φ(d, m) 1 d ( em ) d ( em 3 Wniosek: Φ(d, m) ΠH (m) d d ) d
95 Wymiar VCdim Systemy uczace się / 32 Twierdzenie 1 Jeśli H < to VCdim(H) log H. 2 (Lemat Sauer a) Jeśli VCdim(H) = d 0 i m 1, to ( ) ( ) m m Π H (m) = Φ(d, m) 1 d ( em ) d ( em 3 Wniosek: Φ(d, m) ΠH (m) d d 4 Jeśli X <, H 2 X oraz H > 1 X < = VCdim(H) > ln H 1 + ln X ) d
96 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem
97 Fundamentalne twierdzenia Systemy uczace się / 32 Twierdzenie: (Warunek konieczny) Jeśli przestrzeń hipotez ma nieskończony wymiar VCdim to nie jest potencjalnie wyuczalna.
98 Fundamentalne twierdzenia Systemy uczace się / 32 Twierdzenie: (Warunek konieczny) Jeśli przestrzeń hipotez ma nieskończony wymiar VCdim to nie jest potencjalnie wyuczalna. Twierdzenie: (fundamentalne) Jeśli przestrzeń hipotez ma skończony wymiar VC, to jest ona potencjalnie wyuczalna.
99 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε }
100 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε } 2 Szukamy górnego ograniczenia f (m, ε) dla µ m (Q ε m), które powinno - być niezależne od c C i µ (rozkład). - dażyć do 0 przy m
101 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε } 2 Szukamy górnego ograniczenia f (m, ε) dla µ m (Q ε m), które powinno - być niezależne od c C i µ (rozkład). - dażyć do 0 przy m 3 Twierdzenie Niech H będzie przestrzenia hipotez określonych na X. Dla dowolnych c, µ, ε (ale ustalonych) mamy o ile m 8/ε. µ m (Q ε m) < 2Π H (2m)2 εm/2
102 Szkic dowodu fundamentalnego twierdzenia Systemy uczace się / 32 1 Definiujemy Q ε m = {D S(m, c) : H c [D] B ε } 2 Szukamy górnego ograniczenia f (m, ε) dla µ m (Q ε m), które powinno - być niezależne od c C i µ (rozkład). - dażyć do 0 przy m 3 Twierdzenie Niech H będzie przestrzenia hipotez określonych na X. Dla dowolnych c, µ, ε (ale ustalonych) mamy o ile m 8/ε. µ m (Q ε m) < 2Π H (2m)2 εm/2 4 Korzystamy z lematu Sauer a, aby pokazać, że µ m (Q ε m) < δ dla dostatecznie dużych m.
103 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε
104 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ )
105 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia:
106 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia: m L (H, δ, ε) d(1 ε)
107 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia: m L (H, δ, ε) d(1 ε) Jeśli δ 1/100 i ε 1/8, to m L (H, δ, ε) > d 1 32ε
108 Złożoność zbioru treningowego (c.d.) Systemy uczace się / 32 Dla skończonych przestrzeni hipotez H mamy 1 H 1 m L (H, δ, ε) ln = (ln H + ln(1/δ)) ε δ ε Twierdzenie Niech VCdim(H) = d 1. Wówczas każdy algorytm niesprzeczny L jest PAC oraz wymagana liczba przykładów dla L wynosi m L (H, δ, ε) 4 ε ( d log 12 ε + log 2 δ ) Dolne ograniczenia: m L (H, δ, ε) d(1 ε) Jeśli δ 1/100 i ε 1/8, to m L (H, δ, ε) > d 1 32ε m L (H, δ, ε) > 1 ε ε ln 1 δ
109 Konkluzje Systemy uczace się / Wyuczalność Kiedy każdy wzorowy uczeń będzie PAC-owy?
110 Konkluzje Systemy uczace się / Wyuczalność Kiedy każdy wzorowy uczeń będzie PAC-owy? 2. Liczba przykładów Ile przykładów musi mieć uczeń, by się nauczyć?
111 Konkluzje Systemy uczace się / Wyuczalność Kiedy każdy wzorowy uczeń będzie PAC-owy? 2. Liczba przykładów Ile przykładów musi mieć uczeń, by się nauczyć? Skończoność wymiaru VCdim() 1 VCdim(C) = d < C jest wyuczalna; 2 Wówczas L( 1 ε, 1 δ, d) < m(ε, δ) < U( 1 ε, 1 δ, d)
112 Analiza ryzyka błędu algorytmów Systemy uczace się / Ocena ucznia R(α) = min α A Q c Ω (h α)dµ na podstawie N losowych przykładów 1 R(α N ) = min α i D N Kiedy i jak szybko R(α N ) R(α)? N Q c (h αi ) i=1
113 Analiza ryzyka błędu algorytmów Systemy uczace się / Ocena ucznia R(α) = min α A Q c Ω (h α)dµ na podstawie N losowych przykładów 1 R(α N ) = min α i D N Kiedy i jak szybko R(α N ) R(α)? N Q c (h αi ) i=1 Skończoność wymiaru VCdim() 3 Dla algorytmów typu ERM, R(α N ) R(α) szybko.
114 Plan wykładu Systemy uczace się / 32 1 Wstęp do komputerowego uczenia się pojęć 2 Model PAC (probably approximately correct) 3 Wyuczalność klasy pojęć 4 Wymiar Vapnika Chervonenkisa (VC dimension) 5 Podstawowe twierdzenia teorii uczenia się 6 Appendix: Nie ma nic za darmo czyli Non Free Lunch Theorem
115 O co chodzi w NFL? Systemy uczace się / 32 Znaleźć optimum nieznanej funkcji f : S W (f F), gdzie S, W sa skończonymi zbiorami.
116 O co chodzi w NFL? Systemy uczace się / 32 Znaleźć optimum nieznanej funkcji f : S W (f F), gdzie S, W sa skończonymi zbiorami. Działanie algorytmu przeszukiwania A dla funkcji f jest identyfikowany z wektorem: V A (f, t) = (s 1, f (s 1 )), (s 2, f (s 2 )),..., (s t, f (s t ))
117 O co chodzi w NFL? Systemy uczace się / 32 Znaleźć optimum nieznanej funkcji f : S W (f F), gdzie S, W sa skończonymi zbiorami. Działanie algorytmu przeszukiwania A dla funkcji f jest identyfikowany z wektorem: V A (f, t) = (s 1, f (s 1 )), (s 2, f (s 2 )),..., (s t, f (s t )) Ocena algorytmu: M : {V A (f, t) A, f, t} R; Np. M(V A (f, t)) = min{i f (s i ) = f max }
118 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F
119 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F
120 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F Twierdzenie o NFL
121 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F Twierdzenie o NFL zachodzi równoważność NFL F jest zamknięta wzg. permutacji
122 Systemy uczace się / 32 Warunek NFL: Dla dowolnej funkcji M, i dla dowolnych algorytmów A, A M(V A (f, S )) f F M(V A (f, S )) = f F F jest zamknięta wzg. permutacji: dla dowolnej funkcji f F i dowolnej permutacji σ Perm(S) mamy σf F Twierdzenie o NFL zachodzi równoważność NFL F jest zamknięta wzg. permutacji Prawdopodobieństwo wylosowania niepustej klasy funkcji zamkniętej wzg. permutacji wynosi: 2 ( S + W 1 S ) 1 2 S W 1
123 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały.
124 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2?
125 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że:
126 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć.
127 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć. Każdy algorytm jest najlepszy dla takiej samej liczby pojęć
128 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć. Każdy algorytm jest najlepszy dla takiej samej liczby pojęć Ale interesuje nas tylko pewna klasa problemów czyli klasa pojęć C P(X)
129 The No Free Lunch Theorem for learning Systemy uczace się / 32 Algorytm L dobrze się uczy pojęcia c jeśli er c Ω jest mały. Niech P(X) = {c : X {0, 1}}. Czy można stwierdzić wiedzieć, że L 1 uczy się wszystkich pojęć z P(X) lepiej od L 2? No Free Lunch theorem (Wolpert, Schaffer) w wersji problemów uczenia się głosi, że: Żaden algorytm nie może być najlepszy w uczeniu wszystkich pojęć. Każdy algorytm jest najlepszy dla takiej samej liczby pojęć Ale interesuje nas tylko pewna klasa problemów czyli klasa pojęć C P(X) Wniosek: Należy znaleźć odp. algorytm do każdego problemu.
komputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW
Czego moga się nauczyć komputery? Andrzej Skowron, Hung Son Nguyen son@mimuw.edu.pl; skowron@mimuw.edu.pl Instytut Matematyki, Wydział MIM, UW colt.tex Czego mogą się nauczyć komputery? Andrzej Skowron,
COLT - Obliczeniowa teoria uczenia si
Hung Son Nguyen (UW) COLT - Obliczeniowa teoria uczenia si 2007 1 / 32 COLT - Obliczeniowa teoria uczenia si Hung Son Nguyen Institute of Mathematics, Warsaw University son@mimuw.edu.pl 2007 Hung Son Nguyen
Systemy decyzyjne Wprowadzenie
Hung Son Nguyen (UW) Systemy decyzyjne Wprowadzenie 2007 1 / 34 Systemy decyzyjne Wprowadzenie Hung Son Nguyen Institute of Mathematics, Warsaw University son@mimuw.edu.pl 2007 Hung Son Nguyen (UW) Systemy
Prawdopodobieństwo i statystyka
Wykład XI: Testowanie hipotez statystycznych 12 stycznia 2015 Przykład Motywacja X 1, X 2,..., X N N (µ, σ 2 ), Y 1, Y 2,..., Y M N (ν, δ 2 ). Chcemy sprawdzić, czy µ = ν i σ 2 = δ 2, czyli że w obu populacjach
Wst p. Elementy systemów decyzyjnych Sprawy organizacyjne. Wprowadzenie Przegl d metod klasykacji
Wst p 1 Wprowadzenie do systemów decyzyjnych Elementy systemów decyzyjnych Sprawy organizacyjne 2 Problem klasykacji i klasykatory Wprowadzenie Przegl d metod klasykacji 3 Metody oceny klasykatorów Skuteczno±
Prawdopodobieństwo i statystyka
Wykład IV: 27 października 2014 Współczynnik korelacji Brak korelacji a niezależność Definicja współczynnika korelacji Współczynnikiem korelacji całkowalnych z kwadratem zmiennych losowych X i Y nazywamy
G. Plebanek, MIARA I CAŁKA Zadania do rozdziału 1 28
G. Plebanek, MIARA I CAŁKA Zadania do rozdziału 1 28 1.9 Zadania 1.9.1 Niech R będzie pierścieniem zbiorów. Zauważyć, że jeśli A, B R to A B R i A B R. Sprawdzić, że (R,, ) jest także pierścieniem w sensie
Geometryczna zbieżność algorytmu Gibbsa
Geometryczna zbieżność algorytmu Gibbsa Iwona Żerda Wydział Matematyki i Informatyki, Uniwersytet Jagielloński 6 grudnia 2013 6 grudnia 2013 1 / 19 Plan prezentacji 1 Algorytm Gibbsa 2 Tempo zbieżności
Ośrodkowość procesów, proces Wienera. Ośrodkowość procesów, proces Wienera Procesy Stochastyczne, wykład, T. Byczkowski,
Procesy Stochastyczne, wykład, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136 27 luty, 2012 Ośrodkowość procesów Dalej zakładamy, że (Ω, Σ, P) jest zupełną przestrzenią miarową. Definicja.
Maksymalne powtórzenia w tekstach i zerowa intensywność entropii
Maksymalne powtórzenia w tekstach i zerowa intensywność entropii Łukasz Dębowski ldebowsk@ipipan.waw.pl i Instytut Podstaw Informatyki PAN Warszawa 1 Wprowadzenie 2 Ograniczenia górne i dolne 3 Przykłady
Statystyka i eksploracja danych
Wykład II: i charakterystyki ich rozkładów 24 lutego 2014 Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa, cz. II Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa,
a 2 (x) a 1 (x) Obliczeniowa teoria uczenia si e uczenie si e poj eć 2
Uczenie sie pojeć Mamy dziedzine zbiór X, atrybuty a A jako dowolne funkcje określone na tej dziedzinie a : X A, i klase pojeć C. Pojecia c C sa funkcjami c : X C gdzie C jest zbiorem kategorii pojeć klasy
28 maja, Problem Dirichleta, proces Wienera. Procesy Stochastyczne, wykład 14, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1126
Problem Dirichleta, proces Wienera Procesy Stochastyczne, wykład 14, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1126 28 maja, 2012 Funkcje harmoniczne Niech będzie operatorem Laplace a w
Prawdopodobieństwo i statystyka
Wykład II: Zmienne losowe i charakterystyki ich rozkładów 13 października 2014 Zmienne losowe Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa, cz. II Definicja zmiennej losowej i jej
Weryfikacja hipotez statystycznych. KG (CC) Statystyka 26 V / 1
Weryfikacja hipotez statystycznych KG (CC) Statystyka 26 V 2009 1 / 1 Sformułowanie problemu Weryfikacja hipotez statystycznych jest drugą (po estymacji) metodą uogólniania wyników uzyskanych w próbie
Wykład 2 Zmienne losowe i ich rozkłady
Wykład 2 Zmienne losowe i ich rozkłady Magdalena Frąszczak Wrocław, 11.10.2017r Zmienne losowe i ich rozkłady Doświadczenie losowe: Rzut monetą Rzut kostką Wybór losowy n kart z talii 52 Gry losowe Doświadczenie
Centralne twierdzenie graniczne
Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 4 Ważne uzupełnienie Dwuwymiarowy rozkład normalny N (µ X, µ Y, σ X, σ Y, ρ): f XY (x, y) = 1 2πσ X σ Y 1 ρ 2 { [ (x ) 1
Prawdopodobieństwo i statystyka
Wykład VII: Rozkład i jego charakterystyki 22 listopada 2016 Uprzednio wprowadzone pojęcia i ich własności Definicja zmiennej losowej Zmienna losowa na przestrzeni probabilistycznej (Ω, F, P) to funkcja
Detekcja rozkładów o ciężkich ogonach
Detekcja rozkładów o ciężkich ogonach J. Śmiarowska, P. Jamer Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska 24 kwietnia 2012 J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja
WYKŁAD 1. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Instytut Matematyki Uniwersytet Warszawski
WYKŁAD 1 Witold Bednorz, Paweł Wolff Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE, 2010-2011 Wprowadzenie Gry hazardowe Wprowadzenie Gry hazardowe Klasyczna definicja prawdopodobieństwa.
Statystyka. Wykład 2. Krzysztof Topolski. Wrocław, 11 października 2012
Wykład 2 Wrocław, 11 października 2012 Próba losowa Definicja. Zmienne losowe X 1, X 2,..., X n nazywamy próba losową rozmiaru n z rozkładu o gęstości f (x) (o dystrybuancie F (x)) jeśli X 1, X 2,...,
Wykład 3 Momenty zmiennych losowych.
Wykład 3 Momenty zmiennych losowych. Wrocław, 19 października 2016r Momenty zmiennych losowych Wartość oczekiwana - przypomnienie Definicja 3.1: 1 Niech X będzie daną zmienną losową. Jeżeli X jest zmienną
WYKŁAD 3. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki
WYKŁAD 3 Witold Bednorz, Paweł Wolff 1 Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE, 2010-2011 Schemmat Bernouliego Rzucamy 10 razy moneta, próba Bernouliego jest pojedynczy
1 Relacje i odwzorowania
Relacje i odwzorowania Relacje Jacek Kłopotowski Zadania z analizy matematycznej I Wykazać, że jeśli relacja ρ X X jest przeciwzwrotna i przechodnia, to jest przeciwsymetryczna Zbadać czy relacja ρ X X
Wykład 1 Zmienne losowe, statystyki próbkowe - powtórzenie materiału
Wykład 1 Zmienne losowe, statystyki próbkowe - powtórzenie materiału Magdalena Frąszczak Wrocław, 22.02.2017r Zasady oceniania Ćwiczenia 2 kolokwia (20 punktów każde) 05.04.2017 oraz 31.05.2017 2 kartkówki
Wykład 3 Momenty zmiennych losowych.
Wykład 3 Momenty zmiennych losowych. Wrocław, 18 października 2017r Momenty zmiennych losowych Wartość oczekiwana - przypomnienie Definicja 3.1: 1 Niech X będzie daną zmienną losową. Jeżeli X jest zmienną
Zmienne losowe i ich rozkłady. Momenty zmiennych losowych. Wrocław, 10 października 2014
Zmienne losowe i ich rozkłady. Momenty zmiennych losowych. Wrocław, 10 października 2014 Zmienne losowe i ich rozkłady Doświadczenie losowe: Rzut monetą Rzut kostką Wybór losowy n kart z talii 52 Gry losowe
Prawa wielkich liczb, centralne twierdzenia graniczne
, centralne twierdzenia graniczne Katedra matematyki i ekonomii matematycznej 17 maja 2012, centralne twierdzenia graniczne Rodzaje zbieżności ciągów zmiennych losowych, centralne twierdzenia graniczne
Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu
Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotności, p-wartość i moc testu Wrocław, 01.03.2017r Przykład 2.1 Właściciel firmy produkującej telefony komórkowe twierdzi, że wśród jego produktów
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl
RACHUNEK PRAWDOPODOBIEŃSTWA WYKŁAD 1. L. Kowalski, Statystyka, 2005
RACHUNEK PRAWDOPODOBIEŃSTWA WYKŁAD 1. Literatura: Marek Cieciura, Janusz Zacharski, Metody probabilistyczne w ujęciu praktycznym, L. Kowalski, Statystyka, 2005 R.Leitner, J.Zacharski, "Zarys matematyki
Prawdopodobieństwo i statystyka
Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze
Dyskretne procesy stacjonarne o nieskończonej entropii nadwyżkowej
Dyskretne procesy stacjonarne o nieskończonej entropii nadwyżkowej Łukasz Dębowski ldebowsk@ipipan.waw.pl i Instytut Podstaw Informatyki PAN Co to jest entropia nadwyżkowa? Niech (X i ) i Z będzie procesem
Pojęcie szeregu nieskończonego:zastosowania do rachunku prawdopodobieństwa wykład 1
Pojęcie szeregu nieskończonego:zastosowania do rachunku prawdopodobieństwa wykład dr Mariusz Grządziel 5 lutego 04 Paradoks Zenona z Elei wersja uwspółcześniona Zenek goni Andrzeja; prędkość Andrzeja:
Podstawy metod probabilistycznych. dr Adam Kiersztyn
Podstawy metod probabilistycznych dr Adam Kiersztyn Przestrzeń zdarzeń elementarnych i zdarzenia losowe. Zjawiskiem lub doświadczeniem losowym nazywamy taki proces, którego przebiegu i ostatecznego wyniku
Metody probabilistyczne klasyfikatory bayesowskie
Konwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych First Prev Next Last Go Back Full Screen Close Quit Metody probabilistyczne klasyfikatory bayesowskie Wykład 8 Marcin
Aproksymacja diofantyczna
Aproksymacja diofantyczna Szymon Draga Ustroń, 4 listopada 0 r Wprowadzenie Jak wiadomo, każdą liczbę niewymierną można (z dowolną dokładnością) aproksymować liczbami wymiernymi Powstaje pytanie, w jaki
2. Wykaż, że moment pierwszego skoku w procesie Poissona. S 1 := inf{t : N t > 0} jest zmienną losową o rozkładzie wykładniczym z parametrem λ.
Zadania z Procesów Stochastycznych 1 1. Udowodnij, że z prawdopodobieństwem 1 trajektorie procesu Poissona są niemalejące, przyjmują wartości z Z +, mają wszystkie skoki równe 1 oraz dążą do nieskończoności.
STATYSTYKA MATEMATYCZNA. rachunek prawdopodobieństwa
STATYSTYKA MATEMATYCZNA rachunek prawdopodobieństwa treść Zdarzenia losowe pojęcie prawdopodobieństwa prawo wielkich liczb zmienne losowe rozkłady teoretyczne zmiennych losowych Zanim zajmiemy się wnioskowaniem
Rachunek Prawdopodobieństwa i Statystyka
Rachunek Prawdopodobieństwa i Statystyka W 2. Probabilistyczne modele danych Zmienne losowe. Rozkład prawdopodobieństwa i dystrybuanta. Wartość oczekiwana i wariancja zmiennej losowej Dr Anna ADRIAN Zmienne
WYKŁAD Z ANALIZY MATEMATYCZNEJ I. dr. Elżbieta Kotlicka. Centrum Nauczania Matematyki i Fizyki
WYKŁAD Z ANALIZY MATEMATYCZNEJ I dr. Elżbieta Kotlicka Centrum Nauczania Matematyki i Fizyki http://im0.p.lodz.pl/~ekot Łódź 2006 Spis treści 1. CIĄGI LICZBOWE 2 1.1. Własności ciągów liczbowych o wyrazach
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 9 i 10 - Weryfikacja hipotez statystycznych
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 9 i 10 - Weryfikacja hipotez statystycznych Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 1 / 30 TESTOWANIE HIPOTEZ STATYSTYCZNYCH
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych 2 marca 2015 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są
Statystyka i eksploracja danych
Wykład I: Formalizm statystyki matematycznej 17 lutego 2014 Forma zaliczenia przedmiotu Forma zaliczenia Literatura Zagadnienia omawiane na wykładach Forma zaliczenia przedmiotu Forma zaliczenia Literatura
WYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki
WYKŁAD 6 Witold Bednorz, Paweł Wolff 1 Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE, 2010-2011 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. Własności
Wykład 11: Martyngały: definicja, twierdzenia o zbieżności
RAP 412 14.01.2009 Wykład 11: Martyngały: definicja, twierdzenia o zbieżności Wykładowca: Andrzej Ruciński Pisarz:Mirosława Jańczak 1 Wstęp Do tej pory zajmowaliśmy się ciągami zmiennych losowych (X n
Zmienne losowe, statystyki próbkowe. Wrocław, 2 marca 2015
Zmienne losowe, statystyki próbkowe Wrocław, 2 marca 2015 Zasady zaliczenia 2 kolokwia (każde po 20 punktów) projekt (20 punktów) aktywność Zasady zaliczenia 2 kolokwia (każde po 20 punktów) projekt (20
RACHUNEK PRAWDOPODOBIEŃSTWA WYKŁAD 3.
RACHUNEK PRAWDOPODOBIEŃSTWA WYKŁAD 3. ZMIENNA LOSOWA JEDNOWYMIAROWA. Zmienną losową X nazywamy funkcję (praktycznie każdą) przyporządkowującą zdarzeniom elementarnym liczby rzeczywiste. X : Ω R (dokładniej:
F t+ := s>t. F s = F t.
M. Beśka, Całka Stochastyczna, wykład 1 1 1 Wiadomości wstępne 1.1 Przestrzeń probabilistyczna z filtracją Niech (Ω, F, P ) będzie ustaloną przestrzenią probabilistyczną i niech F = {F t } t 0 będzie rodziną
Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych
Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki 1.1 Definicja zmiennej losowej Niech Ω będzie przestrzenią zdarzeń elementarnych. Definicja 1 Rodzinę S zdarzeń losowych (zbiór S podzbiorów zbioru
PODSTAWOWE ROZKŁADY PRAWDOPODOBIEŃSTWA. Piotr Wiącek
PODSTAWOWE ROZKŁADY PRAWDOPODOBIEŃSTWA Piotr Wiącek ROZKŁAD PRAWDOPODOBIEŃSTWA Jest to miara probabilistyczna określona na σ-ciele podzbiorów borelowskich pewnej przestrzeni metrycznej. σ-ciało podzbiorów
METODY ESTYMACJI PUNKTOWEJ. nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie
METODY ESTYMACJI PUNKTOWEJ X 1,..., X n - próbka z rozkładu P θ, θ Θ, θ jest nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie P θ. Definicja. Estymatorem
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych 21 lutego 2017 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane
Prawdopodobieństwo i statystyka
Wykład VIII: Przestrzenie statystyczne. Estymatory 1 grudnia 2014 Wprowadzenie Przykład: pomiar z błędem Współczynnik korelacji r(x, Z) = 0, 986 Wprowadzenie Przykład: pomiar z błędem Współczynnik korelacji
Testowanie hipotez statystycznych.
Bioinformatyka Wykład 6 Wrocław, 7 listopada 2011 Temat. Weryfikacja hipotez statystycznych dotyczących proporcji. Test dla proporcji. Niech X 1,..., X n będzie próbą statystyczną z 0-1. Oznaczmy odpowiednio
Prawdopodobieństwo i statystyka
Wykład XV: Zagadnienia redukcji wymiaru danych 2 lutego 2015 r. Standaryzacja danych Standaryzacja danych Własności macierzy korelacji Definicja Niech X będzie zmienną losową o skończonym drugim momencie.
RACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA
Wydział: WiLiŚ, Transport, sem.2 dr Jolanta Dymkowska RACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA Przestrzeń probabilistyczna Modelem matematycznym (tj. teoretycznym, wyidealizowanym,
Statystyka matematyczna. Wykład III. Estymacja przedziałowa
Statystyka matematyczna. Wykład III. e-mail:e.kozlovski@pollub.pl Spis treści Rozkłady zmiennych losowych 1 Rozkłady zmiennych losowych Rozkład χ 2 Rozkład t-studenta Rozkład Fischera 2 Przedziały ufności
Podejście Co-Training w maszynowym uczeniu się
Uniwersytet Warszawski Wydział Matematyki, Informatyki i Mechaniki Michał Kijowski Nr albumu: 262654 Podejście Co-Training w maszynowym uczeniu się Praca licencjacka na kierunku MATEMATYKA Praca wykonana
Zmienne losowe. Powtórzenie. Dariusz Uciński. Wykład 1. Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski
Powtórzenie Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 1 Podręcznik podstawowy Jacek Koronacki, Jan Mielniczuk: Statystyka dla studentów kierunków technicznych i przyrodnicznych,
Wykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap
Wykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap Magdalena Frąszczak Wrocław, 21.02.2018r Tematyka Wykładów: Próba i populacja. Estymacja parametrów z wykorzystaniem metody
Kryptografia - zastosowanie krzywych eliptycznych
Kryptografia - zastosowanie krzywych eliptycznych 24 marca 2011 Niech F będzie ciałem doskonałym (tzn. każde rozszerzenie algebraiczne ciała F jest rozdzielcze lub równoważnie, monomorfizm Frobeniusa jest
Statystyka i eksploracja danych
Wykład XII: Zagadnienia redukcji wymiaru danych 12 maja 2014 Definicja Niech X będzie zmienną losową o skończonym drugim momencie. Standaryzacją zmiennej X nazywamy zmienną losową Z = X EX Var (X ). Definicja
Robert Kowalczyk. Zbiór zadań z teorii miary i całki
Robert Kowalczyk Zbiór zadań z teorii miary i całki 2 Zadanie 1 Pokazać, że poniższe dwie definicje σ-ciała M są równoważne: (i) Rodzinę M podzbiorów przestrzeni X nazywamy σ-ciałem jeżeli zachodzą następujące
Literatura. Leitner R., Zacharski J., Zarys matematyki wyŝszej dla studentów, cz. III.
Literatura Krysicki W., Bartos J., Dyczka W., Królikowska K, Wasilewski M., Rachunek Prawdopodobieństwa i Statystyka Matematyczna w Zadaniach, cz. I. Leitner R., Zacharski J., Zarys matematyki wyŝszej
A i. i=1. i=1. i=1. i=1. W dalszej części skryptu będziemy mieli najczęściej do czynienia z miarami określonymi na rodzinach, które są σ - algebrami.
M. Beśka, Wstęp do teorii miary, rozdz. 3 25 3 Miara 3.1 Definicja miary i jej podstawowe własności Niech X będzie niepustym zbiorem, a A 2 X niepustą rodziną podzbiorów. Wtedy dowolne odwzorowanie : A
Prawdopodobieństwo i statystyka
Wykład XIII: Prognoza. 26 stycznia 2015 Wykład XIII: Prognoza. Prognoza (predykcja) Przypuśćmy, że mamy dany ciąg liczb x 1, x 2,..., x n, stanowiących wyniki pomiaru pewnej zmiennej w czasie wielkości
Rachunek prawdopodobieństwa Rozdział 2. Aksjomatyczne ujęcie prawdopodobieństwa
Rachunek prawdopodobieństwa Rozdział 2. Aksjomatyczne ujęcie prawdopodobieństwa Rozdział 2.3: Przykłady przestrzeni probabilistycznych. Katarzyna Rybarczyk-Krzywdzińska Przestrzeń probabilistyczna Przestrzeń
Proces rezerwy w czasie dyskretnym z losową stopą procentową i losową składką
z losową stopą procentową i losową składką Instytut Matematyki i Informatyki Politechniki Wrocławskiej 10 czerwca 2008 Oznaczenia Wprowadzenie ξ n liczba wypłat w (n 1, n], Oznaczenia Wprowadzenie ξ n
Teoria miary i całki
Teoria miary i całki Spis treści 1 Wstęp 3 2 lgebra zbiorów 5 3 Pierścienie, ciała, σ ciała zbiorów. 7 3.1 Definicja pierścienia ciała i σ ciała............... 7 3.2 Pierścień, ciało i σ ciało generowane
Struktury formalne, czyli elementy Teorii Modeli
Struktury formalne, czyli elementy Teorii Modeli Szymon Wróbel, notatki z wykładu dra Szymona Żeberskiego semestr zimowy 2016/17 1 Język 1.1 Sygnatura językowa Sygnatura językowa: L = ({f i } i I, {P j
Algorytmy metaheurystyczne Wykład 11. Piotr Syga
Algorytmy metaheurystyczne Wykład 11 Piotr Syga 22.05.2017 Drzewa decyzyjne Idea Cel Na podstawie przesłanek (typowo zbiory rozmyte) oraz zbioru wartości w danych testowych, w oparciu o wybrane miary,
1. Struktury zbiorów 2. Miara 3. Miara zewnętrzna 4. Miara Lebesgue a 5. Funkcje mierzalne 6. Całka Lebesgue a. Analiza Rzeczywista.
Literatura P. Billingsley, Miara i prawdopodobieństwo, PWN, Warszawa 1997, P. R. Halmos, Measure theory, Springer-Verlag, 1994, W, Kołodziej, naliza matematyczna, PWN, Warszawa 1978, S. Łojasiewicz, Wstęp
Topologia zbioru Cantora a obwody logiczne
Adam Radziwończyk-Syta Michał Skrzypczak Uniwersytet Warszawski 1 lipca 2009 http://students.mimuw.edu.pl/~mskrzypczak/dokumenty/ obwody.pdf Zbiór Cantora Topologia Definicja Przez zbiór Cantora K oznaczamy
Rozdział 6. Ciągłość. 6.1 Granica funkcji
Rozdział 6 Ciągłość 6.1 Granica funkcji Podamy najpierw dwie definicje granicy funkcji w punkcie i pokażemy ich równoważność. Definicja Cauchy ego granicy funkcji w punkcie. Niech f : X R, gdzie X R oraz
Wykład 5 Estymatory nieobciążone z jednostajnie minimalną war
Wykład 5 Estymatory nieobciążone z jednostajnie minimalną wariancją Wrocław, 25 października 2017r Statystyki próbkowe - Przypomnienie Niech X = (X 1, X 2,... X n ) będzie n elementowym wektorem losowym.
Na podstawie dokonanych obserwacji:
PODSTAWOWE PROBLEMY STATYSTYKI MATEMATYCZNEJ Niech mamy próbkę X 1,..., X n oraz przestrzeń prób X n, i niech {X i } to niezależne zmienne losowe o tym samym rozkładzie P θ P. Na podstawie obserwacji chcemy
SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska
SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska DRZEWO REGRESYJNE Sposób konstrukcji i przycinania
2. Wykaż, że moment pierwszego skoku w procesie Poissona. S 1 := inf{t : N t > 0} jest zmienną losową o rozkładzie wykładniczym z parametrem λ.
Zadania z Procesów Stochastycznych 1 1. Udowodnij, że z prawdopodobieństwem 1 trajektorie procesu Poissona są niemalejące, przyjmują wartości z Z +, mają wszystkie skoki równe 1 oraz dążą do nieskończoności.
Teoria miary. Matematyka, rok II. Wykład 1
Teoria miary Matematyka, rok II Wykład 1 NAJBLIŻSZY CEL: Nauczyć się mierzyć wielkość zbiorów. Pierwsze przymiarki: - liczność (moc) zbioru - słabo działa dla zbiorów nieskończonych: czy [0, 1] powinien
Szkice do zajęć z Przedmiotu Wyrównawczego
Szkice do zajęć z Przedmiotu Wyrównawczego Matematyka Finansowa sem. letni 2011/2012 Spis treści Zajęcia 1 3 1.1 Przestrzeń probabilistyczna................................. 3 1.2 Prawdopodobieństwo warunkowe..............................
Pochodna funkcji. Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji.
Pochodna funkcji Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji. Małgorzata Wyrwas Katedra Matematyki Wydział Informatyki Politechnika
SVM: Maszyny Wektorów Podpieraja cych
SVM 1 / 24 SVM: Maszyny Wektorów Podpieraja cych Nguyen Hung Son Outline SVM 2 / 24 1 Wprowadzenie 2 Brak liniowej separowalności danych Nieznaczna nieseparowalność Zmiana przetrzeń atrybutów 3 Implementacja
Statystyka matematyczna dla leśników
Statystyka matematyczna dla leśników Wydział Leśny Kierunek leśnictwo Studia Stacjonarne I Stopnia Rok akademicki 2013/2014 Wykład 3 Zmienna losowa i jej rozkłady Zdarzenia losowe Pojęcie prawdopodobieństwa
Prawdopodobieństwo i statystyka
Wykład I: Formalizm teorii prawdopodonieństwa 6 października 2014 Forma zaliczenia przedmiotu Forma zaliczenia Literatura Dostępność treści wykładów 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin dwuczęściowy:
Zadanie 1. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k =
Matematyka ubezpieczeń majątkowych 0.0.006 r. Zadanie. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k 5 Pr( N = k) =, k = 0,,,... 6 6 Wartości kolejnych szkód Y, Y,, są i.i.d.,
System BCD z κ. Adam Slaski na podstawie wykładów, notatek i uwag Pawła Urzyczyna. Semestr letni 2009/10
System BCD z κ Adam Slaski na podstawie wykładów, notatek i uwag Pawła Urzyczyna Semestr letni 2009/10 Rozważamy system BCD ze stałą typową κ i aksjomatami ω κ κ i κ ω κ. W pierwszej części tej notatki
Wykład 12: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Mieszanina rozkładów.
Rachunek prawdopodobieństwa MAT1332 Wydział Matematyki, Matematyka Stosowana Wykładowca: dr hab. Agnieszka Jurlewicz Wykład 12: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Mieszanina rozkładów. Warunkowa
Teoria miary. WPPT/Matematyka, rok II. Wykład 5
Teoria miary WPPT/Matematyka, rok II Wykład 5 Funkcje mierzalne Niech (X, F) będzie przestrzenią mierzalną i niech f : X R. Twierdzenie 1. NWSR 1. {x X : f(x) > a} F dla każdego a R 2. {x X : f(x) a} F
Prawdopodobieństwo i statystyka
Wykład V: Zmienne losowe i ich wartości oczekiwane 25 października 2017 Definicja zmiennej losowej Definicja Zmienne losowa to charakterystyka liczbowa wyniku eksperymentu losowego. Zmienne losowa na przestrzeni
STATYSTYKA MATEMATYCZNA WYKŁAD 5. 2 listopada 2009
STATYSTYKA MATEMATYCZNA WYKŁAD 5 2 listopada 2009 Poprzedni wykład: przedział ufności dla µ, σ nieznane Rozkład N(µ, σ). Wnioskowanie o średniej µ, gdy σ nie jest znane Testowanie H : µ = µ 0, K : µ
Matematyka ubezpieczeń majątkowych r.
Matematyka ubezpieczeń majątkowych 3..007 r. Zadanie. Każde z ryzyk pochodzących z pewnej populacji charakteryzuje się tym że przy danej wartości λ parametru ryzyka Λ rozkład wartości szkód z tego ryzyka
Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18
Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)
Statystyka w analizie i planowaniu eksperymentu
29 marca 2011 Przestrzeń statystyczna - podstawowe zadania statystyki Zdarzeniom losowym określonym na pewnej przestrzeni zdarzeń elementarnych Ω można zazwyczaj na wiele różnych sposobów przypisać jakieś
Wykład 10. Stwierdzenie 1. X spełnia warunek Borela wtedy i tylko wtedy, gdy każda scentrowana rodzina zbiorów domkniętych ma niepusty przekrój.
Wykład 10 Twierdzenie 1 (Borel-Lebesgue) Niech X będzie przestrzenią zwartą Z każdego pokrycia X zbiorami otwartymi można wybrać podpokrycie skończone Dowód Lemat 1 Dla każdego pokrycia U przestrzeni ośrodkowej
Statystyka w analizie i planowaniu eksperymentu
31 marca 2014 Przestrzeń statystyczna - podstawowe zadania statystyki Zdarzeniom losowym określonym na pewnej przestrzeni zdarzeń elementarnych Ω można zazwyczaj na wiele różnych sposobów przypisać jakieś
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 4 Przekształcenia zmiennej losowej, momenty
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 4 Przekształcenia zmiennej losowej, momenty Agata Boratyńska Agata Boratyńska Rachunek prawdopodobieństwa, wykład 4 / 9 Przekształcenia zmiennej losowej X
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 2 i 3 Zmienna losowa
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 2 i 3 Zmienna losowa Agata Boratyńska Agata Boratyńska Rachunek prawdopodobieństwa, wykład 2 i 3 1 / 19 Zmienna losowa Definicja Dana jest przestrzeń probabilistyczna
Wstęp do Matematyki (4)
Wstęp do Matematyki (4) Jerzy Pogonowski Zakład Logiki Stosowanej UAM www.logic.amu.edu.pl pogon@amu.edu.pl Liczby kardynalne Jerzy Pogonowski (MEG) Wstęp do Matematyki (4) Liczby kardynalne 1 / 33 Wprowadzenie