Predykcja i selekcja zmiennych w klasyfikacji z wieloma etykietami przy użyciu łańcuchów klasyfikatorów i sieci elastycznej
|
|
- Bogusław Sowa
- 4 lat temu
- Przeglądów:
Transkrypt
1 Seminarium Poznań 2016 Predykcja i selekcja zmiennych w klasyfikacji z wieloma etykietami przy użyciu łańcuchów klasyfikatorów i sieci elastycznej Paweł Teisseyre Instytut Podstaw Informatyki PAN
2 Plan prezentacji Klasyfikacja z wieloma etykietami. Selekcja zmiennych w klasyfikacji z wieloma etykietami. Ogólne podejście do estymacji prawdopodobieństwa aposteriori. Metoda CCnet: łańcuchy klasyfikatorów + sieć elastyczna: dopasowanie modelu, wybór parametrów sieci elastycznej, wyniki teoretyczne: stabilność i oszacowanie błędu generalizacji. Eksperymenty: wpływ selekcji zmiennych na jakość predykcji, wpływ kolejności budowy modeli w łańcuchu na wybór zmiennych.
3 Klasyfikacja z wieloma etykietami Klasyfikacja z jedną etykietą Jedna zmienna odpowiedzi. Zbiór uczący: (x (i), y (i) ), x (i) R p, y (i) {0, 1}. Klasyfikacja z wieloma etykietami Wiele zmiennych odpowiedzi. Zbiór uczący: (x (i), y (i) ), x (i) R p, y (i) {0, 1} K.
4 Klasyfikacja z jedną etykietą: x 1 x 2... x p y ? Tabela : Klasyfikacja z jedną etykietą. y {0, 1}- zmienna odpowiedzi (etykieta).
5 Klasyfikacja z wieloma etykietami: x 1 x 2... x p y 1 y 2... y K ??...? Tabela : Klasyfikacja z wieloma etykietami. y = (y 1,..., y K ) - wektor zmiennych odpowiedzi (etykiet).
6 Klasyfikacja z wieloma etykietami Przykłady zastosowań: kategoryzacja tekstów (etykiety: różne tematy) anotacja obrazów cyfrowych i filmów (etykiety: różne obiekty na zdjęciu) marketing (etykiety: produkty kupowane przez klientów) genomika (etykiety: funkcje genów) medycyna (etykiety: choroby pacjentów)
7 Przykład: wielozachorowalność BMI Weight Glucose... Diabetes Hypotension Liver disease Zmienne x: charakterystyki pacjentów. Etykiety y: wystąpienia chorób. Zadanie 1: przewidywanie które choroby wystąpią na podstawie pewnych charakterystyk pacjentów (PREDYCKJA). Zadanie 2: wyznaczenie które zmienne wpływają na występowanie poszczególnych chorób (SELEKCJA ZMIENNYCH).
8 Selekcja zmiennych Problem: Selekcja zmiennych: które spośród zmiennych x wpływają na etykiety y? Interesuje nas sytuacja p- bardzo duże; K- średnie (częsta sytuacja w zastosowaniach medycznych). W sytuacji wielu etykiet pojawiają się nowe problemy: Każda etykieta może zależeć od innego zbioru zmiennych. Etykiety mogą zależeć od zmiennych warunkowo (pod warunkiem innych etykiet). Zmienne mogą wpływać na interakcje między etykietami.
9 Selekcja zmiennych Popularna klasyfikacja: 1. Filtry (filters): indywidualna ocena istotności każdej zmiennej. Na przykład: transformacja LP+ informacja wzajemna. 2. Wrappery (wrappers): ocena istotności podzbiorów zmiennych. 3. Metody z wbudowaną selekcją (embedded methods): selekcja zmiennych wykonywana podczas budowy modelu.
10 Klasyfikacja z wieloma etykietami Naturalne podejście: 1. Oszacowanie prawdopodobieństwa aposteriori: p(y x) 2. Predykcja dla nowej obserwacji x 0 : ŷ(x 0 ) = arg max ˆp(y x 0), y {0,1} K gdzie ˆp(y x 0 ) to oszacowane prawdopodobieństwo aposteriori w x 0.
11 Ogólne podejście: Estymacja prawdopodobieństwa aposteriori: Rozważamy rodzinę rozkładów: {p(y x, θ) : θ Θ}. Estymujemy parametry używając metody NW: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ)}. i=1 Wersja z regularyzacją: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ) + λ 1 θ 1 + λ 2 θ 2 2}. i=1 Zaleta regularyzacji l 1 : część współrzędnych ˆθ będzie równa 0 (selekcja zmiennych).
12 Ogólne podejście: Estymacja prawdopodobieństwa aposteriori: Rozważamy rodzinę rozkładów: {p(y x, θ) : θ Θ}. Estymujemy parametry używając metody NW: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ)}. i=1 Wersja z regularyzacją: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ) + λ 1 θ 1 + λ 2 θ 2 2}. i=1 Zaleta regularyzacji l 1 : część współrzędnych ˆθ będzie równa 0 (selekcja zmiennych).
13 Ogólne podejście: Estymacja prawdopodobieństwa aposteriori: Rozważamy rodzinę rozkładów: {p(y x, θ) : θ Θ}. Estymujemy parametry używając metody NW: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ)}. i=1 Wersja z regularyzacją: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ) + λ 1 θ 1 + λ 2 θ 2 2}. i=1 Zaleta regularyzacji l 1 : część współrzędnych ˆθ będzie równa 0 (selekcja zmiennych).
14 Ogólne podejście: Estymacja prawdopodobieństwa aposteriori: Rozważamy rodzinę rozkładów: {p(y x, θ) : θ Θ}. Estymujemy parametry używając metody NW: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ)}. i=1 Wersja z regularyzacją: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ) + λ 1 θ 1 + λ 2 θ 2 2}. i=1 Zaleta regularyzacji l 1 : część współrzędnych ˆθ będzie równa 0 (selekcja zmiennych).
15 Przykład rodziny rozkładów {p(y x, θ) : θ Θ}: Model Isinga 1 2 : p(y x, θ) = 1 K N(x) exp ak T xy k + β k,l y k y l, (1) k=1 k<l gdzie: N(x) = K exp y {0,1} K k=1 a T k xy k + k<l β k,l y k y l (2) oraz θ = (a 1,..., a K, β 1,2, β 1,3,..., β K 1,K ) T. 1 E. Ising, Beitrag zur Theorie des Ferromagnetismus, Zeitschrift für Physik, P. Teisseyre, Feature ranking for multi-label classification using Markov Networks, Neurocomputing, 2016.
16 Model Isinga Rysunek : Sieć Markova odpowiadająca modelowi Isinga.
17 Dlaczego model Isinga? Chcemy znaleźć rozkład g(y x), maksymalizujący entropię: H g (y x) = y g(y x) log(g(y x)) przy założeniach: g(y x) 0, y g(y x) = 1 oraz: g(y x)y k = A k (x), k = 1,..., K, (3) y g(y x)y k y l = B k,l (x), k < l, (4) y gdzie A k (x) i B k,l (x) są ustalone i zależą od x.
18 Dlaczego model Isinga? Twierdzenie Niech g(y x) będzie dowolnym rozkładem spełniającym (3), (4) i niech p(y x) będzie rozkładem danym wzorem Isinga i spełniającym (3), (4). Wtedy: H g (y x) H p (y x).
19 Dlaczego model Isinga? Dowód: Z definicji entropii: H g (y x) = y KL(g, p) y g(y x) log(g(y x)) = y g(y x) log(p(y x)) y [ ] g(y x) g(y x) log p(y x) p(y x) g(y x) log(p(y x)), gdzie KL(g, p) jest odległością Kullbacka-Leibnera między g i p i ostatnia nierówność wynika z KL(g, p) 0 (nierówność informacyjna). Dalej pokażemy że: y g(y x) log(p(y x)) = y p(y x) log(p(y x)).
20 Dlaczego model Isinga? Korzystając z definicji p i q oraz faktu że p i q muszą spełniać ograniczenia mamy: y y y y g(y x) log(p(y x)) = K g(y x) log(z(x)) + β k,j xy k y j = ak T xy k + k=1 k<j K p(y x) log(z(x)) + ak T xy k + β k,j xy k y j = k=1 k<j p(y x) log(p(y x)), co kończy dowód.
21 Model Isinga: Zalety: Naturalne uogólnienie modelu logistycznego. Łatwa interpretacja zależności między etykietami. Rozkład maksymalnej entropii. Wady: Duża liczba parametrów. Bezpośrednia estymacja metodą największej wiarogodności jest trudna ze względu na stałą normującą Z(x). Predykcja może być problemem w przypadku dużej liczby etykiet.
22 Metoda CCnet Estymacja prawdopodobieństwa aposteriori: Zamiast modelować p(y x, θ) bezpośrednio, używamy wzoru łańcuchowego: p(y x, θ) = p(y 1 x, θ 1 ) K p(y k y k, x, θ k ), k=2 gdzie: y k = (y 1,..., y k 1 ) T, θ = (θ 1,..., θ K ) T.
23 Metoda CCnet Problem: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ) + λ 1 θ 1 + λ 2 θ 2 2}. i=1 Rozwiązanie w postaci: ˆθ = (ˆθ 1,..., ˆθ K ) T, gdzie: ˆθ k = arg min{ 1 θ k n dla k = 1,..., K. n i=1 log p(y (i) k y(i) k, x(i), θ k )+λ 1 θ k 1 +λ 2 θ k 2 2},
24 Metoda CCnet Problem: ˆθ = arg min{ 1 θ n n log p(y (i) x (i), θ) + λ 1 θ 1 + λ 2 θ 2 2}. i=1 Rozwiązanie w postaci: ˆθ = (ˆθ 1,..., ˆθ K ) T, gdzie: ˆθ k = arg min{ 1 θ k n dla k = 1,..., K. n i=1 log p(y (i) k y(i) k, x(i), θ k )+λ 1 θ k 1 +λ 2 θ k 2 2},
25 Metoda CCnet Zakładamy że prawdopodobieństwa warunkowe są w postaci: gdzie: z k = (y k, x) T. p(y k z k, θ k ) = exp(θt k z k y k ) 1 + exp(θ T k z k ), Rozważamy parametry regularyzacji λ 1,k and λ 2,k niezależnie, dla każdego k. Rozwiązanie w postaci: ˆθ = (ˆθ 1,..., ˆθ K ) T, gdzie: ˆθ k = arg min{ 1 θ k n dla k = 1,..., K. n [θ T k z (i) i=1 k y (i) k log(1+exp(θt k z (i) k ))]+λ 1,k θ k 1+λ 2,k θ k 2 2},
26 Metoda CCnet Zakładamy że prawdopodobieństwa warunkowe są w postaci: gdzie: z k = (y k, x) T. p(y k z k, θ k ) = exp(θt k z k y k ) 1 + exp(θ T k z k ), Rozważamy parametry regularyzacji λ 1,k and λ 2,k niezależnie, dla każdego k. Rozwiązanie w postaci: ˆθ = (ˆθ 1,..., ˆθ K ) T, gdzie: ˆθ k = arg min{ 1 θ k n dla k = 1,..., K. n [θ T k z (i) i=1 k y (i) k log(1+exp(θt k z (i) k ))]+λ 1,k θ k 1+λ 2,k θ k 2 2},
27 Metoda CCnet Rozwiązanie w postaci: ˆθ = (ˆθ 1,..., ˆθ K ) T, gdzie: ˆθ k = arg min{ 1 θ k n dla k = 1,..., K. n [θ T k z (i) i=1 k y (i) k log(1+exp(θt k z (i) k ))]+λ 1,k θ k 1+λ 2,k θ k 2 2}, K problemów optymalizacji wypukłej: do rozwiązania można użyć algorytmu CCD (funkcja glmnet w R).
28 Metoda CCnet Rozwiązanie w postaci: ˆθ = (ˆθ 1,..., ˆθ K ) T, gdzie: ˆθ k = arg min{ 1 θ k n dla k = 1,..., K. n [θ T k z (i) i=1 k y (i) k log(1+exp(θt k z (i) k ))]+λ 1,k θ k 1+λ 2,k θ k 2 2}, K problemów optymalizacji wypukłej: do rozwiązania można użyć algorytmu CCD (funkcja glmnet w R).
29 Wybór parametru regularyzacji Przyjmujemy λ 1,k = αλ k, λ 2,k = (1 α)λ k, gdzie: α [0, 1]. Dla ustalonego α znajdujemy optymalną wartość λ k używając kryterium GIC (Generalized Information Criterion): gdzie: ˆλ k = arg min{ 1 λ k n n i=1 df := {r : ˆθk,r 0}, a(n) = log(n) (BIC) lub a(n) = 2 (AIC). log p(y (i) k z(i) k, ˆθ k ) + a(n) df },
30 Wyniki teoretyczne Stabilność CCnet ze względu na wybraną funkcję straty: niewielka zmiana zbioru treningowego nie wpływa znacząco na wartość funkcji straty dla CCnet. Oszacowanie błędu generalizacji dla CCnet, dla wybranej funkcji straty: używamy pomysłu opisanego w pracy Bousquet & Elisseeff (JMLR 2002), który pozwala udowodnić oszacowanie błędu generalizacji używając stabilności.
31 Funkcje straty Niech: g(x, y, θ) = p(y x, θ) max y y p(y x, θ). Strata 0-1: l(x, y, θ) = { 1 if g(x, y, θ) < 0 0 if g(x, y, θ) 0. (5) Modyfikacja straty 0-1: 1 if g(x, y, θ) < 0 l γ (x, y, θ) = 1 g(x, y, θ)/γ if 0 g(x, y, θ) < γ 0 if g(x, y, θ) γ.
32 Funkcje straty Niech: g(x, y, θ) = p(y x, θ) max y y p(y x, θ). Strata 0-1: l(x, y, θ) = { 1 if g(x, y, θ) < 0 0 if g(x, y, θ) 0. (5) Modyfikacja straty 0-1: 1 if g(x, y, θ) < 0 l γ (x, y, θ) = 1 g(x, y, θ)/γ if 0 g(x, y, θ) < γ 0 if g(x, y, θ) γ.
33 l(x,y,θ) l γ(x,y,θ) g(x,y,θ) 0 γ g(x,y,θ) (a) (b) Rysunek : Porównanie funkcji strat: l(x, y, θ) (a) oraz l γ (x, y, θ) (b).
34 Stabilność CCnet Oryginalny zbiór uczący: D = (x (i), y (i) ), i = 1,..., n Zmodyfikowany zbiór uczący: D l : obserwacja numer l z D została zamieniona przez niezależną kopię. Rozwiązania CCnet: ˆθ oraz ˆθ l wyliczone na podstawie zbiorów: D oraz D l. Twierdzenie (stabilność CCnet) Zakładamy że x 2 L i niech λ 2 > 0. Dla l = 1,..., n mamy: l γ (x, y, ˆθ) l γ (x, y, ˆθ l ) 4K(L2 + K). λ 2 nγ
35 Stabilność CCnet Oryginalny zbiór uczący: D = (x (i), y (i) ), i = 1,..., n Zmodyfikowany zbiór uczący: D l : obserwacja numer l z D została zamieniona przez niezależną kopię. Rozwiązania CCnet: ˆθ oraz ˆθ l wyliczone na podstawie zbiorów: D oraz D l. Twierdzenie (stabilność CCnet) Zakładamy że x 2 L i niech λ 2 > 0. Dla l = 1,..., n mamy: l γ (x, y, ˆθ) l γ (x, y, ˆθ l ) 4K(L2 + K). λ 2 nγ
36 Oszacowanie błędu generalizacji CCnet Błąd oczekiwany: err(ˆθ) = E x,y l γ (x, y, ˆθ), Błąd na danych uczących: Err(ˆθ) = 1 n n l γ (x (i), y (i), ˆθ). i=1 Twierdzenie (oszacowanie błędu generalizacji) Zakładamy że x 2 L oraz λ 2 > 0. Mamy następujące oszacowanie z prawdopodobieństwem co najmniej 1 δ: ( err(ˆθ) Err(ˆθ) 8K(L2 + K) 16K(L 2 ) + K) log(1/δ) λ 2 nγ λ 2 γ 2n
37 Oszacowanie błędu generalizacji CCnet Błąd oczekiwany: err(ˆθ) = E x,y l γ (x, y, ˆθ), Błąd na danych uczących: Err(ˆθ) = 1 n n l γ (x (i), y (i), ˆθ). i=1 Twierdzenie (oszacowanie błędu generalizacji) Zakładamy że x 2 L oraz λ 2 > 0. Mamy następujące oszacowanie z prawdopodobieństwem co najmniej 1 δ: ( err(ˆθ) Err(ˆθ) 8K(L2 + K) 16K(L 2 ) + K) log(1/δ) λ 2 nγ λ 2 γ 2n
38 Eksperymenty Porównanie metod: 1. BRlogit 3, 2. BRtree, 3. BRnet, dla α = 0, 0.5, 1 4, 4. CClogit 5, 5. CCtree, 6. CCnet, dla α = 0, 0.5, 1. 3 Dembczynski et. al Liu Kumar et. al. 2013; Montanes 2014; Dembczynski et. al. 2012
39 Eksperymenty Miary oceny: Dokładność zbioru: Subset accuracy(y, ŷ) = I [y = ŷ]. Miara Hamminga: Hamming measure(y, ŷ) = 1 K K I [y k = ŷ k ]. k=1 Liczba wybranych zmiennych. Czas budowy modelu.
40 Eksperymenty Dataset CClogit CCtree CCnet CCnet CCnet BRlogit BRtree BRnet BRnet BRnet (α = 1) (α = 0) (α = 0.5) (α = 1) (α = 0) (α = 0.5) music yeast scene birds flags medical cal genbase mediamill enron bookmarks bibtex avg rank Tabela : Dokładność zbioru. Parametr λ wybrany za pomocą BIC. Pogrubione liczby odpowiadają najlepszej metodzie.
41 Eksperymenty Dataset CClogit CCtree CCnet CCnet CCnet BRlogit BRtree BRnet BRnet BRnet (α = 1) (α = 0) (α = 0.5) (α = 1) (α = 0) (α = 0.5) music yeast scene birds flags medical cal genbase mediamill enron bookmarks bibtex avg rank Tabela : Miara Hamminga. Parametr λ wybrany za pomocą BIC. Pogrubione liczby odpowiadają najlepszej metodzie.
42 Eksperymenty Dataset CClogit CCtree CCnet CCnet CCnet BRlogit BRtree BRnet BRnet BRnet (α = 1) (α = 0) (α = 0.5) (α = 1) (α = 0) (α = 0.5) music yeast scene birds flags medical cal genbase mediamill enron bookmarks bibtex avg rank Tabela : Liczba wybranych zmiennych. Parametr λ wybrany za pomocą BIC. Pogrubione liczby odpowiadają najlepszej metodzie.
43 Eksperymenty Dataset CClogit CCtree CCnet CCnet CCnet BRlogit BRtree BRnet BRnet BRnet (α = 1) (α = 0) (α = 0.5) (α = 1) (α = 0) (α = 0.5) music yeast scene birds flags medical cal genbase mediamill enron bookmarks bibtex avg rank Tabela : Czas budowy modelu. Parametr λ wybrany za pomocą BIC. Pogrubione liczby odpowiadają najlepszej metodzie.
44 Eksperymenty Wnioski: 1. CCnet (z dowolną α) osiąga większą dokładność zbioru niż inne metody. 2. Wartość α nie ma bardzo dużego wpływu na dokładność i miarę Hamminga. Wartość α > 0 jest zalecana ze względu na selekcję zmiennych. 3. BRnet osiąga największe wartości miary Hamminga. 4. Kara lasso (BRnet, α = 1 oraz CCnet, α = 1) pozwala na wybór najmniejszej liczby zmiennych. 5. Najmniejsze czasy dopasowania modelu obserwujemy dla kary lasso (BRnet, α = 1 oraz CCnet, α = 1).
45 Eksperyment 2 Wybrany zbiór zmiennych: Cel eksperymentu: S = K {1 r p : ˆθ k,r 0}. k=1 Kolejność dopasowania modeli w łańcuchu może wpływać na jakość modelu, a co za tym idzie na to które zmienne są wybierane. Sprawdzamy stabilność wyboru zmiennych ze względu na kolejność dopasowania modeli w łańcuchu. Powtarzamy dopasowanie CCnet dla różnych permutacji etykiet i dla każdej wyznaczamy zbiór S.
46 Features 150 Features 150 Features Permutations in CC Permutations in CC Permutations in CC (a)ccnet+aic (b)ccnet+bic (c)cctree Rysunek : Wybrane zmienne dla różnych kolejności dopasowania modeli. Czarne kropki oznaczają wybrane zmienne.
47 Eksperyment 2 Dataset p mean of S sd of S >75% >90% >95% music yeast scene birds flags medical cal genbase mediamill enron bookmarks bibtex Tabela : Stabilność CCnet dla BIC.
48 Eksperyment 2 Dataset p mean of S sd of S >75% >90% >95% music yeast scene birds flags medical cal genbase mediamill enron bookmarks bibtex Tabela : Stabilność CCnet dla AIC.
49 Eksperyment 2 Dataset p mean of S sd of S >75% >90% >95% music yeast scene birds flags medical cal genbase mediamill enron bookmarks bibtex Tabela : Stabilność CCtree.
50 Eksperyment 2 Wnioski: 1. Stabilność zależy od zbioru danych. Dla pewnych zbiorów (np. CCnet+ BIC, zbiór genbase) wybieramy dokładnie te same zmienne dla wszystkich permutacji etykiet. 2. CCnet z BIC działa stabilnie, większość zmiennych jest wybierana dla co najmniej 95% permutacji etykiet. 3. Ostateczny zbiór zmiennych istotnych może być wybierany poprzez uwzględnienie zmiennych które pojawiły się dla większości permutacji (np. dla najmniej 95% permutacji).
51 Referencje: 1. P. Teisseyre, Joint multi-label classification and feature selection using classifier chains and elastic net regularization, w recenzji, P. Teisseyre, Feature ranking for multi-label classification using Markov Networks, Neurocomputing, 2016, 3. H. Liu et. al., MLSLR: Multilabel Learning via Sparse Logistic Regression, Information Sciences, 2015, 4. K. Dembczyński et. al., On label dependence and loss minimization in multi-label classification, Machine Learning, 2012, 5. E. Ising, Beitrag zur Theorie des Ferromagnetismus, Zeitschrift für Physik, 1925, 6. W. Bian et. al., CorrLog: Correlated Logistic Models for Joint Prediction of Multiple Labels, JMLR Proceedings, 2012.
Selekcja zmiennych w klasyfikacji z wieloma etykietami
Seminarium IPIPAN, Maj 2016 Selekcja zmiennych w klasyfikacji z wieloma etykietami Paweł Teisseyre Instytut Podstaw Informatyki PAN Plan prezentacji Klasyfikacja z wieloma etykietami. Selekcja zmiennych
Bardziej szczegółowoESTYMACJA BŁĘDU PREDYKCJI I JEJ ZASTOSOWANIA
ESTYMACJA BŁĘDU PREDYKCJI I JEJ ZASTOSOWANIA Jan Mielniczuk Wisła, grudzień 2009 PLAN Błędy predykcji i ich podstawowe estymatory Estymacja błędu predykcji w modelu liniowym. Funkcje kryterialne Własności
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 κ-nn i Naive Bayes autorzy: M. Zięba, J.M. Tomczak, A. Gonczarek, S. Zaręba Cel zadania Celem zadania jest implementacja klasyfikatorów
Bardziej szczegółowoEstymacja gęstości prawdopodobieństwa metodą selekcji modelu
Estymacja gęstości prawdopodobieństwa metodą selekcji modelu M. Wojtyś Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska Wisła, 7 grudnia 2009 Wstęp Próba losowa z rozkładu prawdopodobieństwa
Bardziej szczegółowoWojciech Skwirz
1 Regularyzacja jako metoda doboru zmiennych objaśniających do modelu statystycznego. 2 Plan prezentacji 1. Wstęp 2. Część teoretyczna - Algorytm podziału i ograniczeń - Regularyzacja 3. Opis wyników badania
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Laboratorium Python Zadanie nr 2 κ-nn i Naive Bayes autorzy: M. Zięba, J.M. Tomczak, A. Gonczarek, S. Zaręba, J. Kaczmar Cel zadania Celem zadania jest implementacja klasyfikatorów
Bardziej szczegółowoZastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej. Adam Żychowski
Zastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej Adam Żychowski Definicja problemu Każdy z obiektów może należeć do więcej niż jednej kategorii. Alternatywna definicja Zastosowania
Bardziej szczegółowoEstymatory regresji rangowej oparte na metodzie LASSO
Estymatory regresji rangowej oparte na metodzie LASSO Wojciech Rejchel UMK Toruń Wisła 2013 Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie P X, X X R m, Y, Y R Z = (X, Y ),
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Laboratorium Python Zadanie nr 3 Regresja logistyczna autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest zaimplementowanie modelu
Bardziej szczegółowoWYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska
Wrocław University of Technology WYKŁAD 4 Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie autor: Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification):
Bardziej szczegółowoWłasności estymatorów regresji porządkowej z karą LASSO
Własności estymatorów regresji porządkowej z karą LASSO Uniwersytet Mikołaja Kopernika w Toruniu Uniwersytet Warszawski Badania sfinansowane ze środków Narodowego Centrum Nauki przyznanych w ramach finansowania
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji
Bardziej szczegółowoRozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Bardziej szczegółowoSzacowanie optymalnego systemu Bonus-Malus przy pomocy Pseudo-MLE. Joanna Sawicka
Szacowanie optymalnego systemu Bonus-Malus przy pomocy Pseudo-MLE Joanna Sawicka Plan prezentacji Model Poissona-Gamma ze składnikiem regresyjnym Konstrukcja optymalnego systemu Bonus- Malus Estymacja
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 2 autorzy: A. Gonczarek, J.M. Tomczak Metody estymacji Zad. 1 Pojawianie się spamu opisane jest zmienną losową x o rozkładzie dwupunktowym
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 3 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba Cel zadania Celem zadania jest zaimplementowanie algorytmów
Bardziej szczegółowoWprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne
Wprowadzenie Prostym podejściem do klasyfikacji jest estymacja funkcji regresji r(x) =E(Y X =x)zpominięciemestymacjigęstościf k. Zacznijmyodprzypadkudwóchgrup,tj.gdy Y = {1,0}. Wówczasr(x) =P(Y =1 X =x)ipouzyskaniuestymatora
Bardziej szczegółowoModelowanie zależności. Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski
Modelowanie zależności pomiędzy zmiennymi losowymi Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski P Zmienne losowe niezależne - przypomnienie Dwie rzeczywiste zmienne losowe X i Y
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie
Bardziej szczegółowoPorównanie modeli regresji. klasycznymi modelami regresji liniowej i logistycznej
Porównanie modeli logicznej regresji z klasycznymi modelami regresji liniowej i logistycznej Instytut Matematyczny, Uniwersytet Wrocławski Małgorzata Bogdan Instytut Matematyki i Informatyki, Politechnika
Bardziej szczegółowoKombinacja jądrowych estymatorów gęstości w klasyfikacji wstępne wyniki
Kombinacja jądrowych estymatorów gęstości w klasyfikacji wstępne wyniki Mateusz Kobos, 10.12.2008 Seminarium Metody Inteligencji Obliczeniowej 1/46 Spis treści Działanie algorytmu Uczenie Odtwarzanie/klasyfikacja
Bardziej szczegółowoTechniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Bardziej szczegółowoKlasyfikacja wielo-etykietowa z wykorzystaniem Boostingu
Klasyfikacja wielo-etykietowa z wykorzystaniem Boostingu Seminarium Zakładu Inteligentnych Systemów Wspomagania Decyzji Instytutu Informatyki Politechniki Poznańskiej oraz Sekcji Inteligentnych Systemów
Bardziej szczegółowoSelekcja modelu liniowego i predykcja metodami losowych podprzestrzeni
Selekcja modelu liniowego i predykcja metodami losowych podprzestrzeni Paweł Teisseyre Instytut Podstaw Informatyki, Polska Akademia Nauk Paweł Teisseyre Selekcja modelu liniowego i predykcja 1 / 29 Plan
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 3 Metody estymacji. Estymator największej wiarygodności Zad. 1 Pojawianie się spamu opisane jest zmienną losową y o rozkładzie zero-jedynkowym
Bardziej szczegółowoElementy modelowania matematycznego
Elementy modelowania matematycznego Modelowanie algorytmów klasyfikujących. Podejście probabilistyczne. Naiwny klasyfikator bayesowski. Modelowanie danych metodą najbliższych sąsiadów. Jakub Wróblewski
Bardziej szczegółowoWYKŁAD 3. Klasyfikacja: modele probabilistyczne
Wrocław University of Technology WYKŁAD 3 Klasyfikacja: modele probabilistyczne Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami
Bardziej szczegółowoWstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak
Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak 1 Wprowadzenie. Zmienne losowe Podczas kursu interesować nas będzie wnioskowanie o rozpatrywanym zjawisku. Poprzez wnioskowanie rozumiemy
Bardziej szczegółowoEksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18
Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)
Bardziej szczegółowoZrównoleglona optymalizacja stochastyczna na dużych zbiorach danych
Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych mgr inż. C. Dendek prof. nzw. dr hab. J. Mańdziuk Politechnika Warszawska, Wydział Matematyki i Nauk Informacyjnych Outline 1 Uczenie
Bardziej szczegółowoMetody selekcji cech
Metody selekcji cech A po co to Często mamy do dyspozycji dane w postaci zbioru cech lecz nie wiemy które z tych cech będą dla nas istotne. W zbiorze cech mogą wystąpić cechy redundantne niosące identyczną
Bardziej szczegółowoSystemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład II 2017/2018
Systemy pomiarowo-diagnostyczne Metody uczenia maszynowego wykład II bogumil.konopka@pwr.edu.pl 2017/2018 Określenie rzeczywistej dokładności modelu Zbiór treningowym vs zbiór testowy Zbiór treningowy
Bardziej szczegółowoMetoda największej wiarogodności
Wprowadzenie Założenia Logarytm funkcji wiarogodności Metoda Największej Wiarogodności (MNW) jest bardziej uniwersalną niż MNK metodą szacowania wartości nieznanych parametrów Wprowadzenie Założenia Logarytm
Bardziej szczegółowoEntropia Renyi ego, estymacja gęstości i klasyfikacja
Entropia Renyi ego, estymacja gęstości i klasyfikacja Wojciech Czarnecki Jacek Tabor 6 lutego 2014 1 / Wojciech Czarnecki, Jacek Tabor Renyi s Multithreshold Linear Classifier 1/36 36 2 / Wojciech Czarnecki,
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Laboratorium Python Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest implementacja liniowego zadania
Bardziej szczegółowoWSTĘP DO REGRESJI LOGISTYCZNEJ. Dr Wioleta Drobik-Czwarno
WSTĘP DO REGRESJI LOGISTYCZNEJ Dr Wioleta Drobik-Czwarno REGRESJA LOGISTYCZNA Zmienna zależna jest zmienną dychotomiczną (dwustanową) przyjmuje dwie wartości, najczęściej 0 i 1 Zmienną zależną może być:
Bardziej szczegółowoKonferencja Statystyka Matematyczna Wisła 2013
Konferencja Statystyka Matematyczna Wisła 2013 Wykorzystanie metod losowych podprzestrzeni do predykcji i selekcji zmiennych Paweł Teisseyre Instytut Podstaw Informatyki, Polska Akademia Nauk Paweł Teisseyre
Bardziej szczegółowoStatystyka Matematyczna Anna Janicka
Statystyka Matematyczna Anna Janicka wykład X, 9.05.206 TESTOWANIE HIPOTEZ STATYSTYCZNYCH II: PORÓWNYWANIE TESTÓW Plan na dzisiaj 0. Przypomnienie potrzebnych definicji. Porównywanie testów 2. Test jednostajnie
Bardziej szczegółowoRegresyjne metody łączenia klasyfikatorów
Regresyjne metody łączenia klasyfikatorów Tomasz Górecki, Mirosław Krzyśko Wydział Matematyki i Informatyki Uniwersytet im. Adama Mickiewicza XXXV Konferencja Statystyka Matematyczna Wisła 7-11.12.2009
Bardziej szczegółowoMaksymalne powtórzenia w tekstach i zerowa intensywność entropii
Maksymalne powtórzenia w tekstach i zerowa intensywność entropii Łukasz Dębowski ldebowsk@ipipan.waw.pl i Instytut Podstaw Informatyki PAN Warszawa 1 Wprowadzenie 2 Ograniczenia górne i dolne 3 Przykłady
Bardziej szczegółowoJądrowe klasyfikatory liniowe
Jądrowe klasyfikatory liniowe Waldemar Wołyński Wydział Matematyki i Informatyki UAM Poznań Wisła, 9 grudnia 2009 Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia 2009 1 / 19 Zagadnienie
Bardziej szczegółowoPorównanie błędu predykcji dla różnych metod estymacji współczynników w modelu liniowym, scenariusz p bliskie lub większe od n
Porównanie błędu predykcji dla różnych metod estymacji współczynników w modelu iowym, scenariusz p bliskie lub większe od n Przemyslaw.Biecek@gmail.com, MIM Uniwersytet Warszawski Plan prezentacji: 1 Motywacja;
Bardziej szczegółowoAlgorytmy metaheurystyczne Wykład 11. Piotr Syga
Algorytmy metaheurystyczne Wykład 11 Piotr Syga 22.05.2017 Drzewa decyzyjne Idea Cel Na podstawie przesłanek (typowo zbiory rozmyte) oraz zbioru wartości w danych testowych, w oparciu o wybrane miary,
Bardziej szczegółowoStanisław Cichocki Natalia Nehrebecka. Wykład 7
Stanisław Cichocki Natalia Nehrebecka Wykład 7 1 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 2 1. Metoda Największej Wiarygodności
Bardziej szczegółowoSTATYSTYKA MATEMATYCZNA WYKŁAD stycznia 2010
STATYSTYKA MATEMATYCZNA WYKŁAD 14 18 stycznia 2010 Model statystyczny ROZKŁAD DWUMIANOWY ( ) {0, 1,, n}, {P θ, θ (0, 1)}, n ustalone P θ {K = k} = ( ) n θ k (1 θ) n k, k k = 0, 1,, n Geneza: Rozkład Bernoulliego
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z liniowym zadaniem najmniejszych
Bardziej szczegółowoMetoda najmniejszych kwadratów
Metoda najmniejszych kwadratów Przykład wstępny. W ekonomicznej teorii produkcji rozważa się funkcję produkcji Cobba Douglasa: z = AL α K β gdzie z oznacza wielkość produkcji, L jest nakładem pracy, K
Bardziej szczegółowoTestowanie hipotez statystycznych.
Bioinformatyka Wykład 9 Wrocław, 5 grudnia 2011 Temat. Test zgodności χ 2 Pearsona. Statystyka χ 2 Pearsona Rozpatrzmy ciąg niezależnych zmiennych losowych X 1,..., X n o jednakowym dyskretnym rozkładzie
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 2 autorzy: A. Gonczarek, J.M. Tomczak Metody estymacji ML Zad. 1 Pojawianie się spamu opisane jest zmienną losową x o rozkładzie dwupunktowym
Bardziej szczegółowoMetody klasyfikacji dla nielicznej próbki wektorów o wielkim wymiarze
Metody klasyfikacji dla nielicznej próbki wektorów o wielkim wymiarze Small n large p problem Problem w analizie wielu zbiorów danych biologicznych: bardzo mała liczba obserwacji (rekordów, próbek) rzędu
Bardziej szczegółowoNiech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.
Prawdopodobieństwo i statystyka 3..00 r. Zadanie Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX 4 i EY 6. Rozważamy zmienną losową Z. X + Y Wtedy (A) EZ 0,
Bardziej szczegółowoWYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 4 1 / 23 ZAGADNIENIE ESTYMACJI Zagadnienie
Bardziej szczegółowoEkonometria. Metodologia budowy modelu. Jerzy Mycielski. Luty, 2011 WNE, UW. Jerzy Mycielski (WNE, UW) Ekonometria Luty, / 18
Ekonometria Metodologia budowy modelu Jerzy Mycielski WNE, UW Luty, 2011 Jerzy Mycielski (WNE, UW) Ekonometria Luty, 2011 1 / 18 Sprawy organizacyjne Dyżur: środa godz. 14-15 w sali 302. Strona internetowa
Bardziej szczegółowoWYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9 EFEKTYWNOŚĆ ESTYMATORÓW, próba
Bardziej szczegółowoZawansowane modele wyborów dyskretnych
Zawansowane modele wyborów dyskretnych Jerzy Mycielski Uniwersytet Warszawski grudzien 2013 Jerzy Mycielski (Uniwersytet Warszawski) Zawansowane modele wyborów dyskretnych grudzien 2013 1 / 16 Model efektów
Bardziej szczegółowoMatematyka ubezpieczeń majątkowych r.
Matematyka ubezpieczeń majątkowych 3..007 r. Zadanie. Każde z ryzyk pochodzących z pewnej populacji charakteryzuje się tym że przy danej wartości λ parametru ryzyka Λ rozkład wartości szkód z tego ryzyka
Bardziej szczegółowoWYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 13 i 14 - Statystyka bayesowska
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 13 i 14 - Statystyka bayesowska Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 1 / 15 MODEL BAYESOWSKI, przykład wstępny Statystyka
Bardziej szczegółowoModelowanie motywów łańcuchami Markowa wyższego rzędu
Modelowanie motywów łańcuchami Markowa wyższego rzędu Uniwersytet Warszawski Wydział Matematyki, Informatyki i Mechaniki 23 października 2008 roku Plan prezentacji 1 Źródła 2 Motywy i ich znaczenie Łańcuchy
Bardziej szczegółowoCustomer Attribution Models. czyli o wykorzystaniu machine learning w domu mediowym.
Customer Attribution Models czyli o wykorzystaniu machine learning w domu mediowym. Proces decyzyjny MAILING SEO SEM DISPLAY RETARGETING PRZEGRANI??? ZWYCIĘZCA!!! Modelowanie atrybucja > Słowo klucz: wpływ
Bardziej szczegółowoAgnieszka Nowak Brzezińska Wykład III
Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe
Bardziej szczegółowoSZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA WYKŁAD 4. UCZENIE SIĘ INDUKCYJNE Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska WSTĘP Wiedza pozyskana przez ucznia ma charakter odwzorowania
Bardziej szczegółowoWeryfikacja hipotez statystycznych. KG (CC) Statystyka 26 V / 1
Weryfikacja hipotez statystycznych KG (CC) Statystyka 26 V 2009 1 / 1 Sformułowanie problemu Weryfikacja hipotez statystycznych jest drugą (po estymacji) metodą uogólniania wyników uzyskanych w próbie
Bardziej szczegółowoStatystyka opisowa. Wykład V. Regresja liniowa wieloraka
Statystyka opisowa. Wykład V. e-mail:e.kozlovski@pollub.pl Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 +
Bardziej szczegółowoStatystyka Matematyczna Anna Janicka
Statystyka Matematyczna Anna Janicka wykład IX, 25.04.2016 TESTOWANIE HIPOTEZ STATYSTYCZNYCH Plan na dzisiaj 1. Hipoteza statystyczna 2. Test statystyczny 3. Błędy I-go i II-go rodzaju 4. Poziom istotności,
Bardziej szczegółowoPrawdopodobieństwo i statystyka r.
Zadanie. Niech (X, Y) ) będzie dwuwymiarową zmienną losową, o wartości oczekiwanej (μ, μ, wariancji każdej ze współrzędnych równej σ oraz kowariancji równej X Y ρσ. Staramy się obserwować niezależne realizacje
Bardziej szczegółowoW4 Eksperyment niezawodnościowy
W4 Eksperyment niezawodnościowy Henryk Maciejewski Jacek Jarnicki Jarosław Sugier www.zsk.iiar.pwr.edu.pl Badania niezawodnościowe i analiza statystyczna wyników 1. Co to są badania niezawodnościowe i
Bardziej szczegółowoDyskretne procesy stacjonarne o nieskończonej entropii nadwyżkowej
Dyskretne procesy stacjonarne o nieskończonej entropii nadwyżkowej Łukasz Dębowski ldebowsk@ipipan.waw.pl i Instytut Podstaw Informatyki PAN Co to jest entropia nadwyżkowa? Niech (X i ) i Z będzie procesem
Bardziej szczegółowoSpis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16
Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego
Bardziej szczegółowoDefinicja 1 Statystyką nazywamy (mierzalną) funkcję obserwowalnego wektora losowego
Rozdział 1 Statystyki Definicja 1 Statystyką nazywamy (mierzalną) funkcję obserwowalnego wektora losowego X = (X 1,..., X n ). Uwaga 1 Statystyka jako funkcja wektora zmiennych losowych jest zmienną losową
Bardziej szczegółowoTestowanie hipotez statystycznych.
Statystyka Wykład 10 Wrocław, 22 grudnia 2011 Testowanie hipotez statystycznych Definicja. Hipotezą statystyczną nazywamy stwierdzenie dotyczące parametrów populacji. Definicja. Dwie komplementarne w problemie
Bardziej szczegółowoNierówności symetryczne
Nierówności symetryczne Andrzej Nowicki Uniwersytet Mikołaja Kopernika, Wydział Matematyki i Informatyki, ul Chopina 1 18, 87 100 Toruń (e-mail: anow@matunitorunpl) Sierpień 1995 Wstęp Jeśli x, y, z, t
Bardziej szczegółowoIdea. θ = θ 0, Hipoteza statystyczna Obszary krytyczne Błąd pierwszego i drugiego rodzaju p-wartość
Idea Niech θ oznacza parametr modelu statystycznego. Dotychczasowe rozważania dotyczyły metod estymacji tego parametru. Teraz zamiast szacować nieznaną wartość parametru będziemy weryfikowali hipotezę
Bardziej szczegółowoPODSTAWY STATYSTYCZNEJ ANALIZY DANYCH. Wykład 4 Dyskryminacja oparta na regresji liniowej i logistycznej. Perceptron Rosenblatta.
Wykład 4 Dyskryminacja oparta na regresji liniowej i logistycznej. Perceptron Rosenblatta. Dyskryminacja oparta na regresji liniowej i logistycznej Wprowadzenie Problem analizy dyskryminacyjnej jest ściśle
Bardziej szczegółowoAgnieszka Nowak Brzezińska Wykład III
Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe
Bardziej szczegółowoEGZAMIN MAGISTERSKI, czerwiec 2015 Biomatematyka
Biomatematyka Rozpatrzmy chorobę, która rozprzestrzenia się za pośrednictwem nosicieli, u których nie występują jej symptomy. Niech C(t) oznacza liczbę nosicieli w chwili t. Zakładamy, że nosiciele są
Bardziej szczegółowoStosowana Analiza Regresji
Stosowana Analiza Regresji Wykład VI... 16 Listopada 2011 1 / 24 Jest to rozkład zmiennej losowej rozkład chi-kwadrat Z = n i=1 X 2 i, gdzie X i N(µ i, 1) - niezależne. Oznaczenie: Z χ 2 (n, λ), gdzie:
Bardziej szczegółowoWykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap
Wykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap Magdalena Frąszczak Wrocław, 21.02.2018r Tematyka Wykładów: Próba i populacja. Estymacja parametrów z wykorzystaniem metody
Bardziej szczegółowoSpis treści Wstęp Estymacja Testowanie. Efekty losowe. Bogumiła Koprowska, Elżbieta Kukla
Bogumiła Koprowska Elżbieta Kukla 1 Wstęp Czym są efekty losowe? Przykłady Model mieszany 2 Estymacja Jednokierunkowa klasyfikacja (ANOVA) Metoda największej wiarogodności (ML) Metoda największej wiarogodności
Bardziej szczegółowoElementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Bardziej szczegółowoTestowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4.
Testowanie hipotez Niech X = (X 1... X n ) będzie próbą losową na przestrzeni X zaś P = {P θ θ Θ} rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X. Definicja 1. Hipotezą zerową Θ
Bardziej szczegółowoImputacja brakujacych danych binarnych w modelu autologistycznym 1
Imputacja brakujacych danych binarnych w modelu autologistycznym 1 Marta Zalewska Warszawski Uniwesytet Medyczny Statystyka Matematyczna Wisła, grudzień 2009 1 Współautorzy: Wojciech Niemiro, UMK Toruń
Bardziej szczegółowoALGORYTM RANDOM FOREST
SKRYPT PRZYGOTOWANY NA ZAJĘCIA INDUKOWANYCH REGUŁ DECYZYJNYCH PROWADZONYCH PRZEZ PANA PAWŁA WOJTKIEWICZA ALGORYTM RANDOM FOREST Katarzyna Graboś 56397 Aleksandra Mańko 56699 2015-01-26, Warszawa ALGORYTM
Bardziej szczegółowoSPOTKANIE 4: Klasyfikacja: Regresja logistyczna
Wrocław University of Technology SPOTKANIE 4: Klasyfikacja: Regresja logistyczna Szymon Zaręba Studenckie Koło Naukowe Estymator 179226@student.pwr.wroc.pl 23.11.2012 Rozkład dwupunktowy i dwumianowy Rozkład
Bardziej szczegółowoWYKŁAD 2. Problem regresji - modele liniowe
Wrocław University of Technology WYKŁAD 2 Problem regresji - modele liniowe Maciej Zięba Politechnika Wrocławska Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami
Bardziej szczegółowoIdentyfikacja istotnych atrybutów za pomocą Baysowskich miar konfirmacji
Identyfikacja istotnych atrybutów za pomocą Baysowskich miar konfirmacji Jacek Szcześniak Jerzy Błaszczyński Roman Słowiński Poznań, 5.XI.2013r. Konspekt Wstęp Wprowadzenie Metody typu wrapper Nowe metody
Bardziej szczegółowoAlgorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa
Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa Wojciech Niemiro 1 Uniwersytet Warszawski i UMK Toruń XXX lat IMSM, Warszawa, kwiecień 2017 1 Wspólne prace z Błażejem Miasojedowem,
Bardziej szczegółowoPodstawowe modele probabilistyczne
Wrocław University of Technology Podstawowe modele probabilistyczne Maciej Zięba maciej.zieba@pwr.edu.pl Rozpoznawanie Obrazów, Lato 2018/2019 Pojęcie prawdopodobieństwa Prawdopodobieństwo reprezentuje
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium Zadanie nr 3 Osada autor: A Gonczarek Celem poniższego zadania jest zrealizowanie fragmentu komputerowego przeciwnika w grze strategiczno-ekonomicznej
Bardziej szczegółowo1 Analizy zmiennych jakościowych
1 Analizy zmiennych jakościowych Przedmiotem analizy są zmienne jakościowe. Dokładniej wyniki pomiarów jakościowych. Pomiary tego typu spotykamy w praktyce badawczej znacznie częściej niż pomiary typu
Bardziej szczegółowoKlasyfikator liniowy Wstęp Klasyfikator liniowy jest najprostszym możliwym klasyfikatorem. Zakłada on liniową separację liniowy podział dwóch klas między sobą. Przedstawia to poniższy rysunek: 5 4 3 2
Bardziej szczegółowoOptymalizacja systemów
Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji
Bardziej szczegółowoIX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. - funkcja dwóch zmiennych,
IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. Definicja 1.1. Niech D będzie podzbiorem przestrzeni R n, n 2. Odwzorowanie f : D R nazywamy
Bardziej szczegółowoKombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych
Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Mateusz Kobos, 07.04.2010 Seminarium Metody Inteligencji Obliczeniowej Spis treści Opis algorytmu i zbioru
Bardziej szczegółowoAnaliza składowych głównych
Analiza składowych głównych Wprowadzenie (1) W przypadku regresji naszym celem jest predykcja wartości zmiennej wyjściowej za pomocą zmiennych wejściowych, wykrycie związku między wielkościami wejściowymi
Bardziej szczegółowoMaszyny wektorów podpierajacych w regresji rangowej
Maszyny wektorów podpierajacych w regresji rangowej Uniwersytet Mikołaja Kopernika Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie X X R d, Y R Z = (X, Y ), Z = (X, Y ) - niezależne
Bardziej szczegółowoRegresja linearyzowalna
1 z 5 2007-05-09 23:22 Medycyna Praktyczna - portal dla lekarzy Regresja linearyzowalna mgr Andrzej Stanisz z Zakładu Biostatystyki i Informatyki Medycznej Collegium Medicum UJ w Krakowie Data utworzenia:
Bardziej szczegółowoModele długości trwania
Modele długości trwania Pierwotne zastosowania: przemysłowe (trwałość produktów) aktuarialne (długość trwania życia) Zastosowania ekonomiczne: długości bezrobocia długości czasu między zakupami dóbr trwałego
Bardziej szczegółowoSPOTKANIE 2: Wprowadzenie cz. I
Wrocław University of Technology SPOTKANIE 2: Wprowadzenie cz. I Piotr Klukowski Studenckie Koło Naukowe Estymator piotr.klukowski@pwr.edu.pl 17.10.2016 UCZENIE MASZYNOWE 2/27 UCZENIE MASZYNOWE = Konstruowanie
Bardziej szczegółowo