5. Analiza dyskryminacyjna: FLD, LDA, QDA
|
|
- Kajetan Kasprzak
- 5 lat temu
- Przeglądów:
Transkrypt
1 Algorytmy rozpoznawania obrazów 5. Analiza dyskryminacyjna: FLD, LDA, QDA dr inż. Urszula Libal Politechnika Wrocławska
2 1. Liniowe funkcje dyskryminacyjne Liniowe funkcje dyskryminacyjne mają ogólną postać δ(x) = w T x + w 0 = D i=1 w i x i + w 0. (1) Do liniowych dyskryminatorów, czyli klasyfikatorów opartych o liniowe funkcje dyskryminacyjne, zaliczamy FLD - liniowy dyskryminator Fishera, LDA - liniową analizę dyskryminacyjną. 2
3 Rysunek 1. Prosta rozdzielająca (na czerwono) jest prostopadła do wektora w (na zielono) wyznaczającego kierunek rzutu wektora x. Źródło: [2] 3
4 a) b) Rysunek 2. (a) Rzut na prostą łączącą średnie w klasach. (b) Rzut na prostą o kierunku wyznaczonym przez kryterium Fishera poprawia separację klas. Źródło: [2] 4
5 2. Liniowy dyskryminator Fishera (FLD) Liniowy dyskryminator Fishera [1] (ang. Fisher s Linear Discriminant, FLD) zakłada, że µ k to średnie, a Σ k to macierze kowariancji w klasach k = 1, 2. Dokonujemy liniowej transformacji, dzięki której uzyskamy najlepsze rozdzielenie klas. W celu separacji klas rzutujemy wektory cech x na hiperpłaszczyznę wyznaczoną przez kierunek w. Aby to osiągnąć maksymalizujemy klasyczne kryterium Fishera [5] F(w) = wt S m w w T S w w, (2) gdzie S m to macierz rozproszeń międzyklasowych S m = (µ 1 µ 2 )(µ 1 µ 2 ) T, (3) 5
6 a S w to macierz rozproszeń wewnątrzklasowych S w = p 1 Σ 1 + p 2 Σ 2. (4) Rysunek 3. Rozrzut międzyklasowy oraz wewnątrzklasowy. Źródło: opracowanie własne 6
7 Wyliczamy pochodną kryterium F i przyrównujemy do zera F(w) = 0. (5) w Optymalny kierunek dyskryminacyjny to w = S 1 w (µ 1 µ 2 ). (6) Liniowy dyskryminator Fishera ma postać 1, gdy w T x < w gr, Ψ FLD (x) = 2, w przeciwnym wypadku, (7) 7
8 co po podstawieniu (6) i uwzględnieniu, że S w jest macierzą symetryczną, daje 1, gdy (µ 1 µ 2 ) T S 1 w x < w gr, Ψ FLD (x) = 2, w przeciwnym wypadku. (8) Próg w gr wyznaczamy minimalizując średnie prawdopodobieństwo błędnej klasyfikacji - jest to punkt graniczny (por. rys. 1 z wykładu nr 1). Niech f 1 i f 2 oznaczają jednowymiarowe funkcje gęstości, które są rzutami D-wymiarowych gęstości f 1 i f 2 w klasach na kierunek w (por. histogramy na rys. (b)). Zrzutowane rozkłady w klasach k = 1, 2 charakteryzują się średnimi m k = w T µ k (9) 8
9 oraz wariancjami σ 2 k = wt Σ k w. (10) Szukamy w gr, które spełnia p 1 f 1 (w gr ) = p 2 f 2 (w gr ). (11) Ogólnie można zapisać, że FLD klasyfikuje obraz do klasy j M, Ψ FLD (x) = j, gdy w T x w T µ j < w T x w T µ k, (12) dla każdej klasy k M różnej od j. 9
10 3. Liniowa analiza dyskryminacyjna (LDA) Liniowa analiza dyskryminacyjna [2] (ang. Linear Discriminant Analysis, LDA) zakłada, że funkcje gęstości prawdopodobieństwa w klasach k = 1, 2 mają D-wymiarowe rozkłady normalne N (µ k, Σ) o równych macierzach kowariancji w klasach. Można więc powiedzieć, że LDA jest równoważne FLD przy dodatkowych założeniach, że rozkłady w klasach są gaussowskie i macierze kowariancji w klasach są równe Σ = Σ 1 = Σ 2. Liniowa funkcja dyskryminacyjna ma ponownie postać δ(x) = w T x + w 0 = 10 D i=1 w i x i + w 0, (13)
11 a klasyfikator 1, gdy w T x < w gr, Ψ LDA (x) = 2, w przeciwnym wypadku, (14) gdzie optymalny kierunek dyskryminacyjny to w = Σ 1 (µ 1 µ 2 ). (15) Z warunku p 1 f 1 (w gr ) = p 2 f 2 (w gr ) (16) wyznaczymy w gr. 11
12 W przypadku dwóch klas rozpatrujemy rozkłady N (µ 1, Σ 1 ) oraz N (µ 2, Σ 2 ), co po uwzględnieniu (9) i (10) prowadzi do warunku 1 { p 1 exp (w gr m 1 ) 2 / ( 2σ 2 ) } 1 { 1 = p 2 exp (w gr m 2 ) 2 / ( 2σ 2 ) } 2. (17) σ 1 2π σ 1 2π Po przekształceniu otrzymujemy równanie kwadratowe (σ 2 1 σ 2 2 )w 2 gr + (σ 2 1 m 2 σ 2 2 m 1 )w gr + m 2 1σ 2 2 m 2 2σ 2 1 2σ 2 1 σ 2 2 ln p 1σ 1 p 2 σ 2 = 0. (18) Przypadki szczególne: (a) Jeżeli σ = σ 1 = σ 2, to w gr = m 1 + m σ 2 m 2 m 1 ln p 1 p 2. (19) 12
13 (b) Jeżeli σ = σ 1 = σ 2 i p 1 = p 2, to w gr = m 1 + m 2. (20) 2 (c) Jeżeli σ 1 σ 2, to istnieją dwa pierwiastki równania w gr 1,2 = σ2 2m 1 σ1 2m 2 ± σ 1 σ 2 (m 2 m 1 ) ( σ2 2 σ 1 2 ) ln p 1 σ 1 p 2 σ 2 σ2 2 σ 1 2. (21) (d) Jeżeli σ 1 σ 2, i m = m 1 = m 2, to w gr 1,2 = m ± σ 1 σ 2 2 σ 2 2 σ 2 1 ln p 1σ 1 p 2 σ 2. (22) 13
14 Uwaga 1. Czasami w literaturze reguła FLD i LDA są ze sobą utożsamiane. Uwaga 2. Z równości Σ = Σ 1 = Σ 2 wynika σ = σ 1 = σ 2 = w T Σw, dlatego przypadki (a) i (b) odnoszą się do metody LDA. Uwaga 3. Natomiast przypadki (c) i (d) zachodzą dla σ 1 σ 2, co może zajść jedynie, gdy Σ 1 Σ 2. Dopuszczenie różnych macierzy kowariancji przy założeniu normalności rozkładów w klasach nazywane jest metodą QDA. 14
15 4. Kwadratowa analiza dyskryminacyjna (QDA) W przypadku, gdy pominiemy założenie o równości macierzy kowariancji w gaussowskich rozkładach N (µ 1, Σ 1 ) oraz N (µ 2, Σ 2 ), otrzymamy klasyfikator zwany kwadratową analizą dyskryminacyjną [3] (ang. Quadratic Discriminant Analysis, QDA). Warunek p 1 f 1 (w gr ) = p 2 f 2 (w gr ) (23) pozwala wyznaczyć w gr - patrz wzory (21) i (22). Forma reguły klasyfikacyjnej pozostaje bez zmian, tzn. 1, gdy w T x < w gr, Ψ QDA (x) = 2, w przeciwnym wypadku. 15 (24)
16 W przypadku punktów na płaszczyźnie krzywa rozdzielająca klasy przyjmuje postać okręgu, elipsy, paraboli lub hiperboli. 5. Uogólnione liniowe funkcje dyskryminacyjne Uogólnione liniowe funkcje dyskryminacyjne [4] (ang. Generalised Linear Discriminant Functions, GLDFs), określane także jako maszyny φ, są to funkcje dyskryminacyjne postaci δ(x) = w T φ + w 0 (25) gdzie φ = (φ 1 (x), φ 2 (x),..., φ d (x)) T jest funkcja wektorową x. 16
17 Funkcja dyskryminująca liniowa Matematyczna forma φ i (x) φ i (x) = x i kwadratowa φ i (x) = x l 1 k1 x l 2 k2, gdzie l 1,l 2 = 0 lub 1 wielomianowa n-tego rzędu φ i (x) = x l 1 k1...x l n kn, gdzie l 1,...,l n = 0 lub 1 radialna funkcja bazowa φ i (x) = φ( x v i ) perceptron wielowarstwowy φ i (x) = f (x T v i + v i0 ), gdzie f to funkcja logistyczna f (z) = 1/(1 + exp( z)) 17
18 7. Przykłady i dyskusja założeń a) b) Rysunek 4. Rozkłady brzegowe: (a) dla danych Fisheriris, (b) rozkłady jednostajne. 18 Źródło: opracowanie własne
19 a) b) Rysunek 5. (a) Prosta rozdzielająca klasy za pomocą LDA. (b) Krzywe rozdzielające klasy za pomocą QDA. Źródło: opracowanie własne 19
20 a) b) Rysunek 6. (a) Prosta rozdzielająca klasy za pomocą LDA. (b) Krzywe rozdzielające klasy za pomocą QDA. Źródło: opracowanie własne 20
21 a) b) Rysunek 7. (a) Prosta rozdzielająca klasy za pomocą LDA. (b) Krzywe rozdzielające klasy za pomocą QDA. Źródło: opracowanie własne 21
22 Literatura [1] R.A. Fisher, The Use of Multiple Measurements in Taxonomic Problems, Annals of Eugenics 7 (2): , (1936) [2] C.M. Bishop, Pattern Recognition and Machine Learning, Springer Series: Information Science and Statistics (2006) [3] J. Koronacki, J. Ćwik, Statystyczne systemy uczace się, WNT, Warszawa (2005) [4] A.R. Webb, K.D. Copsey, Statistical Pattern Recognition, 3rd ed., Wiley, (2011) [5] W. Malina, M. Smiatacz, Rozpoznawanie obrazów, Exit, Warszawa, (2011) 22
7. Maszyny wektorów podpierajacych SVMs
Algorytmy rozpoznawania obrazów 7. Maszyny wektorów podpierajacych SVMs dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Maszyny wektorów podpierajacych - SVMs Maszyny wektorów podpierających (ang.
Bardziej szczegółowo10. Redukcja wymiaru - metoda PCA
Algorytmy rozpoznawania obrazów 10. Redukcja wymiaru - metoda PCA dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. PCA Analiza składowych głównych: w skrócie nazywana PCA (od ang. Principle Component
Bardziej szczegółowoAlgorytmy rozpoznawania obrazów. 11. Analiza skupień. dr inż. Urszula Libal. Politechnika Wrocławska
Algorytmy rozpoznawania obrazów 11. Analiza skupień dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Analiza skupień Określenia: analiza skupień (cluster analysis), klasteryzacja (clustering), klasyfikacja
Bardziej szczegółowo2. Empiryczna wersja klasyfikatora bayesowskiego
Algorytmy rozpoznawania obrazów 2. Empiryczna wersja klasyfikatora bayesowskiego dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Brak pełnej informacji probabilistycznej Klasyfikator bayesowski
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji
Bardziej szczegółowo8. Drzewa decyzyjne, bagging, boosting i lasy losowe
Algorytmy rozpoznawania obrazów 8. Drzewa decyzyjne, bagging, boosting i lasy losowe dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Drzewa decyzyjne Drzewa decyzyjne (ang. decision trees), zwane
Bardziej szczegółowoKlasyfikacja LDA + walidacja
Klasyfikacja LDA + walidacja Dr hab. Izabela Rejer Wydział Informatyki Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Plan wykładu 1. Klasyfikator 2. LDA 3. Klasyfikacja wieloklasowa 4. Walidacja
Bardziej szczegółowo1 Klasyfikator bayesowski
Klasyfikator bayesowski Załóżmy, że dane są prawdopodobieństwa przynależności do klasp( ),P( 2 ),...,P( L ) przykładów z pewnego zadania klasyfikacji, jak również gęstości rozkładów prawdopodobieństw wystąpienia
Bardziej szczegółowoJądrowe klasyfikatory liniowe
Jądrowe klasyfikatory liniowe Waldemar Wołyński Wydział Matematyki i Informatyki UAM Poznań Wisła, 9 grudnia 2009 Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia 2009 1 / 19 Zagadnienie
Bardziej szczegółowoRozpoznawanie wzorców. Dr inż. Michał Bereta p. 144 / 10, Instytut Informatyki
Rozpoznawanie wzorców Dr inż. Michał Bereta p. 144 / 10, Instytut Informatyki mbereta@pk.edu.pl beretam@torus.uck.pk.edu.pl www.michalbereta.pl Twierzdzenie: Prawdopodobieostwo, że n obserwacji wybranych
Bardziej szczegółowoProcesy stochastyczne
Wykład I: Istnienie procesów stochastycznych 2 marca 2015 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są
Bardziej szczegółowoProcesy stochastyczne
Wykład I: Istnienie procesów stochastycznych 21 lutego 2017 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane
Bardziej szczegółowoEstymacja parametrów w modelu normalnym
Estymacja parametrów w modelu normalnym dr Mariusz Grządziel 6 kwietnia 2009 Model normalny Przez model normalny będziemy rozumieć rodzine rozkładów normalnych N(µ, σ), µ R, σ > 0. Z Centralnego Twierdzenia
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Ćwiczenia lista zadań nr 5 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie
Bardziej szczegółowoWprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne
Wprowadzenie Prostym podejściem do klasyfikacji jest estymacja funkcji regresji r(x) =E(Y X =x)zpominięciemestymacjigęstościf k. Zacznijmyodprzypadkudwóchgrup,tj.gdy Y = {1,0}. Wówczasr(x) =P(Y =1 X =x)ipouzyskaniuestymatora
Bardziej szczegółowoWYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska
Wrocław University of Technology WYKŁAD 4 Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie autor: Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification):
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego
Bardziej szczegółowoRachunek prawdopodobieństwa i statystyka
Rachunek prawdopodobieństwa i statystyka Momenty Zmienna losowa jest wystarczająco dokładnie opisana przez jej rozkład prawdopodobieństwa. Względy praktyczne dyktują jednak potrzebę znalezienia charakterystyk
Bardziej szczegółowoSPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization
Wrocław University of Technology SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization Jakub M. Tomczak Studenckie Koło Naukowe Estymator jakub.tomczak@pwr.wroc.pl 4.1.213 Klasteryzacja Zmienne
Bardziej szczegółowoWykład 12 i 13 Macierz w postaci kanonicznej Jordana , 0 A 2
Wykład 12 i 13 Macierz w postaci kanonicznej Jordana Niech A - macierz kwadratowa stopnia n Jak obliczyć np A 100? a 11 0 0 0 a 22 0 Jeśli A jest macierzą diagonalną tzn A =, to Ak = 0 0 a nn Niech B =
Bardziej szczegółowoMetody numeryczne. Sformułowanie zagadnienia interpolacji
Ćwiczenia nr 4. Sformułowanie zagadnienia interpolacji Niech będą dane punkty x 0,..., x n i wartości y 0,..., y n, takie że i=0,...,n y i = f (x i )). Szukamy funkcji F (funkcji interpolującej), takiej
Bardziej szczegółowo7. Estymacja parametrów w modelu normalnym(14.04.2008) Pojęcie losowej próby prostej
7. Estymacja parametrów w modelu normalnym(14.04.2008) Pojęcie losowej próby prostej Definicja 1 n-elementowa losowa próba prosta nazywamy ciag n niezależnych zmiennych losowych o jednakowych rozkładach
Bardziej szczegółowoPODSTAWY STATYSTYCZNEJ ANALIZY DANYCH
Wykład 3 Liniowe metody klasyfikacji. Wprowadzenie do klasyfikacji pod nadzorem. Fisherowska dyskryminacja liniowa. Wprowadzenie do klasyfikacji pod nadzorem. Klasyfikacja pod nadzorem Klasyfikacja jest
Bardziej szczegółowoRozpoznawanie obrazów
Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie
Bardziej szczegółowoKADD Metoda najmniejszych kwadratów funkcje nieliniowe
Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji
Bardziej szczegółowoWykład 12 Testowanie hipotez dla współczynnika korelacji
Wykład 12 Testowanie hipotez dla współczynnika korelacji Wrocław, 23 maja 2018 Współczynnik korelacji Niech będą dane dwie próby danych X = (X 1, X 2,..., X n ) oraz Y = (Y 1, Y 2,..., Y n ). Współczynnikiem
Bardziej szczegółowoPOD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
POD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko
Bardziej szczegółowoWykład 16. P 2 (x 2, y 2 ) P 1 (x 1, y 1 ) OX. Odległość tych punktów wyraża się wzorem: P 1 P 2 = (x 1 x 2 ) 2 + (y 1 y 2 ) 2
Wykład 16 Geometria analityczna Przegląd wiadomości z geometrii analitycznej na płaszczyźnie rtokartezjański układ współrzędnych powstaje przez ustalenie punktu początkowego zwanego początkiem układu współrzędnych
Bardziej szczegółowoElementy statystyki wielowymiarowej
Wnioskowanie_Statystyczne_-_wykład Spis treści 1 Elementy statystyki wielowymiarowej 1.1 Kowariancja i współczynnik korelacji 1.2 Macierz kowariancji 1.3 Dwumianowy rozkład normalny 1.4 Analiza składowych
Bardziej szczegółowoData Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa.
GLM (Generalized Linear Models) Data Mining Wykład 6 Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa Naiwny klasyfikator Bayesa jest klasyfikatorem statystycznym -
Bardziej szczegółowoZmienne losowe ciągłe i ich rozkłady
Rachunek Prawdopodobieństwa i Statystyka - W3 Zmienne losowe ciągłe i ich rozkłady Dr Anna ADRIAN Paw B5, pok47 adan@agh.edu.pl Plan wykładu Zmienna losowa ciągła Dystrybuanta i unkcja gęstości rozkładu
Bardziej szczegółowo3. FUNKCJA LINIOWA. gdzie ; ół,.
1 WYKŁAD 3 3. FUNKCJA LINIOWA FUNKCJĄ LINIOWĄ nazywamy funkcję typu : dla, gdzie ; ół,. Załóżmy na początek, że wyraz wolny. Wtedy mamy do czynienia z funkcją typu :.. Wykresem tej funkcji jest prosta
Bardziej szczegółowoWażne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Bardziej szczegółowozadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych
zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych 1. [E.A 5.10.1996/zad.4] Funkcja gęstości dana jest wzorem { 3 x + 2xy + 1 y dla (x y) (0 1) (0 1) 4 4 P (X > 1 2 Y > 1 2 ) wynosi:
Bardziej szczegółowoWykład 12 Testowanie hipotez dla współczynnika korelacji
Wykład 12 Testowanie hipotez dla współczynnika korelacji Wrocław, 24 maja 2017 Współczynnik korelacji Niech będą dane dwie próby danych X = (X 1, X 2,..., X n ) oraz Y = (Y 1, Y 2,..., Y n ). Współczynnikiem
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 1 Zadanie Definicja 1.1. (zadanie) Zadaniem nazywamy zagadnienie znalezienia rozwiązania x spełniającego równanie F (x, d) = 0, gdzie d jest zbiorem danych (od których zależy rozwiązanie x), a F
Bardziej szczegółowoWektory i wartości własne
Treść wykładu Podprzestrzenie niezmiennicze... Twierdzenie Cayley Hamiltona Podprzestrzenie niezmiennicze Definicja Niech f : V V będzie przekształceniem liniowym. Podprzestrzeń W V nazywamy niezmienniczą
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład XIII: Prognoza. 26 stycznia 2015 Wykład XIII: Prognoza. Prognoza (predykcja) Przypuśćmy, że mamy dany ciąg liczb x 1, x 2,..., x n, stanowiących wyniki pomiaru pewnej zmiennej w czasie wielkości
Bardziej szczegółowoKomputerowa analiza danych doświadczalnych
Komputerowa analiza danych doświadczalnych Wykład 9 27.04.2018 dr inż. Łukasz Graczykowski lukasz.graczykowski@pw.edu.pl Semestr letni 2017/2018 Metoda największej wiarygodności ierównosć informacyjna
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 2 autorzy: A. Gonczarek, J.M. Tomczak Metody estymacji Zad. 1 Pojawianie się spamu opisane jest zmienną losową x o rozkładzie dwupunktowym
Bardziej szczegółowoRozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Bardziej szczegółowoAnaliza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU
Analiza danych Wstęp Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Różne aspekty analizy danych Reprezentacja graficzna danych Metody statystyczne: estymacja parametrów
Bardziej szczegółowoMetody szacowania zdolności kredytowej klientów indywidualnych. Mateusz Kobos 15.11.2006
Metody szacowania zdolności kredytowej klientów indywidualnych Mateusz Kobos 15.11.2006 Spis treści Czym jest Credit Scoring (CS)? Analizowane dane Zalety i ograniczenia CS CS w praktyce CS jako zagadnienie
Bardziej szczegółowoWykład 3 Jednowymiarowe zmienne losowe
Wykład 3 Jednowymiarowe zmienne losowe Niech (Ω, F, P ) będzie ustaloną przestrzenią probabilistyczną Definicja 1 Jednowymiarowa zmienna losowa (o wartościach rzeczywistych), określoną na przestrzeni probabilistycznej
Bardziej szczegółowoR n jako przestrzeń afiniczna
R n jako przestrzeń afiniczna Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 11. wykład z algebry liniowej Warszawa, grudzień 2014 Mirosław Sobolewski (UW) Warszawa, grudzień 2014 1
Bardziej szczegółowoModele zapisane w przestrzeni stanów
Modele zapisane w przestrzeni stanów Modele Przestrzeni Stanów (State Space Models) sa to modele, w których część parametrów jest nieobserwowalna i losowa. Zachowanie wielowymiarowej zmiennej y t zależy
Bardziej szczegółowoWykład 7 Testowanie zgodności z rozkładem normalnym
Wykład 7 Testowanie zgodności z rozkładem normalnym Wrocław, 05 kwietnia 2017 Rozkład normalny Niech X = (X 1, X 2,..., X n ) będzie próbą z populacji o rozkładzie normalnym określonym przez dystrybuantę
Bardziej szczegółowoEkonometria Analiza dyskryminacyjna
Ekonometria Analiza dyskryminacyjna Paweł Cibis pawel@cibis.pl 11 maja 2007 A dlaczego Power Point? a tak dla odmiany ;-); Wielowymiarowa analiza porównawcza Dyscyplina naukowa zajmująca się porównywaniem
Bardziej szczegółowoTestowanie hipotez statystycznych.
Statystyka Wykład 10 Wrocław, 22 grudnia 2011 Testowanie hipotez statystycznych Definicja. Hipotezą statystyczną nazywamy stwierdzenie dotyczące parametrów populacji. Definicja. Dwie komplementarne w problemie
Bardziej szczegółowoZagadnienia brzegowe dla równań eliptycznych
Temat 7 Zagadnienia brzegowe dla równań eliptycznych Rozważmy płaski obszar R 2 ograniczony krzywą. la równania Laplace a (Poissona) stawia się trzy podstawowe zagadnienia brzegowe. Zagadnienie irichleta
Bardziej szczegółowo9. Praktyczna ocena jakości klasyfikacji
Algorytmy rozpoznawania obrazów 9. Praktyczna ocena jakości klasyfikacji dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Zbiór uczacy i zbiór testowy 1. Zbiór uczacy służy do konstrukcji (treningu)
Bardziej szczegółowoWektor, prosta, płaszczyzna; liniowa niezależność, rząd macierzy
Wektor, prosta, płaszczyzna; liniowa niezależność, rząd macierzy Justyna Winnicka Na podstawie podręcznika Matematyka. e-book M. Dędys, S. Dorosiewicza, M. Ekes, J. Kłopotowskiego. rok akademicki 217/218
Bardziej szczegółowoKomputerowa analiza danych doświadczalnych
Komputerowa analiza danych doświadczalnych Wykład 9 7.04.09 dr inż. Łukasz Graczykowski lukasz.graczykowski@pw.edu.pl Semestr letni 08/09 Metoda największej wiarygodności ierównosć informacyjna Metoda
Bardziej szczegółowoMetody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017
Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x
Bardziej szczegółowoEntropia Renyi ego, estymacja gęstości i klasyfikacja
Entropia Renyi ego, estymacja gęstości i klasyfikacja Wojciech Czarnecki Jacek Tabor 6 lutego 2014 1 / Wojciech Czarnecki, Jacek Tabor Renyi s Multithreshold Linear Classifier 1/36 36 2 / Wojciech Czarnecki,
Bardziej szczegółowoProgramowanie liniowe
Programowanie liniowe Maciej Drwal maciej.drwal@pwr.wroc.pl 1 Problem programowania liniowego min x c T x (1) Ax b, (2) x 0. (3) gdzie A R m n, c R n, b R m. Oznaczmy przez x rozwiązanie optymalne, tzn.
Bardziej szczegółowoJeśli wszystkie wartości, jakie może przyjmować zmienna można wypisać w postaci ciągu {x 1, x 2,...}, to mówimy, że jest to zmienna dyskretna.
Wykład 4 Rozkłady i ich dystrybuanty Dwa typy zmiennych losowych Jeśli wszystkie wartości, jakie może przyjmować zmienna można wypisać w postaci ciągu {x, x 2,...}, to mówimy, że jest to zmienna dyskretna.
Bardziej szczegółowoRozkłady i ich dystrybuanty 16 marca F X (t) = P (X < t) 0, gdy t 0, F X (t) = 1, gdy t > c, 0, gdy t x 1, 1, gdy t > x 2,
Wykład 4. Rozkłady i ich dystrybuanty 6 marca 2007 Jak opisać cały rozkład jedną funkcją? Aby znać rozkład zmiennej X, musimy umieć obliczyć P (a < X < b) dla dowolnych a < b. W tym celu wystarczy znać
Bardziej szczegółowoCo to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem.
1 Wektory Co to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem. 1.1 Dodawanie wektorów graficzne i algebraiczne. Graficzne - metoda równoległoboku. Sprowadzamy wektory
Bardziej szczegółowo4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74
3 Wykaz najważniejszych skrótów...8 Przedmowa... 10 1. Podstawowe pojęcia data mining...11 1.1. Wprowadzenie...12 1.2. Podstawowe zadania eksploracji danych...13 1.3. Główne etapy eksploracji danych...15
Bardziej szczegółowoGeometria w R 3. Iloczyn skalarny wektorów
Geometria w R 3 Andrzej Musielak Str 1 Geometria w R 3 Działania na wektorach Wektory w R 3 możemy w naturalny sposób dodawać i odejmować, np.: [2, 3, 1] + [ 1, 2, 1] = [1, 5, 2] [2, 3, 1] [ 1, 2, 1] =
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 3 Metody estymacji. Estymator największej wiarygodności Zad. 1 Pojawianie się spamu opisane jest zmienną losową y o rozkładzie zero-jedynkowym
Bardziej szczegółowoZmienne losowe ciągłe i ich rozkłady
Statystyka i opracowanie danych W3 Zmienne losowe ciągłe i ich rozkłady Dr Anna ADRIAN Paw B5, pok47 adan@agh.edu.pl Plan wykładu Rozkład Poissona. Zmienna losowa ciągła Dystrybuanta i funkcja gęstości
Bardziej szczegółowoUCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow
UCZENIE MASZYNOWE III - SVM mgr inż. Adam Kupryjanow Plan wykładu Wprowadzenie LSVM dane separowalne liniowo SVM dane nieseparowalne liniowo Nieliniowy SVM Kernel trick Przykłady zastosowań Historia 1992
Bardziej szczegółowoMetoda największej wiarygodności
Rozdział Metoda największej wiarygodności Ogólnie w procesie estymacji na podstawie prób x i (każde x i może być wektorem) wyznaczamy parametr λ (w ogólnym przypadku również wektor) opisujący domniemany
Bardziej szczegółowoMetoda największej wiarogodności
Wprowadzenie Założenia Logarytm funkcji wiarogodności Metoda Największej Wiarogodności (MNW) jest bardziej uniwersalną niż MNK metodą szacowania wartości nieznanych parametrów Wprowadzenie Założenia Logarytm
Bardziej szczegółowoWeryfikacja hipotez statystycznych
Weryfikacja hipotez statystycznych Przykład (wstępny). Producent twierdzi, że wadliwość produkcji wynosi 5%. My podejrzewamy, że rzeczywista wadliwość produkcji wynosi 15%. Pobieramy próbę stuelementową
Bardziej szczegółowoPrzestrzeń unitarna. Jacek Kłopotowski. 23 października Katedra Matematyki i Ekonomii Matematycznej SGH
Katedra Matematyki i Ekonomii Matematycznej SGH 23 października 2018 Definicja iloczynu skalarnego Definicja Iloczynem skalarnym w przestrzeni liniowej R n nazywamy odwzorowanie ( ) : R n R n R spełniające
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład XV: Zagadnienia redukcji wymiaru danych 2 lutego 2015 r. Standaryzacja danych Standaryzacja danych Własności macierzy korelacji Definicja Niech X będzie zmienną losową o skończonym drugim momencie.
Bardziej szczegółowoStatystyka i eksploracja danych
Wykład XII: Zagadnienia redukcji wymiaru danych 12 maja 2014 Definicja Niech X będzie zmienną losową o skończonym drugim momencie. Standaryzacją zmiennej X nazywamy zmienną losową Z = X EX Var (X ). Definicja
Bardziej szczegółowoStatystyczna Eksploracja Danych
Statystyczna Eksploracja Danych Wykład 1 - wprowadzenie, metoda LDA Fishera dr inż. Julian Sienkiewicz 22 lutego 2019 Plan wykładu 1 Sprawy organizacyjne Kontakt i forma zajęć Literatura Zasady zaliczania
Bardziej szczegółowoPodstawowe modele probabilistyczne
Wrocław University of Technology Podstawowe modele probabilistyczne Maciej Zięba maciej.zieba@pwr.edu.pl Rozpoznawanie Obrazów, Lato 2018/2019 Pojęcie prawdopodobieństwa Prawdopodobieństwo reprezentuje
Bardziej szczegółowoRozdział 2. Krzywe stożkowe. 2.1 Elipsa. Krzywe stożkowe są zadane ogólnym równaniem kwadratowym na płaszczyźnie
Rozdział Krzywe stożkowe Krzywe stożkowe są zadane ogólnym równaniem kwadratowym na płaszczyźnie x + By + Cxy + Dx + Ey + F = 0. (.) W zależności od relacji pomiędzy współczynnikami otrzymujemy elipsę,
Bardziej szczegółowoKinematyka: opis ruchu
Kinematyka: opis ruchu Fizyka I (B+C) Wykład IV: Ruch jednostajnie przyspieszony Ruch harmoniczny Ruch po okręgu Klasyfikacja ruchów Ze względu na tor wybrane przypadki szczególne prostoliniowy, odbywajacy
Bardziej szczegółowoMetody sztucznej inteligencji Zadanie 1: Perceptron Rosenblatt a w wersji nieliniowej
Metody sztucznej inteligencji Zadanie : Perceptron Rosenblatt a w wersji nieliniowej dr inż. Przemysław Klęsk Zbiór danych dla zadania do wykonania w domu Zgodnie z tym, co zostało podane na laboratoriach,
Bardziej szczegółowoLista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie
Lista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie Jarosław Kotowicz Instytut Matematyki Uniwersytet w
Bardziej szczegółowo- prędkość masy wynikająca z innych procesów, np. adwekcji, naprężeń itd.
4. Równania dyfuzji 4.1. Prawo zachowania masy cd. Równanie dyfuzji jest prostą konsekwencją prawa zachowania masy, a właściwie to jest to prawo zachowania masy zapisane dla procesu dyfuzji i uwzględniające
Bardziej szczegółowoREGRESJA LINIOWA Z UOGÓLNIONĄ MACIERZĄ KOWARIANCJI SKŁADNIKA LOSOWEGO. Aleksander Nosarzewski Ekonometria bayesowska, prowadzący: dr Andrzej Torój
1 REGRESJA LINIOWA Z UOGÓLNIONĄ MACIERZĄ KOWARIANCJI SKŁADNIKA LOSOWEGO Aleksander Nosarzewski Ekonometria bayesowska, prowadzący: dr Andrzej Torój 2 DOTYCHCZASOWE MODELE Regresja liniowa o postaci: y
Bardziej szczegółowoWYKŁAD 2. Zdarzenia losowe i prawdopodobieństwo Zmienna losowa i jej rozkłady
WYKŁAD 2 Zdarzenia losowe i prawdopodobieństwo Zmienna losowa i jej rozkłady Metody statystyczne metody opisu metody wnioskowania statystycznego syntetyczny liczbowy opis właściwości zbioru danych ocena
Bardziej szczegółowoPopularne klasyfikatory w pakietach komputerowych
Popularne klasyfikatory w pakietach komputerowych Klasyfikator liniowy Uogólniony klasyfikator liniowy SVM aiwny klasyfikator bayesowski Ocena klasyfikatora ROC Lista popularnych pakietów Klasyfikator
Bardziej szczegółowoDiagonalizacja macierzy i jej zastosowania
Diagonalizacja macierzy i jej zastosowania Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 9. wykład z algebry liniowej Warszawa, listopad 2012 Mirosław Sobolewski (UW) Warszawa,listopad
Bardziej szczegółowoAby przygotować się do kolokwiów oraz do egzaminów należy ponownie przeanalizować zadania
Chemia Budowlana - Wydział Chemiczny - 1 Aby przygotować się do kolokwiów oraz do egzaminów należy ponownie przeanalizować zadania rozwiązywane na wykładzie, rozwiązywane na ćwiczeniach, oraz samodzielnie
Bardziej szczegółowoPrognozowanie i Symulacje. Wykład I. Matematyczne metody prognozowania
Prognozowanie i Symulacje. Wykład I. e-mail:e.kozlovski@pollub.pl Spis treści Szeregi czasowe 1 Szeregi czasowe 2 3 Szeregi czasowe Definicja 1 Szereg czasowy jest to proces stochastyczny z czasem dyskretnym
Bardziej szczegółowoKomputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych Prowadząca: dr inż. Hanna Zbroszczyk e-mail: gos@if.pw.edu.pl tel: +48 22 234 58 51 konsultacje: poniedziałek, 10-11; środa: 11-12 www: http://www.if.pw.edu.pl/~gos/students/kadd
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 3 autorzy: A. Gonczarek, J.M. Tomczak Zbiory i funkcje wypukłe Zad. 1 Pokazać, że następujące zbiory są wypukłe: a) płaszczyzna S = {x
Bardziej szczegółowoRozglądanie się w przestrzeni Iris czyli kręcenie (głową/płaszczyzną) w czterech wymiarach
Rozglądanie się w przestrzeni Iris czyli kręcenie (głową/płaszczyzną) w czterech wymiarach maja, 7 Rozglądanie się w D Plan Klasyka z brodą: zbiór danych Iris analiza składowych głównych (PCA), czyli redukcja
Bardziej szczegółowoWektory i wartości własne
Treść wykładu Podprzestrzenie niezmiennicze Podprzestrzenie niezmiennicze... Twierdzenie Cayley Hamiltona Podprzestrzenie niezmiennicze Definicja Niech f : V V będzie przekształceniem liniowym. Podprzestrzeń
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
Bardziej szczegółowoFunkcje charakterystyczne zmiennych losowych, linie regresji 1-go i 2-go rodzaju
Funkcje charakterystyczne zmiennych losowych, linie regresji -go i 2-go rodzaju Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki
Bardziej szczegółowocx cx 1,cx 2,cx 3,...,cx n. Przykład 4, 5
Matematyka ZLic - 07 Wektory i macierze Wektorem rzeczywistym n-wymiarowym x x 1, x 2,,x n nazwiemy ciąg n liczb rzeczywistych (tzn odwzorowanie 1, 2,,n R) Zbiór wszystkich rzeczywistych n-wymiarowych
Bardziej szczegółowoMetoda momentów i kwantyli próbkowych. Wrocław, 7 listopada 2014
Metoda momentów i kwantyli próbkowych Wrocław, 7 listopada 2014 Metoda momentów Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa. Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa.
Bardziej szczegółowoRozkłady wielu zmiennych
Rozkłady wielu zmiennych Uogólnienie pojęć na rozkład wielu zmiennych Dystrybuanta, gęstość prawdopodobieństwa, rozkład brzegowy, wartości średnie i odchylenia standardowe, momenty Notacja macierzowa Macierz
Bardziej szczegółowoGeometria analityczna - przykłady
Geometria analityczna - przykłady 1. Znaleźć równanie ogólne i równania parametryczne prostej w R 2, któr przechodzi przez punkt ( 4, ) oraz (a) jest równoległa do prostej x + 5y 2 = 0. (b) jest prostopadła
Bardziej szczegółowoWYKŁADY Z MATEMATYKI DLA STUDENTÓW UCZELNI EKONOMICZNYCH
WYKŁADY Z MATEMATYKI DLA STUDENTÓW UCZELNI EKONOMICZNYCH Pod redakcją Anny Piweckiej Staryszak Autorzy poszczególnych rozdziałów Anna Piwecka Staryszak: 2-13; 14.1-14.6; 15.1-15.4; 16.1-16.3; 17.1-17.6;
Bardziej szczegółowoKatedra Fizyki Ciała Stałego Uniwersytetu Łódzkiego. Ćwiczenie 2 Badanie funkcji korelacji w przebiegach elektrycznych.
Katedra Fizyki Ciała Stałego Uniwersytetu Łódzkiego Ćwiczenie Badanie unkcji korelacji w przebiegach elektrycznych. Cel ćwiczenia: Celem ćwiczenia jest zbadanie unkcji korelacji w okresowych sygnałach
Bardziej szczegółowo), którą będziemy uważać za prawdziwą jeżeli okaże się, że hipoteza H 0
Testowanie hipotez Każde przypuszczenie dotyczące nieznanego rozkładu badanej cechy nazywamy hipotezą statystyczną. Hipoteza określająca jedynie wartości nieznanych parametrów liczbowych badanej cechy
Bardziej szczegółowo1 Relacje i odwzorowania
Relacje i odwzorowania Relacje Jacek Kłopotowski Zadania z analizy matematycznej I Wykazać, że jeśli relacja ρ X X jest przeciwzwrotna i przechodnia, to jest przeciwsymetryczna Zbadać czy relacja ρ X X
Bardziej szczegółowoRozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład
Rozdział 1 Wektory losowe 1.1 Wektor losowy i jego rozkład Definicja 1 Wektor X = (X 1,..., X n ), którego każda współrzędna jest zmienną losową, nazywamy n-wymiarowym wektorem losowym (krótko wektorem
Bardziej szczegółowoWykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa
Wykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa Marek Kubiak Instytut Informatyki Politechnika Poznańska Plan wykładu Podstawowe pojęcia rachunku prawdopodobieństwa Rozkład
Bardziej szczegółowoPrzykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych
Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki 1.1 Definicja zmiennej losowej Niech Ω będzie przestrzenią zdarzeń elementarnych. Definicja 1 Rodzinę S zdarzeń losowych (zbiór S podzbiorów zbioru
Bardziej szczegółowo