Popularne klasyfikatory w pakietach komputerowych

Save this PDF as:
 WORD  PNG  TXT  JPG

Wielkość: px
Rozpocząć pokaz od strony:

Download "Popularne klasyfikatory w pakietach komputerowych"

Transkrypt

1

2 Popularne klasyfikatory w pakietach komputerowych Klasyfikator liniowy Uogólniony klasyfikator liniowy SVM aiwny klasyfikator bayesowski Ocena klasyfikatora ROC Lista popularnych pakietów

3 Klasyfikator liniowy 2 Działanie binarnego klasyfikatora liniowego: g(x) = w T x + w 0 Jeżeli g(x) > 0 to klasa ω 1 Jeżeli g(x) < 0 to klasa ω 2 Równanie g(x) = 0 definiuje hiperpowierzchnię rozdzielającą

4 3 Graficzna interpretacja Jeżeli x 1 i x 2 leżą na powierzchni rozdzielającej, to g(x 1 ) = g(x 2 ) x 2 x 1 ω 1 w T x 1 + w 0 = w T x 2 + w 0 w T (x 1 - x 2 ) = 0 ω 2 x 2 Wektor w jest ortogonalny do powierzchni rozdzielającej w x 1

5 4 Graficzna interpretacja Wektor w w jest unormowany do 1 a kierunek i zwrot ma identyczny x 2 jak w. Można zatem wyrazić dowolny wektor x w postaci x = x p + r, gdzie x p jest rzutem wektora x na powierzchnię rozdzielającą. w w w x p x r x 1

6 5 Graficzna interpretacja Mnożąc lewostronnie przez w T i dodając obustronnie w 0 dostajemy: w T x = w T x p + r w T w w w T x + w 0 = w T x p + w 0 + r w 2 w x 2 g(x) = g(x p ) + r w, x a ponieważ g(x p ) = 0, to dostajemy w x p g(x) r = w g(x) r = w x 1

7 6 Graficzna interpretacja W szczególnym przypadku, dla x leżącego w początku układu współrzędnych (x = 0) zachodzi x 2 g(x) = w T x + w 0 = w 0, x i wówczas w 0 r 0 = w w w 0 r 0 = w x p g(x) r = w x 1

8 7 Graficzna interpretacja w trzech wymiarach Zależność g(x) r = w ( w = const.) oznacza, że funkcję g(x) można traktować jako miarę odległości punktu x od powierzchni g(x) = 0. g(x) < 0 g(x) > 0

9 8 Klasyfikator dla wielu klas c klas obiektów Można zastosować c 1 klasyfikatorów binarnych (wada: istnienie obszarów o niejednoznacznej klasyfikacji) ω 2 nie ω 2 ω 1 nie ω 1? nie ω 3 ω 3 nie ω 4 ω 4

10 9 Zdefiniowanie c dyskryminatorów liniowych: g i (x) = w it x + w i0 (i = 1,,c) Jeżeli dla wszystkich j i g i (x) > g j (x), to klasa ω i Powierzchnie rozdzielające są zdefiniowane jako g i (x) = g j (x) a zatem (w i w j ) T x + (w i0 w j0 ) = 0 Obszary decyzyjne klasyfikatora liniowego są wypukłe ω 3 ω 2 ω 1 ω 5 ω 4

11 10 ieliniowe przekształcenie φ interpretacja geometryczna φ φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) x y

12 11 Uogólniony klasyfikator liniowy Zdefiniować nieliniową transformację do nowej przestrzeni, w której określony będzie klasyfikator liniowy Funkcja g ma uogólnioną postać g(x) = w T φ(x) lub dokładniej: g(x) = w T y, y = φ(x), φ(x) = [φ 1 (x) φ m (x)] T Geneza: metoda funkcji potencjałowych (1964) Przekształcenie φ odwzorowuje d-wymiarowe punkty x w m-wymiarowe punkty y

13 12 Typowe postacie funkcji φ i : kwadratowa, wielomian, funkcja Gaussa, logarytmiczna Przekształcenie φ(x) jest nieliniowe, ale klasyfikator g jest liniowy ze względu na y Można zatem stosować algorytmy uczenia dla klasyfikatorów liniowych Model z parametrem swobodnym w 0 uzyskuje się przez rozszerzenie wektora y o składową równą 1: y = [1 x 1 x d ] T = [1 x T ] T oraz odpowiednio w = [w 0 w 1 w d ] T

14 13 Przykład 1 g(x) = w 1 + w 2 x + w 3 x 2 = w T y, w = [w 1 w 2 w 3 ] T, y = [1 x x 2 ] T ieliniowe przekształcenie φ z przestrzeni 1-wymiarowej do 3-wymiarowej pozwala klasyfikatorowi liniowemu (w rozszerzonej przestrzeni) odseparować klasy nieseparowalne liniowo (w oryginalnej przestrzeni).

15 14 Przykład 2 g(x) = w 1 x 1 + w 2 x 2 + w 3 x 1 x 2 = w T y, w = [w 1 w 2 w 3 ] T, y = [x 1 x 2 x 1 x 2 ] T Powierzchnie rozdzielające w 3-wymiarowej przestrzeni zmiennych y są liniowe, jednak w 2-wymiarowej przestrzeni zmiennych x przyjmują bardziej skomplikowany kształt.

16 15 Popularne przykłady uogólnionych klasyfikatorów liniowych Dwuwarstwowa sieć neuronowa (perceptron) z liniową warstwą wyjściową Sieci neuronowe o radialnych funkcjach bazowych (RBF Radial Basis Function) Maszyny wektorów wspierających (SVM Support Vector Machines)

17 SVM Support Vector Machine 16 Początki: Vapnik 1992 Problem: położenie powierzchni rozdzielającej nie jest jednoznacznie określone (zakładamy liniową separowalność klas) x 2 poprawne powierzchnie rozdzielające x 1

18 17 Którą z nich wybrać? Co się stanie, jeżeli przeprowadzimy klasyfikację nowych obiektów? H 2 Wybór powierzchni rozdzielającej H 1 x 2 H 1 położonej w pobliżu obiektów ze zbioru uczącego jest ryzykowny : istnieje duża szansa, że nowy obiekt znajdzie się po jej niewłaściwej stronie. x 1

19 18 Wniosek: im dalej obiekty ze zbioru uczącego znajdują się od powierzchni rozdzielającej, tym lepiej z punktu widzenia zdolności klasyfikatora do uogólniania ależy zatem wybierać taką powierzchnię rozdzielającą, która leży najdalej od najbliższych obiektów ze zbioru uczącego x 2 wektory wspierające x 1 Dokładniej, szukamy powierzchni rozdzielającej, która maksymalizuje tzw. margines między klasami

20 19 x 2 x 1 Optymalna powierzchnia rozdzielająca prowadzi do modelu o najmniejszym wymiarze VC Do jej określenia wystarczą wektory wspierające, pozostała część zbioru uczącego nie wpływa na wynik

21 20 Chcemy tak dobrać parametry klasyfikatora, x 2 w x 1 aby dla wektorów wspierających zachodziło g(x) = const. dla jednej klasy i g(x) = - const. dla drugiej klasy. ajprościej przyjąć stałą równą 1. Wówczas margines jest równy 2. w

22 21 Maksymalizacja marginesu w = w T w 2 w sprowadza się do minimalizacji Zbiór uczący: T = {(x 1,y 1 ),, (x,y )}, gdzie y n ϵ {-1,+1} Ograniczenie: w obrębie marginesu nie może się znaleźć żaden obiekt ze zbioru uczącego: g(x n ) +1 dla y n = +1 g(x n ) -1 dla y n = -1 co można zapisać zwięźle jako y n g(x n ) 1 (równość zachodzi tylko dla wektorów wspierających)

23 22 Zadanie optymalizacji Zmienne decyzyjne: w, w 0 Funkcja celu: 1 2 w T w Ograniczenia: y n (w T x n +w 0 ) 1 0, n = 1,2,, Szukane: min Rozwiązanie w,w w T w Funkcja Lagrange a 1 L(w, w 0,λ) = w T w λ n [ y n (w T x n +w 0 ) 1 ] 2 n=1

24 23 Warunki Kuhna-Tuckera L = w λ n y n x n = 0 d w n=1 L = λ n y n = 0 w 0 n=1 y n (w T x n +w 0 ) λ n [ y n (w T x n +w 0 ) - 1 ] = 0 λ n 0 w = λ n y n x n n=1 λ n y n = 0 n=1 n = 1,2,, (*) Dla ograniczeń nieaktywnych λ n = 0. Dla ograniczeń aktywnych λ n > 0. Ograniczenia są aktywne tylko dla wektorów wspierających. n ϵ SV, gdzie SV oznacza zbiór indeksów wektorów wspierających

25 24 Gdybyśmy znali wartości mnożników Lagrange a λ n dla wektorów wspierających, można uzyskać rozwiązanie w z wzoru: gdzie SV oznacza zbiór indeksów wektorów wspierających. Rozwiązanie w 0 można uzyskać z dowolnego wektora wspierającego: λ n [ y n (w T x n +w 0 ) - 1] = 0 w = λ n y n x n, n ϵsv y n (w T x n +w 0 ) = 1 (zauważmy, że y n = 1 / y n ) w 0 = y n w T x n W celu uzyskania większej stabilności numerycznej, można uśrednić w 0 po wszystkich wektorach wspierających

26 25 Jak najprościej wyznaczyć wartości mnożników Lagrange a? Problem dualny Wstawiamy równania (*) do funkcji Lagrange a, otrzymując: L D (w, w 0,λ) = 1 w T w λ n [ y n (w T x n +w 0 ) 1 ] = 2 n=1 = 1 w T λ n y n x n λ n y n w T x n λ n y n w 0 + λ n = 2 n=1 n=1 = 1 λ n y n w T x n λ n y n w T x n w 0 λ n y n + λ n = 2 n=1 n=1 = 1 λ n y n w T x n 0 + λ n = λ n λ n y n ( λ m y m x m ) T x n 2 n=1 n=1 n=1 L D (λ) = λ n λ n λ m y n y m x nt x m n=1 n=1 m=1 n=1 n=1 n=1 n=1 n=1 m=1

27 26 Problem dualny ma postać Zmienne decyzyjne: λ Funkcja celu: L D (λ) = λ n λ n λ m y n y m x nt x m Ograniczenia: n=1 n=1 m=1 λ n y n = 0, λ n 0 n=1 Wyznaczanie mnożników Lagrange a λ n : pakiety obliczeń numerycznych dostarczają wielu szybkich metod optymalizacji funkcji kwadratowej

28 27 Klasy nie są liniowo separowalne Przeformułowanie ograniczeń: g(x n ) +1 - ξ n dla y n = +1 x 2 g(x n ) -1 + ξ n dla y n = -1 co można zapisać zwięźle jako y n g(x n ) 1 - ξ n x i Minimalizowana jest funkcja 1 w T w + C ξ n 2 n=1 gdzie C jest tzw. parametrem w x j x 1 regularyzacji

29 28 Wyrażenia (*) nie ulegają zmianie Prymalna postać funkcji Lagrange a jest inna, ale dualna postać jest identyczna, przy czym pojawia się dodatkowe ograniczenie 0 λ n C Rozwiązanie w nie ulega zmianie Rozwiązanie w 0 wyznaczamy podobnie jak poprzednio z dowolnego wektora wspierającego lub uśredniając po wszystkich wektorach wspierających

30 29 ieliniowe SVM Klasy nie są liniowo separowalne Można utworzyć SVM w transformowanej przestrzeni, w której klasy dadzą się liniowo odseparować Punkty x oryginalnej przestrzeni przekształcamy nieliniową funkcją φ(x) Dualna postać funkcji Lagrange a: L D (λ) = λ n λ n λ m y n y m φ T (x n ) φ(x m ) n=1 n=1 m=1

31 30 ieliniowe przekształcenie φ interpretacja geometryczna φ φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) x y

32 31 Funkcja decyzyjna ma postać: g(x) = λ n y n φ T (x n ) φ(x) + w 0 n ϵsv Wygodnie jest wprowadzić funkcję jądrową (kernel function), która zastąpi operację iloczynu skalarnego φ T (x n ) φ(x m ) : K(x n, x m ) = φ T (x n ) φ(x m ) Funkcja jądrowa musi spełniać kryterium Mercera Typowe funkcje jądrowe stosowane w klasyfikatorach SVM wielomianowa: (1+ x nt x m ) d gaussa: exp [ x n x m 2 / σ 2 ] sigmoida: tanh( kx nt x m δ )

33 32 aiwny klasyfikator bayesowski Zakłada niezależność warunkowych rozkładów klas Probabilistyczny model zadania rozpoznawania x = [ x 1 x 2 x d ] T wynik pomiaru d cech obiektu {ω 1, ω 2,, ω c } zbiór klas, do których może należeć x T = { (x n, ω j ); n = 1,,, j ϵ {1,..,c} } zbiór uczący

34 33 P(ω i x) prawdopodobieństwo, że obiekt o cechach x należy do klasy ω i P(ω i ) prawdopodobieństwo a priori klasy ω i P(x) prawdopodobieństwo a priori cech x P(x ω i ) prawdopodobieństwo, że obiekt z klasy ω i będzie mieć cechy x rozkłady P(ω i ), P(x) i P(x ω i ) można estymować ze zbioru uczącego rozkład a posteriori P(ω i x) należy wyznaczyć w oparciu o P(ω i ), P(x) i P(x ω i ) Wzór Bayesa: P(ω i x) = P(x ω i) P(ω i ) P(x)

35 34 Jak działa klasyfikator? Reguła decyzyjna: Obiekt o cechach x jest przyporządkowywany do klasy ω j wtedy i tylko wtedy, gdy P(ω j x) > P(ω i x) dla i = 1,,c; i j a zatem poszukujemy klasy ω j, która maksymalizuje P(ω j x).

36 35 Wstawiając wzór Bayesa otrzymujemy regułę: P(x ω j ) P(ω j ) P(x) > P(x ω i ) P(ω i ) P(x) Uwzględniając, że P(x) nie zależy od klasy, reguła upraszcza się do: P(x ω j ) P(ω j ) > P(x ω i ) P(ω i ) a zatem poszukujemy klasy ω j, która maksymalizuje iloczyn P(x ω j ) P(ω j ).

37 36 Jak estymować rozkłady a priori i warunkowe? Rozkład a priori P(ω i ) : k P(ω i ) i gdzie k i jest liczbą obiektów klasy ω i w zbiorze uczącym T Rozkłady warunkowe P(x ω i ): Wektory x mają wymiar d, więc należałoby estymować c d-wymiarowych rozkładów. Aby zmniejszyć złożoność obliczeniową, przyjmuje się naiwne założenie o warunkowej niezależności klas: d P(x ω i ) P(x s ω i ) s = 1

38 37 Zamiast wyznaczać c d-wymiarowych rozkładów P(x ω i ) wyznaczać będziemy c 1-wymiarowych rozkładów P(x 1 ω i ), P(x 2 ω i ),, P(x d ω i ), (i = 1,,c) Jeżeli cechy x s = γ przyjmują wartości ze skończonego zbioru γ ϵ Γ P(x s ω i ) gdzie q i (γ) jest liczbą obiektów klasy ω i przyjmujących wartość x s = γ (γ ϵ Γ ) q i (x s,γ) k i

39 38 Jeżeli cechy x s są ciągłe, przyjmuje się rozkłady o parametrach θ: P(x s ω i ) = f i (x s, θ), których parametry estymuje się z danych (w pakietach domyślnie przyjmuje się rozkład Gaussa).

40 39 Korekta Laplace a Użycie przybliżenia P(x ω i ) Π P(x s ω i ) sprawia problem wtedy, s = 1 gdy istnieje taka wartość γ 0 ϵ Γ, że w zbiorze uczącym T, wśród obiektów klasy ω i, żadna cecha x s nie przyjmuje wartości γ 0. W takim przypadku pewne P(x s ω i ) = 0, co skutkuje P(x ω i ) = 0 nawet, gdy P(x s ω i ) dla innych cech przyjmują duże wartości Rozwiązanie: skorygować estymaty prawdopodobieństw, dodając 1 do każdej q i (γ) (i zwiększając k i o liczbę dodanych jedynek) Jeżeli zbiór uczący jest duży, ta korekta nie zaburzy w istotny sposób pozostałych estymat d

41 40 Uwagi Pomimo założenia o niezależności warunkowych rozkładów klas, naiwny klasyfikator bayesowski w praktycznych zastosowaniach daje zaskakująco dobre rezultaty (niewiele gorsze od sieci neuronowych) Działa szybko i dokładnie dla dużych zbiorów danych Stanowi dobry punkt odniesienia do oceny innych klasyfikatorów

42 41 Jakość klasyfikatora Prawdziwa klasa ω + ω - błąd I rodzaju (fałszywy alarm) Odpowiedź klasyfikatora ω + Prawdziwie Dodatni Fałszywie Dodatni + + Liczność PD (czułość): LPD = PD / D True positive rate (sensitivity) False positive rate: LFD = FD / U ω - Fałszywie Ujemny Prawdziwie Ujemny Liczność PU (swoistość): LPU = PU / U True negative rate (specificity) LPU = 1 - LFD błąd II rodzaju = = D = PD + FU U = PU + FD liczba liczba wszystkich ω + wszystkich ω - Dokładność (accuracy): ACC = (PD + PU) / (D + U)

43 Przestrzeń ROC (Receiver Operating Characteristic) 42 1 Klasyfikator A jest lepszy od B Klasyfikator C jest najgorszy, ale klasyfikator C który daje odpowiedzi przeciwne do C jest lepszy od A LPD lub czułość bezbłędna klasyfikacja C lepsza klasyfikacja A B X 1 X 2 Klasyfikator X 1 losuje obie klasy z C jednakowym prawdopodobieństwem gorsza klasyfikacja Klasyfikator X 2 losuje jedną z klas z prawdopodobieństwem LFD lub (1 swoistość) 1

44 próg Krzywa ROC (ROC curve) 43 Metoda rozwijana od II wojny światowej PU FU FD PD (po ataku na Pearl Harbor w 1941 r.): detekcja japońskich samolotów na podstawie sygnałów z radaru liczność prawdziwie dodatnich liczność fałszywie dodatnich Prawdziwie Dodatni Fałszywie Ujemny Fałszywie Dodatni Prawdziwie Ujemny

45 44 Inny przykład wielkości progowej: wyjście klasyfikatora neuronowego jest wielkością ciągłą, z przedziału [0,1], decyzja o klasie zależy od przyjętej wartości progu Krzywa ROC jest estymowana z niezależnego zbioru testującego Do wyznaczenia krzywej ROC można użyć walidacji krzyżowej lub metody bootstrap Krzywa ROC nie zależy od rozkładu a priori klas

46 45 Wybór najlepszego klasyfikatora p(ω + ), p(ω - ) prawdopodobieństwa a priori klas ε + (ε - ) prawdopodobieństwo błędnej klasyfikacji obiektu z klasy ω + (ω - ) λ 10 = λ(α + ω - ) λ 11 = λ 00 = 0 λ 01 = λ(α - ω + ) straty wynikające z błędnej klasyfikacji 1 Średnia strata L = λ 01 p(ω + ) ε + + λ 10 p(ω - ) ε - 1 ε - większa strata 0 ε + 1

47 46 Pole pod krzywą ROC (AUC Area Under Curve) liczność prawdziwie dodatnich 1 A B Teoretycznie 0 AUC 1 Praktycznie AUC 0,5 Ważna własność statystyczna: 0 1 liczność fałszywie dodatnich AUC jest miarą jakości klasyfikatora AUC jest równe prawdopodobieństwu, że klasyfikator przyporządkuje wyższą rangę (np. aktywację neuronu) losowo wybranemu obiektowi klasy ω + niż niezależną od funkcji strat losowo wybranemu obiektowi klasy ω -

48 47 Test Mcemara Porównujemy dwa klasyfikatory (A i B) w oparciu o niezależny zbiór testujący Czy wyznaczona różnica jakości jest dziełem przypadku, czy jest istotna statystycznie? n 00 liczba obiektów nieprawidłowo klasyfikowanych przez A i B n 01 liczba obiektów nieprawidłowo klasyfikowanych tylko przez A n 10 liczba obiektów nieprawidłowo klasyfikowanych tylko przez B n 11 liczba obiektów prawidłowo klasyfikowanych przez A i B z = n 01 n10 1 n 01 + n 10 Wielkość z 2 ma w przybliżeniu rozkład χ 2 z jednym stopniem swobody. Hipoteza zerowa (że klasyfikatory A i B mają tę samą jakość) może być odrzucona na poziomie istotności 0.05 jeżeli z > 1.96

49 Popularne pakiety 48 WEKA Matlab (Statistical Pattern Recognition Toolbox) Statistica R

Data Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa.

Data Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa. GLM (Generalized Linear Models) Data Mining Wykład 6 Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa Naiwny klasyfikator Bayesa jest klasyfikatorem statystycznym -

Bardziej szczegółowo

Wstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych

Wstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych Wstęp do przetwarzania języka naturalnego Wykład 11 Wojciech Czarnecki 8 stycznia 2014 Section 1 Przypomnienie Wektoryzacja tfidf Przypomnienie document x y z Antony and Cleopatra 5.25 1.21 1.51 Julius

Bardziej szczegółowo

Agnieszka Nowak Brzezińska Wykład III

Agnieszka Nowak Brzezińska Wykład III Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe

Bardziej szczegółowo

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV Klasyfikatory: k-nn oraz naiwny Bayesa Agnieszka Nowak Brzezińska Wykład IV Naiwny klasyfikator Bayesa Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną

Bardziej szczegółowo

W ostatnim wykładzie doszliśmy do tego, że problem znalezienia klasyfikatora optymalnego pod względem marginesów można wyrazić w następujący sposób:

W ostatnim wykładzie doszliśmy do tego, że problem znalezienia klasyfikatora optymalnego pod względem marginesów można wyrazić w następujący sposób: Spis treści 1 Maszyny Wektorów Wspierających 2 1.1 SVM w formaliźmie Lagranga 1.2 Przejście do pstaci dualnej 1.2.1 Wyznaczenie parametrów modelu: 1.2.2 Klasyfikacja: 2 Funkcje jądrowe 2.1 Mapowanie do

Bardziej szczegółowo

Weryfikacja hipotez statystycznych

Weryfikacja hipotez statystycznych Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta

Bardziej szczegółowo

Wybór modelu i ocena jakości klasyfikatora

Wybór modelu i ocena jakości klasyfikatora Wybór modelu i ocena jakości klasyfikatora Błąd uczenia i błąd testowania Obciążenie, wariancja i złożoność modelu (klasyfikatora) Dekompozycja błędu testowania Optymizm Estymacja błędu testowania AIC,

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji

Bardziej szczegółowo

Elementy modelowania matematycznego

Elementy modelowania matematycznego Elementy modelowania matematycznego Modelowanie algorytmów klasyfikujących. Podejście probabilistyczne. Naiwny klasyfikator bayesowski. Modelowanie danych metodą najbliższych sąsiadów. Jakub Wróblewski

Bardziej szczegółowo

Pattern Classification

Pattern Classification Pattern Classification All materials in these slides were taken from Pattern Classification (2nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John Wiley & Sons, 2000 with the permission of the authors

Bardziej szczegółowo

Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr.

Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr. Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr. Warszawa, 10 Marca 2016 Plan prezentacji. Definicja funkcji jądrowej. Plan prezentacji. Definicja funkcji jądrowej. Opis problemu

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2

Bardziej szczegółowo

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74 3 Wykaz najważniejszych skrótów...8 Przedmowa... 10 1. Podstawowe pojęcia data mining...11 1.1. Wprowadzenie...12 1.2. Podstawowe zadania eksploracji danych...13 1.3. Główne etapy eksploracji danych...15

Bardziej szczegółowo

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny

Bardziej szczegółowo

Statystyka Matematyczna Anna Janicka

Statystyka Matematyczna Anna Janicka Statystyka Matematyczna Anna Janicka wykład IX, 25.04.2016 TESTOWANIE HIPOTEZ STATYSTYCZNYCH Plan na dzisiaj 1. Hipoteza statystyczna 2. Test statystyczny 3. Błędy I-go i II-go rodzaju 4. Poziom istotności,

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 5 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę Norbert Jankowski Ontogeniczne sieci neuronowe O sieciach zmieniających swoją strukturę Warszawa 2003 Opracowanie książki było wspierane stypendium Uniwersytetu Mikołaja Kopernika Spis treści Wprowadzenie

Bardziej szczegółowo

Analiza składowych głównych. Wprowadzenie

Analiza składowych głównych. Wprowadzenie Wprowadzenie jest techniką redukcji wymiaru. Składowe główne zostały po raz pierwszy zaproponowane przez Pearsona(1901), a następnie rozwinięte przez Hotellinga (1933). jest zaliczana do systemów uczących

Bardziej szczegółowo

Elementy Modelowania Matematycznego

Elementy Modelowania Matematycznego Elementy Modelowania Matematycznego Wykład 8 Programowanie nieliniowe Spis treści Programowanie nieliniowe Zadanie programowania nieliniowego Zadanie programowania nieliniowego jest identyczne jak dla

Bardziej szczegółowo

KLASYFIKACJA TEKSTUR ZA POMOCĄ SVM MASZYNY WEKTORÓW WSPIERAJĄCYCH

KLASYFIKACJA TEKSTUR ZA POMOCĄ SVM MASZYNY WEKTORÓW WSPIERAJĄCYCH Inżynieria Rolnicza 13/2006 Jacek Goszczyński Instytut Inżynierii Rolniczej Akademia Rolnicza w Poznaniu KLASYFIKACJA TEKSTUR ZA POMOCĄ SVM MASZYNY WEKTORÓW WSPIERAJĄCYCH Streszczenie Motywacją do badań

Bardziej szczegółowo

Komputerowa Analiza Danych Doświadczalnych

Komputerowa Analiza Danych Doświadczalnych Komputerowa Analiza Danych Doświadczalnych Prowadząca: dr inż. Hanna Zbroszczyk e-mail: gos@if.pw.edu.pl tel: +48 22 234 58 51 konsultacje: poniedziałek, 10-11; środa: 11-12 www: http://www.if.pw.edu.pl/~gos/students/kadd

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 3 autorzy: A. Gonczarek, J.M. Tomczak Zbiory i funkcje wypukłe Zad. 1 Pokazać, że następujące zbiory są wypukłe: a) płaszczyzna S = {x

Bardziej szczegółowo

Agnieszka Nowak Brzezińska

Agnieszka Nowak Brzezińska Agnieszka Nowak Brzezińska jeden z algorytmów regresji nieparametrycznej używanych w statystyce do prognozowania wartości pewnej zmiennej losowej. Może również byd używany do klasyfikacji. - Założenia

Bardziej szczegółowo

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18 Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)

Bardziej szczegółowo

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L,

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L, Klasyfikator Jedną z najistotniejszych nieparametrycznych metod klasyfikacji jest metoda K-najbliższych sąsiadów, oznaczana przez K-NN. W metodzie tej zaliczamy rozpoznawany obiekt do tej klasy, do której

Bardziej szczegółowo

Fuzja sygnałów i filtry bayesowskie

Fuzja sygnałów i filtry bayesowskie Fuzja sygnałów i filtry bayesowskie Roboty Manipulacyjne i Mobilne dr inż. Janusz Jakubiak Katedra Cybernetyki i Robotyki Wydział Elektroniki, Politechnika Wrocławska Wrocław, 10.03.2015 Dlaczego potrzebna

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest implementacja liniowego zadania

Bardziej szczegółowo

1 Klasyfikator bayesowski

1 Klasyfikator bayesowski Klasyfikator bayesowski Załóżmy, że dane są prawdopodobieństwa przynależności do klasp( ),P( 2 ),...,P( L ) przykładów z pewnego zadania klasyfikacji, jak również gęstości rozkładów prawdopodobieństw wystąpienia

Bardziej szczegółowo

Sieć przesyłająca żetony CP (counter propagation)

Sieć przesyłająca żetony CP (counter propagation) Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są

Bardziej szczegółowo

6. Perceptron Rosenblatta

6. Perceptron Rosenblatta 6. Perceptron Rosenblatta 6-1 Krótka historia perceptronu Rosenblatta 6-2 Binarne klasyfikatory liniowe 6-3 Struktura perceptronu Rosenblatta 6-4 Perceptron Rosenblatta a klasyfikacja 6-5 Perceptron jednowarstwowy:

Bardziej szczegółowo

Co to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem.

Co to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem. 1 Wektory Co to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem. 1.1 Dodawanie wektorów graficzne i algebraiczne. Graficzne - metoda równoległoboku. Sprowadzamy wektory

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z liniowym zadaniem najmniejszych

Bardziej szczegółowo

Programowanie liniowe

Programowanie liniowe Programowanie liniowe Maciej Drwal maciej.drwal@pwr.wroc.pl 1 Problem programowania liniowego min x c T x (1) Ax b, (2) x 0. (3) gdzie A R m n, c R n, b R m. Oznaczmy przez x rozwiązanie optymalne, tzn.

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

Testowanie hipotez statystycznych. Wnioskowanie statystyczne

Testowanie hipotez statystycznych. Wnioskowanie statystyczne Testowanie hipotez statystycznych Wnioskowanie statystyczne Hipoteza statystyczna to dowolne przypuszczenie co do rozkładu populacji generalnej (jego postaci funkcyjnej lub wartości parametrów). Hipotezy

Bardziej szczegółowo

TEST STATYSTYCZNY. Jeżeli hipotezę zerową odrzucimy na danym poziomie istotności, to odrzucimy ją na każdym większym poziomie istotności.

TEST STATYSTYCZNY. Jeżeli hipotezę zerową odrzucimy na danym poziomie istotności, to odrzucimy ją na każdym większym poziomie istotności. TEST STATYSTYCZNY Testem statystycznym nazywamy regułę postępowania rozstrzygająca, przy jakich wynikach z próby hipotezę sprawdzaną H 0 należy odrzucić, a przy jakich nie ma podstaw do jej odrzucenia.

Bardziej szczegółowo

Interpolacja. Marcin Orchel. Drugi przypadek szczególny to interpolacja trygonometryczna

Interpolacja. Marcin Orchel. Drugi przypadek szczególny to interpolacja trygonometryczna Interpolacja Marcin Orchel 1 Wstęp Mamy daną funkcję φ (x; a 0,..., a n ) zależną od n + 1 parametrów a 0,..., a n. Zadanie interpolacji funkcji φ polega na określeniu parametrów a i tak aby dla n + 1

Bardziej szczegółowo

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu 1 Metody rozwiązywania równań nieliniowych. Postawienie problemu Dla danej funkcji ciągłej f znaleźć wartości x, dla których f(x) = 0. (1) 2 Przedział izolacji pierwiastka Będziemy zakładać, że równanie

Bardziej szczegółowo

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Mateusz Kobos, 07.04.2010 Seminarium Metody Inteligencji Obliczeniowej Spis treści Opis algorytmu i zbioru

Bardziej szczegółowo

Testowanie hipotez statystycznych

Testowanie hipotez statystycznych 9 października 2008 ...czyli definicje na rozgrzewkę n-elementowa próba losowa - wektor n zmiennych losowych (X 1,..., X n ); intuicyjnie: wynik n eksperymentów realizacja próby (X 1,..., X n ) w ω Ω :

Bardziej szczegółowo

Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,

Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości

Bardziej szczegółowo

Wykład 3 Hipotezy statystyczne

Wykład 3 Hipotezy statystyczne Wykład 3 Hipotezy statystyczne Hipotezą statystyczną nazywamy każde przypuszczenie dotyczące nieznanego rozkładu obserwowanej zmiennej losowej (cechy populacji generalnej) Hipoteza zerowa (H 0 ) jest hipoteza

Bardziej szczegółowo

KADD Minimalizacja funkcji

KADD Minimalizacja funkcji Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego

Bardziej szczegółowo

Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu

Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotności, p-wartość i moc testu Wrocław, 01.03.2017r Przykład 2.1 Właściciel firmy produkującej telefony komórkowe twierdzi, że wśród jego produktów

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

ZAGADNIENIA PROGRAMOWE I WYMAGANIA EDUKACYJNE DO TESTU PRZYROSTU KOMPETENCJI Z MATEMATYKI DLA UCZNIA KLASY II

ZAGADNIENIA PROGRAMOWE I WYMAGANIA EDUKACYJNE DO TESTU PRZYROSTU KOMPETENCJI Z MATEMATYKI DLA UCZNIA KLASY II ZAGADNIENIA PROGRAMOWE I WYMAGANIA EDUKACYJNE DO TESTU PRZYROSTU KOMPETENCJI Z MATEMATYKI DLA UCZNIA KLASY II POZIOM ROZSZERZONY Równania i nierówności z wartością bezwzględną. rozwiązuje równania i nierówności

Bardziej szczegółowo

b) Niech: - wśród trzech wylosowanych opakowań jest co najwyżej jedno o dawce 15 mg. Wówczas:

b) Niech: - wśród trzech wylosowanych opakowań jest co najwyżej jedno o dawce 15 mg. Wówczas: ROZWIĄZANIA I ODPOWIEDZI Zadanie A1. Można założyć, że przy losowaniu trzech kul jednocześnie kolejność ich wylosowania nie jest istotna. A więc: Ω = 20 3. a) Niech: - wśród trzech wylosowanych opakowań

Bardziej szczegółowo

KADD Metoda najmniejszych kwadratów funkcje nieliniowe

KADD Metoda najmniejszych kwadratów funkcje nieliniowe Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji

Bardziej szczegółowo

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład Rozdział 1 Wektory losowe 1.1 Wektor losowy i jego rozkład Definicja 1 Wektor X = (X 1,..., X n ), którego każda współrzędna jest zmienną losową, nazywamy n-wymiarowym wektorem losowym (krótko wektorem

Bardziej szczegółowo

Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji a regresja symboliczna Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą

Bardziej szczegółowo

Kolokwium ze statystyki matematycznej

Kolokwium ze statystyki matematycznej Kolokwium ze statystyki matematycznej 28.05.2011 Zadanie 1 Niech X będzie zmienną losową z rozkładu o gęstości dla, gdzie 0 jest nieznanym parametrem. Na podstawie pojedynczej obserwacji weryfikujemy hipotezę

Bardziej szczegółowo

Metody probabilistyczne klasyfikatory bayesowskie

Metody probabilistyczne klasyfikatory bayesowskie Konwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych First Prev Next Last Go Back Full Screen Close Quit Metody probabilistyczne klasyfikatory bayesowskie Wykład 8 Marcin

Bardziej szczegółowo

Uczenie sieci typu MLP

Uczenie sieci typu MLP Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik

Bardziej szczegółowo

Ważne rozkłady i twierdzenia c.d.

Ważne rozkłady i twierdzenia c.d. Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 13-14, Walidacja jakości uczenia. Metody statystyczne.

Wstęp do sieci neuronowych, wykład 13-14, Walidacja jakości uczenia. Metody statystyczne. Wstęp do sieci neuronowych, wykład 13-14,. Metody statystyczne. M. Czoków, J. Piersa Faculty of Mathematics and Computer Science, Nicolaus Copernicus University, Toruń, Poland 2011.01.11 1 Przykład Przeuczenie

Bardziej szczegółowo

Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe

Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe Nierówność Czebyszewa Niech X będzie zmienną losową o skończonej wariancji V ar(x). Wtedy wartość oczekiwana E(X) też jest skończona i

Bardziej szczegółowo

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne Wykład 10 Rozkład LU i rozwiązywanie układów równań liniowych Niech będzie dany układ równań liniowych postaci Ax = b Załóżmy, że istnieją macierze L (trójkątna dolna) i U (trójkątna górna), takie że macierz

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 3 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba Cel zadania Celem zadania jest zaimplementowanie algorytmów

Bardziej szczegółowo

Układy równań i nierówności liniowych

Układy równań i nierówności liniowych Układy równań i nierówności liniowych Wiesław Krakowiak 1 grudnia 2010 1 Układy równań liniowych DEFINICJA 11 Układem równań m liniowych o n niewiadomych X 1,, X n, nazywamy układ postaci: a 11 X 1 + +

Bardziej szczegółowo

Klasyfikacja metodą Bayesa

Klasyfikacja metodą Bayesa Klasyfikacja metodą Bayesa Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski warunkowe i bezwarunkowe 1. Klasyfikacja Bayesowska jest klasyfikacją statystyczną. Pozwala przewidzieć prawdopodobieństwo

Bardziej szczegółowo

Ważne rozkłady i twierdzenia

Ważne rozkłady i twierdzenia Ważne rozkłady i twierdzenia Rozkład dwumianowy i wielomianowy Częstość. Prawo wielkich liczb Rozkład hipergeometryczny Rozkład Poissona Rozkład normalny i rozkład Gaussa Centralne twierdzenie graniczne

Bardziej szczegółowo

CHARAKTERYSTYKI CZĘSTOTLIWOŚCIOWE

CHARAKTERYSTYKI CZĘSTOTLIWOŚCIOWE CHARAKTERYSTYKI CZĘSTOTLIWOŚCIOWE Do opisu członów i układów automatyki stosuje się, oprócz transmitancji operatorowej (), tzw. transmitancję widmową. Transmitancję widmową () wyznaczyć można na podstawie

Bardziej szczegółowo

Uczenie sieci neuronowych i bayesowskich

Uczenie sieci neuronowych i bayesowskich Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10

Bardziej szczegółowo

Elementy Modelowania Matematycznego Wykład 7 Programowanie nieliniowe i całkowitoliczbowe

Elementy Modelowania Matematycznego Wykład 7 Programowanie nieliniowe i całkowitoliczbowe Spis treści Elementy Modelowania Matematycznego Wykład 7 i całkowitoliczbowe Romuald Kotowski Katedra Informatyki Stosowanej PJWSTK 2009 Spis treści Spis treści 1 Wstęp 2 3 Spis treści Spis treści 1 Wstęp

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

10. Redukcja wymiaru - metoda PCA

10. Redukcja wymiaru - metoda PCA Algorytmy rozpoznawania obrazów 10. Redukcja wymiaru - metoda PCA dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. PCA Analiza składowych głównych: w skrócie nazywana PCA (od ang. Principle Component

Bardziej szczegółowo

Wprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne

Wprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne Wprowadzenie Prostym podejściem do klasyfikacji jest estymacja funkcji regresji r(x) =E(Y X =x)zpominięciemestymacjigęstościf k. Zacznijmyodprzypadkudwóchgrup,tj.gdy Y = {1,0}. Wówczasr(x) =P(Y =1 X =x)ipouzyskaniuestymatora

Bardziej szczegółowo

Metody klasyfikacji i rozpoznawania wzorców. Najważniejsze rodzaje klasyfikatorów

Metody klasyfikacji i rozpoznawania wzorców.  Najważniejsze rodzaje klasyfikatorów Metody klasyfikacji i rozpoznawania wzorców www.michalbereta.pl Najważniejsze rodzaje klasyfikatorów Dla określonego problemu klasyfikacyjnego (tzn. dla danego zestawu danych) należy przetestować jak najwięcej

Bardziej szczegółowo

Równania różniczkowe cząstkowe drugiego rzędu

Równania różniczkowe cząstkowe drugiego rzędu Równania różniczkowe cząstkowe drugiego rzędu Marcin Orchel Spis treści 1 Wstęp 1 1.1 Metoda faktoryzacji (rozdzielania zmiennych)................ 5 1.2 Metoda funkcji Greena.............................

Bardziej szczegółowo

Entropia Renyi ego, estymacja gęstości i klasyfikacja

Entropia Renyi ego, estymacja gęstości i klasyfikacja Entropia Renyi ego, estymacja gęstości i klasyfikacja Wojciech Czarnecki Jacek Tabor 6 lutego 2014 1 / Wojciech Czarnecki, Jacek Tabor Renyi s Multithreshold Linear Classifier 1/36 36 2 / Wojciech Czarnecki,

Bardziej szczegółowo

Zagadnienia na egzamin poprawkowy z matematyki - klasa I 1. Liczby rzeczywiste

Zagadnienia na egzamin poprawkowy z matematyki - klasa I 1. Liczby rzeczywiste Zagadnienia na egzamin poprawkowy z matematyki - klasa I 1. Liczby rzeczywiste Liczby naturalne Liczby całkowite. Liczby wymierne Liczby niewymierne Rozwinięcie dziesiętne liczby rzeczywistej Pierwiastek

Bardziej szczegółowo

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie Wykaz tabel Wykaz rysunków Przedmowa 1. Wprowadzenie 1.1. Wprowadzenie do eksploracji danych 1.2. Natura zbiorów danych 1.3. Rodzaje struktur: modele i wzorce 1.4. Zadania eksploracji danych 1.5. Komponenty

Bardziej szczegółowo

KADD Minimalizacja funkcji

KADD Minimalizacja funkcji Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków

Bardziej szczegółowo

Analiza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU

Analiza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Analiza danych Wstęp Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Różne aspekty analizy danych Reprezentacja graficzna danych Metody statystyczne: estymacja parametrów

Bardziej szczegółowo

VI WYKŁAD STATYSTYKA. 9/04/2014 B8 sala 0.10B Godz. 15:15

VI WYKŁAD STATYSTYKA. 9/04/2014 B8 sala 0.10B Godz. 15:15 VI WYKŁAD STATYSTYKA 9/04/2014 B8 sala 0.10B Godz. 15:15 WYKŁAD 6 WERYFIKACJA HIPOTEZ STATYSTYCZNYCH PARAMETRYCZNE TESTY ISTOTNOŚCI Weryfikacja hipotez ( błędy I i II rodzaju, poziom istotności, zasady

Bardziej szczegółowo

TOZ -Techniki optymalizacji w zarządzaniu

TOZ -Techniki optymalizacji w zarządzaniu TOZ -Techniki optymalizacji w zarządzaniu Wykład dla studentów II roku studiów II stopnia na kierunku Zarządzanie Semestr zimowy 2009/2010 Wykładowca: prof. dr hab. inż. Michał Inkielman Wykład 2 Optymalizacja

Bardziej szczegółowo

Krzywe ROC i inne techniki oceny jakości klasyfikatorów

Krzywe ROC i inne techniki oceny jakości klasyfikatorów Krzywe ROC i inne techniki oceny jakości klasyfikatorów Wydział Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego 20 maja 2009 1 2 Przykład krzywej ROC 3 4 Pakiet ROCR Dostępne metryki Krzywe

Bardziej szczegółowo

Wprowadzenie. Metody bayesowskie Drzewa klasyfikacyjne i lasy losowe Sieci neuronowe SVM. Klasyfikacja. Wstęp

Wprowadzenie. Metody bayesowskie Drzewa klasyfikacyjne i lasy losowe Sieci neuronowe SVM. Klasyfikacja. Wstęp Wstęp Problem uczenia się pod nadzorem, inaczej nazywany uczeniem się z nauczycielem lub uczeniem się na przykładach, sprowadza się do określenia przydziału obiektów opisanych za pomocą wartości wielu

Bardziej szczegółowo

Konstrukcja biortogonalnych baz dyskryminacyjnych dla problemu klasyfikacji sygnałów. Wit Jakuczun

Konstrukcja biortogonalnych baz dyskryminacyjnych dla problemu klasyfikacji sygnałów. Wit Jakuczun Konstrukcja biortogonalnych baz dyskryminacyjnych dla problemu klasyfikacji sygnałów Politechnika Warszawska Strona 1 Podstawowe definicje Politechnika Warszawska Strona 2 Podstawowe definicje Zbiór treningowy

Bardziej szczegółowo

Wprowadzenie do uczenia maszynowego

Wprowadzenie do uczenia maszynowego Wprowadzenie do uczenia maszynowego Agnieszka Ławrynowicz 12 stycznia 2017 Co to jest uczenie maszynowe? dziedzina nauki, która zajmuje się sprawianiem aby komputery mogły uczyć się bez ich zaprogramowania

Bardziej szczegółowo

Przestrzeń probabilistyczna

Przestrzeń probabilistyczna Przestrzeń probabilistyczna (Ω, Σ, P) Ω pewien niepusty zbiór Σ rodzina podzbiorów tego zbioru P funkcja określona na Σ, zwana prawdopodobieństwem. Przestrzeń probabilistyczna (Ω, Σ, P) Ω pewien niepusty

Bardziej szczegółowo

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania KOMPUTEROWE SYSTEMY STEROWANIA I WSPOMAGANIA DECYZJI Rozproszone programowanie produkcji z wykorzystaniem

Bardziej szczegółowo

Propozycja szczegółowego rozkładu materiału dla 4-letniego technikum, zakres podstawowy i rozszerzony. Klasa I (90 h)

Propozycja szczegółowego rozkładu materiału dla 4-letniego technikum, zakres podstawowy i rozszerzony. Klasa I (90 h) Propozycja szczegółowego rozkładu materiału dla 4-letniego technikum, zakres podstawowy i rozszerzony (według podręczników z serii MATeMAtyka) Klasa I (90 h) Temat Liczba godzin 1. Liczby rzeczywiste 15

Bardziej szczegółowo

Jakość uczenia i generalizacja

Jakość uczenia i generalizacja Jakość uczenia i generalizacja Dokładność uczenia Jest koncepcją miary w jakim stopniu nasza sieć nauczyła się rozwiązywać określone zadanie Dokładność mówi na ile nauczyliśmy się rozwiązywać zadania które

Bardziej szczegółowo

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4.

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4. Testowanie hipotez Niech X = (X 1... X n ) będzie próbą losową na przestrzeni X zaś P = {P θ θ Θ} rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X. Definicja 1. Hipotezą zerową Θ

Bardziej szczegółowo

ROZPOZNAWANIE SYGNAŁÓW FONICZNYCH

ROZPOZNAWANIE SYGNAŁÓW FONICZNYCH Przetwarzanie dźwięków i obrazów ROZPOZNAWANIE SYGNAŁÓW FONICZNYCH mgr inż. Kuba Łopatka, p. 628 klopatka@sound.eti.pg.gda.pl Plan wykładu 1. Wprowadzenie 2. Zasada rozpoznawania sygnałów 3. Parametryzacja

Bardziej szczegółowo

Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.

Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =. Prawdopodobieństwo i statystyka 3..00 r. Zadanie Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX 4 i EY 6. Rozważamy zmienną losową Z. X + Y Wtedy (A) EZ 0,

Bardziej szczegółowo

Zadania 1. Czas pracy przypadający na jednostkę wyrobu (w godz.) M 1. Wyroby

Zadania 1. Czas pracy przypadający na jednostkę wyrobu (w godz.) M 1. Wyroby Zadania 1 Przedsiębiorstwo wytwarza cztery rodzaje wyrobów: A, B, C, D, które są obrabiane na dwóch maszynach M 1 i M 2. Czas pracy maszyn przypadający na obróbkę jednostki poszczególnych wyrobów podany

Bardziej szczegółowo

Projekt Sieci neuronowe

Projekt Sieci neuronowe Projekt Sieci neuronowe Chmielecka Katarzyna Gr. 9 IiE 1. Problem i dane Sieć neuronowa miała za zadanie nauczyć się klasyfikować wnioski kredytowe. W projekcie wykorzystano dane pochodzące z 110 wniosków

Bardziej szczegółowo

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl

Bardziej szczegółowo

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,

Bardziej szczegółowo

10/15/2016. Reguła. Czułość PV(+) Bayesa. Swoistość PV(-)

10/15/2016. Reguła. Czułość PV(+) Bayesa. Swoistość PV(-) A=symptom B= choroba Czułość Swoistość A ~ A ~ Reguła Bayesa ~ B ~ A) PV(+) PV(-) 1 / 2016_10_13 PV ( ) A PV ( ) A A ~ ~ sensitivity * PV ( ) sensitivity * (1 specificity)(1- ) specificity *(1- ) specificity

Bardziej szczegółowo

17.1 Podstawy metod symulacji komputerowych dla klasycznych układów wielu cząstek

17.1 Podstawy metod symulacji komputerowych dla klasycznych układów wielu cząstek Janusz Adamowski METODY OBLICZENIOWE FIZYKI 1 Rozdział 17 KLASYCZNA DYNAMIKA MOLEKULARNA 17.1 Podstawy metod symulacji komputerowych dla klasycznych układów wielu cząstek Rozważamy układ N punktowych cząstek

Bardziej szczegółowo