Wstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych

Wielkość: px
Rozpocząć pokaz od strony:

Download "Wstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych"

Transkrypt

1 Wstęp do przetwarzania języka naturalnego Wykład 11 Wojciech Czarnecki 8 stycznia 2014

2 Section 1 Przypomnienie

3 Wektoryzacja tfidf Przypomnienie document x y z Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth Rysunek : VSM na bazie utworów Szekspira

4 Idea Section 2

5 Idea Subsection 1 Idea

6 Idea

7 Idea

8 Idea

9 Idea

10 Idea

11 Idea

12 Przypomnienie Idea Regresja logistyczna opiera się na głosowaniu poszczególnych cech, i α if i (d, c) Współczynniki dobierane były by zmaksymalizować prawdopodobieństwo poprawnej klasyfikacji Decyzja podejmowana była na zasadzie arg max c i α if i (d, c)

13 Idea Dla klasyfikacji binarnej (1,-1) było to więc przy założeniu że cechy są niezależne od klasy (dokładamy odpowiednie α i = 0 lub β i = 0 maxent(d) = 1 i α i f i (d) > i β i f i (d)

14 Idea Dla klasyfikacji binarnej (1,-1) było to więc przy założeniu że cechy są niezależne od klasy (dokładamy odpowiednie α i = 0 lub β i = 0 maxent(d) = 1 i α i f i (d) > i β i f i (d) maxent(d) = 1 i (α i β i )f i (d) > 0

15 Idea Dla klasyfikacji binarnej (1,-1) było to więc przy założeniu że cechy są niezależne od klasy (dokładamy odpowiednie α i = 0 lub β i = 0 maxent(d) = 1 i α i f i (d) > i β i f i (d) maxent(d) = 1 i (α i β i )f i (d) > 0 maxent(d) = sgn( i (α i β i )f i (d))

16 Idea Dla klasyfikacji binarnej (1,-1) było to więc przy założeniu że cechy są niezależne od klasy (dokładamy odpowiednie α i = 0 lub β i = 0 maxent(d) = 1 i α i f i (d) > i β i f i (d) maxent(d) = 1 i (α i β i )f i (d) > 0 maxent(d) = sgn( i (α i β i )f i (d)) maxent(d) = sgn( i w i f i (d))

17 Idea maxent(d) = sgn( i w i f i (d))

18 Idea maxent(d) = sgn( i w i f i (d)) W SVMie oddzielamy dane hiperpłaszyzną, którą można jednoznacznie zdefiniować jako jej normalna w (oraz przesunięcie od środka układu b)

19 Idea maxent(d) = sgn( i w i f i (d)) W SVMie oddzielamy dane hiperpłaszyzną, którą można jednoznacznie zdefiniować jako jej normalna w (oraz przesunięcie od środka układu b) svm(d) = sgn(w T f (d) + b)

20 Idea maxent(d) = sgn( i w i f i (d)) W SVMie oddzielamy dane hiperpłaszyzną, którą można jednoznacznie zdefiniować jako jej normalna w (oraz przesunięcie od środka układu b) svm(d) = sgn(w T f (d) + b) svm(d) = sgn( i w i f i (d) + b)

21 Idea maxent(d) = sgn( i w i f i (d)) W SVMie oddzielamy dane hiperpłaszyzną, którą można jednoznacznie zdefiniować jako jej normalna w (oraz przesunięcie od środka układu b) svm(d) = sgn(w T f (d) + b) svm(d) = sgn( i w i f i (d) + b) Jedyną różnicą jest strategia wyboru w, czyli proces uczenia.

22 Margines Dualność Lagrange a Kernel Section 3

23 Założenia Przypomnienie Margines Dualność Lagrange a Kernel Klasyfikacja binarna Dane są liniowo separowalne Dla uproszczenia x to zwektoryzowana forma dokumentu

24 Margines Dualność Lagrange a Kernel Subsection 1 Margines

25 Margines Przypomnienie Margines Dualność Lagrange a Kernel w T x + b = 0 w T x + b = 1(= B) w T x + b = 1(= B)

26 Margines Przypomnienie Margines Dualność Lagrange a Kernel d(0, h + ) = w T 0 + b 1 w d(0, h ) = w T 0 + b + 1 w margin = b 1 (b + 1) w = 2 w

27 Margines Przypomnienie Margines Dualność Lagrange a Kernel max w,b ) s.t. y (i) ( w T x (i) + b 2 w 1, i {1, 2,..., m}

28 Margines Przypomnienie Margines Dualność Lagrange a Kernel 1 min w,b 2 w 2 ( ) s.t. y (i) w T x (i) + b 1, i {1, 2,..., m} Wypukła optymalizacja kwadratowa z liniowymi ograniczeniami!

29 Margines Dualność Lagrange a Kernel Subsection 2 Dualność Lagrange a

30 Dualność Lagrange a Margines Dualność Lagrange a Kernel min f (w) w s.t. g i (w) 0, i {1, 2,..., m}

31 Lagrangian Przypomnienie Margines Dualność Lagrange a Kernel m L(w, α) = f (w) + α i g i (w) i=1

32 Problem prymalny Przypomnienie Margines Dualność Lagrange a Kernel θ P (w) = max L(w, α) α i 0 θ P (w) = max f (w) + m α i g i (w) α i 0 i=1 θ P (w) {f (w), }

33 Problem prymalny Przypomnienie Margines Dualność Lagrange a Kernel min w ( ) θ P(w) = min max L(w, α) = min f (w) w α i 0 w p = min θ P(w) w

34 Problem dualny Przypomnienie Margines Dualność Lagrange a Kernel max θ D(α) = max min L(w, α) α i 0 α i 0 w d = max α i 0 θ D(α)

35 Nierówność MaxMin Przypomnienie Margines Dualność Lagrange a Kernel d = max min L(w, α) min max L(w, α) = p α i 0 w w α i 0

36 KKT Przypomnienie Margines Dualność Lagrange a Kernel d = p f, g - wypukłe w g i (w) < 0 Szerzej: Teoria Optymalizacji α i g i (w) = 0 dual complementarity condition

37 Margines Dualność Lagrange a Kernel Subsection 3

38 Rozwiązanie SVM Przypomnienie Margines Dualność Lagrange a Kernel 1 min w,b 2 w 2 ( ) s.t. y (i) w T x (i) + b 1, i {1, 2,..., m} 1 min w,b 2 w 2 ( ) s.t. y (i) w T x (i) + b + 1 0, i {1, 2,..., m}

39 Margines Dualność Lagrange a Kernel L(w, b, α) = 1 2 w 2 m i=1 α i (y ( ) ) (i) w T x (i) + b 1 max min L(w, b, α) α i 0 w,b

40 Margines Dualność Lagrange a Kernel m w L(w, b, α) = w α i y (i) x (i) = 0 i=1 m w = α i y (i) x (i) i=1 m b L(w, b, α) = α i y (i) = 0 i=1 m L(w, b, α) = α i 1 m y (i) y (j) α i α j (x (i) ) T x (j) 2 i=1 i,j=1

41 Ostateczny problem dualny Margines Dualność Lagrange a Kernel m max α i 1 m y (i) y (j) α i α j (x (i) ) T x (j) α i 0 2 i=1 i,j=1 ( m ) w T T m x + b = α i y (i) x (i) x + b = α i y (i) (x (i) ) T x + b i=1 i=1

42 Margines Dualność Lagrange a Kernel Subsection 4 Kernel

43 Kernel Przypomnienie Margines Dualność Lagrange a Kernel

44 Kernel Przypomnienie Margines Dualność Lagrange a Kernel

45 Kernel Przypomnienie Margines Dualność Lagrange a Kernel

46 Kernel Przypomnienie Margines Dualność Lagrange a Kernel Definition K(x, y) jest kernelem (jądrem) wtw. istnieje przestrzeń wektorowa w której K jest iloczynem skalarnym K(x, y) = φ(x) φ(y) K(x, y) = x y K(x, y) = (γx y + c) p K(x, y) = e γ x y 2 K(x, y) = tanh(γx y + c)

47 Kernel Przypomnienie Margines Dualność Lagrange a Kernel K(x, y) = φ(x) φ(y) K(x, y) = (x y + c) 2 φ(x) = (x 2 n,..., x 2 1, 2xn x n 1,..., 2x n x 1, 2xn 1 x n 2,..., 2x 2 x 1, 2cxn,..., 2cx 1, c) dim(φ(x)) = n2 + 3n + 2 2

48 Skernelizowany SVM Margines Dualność Lagrange a Kernel m max α i 1 m y (i) y (j) α i α j K(x (i), x (j) ) α i 0 2 i=1 i,j=1 m w T x + b = α i y (i) K(x (i), x) i=1

49 Skernelizowany SVM Margines Dualność Lagrange a Kernel

50 Margines Dualność Lagrange a Kernel Subsection 5

51 Margines Dualność Lagrange a Kernel

52 Margines Dualność Lagrange a Kernel

53 Margines Dualność Lagrange a Kernel 1 m min w,b 2 w 2 + C ξ i ( i=1 ) s.t. y (i) w T x (i) + b 1 ξ i, i {1, 2,..., m} ξ i 0, i {1, 2,..., m}

54 Margines Dualność Lagrange a Kernel Dualna forma nieseparowalnej skernalizowanego SVMa :-) m max α i 1 m y (i) y (j) α i α j K(x (i), x (j) ) C α i 0 2 i=1 i,j=1

55 Wieloklasowy SVM Przypomnienie Margines Dualność Lagrange a Kernel 1 vs all technique ( n ) 1 vs 1 technique ( n 2 ) error codes technique ( log(n) )

56 Section 4

57 Uwagi co do kerneli Przypomnienie K(x, y) = φ(x) φ(y) K(x, y) = x y K(x, y) = (γx y + c) p K(x, y) = e γ x y 2 K(x, y) = tanh(γx y + c)

58 Idealny kernel Przypomnienie 1, if x, y T, label(x) = label(y) K p (x, y) = 1, if x, y / T 0, wpp. Acc train (K p ) = 100% Acc test (K p ) =? Szerzej: Sieci Neuronowe; dr Igor Podolak

59 K(x, y) = e γ x y 2 φ(x) = f γx (ℵ) = e γ ℵ x 2 = e ℵ x 2 σ 2, γ = 1 σ 2 dim(φ(r n )) =?

60 Kernel Gaussa jest świetny! Co mogłoby pójść nie tak?

61 K(x, y) = e γ x y 2, γ

62

63 Mercer s theorem Przypomnienie Theorem K jest kernelem wtw. jest dodatnio półokreślone K : S S R n n K(x i, x j )c i c j 0, c i R, n (N), x i S i=1 j=1

64 Section 5

65 Podsumowanie Przypomnienie C jest parametrem odpowiedzialnym za złożoność modelu, im większe C tym większa szansa na overfitting, im mniejsze na underfitting

66 Podsumowanie Przypomnienie C jest parametrem odpowiedzialnym za złożoność modelu, im większe C tym większa szansa na overfitting, im mniejsze na underfitting Funkcje jądra bardzo istotnie wypływają na dokładność klasyfikacji, im bardziej skomplikowane jądro tym większa szansa na overfitting, w praktyce w NLP najczęściej używa się:

67 Podsumowanie Przypomnienie C jest parametrem odpowiedzialnym za złożoność modelu, im większe C tym większa szansa na overfitting, im mniejsze na underfitting Funkcje jądra bardzo istotnie wypływają na dokładność klasyfikacji, im bardziej skomplikowane jądro tym większa szansa na overfitting, w praktyce w NLP najczęściej używa się: Jądra liniowego

68 Podsumowanie Przypomnienie C jest parametrem odpowiedzialnym za złożoność modelu, im większe C tym większa szansa na overfitting, im mniejsze na underfitting Funkcje jądra bardzo istotnie wypływają na dokładność klasyfikacji, im bardziej skomplikowane jądro tym większa szansa na overfitting, w praktyce w NLP najczęściej używa się: Jądra liniowego Jądra wielomianowego stopnia 2

69 Podsumowanie Przypomnienie C jest parametrem odpowiedzialnym za złożoność modelu, im większe C tym większa szansa na overfitting, im mniejsze na underfitting Funkcje jądra bardzo istotnie wypływają na dokładność klasyfikacji, im bardziej skomplikowane jądro tym większa szansa na overfitting, w praktyce w NLP najczęściej używa się: Jądra liniowego Jądra wielomianowego stopnia 2 Jąder specjalistycznych (kolejny wykład)

70 Podsumowanie Przypomnienie C jest parametrem odpowiedzialnym za złożoność modelu, im większe C tym większa szansa na overfitting, im mniejsze na underfitting Funkcje jądra bardzo istotnie wypływają na dokładność klasyfikacji, im bardziej skomplikowane jądro tym większa szansa na overfitting, w praktyce w NLP najczęściej używa się: Jądra liniowego Jądra wielomianowego stopnia 2 Jąder specjalistycznych (kolejny wykład) Istotne jest przeskalowanie danych

71 Podsumowanie Przypomnienie C jest parametrem odpowiedzialnym za złożoność modelu, im większe C tym większa szansa na overfitting, im mniejsze na underfitting Funkcje jądra bardzo istotnie wypływają na dokładność klasyfikacji, im bardziej skomplikowane jądro tym większa szansa na overfitting, w praktyce w NLP najczęściej używa się: Jądra liniowego Jądra wielomianowego stopnia 2 Jąder specjalistycznych (kolejny wykład) Istotne jest przeskalowanie danych Optymalne parametry (jądra i C) dobiera się metodą walidacji krzyżowej

72 Biblioteki Przypomnienie libsvm (Java, Matlab, Octave, R, Python, Perl, Ruby, Weka, Scilab, LISP, Haskell, OCaml,.NET, CUDA, Labview, C#, PHP) SVM light (Perl, Matlab, Python, Ruby,.NET,.DLL, Java, TCP/IP server) SVM struct SVM perf SVM rank

73 Kolejny wykład Przypomnienie Specjalistyczne jądra Podstawowe jądro dla tekstów Jądra semantyczne

UCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow

UCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow UCZENIE MASZYNOWE III - SVM mgr inż. Adam Kupryjanow Plan wykładu Wprowadzenie LSVM dane separowalne liniowo SVM dane nieseparowalne liniowo Nieliniowy SVM Kernel trick Przykłady zastosowań Historia 1992

Bardziej szczegółowo

SVM: Maszyny Wektorów Podpieraja cych

SVM: Maszyny Wektorów Podpieraja cych SVM 1 / 24 SVM: Maszyny Wektorów Podpieraja cych Nguyen Hung Son Outline SVM 2 / 24 1 Wprowadzenie 2 Brak liniowej separowalności danych Nieznaczna nieseparowalność Zmiana przetrzeń atrybutów 3 Implementacja

Bardziej szczegółowo

Popularne klasyfikatory w pakietach komputerowych

Popularne klasyfikatory w pakietach komputerowych Popularne klasyfikatory w pakietach komputerowych Klasyfikator liniowy Uogólniony klasyfikator liniowy SVM aiwny klasyfikator bayesowski Ocena klasyfikatora ROC Lista popularnych pakietów Klasyfikator

Bardziej szczegółowo

Wstęp do przetwarzania języka naturalnego

Wstęp do przetwarzania języka naturalnego Wstęp do przetwarzania języka naturalnego Wykład 9 Wektoryzacja dokumentów i podstawowe miary podobieństwa Wojciech Czarnecki 17 grudnia 2013 Section 1 Przypomnienie Bag of words model Podejście Przypomnienie

Bardziej szczegółowo

W ostatnim wykładzie doszliśmy do tego, że problem znalezienia klasyfikatora optymalnego pod względem marginesów można wyrazić w następujący sposób:

W ostatnim wykładzie doszliśmy do tego, że problem znalezienia klasyfikatora optymalnego pod względem marginesów można wyrazić w następujący sposób: Spis treści 1 Maszyny Wektorów Wspierających 2 1.1 SVM w formaliźmie Lagranga 1.2 Przejście do pstaci dualnej 1.2.1 Wyznaczenie parametrów modelu: 1.2.2 Klasyfikacja: 2 Funkcje jądrowe 2.1 Mapowanie do

Bardziej szczegółowo

Entropia Renyi ego, estymacja gęstości i klasyfikacja

Entropia Renyi ego, estymacja gęstości i klasyfikacja Entropia Renyi ego, estymacja gęstości i klasyfikacja Wojciech Czarnecki Jacek Tabor 6 lutego 2014 1 / Wojciech Czarnecki, Jacek Tabor Renyi s Multithreshold Linear Classifier 1/36 36 2 / Wojciech Czarnecki,

Bardziej szczegółowo

Data Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa.

Data Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa. GLM (Generalized Linear Models) Data Mining Wykład 6 Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa Naiwny klasyfikator Bayesa jest klasyfikatorem statystycznym -

Bardziej szczegółowo

Wstęp do przetwarzania języka naturalnego. Wykład 10 Zaawansowana wektoryzacja i klasyfikacja

Wstęp do przetwarzania języka naturalnego. Wykład 10 Zaawansowana wektoryzacja i klasyfikacja Wstęp do przetwarzania języka naturalnego Wykład 10 Zaawansowana wektoryzacja i klasyfikacja Wojciech Czarnecki 8 stycznia 2014 Section 1 Wektoryzacja tfidf document x y z Antony and Cleopatra 5.25 1.21

Bardziej szczegółowo

Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr.

Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr. Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr. Warszawa, 10 Marca 2016 Plan prezentacji. Definicja funkcji jądrowej. Plan prezentacji. Definicja funkcji jądrowej. Opis problemu

Bardziej szczegółowo

WYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie. Zaawansowane Metody Uczenia Maszynowego

WYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie. Zaawansowane Metody Uczenia Maszynowego WYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie Zaawansowane Metody Uczenia Maszynowego Perceptron Rosenblatta Szukamy hiperpłaszczyzny β 0 + β 1 najlepiej

Bardziej szczegółowo

7. Maszyny wektorów podpierajacych SVMs

7. Maszyny wektorów podpierajacych SVMs Algorytmy rozpoznawania obrazów 7. Maszyny wektorów podpierajacych SVMs dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Maszyny wektorów podpierajacych - SVMs Maszyny wektorów podpierających (ang.

Bardziej szczegółowo

Programowanie nieliniowe. Badania operacyjne Wykład 3 Metoda Lagrange a

Programowanie nieliniowe. Badania operacyjne Wykład 3 Metoda Lagrange a Programowanie nieliniowe Badania operacyjne Wykład 3 Metoda Lagrange a Plan wykładu Przykład problemu z nieliniową funkcją celu Sformułowanie problemu programowania matematycznego Podstawowe definicje

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji

Bardziej szczegółowo

1 Formy hermitowskie. GAL (Informatyka) Wykład - formy hermitowskie. Paweł Bechler

1 Formy hermitowskie. GAL (Informatyka) Wykład - formy hermitowskie. Paweł Bechler GAL (Informatyka) Wykład - formy hermitowskie Wersja z dnia 23 stycznia 2014 Paweł Bechler 1 Formy hermitowskie Niech X oznacza przestrzeń liniową nad ciałem K. Definicja 1. Funkcję φ : X X K nazywamy

Bardziej szczegółowo

Programowanie liniowe

Programowanie liniowe Programowanie liniowe Maciej Drwal maciej.drwal@pwr.wroc.pl 1 Problem programowania liniowego min x c T x (1) Ax b, (2) x 0. (3) gdzie A R m n, c R n, b R m. Oznaczmy przez x rozwiązanie optymalne, tzn.

Bardziej szczegółowo

Jądrowe klasyfikatory liniowe

Jądrowe klasyfikatory liniowe Jądrowe klasyfikatory liniowe Waldemar Wołyński Wydział Matematyki i Informatyki UAM Poznań Wisła, 9 grudnia 2009 Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia 2009 1 / 19 Zagadnienie

Bardziej szczegółowo

PROGRAMOWANIE KWADRATOWE

PROGRAMOWANIE KWADRATOWE PROGRAMOWANIE KWADRATOWE Programowanie kwadratowe Zadanie programowania kwadratowego: Funkcja celu lub/i co najmniej jedno z ograniczeń jest funkcją kwadratową. 2 Programowanie kwadratowe Nie ma uniwersalnej

Bardziej szczegółowo

Algorytm simplex i dualność

Algorytm simplex i dualność Algorytm simplex i dualność Łukasz Kowalik Instytut Informatyki, Uniwersytet Warszawski April 15, 2016 Łukasz Kowalik (UW) LP April 15, 2016 1 / 35 Przypomnienie 1 Wierzchołkiem wielościanu P nazywamy

Bardziej szczegółowo

Stosowana Analiza Regresji

Stosowana Analiza Regresji Model jako : Stosowana Analiza Regresji Wykład XI 21 Grudnia 2011 1 / 11 Analiza kowariancji Model jako : Oprócz czynnika o wartościach nominalnych chcemy uwzględnić wpływ predyktora o wartościach ilościowych

Bardziej szczegółowo

Oracle Data Mining 10g

Oracle Data Mining 10g Oracle Data Mining 10g Zastosowanie algorytmu Support Vector Machines do problemów biznesowych Piotr Hajkowski Oracle Consulting Agenda Podstawy teoretyczne algorytmu SVM SVM w bazie danych Klasyfikacja

Bardziej szczegółowo

Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych

Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 1 / 26 Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych Wojciech Marian Czarnecki Jacek Tabor GMUM Grupa Metod Uczenia Maszynowego

Bardziej szczegółowo

Rozdzia l 10. Formy dwuliniowe i kwadratowe Formy dwuliniowe Definicja i przyk lady

Rozdzia l 10. Formy dwuliniowe i kwadratowe Formy dwuliniowe Definicja i przyk lady Rozdzia l 10 Formy dwuliniowe i kwadratowe 10.1 Formy dwuliniowe 10.1.1 Definicja i przyk lady Niech X K b edzie przestrzenia liniowa nad cia lem K, dim(x K ) = n. Definicja 10.1 Przekszta lcenie ϕ : X

Bardziej szczegółowo

Bezgradientowe metody optymalizacji funkcji wielu zmiennych. informacje dodatkowe

Bezgradientowe metody optymalizacji funkcji wielu zmiennych. informacje dodatkowe Bezgradientowe metody optymalizacji funkcji wielu zmiennych informacje dodatkowe Wybór kierunku poszukiwań Kierunki bazowe i ich modyfikacje metody bezgradientowe. Kierunki oparte na gradiencie funkcji

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest implementacja liniowego zadania

Bardziej szczegółowo

Algorytmy metaheurystyczne Wykład 11. Piotr Syga

Algorytmy metaheurystyczne Wykład 11. Piotr Syga Algorytmy metaheurystyczne Wykład 11 Piotr Syga 22.05.2017 Drzewa decyzyjne Idea Cel Na podstawie przesłanek (typowo zbiory rozmyte) oraz zbioru wartości w danych testowych, w oparciu o wybrane miary,

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

Metody klasyfikacji danych - część 2 p.1/55

Metody klasyfikacji danych - część 2 p.1/55 Metody klasyfikacji danych - część 2 Inteligentne Usługi Informacyjne Jerzy Dembski Metody klasyfikacji danych - część 2 p.1/55 Plan wykładu - AdaBoost - Klasyfikacja metoda wektorów wspierajacych (SVM)

Bardziej szczegółowo

Aproksymacja. j<k. L 2 p[a, b] l 2 p,n X = Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza przestrzeni liniowej Π n. Dowód.

Aproksymacja. j<k. L 2 p[a, b] l 2 p,n X = Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza przestrzeni liniowej Π n. Dowód. Metody numeryczne Paweł Zieliński p. 1/19 Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza bazę przestrzeni liniowej Π n. Dowód. Lemat 2. Dowolny wielomian Q j stopnia j niższego od k jest prostopadły

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja

Bardziej szczegółowo

Wprowadzenie do badań operacyjnych - wykład 2 i 3

Wprowadzenie do badań operacyjnych - wykład 2 i 3 Wprowadzenie do badań operacyjnych - wykład 2 i 3 Hanna Furmańczyk 14 listopada 2008 Programowanie liniowe (PL) - wszystkie ograniczenia muszą być liniowe - wszystkie zmienne muszą być ciągłe n j=1 c j

Bardziej szczegółowo

Dualność w programowaniu liniowym

Dualność w programowaniu liniowym 2016-06-12 1 Dualność w programowaniu liniowym Badania operacyjne Wykład 2 2016-06-12 2 Plan wykładu Przykład zadania dualnego Sformułowanie zagadnienia dualnego Symetryczne zagadnienie dualne Niesymetryczne

Bardziej szczegółowo

TOZ -Techniki optymalizacji w zarządzaniu

TOZ -Techniki optymalizacji w zarządzaniu TOZ -Techniki optymalizacji w zarządzaniu Wykład dla studentów II roku studiów II stopnia na kierunku Zarządzanie Semestr zimowy 2009/2010 Wykładowca: prof. dr hab. inż. Michał Inkielman Wykład 2 Optymalizacja

Bardziej szczegółowo

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74 3 Wykaz najważniejszych skrótów...8 Przedmowa... 10 1. Podstawowe pojęcia data mining...11 1.1. Wprowadzenie...12 1.2. Podstawowe zadania eksploracji danych...13 1.3. Główne etapy eksploracji danych...15

Bardziej szczegółowo

Klasyfikacja LDA + walidacja

Klasyfikacja LDA + walidacja Klasyfikacja LDA + walidacja Dr hab. Izabela Rejer Wydział Informatyki Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Plan wykładu 1. Klasyfikator 2. LDA 3. Klasyfikacja wieloklasowa 4. Walidacja

Bardziej szczegółowo

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4.

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4. Testowanie hipotez Niech X = (X 1... X n ) będzie próbą losową na przestrzeni X zaś P = {P θ θ Θ} rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X. Definicja 1. Hipotezą zerową Θ

Bardziej szczegółowo

Standardowe zadanie programowania liniowego. Gliwice 1

Standardowe zadanie programowania liniowego. Gliwice 1 Standardowe zadanie programowania liniowego 1 Standardowe zadanie programowania liniowego Rozważamy proces, w którym zmiennymi są x 1, x 2,, x n. Proces poddany jest m ograniczeniom, zapisanymi w postaci

Bardziej szczegółowo

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne Wykład 6 Własności wielomianów ortogonalnych Wszystkie znane rodziny wielomianów ortogonalnych dzielą pewne wspólne cechy: 1) definicja za pomocą wzoru różniczkowego, jawnej sumy lub funkcji tworzącej;

Bardziej szczegółowo

Maszyny wektorów podpierajacych w regresji rangowej

Maszyny wektorów podpierajacych w regresji rangowej Maszyny wektorów podpierajacych w regresji rangowej Uniwersytet Mikołaja Kopernika Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie X X R d, Y R Z = (X, Y ), Z = (X, Y ) - niezależne

Bardziej szczegółowo

Metoda Karusha-Kuhna-Tuckera

Metoda Karusha-Kuhna-Tuckera Badania operacyjne i teoria optymalizacji Poznań, 2015/2016 Plan 1 Sformułowanie problemu 2 3 Warunki ortogonalności 4 Warunki Karusha-Kuhna-Tuckera 5 Twierdzenia Karusha-Kuhna-Tuckera 6 Ograniczenia w

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z liniowym zadaniem najmniejszych

Bardziej szczegółowo

4 Zasoby językowe Korpusy obcojęzyczne Korpusy języka polskiego Słowniki Sposoby gromadzenia danych...

4 Zasoby językowe Korpusy obcojęzyczne Korpusy języka polskiego Słowniki Sposoby gromadzenia danych... Spis treści 1 Wstęp 11 1.1 Do kogo adresowana jest ta książka... 12 1.2 Historia badań nad mową i językiem... 12 1.3 Obecne główne trendy badań... 16 1.4 Opis zawartości rozdziałów... 18 2 Wyzwania i możliwe

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 2 autorzy: A. Gonczarek, J.M. Tomczak Metody estymacji Zad. 1 Pojawianie się spamu opisane jest zmienną losową x o rozkładzie dwupunktowym

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego

Bardziej szczegółowo

Agnieszka Nowak Brzezińska Wykład III

Agnieszka Nowak Brzezińska Wykład III Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe

Bardziej szczegółowo

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x

Bardziej szczegółowo

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę Norbert Jankowski Ontogeniczne sieci neuronowe O sieciach zmieniających swoją strukturę Warszawa 2003 Opracowanie książki było wspierane stypendium Uniwersytetu Mikołaja Kopernika Spis treści Wprowadzenie

Bardziej szczegółowo

Wstęp do przetwarzania języka naturalnego. Wykład 13 Podsumowanie i spojrzenie w przyszłość

Wstęp do przetwarzania języka naturalnego. Wykład 13 Podsumowanie i spojrzenie w przyszłość Wstęp do przetwarzania języka naturalnego Wykład 13 Podsumowanie i spojrzenie w przyszłość Wojciech Czarnecki 22 stycznia 2014 Section 1 Zarys kursu Wyrażenia regularne Zarys kursu Wyrażenia regularne

Bardziej szczegółowo

Metody klasyfikacji Danych wielowymiarowych by mgr inz. Marcin Kurdziel and mgr inz. Tomasz Arodz

Metody klasyfikacji Danych wielowymiarowych by mgr inz. Marcin Kurdziel and mgr inz. Tomasz Arodz Metody klasyfikacji Danych wielowymiarowych by mgr inz. and mgr inz. Tomasz Arodz supervised by Professor Dr W.Dzwinel Agenda Klasyfikacja liniowa podstawowe pojecia Algorytm perceptronu Fisher Linear

Bardziej szczegółowo

WYKŁAD 2. Problem regresji - modele liniowe

WYKŁAD 2. Problem regresji - modele liniowe Wrocław University of Technology WYKŁAD 2 Problem regresji - modele liniowe Maciej Zięba Politechnika Wrocławska Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami

Bardziej szczegółowo

WSKAZÓWKI DO WYKONANIA SPRAWOZDANIA Z WYRÓWNAWCZYCH ZAJĘĆ LABORATORYJNYCH

WSKAZÓWKI DO WYKONANIA SPRAWOZDANIA Z WYRÓWNAWCZYCH ZAJĘĆ LABORATORYJNYCH WSKAZÓWKI DO WYKONANIA SPRAWOZDANIA Z WYRÓWNAWCZYCH ZAJĘĆ LABORATORYJNYCH Dobrze przygotowane sprawozdanie powinno zawierać następujące elementy: 1. Krótki wstęp - maksymalnie pół strony. W krótki i zwięzły

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1

Bardziej szczegółowo

Python : podstawy nauki o danych / Alberto Boschetti, Luca Massaron. Gliwice, cop Spis treści

Python : podstawy nauki o danych / Alberto Boschetti, Luca Massaron. Gliwice, cop Spis treści Python : podstawy nauki o danych / Alberto Boschetti, Luca Massaron. Gliwice, cop. 2017 Spis treści O autorach 9 0 recenzencie 10 Wprowadzenie 11 Rozdział 1. Pierwsze kroki 15 Wprowadzenie do nauki o danych

Bardziej szczegółowo

Wstęp do Modelu Standardowego

Wstęp do Modelu Standardowego Wstęp do Modelu Standardowego Plan (Uzupełnienie matematyczne II) Abstrakcyjna przestrzeń stanów Podstawowe własności Iloczyn skalarny amplitudy prawdopodobieństwa Operatory i ich hermitowskość Wektory

Bardziej szczegółowo

Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.

Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α. Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej

Bardziej szczegółowo

Współczynnik korelacji. Współczynnik korelacji jest miernikiem zależności między dwiema cechami Oznaczenie: ϱ

Współczynnik korelacji. Współczynnik korelacji jest miernikiem zależności między dwiema cechami Oznaczenie: ϱ Współczynnik korelacji Współczynnik korelacji jest miernikiem zależności między dwiema cechami Oznaczenie: ϱ Własności współczynnika korelacji 1. Współczynnik korelacji jest liczbą niemianowaną 2. ϱ 1,

Bardziej szczegółowo

A,B M! v V ; A + v = B, (1.3) AB = v. (1.4)

A,B M! v V ; A + v = B, (1.3) AB = v. (1.4) Rozdział 1 Prosta i płaszczyzna 1.1 Przestrzeń afiniczna Przestrzeń afiniczna to matematyczny model przestrzeni jednorodnej, bez wyróżnionego punktu. Można w niej przesuwać punkty równolegle do zadanego

Bardziej szczegółowo

Pokazać, że wyżej zdefiniowana struktura algebraiczna jest przestrzenią wektorową nad ciałem

Pokazać, że wyżej zdefiniowana struktura algebraiczna jest przestrzenią wektorową nad ciałem Zestaw zadań 9: Przestrzenie wektorowe. Podprzestrzenie () Wykazać, że V = C ze zwykłym dodawaniem jako dodawaniem wektorów i operacją mnożenia przez skalar : C C C, (z, v) z v := z v jest przestrzenią

Bardziej szczegółowo

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV Klasyfikatory: k-nn oraz naiwny Bayesa Agnieszka Nowak Brzezińska Wykład IV Naiwny klasyfikator Bayesa Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 5 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

STATYSTYKA MATEMATYCZNA

STATYSTYKA MATEMATYCZNA STATYSTYKA MATEMATYCZNA 1. Wykład wstępny 2. Zmienne losowe i teoria prawdopodobieństwa 3. Populacje i próby danych 4. Testowanie hipotez i estymacja parametrów 5. Najczęściej wykorzystywane testy statystyczne

Bardziej szczegółowo

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład III 2016/2017

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład III 2016/2017 Systemy pomiarowo-diagnostyczne Metody uczenia maszynowego wykład III bogumil.konopka@pwr.edu.pl 2016/2017 Wykład III - plan Regresja logistyczna Ocena skuteczności klasyfikacji Macierze pomyłek Krzywe

Bardziej szczegółowo

Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.

Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału. Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału Wiktor Miszuris 2 czerwca 2004 Przepustowość kanału Zacznijmy od wprowadzenia równości IA, B HB HB A HA HA B Można ją intuicyjnie

Bardziej szczegółowo

Wprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne

Wprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne Wprowadzenie Prostym podejściem do klasyfikacji jest estymacja funkcji regresji r(x) =E(Y X =x)zpominięciemestymacjigęstościf k. Zacznijmyodprzypadkudwóchgrup,tj.gdy Y = {1,0}. Wówczasr(x) =P(Y =1 X =x)ipouzyskaniuestymatora

Bardziej szczegółowo

Regresyjne metody łączenia klasyfikatorów

Regresyjne metody łączenia klasyfikatorów Regresyjne metody łączenia klasyfikatorów Tomasz Górecki, Mirosław Krzyśko Wydział Matematyki i Informatyki Uniwersytet im. Adama Mickiewicza XXXV Konferencja Statystyka Matematyczna Wisła 7-11.12.2009

Bardziej szczegółowo

Agnieszka Nowak Brzezińska Wykład III

Agnieszka Nowak Brzezińska Wykład III Agnieszka Nowak Brzezińska Wykład III Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem. Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność) Bardziej opisowe

Bardziej szczegółowo

Elementy inteligencji obliczeniowej

Elementy inteligencji obliczeniowej Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt

Bardziej szczegółowo

METODY SZTUCZNEJ INTELIGENCJI algorytmy ewolucyjne

METODY SZTUCZNEJ INTELIGENCJI algorytmy ewolucyjne METODY SZTUCZNEJ INTELIGENCJI algorytmy ewolucyjne dr hab. inż. Andrzej Obuchowicz, prof. UZ Instytut Sterowania i Systemów Informatycznych Uniwersytet Zielonogórski A. Obuchowicz: MSI - algorytmy ewolucyjne

Bardziej szczegółowo

SPOTKANIE 4: Klasyfikacja: Regresja logistyczna

SPOTKANIE 4: Klasyfikacja: Regresja logistyczna Wrocław University of Technology SPOTKANIE 4: Klasyfikacja: Regresja logistyczna Szymon Zaręba Studenckie Koło Naukowe Estymator 179226@student.pwr.wroc.pl 23.11.2012 Rozkład dwupunktowy i dwumianowy Rozkład

Bardziej szczegółowo

Wojciech Skwirz

Wojciech Skwirz 1 Regularyzacja jako metoda doboru zmiennych objaśniających do modelu statystycznego. 2 Plan prezentacji 1. Wstęp 2. Część teoretyczna - Algorytm podziału i ograniczeń - Regularyzacja 3. Opis wyników badania

Bardziej szczegółowo

9.0. Wspornik podtrzymujący schody górne płytowe

9.0. Wspornik podtrzymujący schody górne płytowe 9.0. Wspornik podtrzymujący schody górne płytowe OBCIĄŻENIA: 55,00 55,00 OBCIĄŻENIA: ([kn],[knm],[kn/m]) Pręt: Rodzaj: Kąt: P(Tg): P2(Td): a[m]: b[m]: Grupa: A "" Zmienne γf=,0 Liniowe 0,0 55,00 55,00

Bardziej szczegółowo

DB Algebra liniowa 1 semestr letni 2018

DB Algebra liniowa 1 semestr letni 2018 DB Algebra liniowa 1 semestr letni 2018 Teoria oraz większość zadań w niniejszym skrypcie zostały opracowane na podstawie książek: 1 G Banaszak, W Gajda, Elementy algebry liniowej cz I, Wydawnictwo Naukowo-Techniczne,

Bardziej szczegółowo

Przestrzeń unitarna. Jacek Kłopotowski. 23 października Katedra Matematyki i Ekonomii Matematycznej SGH

Przestrzeń unitarna. Jacek Kłopotowski. 23 października Katedra Matematyki i Ekonomii Matematycznej SGH Katedra Matematyki i Ekonomii Matematycznej SGH 23 października 2018 Definicja iloczynu skalarnego Definicja Iloczynem skalarnym w przestrzeni liniowej R n nazywamy odwzorowanie ( ) : R n R n R spełniające

Bardziej szczegółowo

dr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory;

dr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory; Wykłady 8 i 9 Pojęcia przestrzeni wektorowej i macierzy Układy równań liniowych Elementy algebry macierzy dodawanie, odejmowanie, mnożenie macierzy; macierz odwrotna dr Mariusz Grządziel 15,29 kwietnia

Bardziej szczegółowo

WYKŁAD: Szeregi czasowe II. Zaawansowane Metody Uczenia Maszynowego

WYKŁAD: Szeregi czasowe II. Zaawansowane Metody Uczenia Maszynowego WYKŁAD: Szeregi czasowe II Zaawansowane Metody Uczenia Maszynowego Zwroty indeksów finansowych Y t : indeks finansowy w momencie t (wartość waloru, kurs walutowy itp). Określimy zwrot indeksu finansowego

Bardziej szczegółowo

Klasyfikatory SVM. Przemysław Klęsk. 1 Wiadomości ogólne 1. 2 Margines separacji Wzór na odległość punktu od płaszczyzny...

Klasyfikatory SVM. Przemysław Klęsk. 1 Wiadomości ogólne 1. 2 Margines separacji Wzór na odległość punktu od płaszczyzny... Klasyfikatory SVM Przemysław Klęsk Spis treści 1 Wiadomości ogólne 1 Margines separacji 3.1 Wzór na odległość punktu od płaszczyzny... 3 3 Przypadek liniowej separowalności danych znajdowanie płaszczyzny

Bardziej szczegółowo

Algebra liniowa. 1. Macierze.

Algebra liniowa. 1. Macierze. Algebra liniowa 1 Macierze Niech m oraz n będą liczbami naturalnymi Przestrzeń M(m n F) = F n F n będącą iloczynem kartezjańskim m egzemplarzy przestrzeni F n z naturalnie określonymi działaniami nazywamy

Bardziej szczegółowo

STATYSTYKA MATEMATYCZNA WYKŁAD 4. WERYFIKACJA HIPOTEZ PARAMETRYCZNYCH X - cecha populacji, θ parametr rozkładu cechy X.

STATYSTYKA MATEMATYCZNA WYKŁAD 4. WERYFIKACJA HIPOTEZ PARAMETRYCZNYCH X - cecha populacji, θ parametr rozkładu cechy X. STATYSTYKA MATEMATYCZNA WYKŁAD 4 WERYFIKACJA HIPOTEZ PARAMETRYCZNYCH X - cecha populacji, θ parametr rozkładu cechy X. Wysuwamy hipotezy: zerową (podstawową H ( θ = θ i alternatywną H, która ma jedną z

Bardziej szczegółowo

Estymatory regresji rangowej oparte na metodzie LASSO

Estymatory regresji rangowej oparte na metodzie LASSO Estymatory regresji rangowej oparte na metodzie LASSO Wojciech Rejchel UMK Toruń Wisła 2013 Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie P X, X X R m, Y, Y R Z = (X, Y ),

Bardziej szczegółowo

Formy kwadratowe. Mirosław Sobolewski. Wydział Matematyki, Informatyki i Mechaniki UW. wykład z algebry liniowej Warszawa, styczeń 2009

Formy kwadratowe. Mirosław Sobolewski. Wydział Matematyki, Informatyki i Mechaniki UW. wykład z algebry liniowej Warszawa, styczeń 2009 Formy kwadratowe Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW wykład z algebry liniowej Warszawa, styczeń 2009 Mirosław Sobolewski (UW) Warszawa, 2009 1 / 15 Definicja Niech V, W,

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING Maszyna Wektorów Nośnych Suort Vector Machine SVM Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki

Bardziej szczegółowo

Informacja o przestrzeniach Sobolewa

Informacja o przestrzeniach Sobolewa Wykład 11 Informacja o przestrzeniach Sobolewa 11.1 Definicja przestrzeni Sobolewa Niech R n będzie zbiorem mierzalnym. Rozważmy przestrzeń Hilberta X = L 2 () z iloczynem skalarnym zdefiniowanym równością

Bardziej szczegółowo

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska. SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska INFORMACJE WSTĘPNE Hipotezy do uczenia się lub tworzenia

Bardziej szczegółowo

1 Działania na zbiorach

1 Działania na zbiorach Algebra liniowa z geometrią /4 Działania na zbiorach Zadanie Czy działanie : R R R określone wzorem (x x ) (y y ) := (x y x y x y + x y ) jest przemienne? Zadanie W dowolnym zbiorze X określamy działanie

Bardziej szczegółowo

Geometria Lista 0 Zadanie 1

Geometria Lista 0 Zadanie 1 Geometria Lista 0 Zadanie 1. Wyznaczyć wzór na pole równoległoboku rozpiętego na wektorach u, v: (a) nie odwołując się do współrzędnych tych wektorów; (b) odwołując się do współrzędnych względem odpowiednio

Bardziej szczegółowo

KLASYFIKACJA TEKSTUR ZA POMOCĄ SVM MASZYNY WEKTORÓW WSPIERAJĄCYCH

KLASYFIKACJA TEKSTUR ZA POMOCĄ SVM MASZYNY WEKTORÓW WSPIERAJĄCYCH Inżynieria Rolnicza 13/2006 Jacek Goszczyński Instytut Inżynierii Rolniczej Akademia Rolnicza w Poznaniu KLASYFIKACJA TEKSTUR ZA POMOCĄ SVM MASZYNY WEKTORÓW WSPIERAJĄCYCH Streszczenie Motywacją do badań

Bardziej szczegółowo

Programowanie liniowe

Programowanie liniowe Programowanie liniowe Łukasz Kowalik Instytut Informatyki, Uniwersytet Warszawski April 8, 2016 Łukasz Kowalik (UW) LP April 8, 2016 1 / 15 Problem diety Tabelka wit. A (µg) wit. B1 (µg) wit. C (µg) (kcal)

Bardziej szczegółowo

Algorytmy aproksymacyjne dla problemów stochastycznych

Algorytmy aproksymacyjne dla problemów stochastycznych Algorytmy aproksymacyjne dla problemów stochastycznych Marcin Mucha Uniwersytet Warszawski Warszawa 29.04.2011 - p. 1/44 Plan - Wykład II Boosted sampling: drzewo Steinera, problemy addytywne: lokalizacja

Bardziej szczegółowo

Modelowanie zależności. Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski

Modelowanie zależności. Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski Modelowanie zależności pomiędzy zmiennymi losowymi Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski P Zmienne losowe niezależne - przypomnienie Dwie rzeczywiste zmienne losowe X i Y

Bardziej szczegółowo

doc. dr Beata Pułska-Turyna Zarządzanie B506 mail: mgr Piotr J. Gadecki Zakład Badań Operacyjnych Zarządzania B 505.

doc. dr Beata Pułska-Turyna Zarządzanie B506 mail: mgr Piotr J. Gadecki Zakład Badań Operacyjnych Zarządzania B 505. doc. dr Beata Pułska-Turyna Zakład Badań Operacyjnych Zarządzanie B506 mail: turynab@wz.uw.edu.pl mgr Piotr J. Gadecki Zakład Badań Operacyjnych Zarządzania B 505. Tel.: (22)55 34 144 Mail: student@pgadecki.pl

Bardziej szczegółowo

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład II 2017/2018

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład II 2017/2018 Systemy pomiarowo-diagnostyczne Metody uczenia maszynowego wykład II bogumil.konopka@pwr.edu.pl 2017/2018 Określenie rzeczywistej dokładności modelu Zbiór treningowym vs zbiór testowy Zbiór treningowy

Bardziej szczegółowo

) a j x j b; x j binarne (j N) całkowitoliczbowe; przyjmujemy (bez straty ogólności): c j > 0, 0 <a j b (j N), P n

) a j x j b; x j binarne (j N) całkowitoliczbowe; przyjmujemy (bez straty ogólności): c j > 0, 0 <a j b (j N), P n PDczęść4 8. Zagadnienia załadunku 8.1 Klasyczne zagadnienia załadunku (ozn. N = {1, 2,..., n} Binarny problem ( (Z v(z =max c j x j : a j x j b; x j binarne (j N zakładamy, że wszystkie dane sa całkowitoliczbowe;

Bardziej szczegółowo

Systemy agentowe. Uwagi organizacyjne. Jędrzej Potoniec

Systemy agentowe. Uwagi organizacyjne. Jędrzej Potoniec Systemy agentowe Uwagi organizacyjne Jędrzej Potoniec Kontakt mgr inż. Jędrzej Potoniec Jedrzej.Potoniec@cs.put.poznan.pl http://www.cs.put.poznan.pl/jpotoniec https://github.com/jpotoniec/sa Zasady oceniania

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie

Bardziej szczegółowo

Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu

Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotności, p-wartość i moc testu Wrocław, 01.03.2017r Przykład 2.1 Właściciel firmy produkującej telefony komórkowe twierdzi, że wśród jego produktów

Bardziej szczegółowo

Idea. θ = θ 0, Hipoteza statystyczna Obszary krytyczne Błąd pierwszego i drugiego rodzaju p-wartość

Idea. θ = θ 0, Hipoteza statystyczna Obszary krytyczne Błąd pierwszego i drugiego rodzaju p-wartość Idea Niech θ oznacza parametr modelu statystycznego. Dotychczasowe rozważania dotyczyły metod estymacji tego parametru. Teraz zamiast szacować nieznaną wartość parametru będziemy weryfikowali hipotezę

Bardziej szczegółowo

Rozwiązania zadań z listy T.Koźniewskiego

Rozwiązania zadań z listy T.Koźniewskiego Rozwiązania zadań z listy T.Koźniewskiego 1. Podstawiamy do równań. Tylko czwarty wektor spełnia wszystkie trzy równania.. U 1 : ( + 0x 9x 4, 7x + 8x 4, x, x 4 ), U : ( x 4, 4 x 4, + x 4, x 4 ), U : (x

Bardziej szczegółowo

Matematyka ubezpieczeń majątkowych r.

Matematyka ubezpieczeń majątkowych r. Matematyka ubezpieczeń majątkowych 3..007 r. Zadanie. Każde z ryzyk pochodzących z pewnej populacji charakteryzuje się tym że przy danej wartości λ parametru ryzyka Λ rozkład wartości szkód z tego ryzyka

Bardziej szczegółowo