SVM: Maszyny Wektorów Podpieraja cych

Wielkość: px
Rozpocząć pokaz od strony:

Download "SVM: Maszyny Wektorów Podpieraja cych"

Transkrypt

1 SVM 1 / 24 SVM: Maszyny Wektorów Podpieraja cych Nguyen Hung Son

2 Outline SVM 2 / 24 1 Wprowadzenie 2 Brak liniowej separowalności danych Nieznaczna nieseparowalność Zmiana przetrzeń atrybutów 3 Implementacja

3 Liniony klasyfikator SVM 3 / 24 Dana jest próbka treningowa D = {(x 1, y 1 ),..., (x n, y n )} gdzie y i { 1, 1}, x i R p

4 Liniony klasyfikator SVM 3 / 24 Dana jest próbka treningowa D = {(x 1, y 1 ),..., (x n, y n )} gdzie y i { 1, 1}, x i R p

5 Liniony klasyfikator SVM 3 / 24 Dana jest próbka treningowa D = {(x 1, y 1 ),..., (x n, y n )} gdzie y i { 1, 1}, x i R p

6 Liniony klasyfikator SVM 3 / 24 Dana jest próbka treningowa D = {(x 1, y 1 ),..., (x n, y n )} gdzie y i { 1, 1}, x i R p Klasyfikatorem liniowym nazywamy funkcję f w,b (x) = sgn(w x + b)

7 Liniony klasyfikator SVM 3 / 24 Dana jest próbka treningowa D = {(x 1, y 1 ),..., (x n, y n )} gdzie y i { 1, 1}, x i R p Klasyfikatorem liniowym nazywamy funkcję f w,b (x) = sgn(w x + b) Próbka D jest liniowo seperowana jeśli istnieje klasyfikator liniowy f w,b ( ) taki, że w x i + b +1, gdy y i = +1 w x i + b < 1, gdy y i = 1

8 Liniowy klasyfikator SVM 4 / 24

9 Liniowy klasyfikator SVM 4 / 24

10 Liniowy klasyfikator SVM 4 / 24

11 Liniowy klasyfikator SVM 4 / 24 Uproszczony warunek: y i (w x i + b) 1, dla każdego i.

12 Liniowy klasyfikator SVM 4 / 24 Uproszczony warunek: y i (w x i + b) 1, dla każdego i. Każda z tych linii dobrze seperuje punkty;

13 Liniowy klasyfikator SVM 4 / 24 Uproszczony warunek: y i (w x i + b) 1, dla każdego i. Każda z tych linii dobrze seperuje punkty; Która z nich jest najlepsza?

14 Margines klasyfikatora liniowego SVM 5 / 24 Margines = szerokość bezpiecznego obszaru po obu stronach hiperpłaszczyzny;

15 Margines klasyfikatora liniowego SVM 5 / 24 Margines = szerokość bezpiecznego obszaru po obu stronach hiperpłaszczyzny; Margines jest wyznaczony przez 2 hiperpłaszczyzny.

16 Margines klasyfikatora liniowego SVM 5 / 24 Margines = szerokość bezpiecznego obszaru po obu stronach hiperpłaszczyzny; Margines jest wyznaczony przez 2 hiperpłaszczyzny. Chcemy znaleźć klasyfikator z maksymalnym marginesem

17 Wektory podpierajace SVM 6 / 24 Maksymalizujemy d(h 1, H 2 ) lub minimalizujemy w 2.

18 Wektory podpierajace SVM 6 / 24 Maksymalizujemy d(h 1, H 2 ) lub minimalizujemy w 2.

19 Wektory podpierajace SVM 6 / 24 Niech H 1, H 2 będa brzegami marginesu; Maksymalizujemy d(h 1, H 2 ) lub minimalizujemy w 2.

20 Wektory podpierajace SVM 6 / 24 Niech H 1, H 2 będa brzegami marginesu; Powiniśmy oprzeć brzegi o punkty z próbki treningowej Maksymalizujemy d(h 1, H 2 ) lub minimalizujemy w 2.

21 Wektory podpierajace SVM 6 / 24 Niech H 1, H 2 będa brzegami marginesu; Powiniśmy oprzeć brzegi o punkty z próbki treningowej Te punkty nazywamy wektorami podpierajacymi Maksymalizujemy d(h 1, H 2 ) lub minimalizujemy w 2.

22 Wektory podpierajace SVM 6 / 24 Niech H 1, H 2 będa brzegami marginesu; Powiniśmy oprzeć brzegi o punkty z próbki treningowej Te punkty nazywamy wektorami podpierajacymi Równanie H 1 i H 2 : H 1 :w x + b = 1 H 2 :w x + b = 1 Maksymalizujemy d(h 1, H 2 ) lub minimalizujemy w 2.

23 Wektory podpierajace SVM 6 / 24 Niech H 1, H 2 będa brzegami marginesu; Powiniśmy oprzeć brzegi o punkty z próbki treningowej Te punkty nazywamy wektorami podpierajacymi Równanie H 1 i H 2 : H 1 :w x + b = 1 H 2 :w x + b = 1 Odległość między H 1 a H 2 : d(h 1, H 2 ) = 2 w Maksymalizujemy d(h 1, H 2 ) lub minimalizujemy w 2.

24 Problem optymalizacyjny SVM 7 / 24 Zadanie LSVM Znaleźć w i b które minimalizuja przy ograniczeniach w 2 2 y i (w x i + b) 1 0; i = 1,..., n Q: Jak rozwiazać tego typu zagadnienia? A: Metoda gradientu?, symulowanego wyżrzania?, odwracanie macierzy? EM? Newton? PROGRAMOWANIE KWADRATOWE?

25 Pogramowanie kwadratowe QP SVM 8 / 24 Znaleźć arg max c + u dt u + ut Ru 2 To zagadnienie jest dobrze zbadane i istnieja bardzo efektywne algorytmy rozwiazuj ace ten problem

26 Pogramowanie kwadratowe QP SVM 8 / 24 Znaleźć przy założeniach: arg max c + u dt u + ut Ru 2 A 1 u b 1 To zagadnienie jest dobrze zbadane i istnieja bardzo efektywne algorytmy rozwiazuj ace ten problem

27 Pogramowanie kwadratowe QP SVM 8 / 24 Znaleźć przy założeniach: oraz arg max c + u dt u + ut Ru 2 A 1 u b 1 A 2 u = b 2 To zagadnienie jest dobrze zbadane i istnieja bardzo efektywne algorytmy rozwiazuj ace ten problem

28 Metoda Lagrange a SVM 9 / 24 Rozwiazywanie zagadnienia LSVM znalezienie punktu siodłowego wielomianu Lagrange a: L(w, b, α) = 1 n 2 (w w) α i {[(x i w) b]y i 1} i=1 gdzie α = (α 1,..., α n ) jest wektorem nieujemnych współczynników Lagrange a

29 Metoda Lagrange a SVM 9 / 24 Rozwiazywanie zagadnienia LSVM znalezienie punktu siodłowego wielomianu Lagrange a: L(w, b, α) = 1 n 2 (w w) α i {[(x i w) b]y i 1} i=1 gdzie α = (α 1,..., α n ) jest wektorem nieujemnych współczynników Lagrange a Punkt siodłowy = maksimum funkcji względem α i 0 i minimum funkcji względem w i b.

30 Metoda Lagrange a (c.d.) SVM 10 / 24 Twierdzenie Karusha-Kuhna-Tuckera: warunkiem koniecznym istnienia punktu siodlowego jest zerowanie się gradientu wzg. w, czyli w = n y i α i x i (1) i=1

31 Metoda Lagrange a (c.d.) SVM 10 / 24 Twierdzenie Karusha-Kuhna-Tuckera: warunkiem koniecznym istnienia punktu siodlowego jest zerowanie się gradientu wzg. w, czyli w = n y i α i x i (1) i=1 zerowanie się pochodnej wzg. b, czyli n α i y i = 0 (2) i=1

32 Metoda Lagrange a (c.d.) SVM 10 / 24 Twierdzenie Karusha-Kuhna-Tuckera: warunkiem koniecznym istnienia punktu siodlowego jest zerowanie się gradientu wzg. w, czyli w = n y i α i x i (1) i=1 zerowanie się pochodnej wzg. b, czyli n α i y i = 0 (2) i=1 spełnienie warunku: α i {[(x i w 0 ) b 0 ]y i 1} = 0, for i = 1,..., n (3)

33 Metoda Lagrange a (c.d.) SVM 11 / 24 Po uwzględnieniu tych warunków (na istnienie punktu siodłowego) mamy nowy problem optymalizacyjny: Znaleźć wektor α będacy maksimum funkcji W(α) = n α i 1 n α i α j y i y j (x i x j ) (4) 2 i=1 ij=1

34 Metoda Lagrange a (c.d.) SVM 11 / 24 Po uwzględnieniu tych warunków (na istnienie punktu siodłowego) mamy nowy problem optymalizacyjny: Znaleźć wektor α będacy maksimum funkcji W(α) = n α i 1 n α i α j y i y j (x i x j ) (4) 2 i=1 ij=1 przy ograniczeniach α i 0, i = 1,.., n oraz n α i y i = 0 (5) i=1

35 Metoda Lagrange a (c.d.) SVM 12 / 24 Niech wektor (α1 0,..., α0 n) będzie rozwiazaniem maksymalizujacym (4) przy ograniczeniach (5).

36 Metoda Lagrange a (c.d.) SVM 12 / 24 Niech wektor (α1 0,..., α0 n) będzie rozwiazaniem maksymalizujacym (4) przy ograniczeniach (5). Z (3) wynika, że jeśli x i nie jest wektorem podpierajacym to αi 0 = 0;

37 Metoda Lagrange a (c.d.) SVM 12 / 24 Niech wektor (α1 0,..., α0 n) będzie rozwiazaniem maksymalizujacym (4) przy ograniczeniach (5). Z (3) wynika, że jeśli x i nie jest wektorem podpierajacym to αi 0 = 0; Równania (4) i (5) odbywaja się faktycznie tylko po wektorach podpierajacych.

38 Metoda Lagrange a (c.d.) SVM 12 / 24 Niech wektor (α1 0,..., α0 n) będzie rozwiazaniem maksymalizujacym (4) przy ograniczeniach (5). Z (3) wynika, że jeśli x i nie jest wektorem podpierajacym to αi 0 = 0; Równania (4) i (5) odbywaja się faktycznie tylko po wektorach podpierajacych. Hyperpłaszczyzna rozdzielajaca ma postać w 0 x b 0 = 0 gdzie w 0 = wektory podp. y i α 0 i x i b 0 = 1 2 [(w 0 x (1) )+(w 0 x ( 1) )] tu x (1) i x ( 1) sa dowolnymi wektorami podpierajacymi z każdej z klas.

39 Liniowy SVM SVM 13 / 24 Ostateczna funkcja decyzyjna: f (x) = sgn( y i αi 0 (x i x) + b 0 ) (6) wektory podp.

40 Outline SVM 14 / 24 1 Wprowadzenie 2 Brak liniowej separowalności danych Nieznaczna nieseparowalność Zmiana przetrzeń atrybutów 3 Implementacja

41 Przypadek nieseparowalności SVM 15 / 24 Założenie o separowalności klas jest nienaturalna;

42 Przypadek nieseparowalności SVM 15 / 24 Założenie o separowalności klas jest nienaturalna; Modyfikacja: w x i + b 1 ξ i, gdy y i = +1 w x i + b 1 + ξ i, gdy y i = 1 gdzie stałe ξ i spełniaja warunki: ξ i 0, i = 1,..., n.

43 Przypadek nieseparowalności SVM 15 / 24 Założenie o separowalności klas jest nienaturalna; Modyfikacja: w x i + b 1 ξ i, gdy y i = +1 w x i + b 1 + ξ i, gdy y i = 1 gdzie stałe ξ i spełniaja warunki: ξ i 0, i = 1,..., n. Zmodyfikowana funkcja do minimalizacji w C n i=1 ξ i C jest stała kara za niespełnienie idealnych warunków.

44 Przypadek nieseparowalności SVM 16 / 24 Ogólne zadanie SVM Znaleźć w i b które minimalizuja w C n i=1 ξ i przy ograniczeniach w x i + b 1 ξ i, gdy y i = +1 w x i + b 1 + ξ i, gdy y i = 1 ξ i 0, i = 1,..., n.

45 Przypadek nieseparowalności SVM 17 / 24 Można pokazać, że zarówno i w tym przypadku, możemy sprowadzić do problemu Znaleźć wektor (α1 0,..., α0 n) będacy maksimum funkcji n W(α) = α i 1 n α i α j y i y j (x i x j ) (7) 2 i=1 ij=1 A następnie stosować funkcję decyzyjna:

46 Przypadek nieseparowalności SVM 17 / 24 Można pokazać, że zarówno i w tym przypadku, możemy sprowadzić do problemu Znaleźć wektor (α1 0,..., α0 n) będacy maksimum funkcji n W(α) = α i 1 n α i α j y i y j (x i x j ) (7) 2 i=1 przy ograniczeniach C α i 0, i = 1,.., n ij=1 oraz n α i y i = 0 (8) i=1 A następnie stosować funkcję decyzyjna:

47 Przypadek nieseparowalności SVM 17 / 24 Można pokazać, że zarówno i w tym przypadku, możemy sprowadzić do problemu Znaleźć wektor (α1 0,..., α0 n) będacy maksimum funkcji n W(α) = α i 1 n α i α j y i y j (x i x j ) (7) 2 i=1 przy ograniczeniach C α i 0, i = 1,.., n ij=1 oraz n α i y i = 0 (8) A następnie stosować funkcję decyzyjna: f (x) = sgn y i αi 0 (x i x) + b 0 (9) wektory podp. i=1

48 Zanurzenie obserwacji w bogatszej przetrzeni SVM 18 / 24 Przekształcimy dane w bogatszej przetrzeni cech: φ : R p F R N, N p

49 Zanurzenie obserwacji w bogatszej przetrzeni SVM 18 / 24 Przekształcimy dane w bogatszej przetrzeni cech: φ : R p F R N, N p wystarczy zamienić iloczyny skalarne (x i x j ) we wszystkich wzorach na (φ(x i ) φ(x j ))

50 PROBLEM OBLICZENIOWY: czas wykonania iloczynu skalarnego (φ(x i ) φ(x j )) wynosi O(N 2 ) SVM 19 / 24

51 SVM 19 / 24 PROBLEM OBLICZENIOWY: czas wykonania iloczynu skalarnego (φ(x i ) φ(x j )) wynosi O(N 2 ) TRIK: Kernel functions K((x i x j )) = (φ(x i ) φ(x j ))

52 SVM 19 / 24 PROBLEM OBLICZENIOWY: czas wykonania iloczynu skalarnego (φ(x i ) φ(x j )) wynosi O(N 2 ) TRIK: Kernel functions Zmieniona funkcja: K((x i x j )) = (φ(x i ) φ(x j )) W(α) = = n α i 1 n α i α j y i y j (φ(x i ) φ(x j )) 2 i=1 n α i 1 2 i=1 ij=1 n α i α j y i y j K(x i x j ) ij=1

53 Example SVM 20 / 24

54 Outline SVM 21 / 24 1 Wprowadzenie 2 Brak liniowej separowalności danych Nieznaczna nieseparowalność Zmiana przetrzeń atrybutów 3 Implementacja

55 Uczenie SVM SVM 22 / 24 Problem

56 Uczenie SVM SVM 22 / 24 Problem Wejście: D = {(x 1, y 1 ),..., (x n, y n )}; K: funkcja jadrowa.

57 Uczenie SVM SVM 22 / 24 Problem Wejście: D = {(x 1, y 1 ),..., (x n, y n )}; K: funkcja jadrowa. Wyjście: wektor (α1 0,..., α0 n) będacy maksimum funkcji W(α) = n α i 1 2 i=1 n α i α j y i y j K(x i x j ) ij=1 przy ograniczeniach C α i 0, i = 1,.., n oraz n α i y i = 0 i=1

58 Przykład metody gradientu dla QP SVM 23 / 24

59 Działanie SVM SVM 24 / 24 f (x) = sgn y i αi 0 K(x i x) + b 0 wektory podp.

WYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie. Zaawansowane Metody Uczenia Maszynowego

WYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie. Zaawansowane Metody Uczenia Maszynowego WYKŁAD: Perceptron Rosenblatta. Maszyny wektorów podpierających (SVM). Empiryczne reguły bayesowskie Zaawansowane Metody Uczenia Maszynowego Perceptron Rosenblatta Szukamy hiperpłaszczyzny β 0 + β 1 najlepiej

Bardziej szczegółowo

UCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow

UCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow UCZENIE MASZYNOWE III - SVM mgr inż. Adam Kupryjanow Plan wykładu Wprowadzenie LSVM dane separowalne liniowo SVM dane nieseparowalne liniowo Nieliniowy SVM Kernel trick Przykłady zastosowań Historia 1992

Bardziej szczegółowo

7. Maszyny wektorów podpierajacych SVMs

7. Maszyny wektorów podpierajacych SVMs Algorytmy rozpoznawania obrazów 7. Maszyny wektorów podpierajacych SVMs dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Maszyny wektorów podpierajacych - SVMs Maszyny wektorów podpierających (ang.

Bardziej szczegółowo

Metoda Karusha-Kuhna-Tuckera

Metoda Karusha-Kuhna-Tuckera Badania operacyjne i teoria optymalizacji Poznań, 2015/2016 Plan 1 Sformułowanie problemu 2 3 Warunki ortogonalności 4 Warunki Karusha-Kuhna-Tuckera 5 Twierdzenia Karusha-Kuhna-Tuckera 6 Ograniczenia w

Bardziej szczegółowo

PROGRAMOWANIE KWADRATOWE

PROGRAMOWANIE KWADRATOWE PROGRAMOWANIE KWADRATOWE Programowanie kwadratowe Zadanie programowania kwadratowego: Funkcja celu lub/i co najmniej jedno z ograniczeń jest funkcją kwadratową. 2 Programowanie kwadratowe Nie ma uniwersalnej

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 3 autorzy: A. Gonczarek, J.M. Tomczak Zbiory i funkcje wypukłe Zad. 1 Pokazać, że następujące zbiory są wypukłe: a) płaszczyzna S = {x

Bardziej szczegółowo

Definicja problemu programowania matematycznego

Definicja problemu programowania matematycznego Definicja problemu programowania matematycznego minimalizacja lub maksymalizacja funkcji min (max) f(x) gdzie: x 1 x R n x 2, czyli: x = [ ] x n przy ograniczeniach (w skrócie: p.o.) p.o. g i (x) = b i

Bardziej szczegółowo

Rozwiazywanie układów równań liniowych. Ax = b

Rozwiazywanie układów równań liniowych. Ax = b Rozwiazywanie układów równań liniowych Ax = b 1 PLAN REFERATU: Warunki istnienia rozwiazań układu Metoda najmniejszych kwadratów Metoda najmniejszych kwadratów - algorytm rekurencyjny Rozwiazanie układu

Bardziej szczegółowo

PROGRAMOWANIE NIELINIOWE

PROGRAMOWANIE NIELINIOWE PROGRAMOWANIE NIELINIOWE Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie programowania nieliniowego (ZPN) min f(x) g i (x) 0, h i (x) = 0, i = 1,..., m g i = 1,..., m h f(x) funkcja celu g i (x) i

Bardziej szczegółowo

Wstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych

Wstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych Wstęp do przetwarzania języka naturalnego Wykład 11 Wojciech Czarnecki 8 stycznia 2014 Section 1 Przypomnienie Wektoryzacja tfidf Przypomnienie document x y z Antony and Cleopatra 5.25 1.21 1.51 Julius

Bardziej szczegółowo

Data Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa.

Data Mining Wykład 6. Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa. GLM (Generalized Linear Models) Data Mining Wykład 6 Naiwny klasyfikator Bayes a Maszyna wektorów nośnych (SVM) Naiwny klasyfikator Bayesa Naiwny klasyfikator Bayesa jest klasyfikatorem statystycznym -

Bardziej szczegółowo

Politechnika Wrocławska, Wydział Informatyki i Zarządzania. Optymalizacja

Politechnika Wrocławska, Wydział Informatyki i Zarządzania. Optymalizacja Politechnika Wrocławska, Wydział Informatyki i Zarządzania Optymalizacja Dla podanych niżej problemów decyzyjnych (zad.1 zad.5) należy sformułować zadania optymalizacji, tj.: określić postać zmiennych

Bardziej szczegółowo

Programowanie liniowe

Programowanie liniowe Programowanie liniowe Maciej Drwal maciej.drwal@pwr.wroc.pl 1 Problem programowania liniowego min x c T x (1) Ax b, (2) x 0. (3) gdzie A R m n, c R n, b R m. Oznaczmy przez x rozwiązanie optymalne, tzn.

Bardziej szczegółowo

Elementy Modelowania Matematycznego Wykład 7 Programowanie nieliniowe i całkowitoliczbowe

Elementy Modelowania Matematycznego Wykład 7 Programowanie nieliniowe i całkowitoliczbowe Spis treści Elementy Modelowania Matematycznego Wykład 7 i całkowitoliczbowe Romuald Kotowski Katedra Informatyki Stosowanej PJWSTK 2009 Spis treści Spis treści 1 Wstęp 2 3 Spis treści Spis treści 1 Wstęp

Bardziej szczegółowo

Jądrowe klasyfikatory liniowe

Jądrowe klasyfikatory liniowe Jądrowe klasyfikatory liniowe Waldemar Wołyński Wydział Matematyki i Informatyki UAM Poznań Wisła, 9 grudnia 2009 Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia 2009 1 / 19 Zagadnienie

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1

Bardziej szczegółowo

Endomorfizmy liniowe

Endomorfizmy liniowe Endomorfizmy liniowe Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 8. wykład z algebry liniowej Warszawa, listopad 2011 Mirosław Sobolewski (UW) Warszawa, listopad 2011 1 / 16 Endomorfizmy

Bardziej szczegółowo

Elementy Modelowania Matematycznego

Elementy Modelowania Matematycznego Elementy Modelowania Matematycznego Wykład 8 Programowanie nieliniowe Spis treści Programowanie nieliniowe Zadanie programowania nieliniowego Zadanie programowania nieliniowego jest identyczne jak dla

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej

Bardziej szczegółowo

Diagonalizacja macierzy i jej zastosowania

Diagonalizacja macierzy i jej zastosowania Diagonalizacja macierzy i jej zastosowania Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 9. wykład z algebry liniowej Warszawa, grudzień 2011 Mirosław Sobolewski (UW) Warszawa, grudzień

Bardziej szczegółowo

WYKŁAD 9 METODY ZMIENNEJ METRYKI

WYKŁAD 9 METODY ZMIENNEJ METRYKI WYKŁAD 9 METODY ZMIENNEJ METRYKI Kierunki sprzężone. Metoda Newtona Raphsona daje dobre przybliżenie najlepszego kierunku poszukiwań, lecz jest to okupione znacznym kosztem obliczeniowym zwykle postać

Bardziej szczegółowo

Programowanie matematyczne

Programowanie matematyczne dr Adam Sojda Badania Operacyjne Wykład Politechnika Śląska Programowanie matematyczne Programowanie matematyczne, to problem optymalizacyjny w postaci: f ( x) max przy warunkach g( x) 0 h( x) = 0 x X

Bardziej szczegółowo

1 Macierz odwrotna metoda operacji elementarnych

1 Macierz odwrotna metoda operacji elementarnych W tej części skupimy się na macierzach kwadratowych. Zakładać będziemy, że A M(n, n) dla pewnego n N. Definicja 1. Niech A M(n, n). Wtedy macierzą odwrotną macierzy A (ozn. A 1 ) nazywamy taką macierz

Bardziej szczegółowo

Maciej Grzesiak. Optymalizacja

Maciej Grzesiak. Optymalizacja Maciej Grzesiak Optymalizacja Oznaczenia. Część pojęć i twierdzeń jest formułowana dla ogólnej przestrzeni liniowej V. Jeśli jest ona skończenie wymiarowa, tzn. V = R n dla pewnego n, to wektory traktujemy

Bardziej szczegółowo

Diagonalizacja macierzy i jej zastosowania

Diagonalizacja macierzy i jej zastosowania Diagonalizacja macierzy i jej zastosowania Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 9. wykład z algebry liniowej Warszawa, listopad 2012 Mirosław Sobolewski (UW) Warszawa,listopad

Bardziej szczegółowo

Obliczenia naukowe Wykład nr 6

Obliczenia naukowe Wykład nr 6 Obliczenia naukowe Wykład nr 6 Paweł Zieliński Katedra Informatyki, Wydział Podstawowych Problemów Techniki, Politechnika Wrocławska Literatura Literatura podstawowa [1] D. Kincaid, W. Cheney, Analiza

Bardziej szczegółowo

Wstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa. P. F. Góra

Wstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa. P. F. Góra Wstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Uwarunkowanie zadania numerycznego Niech ϕ : R n R m będzie pewna funkcja odpowiednio wiele

Bardziej szczegółowo

Regulator liniowo kwadratowy na przykładzie wahadła odwróconego

Regulator liniowo kwadratowy na przykładzie wahadła odwróconego Regulator liniowo kwadratowy na przykładzie wahadła odwróconego kwiecień 2012 Sterowanie Teoria Przykład wahadła na wózku Dany jest system dynamiczny postaci: ẋ = f (x, u) (1) y = h(x) (2) Naszym zadaniem

Bardziej szczegółowo

Klasyfikatory SVM. Przemysław Klęsk. 1 Wiadomości ogólne 1. 2 Margines separacji Wzór na odległość punktu od płaszczyzny...

Klasyfikatory SVM. Przemysław Klęsk. 1 Wiadomości ogólne 1. 2 Margines separacji Wzór na odległość punktu od płaszczyzny... Klasyfikatory SVM Przemysław Klęsk Spis treści 1 Wiadomości ogólne 1 Margines separacji 3.1 Wzór na odległość punktu od płaszczyzny... 3 3 Przypadek liniowej separowalności danych znajdowanie płaszczyzny

Bardziej szczegółowo

Sterowanie optymalne

Sterowanie optymalne Sterowanie optymalne Sterowanie Procesami Ciągłymi 2017 Optymalizacja statyczna funkcji Funkcja celu/kryterialna/kosztów Ograniczenie Q(x) min x x = arg min Q(x) x x X, gdzie X zbiór rozwiązań dopuszczalnych

Bardziej szczegółowo

Zadania egzaminacyjne

Zadania egzaminacyjne Rozdział 13 Zadania egzaminacyjne Egzamin z algebry liniowej AiR termin I 03022011 Zadanie 1 Wyznacz sumę rozwiązań równania: (8z + 1 i 2 2 7 iz 4 = 0 Zadanie 2 Niech u 0 = (1, 2, 1 Rozważmy odwzorowanie

Bardziej szczegółowo

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych mgr inż. C. Dendek prof. nzw. dr hab. J. Mańdziuk Politechnika Warszawska, Wydział Matematyki i Nauk Informacyjnych Outline 1 Uczenie

Bardziej szczegółowo

Diagonalizacja macierzy i jej zastosowania

Diagonalizacja macierzy i jej zastosowania Diagonalizacja macierzy i jej zastosowania Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 9. wykład z algebry liniowej Warszawa, listopad 29 Mirosław Sobolewski (UW) Warszawa, wrzesień

Bardziej szczegółowo

Równania różniczkowe liniowe wyższych rzędów o stałych współcz

Równania różniczkowe liniowe wyższych rzędów o stałych współcz Równania różniczkowe liniowe wyższych rzędów o stałych współczynnikach Katedra Matematyki i Ekonomii Matematycznej SGH 12 maja 2016 Równanie liniowe n-tego rzędu Definicja Równaniem różniczkowym liniowym

Bardziej szczegółowo

W ostatnim wykładzie doszliśmy do tego, że problem znalezienia klasyfikatora optymalnego pod względem marginesów można wyrazić w następujący sposób:

W ostatnim wykładzie doszliśmy do tego, że problem znalezienia klasyfikatora optymalnego pod względem marginesów można wyrazić w następujący sposób: Spis treści 1 Maszyny Wektorów Wspierających 2 1.1 SVM w formaliźmie Lagranga 1.2 Przejście do pstaci dualnej 1.2.1 Wyznaczenie parametrów modelu: 1.2.2 Klasyfikacja: 2 Funkcje jądrowe 2.1 Mapowanie do

Bardziej szczegółowo

Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr.

Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr. Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr. Warszawa, 10 Marca 2016 Plan prezentacji. Definicja funkcji jądrowej. Plan prezentacji. Definicja funkcji jądrowej. Opis problemu

Bardziej szczegółowo

INTERPOLACJA I APROKSYMACJA FUNKCJI

INTERPOLACJA I APROKSYMACJA FUNKCJI Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Wprowadzenie Na czym polega interpolacja? Interpolacja polega

Bardziej szczegółowo

Metody numeryczne. Sformułowanie zagadnienia interpolacji

Metody numeryczne. Sformułowanie zagadnienia interpolacji Ćwiczenia nr 4. Sformułowanie zagadnienia interpolacji Niech będą dane punkty x 0,..., x n i wartości y 0,..., y n, takie że i=0,...,n y i = f (x i )). Szukamy funkcji F (funkcji interpolującej), takiej

Bardziej szczegółowo

φ(x 1,..., x n ) = a i x 2 i +

φ(x 1,..., x n ) = a i x 2 i + Teoria na egzamin z algebry liniowej Wszystkie podane pojęcia należy umieć określić i podać pprzykłady, ewentualnie kontrprzykłady. Ponadto należy znać dowody tam gdzie to jest zaznaczone. Liczby zespolone.

Bardziej szczegółowo

5. Rozwiązywanie układów równań liniowych

5. Rozwiązywanie układów równań liniowych 5. Rozwiązywanie układów równań liniowych Wprowadzenie (5.1) Układ n równań z n niewiadomymi: a 11 +a 12 x 2 +...+a 1n x n =a 10, a 21 +a 22 x 2 +...+a 2n x n =a 20,..., a n1 +a n2 x 2 +...+a nn x n =a

Bardziej szczegółowo

Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.

Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np. Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona f(x 0, f ( f, f,..., f n gdzie 2 x ( x, x 2,..., x n dla n2 np. f ( x, y 0 g( x, y 0 dla każdej wielowymiarowej rozwinięcie w szereg Taylora

Bardziej szczegółowo

Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa

Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa Systemy uczace się 2009 1 / 32 Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa Hung Son Nguyen Wydział Matematyki, Informatyki i Mechaniki Uniwersytet Warszawski email: son@mimuw.edu.pl Grudzień

Bardziej szczegółowo

Metody Obliczeniowe w Nauce i Technice

Metody Obliczeniowe w Nauce i Technice 9 - Rozwiązywanie układów równań nieliniowych Marian Bubak Department of Computer Science AGH University of Science and Technology Krakow, Poland bubak@agh.edu.pl dice.cyfronet.pl Contributors Anna Marciniec

Bardziej szczegółowo

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu 1 Metody rozwiązywania równań nieliniowych. Postawienie problemu Dla danej funkcji ciągłej f znaleźć wartości x, dla których f(x) = 0. (1) 2 Przedział izolacji pierwiastka Będziemy zakładać, że równanie

Bardziej szczegółowo

1 Formy hermitowskie. GAL (Informatyka) Wykład - formy hermitowskie. Paweł Bechler

1 Formy hermitowskie. GAL (Informatyka) Wykład - formy hermitowskie. Paweł Bechler GAL (Informatyka) Wykład - formy hermitowskie Wersja z dnia 23 stycznia 2014 Paweł Bechler 1 Formy hermitowskie Niech X oznacza przestrzeń liniową nad ciałem K. Definicja 1. Funkcję φ : X X K nazywamy

Bardziej szczegółowo

2. Kombinacja liniowa rozwiązań zeruje się w pewnym punkcie wtedy i tylko wtedy, gdy zeruje się w każdym punkcie.

2. Kombinacja liniowa rozwiązań zeruje się w pewnym punkcie wtedy i tylko wtedy, gdy zeruje się w każdym punkcie. Wniosek 1 Rozpatrzmy układ równań postaci: y 1 = a 11 (x)y 1 + + a 1n (x)y n y 2 = a 21 (x)y 1 + + a 2n (x)y n y n = a n1 (x)y 1 + + a nn (x)y n (1) o współczynnikach ciągłych w przedziale J 1 Rozwiązanie

Bardziej szczegółowo

wiedzy Sieci neuronowe

wiedzy Sieci neuronowe Metody detekcji uszkodzeń oparte na wiedzy Sieci neuronowe Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 7 Wprowadzenie Okres kształtowania się teorii sztucznych sieci

Bardziej szczegółowo

ALGORYTMY EWOLUCYJNE W OPTYMALIZACJI JEDNOKRYTERIALNEJ

ALGORYTMY EWOLUCYJNE W OPTYMALIZACJI JEDNOKRYTERIALNEJ ALGORYTMY EWOLUCYJNE W OPTYMALIZACJI JEDNOKRYTERIALNEJ Zalety: nie wprowadzają żadnych ograniczeń na sformułowanie problemu optymalizacyjnego. Funkcja celu może być wielowartościowa i nieciągła, obszar

Bardziej szczegółowo

5. Analiza dyskryminacyjna: FLD, LDA, QDA

5. Analiza dyskryminacyjna: FLD, LDA, QDA Algorytmy rozpoznawania obrazów 5. Analiza dyskryminacyjna: FLD, LDA, QDA dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Liniowe funkcje dyskryminacyjne Liniowe funkcje dyskryminacyjne mają ogólną

Bardziej szczegółowo

Wektor, prosta, płaszczyzna; liniowa niezależność, rząd macierzy

Wektor, prosta, płaszczyzna; liniowa niezależność, rząd macierzy Wektor, prosta, płaszczyzna; liniowa niezależność, rząd macierzy Justyna Winnicka Na podstawie podręcznika Matematyka. e-book M. Dędys, S. Dorosiewicza, M. Ekes, J. Kłopotowskiego. rok akademicki 217/218

Bardziej szczegółowo

3. Funkcje wielu zmiennych

3. Funkcje wielu zmiennych 3 Funkcje wielu zmiennych 31 Ciagłość Zanim podamy definicję ciagłości dla funkcji wielu zmiennych wprowadzimy bardzo ogólne i abstrakcyjne pojęcie przestrzeni metrycznej Przestrzeń metryczna Metryka w

Bardziej szczegółowo

Definicje i przykłady

Definicje i przykłady Rozdział 1 Definicje i przykłady 1.1 Definicja równania różniczkowego 1.1 DEFINICJA. Równaniem różniczkowym zwyczajnym rzędu n nazywamy równanie F (t, x, ẋ, ẍ,..., x (n) ) = 0. (1.1) W równaniu tym t jest

Bardziej szczegółowo

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne Wykład 1 Zadanie Definicja 1.1. (zadanie) Zadaniem nazywamy zagadnienie znalezienia rozwiązania x spełniającego równanie F (x, d) = 0, gdzie d jest zbiorem danych (od których zależy rozwiązanie x), a F

Bardziej szczegółowo

Lista. Algebra z Geometrią Analityczną. Zadanie 1 Przypomnij definicję grupy, które z podanych struktur są grupami:

Lista. Algebra z Geometrią Analityczną. Zadanie 1 Przypomnij definicję grupy, które z podanych struktur są grupami: Lista Algebra z Geometrią Analityczną Zadanie 1 Przypomnij definicję grupy, które z podanych struktur są grupami: (N, ), (Z, +) (Z, ), (R, ), (Q \ {}, ) czym jest element neutralny i przeciwny w grupie?,

Bardziej szczegółowo

Popularne klasyfikatory w pakietach komputerowych

Popularne klasyfikatory w pakietach komputerowych Popularne klasyfikatory w pakietach komputerowych Klasyfikator liniowy Uogólniony klasyfikator liniowy SVM aiwny klasyfikator bayesowski Ocena klasyfikatora ROC Lista popularnych pakietów Klasyfikator

Bardziej szczegółowo

Wyk lad 14 Formy kwadratowe I

Wyk lad 14 Formy kwadratowe I Wyk lad 14 Formy kwadratowe I Wielomian n-zmiennych x 1,, x n postaci n a ij x i x j, (1) gdzie a ij R oraz a ij = a ji dla wszystkich i, j = 1,, n nazywamy forma kwadratowa n-zmiennych Forme (1) można

Bardziej szczegółowo

Metody Numeryczne Wykład 4 Wykład 5. Interpolacja wielomianowa

Metody Numeryczne Wykład 4 Wykład 5. Interpolacja wielomianowa Sformułowanie zadania interpolacji Metody Numeryczne Wykład 4 Wykład 5 Interpolacja wielomianowa Niech D R i niech F bȩdzie pewnym zbiorem funkcji f : D R. Niech x 0, x 1,..., x n bȩdzie ustalonym zbiorem

Bardziej szczegółowo

Wyk lad 11 1 Wektory i wartości w lasne

Wyk lad 11 1 Wektory i wartości w lasne Wyk lad 11 Wektory i wartości w lasne 1 Wektory i wartości w lasne Niech V bedzie przestrzenia liniowa nad cia lem K Każde przekszta lcenie liniowe f : V V nazywamy endomorfizmem liniowym przestrzeni V

Bardziej szczegółowo

Entropia Renyi ego, estymacja gęstości i klasyfikacja

Entropia Renyi ego, estymacja gęstości i klasyfikacja Entropia Renyi ego, estymacja gęstości i klasyfikacja Wojciech Czarnecki Jacek Tabor 6 lutego 2014 1 / Wojciech Czarnecki, Jacek Tabor Renyi s Multithreshold Linear Classifier 1/36 36 2 / Wojciech Czarnecki,

Bardziej szczegółowo

2. Układy równań liniowych

2. Układy równań liniowych 2. Układy równań liniowych Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie zima 2017/2018 rzegorz Kosiorowski (Uniwersytet Ekonomiczny w Krakowie) 2. Układy równań liniowych zima 2017/2018 1 /

Bardziej szczegółowo

dr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory;

dr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory; Wykłady 8 i 9 Pojęcia przestrzeni wektorowej i macierzy Układy równań liniowych Elementy algebry macierzy dodawanie, odejmowanie, mnożenie macierzy; macierz odwrotna dr Mariusz Grządziel 15,29 kwietnia

Bardziej szczegółowo

Aproksymacja. j<k. L 2 p[a, b] l 2 p,n X = Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza przestrzeni liniowej Π n. Dowód.

Aproksymacja. j<k. L 2 p[a, b] l 2 p,n X = Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza przestrzeni liniowej Π n. Dowód. Metody numeryczne Paweł Zieliński p. 1/19 Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza bazę przestrzeni liniowej Π n. Dowód. Lemat 2. Dowolny wielomian Q j stopnia j niższego od k jest prostopadły

Bardziej szczegółowo

Metody Numeryczne Optymalizacja. Wojciech Szewczuk

Metody Numeryczne Optymalizacja. Wojciech Szewczuk Metody Numeryczne Optymalizacja Optymalizacja Definicja 1 Przez optymalizację będziemy rozumieć szukanie minimów lub maksimów funkcji. Optymalizacja Definicja 2 Optymalizacja lub programowanie matematyczne

Bardziej szczegółowo

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne Wykład 11 Ogólna postać metody iteracyjnej Definicja 11.1. (metoda iteracyjna rozwiązywania układów równań) Metodą iteracyjną rozwiązywania { układów równań liniowych nazywamy ciąg wektorów zdefiniowany

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja

Bardziej szczegółowo

1 Układy równań liniowych

1 Układy równań liniowych II Metoda Gaussa-Jordana Na wykładzie zajmujemy się układami równań liniowych, pojawi się też po raz pierwszy macierz Formalną (i porządną) teorią macierzy zajmiemy się na kolejnych wykładach Na razie

Bardziej szczegółowo

Własności wyznacznika

Własności wyznacznika Własności wyznacznika Rozwinięcie Laplace a względem i-tego wiersza: n det(a) = ( 1) i+j a ij M ij (A), j=1 gdzie M ij (A) to minor (i, j)-ty macierzy A, czyli wyznacznik macierzy uzyskanej z macierzy

Bardziej szczegółowo

Interpolacja. Marcin Orchel. Drugi przypadek szczególny to interpolacja trygonometryczna

Interpolacja. Marcin Orchel. Drugi przypadek szczególny to interpolacja trygonometryczna Interpolacja Marcin Orchel 1 Wstęp Mamy daną funkcję φ (x; a 0,..., a n ) zależną od n + 1 parametrów a 0,..., a n. Zadanie interpolacji funkcji φ polega na określeniu parametrów a i tak aby dla n + 1

Bardziej szczegółowo

ALGORYTMY OPTYMALIZACJI wyklad 1.nb 1. Wykład 1

ALGORYTMY OPTYMALIZACJI wyklad 1.nb 1. Wykład 1 ALGORYTMY OPTYMALIZACJI wyklad.nb Wykład. Sformułowanie problemu optymalizacyjnego Z ksiąŝki Practical Optimization Methods: With Mathematica Applications by: M.A.Bhatti, M.Asghar Bhatti ü Przykład. (Zagadnienie

Bardziej szczegółowo

Programowanie liniowe

Programowanie liniowe Badania operacyjne Problem Model matematyczny Metoda rozwiązania Znaleźć optymalny program produkcji. Zmaksymalizować 1 +3 2 2 3 (1) Przy ograniczeniach 3 1 2 +2 3 7 (2) 2 1 +4 2 12 (3) 4 1 +3 2 +8 3 10

Bardziej szczegółowo

Mnożniki funkcyjne Lagrange a i funkcje kary w sterowaniu optymalnym

Mnożniki funkcyjne Lagrange a i funkcje kary w sterowaniu optymalnym Mnożniki funkcyjne Lagrange a i funkcje kary w sterowaniu optymalnym Sprowadzanie zadań sterowania optymalnego do zadań wariacyjnych metod a funkcji kary i mnożników Lagrange a - zadania sterowania optymalnego

Bardziej szczegółowo

Zadania do wykładu Jakościowa Teoria Równań Różniczkowych Zwyczajnych

Zadania do wykładu Jakościowa Teoria Równań Różniczkowych Zwyczajnych Zadania do wykładu Jakościowa Teoria Równań Różniczkowych Zwyczajnych [ ] e Zadanie 1 Pokazać, że X(t) = 2t cos t sin t e 2t jest specjalną macierzą fundamentalną w sin t cos t [ 2 cos chwili τ = 0 układu

Bardziej szczegółowo

Programowanie liniowe

Programowanie liniowe Programowanie liniowe Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW wykład z algebry liniowej Warszawa, styczeń 2010 Mirosław Sobolewski (UW) Warszawa, 2009 1 / 15 Homo oeconomicus=

Bardziej szczegółowo

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium Zadanie nr 3 Osada autor: A Gonczarek Celem poniższego zadania jest zrealizowanie fragmentu komputerowego przeciwnika w grze strategiczno-ekonomicznej

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji

Bardziej szczegółowo

Równania różniczkowe liniowe rzędu pierwszego

Równania różniczkowe liniowe rzędu pierwszego Katedra Matematyki i Ekonomii Matematycznej SGH 21 kwietnia 2016 Wstęp Definicja Równanie różniczkowe + p (x) y = q (x) (1) nazywamy równaniem różniczkowym liniowym pierwszego rzędu. Jeśli q (x) 0, to

Bardziej szczegółowo

Formy kwadratowe. Mirosław Sobolewski. Wydział Matematyki, Informatyki i Mechaniki UW. wykład z algebry liniowej Warszawa, styczeń 2009

Formy kwadratowe. Mirosław Sobolewski. Wydział Matematyki, Informatyki i Mechaniki UW. wykład z algebry liniowej Warszawa, styczeń 2009 Formy kwadratowe Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW wykład z algebry liniowej Warszawa, styczeń 2009 Mirosław Sobolewski (UW) Warszawa, 2009 1 / 15 Definicja Niech V, W,

Bardziej szczegółowo

Klasyfikator liniowy Wstęp Klasyfikator liniowy jest najprostszym możliwym klasyfikatorem. Zakłada on liniową separację liniowy podział dwóch klas między sobą. Przedstawia to poniższy rysunek: 5 4 3 2

Bardziej szczegółowo

ELEMENTY ANALIZY NUMERYCZNEJ ELEMENTY ANALIZY NUMERYCZNEJ. Egzamin pisemny zestaw 1 24 czerwca 2019 roku

ELEMENTY ANALIZY NUMERYCZNEJ ELEMENTY ANALIZY NUMERYCZNEJ. Egzamin pisemny zestaw 1 24 czerwca 2019 roku Egzamin pisemny zestaw. ( pkt.) Udowodnić, że jeśli funkcja g interpoluje funkcję f w węzłach x 0, x, K, x n, a funk- cja h interpoluje funkcję f w węzłach x, x, K, x n, to funkcja x0 x gx ( ) + [ gx (

Bardziej szczegółowo

Przestrzeń unitarna. Jacek Kłopotowski. 23 października Katedra Matematyki i Ekonomii Matematycznej SGH

Przestrzeń unitarna. Jacek Kłopotowski. 23 października Katedra Matematyki i Ekonomii Matematycznej SGH Katedra Matematyki i Ekonomii Matematycznej SGH 23 października 2018 Definicja iloczynu skalarnego Definicja Iloczynem skalarnym w przestrzeni liniowej R n nazywamy odwzorowanie ( ) : R n R n R spełniające

Bardziej szczegółowo

Równania różniczkowe liniowe II rzędu

Równania różniczkowe liniowe II rzędu Równania różniczkowe liniowe II rzędu Definicja równania różniczkowego liniowego II rzędu Warunki początkowe dla równania różniczkowego II rzędu Równania różniczkowe liniowe II rzędu jednorodne (krótko

Bardziej szczegółowo

jest rozwiązaniem równania jednorodnego oraz dla pewnego to jest toŝsamościowo równe zeru.

jest rozwiązaniem równania jednorodnego oraz dla pewnego to jest toŝsamościowo równe zeru. Układy liniowe Układ liniowy pierwszego rzędu, niejednorodny. gdzie Jeśli to układ nazywamy jednorodnym Pamiętamy, Ŝe kaŝde równanie liniowe rzędu m moŝe zostać sprowadzone do układu n równań liniowych

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji

Bardziej szczegółowo

ROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH

ROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH Transport, studia I stopnia Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym

Bardziej szczegółowo

Metody numeryczne. Równania nieliniowe. Janusz Szwabiński.

Metody numeryczne. Równania nieliniowe. Janusz Szwabiński. Metody numeryczne Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl nm_slides-9.tex Metody numeryczne Janusz Szwabiński 7/1/2003 20:18 p.1/64 Równania nieliniowe 1. Równania nieliniowe z pojedynczym

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z liniowym zadaniem najmniejszych

Bardziej szczegółowo

) a j x j b; x j binarne (j N) całkowitoliczbowe; przyjmujemy (bez straty ogólności): c j > 0, 0 <a j b (j N), P n

) a j x j b; x j binarne (j N) całkowitoliczbowe; przyjmujemy (bez straty ogólności): c j > 0, 0 <a j b (j N), P n PDczęść4 8. Zagadnienia załadunku 8.1 Klasyczne zagadnienia załadunku (ozn. N = {1, 2,..., n} Binarny problem ( (Z v(z =max c j x j : a j x j b; x j binarne (j N zakładamy, że wszystkie dane sa całkowitoliczbowe;

Bardziej szczegółowo

Rachunek różniczkowy funkcji dwóch zmiennych

Rachunek różniczkowy funkcji dwóch zmiennych Rachunek różniczkowy funkcji dwóch zmiennych Definicja Spis treści: Wykres Ciągłość, granica iterowana i podwójna Pochodne cząstkowe Różniczka zupełna Gradient Pochodna kierunkowa Twierdzenie Schwarza

Bardziej szczegółowo

VII. Elementy teorii stabilności. Funkcja Lapunowa. 1. Stabilność w sensie Lapunowa.

VII. Elementy teorii stabilności. Funkcja Lapunowa. 1. Stabilność w sensie Lapunowa. VII. Elementy teorii stabilności. Funkcja Lapunowa. 1. Stabilność w sensie Lapunowa. W rozdziale tym zajmiemy się dokładniej badaniem stabilności rozwiązań równania różniczkowego. Pojęcie stabilności w

Bardziej szczegółowo

Metody numeryczne I Równania nieliniowe

Metody numeryczne I Równania nieliniowe Metody numeryczne I Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne I (C) 2004 Janusz Szwabiński p.1/66 Równania nieliniowe 1. Równania nieliniowe z pojedynczym pierwiastkiem

Bardziej szczegółowo

Informacja o przestrzeniach Sobolewa

Informacja o przestrzeniach Sobolewa Wykład 11 Informacja o przestrzeniach Sobolewa 11.1 Definicja przestrzeni Sobolewa Niech R n będzie zbiorem mierzalnym. Rozważmy przestrzeń Hilberta X = L 2 () z iloczynem skalarnym zdefiniowanym równością

Bardziej szczegółowo

Numeryczne metody optymalizacji Optymalizacja w kierunku. informacje dodatkowe

Numeryczne metody optymalizacji Optymalizacja w kierunku. informacje dodatkowe Numeryczne metody optymalizacji Optymalizacja w kierunku informacje dodatkowe Numeryczne metody optymalizacji x F x = min x D x F(x) Problemy analityczne: 1. Nieliniowa złożona funkcja celu F i ograniczeń

Bardziej szczegółowo

ELEMENTY ANALIZY NUMERYCZNEJ ELEMENTY ANALIZY NUMERYCZNEJ. Egzamin pisemny zestaw 1 26 czerwca 2017 roku

ELEMENTY ANALIZY NUMERYCZNEJ ELEMENTY ANALIZY NUMERYCZNEJ. Egzamin pisemny zestaw 1 26 czerwca 2017 roku Egzamin pisemny zestaw czerwca 0 roku Imię i nazwisko:.... ( pkt.) Udowodnić, że jeśli funkcja g interpoluje funkcję f w węzłach x 0, x, K, x n, a funk- cja h interpoluje funkcję f w węzłach x, x, K, x

Bardziej szczegółowo

6. Perceptron Rosenblatta

6. Perceptron Rosenblatta 6. Perceptron Rosenblatta 6-1 Krótka historia perceptronu Rosenblatta 6-2 Binarne klasyfikatory liniowe 6-3 Struktura perceptronu Rosenblatta 6-4 Perceptron Rosenblatta a klasyfikacja 6-5 Perceptron jednowarstwowy:

Bardziej szczegółowo

Wykład 3 Równania rózniczkowe cd

Wykład 3 Równania rózniczkowe cd 7 grudnia 2010 Definicja Równanie różniczkowe dy dx + p (x) y = q (x) (1) nazywamy równaniem różniczkowym liniowym pierwszego rzędu. Jeśli q (x) 0, to równanie (1) czyli równanie dy dx + p (x) y = 0 nazywamy

Bardziej szczegółowo

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne Wykład 10 Rozkład LU i rozwiązywanie układów równań liniowych Niech będzie dany układ równań liniowych postaci Ax = b Załóżmy, że istnieją macierze L (trójkątna dolna) i U (trójkątna górna), takie że macierz

Bardziej szczegółowo

ALGEBRA LINIOWA Z ELEMENTAMI GEOMETRII ANALITYCZNEJ

ALGEBRA LINIOWA Z ELEMENTAMI GEOMETRII ANALITYCZNEJ ALGEBRA LINIOWA Z ELEMENTAMI GEOMETRII ANALITYCZNEJ WSHE, O/K-CE 10. Homomorfizmy Definicja 1. Niech V, W będą dwiema przestrzeniami liniowymi nad ustalonym ciałem, odwzorowanie ϕ : V W nazywamy homomorfizmem

Bardziej szczegółowo

a 11 a a 1n a 21 a a 2n... a m1 a m2... a mn x 1 x 2... x m ...

a 11 a a 1n a 21 a a 2n... a m1 a m2... a mn x 1 x 2... x m ... Wykład 15 Układy równań liniowych Niech K będzie ciałem i niech α 1, α 2,, α n, β K. Równanie: α 1 x 1 + α 2 x 2 + + α n x n = β z niewiadomymi x 1, x 2,, x n nazywamy równaniem liniowym. Układ: a 21 x

Bardziej szczegółowo

1 Pochodne wyższych rzędów

1 Pochodne wyższych rzędów 1 Pochodne wyższych rzędów Definicja 1.1 (Pochodne cząstkowe drugiego rzędu) Niech f będzie odwzorowaniem o wartościach w R m, określonym na zbiorze G R k. Załóżmy, że zbiór tych x G, dla których istnieje

Bardziej szczegółowo