6. Identyfikacja wielowymiarowych systemów statycznych metodanajmniejszychkwadratów

Podobne dokumenty
x x 1. Przedmiot identyfikacji System x (1) x (2) : x (s) a 1 a 2 : a s mierzone, a = zestaw współczynników konkretyzujacych F ()

#09. Systemy o złożonej strukturze

10. Metody obliczeniowe najmniejszych kwadratów

Uogólniona Metoda Momentów

Modele zapisane w przestrzeni stanów

Prawdopodobieństwo i statystyka

Prawdopodobieństwo i statystyka

Rozwiazywanie układów równań liniowych. Ax = b

Metody dekompozycji macierzy stosowane w automatyce

Wstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa. P. F. Góra

WYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki

dr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory;

Statystyka i eksploracja danych

Statystyka opisowa. Wykład V. Regresja liniowa wieloraka

1. Pojęcie normy, normy wektora [Kiełbasiński, Schwetlick]

Metoda momentów i kwantyli próbkowych. Wrocław, 7 listopada 2014

WYKŁAD: Szeregi czasowe I. Zaawansowane Metody Uczenia Maszynowego

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów

Rachunek prawdopodobieństwa Rozdział 5. Rozkłady łączne

1.1 Klasyczny Model Regresji Liniowej

Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.

Ważne rozkłady i twierdzenia c.d.

Zadania z Algebry liniowej 4 Semestr letni 2009

Prawdopodobieństwo i statystyka

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Aproksymacja. j<k. L 2 p[a, b] l 2 p,n X = Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza przestrzeni liniowej Π n. Dowód.

KADD Metoda najmniejszych kwadratów funkcje nieliniowe

Wstęp do metod numerycznych Faktoryzacja QR i SVD. P. F. Góra

Własności statystyczne regresji liniowej. Wykład 4

1 Gaussowskie zmienne losowe

φ(x 1,..., x n ) = a i x 2 i +

Wykład 3 Jednowymiarowe zmienne losowe

2 1 3 c c1. e 1, e 2,..., e n A= e 1 e 2...e n [ ] M. Przybycień Matematyczne Metody Fizyki I

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład

Zadanie 1 Zakładając liniową relację między wydatkami na obuwie a dochodem oszacować MNK parametry modelu: y t. X 1 t. Tabela 1.

Stacjonarne procesy gaussowskie, czyli o zwiazkach pomiędzy zwykła

Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe

Metody iteracyjne rozwiązywania układów równań liniowych (5.3) Normy wektorów i macierzy (5.3.1) Niech. x i. i =1

Komputerowa Analiza Danych Doświadczalnych

STATYSTYKA. Rafał Kucharski. Uniwersytet Ekonomiczny w Katowicach 2015/16 ROND, Finanse i Rachunkowość, rok 2

MATEMATYKA I SEMESTR ALK (PwZ) 1. Sumy i sumy podwójne : Σ i ΣΣ

Losowe zmienne objaśniające. Rozszerzenia KMRL. Rozszerzenia KMRL

Stanisław Cichocki Natalia Nehrebecka. Zajęcia 8

UKŁADY RÓWNAŃ LINIOWYCH - Metody dokładne

Zależność. przyczynowo-skutkowa, symptomatyczna, pozorna (iluzoryczna),

Wykład 14. Elementy algebry macierzy

Zadania egzaminacyjne

Równania liniowe. Rozdział Przekształcenia liniowe. Niech X oraz Y będą dwiema niepustymi przestrzeniami wektorowymi nad ciałem

Metoda największej wiarogodności

1 Macierze i wyznaczniki

Stosowana Analiza Regresji

Metoda największej wiarygodności

UKŁADY RÓWNAŃ LINIOWYCH -Metody dokładne

Komputerowa analiza zagadnień różniczkowych 10. Dwupunktowe problemy brzegowe (BVP, Boundary Value Problems)

METODY NUMERYCZNE. wykład. konsultacje: wtorek 10:00-11:30 środa 10:00-11:30. dr inż. Grażyna Kałuża pokój

Baza w jądrze i baza obrazu ( )

Zaawansowane metody numeryczne

Wykład 5. Metoda eliminacji Gaussa

Estymacja wektora stanu w prostym układzie elektroenergetycznym

Wprowadzenie do teorii ekonometrii. Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe

Wstęp do metod numerycznych Eliminacja Gaussa Równania macierzowe. P. F. Góra

Rachunek różniczkowy i całkowy w przestrzeniach R n

Programowanie celowe #1

1. Liczby zespolone i

Rozkłady łaczne wielu zmiennych losowych

Przestrzeń unitarna. Jacek Kłopotowski. 23 października Katedra Matematyki i Ekonomii Matematycznej SGH

3 1 + i 1 i i 1 2i 2. Wyznaczyć macierze spełniające własność komutacji: [A, X] = B

Ekonometria. Prognozowanie ekonometryczne, ocena stabilności oszacowań parametrów strukturalnych. Jakub Mućk. Katedra Ekonomii Ilościowej

Geometria Lista 0 Zadanie 1

Wykład 3 Momenty zmiennych losowych.

METODY ESTYMACJI PUNKTOWEJ. nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie

Wykład 3 Momenty zmiennych losowych.

Lista nr 1 - Liczby zespolone

Macierze. Rozdział Działania na macierzach

Obliczenia naukowe Wykład nr 8

Metoda najmniejszych kwadratów

Układy równań i równania wyższych rzędów

POD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH

Rozdzia l 11. Przestrzenie Euklidesowe Definicja, iloczyn skalarny i norma. iloczynem skalarnym.

Lista. Algebra z Geometrią Analityczną. Zadanie 1 Zapisz za pomocą spójników logicznych i kwantyfikatorów: x jest większe niż 6 lub mniejsze niż 4

Aproksymacja. funkcji: ,a 2. ,...,a m. - są funkcjami bazowymi m+1 wymiarowej podprzestrzeni liniowej X m+1

Powtórzenie wiadomości z rachunku prawdopodobieństwa i statystyki.

wszystkich kombinacji liniowych wektorów układu, nazywa się powłoką liniową uk ładu wektorów

Statystyczna analiza danych (molekularnych) modele liniowe

Elementy Modelowania Matematycznego Wykład 4 Regresja i dyskryminacja liniowa

1. PODSTAWY TEORETYCZNE

Lista. Przestrzenie liniowe. Zadanie 1 Sprawdź, czy (V, +, ) jest przestrzenią liniową nadr :

Heteroscedastyczność. Zjawisko heteroscedastyczności Uogólniona Metoda Najmniejszych Kwadratów Stosowalna Metoda Najmniejszych Kwadratów

Statystyka. Wykład 9. Magdalena Alama-Bućko. 7 maja Magdalena Alama-Bućko Statystyka 7 maja / 40

R n = {(x 1, x 2,..., x n ): x i R, i {1,2,...,n} },

Wprowadzenie. { 1, jeżeli ˆr(x) > 0, pozatym. Regresja liniowa Regresja logistyczne Jądrowe estymatory gęstości. Metody regresyjne

Funkcje - monotoniczność, różnowartościowość, funkcje parzyste, nieparzyste, okresowe. Funkcja liniowa.

Funkcje liniowe i wieloliniowe w praktyce szkolnej. Opracowanie : mgr inż. Renata Rzepińska

Postać Jordana macierzy

12DRAP - parametry rozkładów wielowymiarowych

Rozdział 5. Macierze. a 11 a a 1m a 21 a a 2m... a n1 a n2... a nm

Przekształcenia liniowe

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne

Ekonometria. Wprowadzenie do modelowania ekonometrycznego Estymator KMNK. Jakub Mućk. Katedra Ekonomii Ilościowej

Transkrypt:

6. Identyfikacja wielowymiarowych systemów statycznych metodanajmniejszychkwadratów

. Przedmiot identyfikacji System () x (2) x * a z y ( s ) x y = F (x,z)=f(x,z,a ),gdziex = F () znane, a nieznane x () x (2) : x (s) mierzone, a = a a 2 : a s zestaw współczynników konkretyzujacych F () informacja aprioryczna F {F (x,z,a); a R s } istnieje dokładnie jedno a,takieże F (x,z)=f(x,z,a ) dla każdej pary (x,z) (identyfikowalność) informacja pomiarowa {x k,y k } cel znaleźć przepis Ψ() (algorytm identyfikacji) Ψ(inf. aprioryczna, inf. pomiarowa) =a a

założenia o zakłóceniach natura procesów własności a praktyczne: wartości Ea [i] i vara [i] asymptotyczne: fakt i typ zbieżności a a jest addytywne, tj. y = F (x, a )+z {z k } ci ag i.i.d. Ez = 0 varz < z,x niezależne z losowe,x deterministyczne lub losowe, y losowe, a losowe 2. Metoda najmniejszych kwadratów (Gauss 809) wskaźnik teoretyczny oceniajacy jakość dopasowania Q J (a) =E{y F (x, a)} 2 min a Q J (a) = E{F (x, a )+z F (x, a)} 2 = E{[F (x, a ) F (x, a)] 2 +2[F (x, a ) F (x, a)]z + z 2 } = = E{F (x, a ) F (x, a)} 2 + varz konkluzja a =argminq J (a) a w praktyce nie jest możliwe obliczenie Q J (a) (brak znajomości odpowiednich rozkładów), proponuje się estymację wartości oczekiwanej za pomoca wartości średniej Q J, (a) = {y k F (x k, a)} 2 min a

uśredniane składniki {y k F (x k, a)} 2 tworzaci ag i.i.d., zatem na podstawie MPWL Q J, (a) p. Q J (a), gdy pytanie: czy prawdziwe jest następujace wnioskowanie odpowiedź: tylko wtedy, gdy Q J, (a) p. Q J (a) = arg min Q J, (a) p. arg min a a Q J (a) 3. Liniowy system statyczny MIMO sup( Q J, (a) Q J (a)) p. 0 a opis macierzowo wektorowy równanie pomiarów wektor wyjść modelu = x x 2 : x = y = a x + z = x a + z y k = x k a + z k, k =, 2,..., x () x (2).. x (s) x () 2 x (2) 2.. x (s) 2........ x () x(2).. x(s), Y = Y = a + Z Y = a y y 2 : y, Z = z z 2 : z

empiryczne kryterium jakości gradient Q J, (a) = {y k x k a} 2 =(Y a) (Y a)=y a 2 2 =... kwadrat normy euklidesowej równanie normalne... = (Y a )(Y a)=y Y a Y Y a + a 2 min a dim = s s, dim Y = s, dim a = s kwestia isnienia rozwiazania kwestia jednoznaczności rozwiazania Fakt: rank = rank = rank. Warunek jednoznaczności: rank = s a Q J, (a) = 2 Y +2 a =0 a = Y lincol = lincol det > 0 (= 0) inaczej rank = s (nieosobliwa) ) s dostatecznie dużo pomiarów (warunek konieczny, ale nie wystarczajacy) 2) wśród pomiarów musi się znaleźć s niezeleżnych liniowo wektorów Gdy rank <s, wtedy rozwiazanie równania normalnego nie jest jednoznaczne.

kwestia nazwy równania (normalność-prostopadłość) (Y a) = 0 (Y Y ) = 0,gdzieY wyjście modelu o parametrach a = [col x, col 2 x,..., col s x] Y wniosek : Y lincol natomiast w ogólności : Y / lincol = a col x + a 2 col 2 x +... + a s col s x liniowa kombinacja wektorów kolumnowych Y colx Y col2x (Y Y )=0 (col x i) (Y Y )=0dla każdego i =, 2,..., s wniosek: wektor różnicy Y Y jest prostopadły dokażdej z kolumn col x i (rzut prostopadły jest najkrótszy )

4. Własności asymptotyczne estymatora K wejście losowe a = Y {x (i) k }, {z k} dwa niezależne od siebie ciagi losowe typu i.i.d., Ez k =0 y = x a + z xy = xx a + xz Exy = (Exx )a + Exz prawdziwe a = (Exx ) Exy, macierz Exx musi być nieosobliwa (wymaganie dot. rozkładów) korzystajac z alternatywnych postaci = x k x k, Y = estymator K można zapisać następujaco a = elementy {x k x k } saci agami typu i.i.d. (stac.) Ex k x k = Exx dlakażdego k =, 2,..., wniosek x k y k x k x k x k x k x k y k p. Exx,gdy (wyprowadzić!) aponieważ odwracanie macierzy jest operacjaci agła, to x k x p. k Exx,gdy ()

elementy {x k y k } saci agami typu i.i.d. (stac.) Ex k y k = Exy dlakażdego k =, 2,..., wniosek x k y k p. Exy, gdy (2) zatem na podstawie () i (2) a p. a,gdy Przy losowym pobudzeniu i powziętych założeniach, a jest estymatorem mocno zgodnym parametrów a

5. Własności asymptotyczne estymatora K wejście deterministyczne a = Y = ( a + Z )=a + = a + x k x k x k z k ) czynnik x kx k jest czysto deterministyczny 2) {x k z k } niezależne(niemusz abyć typu i.i.d.) 3) Ex k z k = x k Ez k =0,dlakażdego k 4) dodatkowy warunek dotyczacy deterministycznego wejścia (patrz II wersja MPWL) Jeżeli dodatkowo to σ 2 z varx (i) k z k =[x (i) k ]2 varz k =[x (i) k ]2 σ 2 z < [x (i) k ]2 k 2 Przykład ograniczonego wejścia deterministycznego tj. <, dlakażdego i =, 2,..., s x k z k p. 0, gdy x (i) di Z = x [ d,d ] [ d 2,d 2 ]... [ d s,d s ] wielowymiarowy przedział

6. Własności estymatora K dla < analiza obciażenie oznaczajac L a Ea = otrzymujemy a = L Y (estymator liniowy) = L Y = L ( a + Z )=a + L Z = a + E {L } E {Z } = a wniosek: a jest nieobciażony zarówno dla wejścia losowego, jak i deterministycznego analiza macierzy kowariancji cov(a ) = E (a a )(a a ) a a = L Z cov(a ) = E L Z Z L = L EZ Z L struktura macierzy kowariancji zakłóceń EZ Z jest następuj aca EZ Z = Ez 2 Ez z 2.. Ez z Ez 2 z Ez 2 2.. : : : : : Ez z.... Ez 2 = σ2 zi zatem cov(a )=σ 2 zl L postać macierzy L L L L = =

wniosek cov(a )=σ 2 z planowanie ortogonalne gdy jest macierza diagonalna (eksperyment czynny wejście deterministyczne) 6.. Optumalność a w klasie estymatorów LUE klasa LUE {α : α = M Y, Eα = a, M deterministyczna} wartość oczekiwana Eα = EM Y = EM a + EM Z wniosek: M = I macierz kowariancji cov(α ) = E M Z ZM = M EZ Z M cov(α ) = σ 2 zm M pokażemy, że cov(a ) cov(α ) co oznacza znak w odniesieniu do macierzy? Definicja Macierz A R n,n jest nieujemnie określona (zapisujemy A 0), jeśli dla każdego wektora w = R n zachodzi w Aw 0 wierdzenie Macierz postaci AA jest zawsze nieujemenie określona.

podstawmy A = M L spostrzeżenia (M L )(M L ) =(M L )(M L )=M M M L L M + L L =( ) M L L M = M = I = = L L = (M L ) = L L zatem ( )=M M L L zaś na podstawie wierdzenia M M L L 0 / σ 2 z cov(α ) cov(a ) 0