Poltechka Gdańska Wydzał Elektrotechk Automatyk Katedra Iżyer Systemów Sterowaa MODELOWANIE I PODSAWY IDENYFIKACI Wybrae zagadea z optymalzacj. Materały pomoccze do zajęć ćwczeowych 5 Opracowae: Kazmerz Duzkewcz, dr hab. ż. Mchał Grochowsk, dr ż. Robert Potrowsk, dr ż. Arkadusz Cmńsk, mgr ż.
Metody wyzaczaa wartośc estymowaych podstawy optymalzacj Defcja zadaa optymalzacj W celu wyzaczea ajlepszych wartośc estymowaych welkośc ˆ ależy rozwązać zadae, w którym zajduje sę mmum fukcjoału e. Zadae tego typu azywają sę zadaam optymalzacj bez ograczeń. Defcja. Zadae optymalzacj Zadae optymalzacj pozwala a zalezee wektora X R mmalzującej fukcjoał (fukcja kryterala) spełając ograczea w postac rówań g : R R h : R R. k l erówośc Zadae optymalzacj formułuje sę w astępujący sposób: g h m X R (5) Zadae optymalzacj typu m (mmalzacj fukcjoału ) moża przekształcć w zadae optymalzacj maksymalzacj ma poprzez przekształcee: ma m (6) Wybrae krytera podzału zadań optymalzacj W zależośc od stee ograczeń: - zadaa bez ograczeń brak ograczeń; - zadaa z ograczeam steją ograczea rówoścowe lub/ erówoścowe. W zależośc od postac fukcj kryteralej oraz ograczeń zadaa optymalzacj moża podzelć a zadaa: - lowe fukcja kryterala ograczea są fukcjam lowym; - kwadratowe fukcja kryterala przyjmuje postać kwadratową a ograczea są fukcjam lowym; - elowe fukcja kryterala lub/ ograczea są fukcjam elowym. Defcje zwązae z zadaam optymalzacj O optmum w pukce moża mówć wtedy gdy wartość fukcj kryteralej w tym pukce jest ajlepsza z możlwych do osągęca, tz. spełająca ograczea zadaa. Poeważ rozważamy zwykle zadaa mmalzacj fukcj, pukt optymaly będzemy azywać mmum. Fukcja może meć wele ekstremów ale tylko jedo z ch jest rozwązaem zadaa optymalzacj.
Defcja. Pukt stacjoary Pukt jest puktem stacjoarym fukcjoału ( gradet fukcjoału)., gdy spełoy jest waruek Defcja 3. Mmum słabe (lokale) Pukt jest mmum słabym (lokalym) fukcjoału, tak że zachodz dla wszystkch takch, że Defcja. Mmum sle (lokale) Pukt jest mmum slym (lokalym) fukcjoału, tak że zachodz dla wszystkch takch, że, jeżel steje skalar., jeżel steje skalar. Defcja 5. Mmum globale Pukt jest ukatowym mmum globalym fukcjoału dla wszystkch. jeżel zachodz Przykład Dla fukcjoału 3 7 6 a Rysuku przedstawoo mmum lokale (sle) (, ) maksmum lokale (sle) ( ) oraz mmum globale (, ). Rysuek. Ilustracja mmum lokalego slego oraz globalego maksmum slego 3
Przykład Dla fukcjoału 8 3 mmum lokale (sle),;,,55;,55. a Rysuku przedstawoo oraz mmum globale Rysuek 3. Ilustracja rozwązaa do Przykładu 3 Przykład 3,5 a Rysuku 3 przedstawoo mmum Dla fukcjoału lokale słabe wzdłuż prostej. Rysuek. Ilustracja rozwązaa Przykładu 3 Do sprawdzea czy day pukt jest rozwązaem lokalym służą dwa waruk koecze mmum lokalego: Defcja 6. Waruek perwszego rzędu: eżel jest puktem lokalego mmum cągły w otwartym otoczeu, wówczas jest różczkowale w sposób (7)
Gradet fukcjoału (jakoba) jest w postac: (8) Defcja 7. Waruek drugego rzędu eżel otoczeu jest puktem lokalego mmum, wówczas jest cągłe w pewym otwartym dla dowolych (9) (),gdze hessa fukcjoału w postac: () Przykład 3 Dla fukcjoału sprawdź waruk mmum perwszego drugego rzędu dla puktów, oraz, Rozwązae akoba fukcjoału jest w postac Dla puktu. 5 3 waruek perwszego rzędu jest postac:, 3
6 3 3 3 Dla puktu, waruek perwszego rzędu jest postac: 3 3 Drug pukt speła waruek perwszego rzędu. Sprawdźmy waruek rzędu 6 Pukt, speła waruk koecze perwszego drugego rzędu dla mmum lokalego. W przypadku, gdy fukcjoał jest tzw. fukcją wypukłą, lokale mmum jest jedocześe mmum globalym. Defcja 8. Zbór wypukły Zbór R X jest wypukły, jeśl dla dowolych dwóch puktów X, każdy odcek łączący te dwa pukty speła waruek: X, :, () Przykładam dwuwymarowych fgur wypukłych są mędzy ym: koło, półkole, elpsa, trójkąt. W przestrze trójwymarowej: kula, rówoległośca, graastosłup, tp.
Na Rysuku 5 przedstawoo przykładowe zbory wypukłe ewypukłe. a) b) Rysuek 5. Ilustracja zborów: a) wypukłych b) ewypukłych. Defcja 9. Fukcja wypukła Nech będze fukcją różczkowalą oraz zbór X R będze zborem wypukłym. Fukcja jest wypukła jeśl dla dowolych, X zachodz dowola z poższych zależośc: ;, Fukcja jest wklęsła, jeśl (3a) (3b) jest wypukła odwrote. Defcja. Fukcja wklęsła Nech jest fukcja różczkowalą w całej przestrze wklęsła dla dowolych dwóch puktów, X, gdy: X R. Fukcja ta jest ;, (a) (b) Na Rysuku 6 przedstawoo przykładową fukcje wypukłą, ewypukłą wklęsłą. a) b) c) Rysuek 6. Ilustracja różych fukcj: a) wypukłej, b) ewypukłej c) wklęsłej. 7
Przykład 5 Sprawdź czy fukcja, 3. Rozwązae jest wypukła dla przykładowych puktów 3 3 5 3 3 5 3 9 5 9 5 5 Fukcja jest wypukła poeważ parametr zawera sę w zakładaym przedzale,. Przykład 6 Sprawdź czy fukcja, 3. Rozwązae jest wklęsła dla przykładowych puktów 3 3 3 Fukcja Przykład 7 3 9 6 jest wklęsła. Sprawdź czy fukcja ep, 5. Rozwązae Sprawdźmy waruek wypukłośc fukcj jest wklęsła/wypukła dla przykładowych puktów 5 5 ep 5 ep ep 5 8,,36,36 6 8,. 5 oraz waruek wklęsłośc fukcj 5 5 ep Fukcja ep 5 ep ep 5 8,,36,36 6 8,. 5 jest wypukła. 8
Rodzaje zadań optymalzacj metody ch rozwązywaa Na ćwczeach rozważać będzemy klka przypadków ZNK jako zadaa optymalzacj:. lowo kwadratowe zadae optymalzacj bez ograczeń,. ważoe lowo kwadratowe zadae optymalzacj bez ograczeń; 3. ważoe lowo kwadratowe zadae optymalzacj z rówoścowym lowym ograczeam; Lowo kwadratowe ZNK bez ograczeń W detyfkacj, tego typu zadaa rozwązujemy gdy model, dla którego poszukujemy parametrów jest w postac:,gdze t f,u ŷt ˆ h t (5) 3 h - określoy zbór ezależych fukcj bazowych, p.: t,t,t,, 3 st,st,s t,, ept,ept,ep3t,. Stąd suma kwadratów błędów resztkowych w zwartej postac moża przedstawć jako: eˆ eˆ ~ y Hˆ ~ y Hˆ ~ y ~ y ~ y Hˆ ˆ H Hˆ (6) gdze macerz H jest w postac: H h h h h t h t h t h t t h t h t h t t h t h t h t j t h t h t h t m m j j m j m (7) Dla rozważaego zadaa ajmejszych kwadratów w postac (6) waruek koeczy wystarczający mmum moża przedstawć jako: H Hˆ H ~ y (8) H ˆ Hˆ dla dowolych (9) W celu sprawdzea czy spłooe są waruk lokalego mmum ależy sprawdzć czy macerz hesjau H H jest dodato półokreśloa. Określoość macerzy moża zbadać p. poprzez sprawdzee wartośc własych tej macerzy wykorzystując astępujące twerdzea: 9
werdzee. Macerz dodato określoa Macerz jest dodato określoa, jeżel wszystke jej wartośc włase są dodate. werdzee. Macerz dodato półokreśloa Macerz jest dodato półokreśloa, jeżel wszystke jej wartośc włase są eujeme. Przykład 8 Zbadaj określoość macerzy w postac: 5 3 A Rozwązae 5, 7 35 5 5 3 I A Macerz jest dodato określoa Przykład 9 Dla fukcjoału sprawdź waruk lokalego mmum. Rozwązae Waruek puktu stacjoarego jest w postac:,5 Waruek puktu stacjoarego drugego rzędu w postac: Sprawdzee waruków lokalego mmum przy pomocy waruku określoośc macerzy hesjau: Poeważ e moża stwerdzć czy macerz hesjau jest dodato określoa czy dodato póło kreśloa, stad ależy zbadać dodatą półokreśloość macerzy hesjau.
I, 6 8 Poeważ wartośc włase macerzy hesjau są eujeme stąd pukt ;, 5 jest lokalym slym mmum fukcjoału. Wykorzystując waruek perwszego rzędu moża wykazać, że wyzaczee ezaych parametrów ZNK sprowadza sę do rozwązaa układu rówań ormalych w postac: H Hˆ H y ~ () Zakładając, że macerz w postac: H H jest eosoblwa otrzymujemy jawe rozwązae ZNK H H H ~ y ˆ () Ważoe lowo kwadratowe ZNK bez ograczeń Rozważmy przypadek, gdy wykoujemy eksperymet polegający detyfkacj parametrów pewego procesu. W tym celu wypożyczylśmy od ej frmy dokłade przyrządy pomarowe (mały błąd pomarowy). Wykoujemy pomary wejść wyjść procesu. W trakce pomarów jedo z urządzeń pomarowych zostało uszkodzoe. Poeważ e możemy przerwać eksperymetu e możemy stracć ceych daych pomarowych o procese, postaawamy zastąpć uszkodzoe urządzee pomarowe ym ale mej dokładym (wększy błąd pomaru). Gdy eksperymet sę skończył dokoujemy detyfkacj parametrów procesu. W przypadku wyżej opsaym ZNK ezacze zme swoja postać. Należy tylko w fukcj kryteralej uwzględć welkość błędów pomarowych poprzez dodae macerzy wag W. Należy założyć, że ważejsze są pomary wykoywae w mejszym błędem (wększa wartość elemetu macerzy wag W ). Zadae to moża przestawć w postac: eˆ Weˆ ~ ~ ~ y Hˆ W y Hˆ y Wy y WHˆ ˆ H WHˆ ~ ~ () Dla rozważaego ZNK w postac () waruek koeczy wystarczający mmum moża przedstawć jako: H WHˆ H W~ y (3) H ˆ WHˆ dla dowolych () W metodze tej oprócz waruk (5) (6) mmum lokalego ależy także sprawdzć czy macerz wag W jest dodato określoa.
Ważoe lowo kwadratowe ZNK z rówoścowym lowym ograczeam Rozważmy te sam eksperymet jak a początku Rozdzału 3.3.. Po eksperymece stwerdzlśmy, że urządzee pomarowe, którym zastąplśmy uszkodzoe ma tak duży błąd pomaru, że błędy dokładych urządzeń jest pomjale mały. Podzelmy lczebość pomarów a dwe kategore: - m pomary mej dokłade; - m pomary dokłade (błąd pomjale mały). Oczywstym jest poczyee dwóch założeń: Załóżmy, że dwa wektory ozaczają: - ~ y~,,y ~,, ~ j y m m m m m ; m (5) (6) y wektor wartośc y merzoych ograczoa dokładoścą; - ~ y y~ ~,,y ~ j,, y wektor wartośc y merzoych dokłade. m Dodatkowo pomary w obrębe wektora y mogą meć zróżcowaa dokładość stąd wprowadza sę macerz wag W. Dla wszystkch przeprowadzoych pomarów określae są macerze wartośc fukcj bazowych, odpowedo H, dla pomarów edokładych H, dla pomarów dokładych. Macerze te są w postac: H h h h t h t h t t h t h t j t h t h t m j m j m ; H h h h t h t h t t h t h t j t h t h t m j m j m (7) Dla perwszej kategor pomarów błędy pomarowe wyjśca jak błąd resztkowy są róże od zera e ~ ; eˆ. Natomast dla drugej kategor pomarów błędy pomaru wyjśca jak błędy resztkowe zakłada sę, że są zerowe e ~ ; eˆ. Przy powyższych założeach rówae obserwacj będze mało postać: ~ y H e ~ y H (8)
Mając a uwadze powyższe założea ZNK ależy sformułować astępująco: Zaleźć wektor ˆ ˆ,ˆ,,ˆ,, ˆ resztkowych (resduów) pomarów edokładych:, który mmalzuje sumę kwadratów błędów eˆ Weˆ ~ y ~ W y ~ y WH ~ y H ˆ W ~ y H ˆ ˆ ˆ H W H ˆ (9) spełając ograczea rówoścowe pomarów dokładych: ~ y H ˆ (3) Powyższe zadae optymalzacj moża rozwązać przy pomocy tzw. metody możków Lagrage a. Rozważaa dotyczące tej metody rozpoczemy od podaa twerdzea dotyczącego tej metody. werdzee 3. Zasada Lagrage a Nech dae będą stałe,,,, l R take, że w pukce R fukcja l g ma mmum bez ograczeń. Wtedy pukt dopuszczalym określoym przez ograczea (3) jest mmum fukcj w zborze g dla,, l. Zastosowae zasady Lagrage a spowodowało, że perwoty k - wymarowy problem mmalzacj z ograczeam g został zastąpoy przez k l wymarowy problem mmalzacj zastępczej fukcj (6) bez ograczeń. Dalsze rozważaa prowadza do sformułowaa waruków koeczych wystarczających stea rozwązaa os azwą metody możków Lagrage a. Załóżmy, że jest klasy rówoścowe: C. Zbór dopuszczaly zadaa tworzą ograczea Φ : g,,,l,l k (3) Nech fukcje w której stałe g będą róweż klasy L λ C. Utwórzmy fukcję Lagrage a l, (33) tworzą wektor możków Lagrage a,, 3 g λ.,, l
Warukem koeczym stea mmum bezwarukowego fukcj, λ pukce, λ jest: L w L,λ,,,k L,λ (3) L,λ,,,l Przykład Rozwąż zadae optymalzacj typu mmum, złożoe z fukcj kryteralej oraz ograczea g. Rozwązae Należy ajperw sformułować fukcję Lagrage a, która jest w postac: l L, λ g Następe sprawdzamy waruek koeczy L, λ L, λ L, λ L, λ L, λ Otrzymalśmy układ rówań z trzema rówaam trzema ewadomym, który ależy rozwązać..5.5.75.75;.5 ;. 5 Wartośc fukcj kryteralej dla puktu.75;.5 wyos..75.5.75. 5 Rozwązaem jest pukt.75;.5 mmalą wartość. 5 dla którego fukcja celu przyjmuje.
Przykład Rozwąż zadae optymalzacj typu mmum, złożoe z fukcj kryteralej oraz ograczeń 3 ; 3 5. g Rozwązae Należy ajperw sformułować fukcję Lagrage a, która jest w postac: g l L, λ g 3 3 5 Następe sprawdzamy waruek koeczy L, λ 3 L, λ 3 L, λ L, λ L, λ 3 L, λ 3 5 Otrzymalśmy układ rówań z czterema rówaam czterema ewadomym, który ależy rozwązać. 3 3 3 3 5,5;,63 ; λ,5;.58 Wartośc fukcj kryteralej dla puktu,5;,63 wyos.,5,63,5,63, 59 Rozwązaem jest pukt,5;,63 mmalą wartość, 59. dla którego fukcja celu przyjmuje 5