MODELE OPTYMALNEGO PRZETWARZANIA SYGNAŁÓW LOSOWYCH

Transkrypt

1 Wesław Ctko, Wesław Seńko Akadema Morska w Gdyn MODELE OPYMALNEGO PRZEWARZANIA SYGNAŁÓW LOSOWYCH Estymacja sygnałów losowych jest stotnym zagadnenem matematycznym, mającym zastosowane w welu dzedznach nauk technk Celem nnejszego artykułu jest porównane procedur estymacj sygnałów losowych z wykorzystanem lnowych estymatorów MMSE (Mnmum Mean-Squared Error mnmum błędu średnokwadratowego) Słowa kluczowe: optymalne przetwarzane sygnałów, estymacja sygnałów losowych WSĘP Przez optymalne przetwarzane sygnałów losowych należy rozumeć wydobywane nformacj z danych dyskretnych (danych czasu dyskretnego), jak np z danych pomarowych skalarnych lub wektorowych welkośc fzycznych, w sposób optymalny, przy czym krytera optymalnośc mogą być różne Zakłada sę zatem, że modelem matematycznym takch sygnałów są dyskretne procesy stochastyczne Warto tutaj przypomneć, że tego typu procesy stochastyczne są zdefnowane przez rodzny {x(n)} zmennych losowych, generowane przez dyskretne momenty czasu lub jako zbory determnstycznych cągów lczbowych, stanowących tzw realzacje procesu stochastycznego Na ogół w praktyce ne dysponuje sę pełnym opsem procesu stochastycznego, a węc znajomoścą funkcj gęstośc prawdopodobeństwa każdej próbk-zmennej losowej, x(n) Co węcej, znajomość procesu ogranczona jest jedyne do M < próbek lub M punktów tylko jednej realzacj Jeżel przykładowo nformację stanow determnstyczny parametr Θ, to znajomość M próbek procesu pozwala na wyznaczene zmennej losowej Θ= ˆ ( x( n)), będącej estymatorem parametru Θ Każda szczególna wartość ˆΘ jest estymatą parametru Θ ( ) jest symbolem pewnego odwzorowana funkcjonalnego Obok estymacj momentów wdm procesów stochastycznych procedury estymacj są powszechne wykorzystywane do estymacj parametrów model sygnałów losowych w przetwarzanu, obejmującym wygładzane, fltrację predykcję Celem nnejszego artykułu jest przegląd porównane procedur estymacj sygnałów losowych z wykorzystanem lnowych estymatorów MMSE (Mnmum Mean-Squared Error mnmum błędu średnokwadratowego)

2 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 5 PROBLEM ESYMACJI SYGNAŁU LOSOWEGO Problem estymacj sygnału losowego można sprowadzć do następującego zagadnena [3]: Zadany jest cąg x(n); n = 0,,, N- będący zborem próbek z obserwowanej (pomarowej) realzacj procesu stochastycznego Cąg d(n); n = 0,,, N- jest nformacją zawartą w cągu x(n), tzn stneje funkcjonalne odwzorowane ( ) take, że: dn ˆ( ) = xn ( ( )) () gdze dn ˆ( ) jest estymatorem sygnału d(n) Lnowy estymator MMSE określony jest przez zależność: N dn ˆ( ) = hx ( ), n = 0,,, N- () = 0 gdze h parametry estymatora Można pokazać, że estymator MMSE jest realzowalny z użycem fltrów lnowych (rozwązane klasyczne optymalna fltracja LS), a także sztucznych sec neuronowych (LS Least Squares) OPYMALNE FILRY NAJMNIEJSZYCH KWADRAÓW (LS LEAS SQUARES) Optymalna fltracja z zastosowanem lnowych fltrów LS jest jednym z podstawowych narzędz przetwarzana sygnałów losowych Podstawowy schemat takej fltracj przedstawono na rysunku [3] x(n) y(n) - h(n) Σ d(n) + e(n) Rys Blokowy schemat fltracj optymalnej Fg he block dagram of the optmal flterng

3 5 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 Parametry fltru o odpowedz mpulsowej h(n) należy tak dobrać, aby odpowedź y(n) była blska zadanemu cągow d(n), y(n) d(n) Stąd, defnując funkcję kosztów (celu) jako: { ( )} w przypadku, gdy x(n) jest cągem losowym lub J = E e n (3) { } J e n n = (4) dla sygnałów determnstycznych, realzację zależnośc y(n) d(n) uzyskuje sę, wyznaczając Poneważ: mn J{ e( n )} (5) en ( ) = dn ( ) hxn ( ) ( ) (6) gdze wskaźnk sumowana przybera wartośc zależne od długośc odpowedz mpulsowej fltru, to warunk na mnmum funkcj celu: mn J{ e ( n) } mn J = d( n) h( ) x( n) (7) ze względu na wartośc odpowedz mpulsowej h() prowadzą do układu równań lnowych znanych jako równana normalne, o postac: R( n, n j) h( ) = g( n j, n) (8) gdze: Rn ( n, j) = E{ xn ( xn ) ( j) } funkcja autokorelacj cągu wejścowego, gn ( n, j) = E xn ( dn ) ( ) funkcja korelacj skrośnej x(n) oraz d(n) { } Zakres wartośc wskaźnka j zależy od długośc odpowedz mpulsowej Rozwązane równań normalnych ustala parametry h() fltru optymalnego Należy zwrócć uwagę na następujące cechy fltracj LS: funkcja J { en ( )} posada globalne mnmum; fltracja optymalna LS zapewna ortogonalność cągów e(n) y(n): E{ e( n), y( n )} = 0; (9) fltracja optymalna LS dostarcza estymatora zadanego cągu d(n): { } dn ˆ( ) = yn ( ) = xn ( ) (0)

4 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 53 Ze względów praktycznych zakłada sę stacjonarność w szerokm sense cągów wejścowych x(n), co prowadz do zmany formy równań normalnych (8): R( j ) h( ) = g( j) () Drugm stotnym ze względów praktycznych założenem jest przyjęce skończonej długośc odpowedz mpulsowej hn ( ) = { h(0), h(),, hl ( ) } Odpowedź y(n) przyczynowego fltru LS można przedstawć w postac: y( n) = h ( n) x ( n) () gdze: h () n = [(0),(), h h,( h L )] odpowedź mpulsowa, x ( n) = [ x( n), x( n),, x( n( L))] wektor regresj Stąd równana normalne () otrzymują postać: gdze R macerz autokorelacj: jest macerzą oepltza R h= g (3) R(0) R() R() R( L) R() R(0) R() R = RL ( ) R(0) (4) g = [ g(0), g(),, g( L)] wektor korelacj skrośnej (5) Optymalne rozwązane równana (3) stneje dla neosoblwej macerzy autokorelacj, tzn: h= R g (6) Należy jednak zauważyć, że macerz oepltza jest w ogólnośc dodatno półokreślona (postve sem-defnte), co ne zapewna stnena R W przypadku cągów x(n) determnstycznych lub ergodycznych dane są jedyne cąg lczbowe x(n) oraz d(n) dla n = 0,,, M- Operację uśrednana po zborze E{ } należy zastąpć uśrednanem po czase Stąd: M R( ) = x( n) x( n+ ); = 0,,, L- (7) M n= 0 M g () = xndn ( ) ( + ); = 0,,, L- (8) M n= 0 { R() } R = (9)

5 54 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 Warto zwrócć uwagę, że lczba operacj dla rozwązana równana (6) może być numeryczne znaczne zredukowana przez zastosowane algorytmu Levnsona Pewną modyfkację struktury optymalnej fltracj z rysunku można wprowadzć w przypadku, gdy sygnał wejścowy x(n) zawera addytywny szum, w szczególnośc bały, w(n) Schemat takej struktury przedstawono na rysunku w(n) d(n) Σ x(n) Fltr h parametry fltru ^ d(n) Σ + e(n) Rys Blokowy schemat fltracj optymalnej sygnał zawera addytywny szum bały Fg he block dagram of the optmal flterng sgnal contans addtve whte nose Funkcja celu struktury dana jest poprzez błąd średnokwadratowy ( MSE), jako: { } { } ( ˆ ) { } { } { } { ˆ } J e n E e n E d n d n E w n E d n w n E d n w n () = () = () () + () + () () () () (0) Zakładając, że cąg dn ( ), dn ˆ( ) w(n), a węc sygnał zadany szum są statystyczne nezależne, tzn E{ d( n) w( n )} = 0, { } E d ˆ( n) w( n ) = 0 () wartość funkcj celu może być zmnejszona przez odpowedn dobór (adaptację) parametrów fltru Mnmum tej funkcj osąga sę, spełnając warunk: dn ˆ( ) = dn ( ) en ( ) = wn ( ) () Stąd dn ˆ( ) jest estymatorem MSE sygnału d(n) Przy spełnenu warunków () funkcja celu (0) ma postać: { } { } { } { } ( ˆ ) J e( n) = E e ( n) = E d( n) d( n) + E w ( n) (3) Poneważ zwązek sygnału wyjścowego ˆ( ) dn oraz wejścowego x(n) fltru dyskretnego można zapsać w postac równana różncowego:

6 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 55 lub dn ˆ( ) + cdn ˆ( ) + cdn ˆ( ) + + cdˆ ( n N) = 0 = bxn ( ) + bxn ( ) + + b xn ( M), N M M N N (4) ˆ( ) dn= x ( n ) h (5) gdze x ( n) = dˆ( n) dˆ( n),, dˆ( n), x( n), x( n), x( nm) jest wektorem regresj (regresor), natomast h = [ c, c, cn, b0, b,, bm] wektor parametrów, to funkcja celu (3) jest funkcją wektora h (welu zmennych): { ( )} = ( h) = { ( )} + h { x( ) x ( )} h { ( ) x ( )} h + { ( )} J en J E d n E n n E dn n E w n (6) Spełnene warunku konecznego na mnmum funkcj J(h), tzn J { h} = 0, ( gradent) (7) prowadz do zboru równań lnowych: R h= R (8) xx znanych jako równana Wenera-Hopfa R = E x( n) x ( n) jest macerzą autokorelacj wektora regresj, Macerz xx { } natomast = { ( ) ( )} Rx d E x n d n jest wektorem korelacj skrośnej wektora regresj oraz zadanego sygnału Rozwązane równana (8) stneje dla macerzy neosoblwej R xx : = xx x d xd h R R (9) Co węcej h jest punktem mnmum h * funkcj J(h), gdy R xx jest dodatno określona (R xx hessan funkcj J(h)) Jeśl ponadto R xx ne zależy od h, tzn R xx jest macerzą lczbową, rozwązane (9) jest punktem mnmum globalnego h ** funkcj J(h) Mnmum globalne h ** można otrzymać dla kwadratowej funkcj J(h), a węc dla wektora parametrów spełnających c = 0, =,, N W przypadku ergodycznych wektorów regresj operator uśrednana po zborze E{ } zastępuje sę uśrednanem po czase Stąd równane Wenera-Hopfa upraszcza sę do postac: = xx xd = k = = k k { } { d } h R R lm x( ) x ( ) x ( ) ( ) (30)

7 56 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 3 MODELE LINIOWYCH OBSERWAORÓW Problem lnowej obserwacj dany jest przez zbór równań algebracznych o postac []: y = Dx + w (3) gdze: x neznany wektor, x R n, y zawera znane dane pomarowe (obserwacje), y R r, D R rxn dana macerz lczbowa, w R r wektor zawerający neznane błędy pomarowe lub składowe szumu o różnych właścwoścach wdmowych (np szum bały) Wadomo, że rozwązane równana (3) można otrzymać metodą najmnejszych kwadratów (LS), wyznaczając mnmum funkcj kwadratowej: węc: x ˆ LS estymator LS rozwązana równana obserwacj (3) F ( x) = ydx (3) xˆ LS = arg mn F( x) = ydx, (33) n x R Warto zwrócć uwagę, że jeden z model generujących welke zbory danych (Bg Data) [] ma formę równana (3) W przypadku r > n, pomjając właścwośc szumu, analtyczne rozwązane równana (33) dane jest przez znany estymator Gaussa: xˆ = D D D y (34) ( ) Macerz D D znana jest jako macerz normalna Gaussa Estymator ˆx uwzględnający właścwośc szumu, można uzyskać za pomocą algorytmu MMSE, przy czym r n w równanu (3) raktując wektory x w jako próbk (zmenne losowe) procesu stochastycznego o następujących właścwoścach: E { }, E{ } x = 0 x x = P (35) gdze P macerz kowarancj zmennej losowej x oraz E w = 0, E w w = N (36) { } { } gdze N macerz kowarancj zmennej losowej w (szumu),

8 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 57 zmenne losowe x w spełnają z założena: { } E xw = 0 (37) a węc są neskorelowane Funkcja celu J{ }, pozwalająca na znalezene struktury lnowego obserwatora, ma postać: Poneważ błąd estymacj: oraz macerz wag obserwatora J n r xˆ = Gy, G R (38) { } = E{ ˆ } e x x (39) [ ] e= x x ˆ = ( x x ˆ ),,( x x ˆ ) n n (40) { } G = g,, gn (4) to mnmum funkcj celu w równanu (39) oznacza spełnene: { x ˆ } mn E ( x ), =,, n (4) g gdze g oznacza -ty wersz macerzy wag G Spełnene warunków konecznych dla równań (4) prowadz do równana macerzowego: E { } E{ } xy G yy = 0 (43) ak węc warunek wystarczający dla stnena mnmum funkcj J{ }: E { yy } > 0 tzn macerz (Hessa) E{ yy } mus być dodatno określona Poneważ zachodz: oraz: { } E = xy P D (44) { }, to rozwązane równana (43) otrzymuje sę jako: E yy = D P D + N (45) ( ) G = PD DPD + N (46)

9 58 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 Stąd zależność (38) określa perwszą formę estymatora MMSE wektora x: gdze ( ) r r DPD + N R ( ) xˆ = PD DPD + N y (47) MSE aka forma estymatora jest szczególne korzystna dla r < n (lczba obserwacj r mnejsza nż lczba neznanych zmennych x, =,, n) W przypadku, gdy macerze kowarancj: P oraz N są neosoblwe, proste przekształcena macerzowe prowadzą do tzw drugej formy estymatora: gdze ( DN D P ) n n ˆ + R ( ) xmse = D N D+ P D N y (48) a forma estymatora jest zatem korzystna dla r >> n Co węcej, przy założenu P = 0, tzn przy braku jakejkolwek wedzy a pror o mocy średnej zmennych x, oraz przy warunku rząd D = n, estymator ˆx równana (48) przyjmuje postać: ˆ ( ) x= D N D D N y (49) znaną jako estymator Gaussa-Markowa Netrudno zauważyć, że estymator Gaussa-Markowa jest uogólnoną postacą estymatora Gaussa (estymator Gaussa estymator Gaussa-Markowa dla N = ) Rozwązane problemów obserwacj dane przez estymator (47) oraz (48) wymaga macerzowych operacj, takch jak mnożene odwracane Według nektórych autorów są zatem neodpowedne dla rozwązywana problemów obserwacj w przypadku welkch zborów danych (Bg Data) [] Powyżej opsane procesy rozwązywana problemów obserwacj można bezpośredno wykorzystywać do uzyskana struktur optymalnych lnowych fltrów Kalmana Warto zauważyć, że w lteraturze przedmotu można znaleźć modyfkacje form estymatorów opsanych powyżej W szczególnośc estymator określony zależnoścą (49) z uwzględnenem regularyzatora chonowa przyjmuje postać [5]: ˆ ( δ ) xr = D N D+ D N y (50) gdze > 0 (macerz dodatno określona) oraz δ parametr regularyzacyjny (określa normę operatora x ˆ R ) akże skalowalna wersja estymatora (49) o postac: ˆ ˆ s χ χ ( ) x = x= D N D D N y (5) zawera parametr regularyzacyjny χ Założene χ χ( ) estymatora James-Stena [5] = y prowadz do znanego

10 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 59 4 MODEL PRZEWARZANIA SYGNAŁÓW W UCZENIU MASZYNOWYM (MACHINE LEARNING) Uczene maszynowe jest jednym z ważnych zagadneń teoretycznych praktycznych, rozważanych w ramach ntelgencj oblczenowej [9] Danym N wejścowym w uczenu maszynowym są tzw zbory trenngowe = { x, d } =, par (x, d ), gdze zadane wektory x są punktam pewnej przestrzen X (x X), natomast d zadanym welkoścam skalarnym (d R) Zbory trenngowe są źródłam danych dla konstrukcj model przetwarzana sygnałów występujących mn w zagadnenach rozpoznawana wzorców, klasyfkacj, fltracj, predykcj korekcj Netrudno zauważyć, że wyżej wspomnane modele można sformułować jako aproksymację funkcj f ( ) welu zmennych, spełnających warunk zgodnośc z danym pomarowym d, tzn f: X R, f(x ) d Ważną cechą takej aproksymacj opartych na nej model jest cecha predykcyjnośc Jak wadomo, aproksymacja funkcj jest stotnym zagadnenem rozważanym w analze matematycznej Ze względu na przedmot nnejszego artykułu, ponżej rozważa sę taką aproksymację jako problem estymacj sygnałów losowych 4 Aproksymacja funkcj lnowej jako estymacja LS Zakładając, że punkty x = [x, x,, x M ] są wektoram regresj (próbkam) N wymuszającym odpowedz d, zbór trenngowy = { x, d } = jako wynk pewnego dośwadczena losowego, generowany jest przez lnowe odwzorowana [7]: d = wx + e, =,,, N (5) gdze w = [w, w,, w M ] wektor parametrów W analog do fltracj LS zlustrowanej na rysunku, schemat prezentujący zależność (5) przedstawono na rysunku 3 x w e x regresory x w w M Σ d =,,N x M Rys 3 Estymator sygnałów losowych Fg 3 he random sgnals estmator

11 60 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 Parametry w estymatora z rysunku 3 można otrzymać przez mnmalzację funkcj kosztów: N ( ) J w e w d w x (53) 0( ) = ( ) = = J 0 (w) jest funkcją kwadratową jej mnmalzacja prowadz do równań normalnych (por zależność (8)): gdze: N N xx( N) = j = j= R x x, w = R ( N) r ( N) (54) LS xx dx dm R xx (N) = M M macerz autokorelacj wektorów regresj, N rdx ( N) = x d wektor korelacj skrośnej = Należy pamętać, że w rozwązanu (54) zakłada sę neosoblwość macerzy R xx (N) Neosoblwość takej symetrycznej macerzy dla dowolnych wektorów regresj realzuje sę poprzez tzw strukturalną regularyzację W przypadku macerzy R xx (N) zmena sę jej przekątną dagonalną stąd równana normalne otrzymują postać: ( N γ ) w = R ( ) + I r ( N) (55) RLS xx dx gdze: γ parametr regularyzacj, I macerz jednostkowa, w RLS regularyzowane rozwązane najmnejszych kwadratów Warto zwrócć uwagę, że tego typu regularyzację stosuje sę także w problemach optymalzacyjnych przy oblczanu odwrotnej macerzy Hessa 4 Aproksymacja funkcj nelnowej jako problem nelnowej regresj N Jak wspomnano powyżej, zbór trenngowy = x, d =, generowany przez pewen fzyczny proces, może być reprezentowany przez następujący model regresj [9]: d = f( x ) + e, =,,, N (56) gdze: x wektor regresj (wymuszene), d odpowedź { }

12 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 6 Strukturę takego modelu można otrzymać przez mnmalzację następującej funkcj kosztów: N ( ) ( ) = ( x ) λ (57) J e = d f + f gdze: λ > 0 parametr regularyzacyjny, norma (w przestrzen Hlberta) Poneważ zdefnowana powyżej funkcja kosztów ma postać regularyzowanego funkcjonału kwadratowego, mnmalzację funkcjonału J( ) można przeprowadzć, wykorzystując klasyczną teorę regularyzacj chonowa Można węc pokazać, że funkcja f(x) mnmalzująca funkcjonał J( ) ma postać: N f( x) = wk ( x, x ) (58) gdze: w = [w, w,, w M ] wektor parametrów, współczynnk superpozycj, K( xx, ) funkcja jądra (RKHS Reproducng Kernel Hlbert Space) = Należy zauważyć, że aproksymacja funkcj f(x) w równanu (58) zadana jest przez superpozycję symetrycznych dodatno określonych funkcj K( xx, ), cągłych w przestrzen X X Mnmalzacja funkcjonału (57) prowadz do zboru równań lnowych, których rozwązane ustala wektor współczynnków w, mnmalzujących błędy danych trenngowych: ( λ ) K+ I w = d (59) gdze: K symetryczna macerz kwadratowa ( N N ) (tzw macerz jąder lub Gram), I macerz jednostkowa, d [d, d,,d N ] K = K( x, x ) = K (60) j j j Netrudno zauważyć, że zawsze można znaleźć taką wartość λ > 0, dla której stneje stablne rozwązane równana (6): w = ( K+λI) d (6) Dobór odpowednch funkcj jąder oraz wartośc parametru λ do zadanego zboru trenngowego może być przedmotem osobnych badań Warto jednak zauważyć, że jednym z stotnych form takch funkcj są funkcje Gaussa:

13 6 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 x x /σ K( xx, ) = e (6) W tym przypadku zależność (58) prowadz do struktury sec RBF (Radal Bass Functons) 43 Aproksymacja z zastosowanem przekształceń ortogonalnych Jak wykazano powyżej, dobór odpowednch funkcj jąder oraz wartośc parametru regularyzującego λ jest przedmotem badań Jedna z możlwośc doboru funkcj K( xx, ) polega na wykorzystanu przekształceń ortogonalnych, co prowadz do możlwośc mplementacj aproksymatora z zastosowanem struktur sztucznych sec neuronowych Defncja takej funkcj dana jest jako [0]: ( ) K ( x, x) =Θ x H x (63) M gdze: x = [x, x,, x M ], x R M wektor regresj, H M macerz skośne-symetryczna, Θ( ) funkcja neparzysta Poneważ oraz to macerz = { Kj} = { K(, j )} Θ ( ) 0, Θ xh x = x (64) M ( M j) =Θ( j M ) xh x xh x (65) K x x jest skośne-symetryczna Neosoblwość macerzy K można uzyskać poprzez następującą zmanę funkcj Θ( ): gdze δ () jest funkcją Kroneckera Stąd równane (59) przybera postać: gdze: K macerz skośne-symetryczna, I macerz jednostkowa Θ () Θ () + λδ () (66) ( λ ) K+ I w = d (67) Przekształcene (66) można znterpretować jako formę regularyzacj zadana aproksymacj z zastosowanem macerzy H M, której cechą jest ortogonalzacja przekształcanych wektorów x, tzn: y = H x, x, y = 0, x M

14 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 63 Należy zauważyć, że regularyzacja wykorzystywana w równanu (57) z zastosowanem funkcj jąder jest neskuteczna dla funkcj (63), poneważ m m m m f = (, ), c (, ) ( (, ), (, )) K c K x jk x j = cc j K x K x j = = j= = j= m m = cc ( K( x, x ) = c Kc= 0 j j = j= (68) jest semnormą ym nemnej rozwązane równana (67) jest numeryczne stablne dla λ 0: w = ( K+λI) d (69) a formule aproksymacj (58) można nadać formę schematu jak na rysunku 4 Perceptronowy moduł pamęc w x x x M H M u u u M x x N + + p p N Θ ( ) Θ N ( ) w w N + d=f(x) Rys 4 Układowa realzacja formuły aproksymacj Fg 4 he mplementaton of approxmaton formulas W układowej realzacj aproksymatora z rysunku 4 zastosowano N perceptronów jako elementów pamęc zadanych wektorów x ; =, N 5 REALIZACJA UCZENIA MASZYNOWEGO PRZEZ ZASOSOWANIE ALGEBRY MACIERZY HURWIZA-RADONA Jak wspomnano powyżej, uczene maszynowe jest jedynym z unwersalnych model wykorzystywanym w obszarze ntelgencj oblczenowej Celem przedstawonych rozważań jest pokazane możlwośc rozwązywana zagadneń uczena maszynowego poprzez zastosowane algebry macerzy Hurwtza-Radona (HR) [8, 0] Co węcej, rodznę macerzy HR można wykorzystać do tworzena baz

15 64 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 ortogonalnych najlepej dopasowanych do zadanych zborów sygnałów występujących w różnych zagadnenach systemów przetwarzana sygnałów Warto zauważyć, że problemy projektowana takch baz mogą prowadzć do dzedzny, zwanej kwantowym przetwarzanem sygnałów (QSP Quantum Sgnal Processng algorytmczna emulacja zasad mechank kwantowej) [5, 6] Zbór rzeczywstych N Nmacerzy A j spełnających następujące równane macerzowe: dla k j, k =,, s A, AA j k + AA k j = 0 (70) j = tworzy węc rodznę HR Macerze A j są ortogonalne skośne-symetryczne, węc: A j =A j, A j = A j; j =,, s Maksymalna lczba macerzy s max w rodzne (70) określona jest przez lczbę Radona ρ(n) Można pokazać, że s max = ρ(n) - (7) gdze ρ(n) N jedyne dla N =, 4, 8 stąd s max = N -; N =, 4, 8 ρ(n) = N (7) Nech A,, A s będze rodzną HR macerzy {-, 0, } o wymarze N N Wtedy macerz: gdze s = a = s Aa ( ) = aa (73) jest macerzą ortogonalną zależność (73) można traktować jako odwzorowane kul S s na grupę ortogonalną O (N) = Rodzna HR macerzy o wymarze 8 (dm N = 8) zawera 7 macerzy Wszystke macerze ortogonalne skośne-symetryczne dla N = 8 mają zgodne z zależnoścą (73) postać:

16 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 65 H 0 h h h3 h4 h5 h6 h7 h 0 h3 h h5 h4 h7 h 6 h h3 0 h h6 h7 h4 h 5 h h h 0 h h h h 7 = h A = = h4 h5 h6 h7 0 h h h 3 h5 h4 h7 h6 h 0 h3 h h6 h7 h4 h5 h h3 0 h h7 h6 h5 h4 h3 h h 0 (74) gdze h R, =,, 7 Podobne dla N = 6 stneje 8 macerzy (s max = 8) w rodzne HR Stąd H h8 0 H8 0 h H H = = + h8 h8 8 H 8 0 h 8 (75) gdze h R, =,, 7 Dla wymaru N = 3, ρ(n) = 0, stąd s max = 9 W zwązku z tym H H 0 0 = + h 0 H (76) Rodzna macerzy HR o wymarach N = k, k = 6,7, generuje macerz ortogonalną o strukturze: H k H k 0 0 = + hk 0 H k (77) gdze h K R

17 66 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 Warto zauważyć, że macerze H k są szczególne nteresujące dla zastosowań w przetwarzanu sygnałów, poneważ ch struktura jest kompatyblnym złożenem macerzy H 8 Wykorzystując struktury macerzy H k, można stworzyć rodznę analzatorów wdma Haara: y = ( H + h 0) x (78) + h k 0 gdze h 0 0, macerz jednostkowa Rzeczywśce, jeżel x oznacza wektor danych wejścowych, to rezultatem transformacj (78) jest wdmo y wektora x w baze ortogonalnej, tworzonej przez kolumny macerzy (H k + h 0 ) Szczególne nteresująca jest możlwość zaprojektowana bazy H 8 tak, aby dany wektor wejścowy x posadał zadane wdmo y, tzn: gdze x = [x, x,,x 8 ] y = [y, y,,y 8 ] są ustalone y = ( H8 + h 0) x (79) + h 0 Struktura macerzy H 8, tworzącej taką bazę dla zależnośc (79), jest następująca: h0 y y y3 y4 y5 y6 y7 y8 x h y y y4 y3 y6 y5 y8 y 7 x h y3 y4 y y y7 y8 y5 y 6 x 3 h3 y4 y3 y y y8 y7 y6 y = 5 x4 8 h 4 y5 y6 y7 y8 y y y3 y 4 x 5 y h 5 = y6 y5 y8 y7 y y y4 y3 x6 h 6 y7 y8 y5 y6 y3 y4 y y x 7 h7 y8 y7 y6 y5 y4 y3 y y x 8 (80) Wykorzystując zależność (79) (80), można podać struktury perceptronu lub korelatora, jak pokazano na rysunku 5 x m m 8 + y = Θ(m x) x Fltr ortogonalny (m y ) + y = Θ(m x) y = [,,] Rys 5 Struktura perceptronu/korelatora Fg 5 he structure of perceptron/correlator

18 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 67 Należy zauważyć, że wektory kerunkowe m perceptronu/korelatora z rysunku 5 posadają płaske wdmo w dopasowanej baze, tzn z równana (8) [0]: gdze y = [,,,] y = ( H + h ) m (8) h0 Jako przykład zastosowana algorytmów przetwarzana sygnałów wykorzystujących macerze rodzny HR rozważono model pewnego odwzorowana nelnowego d = F(x), generowanego przez zbór trenngowy {, } = = x d tzn d ( ) n = F x Model tak posada strukturę pokazaną na rysunku 6, gdze wykorzystano analzę wdmową opartą na macerzach z rodzny = HR n u x 0 - m x d = F(x) Rys 6 Model odwzorowana nelnowego danego przez zbór trenngowy Fg 6 he model of the nonlnear mappng gven by tranng set Oznaczając wektor trenngowy jako: x u =, =,, n (8) d otrzymuje sę wdmo Haara wektorów u : m = H + u, (83) k gdze H k macerz skośne-symetryczna, ortonormalna oraz macerz wdmową: ransformacja : m = (u) dana jako: { } H = k M = m, m,, mn (84) ( ) s k m= M H u (85)

19 68 ZESZYY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzeń 05 gdze: ( ) Ms = M M M M (86) ( MM) M macerz pseudoodwrotna macerzy M oraz transformacja odwrotna : u = (m): x u= = ( H + ) m d k Należy zauważyć, że z równana (85) otrzymuje sę: (87) oraz ˆ x m = estymator wdma m, =,,, n (88) 0 dˆ = F( x ) estymator odpowedz d W procese rekurencyjnym (zamknęta pętla sprzężena zwrotnego) dostaje sę: dˆ d = F( x ) (89) PODSUMOWANIE W artykule dokonano przeglądu wybranych metod estymacj sygnałów losowych z wykorzystanem estymatorów MMSE Oprócz klasycznych metod zwązanych z estymatorem Gaussa oraz metodam Wenera, omówono także nowsze metody, wynkające z zastosowana metod uczena maszynowego (machne learnng), które prowadzą do struktur sztucznych sec neuronowych Na szczególną uwagę zasługują tutaj struktury, oparte na wykorzystanu rodzny macerzy Hurwtza-Radona Struktury take można traktować jako mplementację metod kwantowego przetwarzana sygnałów (Quantum Sgnal Processng) Warto zwrócć uwagę, że ze względu na charakter artykułu ne poruszono tutaj szeregu aktualnych zagadneń z dzedzny przetwarzana optymalnego sygnałów, takch jak metody tensorowe, ślepe (blnd) oraz przetwarzane welkch zborów danych (Bg Data)

20 W Ctko, W Seńko, Modele optymalnego przetwarzana sygnałów losowych 69 LIERAURA Brammer K, Sfflng G, Kalman-Bucy-Flter, R Oldenbourg Verlag, 975 Cevher V, Becker S, Schmdt N, Convex Optmzaton for Bg Data, Sgnal Processng Magazne, September 04, vol 3, no 5 3 Clarkson PM, Optmal and Adaptve Sgnal Processng, CRC Press, Inc, Eckmann B, opology, Algebra, Analyss-Relatons and Mssng Lnks, Notces of the AMS, 999, vol 46, no 5 5 Eldar YC, Quantum Sgnal Processng, Ph D Dssertaton, MI, 00 6 Eldar YC, Oppenhem AV, Quantum Sgnal Processng, IEEE Sgnal Proc Magazne, 00, vol 9, no 6 7 Haykn S, Neural Networks and Learnng Machnes, Pearson Educaton, Inc, Jakóbczak D, Zastosowane dyskretnego operatora Hurwtza-Radona, rozprawa doktorska, Polsko-Japońska Wyższa Szkoła echnk Komputerowych, Warszawa Poggo, Smale S, he Mathematcs of Learnng: Dealng wth Data, Notces of the AMS, 003, vol 50, no 5, s Seńko W, Ctko W, Hamltonan Neural Networks Based Networks for Learnng, [w:] Machne Learnng, red A Mellouk, A Chebra, I-ech, Venna 009, s 75 9 MODELS OF RANDOM SIGNALS OPIMAL PROCESSING Summary Estmaton of random sgnals s a very mportant tool for desgn of dfferent systems he goal of ths artcle s a revew of Classcal methods and newer, eg machne learnng, structures of MMSE estmators Keywords: optmal sgnal processng, estmaton of random sgnals