Wykład 1. Przestrzeń Hilberta

Wykład 1. Przestrzeń Hilberta Sygnały. Funkcje (w języku inżynierów - sygnały) które będziemy rozważali na tym wykładzie będą kilku typów Sygnały ciągłe (analogowe). ) L 2 (R) to funkcje na prostej spełniające warunek f(x) 2 dx < +, (czyli funkcje całkowalne z kwadratem). Z punktu widzenia zastosowań to bardzo interesująca przestrzeń sygnałów. Jeżeli f(x) oznacza, na przykład napięcie jakiegoś przebiegu elektrycznego, to warunek całkowalności z kwadratem oznacza, że sygnał ma skończoną całkowitą energię - bardzo rozsądne założenie. ) L 2 ([ π, π]), przestrzeń funkcji okresowycho okresie 2π (czyli f(x +2π) f(x)), całkowalnychz kwadratem w okresie π π f(x) 2 dx < +. Podobnie jak poprzednio ten warunek oznacza, że wartość energii sygnału w okresie jest skończona. Długość okresu nie jest szczególnie ważna, gdyż poprzez proste przeskalowanie można nasze rozważania przenieść na sygnały o innychokresach. Okres 2π wybrany jest dla wygody (to jest okres funkcji trygonometrycznych, których będziemy używali). Przestrzeń tę będziemy też oznaczali przez L 2 (T), gdzie T oznacza okrąg jednostkowy, czyli odcinek [ π, π] z utożsamionymi końcami. ) Ogólniej, L 2 (R n ) to funkcje n - zmiennychrzeczywistych, całkowalnychz kwadratem. Szczególnie interesujący jest przypadek n 2, sygnały takie reprezentują obrazy. ) Ogólniej L 2 (T n ), funkcje n - zmiennych, okresowe w każdej zmiennej o okresie 2π: f(x 1,...,x i +2π,...,x n )f(x 1,...,x i,...,x n ), i 1,...,n, i całkowalne z kwadratem po swoim okresie: π π π π f(x 1,...,x n ) 2 dx 1 dx n < +. Również tutaj najbardziej interesujący (oprócz n 1)jestprzypadekn 2. Sygnały dyskretne (cyfrowe). ) L 2 (Z) to przestrzeń ciągów podwójnie nieskończonych {f k },sumowalnychz kwadratem f k 2 < +. k Przestrzeń tą często będziemy też oznaczać l 2. ) L 2 (Z p ) to przestrzeń ciągów podwójnie nieskończonych {f k } okresowycho okresie p, czyli f k+p f k k Z, sumowalnychz kwadratem po okresie: p 1 f k 2 < +. k0 Tą przestrzeń będziemy też oznaczać l 2 p. ) Ogólniej, L 2 (Z n )il 2 (Z n p ) to przestrzenie ciągów n - wymiarowychokresowychlub nie, sumowalnych z kwadratem, w przypadku L 2 (Z n p ) tylko po okresie. Jak poprzednio, najciekawsze są te przestrzenie dla n 2. 1

2 Uwagi. a) Sygnały występujące w rzeczywistości (w naturze) są najczęściej ciągłe. Sygnały dyskretne pojawiają się jako wynik próbkowania sygnałów występującychw rzeczywistości, i to one pojawiają się w algorytmachnumerycznych. Poznamy fundamentalne (ale bardzo proste) twierdzenie mówiące kiedy sygnał ciągły można całkowicie odtworzyć z ciągu próbek (mówiąc w skrócie, sygnał musi mieć skończone widmo częstotliwościowe, a próbkowanie musi być wystarczająco częste). W przypadku kiedy sygnału nie da się zrekonstruować z próbek (na przykład z jakichś powodów próbkowanie jest zbyt rzadkie) dowiemy się jak przygotować sygnał do próbkowania, aby uzyskać najlepszy efekt rekonstrukcji (będzie to tak zwany filtr antyaliasowy). b) Zauważmy, że wszystkie rozważane przestrzenie sygnałów mają pewne wspólne cechy, ważne z punktu widzenia teorii. Tworzą je funkcje (o wartościachzespolonych) na jakimś zbiorze, całkowalne lub sumowalne na tym zbiorze z kwadratem. Ta wspólna cecha pozwoli nam wprowadzić w tych przestrzeniach strukturę przestrzeni Hilberta, nasze podstawowe narzędzie. Drugą cechą wspólną rozważanych przestrzeni sygnałów jest to, że zbiór na którym te sygnały są rozważane (R n, T n, Z n, Z n p ) ma strukturę grupy abelowej, na przykład Z p z dodawaniem modulo p. To z kolei pozwala nam korzystać z naszego drugiego podstawowego narzędzia - transformaty Fouriera - w jej wielu wcieleniach, transformaty ciągłej, dyskretnej czy szeregu Fouriera. Przestrzeń Hilberta. Przypomnijmy krótko pojęcie przestrzeni liniowej, przestrzeni metrycznej i przestrzeni zupełnej. Przestrzeń liniowa to taka, której elementy można dodawać, odejmować i mnożyć przez skalary (w naszym przypadku skalarami są liczby zespolone). Przestrzeń metryczna to taka, w której określona jest funkcja odległości d(x, y) (metryka) dzięki której można zdefiniować zbieżność ciągu: x n x jeżeli d(x n,x) 0. Otrzymujemy przestrzeń topologiczną, można mówić o ciągłości funkcji. Przestrzeń metryczna zupełna to taka przestrzeń w której każdy ciąg Cauchy ego jest zbieżny, czyli jeżeli ɛ>0 N N n, m Nd(x n,x m ) <ɛ to istnieje x takie, że x n x. Zupełność przestrzeni jest ważna z punktu widzenia teorii matematycznej. Wszystkie przestrzenie które będziemy rozważać są zupełne. Przypomnijmy też funkcję wykładniczą zmiennej zespolonej e iϕ cosϕ + i sin ϕ. Jeżeli funkcję wykładniczą zdefiniujemy przy pomocy szeregu potęgowego e z z n, z - liczba zespolona, n! n0 to powyższa własność natychmiast wyjdzie po skorzystaniu z faktu, że i 2 1, rozdzieleniu składników zawierającychi nie zawierającychi i zastosowaniu rozwinięć Taylora funkcji sin x i cosx. Def. Przestrzeń liniowa E nazywa się przestrzenią Hilberta, jeżeli istnieje w niej iloczyn skalarny, to znaczy funkcja x, y (o wartościachzespolonych) o następującychwłasnościach (a) x, y y, x (jest antysymetryczny), (b) x + y, z x, z + y, z, αx, y α x, y (liniowy względem pierwszej zmiennej), (c) x, y + z x, y + x, z, x, αy α x, y (antyliniowy względem drugiej zmiennej), (d) x, x 0i x, x 0 x 0. (x, y, z to dowolne elementy E, α jest dowolną liczbą zespoloną, a α jest liczbą sprzężoną do α). Dodatkowo E musi być zupełna, wyjaśnimy to za chwilę. Mając w przestrzeni Hilberta iloczyn skalarny wprowadzamy tak zwaną normę (długość) x x, x. Zauważmy, że dzięki własności (d) iloczynu skalarnego pierwiastek można zawsze obliczyć.

3 Tw. (Nierówność Schwarza). Dla dowolnych x, y x, y x y. dowód. Ustalmy x, y E i dowolną liczbę rzeczywistą λ. x + λy 2 x + λy, x + λy x, x + λy + λ y, x + λy x, x + λ x, y + λ y, x + λ 2 y, y λ 2 y 2 +2λR x, y + x 2, (R - część rzeczywista). Rozważane wyrażenie jest więc (dla ustalonych x i y) funkcją kwadratową zmiennej rzeczywistej λ, o współczynnikach y 2,2R x, y i x 2. Wyrażenie nie może być ujemne, więc funkcja kwadratowa może mieć co najwyżej jeden rzeczywisty pierwiastek. A więc wyróżnik funkcji kwadratowej musi być ujemny: (2R x, y ) 2 4 y 2 x 2 0, czyli R x, y x y. Jeżeli x, y jest liczbą rzeczywistą to dowód jest zakończony. Jeżeli nie, to pozostaje jeszcze jeden trik: niech ϕ będzie liczbą rzeczywistą taką, że x, y e iϕ x, y. Taką liczbę zawsze można znaleźć, e iϕ jest znakiem zespolonym liczby x, y. Wtedy e iϕ x, y x, e iϕ y jest liczbą rzeczywistą. Wykorzystaliśmy tu równości Z udowodnionej już części twierdzenia wynika, że 1 e iϕ e iϕ e iϕ. x, e iϕ y x e iϕ y. W końcu, skoro, jak łatwo sprawdzić e iϕ 1,mamy x, y e iϕ x, y, i e iϕ y y. Uwaga. Przyglądając się przedstawionemu wyżej dowodowi zauważmy, że równość (w nierówności Schwarza) zachodzi tylko jeżeli x i y są współliniowe (w sensie zespolonym), to znaczy istnieje liczba zespolona α taka, że x αy.

4 Tw. (Własności normy). (a) x 0 i x 0 x 0, (b) ax a x dla każdej liczby a ielementux E, (c) x + y x + y (nierówność trójkąta). dowód. Własności (a) i (b) wynikają wprost z definicji normy i własności iloczynu skalarnego. Sprawdźmy tylko nierówność trójkąta x + y 2 x + y, x + y x, x + x, y + y, x + y, y x 2 + x, y + y, x + y 2 x 2 + x, y + y, x + y 2 x 2 +2 x y + y 2 ( x + y ) 2. Po drodze skorzystaliśmy z nierówności trójkąta dla liczb zespolonych a + b a + b, oraz z nierówności Schwarza. Norma umożliwia nam wprowadzenie w E metryki d(x, y) x y. Wymagane własności metryki (a) d(x, y) d(y, x), (b) d(x, y) 0orazd(x, y) 0 x y, (c) d(x, y) d(x, z)+d(z,y), wynikają wprost z wyszczególnionychpowyżej własności normy. Metryka wprowadza w E topologię, można więc mówić o zbieżności w przestrzeni Hilberta ciągów czy szeregów i o ciągłości funkcji. Z nierówności Schwarza wynika, że iloczyn skalarny jest ciągłą funkcją dwóch zmiennych. W definicji przestrzeni Hilberta dokładamy założenie o którym wspomnieliśmy wcześniej: powstała przestrzeń metryczna jest zupełna. Przykłady. Wszystkie opisane przestrzenie sygnałów są przestrzeniami Hilberta. Żeby się o tym przekonać należy w każdej przestrzeni wprowadzić iloczyn skalarny i sprawdzić warunki (a) (d) definicji. Należy też udowodnić zupełność powstałej przestrzeni metrycznej. W każdym przypadku przy określeniu iloczynu skalarnego będziemy korzystać z następującej nierówności, prawdziwej dla dowolnychliczb zespolonych: 2 ab a 2 + b 2. L 2 (R n ). Jeżeli f,g L 2 (R n ) to funkcja f g jest absolutnie całkowalna na R n : f(x)g(x) f(x) 2 g(x) 2 +, 2 2 więc f(x)g(x) dx 1 f(x) 2 dx + 1 g(x) 2 dx < +. R 2 n R 2 n R n Możemy więc określić następująco iloczyn skalarny f,g f(x)g(x) dx. R n

5 L 2 (T n ). Podobnie możemy określić f,g 1 π π (2π) n f(x)g(x) dx x (x 1,...,x n ), π π gdyż całka zawsze istnieje. L 2 (Z n ). Mając dwa ciągi f {f m } i g {g m }, m (m 1,...,m n )określamy f,g L 2 (Z n p ). Podobnie dla ciągów okresowych f,g 1 p n m 1,...,m n p 1 m 1,...,m n0 f m g m. f m g m. W każdym z powyższychprzykładów sprawdzamy warunki (a) (d) definicji przestrzeni Hilberta. W przypadku przestrzeni sygnałów ciągłychwarunek (d) mówi, że f(x) 2 dx 0 f 0, R n lub 1 π π (2π) n f(x) 2 dx 0 f 0. π π Żeby ten warunek był spełniony, tak naprawdę w przypadku przestrzeni sygnałów ciągłychelementami nie są funkcje, ale klasy równoważności funkcji modulo funkcje o całce z kwadratu modułu równej 0. To jest szczegół techniczny, który w praktycznych zastosowaniach nie będzie miał dla nas znaczenia. Warto jednak o tym pamiętać. Dwie funkcje różniące się tylko w jednym albo w kilku punktachto z punktu widzenia przestrzeni sygnałów ten sam element. Istotnym punktem do sprawdzenia jest zupełność powstałychprzestrzeni metrycznych. W przypadku przestrzeni sygnałów dyskretnychjest to proste ćwiczenie, a w przypadku przestrzeni sygnałów ciągłych wynika to z własności całki Lebesgue a. To właśnie z tego powodu w definicji przestrzeni używamy całek Lebesgue a. Bazy i rozpięcia. Def. Zbiór elementów {e n } przestrzeni Hilberta E (skończony lub nieskończony) nazywamy bazą E jeżeli (a) jest liniowo niezależny, czyli α 1 e 1 + + α k e k 0 α 1 α 2 α k 0, dla dowolnego k i dowolnychskalarów α 1,...,α k,oraz (b) jest zupełny w E, czyli x E ɛ>0 α 1,...,α k x α n e n <ɛ.

6 Mówiąc luźno, zbiór tworzy bazę jeżeli do każdego elementu przestrzeni E można podejść dowolnie blisko jakąś kombinacją linową elementów bazy (zupełność), i zbiór nie zawiera żadnychzbędnych elementów (liniowa niezależność). Uwaga. (a) Powyższa definicja różni się zasadniczo od pojęcia bazy przestrzeni liniowej wprowadzanego na wykładzie z algebry liniowej. W tamtej definicji każdy element przestrzeni można przedstawić jako kombinację liniową elementów bazy, a w tej definicji wystarczy żeby do każdego elementu przestrzeni można było dowolnie blisko podejść kombinacjami liniowymi elementów bazy. Dla uniknięcia zamieszania tamtą, algebraiczną bazę czasami nazywa się bazą Hamela, a tę bazą topologiczną. Na tym wykładzie będziemy korzystali tylko z baz topologicznych, i będziemy je po prostu nazywali bazami. W przypadku przestrzeni skończenie wymiarowychoba pojęcia baz są identyczne. (b) Można udowodnić, że dwie bazy tej samej przestrzeni sąrównoliczne. Liczbę elementów bazy (może być nieskończona) nazywamy wymiarem przestrzeni. Def. Bazę {e n } przestrzeni E nazywamy bazą ortonormalną (o.n.) jeżeli { 0 n m e n,e m 1 n m. Zbiór elementów {e n }, niekoniecznie baza, spełniający powyższy warunek nazywa się układem ortonormalnym. Układ ortonormalny jest automatycznie liniowo niezależny, co łatwo sprawdzić. Stanowi bazę dla podprzestrzeni domkniętej, którą rozpina. Jeżeli jest zupełny, to rozpina całą przestrzeń E. Bazy o.n. stanowią bardzo wygodne narzędzie do badania przestrzeni Hilberta. Nie ma problemu ze znajdowaniem takichbaz, gdyż z dowolnej bazy można wytworzyć bazę o.n. przy pomocy tak zwanej procedury Gramma-Schmidta. Następujące fakty uzasadnią użyteczność baz o.n. Tw. Jeżeli {e n } jest bazą o.n. przestrzeni E to dla dowolnych liczb zespolonych α 1,...,α k i dowolnego x E zachodzi nierówność x x, e n e n x α n e n. dowód. x 2 α n e n x x x, e n e n + 2 ( x, e n α n ) e n 2 x, e n e n + +2R x x, e n e n, ( x, e m α m ) e m + m0 2 + ( x, e n α n ) e n. Powyższą równość otrzymaliśmy tak, jak zwykle: normę sumy do kwadratu zapisaliśmy jako iloczyn skalarny sumy przez siebie, i skorzystaliśmy z liniowości iloczynu skalarnego. Rozważmy drugi składnik uzyskanej sumy: ( ) x x, e n e n, ( x, e m α m ) e m x, e m α m x x, e n e n,e m ( ) ( x, e m α m x, e m ) x, e n e n,e m.

Zauważmy, że ostatni nawias 0, gdyż baza jest ortonormalna. Rozważmy teraz ostatni (trzeci) składnik sumy: 2 ( x, e n α n ) e n ( x, e n α n ) e n, ( x, e m α m ) e m ( x, e n α n ) x, e n α n 2. ( x, e m α m ) e n,e m 7 Tak więc w końcu x 2 α n e n x 2 x, e n e n + x, e n α n 2, awięc x x, e n e n x α n e n, co mieliśmy udowodnić i, co więcej, równość zachodzi wtedy i tylko wtedy, gdy α n x, e n dla wszystkich n 1,...,k. Z definicji bazy wynika, że do każdego elementu można dowolnie blisko podejść jakąś kombinacją liniową elementów bazy. Powyższe twierdzenie mówi, że jeżeli baza jest ortonormalna, to najlepszymi kombinacjami liniowymi są kombinacje x, e n e n. Mamy więc konkretny wzór na współczynniki tych najefektywniejszych kombinacji. Wniosek. Jeżeli {e n } jest bazą o.n. przestrzeni E to: (a) dla dowolnego x E x x, e n e n, (rozkład x względem bazy) (b) jeżeli dla jakiegoś ciągu współczynników α 1,α 2,... zachodzi x α n e n, to współczynniki muszą być iloczynami skalarnymi α n x, e n (jednoznaczność rozkładu), (c) dla dowolnego x E x 2 x, e n 2 (równość Plancherela).

8 W powyższym wniosku przyjęliśmy, że baza jest nieskończona. Oczywiście, jeżeli jest skończona, to wniosek też jest prawdziwy a wszystkie sumy nieskończone zastępujemy skończonymi dowód. (a) Podobnie jak w dowodzie poprzedniego twierdzenia można pokazać, że jeżeli k m to x m x, e n e n x x, e n e n. Po prostu, można wziąć α n x, e n dla n 1,...,m i α n 0dlan m +1,...,k. Dalej, z definicji bazy wiemy, że dla każdego ɛ>0 istnieją współczynniki α 1,...,α k takie, że x α n e n <ɛ. Z poprzedniego twierdzenia i poprzedniej uwagi wynika w takim razie, że dla tego ɛ itegok mamy l x x, e n e n <ɛ l k, a więc szereg jest zbieżny do x. (b) Jeżeli x, e n e n, x α n e n, to stosując iloczyn skalarny i korzystając z jego ciągłości mamy x, e n α m e m,e n α m e m,e n α n. (c) Korzystając z ciągłości iloczynu skalarnego otrzymujemy x 2 x, x x, e n e n, x, e m e m x, e n x, e m e n,e m x, e n 2. Uwaga. (a) Równości w (a) i (b) są równościami w przestrzeni E i, na przykład, równość w (a) oznacza N lim N x x, e n e n 0. (b) Równość Plancherela x 2 x, e n 2 można rozumieć jako uogólnione (z przypadku 2-wymiarowego) twierdzenie Pitagorasa: kwadrat długości wektora jest sumą kwadratów jego składowychw kierunkachelementów bazy ortonormalnej.

Def. Bazę {e n } przestrzeni E nazywamy bazą Riesza jeżeli istnieją stałe A, B > 0 takie, że dla dowolnego ciągu liczb {α n } A α n 2 2 α n e n B α n 2. Baza Riesza jest pojęciem ogólniejszym niż baza ortonormalna (dla bazy o.n. A B 1). W zastosowaniachjest prawie tak samo wygodna jak baza o.n. Można pokazać, że dla bazy Riesza {e n } istnieje inna baza Riesza {f n } taka, że dla każdego x E x x, f n e n x, e n f n. Dla bazy Riesza również mamy więc jawny wzór na znajdowanie współczynników bazowych, musimy tylko wygenerować wcześniej bazę {f n }. Def. Zbiór elementów {e n } E zupełny (niekoniecznie liniowo niezależny) nazywamy rozpięciem dokładnym jeżeli dla każdego x E x 2 x, e n 2. Jeżeli {e n } jest rozpięciem dokładnym, to istnieje inne rozpięcie dokładne {f n } takie, że dla każdego x E x x, f n e n x, e n f n. W przypadku rozpięcia dokładnego również mamy więc sytuację, gdzie każdy x można przedstawić jako kombinację elementów rozpięcia, i są jawne wzory na współczynniki tego rozwinięcia. Mając bazę Riesza lub rozpięcie dokładne można wytworzyć z nichbazę o.n., przy pomocy wspomnianej już procedury Gramma-Schmidta. Przypomnijmy jeszcze kilka pojęć, z którychbędziemy korzystać. Jeżeli H E jest podprzestrzenią, to dopełnieniem ortogonalnym H nazywamy podprzestrzeń H {x E : x y y H}, (x y oznacza x, y 0). Jeżeli H E jest podprzestrzenią domkniętą to istnieje rzut prostopadły na H, czyli przekształcenie liniowe P : E H takie, że 9 Px x x H, Px 0 x H. P przypisuje dowolnemu x E najbliższy mu element podprzestrzeni H. Jeżeli w podprzestrzeni H mamy bazę o.n. {e n },to Px x, e n e n. Jeżeli G, H E są dwoma podprzestrzeniami, to mówimy, że E jest ortogonalnąsumąprostąpodprzestrzeni G i H jeżeli każdy element x E można jednoznacznie zapisać jako x x 1 + x 2, x 1 G, x 2 H,

10 oraz G H (czyli x y dla dowolnych x G i y H). Piszemy wtedy E G H. Uwaga. (a) Jeżeli E G H to żeby skonstruować bazę w E wystarczy osobno skonstruować bazy w G iwh. Ichsuma, jako zbiorów, będzie bazą E. Jeżeli te bazy w G i H są ortonormalne, to ichcuma też jest ortonormalna. (b) Jeżeli H jest domkniętą podprzestrzenią E, to E H H. Przypomnijmy jeszcze następujący bardzo przydatny fakt. Fakt. Zbiór {e n } E jest zupełny wtedy i tylko wtedy, gdy jedynym elementem x E prostopadłym do wszystkich e n jest 0.