Wstęp do metod numerycznych Dyskretna transformacja Fouriera. P. F. Góra

Transkrypt

1 Wstęp do metod numerycznych Dyskretna transformacja Fouriera P. F. Góra 01

2 Problem Majac dany szereg czasowy {x i } N i=1 = {x 1, x,..., x N } (zazwyczaj nieciekawy), zdobadź informację na temat mechanizmu odpowiedzialnego za wygenerowanie tego szeregu (co może być interesujace). Copyright c P. F. Góra 13

3 Przykład x(t) 0.0 x(t) t t Po owocach jego poznacie go. Copyright c P. F. Góra 13 3

4 Próbkowanie Nie zajmujemy się sygnałami ciagłymi, ale sygnałami, które zostały spróbkowane z pewnym stałym krokiem: g n = g(n ), n =..., 3,, 1, 0, 1,, 3,... (1) Proces próbkowania wprowadza pewna częstotliwość charakterystyczna, zwana częstotliwościa Nyquista: f Nyq = 1. () Uwaga: Jeśli chcemy rozpoznać falę harmoniczna, należy ja spróbkować (co najmniej) dwa razy w każdym okresie. Jeśli próbkujemy z krokiem, możemy rozpoznać częstotliwości f [ f Nyq, f Nyq. Copyright c P. F. Góra 13 4

5 Dodatnie i ujemne częstotliwości Jeśli dopuszczamy dodatnie i ujemne częstotliwości, e +πift, e πift = e +πi( f)t, możemy odróżnić sin πft od cos πft, które maja taka sama częstotliwość, ale różnia się faza. Copyright c P. F. Góra 13 5

6 Twierdzenie Shannona-Kotelnikowa o próbkowaniu Pytanie: Kiedy możemy próbkować lub też pod jakimi warunkami dyskretne próbki dadza tę sama informację, co funkcja o argumencie ciagłym? Theorem: Jeśli funkcja g(t) jest pasmowo ograniczona, czyli gdy zwiera tylko częstotliwości z przedziału [ f Nyq, f Nyq, i gdy mamy nieskończony szereg próbkowany z krokiem, wówczas sin ( πf Nyq (t n ) ) t: g(t) = g n. (3) π(t n ) n= Szum (procesy stochastyczne) i funkcje nieciagłę (zawierajace skoki) nie sa pasmowo ograniczone. Copyright c P. F. Góra 13 6

7 Aliasy Jeśli w sygnale sa częstotliwości spoza przedziału f [ f Nyq, f Nyq, nie tylko sa one tracone, ale także psuja one informację o częstotliwościach z przedziału Nyquista. Rozważmy dwie fale harmoniczne exp(πif 1 t), exp(πif t) takie, że f 1 f = k/. Wówczas exp(πif 1 n ) = exp(πi(f + k/ )n ) = exp(πif n + πikn) = exp(πif n ). Takie fale daja identyczne próbki, jeśli próbkować je z krokiem. Copyright c P. F. Góra 13 7

8 Example sin(πt) + 0.5sin(9πt) sin(πt) - 0.5sin(7πt) t Częstotliwość 9/ zostanie fałszywie zinterpretowana jako 7/. Copyright c P. F. Góra 13 8

9 Transformacja Fouriera G(f) = g(t)e πift dt (4) Funkcja musi znikać dostatecznie szybko dla t ± aby transformacj Fouriera istniała. Transformacja odwrotna: g(t) = G(f)e πift df (5) Trzeba zapamiętać gdzie umieścić π, jest kilka różnych konwencji. Copyright c P. F. Góra 13 9

10 Własności transformacji Fouriera Splot: (g h)(t) = g(τ)h(t τ) dτ (6a) g h G(f)H(f) (6b) Funkcja korelacji: Corr(g, h) = g(τ + t)h(t) dτ (7a) Corr(g, h) G(f)H (f) (7b) Copyright c P. F. Góra 13 10

11 Twierdzenie Wienera-Chinczyna Funkcja korelacji: Corr(g, g) G(f) (8) Tożsamość Parsevala g(t) dt = G(f) df = całkowita moc (9) Copyright c P. F. Góra 13 11

12 Skończone szeregi czasowe Twierdzenie o próbkowaniu wymaga nieskończonego szeregu czasowego. W rzeczywistości mamy dane jedynie szeregi skończone, o pewnej długości N. Stosowane sa dwie konwencje: Zakładamy, że wyrazy szeregu na obu końcach daż a do zera (jeśli trzeba, mnożymy szereg przez odpowiednia funkcję okna) i sa tożsamościowo równe zeru przed zarejestrowanym poczatkiem i po zarejestrowanym końcu. Zakładamy, że zaobserwowany szereg skończony jest okresem nieskończonego szeregu okresowego. (W tej konwencji sinus i kosinus maja transformaty Fouriera.) Copyright c P. F. Góra 13 1

13 Przyjmujemy ta druga konwencję i udajemy, że szereg ma postać..., g 0, g 1, g,..., g N 1, g 0, g 1, g,..., g N 1, g 0, g 1, g,..., g N 1,... (10) } {{ } kopia 1 } {{ } prawdziwe dane } {{ } kopia +1 Ponieważ mamy N (przyjmijmy, że jest to liczba parzysta) próbek wejściowych, dyskretna transformacja Fouriera (Discrete Fourier Transform, DFT) może być obliczana tylko w N punktach. Decydujemy, że DFT obliczamy tylko dla częstotliwości f n = n N, n = N,..., N. (11) Copyright c P. F. Góra 13 13

14 Dyskretna transformacja Fouriera G(f n ) = g(t) e πif nt dt = lim M 1 M+1 M s(n 1) s= M (s 1)(N 1) g(t) e πif nt dt = (N 1) 0 g(t)e πif nt dt N 1 k=0 g k e πif nt k = N 1 k=0 g k e πikn/n. (1) Copyright c P. F. Góra 13 14

15 Liczby G n = 1 N 1 N k=0 g k e πikn/n (13) nazywamy dyskretnymi składowymi Fourierowskimi funkcji g. Transformacja odwrotna ma postać g k = 1 N 1 N Dyskretna tożsamość Parsevala: n=0 G n e πikn/n. (14) N 1 k=0 g k = N 1 n=0 G n. (15) Copyright c P. F. Góra 13 15

16 DFT jako transformacja liniowa Równanie (13) można przepisać w postaci G n = N 1 k=0 W nk g k, W nk = 1 N e πikn/n. (16a) (16b) Liczby W nk można interpretować jako elementy pewnej macierzy. Wobec tego (16) można zapisać w zwartej postaci w następujacy sposób: G = Wg, (17) gdzie G, g C N, W C N N. Jaka jest złożoność obliczenia DFT? Wydaje się, że jest to koszt pomnożenia wektora przez macierz, a więc O(N ). Copyright c P. F. Góra 13 16

17 Własności macierzy W ( WW ) ls = N 1 k=0 ( W lk W ) N 1 ks = k=0 W lk (W sk ) = 1 N N 1 k=0 Jeżeli l = s, wszystkie wyrazy równaja się 1, więc wynikiem jest 1. l s = m 0, ( WW ) ls = 1 N N 1 k=0 ( e πim/n ) k = 1 ( e πim/n ) N e πi(l s)k/n (18) Jeżeli N(1 e πim/n ) = 1 emπi N(1 e πim/n ) = 0. (19) ( WW ) ls = δ ls. Macierz W jest macierza unitarna. Copyright c P. F. Góra 13 17

18 Podsumowanie DFT jest, z dokładnościa do normalizacji, unitarnym przekształceniem wektora próbek na wektor składowych Fourierowskich. DFT przedstawia wektor próbek w innej bazie, a mianowicie w bazie rozpinanej przez zdyskretyzowane sinusy i kosinusy o częstotliwościach 0, 1/(N ), /(N ),..., 1/( ). Dzięki symetriom macierzy W, złożoność obliczeniowa DFT może być znacznie zmniejszona (FFT). Copyright c P. F. Góra 13 18

19 Uwagi Dyskretne składowe Fourierowskie sa okresowe. G N/ = G N/. W szczególności, Używa się także transformacji rozpiętych na samych sinusach badź kosinusach (transformacje jednostronne). Sygnał może być zespolony. Jeśli sygnał jest rzeczywisty, wygodnie jest obliczać jego transformatę, traktujac go jako sygnał zespolony o połówkowej długości. Wygodnie jest także jednocześnie obliczać transformatę dwu sygnałów rzeczywistych, traktowanych jako część rzeczywista i urojona sygnału zespolonego. W obu wypadkach symetrie DFT pozwalaja zidentyfikować co jest transformacja czego. Copyright c P. F. Góra 13 19

20 Transformata sygnału pokrywajacego się z jednym z sygnałów bazowych N = 3, = 1/ sin(πt) 0.0 P(f) t f Copyright c P. F. Góra 13 0

21 Transformata czystego sygnału harmonicznego, który nie pokrywa się z pojedynczym sygnałem bazowym N = 3, = 1/ sin(6t) 0.0 P(f) t f Copyright c P. F. Góra 13 1

22 Zwiększanie liczby próbek bez zmiany kroku próbkowania zwiększa rozdzielczość 1 N = 3, = 1/ P(f) sin(6t) + 0.5sin(7t) P(f) f N = 18, = 1/ t f Copyright c P. F. Góra 13

23 Macierz Vandermonde a Mecierz DFT jest szczególnym przypadkiem macierzy Vandermonde a W = 1 N V (N) C N N, gdzie V (N) = z 0 z 1 z N z N 1 z0 z1 zn z N 1... z0 N 1 z1 N 1 zn N 1. zn 1 N 1 (0) W wypadku DFT, z k = exp(πik/n). Copyright c P. F. Góra 13 3

24 Algorytm szybkiej transformacji Fouriera (Fast Fourier Transform, FFT) Przedyskutujmy to na przykładzie N = 8 G = V(8) 8 g = i i 1 1+i 1+i 1 1 i 1 i 1 i 1 i 1 i 1 i i 1 i 1 1+i 1+i 1 i 1 i i i 1 1 i 1 i 1 1+i 1+i 1 i 1 i 1 i 1 i 1 i i 1 i 1 i 1 1+i Widać pewne wzorce, ale trudno jest dostrzec symetrie. 1+i g 0 g 1 g g 3 g 4 g 5 g 6 g 7 (1) Copyright c P. F. Góra 13 4

25 Spermutujmy kolumny macierzy i wiersze wektora próbek tak, aby nie zmienić wyniku: G = i 1 i 1+i 1+i 1 i 1 i i i i i 1 i 1 i 1+i 1+i 1 i 1 i i 1 i 1 i 1 i 1+i 1+i i i i i 1 i 1 i 1 i 1 i 1+i 1+i g 0 g g 4 g 6 g 1 g 3 g 5 g 7 () Teraz zaczynamy coś widzieć! Copyright c P. F. Góra 13 5

26 Przepiszmy równanie () w następujacej notacji blokowej G = 1 8 V (4) Ω (4) V (4) V (4) Ω (4) V (4) g 0 g g 4 g 6 g 1 g 3 g 5 g 7 (3) Copyright c P. F. Góra 13 6

27 ... gdzie V (4) = i 1 i i 1 i, (4) Ω (4) = i i i = ( ) 0 1+i ( ) 1 1+i ( ) 1+i ( ) 3 1+i (5) Copyright c P. F. Góra 13 7

28 A zatem G = 1 8 V (4) V (4) g 0 g g 4 g 6 g 0 g g 4 g 6 + Ω(4) V (4) Ω(4) V (4) g 1 g 3 g 5 g 7 g 1 g 3 g 5 g 7 (6) Fragmenty o różnych kolorach obliczane sa tylko raz. Mnożenie przez Ω (4) zachodzi w czasie liniowym. Zredukowaliśmy całkowita liczbę operacji o połowę. Copyright c P. F. Góra 13 8

29 Kluczowa obserwacja: V (4) można sfaktoryzować w podobny sposób, z jednoczesna permutacja wektora wejściowego: V (4) g 0 g g 4 g 6 = V () Ω () V () V () Ω () V () g 0 g 4 g g 6 (7) V () = [ , Ω () = [ 1 i = [ i 0 i 1 (podobnie dla [g 1, g 3, g 5, g 7 T ) Copyright c P. F. Góra 13 9

30 Zatem G = 1 8 V () [ g0 g 4 +Ω () V () [ g g 6 V () [ g0 g 4 Ω () V () [ g g 6 V () [ g0 g 4 +Ω () V () [ g g 6 V () [ g0 g 4 Ω () V () [ g g 6 +Ω(4) Ω (4) V () [ g1 g 5 +Ω () V () [ g3 g 7 V () [ g1 g 5 Ω () V () [ g3 g 7 V () [ g1 g 5 +Ω () V () [ g3 g 7 V () [ g1 g 5 Ω () V () [ g3 g 7 Wektory dwuwymiarowe o różnych kolorach obliczane sa tylko raz. Zmniejszyliśmy liczbę operacji czterokrotnie. Copyright c P. F. Góra (8)

31 Ostatnia zagadka Dokonaliśmy następujacej permutacji wektora wejściowego [g 0, g 1, g, g 3, g 4, g 5, g 6, g 7 T [g 0, g 4, g, g 6, g 1, g 5, g 3, g 7 T. Czy taka permutację łatwo jest zaimplementować? = odwróć kolejność = (9) Wejściowy wektor został zapisany w odwrotnej kolejności bitowej indeksów. Copyright c P. F. Góra 13 31

32 Ten algorytm łatwo można uogólnić dla każdego N = s, s N. Nie trzeba obliczać członów postaci sin ( ) ( ) nπ N, cos nπ N nie trzeba wołać funkcji bibliotecznych sin( ), cos( ). Na każdym etapie faktoryzacji tylko jeden raz obliczany jest pierwiastek odpowiedniego stopnia z i, na co sa gotowe wzory. Następnie oblicza się tylko kolejne potęgi tego pierwiastka. Jaki jest więc końcowy koszt numeryczny? Copyright c P. F. Góra 13 3

33 Każda faktoryzacja zmniejsza liczbę operacji o połowę. Jest log N fakatoryzacji. Złożoność obliczeniowa algorytmu FFT wynosi O(N log N) Na przykład, dla N = = 16, algorytm FFT zmniejsza koszt obliczeniowy wyliczenia DFT ponad cztery tysiace razy. Copyright c P. F. Góra 13 33

34 Uwagi Podobne algorytmy można skonstruować dla N = 3 s, N = 5 s i, w ogólności, dla każdego N = q s, gdzie q jest liczba pierwsza. Ich złożoność obliczeniowa wynosi O(N log q N). Dobre biblioteki automaczynie faktoryzuja macierze o rozmiarach N = q s 1 q 1, q,..., q m sa niewielkimi liczbami pierwszymi. 1 qs qs m, gdzie Jeśli analizujemy szerego, którego wyrazy obliczamy, możemy kontrolować jego długość i powinniśmy zadbać, aby była ona potęga niewielkiej liczby peirwszej. Jeśli analizujemy szereg doświadczalny, rozsadnie jest go albo obciać, albo wypełnić zerami, tak, aby długość była potęga niewielkiej liczby peirwszej. Istnieja także szybkie algorytmy obliczania transformat jednostronnych (sinusowej i kosinusowej). Na sieci dostępnych jest wiele pakietów obliczajacych FFT. Niektóre z nich sa dobre. Ja polecam The Fastest Fourier Transform in the West, Copyright c P. F. Góra 13 34