16. Szeregi i transformaty Fouriera Marian Bubak Department of Computer Science AGH University of Science and Technology Krakow, Poland bubak@agh.edu.pl dice.cyfronet.pl Contributors Maciej Trzebiński Mikołaj Biel Rafał Stachura
Outline 1 Wstęp 2 Podstawowe własności szeregów i transformat Fouriera 3 Interpolacja trygonometryczna 4 Szybka transformata Fouriera FFT dla n = 2 m 5 FFT dla przypadku ogólnego 6 Transformata Hartley a 7 Transformata Fouriera w internecie
Wstęp Wstęp Przykładowe zastosowania transformaty Fouriera: a) metody spektralne: badanie zjawisk okresowych: szeregi czasowe (np. sterowanie) badanie zjawisk nieokresowych: przedłużanie okresowe funkcji całki Fouriera b) algorytmy numeryczne: opracowanie analiza: badanie jakości algorytmów (np. dla MES) c) cyfrowe przetwarzanie sygnału badanie składowych harmonicznych filtracja obrazów i dźwięku kompresja
Podstawowe własności szeregów i transformat Fouriera Sposoby opisu procesu fizycznego I 1 w dziedzinie czasu (time domain) = A(t) t czas, A pewna wielkość } częstości(ω) 2 w dziedzinie: = Â(ω) ω = 2πf częstotliwości(f ) A(t), Â(ω) dwie różne reprezentacje tej samej funkcji (wielkości fizycznej) związane równaniami transformat Fouriera: lub równoważnie: A(t) = Â(ω) = dω 2π Â(ω) eiωt dt A(t) e iωt
Podstawowe własności szeregów i transformat Fouriera Sposoby opisu procesu fizycznego II A(t) = Â(f ) = df Â(f ) e2πift dt A(t) e 2πift korzystamy z: ω = 2πf nie trzeba pamiętać o czynniku 1 2π t czas ω częstość kołowa x położenie k = 2π λ wektor falowy (liczba falowa). A(t), Â(ω) ciągłe f. swych argumentów A(t) Â(ω); Â(ω) = Γ[A(t)]
Podstawowe własności szeregów i transformat Fouriera Definicje transformat Fouriera I a) FT - transformata Fouriera (Fourier Transform) x - ciągłe k - ciągłe A(x), Â(k) - f. ciągłe Â(k) = A(x) = dxa(x)e ikx (16.1) dk 2π Â(k)eikx
Podstawowe własności szeregów i transformat Fouriera Definicje transformat Fouriera II b) FS(i) - szereg Fouriera (Fourier Series) x - zmienna ciągła B(x) - f. okresowa ciągłej zmiennej x; okres: L (ciągła odcinkami wraz z pochodną: na tych odcinkach - szereg zbieżny do B(x), w punktach nieciągłości - do wartości średniej) l k - liczba całkowita - dyskretne B(k) = dxb(x)e ikx L B(x) = 1 (16.2) L B(k)e ikx l= k = 2π l = k 0 l }{{} L k 0
Podstawowe własności szeregów i transformat Fouriera Definicje transformat Fouriera III c) FS(ii) - szereg Fouriera x p - dyskretne o skoku H x p = p H p - liczba całkowita k - ciągła Ĉ(k) - periodyczna okres k g = 2π H Ĉ(k) = H C(x p ) = k g p= C(x p )e ikxp (16.3) dk 2π Ĉ(k)eikxp
Podstawowe własności szeregów i transformat Fouriera Definicje transformat Fouriera IV d) fft - skończona transformata Fouriera (finite FT) x p - dyskretne o skoku H x p = p H D(x p ) - okresowa; okres: L N - ilość punktów w okresie D(x p ) k - dyskretna, skok k 0 = 2π L ; k = l k 0 D(k) - okresowa, okres k g = 2π H D(k) = H N 1 D(x p ) = 1 L p=0 N 1 l=0 D(x p )e ikxp D(k)e ikxp (16.4)
Podstawowe własności szeregów i transformat Fouriera Związki między transformatami Fouriera Przez przejścia graniczne:
Podstawowe własności szeregów i transformat Fouriera Symetrie funkcji i jej transformaty I Transformaty Fouriera liniowe Oznaczenia: E - even (parzysty) O - odd (nieparzysty) r - real (rzeczywisty) i - imaginary (urojony) Wszystkie 4 transformaty Fouriera mają te same własności symetrii: f (x) = E r (x) + i E i (x) + O r (x) + i O i (x) (16.5) f (k) = E r (k) + i E i (k) + i O i (k) + O r (k) (16.6)
Podstawowe własności szeregów i transformat Fouriera Symetrie funkcji i jej transformaty II f (x) r E r E i E i E r i E O f (k) r E i E i E r E hermitowska antyherminowska E O
Podstawowe własności szeregów i transformat Fouriera Zestawienie własności transformat I poza własnościami dotyczącymi pochodnej - obowiązują dla wszystkich 4 transformat Z : f (x) f (k); g(x) ĝ(k) podobieństwo: f ( x a ) a f (k a) mnożenie przez stałą: suma: odwrotność: przesunięcie: pochodna: b f b f f + g f + ĝ jeżeli: f (x) f (k) = g(k) to: g(x) ĝ(k) = 2π f ( k) f (x + a) e ika f (k) df dx ik f (k) (16.7)
Podstawowe własności szeregów i transformat Fouriera Zestawienie własności transformat II Theorem (o mocy) f (x) g (x)dx = Analogicznie dla FS i fft f (x) ĝ (x) dk 2π (16.8)
Podstawowe własności szeregów i transformat Fouriera Splot (konwolucja) I f (x), g(x) funkcje ich splot: Własności: h(x) = dx f (x )g(x x ) f g (16.9) f g = g f f (g h) = (f g) h f (g + h) = f g + f h commutative associative distributive
Podstawowe własności szeregów i transformat Fouriera Splot (konwolucja) II Przykład operacji splotu dla dwóch wektorów kolumnowych: α 0 β 0 a IR n 1 ; b IR n 1 α 1 ; a =. ; b = β 1. α n 1 β n 1 [a b] k = k i=0 α i β k i ; a b IR 2n 1 α 0 α 1. α n 1 β n 1. β 1 β 0 a b = α 0 β 0 α 0 β 1 + α 1 β 0 α 0 β 2 + α 1 β 1 + α 2 β 0. α n 2 β n 1 + α n 1 β n 2 α n 1 β n 1 0
Podstawowe własności szeregów i transformat Fouriera Splot (konwolucja) III FT FS(i) FS(ii) fft Table: Splot i jego transformaty (16.10) x k dx f (x ) g(x x ) f (k) ĝ(k) dk f (x) g(x) 2π f (k ) ĝ(k k ) dx f (x ) g(x x ) f (k) ĝ(k) L 1 f (x) g(x) L f (k ) ĝ(k k ) L = H f (x p) g(x p x f (k) ĝ(k) p) p = dk 2π f (x p ) g(x p ) f (k ) ĝ(k k ) k g H f (x p) g(x p x f (k) ĝ(k) p) p =0 1 f (x p ) g(x p ) l N 1 f (k ) ĝ(k k ) l =0
Podstawowe własności szeregów i transformat Fouriera Transformaty 3-D i... Uogólnienie z 1-D na 3-D (i więcej) - bezpośrednie: 1-D 3-D x x = (x 1, x 2, x 3 ) k k = (k1, k 2, k 3 ) k x dx d k 2π k x d x dk (2π) 3 (16.11) L V b = L 1 L 2 L 3 H V c = H 1 H 2 H 3...
Interpolacja trygonometryczna Interpolacja trygonometryczna f. okresowe: g(y + L) = g(y); okres: L f. trygonometryczne: L 2π, x = 2π L szukamy wielomianu (trygonometrycznego) n 1 y, f (x) = g(x L 2π ) t n 1 (x) = c j e ijx (16.12) który w n punktach x k (0, 2π] przyjmuje te same wartości, co interpolowana funkcja t n 1 (x k ) = f (x), k = 0, 1,..., n 1 j=0
Interpolacja trygonometryczna Dowód I Theorem Zadanie interpolacji trygonometrycznej ma jednoznaczne rozwiązanie. Proof. n 1 j=0 c j (e ix k ) j }{{} = f (x k ), k = 0, 1,..., n 1 (16.13) Z k = macierz układu: macierz Vandermonde a jest nieosobliwa, jeżeli x k są różne, i: det Z = k L(Z k Z L ) (16.14)
Interpolacja trygonometryczna Dowód II Proof (Cont.) W praktyce - ważny przypadek szczególny: n węzłów równoodległych, x k = 2π n k, k = 0, 1,..., n - 1 funkcje e ijx, j = 0, 1,..., n - 1 tworzą układ ortogonalny w sensie iloczynu skalarnego zdefinowanego: n 1 f g = f (x k ) g (x k ), x k = 2π n k=0 k, k = 0, 1,..., n 1 (16.15) n 1 e ijx e ilx = e ijxk e ilx k = k=0 n 1 k=0 2πk i(j l) e n = (16.16)
Interpolacja trygonometryczna Dowód III Proof (Cont.) dla j = l dla j l n 1 = k=0 e 0 = n (16.17) n 1 = k=0 e i(j l)2π n k }{{} -szereg geom. -n-wyrazów a 0 = 1; q = e i(j l)2π n = a 0 a n q 1 q =1 {}}{ i(j l)2π = 1 e n n 1 e i(j l)2π n = 0 (16.18)
Interpolacja trygonometryczna Dowód IV Proof (Cont.) { n 1 e ijx e ilx = e ijxk e ilx k 0 j l = n j = l k=0 (16.19)
Interpolacja trygonometryczna Interpolacja trygonometryczna I Jakie powinny być współczynniki wielomianu interpolacyjnego c j? 1 t n 1 (x) e ilx = n 1 n 1 c j e ijx e ilx = j=0 j=0 c j n δ jl = = c l n = c l = 1 n t n 1(x) e ilx (16.20) 2 t n 1 (x) e ilx = n 1 }{{} ( ) n 1 k=0 t n 1 (x k ) e ilx k = }{{} =wartości funkcji = f (x k ) e ilx k = f (x) e ilx k=0
Interpolacja trygonometryczna Interpolacja trygonometryczna II - def. iloczynu (przypadek dyskretny) czyli: c j = 1 n n 1 k=0 f (x k ) e ijx k, j = 0, 1,..., n 1 (16.21) = analiza Fouriera: dla danych liczb zespolonych f (x k ), k = 0, 1,..., n 1 szukamy c j, j = 0, 1,..., n 1 synteza Fouriera: mając liczby c j, j = 0, 1,..., n 1 szukamy n 1 f (x) = c j e ij 2π n k, k = 0, 1,..., n 1 (16.22) j=0
Interpolacja trygonometryczna Interpolacja trygonometryczna III = obie: dyskretne wzajemnie odwrotne Podsumowanie: klasyczny algorytm: (f = A C) n 2 -zespolonych mnożeń, -zespolonych dodawań, -obliczeń e i 2πkj n (16.23) Wada duża złożoność operacji
Szybka transformata Fouriera FFT dla n = 2 m FFT I Danielson, Lanczos (1942) R.L.Garwin (IBM Yorktown Heights Researcg Center) James William Cooley, John Wilder Tukey (1962) Table: Złożoność obliczeniowa czasowa klasyczna FT: O(N 2 ) = 1.5 godziny FFT: O(N log 2 N) = 0.1 sekundy Założenia: rozmiar problemu: N = 10 6 CPU 100 MFLOPS
Szybka transformata Fouriera FFT dla n = 2 m FFT II Dane: f (x k ), x k = 2π n k, k = 0, 1,..., n 1 Szukamy: c j = 1 n 1 2πk i n f (x k ) e n j, j = 0, 1,..., n 1 k=0 gdy: a k = 1 n f (x k), ω = e i 2π n to: c j = n 1 a k ω jk, j = 0, 1,..., n 1 k=0 Założenie: ilość punktów: n = 2 m Fouriera. = tyleż współczynników
Szybka transformata Fouriera FFT dla n = 2 m FFT III Istota algorytmu: (k - numer punktu) gdy k parzyste k = 2 k 1 gdy k nieparzyste k = 2 k 1 + 1 Dziedzina k: z dołu k 1 = 0 (parzyste k) z góry: n 1 = 2 m 1 = k - nieparzyste: 2k 1 + 1 = n 1 = k 1 = n 2 1 Rozdzielamy wyznaczanie współczyników!!!: c j = n 2 1 k 1 =0 a 2k1 (ω 2 ) j k 1 + n 2 1 k 1 =0 a 2k1 +1 (ω 2 ) j k1 ω j (16.24)
Szybka transformata Fouriera FFT dla n = 2 m FFT IV Istota algorytmu: niesymetria: { 0 k1 n 2 1 0 j n 1 (16.25) dla usunięcia niesymetrii: (j - numer współczynika c j ) j = ( 1 2 n) l + j 1, 0 j 1 n 2 1 jest to odpowiednik dzielenia j przez n 2 ; j 1 - reszta
Szybka transformata Fouriera FFT dla n = 2 m FFT V Istota algorytmu: z kolei: (ω 2 ) jk 1 = ω 2 [ n 2 l+j 1] k 1 = ω n l k 1+2j 1 k 1 = (e 2πi n ) (n l k 1 +2j 1 k 1 ) = (ω 2 ) j 1k 1 bo: ω nlk 1 = 1 i uzyskujemy: c j = n 2 1 a 2k1 (ω 2 ) j 1k 1 + k 1 =0 } {{ } ϕ(j 1 ) n 2 1 k 1 =0 } {{ } ψ(j 1 ) (16.26) a 2k1 +1 (ω 2 ) j 1k 1 ω j, 0 j 1 n 2 1 (16.27)
Szybka transformata Fouriera FFT dla n = 2 m FFT VI Istota algorytmu: Każdy z 2 członów jest transformatą Fouriera - zamiast pojedynczej transformaty w n punktach suma 2 transformat w n 2 punktach: c j = ϕ(j 1 ) + ω j ψ(j 1 ); j 1 = 0, 1,..., n 2 1 (16.28) itd... dokonując dalszych podziałów. złożoność obliczeniowa 2 Nlog 2 N Zasada dziel i zwyciężaj! Zadanie: Zrozumieć procedurę realizującą FFT dla N = 8 węzłów
Szybka transformata Fouriera FFT dla n = 2 m Rekurencyjny algorytm FFT Zadanie: Zapoznaj się z iteracyjną implementacją FFT 1 f u n c t i o n FFT( a ) n length[a] 3 i f n = 1 then r e t u r n a 5 ω n e 2π i n ω 1 7 a even (a 0, a 2,..., a n 2) a odd (a 1, a 3,..., a n 1) 9 y even FFT (a even) y odd FFT (a odd ) 11 f o r j 0 to n 1 2 y j y even j 13 y j+ n 2 yj even ω ω ω n 15 end r e t u r n 17 end y + ωy odd j ωy odd j
FFT dla przypadku ogólnego FFT dla przypadku ogólnego I c j = 1 n n 1 k=0 ω = e i 2π n, a k = 1 n f (x k) f (x k )e ijx k, x k = 2π n k; j = 0, 1,..., n 1 n 1 c j = a k ω jk, j = 0, 1,..., n 1 k=0 dla n = r 1 r 2... r p, r i liczby całkowite ( ) {}}{ n 1 c j = a k e i2π j k n (16.29) k=0 (*) wyrazić przez r 1, r 2,..., r p
FFT dla przypadku ogólnego FFT dla przypadku ogólnego II każda liczba całkowita j, 0 j n 1 ma jedyną reprezentację: j = α 1 (r 2 r 3 r p ) + α 2 (r 3 r 4 r p ) + + α p 1 r p + α p 1 co, dla uproszczenia, można zapisać: gdzie n p = 1, n 0 = n zaś współczynniki: p j = α i n i i=1 n r = r r+1 r r+2 r p = p i=(r+1) α i {0, 1,..., r i 1} r i
FFT dla przypadku ogólnego FFT dla przypadku ogólnego III Przydatne będą też: przy czym: j r = p i=(r+1) α i n i, j 0 = j } α i iloraz z dzielenia j i 1 j i reszta n i
FFT dla przypadku ogólnego FFT dla przypadku ogólnego IV Dla każdej liczby całkowitej k, 0 k n 1 istnieje jedyna reprezentacja ilorazu k n : k n = l 1 + + + l i+1 r 1 r 2 r p r 2 r 3 r p }{{}}{{} n 0 n 1 l 2 r i+1 r p }{{} n i l i {0, 1,..., r i 1} p 1 k r = n r k i iloraz l i reszta j k ( p ) n = j 0 k0 = α i n i n 0 i=1 i=r } l i+1, k 0 = k n i z dzielenia k i 1 ( p 1 r=0 r i ) p 1 l r+1 = n r + + l p 1 p l i+1 = r p n i=0 i p r=0 i=1 l r+1 α i ni n r =
FFT dla przypadku ogólnego FFT dla przypadku ogólnego V { n i l. całkowita, i r = n r ułamek, i > r p 1 ( l r+1 p = M + α i n i n r=0 r i=(r+1) }{{} j r ( ) ω jk i2π = e = p 1 r=0 p 1 M+ r=0 ( e i2π nr } {{ } ω r l r+1 jr nr ) = e ) l r+1 j r p 1 = r=0 p 1 l r+1 j r = M + n r=0 r p 1 l i2π r+1 jr nr r=0 ω l r+1 j r r =
FFT dla przypadku ogólnego FFT dla przypadku ogólnego: przykład Przykład p = 3, n = r 1 r 2 r 3 n 0 = r 1 r 2 r 3 ; n 1 = r 2 r 3 ; n 2 = r 3 ; n 3 = 1 j = α 1 (r 2 r 3 ) + α 2 r 3 + α 3 ; j 0 = j; j 1 = α 2 r 3 + α 3 ; j 2 = α 3 w miejsce k k(l 1, l 2, l 3 ) zgodnie z k n = p 1 oznaczamy: n 1 c j = a k ω jk = k=0 c (0) (l 1, l 2, l 3 ) = a k r 1 1 r 2 1 lr 3 1 l 1 =0 l 2 =0 l 3 =0 i=0 l i+1 n i c (0) (l 1, l 2, l 3 ) ω jl 1 ω j 1l 2 1 ωj 2l 3 2
FFT dla przypadku ogólnego FFT dla przypadku ogólnego: przykład cd Przykład cd wyliczamy sumy kolejno, poczynając od wewnętrznej: r 3 1 l 3 =0 r 2 1 l 2 =0 l 1, l 2 c (0) (l 1, l 2, l 3 )ω j 2l 3 = c (1) (l 1, l 2, α 3 ), ustalone; j 2 = j 2 (α 3 ) tylko c (1) (l 1, l 2, α 3 )ω j 1l 2 1 = c (2) (l 1, α 2, α 3 ), r 1 1 l 1 =0 (przyp. ogólny szczególny) c (2) (l 1, α 2, α 3 )ω jl 1 = c j.
Transformata Hartley a Transformata Hartley a I Tranformata Fouriera F (f ) = X (t)e i2πft dt X (t) = F (f )e i2πft df c j = 1 n n 1 k=0 X (t k )e i2πj k n n 1 X (t k ) = c j e i2πj k n k=0
Transformata Hartley a Transformata Hartley a II Transformata Hartley a H(f ) = X (t) cas(2πft)dt X (t) = H(f ) cas(2πft)dt gdzie: cas(x) = cos(x) + sin(x)
Transformata Hartley a Transformata Hartley a III Wersja dyskretna HT H j = 1 n 1 ( ) 2πjk f (t k ) cas n n k=0 n 1 ( ) 2πjk f (t k ) = H j cas n j=0
Transformata Hartley a Własności HT 16.30 1 F r (j) = H(j) + H(n j) F i (j) = H(j) + H(n j) 2 power spectrum: P s (j) = [H 2 (j) + H 2 (n j)] 1 2 3 f 1 (t) f 2 (t) = f 1 (τ) f 2 (t τ)dτ f 1 (t) f 2 (t) = F 1 (f ) F 2 (f ) f 1 (t) f 2 (t) = H 1 (f ) H 2e (f ) + H 1 ( f ) H 2o (f ) - splot dla oznaczeń: r - real, i - imaginary o - odd, e - even F, f - Fourier, H - Hartley
Transformata Hartley a Szybka Transformacja Hartley a Fourier 2πj i F j = F 1j + F 2j e n, n = n 2 Hartley H j = H 1j + H 2j cos ( ) ( ) 2πj 2πj n + H 2 (n 1) sin n
Transformata Hartley a Biliografia R.V.L. Hartley: A more symetrical Fourier analysis applied to transmission problems, Proc. IRE, 30 (1942) 144, R.N. Bracewell: The fast Hartley transform, Proc. IEEE 72 (1984) 1010 (No 8), M.A. O Neill: Faster than fast Fourier, Byte, April 1988, p.293. istotna różnica: zamiast e } x i {{} mamy cas(x) ( = }{{} zespolone rzeczywiste ilość operacji arytmetycznych i pamięć)
Transformata Hartley a FFT - przydatna w: 1 analiza spektralna 2 projektownie efektywnch algorytmów iloczyn wielomianów splot 2 wektorów szybki binarny algorytm mnożenia liczb całkowitych (m. Schönhagego - Strassena) 3 A.V. Aho, J.E. Hopcroft, J.D. Ullman: Projektowanie i analiza algorytmów komputerowych. PWN, 1983 (1974)
Transformata Fouriera w internecie Transformata Fouriera w internecie Biblioteki dla FFT w różnych językach: Transformata Fourier a w ujęciu Matlab a https://www.mathworks.com/help/matlab/ fourier-analysis-and-filtering.html Transformata Fourier a w języku C (GSL) https: //www.gnu.org/software/gsl/doc/html/fft.html FFTPACK5 - biblioteka dla języka Fortran: https://people. sc.fsu.edu/ jburkardt/f_src/fftpack5/fftpack5.f90 NAG Library - The Numerical Algorithms Group FFT https://www.nag.co.uk/numeric/fn/manual/pdf/c07/ c07m01_fft_fn03.pdf
Transformata Fouriera w internecie Więcej o zastosowaniacj FT: Chemia i Medycyna: spektroskopowe badanie właściwości materii: https://bit.ly/2rjpvxi Spektroskopia NMR: Bernhard J., Analytische Chemie IV-Structure determination by NMR, 1. Practical aspects of pulse Fourier transform NMR spectroscopy, 1.1-1.21 FTIR (Fourier-transform infrared spectroscopy): https://bit.ly/2rsuems
Transformata Fouriera w internecie Transformata Fouriera w internecie Informacje dodatkowe: Prosty poradnik wprowadzający do FT https://betterexplained.com/articles/ an-interactive-guide-to-the-fourier-transform/ Zastosowania Transformaty Fourier a(stanford University) https://see.stanford.edu/materials/lsoftaee261/ book-fall-07.pdf