PARAMETRYZACJA. Bożena Kostek. Katedra Systemów Multimedialnych, Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska

Transkrypt

1 PARAMETRYZACJA Bożena Kostek Katedra Systemów Multimedialnych, Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska

2 Standard MPEG-7 Standard MPEG-Moving Picture and Audio Coding Experts; MPEG-1 (89r), MPEG-2 (91r), MPEG-4 (95r), (MPEG-3 definicja HDTV, MPEG-5, MPEG-6 nie zdefiniowane) MPEG-7 (listopad 2000 r.) standard MPEG-7, Multimedia Content Description Interface - ISO 15938: stworzenie języka opisu (ang. Description Definition Language) zawartości obrazu, dźwięku, baz multimedialnych oraz informacji związanych (metadata) opis sygnału

3 Parametryzacja dźwięków instrumentów muzycznych Cel wyznaczenie wektora cech opisujących dźwięk Problemy definicja barwy dźwięku oparta na wrażeniach subiektywnych zmienność barwy dźwięku w czasie

4 Proces automatycznej klasyfikacji Akwizycja sygnału fonicznego Przetwarzanie wstępne Ekstrakcja cech dystynktywnych Zapis (bazy danych) lub transmisja Klasyfikacja

5 Przetwarzanie wstępne Analiza czasowa (np. funkcja gęstości przejść przez zero) Transformacje widmowe: FFT, DFT Transformacja czasowo-częstotliwościowa: gdzie: g b,a (t) - funkcja analizująca, 1 g b, a t a -ciągła t b g a g(t) - funkcja prototypowa, a - współczynnik rozszerzenia, b - parametr przesunięcia i czasowego - dyskretna jb 1 k ĝb,a a ĝ a e DWT a,n h n xk a k a gdzie: ĝg - transformata gdzie: k - indeks czasu, Fouriera funkcji g(t) h(k) - funkcja prototypowa, t x(k) - spróbkowany sygnał poddawany analizie Analiza cepstralna: m i l C ln A cos r m r i i1 m f Metody estymacji widma pr p gdzie: r -rząd współczynnika cepstralnego, lpr - liczba próbek w ramce, i - numer kolejnej próbki widma, Ai - amplituda próbki i, f c fp -częstotliwość próbkowania, fc - maks. częstotl. w analizie cepstralnej

6 Ekstrakcja cech dystynktywnych różnice barwy dźwięku w skali instrumentu widmo dźwięku ę klarnetu (c 2, Hz) widmo dźwięku ę klarnetu (c 3, 1047 Hz)

7 Ekstrakcja cech dystynktywnych podobieństwa barwy dźwięku różnych instrumentów widmo dźwięku altówki (c 1, Hz) widmo dźwięku ę oboju (c 1, Hz)

8 Ekstrakcja cech dystynktywnych klarnet basowy: A4 (nonlegato forte) obój: A4 (nonlegato forte)

9 Ekstrakcja cech dystynktywnych Klarnet basowy: D3 (nonlegato forte) Klarnet basowy: D6 (nonlegato forte)

10 Ekstrakcja cech dystynktywnych fagot: A4 (nonlegato forte) fagot: A4 (nonlegato piano)

11 Ekstrakcja cech dystynktywnych - parametryzacja Wektor cech Parametry czasowe + statystyczne Parametry widmowe + statystyczne Parametry czasowo- częstotliwościowe

12 Parametryzacja - parametry czasowe dźwięku Model obwiedni ADSR Attack-Decay-Sustain-Release Atak - Opadanie - Stan ustalony - Wybrzmiewanie czas trwania: transjentu t początkowego (ataku) i stanu quasiustalonego (ewentualnie znormalizowany względem okresu składowej podstawowej) szybkość wybrzmiewania [db/oktawa]

13 Parametry widmowe dźwięku (wybrane) dewiacja częstotliwości n-tej składowej f n f n f ) / n f 100% ( n 1 1 średnia ważona dewiacja częstotliwości dla grupy 5 najniższych harmonicznych f d 5 k 1 A k ( f /( k f )) / A k 1 5 k 1 k nfd - numer składowej nfd=1..5 o największej dewiacji

14 Parametry widmowe dźwięku c.d. parametry Tristimulus ) ( ) ( ) ( t A t A t Tr N n ) ( ) ( ) ( n n ) ( ) ( ) ( t A t A t Tr N n n 1 2 n n N n ) ( ) ( ) ( t A t A t Tr n n n n

15 Parametry widmowe dźwięku c.d. zawartość składowych parzystych w widmie M=Entier(N/2) N n M k v A A E ( ) zawartość składowych nieparzystych n k 1 1 zawartość składowych nieparzystych L E ti (N/2+1) N L A A O 2 2 L=Entier(N/2+1) n n k k d d A A O jasność dźwięku N N N n n N n A n A n Br 1 1

16 Analiza falkowa - w oparciu o filtr Daubechies (rząd 2 - liczba próbek w ramce = 2048) klarnet- dźwięk g5 (non-legato, forte) oś pionowa - podział częstotliwości [Hz], oś pozioma - czas [ms] (lub liczba analizowanych próbek)

17 Analiza falkowa - Częst. próbkowania 44.1 Hz) oś pionowa - podział częstotliwości [Hz], oś ś pozioma - czas [ms] (lub liczba analizowanych próbek)

18 Analiza falkowa trąbka - dźwięk a4 (non-legato, forte)

19 Analiza falkowa trąbka - dźwięk a4 (non-legato, forte)

20 Analiza falkowa trąbka - dźwięk a4 (non-legato, forte) - energia skumulowana

21 Analiza falkowa wiolonczela - dźwięk a4 (non-legato, forte)

22 Analiza falkowa wiolonczela - dźwięk a4 (non-legato, forte)

23 Analiza falkowa wiolonczela - dźwięk a4 (non-legato, forte) - energia skumulowana

24 Analiza falkowa - Częst. próbkowania 44.1 Hz) oś pionowa - podział częstotliwości [Hz], oś ś pozioma - czas [ms] (lub liczba analizowanych próbek)

25 Parametryzacja parametry czasowo-częstotliwościowe Energia widma w poszczególnych pasmach w wybranym fragmencie ramki W i =E i /E E całkowita energia widma w parametryzowanym fragmencie; E i energia parametryzowanego obszaru czasowo częstotliwościowego Ei=E 1, E 10, gdzie: - i=1 energia w paśmie Hz, - i=2 - energia w paśmie Hz, i=9 energia w paśmie Hz, - i=10 energia w paśmie Hz, Energia skumulowana - E c

26 Parametryzacja parametry czasowo-częstotliwościowe Energia Ek w kolejnych 10 pasmach, kolejne nuty dla poszczególnych pasm, i=10 f=(11025;22050) [Hz] i=9 f=(5512.5;11025) [Hz]... i=1 f=(21.53;43.066) [Hz] klarnet- staccato

27 Parametryzacja parametry czasowo-częstotliwościowe przykład parametrów klarnet trąbka Energia w 10 pasmach Energia w pasmach: 8,9,10 znormalizowana przez energię pasma 7

28 Parametryzacja parametry czasowo-częstotliwościowe przykład parametrów skrzypce altówka Energia w 10 pasmach Energia w pasmach: 8,9,10 znormalizowana przez energię pasma 7

29 Przykład separowalności wartości parametrów

30 Przykład braku separowalności wartości parametrów contra bassoon bassoon

31 Przykład wartości parametru dla wybranych instrumentów 25 Bri ightness klarnet fagot trąbka obój puzon basowy skrzypce chromatic scale Skala chromatyczna

32 Przykład analizy korelacyjnej r X, Y X )( y Y ) i n ( x i i1 r n _ n _ 2 ( x X ) ( y i i1 i1 i Y ) - współczynnik korelacji Pearsona -wartości średnie parameterów dla par instrumentów 2 X, Y

33 Przykład analizy korelacyjnej r P t T 2 T 3 P 1... B h odd h ev P t 1... T T P B h odd h ev

34 Kryteria separowalności metody topologiczne separowalność klas X, Y dla 2 parametrów - statystyka t t Fishera X, Y y y V X-Y 2 S1 /k S 2 2 /m -estymatory wartości średnich 2 2 S 1, S - estymatory wariancji 2 separowalność klas bazy danych Q min D i, j max d Di,j - miara odstępu między klasami i, j di - miara rozrzutu obiektów w klasie i i, j i i

35 Własności wybranych kryteriów separowalności statystyka Fishera: ilustruje przydatność poszczególnych parametrów im wyższa wartość V, tym większa przydatność parametru przy badaniu separowalności obiektów nieprzydatna w przypadku dużych baz danych kryterium kryterium Q spełnione zadowalająco, gdy Q>1 zależy od doboru miar D ij oraz d i uzyskiwane miary zależą od stosowanej metryki

36 Przykład analizy separowalności Wartości średnie, odch. standardowe i wartości statystyki Fishera V dla pary instrumentów (puzon basowy i klarnet basowy) Instr./Par. P t T 2 T 3 B h ev h odd puzon bas. - X, Y klarnet bas puzon bas. - S klarnet bas. - S V

37 Wnioski rozpoznawanie dźwięków Cechy dźwięków ę instrumentów muzycznych y mogą być reprezentowane skutecznie przez zestaw kilkunastu do kilkudziesięciu parametrów, tworzący wektor cech dystynktywnych

38 Klasyfikacja fraz muzycznych J.S. Bach: Themes Of Fugues From "The Well-Tempered Clavier Akwizycja kodu MIDI Konwersja kodu MIDI Ekstrakcja cech dystyntywnych Parametryzacja statystyczna Parametryzacja trygonometryczna Zapis (bazy danych) BAZA_STATYST Zapis (bazy danych) BAZA_TRYGON Klasyfikacja Klasyfikacja

39 Akwizycja kodu MIDI - przygotowanie baz Fraza wzorcowa Fraza transponowana

40 Parametryzacja - reprezentacja frazy P Parametry statystyczne 3 1 n1 n1 1 k1 a k a k 1 P3 bezwzględna różnica wysokości dźwięku pomiędzy dwiema kolejnymi nutami a k - wysokość k-nuty, n - liczba nut we frazie Parametry trygonometryczne l 1 P i - i-element wektora parametrów, P i ek cos[ i( k ) ] l l - długość parametryzowanej frazy k1 2

41 Deskryptory Audio w standardzie MPEG 7 Opracowanie: mgr inż. Piotr Dalka mgr inż. Marcin Dąbrowskią

42 Standard MPEG7 Multimedia Content Description Language Główne cele: opis zawartości multimedialnej elastyczność w zarządzaniu danymi globalizacja i wewnętrzna kompatybilność zasobów danych Części: Part I: System Part II: Description Definition Language (DDL) Part III: Visual Part IV: Audio Part V: Multimedia Description Schemes (MDS) Part VI: Preference Softare Part VII: Conformance Testing Part VIII: Extraction And Use Of MPEG7 Descriptions Part IX: Profiles Part X: Schema Definition

43 MPEG7 Audio Standard MPEG 7 zawiera szereg rozwiązań przeznaczonych opisu danych multimedialnych. Dla danych dźwiękowych są to: format danych (rodzaj kodowania, częstotliwość próbkowania itp.) informacje takie jak autor bądź nazwa instrumentu deskryptory wyznaczane z sygnału dźwiękowego

44 Low Level Audio Descriptors Reprezentacja danych audio w standardzie MPEG7 deskryptory spektralne wyznaczane na podstawie analizy sygnału w kolejnych ramkach czasowych (ang. running window analysis) Możliwość reprezentowania ciągu danych przez jego parametry statystyczne p ąg y p jg p y y y (wartość minimalna, maksymalna, średnia, wariancja).

45 Low Level Audio Descriptors

46 Basic 0.25 AudioWaveform Przebieg czasowy sygnału x(t) 0 s(t) t [s] 0.35 AudioPower moc sygnału P(t) P(t) = s(t) t [s]

47 Audio Spectrum Envelope Audio Spectrum Envelope (ASE) jest zdefiniowany jako krótkookresowe widmo gęstościmocy wyznaczone dla częstotliwości w odstępach logarytmicznych (pasma o szerokości 1/16, 1/8, 1/4, 1/2, 1, 2, 4 lub 8 oktaw) P x ( n) 1 X n lw NFFT 2

48 Audio Spectrum Envelope Rozdzielczość ¼ oktawy cz estotliwosc (n numer pasma a) Pasma: 1: do 62,5 Hz : 62,5 125 Hz 6-9: Hz : 13: Hz 14-17: Hz : 1 2 khz 22-25: 2-4 khz 26-29: 4-8 khz : 8 16 khz 34: powyżej 16 khz t [s]

49 Audio Spectrum Centroid Audio Spectrum Centroid (ASC) jest zdefiniowany jako środek ciężkości widma gęstości mocy, wyskalowany w oktawach w stosunku do 1 khz ASC n log 2 f n 1000 P n n P x n x

50 Audio Spectrum Centroid ASC t [s] ASC =

51 Audio Spectrum Spread Audio Spectrum Spread (ASS) jest zdefiniowany jako odchylenie średniokwadratowe (RMS) widma gęstości mocy w skali oktawowej, względem Audio Spectrum Centroid ASS n 2 log 2 f n 1000 ASC Px n n P x n

52 Audio Spectrum Spread ASS t [s] ASS =

53 Audio Spectrum Flatness Spectral Flatness Measure (SFM) jest zdefiniowany jako stosunek średniej geometrycznej i średniej arytmetycznej współczynników widma gęstości mocy w pasmach (b) o szerokości ¼ oktawy SFM b ih ihb b il b iilb 1 c i 1 ih b il b 1 ih b iil c b i

54 Audio Spectrum Flatness 20 czestotliwosc c (numer pas sma) t [s]

55 Audio Spectrum Basis Audio Spectrum Projection Deskryptory te zawierają informacje o widmie mocy w postaci zredukowanej liczby danych, uzyskane za pomocą rozkładu macierzy względem ę wartości szczególnych (SVD). Dekompozycji poddawana jest macierz X, której wiersze zawierają widmo dla kolejnych ramek czasowych (AudioSpectrumEnvelope). W wyniku otrzymuje się macierze wektorów U i V oraz diagonalną macierz wartości szczególnych S. X = U S V T Do wyznaczenia deskryptorów AudioSpectrumBasis i o y ac e a des ypto ó ud ospect u as s AudioSpectrumProjection wykorzystuje się kilka pierwszych kolumn macierzy V. Pozwala to dokonać aproksymacji macierzy X, przez ograniczenie się jedynie do kilku pierwszych wektorów szczególnych.

56 Audio Spectrum Basis Audio Spectrum Projection t [s] t [s] estotliwosc (numer pasma) czes totliwosc (numer pasma) czestotliw wosc (numer pasma) czestotliwosc (numer pasma) t[s] t [s] t [s] cze

57 Audio Spectrum Basis Audio Spectrum Projection Spektrogram oryginalny Spektrogram zrekonstruowany z wykorzystaniem 3 wektorów szczególnych liwosc (numer pasm ma) liwosc (numer pasm ma) czestotl 10 czestot t [s] t [s] MxN Zajętość pamięci M ilość pasm częstotliwości N ilość ramek czasowych 3(M+N)

58 Audio Fundamental Frequency Audio Harmonicity Audio Fundamental Frequency częstotliwość podstawowa dźwięku [Hz] AudioHarmonicity zawiera informacje o stopniu harmoniczności (okresowości) sygnału Harmonic Ratio zawartość składowych harmonicznych w widmie sygnału (0 biały szum, 1 sygnał okresowy) Upper Limit Of Harmonicity częstotliwość, powyżej której widmo nie wykazuje cech harmoniczności Sposób detekcji częstotliwości podstawowej nie jest ustalony w standardzie MPEG7

59 Timbre Descriptors Widmo gęstości mocy Spectral Centroid Sygnał Obwiednia sygnału Log Attack Time Temporal Centroid STFT Detekcja prążków widma Instantaneous Harmonic Spectral Spread Instantaneous Harmonic Spectral Centroid Ruchome okno czasowe f0 Instantaneous t Harmonic Spectral Deviation Instantaneous Harmonic Spectral Variation z -1

60 Log Attack Time Jednostka: [log s] Zakres: [log 1/SR, określone przez czas trwania sygnału] Log Attack Time (LAT) jest zdefiniowany dfii jk jako logarytm di dziesiętny it czasu od chwili, gdy sygnał się rozpoczyna (T0) do chwili, gdy osiąga stan ustalony (T1). LAT log10 T 1 T 0

61 Log Attack Time Jednostka: [log s] Zakres: [log 1/SR, określone przez czas trwania sygnału] P(t) t [s] LAT = log(0,18 s) = -0,74 [log s]

62 Temporal Centroid Jednostka: [s] Zakres: [0, określone przez czas trwania sygnału] Temporal lcentroid id(tc) jest zdefiniowany dfii jk jako środek dkciężkości ś i obwiedni imocy sygnału w dziedzinie czasu TC length( SE) n n1 length ( SE ) n1 SR SE SE n n

63 Temporal Centroid Jednostka: [s] Zakres: [0, określone przez czas trwania sygnału] (t) P( t [s] TC = 0,72 [s]

64 Spectral Centroid Jednostka: [Hz] Zakres: [0, SR/2] Spectral lcentroid id(sc) jest zdefiniowany dfii jk jako środek dkciężkości ś i widma, czyli średnia ważona częstotliwość współczynników widma gęstości mocy. ISC length(s ) f k k 1 length( S ) k1 S S k k SC nb _ f i1 ISC( i) nb _ f

65 Spectral Centroid Jednostka: [Hz] Zakres: [0, SR/2] Hz s SC = 827 [Hz]

66 Harmonic Spectral Centroid Jednostka: [Hz] Zakres: [0, SR/2] Harmonic Spectral lcentroid id(hsc) jest zdefiniowany dfii jk jako ważona ż amplitudowo średnia częstotliwość prążków widma IHSC nb_ h f h1 nb _ h h1 h A h A h HSC nb _ f i1 IHSC ( i ) nb _ f

67 Harmonic Spectral Centroid Jednostka: [Hz] Zakres: [0, SR/2] Hz s HSC = 1068 [Hz]

68 Harmonic Spectral Deviation Jednostka: [ ] Zakres: [0, 1] Harmonic Spectral ldeviation (HSD) jest zdefiniowany dfii jk jako średnie d i odchylenie dhl logarytmu amplitudy prążków widma od obwiedni widma (SE) 1 Ah 1 A h 2, dla h 1 A h i i 1 SE h, dla h2, nb _ h 1 3 Ah 1 Ah, dla h nb _ h 2 IHSD HSD nb _ h h1 nb _ f i1 log 10 nb _ h h1 A h IHSD ( i ) nb _ f log log 10 A h 10 SE h

69 Harmonic Spectral Deviation Jednostka: [ ] Zakres: [0, 1] s HSD = 0,091

70 Harmonic Spectral Spread Jednostka: [ ] Zakres: [0, 1] Harmonic Spectral lspread d(hss) jest zdefiniowany dfii jako jk ważone ż amplitudowo standardowe odchylenie amplitud prążków widma, znormalizowane przez Harmonic Spectral Centroid (HSC) IHSS 1 IHSC nb _ h h1 A 2 h f h nb _ h h 1 A 2 IHSC h 2 HSS nb _ f i1 IHSS( i) nb _ f

71 Harmonic Spectral Spread Jednostka: [ ] Zakres: [0, 1] s HSS = 0,416

72 Harmonic Spectral Variation Jednostka: [ ] Zakres: [0, 1] Harmonic Spectral lvariation (HSV) jest zdefiniowany dfii jk jako znormalizowana korelacja pomiędzy amplitudami prążków w dwóch sąsiednich ramkach czasowych IHSV 1 nb _ h h1 A 1 h A h nb _ h nb _ h 2 A 1 h h1 h1 A 2 h HSV nb _ f i2 IHSV ( i) nb _ f 1

73 Harmonic Spectral Variation Jednostka: [ ] Zakres: [0, 1] s HSV = 0,0025

74 Silence Deskryptor ten pozwala stwierdzić, w którym fragmencie nagrania występują fragmenty ciszy. Podstawowe informacje zawarte w takim deskryptorze to czas rozpoczęcia oraz czas trwania ciszy. Deskryptor ten ma charakter semantyczny. Pojęcie ciszy oznacza w tym przypadku brak istotnych dźwięków (np. brak dialogów na ścieżce dźwiękowej filmu, przy obecnych dźwiękach tła). Zastosowaniem tego deskryptora może być automatyczna segmentacja materiału dźwiękowego, np. dzielenie sygnału mowy na zdania lub poszczególne wyrazy, w zależności od przyjętego progu minimalnego trwania ciszy. Dtkj Detekcja ciszy może ż być ć implementowane na wiele il sposobów. Zwykle uwzględnia się psychofizjologię słuchu i związane z tym pasma krytyczne słyszenia oraz zjawisko maskowania.