Przetwarzanie dźwięków i obrazów PODSTAWOWE METODY SYNTEZY DŹWIĘKU Synteza dźwięku Syntezą dźwięku nazywamy proces sztucznego tworzenia brzmień w sposób kontrolowany przez nas, za pomocą odpowiedniej metody (algorytmu) syntezy. Interesuje nas synteza dźwięków muzycznych nadających się do tworzenia muzyki. Instrument syntezator (ang. synthesizer) Synteza od greckiego słowa syntithenai składać z części
Implementacja metod syntezy dźwięku elektroniczne instrumenty muzyczne ( syntezatory, samplery) samodzielne urządzenia (z klawiaturą) moduły dźwiękowe urządzenia bez klawiatury, tylko synteza (sterowanie MIDI) programy komputerowe synteza programowa (np. wtyczki VSTi) komputerowe karty dźwiękowe (np. SoundBlaster) wyszły z uŝycia Zastosowania syntezy dźwięku muzyka filmowa efekty dźwiękowe w filmach muzyka elektroniczna i eksperymentalna muzyka popularna (pop, rock, techno) muzyka do gier komputerowych badania naukowe
Podejścia do syntezy dźwięku Podejście 1: Poszukiwanie nowych, interesujących brzmień, nie stosowanych do tej pory w muzyce. Kryterium: efekt brzmieniowy Podejście 2: Naśladowanie brzmień rzeczywistych instrumentów muzycznych, "wiele instrumentów w jednym". Kryterium: wierność brzmienia Dźwięki muzyczne Postać czasowa dźwięku muzycznego, obwiednia amplituda czas
Dźwięki muzyczne Widmo statyczne dźwięku muzycznego poziom częstotliwość Widmo w wybranej chwili (ramka czasowa) Dla większości instrumentów muzycznych widmo jest prąŝkowe i harmoniczne Dźwięki muzyczne Widmo dynamiczne dźwięku muzycznego amplituda częstotliwość czas
RCA Mark - pierwszy syntezator Za pierwsze syntezatory dźwięku uznaje się RCA Mark I (1952) i RCA Mark II (1957). Dźwięki generowane były za pomocą generatorów lampowych (12 w MI, 24 w MII). Instrument zawierał pierwszy sekwencer sterowanie częstotliwością i amplitudą generatora odbywało się za pomocą perforowanej taśmy papierowej. Moog W roku 1963 ukazał się pierwszy syntezator opracowany przez Roberta Mooga. Syntezator Moog był pierwszym instrumentem elektronicznym umoŝliwiającym grę przy pomocy klawiatury typu fortepianowego. Był to równieŝ pierwszy syntezator, który odniósł sukces komercyjny, po wydaniu albumu Switched On Bach, zawierającego muzykę klasyczną wykonaną przy pomocy syntezatora Moog (Wendy Carlos, 1968).
Moog - instrument modularny Moog był syntezatorem modularnym. Instrument składał się z modułów układów elektronicznych sterowanych napięciowo: generatorów, filtrów, wzmacniaczy, modulatorów. Parametry modułów były sterowane za pomocą pokręteł i przełączników oraz sygnałów sterujących z innych modułów. Poszczególne moduły były łączone przez grającego za pomocą kabli (patch). Syntezatory Moog były duŝe, cięŝkie, drogie i trudne w obsłudze. Moog Modular w akcji
SYNTEZA SUBTRAKTYWNA Synteza subtraktywna subtractive synthesis ang. subtraction odejmowanie analogowa metoda syntezy pierwsza historycznie metoda syntezy dźwięku (m.in. Moog) polega na przekształcaniu (filtrowaniu, modulowaniu, wzmacnianiu) złoŝonego sygnału wytwarzanego przez generatory obecnie algorytm symulowany metodami cyfrowymi Moduły syntezy subtraktywnej generatory wytwarzają proste przebiegi VCO Voltage Controlled Oscillator filtry modyfikują widmo sygnału VCF Voltage Controlled Filter wzmacniacze kształtują poziom sygnału VCA Voltage Controlled Amplifier generatory obwiedni kształtują postać czasową EG Envelope Generator generatory niskich częstotliwości modulują parametry innych bloków syntezy LFO Low Frequency Oscillator
Schemat syntezy subtraktywnej (przykład) VCO1 VCO2 MIKSER VCF VCA generator szumu LFO EG EG Klawiatura sygnał dźwiękowy sygnał sterujący Sygnały generowane przez VCO 1 1 sinusoidalny sine 1 1 trójkątny triangle Poziom względny Poziom względny 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6 7 8 9 10 0 1/9 1/25 0 0 0 1/49 0 1/81 0 1 2 3 4 5 6 7 8 9 10 Numer składowej Numer składowej Poziom względny 1 1 prostokątny square 1/3 1/5 1/7 1/9 Poziom względny 1 1 piłokształtny sawtooth 1/2 1/3 1/4 1/5 1/6 1/7 1/8 1/9 1/10 0 0 0 1 2 3 4 5 6 7 8 9 10 0 0 0 0 1 2 3 4 5 6 7 8 9 10 Numer składowej Numer składowej
Sygnały generowane przez VCO Szum biały, róŝowy Fala impulsowa (pulse wave) 1 Poziom względny 0 1 2 3 4 5 6 7 8 9 10 Numer składowej Widmo sygnału zaleŝy od współczynnika wypełnienia fali. Im bardziej róŝni się on od 50%, tym większa jest zawartość składowych w widmie Generator obwiedni obwiednia ADSR Naciśnięcie klawisza Zwolnienie klawisza Peak Sustain P S A D S R Attack Decay Sustain Release
Sterowanie napięciowe Moduły syntezatora są sterowane napięciowo (voltage controlled) parametry modułu są regulowane za pomocą napięcia sterującego, pochodzącego z: elementów kontrolnych (np. potencjometrów na panelu czołowym), sygnałów z wyjść innych modułów (np. LFO generator sygnałów o niskich częstotliwościach, < 20 Hz) Moduł moŝe sterować działaniem innych modułów modulacja. Modulacja Przykłady modulacji wzbogacającej brzmienie dźwięku LFO LFO LFO f 0 f A 0 A f C0 f C + Freq + Gain + f C VCO VCA VCF wibrato (FM) tremolo (AM) wah-wah
Synteza subtraktywna Zalety: duŝa moŝliwość tworzenia nowych brzmień wykorzystania inwencji autora oryginalność brzmienia mała złoŝoność obliczeniowa Wady: trudność uzyskania brzmienia zbliŝonego do instrumentów naturalnych słaba stabilność układów analogowych wysoki koszt wykonania trudność obsługi SYNTEZA ADDYTYWNA Synteza addytywna additive synthesis ang. addition dodawanie (składowych widma) Analiza Fouriera: rozłoŝenie sygnału na sumę składowych sinusoidalnych (Re)synteza addytywna: złoŝenie sygnału ze składowych sinusoidalnych przetwarzanie (zmiana wysokości, czasu trwania, usuwanie składowych)
Analiza f 0 2f 0 3f 0 nf 0 Resynteza addytywna
Parametry syntezy addytywnej Dane składowych widmowych: amplituda w funkcji czasu częstotliwość (lub jej odchyłka) w funkcji czasu Liczba składowych widmowych decyduje o: dokładności resyntezy dźwięku (wierność brzmienia) stopniu skomplikowania układu Synteza addytywna Zalety: DuŜa wierność brzmienia dźwięku syntetycznego dopasowanie widma MoŜliwość bezpośredniego wpływania na widmo dźwięku Wady: DuŜa złoŝoność obliczeniowa (analiza widma, duŝa liczba układów) Skomplikowana obsługa (duŝa liczba elementów sterujących) W implementacji analogowej: niestabilność elementów, wysoki koszt
Cyfrowa synteza dźwięku Syntezatory analogowe były drogie i trudne w konstrukcji. Niestabilność elementów elektronicznych powodowała rozstrajanie się instrumentów. MoŜliwości brzmieniowe tych instrumentów były ograniczone. Technika cyfrowa pozwoliła na konstruowanie mniejszych, tańszych i stabilniejszych instrumentów. MoŜliwe stało się wykorzystanie nowych metod syntezy, a takŝe samplingu. Pierwsze syntezatory cyfrowe: Fairlight, Synclavier Fairlight Fairlight CMI (ok. 1979) był jednym z pierwszych syntezatorów cyfrowych. ZałoŜeniem było generowanie fali w czasie rzeczywistym (np. rysowanie kształtu fali pisakiem świetlnym na ekranie). PoniewaŜ moc obliczeniowa była zbyt mała, podjęto próbę sterowania procesem syntezy za pomocą sygnałów wprowadzanych z zewnątrz. Podejście to dało nadspodziewanie dobre rezultaty. W ten sposób narodził się sampling.
Fairlight II CMI Syntezatory firmy Yamaha UŜywane do tej pory syntezatory były zbyt drogie i skomplikowane. Firma Yamaha postanowiła opracować tani syntezator cyfrowy o duŝych moŝliwościach, dostępny dla szerokiego kręgu odbiorców. Wykorzystano metodę modulacji częstotliwości, opracowaną przez Johna Chowninga. Seria syntezatorów firmy Yamaha odniosła duŝy sukces. Syntezator Yamaha DX7 stał się najbardziej popularnym instrumentem w pierwszej połowie lat 80.
Yamaha DX7 (1983) SYNTEZA FM Metoda modulacji częstotliwości - ang. Frequency modulation (FM) Wykorzystuje metodę stosowaną w telekomunikacji (transmisja sygnałów). Metoda FM była pierwszą komercyjnie wykorzystaną metodą syntezy dźwięku opartą na technice cyfrowej. Wykorzystanie metody FM: lata 80. syntezatory, gł. Yamaha (DX7) lata 90. komputerowe karty dźwiękowe (np. SoundBlaster 16)
Modulacja częstotliwości Modulacja częstotliwości cykliczna zmiana częstotliwości sygnału nośnej przez sygnał modulujący. Częstotliwość modulująca < 20 Hz efekt wibrato (płynna zmiana wysokości) Częstotliwość modulująca > 20 Hz modyfikacja widma sygnału pojawienie się nowych prąŝków w widmie Teoria syntezy FM Mamy dwa sygnały sinusoidalne: sygnał nośnej x c (t) = A sin(ωt) sygnał modulujący x m (t) = I sin(βt) UŜywamy sygnału modulującego, aby zmieniać (modulować) częstotliwość sygnału nośnej: x(t) = A sin[ωt + x m (t)] x(t) = A sin[ωt + I sin(βt)]
Przykłady sygnałów syntetycznych FM Postać czasowa Widmo Widmo dźwięku syntetycznego Częstotliwości prąŝków widma zaleŝą od: częstotliwości sygnału nośnej częstotliwości sygnału modulującego Stosunek obu częstotliwości decyduje o tym czy widmo jest harmoniczne. Liczba prąŝków w widmie zaleŝy od amplitudy sygnału modulującego ( indeks modulacji )
Operator Operator jest podstawowym blokiem układu syntezy FM. Składa się z: generatora sygnału sinusoidalnego wzmacniacza freq mod generatora GEN obwiedni VCA EG Algorytm Odpowiednie połączenie operatorów nosi nazwę algorytmu syntezy FM. W zaleŝności od algorytmu, poszczególne operatory mogą pełnić rolę generatora nośnej lub modulatora. Na jakość brzmień generowanych przez syntezator FM mają wpływ: liczba dostępnych operatorów, liczba algorytmów
Przykłady algorytmów dla 6 operatorów M modulator, C generator nośnej Stos M M Addytywny C C C C C C M Pary M M M M M C Wiele nośnych M C C M C C C M C C Kombinowane Wiele modulatorów M M M M M M M C C C C Synteza FM Zalety: mała złoŝoność obliczeniowa mniejszy koszt (prostsza budowa) łatwość obsługi (mała liczba parametrów) stabilność pracy przenośność (wykorzystanie na scenie) Wady: nie moŝna uzyskać brzmień naturalnych instrumentów nie moŝna w pełni kontrolować widma sygnału
Metody matematyczne Metoda FM naleŝy do grupy matematycznych metod syntezy dźwięku. Inne metody matematyczne: kształtowania fali (waveshaping) nie wykorzystana w praktyce zniekształcania fazy (phase distortion) np. instrumenty Casio, SYNTEZA TABLICOWA Synteza tablicowa (wavetable synthesis) Ogólne określenie dotyczące metod syntezy dźwięku, w których stosuje się pamięć tablicę (wavetable), zawierająca próbki cyfrowego sygnału. Pierwsze instrumenty tablicowe były modyfikacją układu syntezy subtraktywnej: analogowe generatory zostały zastąpione przez tablice próbek (generator cyfrowy) pozostałe układy (filtry, wzmacniacze) są nadal analogowe (układ hybrydowy)
Generator tablicowy Syntezator tablicowy PPG Wave 2.0 (1981) Waveterm komputer sterujący procesem syntezy
Synteza tablicowa wady i zalety Zalety w stosunku do metody subtraktywnej: większa moŝliwość generowania brzmień (większa róŝnorodność sygnałów dostępnych w generatorze, moŝliwość tworzenia sekwencji). większa stabilność wysokości dźwięku moŝliwość programowania Wady: ograniczenia pamięci tylko krótkie sygnały konieczność dokonywania przekształceń w celu zmiany wysokości dźwięku SAMPLERY Rozwój techniki cyfrowej spowodował, Ŝe opracowano samplery znacznie tańsze i prostsze od wcześniejszych konstrukcji (Fairlight, Synclavier). Nie były to pełne instrumenty, ale najczęściej moduły przeznaczone do sterowania przy pomocy MIDI. Samplery zdobyły olbrzymią popularność w drugiej połowie lat 80. Samplery nie dokonują syntezy, przetwarzają dźwięki wprowadzone z zewnątrz. Są to urządzenia w pełni cyfrowe.
Samplery AKAI S-900 (1986) S-1000 (1988) MoŜliwości samplerów Sampler urządzenie posiadające następujące moŝliwości: wprowadzenie próbek dźwięku z zewnątrz do pamięci urządzenia zachowanie próbek dźwięku na nośniku zapętlanie i transpozycja próbek organizacja próbek w instrumenty i banki odtwarzanie zapisanych próbek dźwięku Samplery nie posiadają zwykle pamięci stałej z gotowymi próbkami dźwięku.
Schemat ogólny samplera Typy samplerów samodzielne urządzenia najczęściej moduły montowane w rackach, sterowane przez inne urządzenia (brak klawiatury) instrumenty sampler + układ sterowania (klawiatura) samplery współpracujące z komputerem (urządzenia zewnętrzne, karty komputerowe) samplery programowe specjalistyczny program komputerowy, wykorzystuje standardową lub dedykowaną kartę dźwiękową
Synteza samplingowa Synteza samplingowa, ang. sample-based synthesis lub PCM synthesis Odmiana syntezy tablicowej. W pamięci zapisane są dłuŝsze dźwięki ( sample dźwiękowe), które nie są zapętlane w całości. Syntezator samplingowy ma próbki zapisane w pamięci stałej. Nie moŝna wprowadzać własnych dźwięków. Ograniczony układ przetwarzania brzmień. Obecnie spotyka się instrumenty będące połączeniem samplera i syntezatora samplingowego. Przykłady instrumentów samplingowych Korg X3 Ensoniq SQ1 Yamaha SY85
Zapętlanie Zapętlanie próbki (looping) umoŝliwia powtarzanie wybranego fragmentu próbki. Stosuje się je w celu wydłuŝenia dźwięku, zaoszczędzenia pamięci RAM lub uzyskania ciekawych efektów brzmieniowych. Parametry pętli: punkt początkowy i końcowy rodzaj pętli (kierunek) liczba powtórzeń Transpozycja próbek Ograniczenia dostępnej pamięci nie pozwalają zapisać próbek dźwięku o wszystkich wysokościach. Zapisywana jest jedna próbka dla danego instrumentu, ewentualnie kilka (multi-sampling). Dźwięki o innych wysokościach uzyskiwane są przez transpozycję zmianę wysokości. Transpozycja wprowadza zniekształcenia dźwięku, jest moŝliwa w ograniczonym zakresie częstotliwości.
Multi-sampling i multi-layering layering Dodatkowe moŝliwości samplerów: multi-sampling - podkładanie róŝnych próbek pod róŝne zakresy klawiszy (często próbki tego samego brzmienia, aby uniknąć zniekształceń przy transpozycji) multi-layering (uwarstwianie) podkładanie kilku próbek pod ten sam zestaw klawiszy Struktura organizacyjna samplera próbka (sample) pojedynczy nagrany dźwięk, przypisywany do jednego lub kilku klawiszy instrument (instrument) jedna lub więcej próbek wybranego brzmienia zestaw (preset) zbiór instrumentów grajacych razem bank (bank) zbiór zestawów i instrumentów, ładowanych do pamięci samplera
Samplery i instrumenty samplingowe Zalety: moŝliwość uzyskania dowolnych brzmień (np. instrumentów o duŝej wierności) moŝliwość wprowadzania własnych próbek mała złoŝoność obliczeniowa Wady: wymagane pamięci o duŝej pojemności małe moŝliwości kształtowania brzmienia zarejestrowanych próbek brak faktycznej syntezy dźwięku, tylko przetwarzanie zapisu Metoda tablicowa w kartach dźwiękowych Popularne karty dźwiękowe do komputerów PC z serii SoundBlaster (AWE 32/64, Live!, Audigy) firmy Creative Labs zawierają syntezator określany przez producenta jako wavetable. Jest to układ syntezy samplingowej (tablicowej), z moŝliwością pracy jako sampler. MoŜliwości: polifonia głosy sprzętowe (32) i programowe zestaw próbek wykorzystuje standard General MIDI Syntezatory na kartach dźwiękowych są obecnie bardzo rzadko uŝywane.
MODELOWANIE FIZYCZNE Główną wadą metody tablicowej jest to, Ŝe brzmienia instrumentów brzmią zawsze identycznie (brak artykulacji). W metodach modelowania fizycznego stosuje się odmienne podejście do syntezy dźwięku: modelowanie nie dźwięku, ale instrumentu. Modelowane są procesy fizyczne, które powodują wytwarzanie dźwięku w instrumencie. Główne metody modelowania fizycznego: modelowanie matematyczne metoda falowodowa Modelowanie matematyczne Metoda modelowania matematycznego oparta jest na bezpośrednim rozwiązywaniu równania falowego opisującego powstawanie dźwięku w instrumencie. Funkcja będąca rozwiązaniem równania falowego stanowi przebieg czasowy dźwięku syntetycznego. Rozwiązanie równania falowego wymaga złoŝonego aparatu matematycznego. Metoda jest bardzo złoŝona obliczeniowo, nie działa w czasie rzeczywistym.
Metoda falowodowa Metoda cyfrowego modelowania falowodowego ang. digital waveguide modeling Opracowana na uniwersytecie w Stanford (USA) na początku lat 90. Polega na modelowaniu przy pomocy cyfrowego falowodu fal bieŝących składających się na falę stojącą w danym instrumencie. Implementacja: algorytm cyfrowy, np. program komputerowy. Etapy modelowania fizycznego Identyfikacja procesów fizycznych prowadzących do wytworzenia dźwięku Podział na bloki funkcjonalne Stworzenie algorytmu syntezy Implementacja algorytmu (program) Dobór parametrów modelu Testowanie i strojenie modelu
Metoda falowodowa podstawy Rozwiązanie ogólne równania falowego dla idealnej (bezstratnej) drgającej struny: suma dwóch fal bieŝących (travelling waves) propagowanych w przeciwnych kierunkach x x p( x, t) = p1 ( t ) + p2 ( t + ) c c Model Karplusa-Stronga Model Karplusa-Stronga falowodowy model struny, z uwzględnieniem tłumienia zaleŝnego od częstotliwości
Model instrumentu dętego Przykład modelu falowodowego klarnet Metoda falowodowa Zalety metody falowodowej: moŝliwość dokładnej symulacji rzeczywistych instrumentów (wierność brzmienia) moŝliwość uwzględnienia zjawisk artykulacyjnych działanie w czasie rzeczywistym Wady metody: trudność w formułowaniu modelu fizycznego instrumentu duŝa złoŝoność obliczeniowa problem modelowania skomplikowanych zjawisk fizycznych
Emulacja instrumentów analogowych Cyfrowe instrumenty realizujące analogowe metody syntezy dźwięku, gł. metodę subtraktywną Virtual Analog. Prostsza obsługa, zapisywanie ustawień, więcej moŝliwości brzmieniowych. Clavia Nord Lead Synteza programowa Wzrost mocy obliczeniowej komputerów PC spowodował powstanie nowej dziedziny: syntezy programowej (software synthesis). Są to programy komputerowe emulujące działanie sprzętowych syntezatorów (samplery, subtraktywne, itp.). Syntezatory tego typu są wykonywane jako: samodzielne programy wtyczki (plug-in) do programów obsługujących standard VSTi
ReBirth ReBirth programowa emulacja syntezatorów Rolanda Arturia Moog Modular Arturia Moog Modular profesjonalny emulator syntezatora Moog
NI FM7 Native Instruments FM7 emulator syntezatora Yamaha DX7 Inne instrumenty syntetyczne Poza klasycznymi instrumentami klawiszowymi, istnieją syntezatory sterowane w inny sposób: automaty perkusyjne perkusja elektroniczna syntezator gitarowy elektroniczne skrzypce elektroniczny saksofon efekty specjalne, typu laserowa harfa
Automaty perkusyjne Automaty perkusyjne syntezatory wytwarzające brzmienia perkusyjne, wyposaŝone w sekwencer z pamięcią. Opracowane w celu wyeliminowania perkusistów, jednak gra automatu perkusyjnego jest łatwo odróŝnialna od Ŝywych perkusistów. Roland TR-808 LinnDrum Perkusja elektroniczna Perkusja elektroniczna powstała w celu uzupełnienia instrumentarium syntezatorowego, aby zastąpić brzmienie tradycyjnej perkusji. Najbardziej popularny instrument: Simmons SDSV (1982), o charakterystycznym sześciokątnym kształcie.
Nietypowe sterowniki Instrument sceniczny Sterowanie noŝne (bas elektroniczny) MIDI System MIDI umoŝliwia przesyłanie informacji sterujących, np. o wartościach nut, jakie mają być odgrywane przez syntezator. MoŜliwość sterowania syntezatorem przez: klawiaturę lub dowolny inny sterownik obsługiwany przez muzyka sekwencer MIDI program odgrywający zaprogramowaną sekwencję dźwięków w instrumentach programowych program host wysyłający sekwencję MIDI do wtyczki VSTi.
MIDI Sterowanie poprzez interfejs MIDI MIDI Synteza dźwięku Więcej informacji na temat syntezy dźwięku - w ramach przedmiotu: Elektroniczne instrumenty muzyczne wykład + laboratorium dla sem. 7 studiów 1. stopnia, profil: Systemy multimedialne (kierunek: Telekomunikacja). Zapraszam!