Badanie interakcji słuchacza. ze sprzętowo programowym. systemem symulowania błędów intonacyjnych

Transkrypt

1 Akademia Górniczo Hutnicza im. Stanisława Staszica Wydział Inżynierii Mechanicznej i Robotyki Katedra Mechaniki i Wibroakustyki Rozprawa doktorska Badanie interakcji słuchacza ze sprzętowo programowym systemem symulowania błędów intonacyjnych mgr Marek Pluta Promotor: dr hab. inż. Piotr Kleczkowski, prof. AGH Kraków 2008

2 Składam serdeczne podziękowania Panu dr hab. inż. Piotrowi Kleczkowskiemu, prof. AGH za pomoc i cenne uwagi podczas realizacji pracy.

3 3 Spis treści 1. Wstęp Zagadnienie intonacji Zjawisko intonacji dźwięku Zła i dobra intonacja błędy intonacyjne Nauka identyfikacji i korekcji błędów metodą ich symulacji Cele i teza pracy Percepcja dźwięków muzycznych przez człowieka Percepcja wysokości dźwięku Definicja wysokości dźwięku Wpływ parametrów fali akustycznej na wrażenie wysokości dźwięku Modele percepcji wysokości Wysokość dźwięków muzycznych Systemy dźwiękowe Percepcja barwy dźwięku Wpływ parametrów fali akustycznej na wrażenie barwy dźwięku Zależność pomiędzy artykulacją i dynamiką muzyczną a barwą dźwięku Maskowanie Metody symulacji dźwięków muzycznych Rola syntezy dźwięku w muzyce Przegląd metod syntezy dźwięku Metody widmowe Metody abstrakcyjne Modelowanie fizyczne Metody reprodukcyjne i oparte o przetwarzanie sygnału Metoda reprodukcyjna w samplerach Implementacje metod syntezy dźwięku Sterowanie procesem syntezy Realizm brzmieniowy Realizm brzmieniowy a słyszenie utworu muzycznego Realizm brzmieniowy w różnych metodach syntezy dźwięku Zastosowanie syntezy dźwięku w realistycznej symulacji odstrojenia Sprzętowo-programowy symulator błędów intonacyjnych Celowość stworzenia specjalistycznego narzędzia do realistycznej symulacji błędów intonacyjnych Założenia przyjęte przy projektowaniu symulatora Przykłady muzyczne Błędy intonacyjne Błąd w instrumencie i w grupie instrumentów Wybór odstrajanych instrumentów Formy błędów intonacyjnych Realizm brzmieniowy symulacji Projekt i realizacja symulatora Sprzętowe elementy symulatora Programowe elementy symulatora Program symulatora Korekcja intonacji próbek instrumentów Konstrukcja, generowanie i odtwarzanie przykładów muzycznych...72

4 Elementy przykładu muzycznego Synchronizacja warstw przykładu muzycznego Sterowanie intonacją warstwy syntetycznej Artykulacja w ścieżkach syntetycznych Przebieg dynamiki w ścieżkach syntetycznych Przygotowanie materiału do przykładów muzycznych Funkcje symulatora Praca z symulatorem Cykl pracy z przykładami muzycznymi Kategorie błędów intonacyjnych Automatyczna rejestracja wyników Możliwości konfiguracji symulatora Baza fragmentów muzycznych Wybór urządzeń odtwarzających sygnał Zastosowania symulatora Testy słuchowe Propozycja modelu procesu identyfikacji błędu intonacyjnego Złożoność zjawiska błędu intonacyjnego Analiza sceny słuchowej Model procesu identyfikacji błędu intonacyjnego Konsekwencje przyjętego modelu Cele testów słuchowych Metodologia testów Wyniki testów Czas identyfikacji błędu Pomyłki w procesie identyfikacji błędu Wpływ treningu na percepcję intonacji Wpływ realizmu symulacji na percepcję intonacji Podsumowanie i wnioski Podsumowanie Wnioski Literatura

5 Wstęp 5 1. Wstęp 1.1. Zagadnienie intonacji Zjawisko intonacji dźwięku W zakresie realizacji wysokości dźwięków zapis utworu muzycznego nie pozostawia wykonawcy takiej swobody jaką daje mu w przypadku tempa 1, dynamiki 2, artykulacji 3, czy nawet, do pewnego stopnia, rytmu 4. W idealnej sytuacji muzyk powinien wykonywać dźwięki o dokładnie takich wysokościach, jakie wynikają z zapisu nutowego oraz przyjętego systemu dźwiękowego. W rzeczywistości ograniczona jest zarówno dokładność percepcji wysokości, jak i techniczne możliwości jej kontroli na instrumencie muzycznym. Wysokość powinna być jednak na tyle bliska wartości idealnej, żeby przy uwzględnieniu wymienionych ograniczeń mogła być percypowana jako idealna. W przeciwnym wypadku słuchacze odczuwają dyskomfort, który w skrajnych przypadkach całkowicie uniemożliwia odbiór muzyki. Precyzję realizacji wysokości dźwięków nazywa się w praktyce muzycznej intonacją Zła i dobra intonacja błędy intonacyjne Nawet niewielkie, zaledwie spostrzegalne odstępstwo od poprawnej intonacji, zazwyczaj jest w muzyce nie do przyjęcia, dlatego niezwykle ważne jest dążenie do zachowania poprawności intonacyjnej. Odpowiedzialność za poprawną intonację najczęściej, ale jednak nie zawsze, spoczywa na muzyku. W przypadku części instrumentów odpowiada za nią stroiciel. W grze zespołowej nadrzędną rolę w kontrolowaniu intonacji pełni dyrygent, natomiast w przypadku nagrań podobna rola przypada realizatorowi nagrania i jest ona tym większa, im mniej doświadczeni, lub gorzej wykształceni muzycznie są nagrywający wykonawcy. Pomijając instrumenty strojone przez stroicieli, odstępstwa od poprawnej intonacji, czyli błędy intonacyjne, mają kilka źródeł. Część błędów ma charakter całkowicie przypadkowy i jest 1 Tempo oznacza w muzyce stopień szybkości wykonania utworu [Habela 1988], czyli liczbę określonych wartości rytmicznych mieszczących się w jednostce czasu. 2 Dynamika jest elementem muzyki odpowiadającym za wrażenie głośności dźwięków. 3 Artykulacja określa sposób wydobycia dźwięków muzycznych. 4 Rytm jest czynnikiem organizującym następstwo dźwięków w czasie [Habela 1988]. Samodzielnie odpowiada on jedynie za stosunki czasów trwania dźwięków, natomiast bezwzględne czasy trwania dźwięków są określane jednocześnie przez dwa czynniki: rytm i tempo.

6 Wstęp 6 zwykłymi pomyłkami, zdarzającymi się w grze. Są to pojedyncze dźwięki, lub bardzo krótkie odcinki, zagrane zbyt wysoko, lub zbyt nisko, pomiędzy fragmentami o poprawnej intonacji. Do pewnego stopnia ustrzec przed nimi może większa biegłość w grze, wynikająca z długich ćwiczeń i praktyki, lecz zawsze istnieje prawdopodobieństwo ich wystąpienia. W przypadkach, gdy muzyk nie posiada stopnia biegłości w grze na instrumencie koniecznego do wykonania utworu o danym poziomie trudności, lub poświęcił na przygotowanie utworu zbyt mało czasu, mogą wystąpić, z pozoru podobne do pomyłek intonacyjnych, techniczne problemy z wykonaniem pewnych fragmentów utworu. O ile jednak przy powtarzaniu utworu przypadkowe błędy wystąpią w innych miejscach, o tyle problemy techniczne występują zawsze w tych samych fragmentach, a dodatkowo, często kierunek przesunięcia wysokości pozostanie ten sam na przykład pewien fragment będzie zawsze grany zbyt nisko. Usunięcie tego typu błędów intonacyjnych wymaga poświęcenia dłuższego czasu na pracę z utworem i wyćwiczenia fragmentów stwarzających problemy. Jednak w przypadku, gdy utwór jest zbyt trudny dla danego muzyka, błędy tego typu mogą być niemożliwe do skorygowania. Pewna grupa błędów intonacyjnych jest związana ze specyfiką niektórych instrumentów. Jednym z aspektów tego problemu, dotyczącym szczególnie instrumentów dętych blaszanych, jest konsekwencja stosowania dźwięków uzyskiwanych przez przedęcie 5. Częstotliwości takich dźwięków wynikają z pewnego szeregu harmonicznego i mogą nie zgadzać się z wykorzystywanym w trakcie gry systemem dźwiękowym. W takich sytuacjach instrumentaliści korygują intonację, zwykle poprzez precyzyjną regulację prędkości strumienia powietrza. Inny problem wynika z faktu, że w niektórych instrumentach dętych skrajne wysokości, lub całe rejestry, są szczególnie trudne do uzyskania. Zagranie takich dźwięków może wymagać bardzo małej, lub bardzo dużej prędkości strumienia powietrza, co w konsekwencji prowadzi do gorszej jego kontroli niż w przypadku umiarkowanych prędkości i skutkuje pogorszeniem intonacji. Długotrwałe ćwiczenie gry w tych rejestrach może przynieść pewną poprawę. W trakcie gry dłuższych dźwięków, mając na to czas, wykonawca może tego typu błąd intonacyjny próbować skorygować na bieżąco, czego efektem jest słyszalna zmiana wysokości w ramach jednego dźwięku, często o charakterze asymptotycznym, czyli szybkie przesunięcie na początku i dalsze coraz delikatniejsze dostrajanie, lub oscylacyjnym, gdy muzyk nie może znaleźć właściwej wysokości. Instrumenty mogą w trakcie gry ulec rozstrojeniu. W części z nich skutkiem tego jest podniesienie wysokości dźwięków, a w innych przede wszystkim smyczkowych obniżenie. Jeżeli jest to instrument dęty, strojony w całości, przesunięcie to będzie jednakowe dla wszystkich dźwięków. W przypadku instrumentów smyczkowych, każda ze strun rozstraja się w nieco inny 5 Przedęcie jest techniką gry na instrumencie dętym, w której przez zwiększenie prędkości strumienia powietrza, a co za tym idzie, przez podniesienie zakresu częstotliwości drgań stroika lub wargi instrumentu, uzyskuje się wyższe składowe z szeregu harmonicznego [Drobner 1997].

7 Wstęp 7 sposób i dlatego w zależności od tego, która z nich w danym momencie brzmi, można usłyszeć różne odstępstwa od poprawnej intonacji. W większym zespole muzyk zwykle jest w stanie pobieżnie dostroić instrument w trakcie gry. W grze solowej lub kameralnej pozostaje jedynie doraźna korekta, poprzez odpowiednie przesunięcie palców w instrumentach smyczkowych, lub zmianę prędkości strumienia powietrza w instrumentach dętych. Błędy intonacyjne powstają często w wyniku problemów z usłyszeniem wysokości granych dźwięków. Trudności w słuchowej ocenie wysokości, a co za tym idzie, w jej poprawnej realizacji, mogą wystąpić na skutek warunków utrudniających identyfikację właściwego sygnału dźwiękowego pośród wielu innych, mogą też wynikać z ograniczeń słuchu muzycznego wykonawcy. Warunki utrudniające słyszenie wysokości spotyka się przede wszystkim w grze zespołowej, gdzie oprócz dźwięku instrumentu na którym gra, muzyk słyszy pozostałą część zespołu, czyli wiele różnych źródeł dźwięku, z różnych kierunków i odległości, czego wynikiem są różne odmiany efektu maskowania części sygnału. Słyszenia reszty zespołu nie można jednak wyeliminować, gdyż jest ono konieczne do poprawnej gry zespołowej, w tym, nieco paradoksalnie, do zachowania poprawnej intonacji całego zespołu: muzyk traktuje wysokości dźwięków pozostałych instrumentów jako jeden z punktów odniesienia dla intonacji dźwięków, które sam wykonuje. W grze zespołowej warunki ulegają jednak ciągłym zmianom, dlatego w chwilach, kiedy pozwalają one lepiej usłyszeć grane przez siebie dźwięki, muzycy korygują intonację, co może być słyszalne jako płynna, delikatna zmiana wysokości. Trudność w usłyszeniu wysokości mogą mieć również muzycy wykonujący utwory solowe i kameralne. Jej źródłem są różne drogi, którymi dźwięk dociera do błony podstawnej w uchu wykonawcy część dźwięku dociera drogą normalną, poprzez powietrze, ucho zewnętrzne, środkowe i w końcu wewnętrzne, jednak pewna jego część może w przypadku niektórych instrumentów docierać do ślimaka poprzez kości czaszki. Ten problem występuje częściej w przypadku muzyków grających na instrumentach dętych, ale daje się też czasem zaobserwować u skrzypków. W jego wyniku wykonawca może percypować wysokość dźwięku w nieco inny sposób niż słuchacze, lub pozostali muzycy, do których dociera on jedynie drogą powietrzną. Jeżeli problem taki wystąpi w grze zespołowej, to jego rozwiązanie, czyli wskazanie kierunku korekty intonacji, pozostaje w gestii dyrygenta. Nie tylko instrumentaliści, ale także osoby odpowiedzialne za pracę muzyków i zespołów muzycznych, czyli dyrygenci oraz realizatorzy nagrań, powinni zdawać sobie sprawę z możliwych przyczyn błędów intonacyjnych, aby móc je wskazać i określić, lub dokonać stosownej korekty. Jest to niezwykle ważne, gdyż wielokrotne powtarzanie fragmentu utworu z błędem intonacyjnym, zwłaszcza, gdy jest on stosunkowo niewielki, prowadzi do przyzwyczajenia się słuchu zarówno wykonawcy, jak i dyrygenta, czy realizatora, do błędnej wersji. Tymczasem osoby słuchające wykonania utworu z takim błędem po raz pierwszy, zauważą go stosunkowo łatwo.

8 Wstęp Nauka identyfikacji i korekcji błędów metodą ich symulacji Poprawna i szybka identyfikacja oraz korekcja błędów intonacyjnych wymaga odpowiedniego treningu. Błąd intonacyjny jest odbierany jako pewnego rodzaju dyskomfort i sam fakt jego wystąpienia może u osoby nie dysponującej odpowiednim przygotowaniem spowodować problemy z właściwą jego oceną. Osoba taka może wyraźnie słyszeć, że intonacja danego fragmentu jest zła, jednak nie jest w stanie ani precyzyjnie wskazać miejsca wystąpienia błędu, ani określić jego wielkości, a często nawet kierunku. Problem staje się jeszcze trudniejszy w grze zespołowej, w której trzeba pogodzić intonację wielu instrumentów charakteryzujących się preferencjami do odmiennych systemów dźwiękowych. Podstawowe jest wówczas poprawne określenie punktu odniesienia, czyli właściwej intonacji. Punkt odniesienia nie jest jednak stały dla całego utworu. Ta sama wysokość może w różnych sytuacjach wymagać delikatnych korekt, w celu dopasowania jej na przykład do pionu akordowego danej grupy instrumentów w jednym miejscu, a nieco dalej do przebiegu melodycznego w innej grupie. Instrumentaliści uczą się detekcji, identyfikacji i korekty błędów w ramach nauki gry na instrumencie oraz, do pewnego stopnia, w ramach zajęć kształcenia słuchu. W grze na instrumencie konieczna jest umiejętność automatycznej reakcji na błąd, prowadząca do jego jak najszybszego i niezauważalnego usunięcia. Na wczesnych etapach edukacji muzycznej błędy i sposób ich korekty wskazuje nauczyciel, a uczeń dopiero uczy się je odpowiednio percypować. W miarę zdobywania większego doświadczenia i wraz z rozwojem słuchu muzycznego, uczeń dochodzi do etapu, na którym jest w stanie samodzielnie korygować coraz trudniej percypowalne błędy. Z czasem też zaczyna je korygować automatycznie. Dyrygenci rozpoczynają edukację muzyczną od gry na instrumencie, jednak w przypadku części z nich instrumentem tym jest fortepian, w grze na którym problematyka intonacji z punktu widzenia wykonawcy nie występuje. Niezależnie od tego na jakich instrumentach grali wcześniej, w ramach studiów dyrygenckich problematyce intonacji poświęcone jest bardzo niewiele czasu, z którego część to specjalne ćwiczenia w ramach kształcenia słuchu, a część to praca z zespołami. Z powodów pragmatycznych, w ramach regularnych zajęć z dyrygentury studenci zamiast z orkiestrą, pracują z dwoma fortepianami i w związku z tym nie zajmują się kwestią strojenia akordów, grup instrumentów, czy lokalizacji błędów w zespole. Podobny problem dotyka realizatorów dźwięku, których rola w kształtowaniu intonacji jest w pewnym sensie podobna do roli dyrygentów, a często nie mają oni okazji do zapoznania się z problematyką intonacji oraz odpowiedniego treningu w tej dziedzinie. Detekcja błędów i korekta intonacji wymagają rozwoju pewnych aspektów słuchu muzycznego, do czego niezbędne są wielokrotnie powtarzane ćwiczenia. Odpowiednie możliwości

9 Wstęp 9 do ich realizacji stwarza dopiero technika komputerowa, dzięki połączeniu precyzyjnej kontroli z powtarzalnością. W ramach zajęć kształcenia słuchu wykorzystuje się oprogramowanie komputerowe zawierające ćwiczenia mikrotonowe, w których przy pomocy syntetycznych dźwięków prezentuje się różnego rodzaju konstrukcje muzyczne z wprowadzonymi zmianami intonacyjnymi. Są to jednak sytuacje abstrakcyjne i odmienne od rzeczywistości muzycznej, przez co przejście od nich do praktyki muzycznej stwarza muzykom duże problemy. Bardzo pożądanym uzupełnieniem edukacji byłby symulator błędów intonacyjnych, prezentujący takie błędy w zbliżonych do rzeczywistych sytuacjach dźwiękowych, a przy tym pozwalający na swobodną kontrolę prezentowanych przykładów i zapewniający w razie potrzeby ich powtarzalność Cele i teza pracy Cele pracy: 1. Opracowanie modelu procesu identyfikacji błędów intonacyjnych przez człowieka. 2. Opracowanie sprzętowo-programowego symulatora błędów intonacyjnych. 3. Weryfikacja zaproponowanego modelu w testach słuchowych przeprowadzonych przy pomocy symulatora. Teza pracy: W procesie identyfikacji błędu intonacyjnego w narządzie słuchu biorą udział dwa mechanizmy: oparty na porównaniu wysokości dźwięku oraz oparty na ocenie barwy dźwięku.

10 Percepcja dźwięków muzycznych przez człowieka Percepcja dźwięków muzycznych przez człowieka Dźwięk, rozumiany jako zjawisko fizyczne, charakteryzuje się pewnym zestawem parametrów. W procesie percepcji dźwięku parametry te zostają przetworzone na cechy wrażenia słuchowego. Natura procesu przetwarzania jest wysoce złożona: bierze w nim udział system słuchowy, lecz także mechanizmy takie, jak pamięć, koncentracja, czy adaptacja. Percepcja dźwięku obejmuje więc zagadnienia związane z detekcją, dyskryminacją i identyfikacją oraz ze skalowaniem wrażeń subiektywnych, a jej badania próbują odpowiedzieć na pytania dlaczego i jak słyszymy, a także co słyszymy, gdy percypujemy dźwięk. Do opisu zależności pomiędzy parametrami fizycznymi i percepcyjnymi dźwięku potrzebna jest wiedza o mechanizmach zachodzących na poziomie peryferyjnych obszarów narządu słuchu oraz o procesach neuronowych zachodzących na wyższych piętrach drogi słuchowej, uzupełniona o informacje uzyskiwane z modelowania systemu słuchowego oraz o wyniki eksperymentalnych badań psychoakustycznych. Dźwięki muzyczne są przypadkiem szczególnym. Ich definicja jest płynna i stale ulega zmianom, gdyż język muzyczny podlega ciągłemu rozwojowi. Wyjątkowo interesującym przejawem tego zjawiska jest wzbogacenie przez Pierre a Schaeffera, w połowie XX wieku, języka muzycznego o dźwięki konkretne. Są to dźwięki otaczającego człowieka świata, które stając się materiałem muzyki konkretnej otwierają nowe drogi dla muzycznej ekspresji. W tym rozumieniu, każdy dźwięk może stać się dźwiękiem muzycznym, jeżeli zostanie w tym celu użyty. A jednak, niezależnie od tego jakie dźwięki są tworzywem muzyki, ich percepcja w kontekście muzycznym przebiega w sposób odmienny od tego, który jest typowy dla dźwięków otoczenia. Większa jest w tym procesie rola koncentracji, adaptacji oraz wiedzy i pamięci, zaś niektóre wrażenia grają w nim rolę ważniejszą niż w przypadku dźwięków niemuzycznych. Muzyka jest odbierana jednocześnie na wielu poziomach abstrakcji: oddziałuje na człowieka swą formą, ale także elementami takimi jak rytm, melodia, czy harmonia. Jej podstawową rolą jest porządkowanie dźwięków w czasie, stąd pierwotnym elementem percepcji dźwięków muzycznych jest poczucie rytmu i tempa. Za porządkowanie dźwięków w innych skalach odpowiadają zaś takie elementy, jak związana z melodią wysokość, czy trudna do ilościowego opisu barwa, a także związane z nią dynamika i artykulacja.

11 Percepcja dźwięków muzycznych przez człowieka Percepcja wysokości dźwięku Definicja wysokości dźwięku Wysokość dźwięku to, zgodnie z definicją Amerykańskiego Instytutu Standardów (ANSI American National Standards Institute) z 1994 roku, atrybut wrażenia słuchowego, który pozwala uszeregować dźwięki na skali od niskich do wysokich. Człowiek odbiera jako dźwięki o określonej wysokości dwa rodzaje sygnałów: przebiegi sinusoidalne, nazywane tonami prostymi, lub w skrócie tonami, wielotony harmoniczne, czyli przebiegi, w przypadku których maksima w widmie tworzą jeden szereg harmoniczny. Pozostałe dźwięki, czyli wielotony nieharmoniczne oraz szumy, albo nie wywołują wrażenia wysokości, albo wywołują je w takim stopniu, że wysokości nie da się precyzyjnie określić. Nawet w przypadku tonów, spostrzeganie wysokości działa precyzyjnie jedynie dla sygnałów o częstotliwościach do około 5000 Hz. Jednym z wyjaśnień istnienia tej granicy jest mechanizm synchroniczności fazowej 1 [Ozimek 2002] Wpływ parametrów fali akustycznej na wrażenie wysokości dźwięku Wysokość dźwięku jest wielkością subiektywną. Nie daje się więc mierzyć, tak jak wielkości fizyczne, w sposób bezpośredni, jednak pomimo tego, w określony sposób zależy od fizycznych parametrów dźwięku. Parametrami wpływającymi na wrażenie wysokości są: częstotliwość repetycji przebiegu falowego dźwięku, ciśnienie akustyczne, czas trwania dźwięku, widmo dźwięku, postać obwiedni amplitudy dźwięku, obecność innych dźwięków. Decydujący wpływ na wrażenie wysokości ma częstotliwość repetycji przebiegu falowego. Niewielka część dźwięków muzycznych o określonej wysokości może być w przybliżeniu traktowana jako tony proste. W ich przypadku wysokość jest związana z okresem sinusoidy. 1 W odpowiedzi na powtarzany sygnał pobudzający o częstotliwości poniżej 4 5 khz, wyładowania neuronów pojawiają się najczęściej dla tej samej fazy sygnału są w pewnym stopniu zsynchronizowane z przebiegiem czasowym sygnału.

12 Percepcja dźwięków muzycznych przez człowieka 12 Pozostałe, bardziej powszechne, są wielotonami harmonicznymi, w przypadku których wielkość ta łączy się z częstotliwością tonu podstawowego, determinującego wysokość całego zjawiska. Dzieje się tak nawet, gdy widmo jest mocno zdegenerowane. Interesującym przypadkiem jest wysokość wielotonu harmonicznego pozbawionego tonu podstawowego. Okazuje się bowiem, że pomimo nieobecności w widmie, ton podstawowy nadal determinuje wysokość takiego dźwięku. Zjawisko to jest nazywane wysokością rezydualną [Schouten 1940] i polega na percepcji wysokości nie związanej z żadną ze składowych dźwięku, a wytworzonej jedynie w wyniku współdziałania wyższych harmonicznych. Wysokość rezydualna jest w muzyce zjawiskiem powszechnym. Wystarczy wymienić następujące sytuacje: zagranie na fortepianie głośno i cicho dźwięku z niższych rejestrów, na przykład c z małej oktawy (130,81 Hz) nie zmieni wrażenia wysokości pomimo tego, że w przypadku zagrania go cicho kilka niskich składowych, w tym ton podstawowy, znajdą się poniżej progu słyszalności, korpus wielu mniejszych instrumentów dętych nie jest w stanie, ze względu na swoje wymiary, wzmacniać tonu podstawowego w przypadku dolnych dźwięków skali, a pomimo tego dźwięki te wywołują wrażenie wysokości odpowiadające wysokości tonów o częstotliwości ich nieistniejącego tonu podstawowego, w muzyce symfonicznej, gdy jednocześnie słyszalne są dźwięki wielu różnych instrumentów, często dochodzi do maskowania tonu podstawowego niektórych z nich przez silniejsze składowe innych głosów, co nie wpływa na wrażenie wysokości granych przez nie dźwięków. Rysunek 2.1: Zależność percypowanej wysokości w skali melowej od częstotliwości tonu (krzywa 1 Stevens 1937, 2 Stevens 1940), wg [Ozimek 2002] Kształt zależności wysokości od częstotliwości nieznacznie się różni w przypadku wyznaczania go różnymi metodami. W metodzie szacowania wartości [Moore 1999] słuchacze przyporządkowują tonom testowym o różnych częstotliwościach różne wartości liczbowe, proporcjonalne do wrażenia wysokości. Inną metodą jest metoda połowienia lub podwajania wrażenia wysokości [Moore 1999], gdzie słuchacze dobierają wysokość drugiego tonu względem podanego im tonu odniesienia w taki sposób, aby była dwukrotnie mniejsza lub większa. Na

13 Percepcja dźwięków muzycznych przez człowieka 13 podstawie wyników takich badań utworzono skalę (rys. 2.1) [Stevens 1937, Stevens 1940], w której jednostką jest jeden mel, a podwojenie liczby meli odpowiada podwojeniu wysokości. Ze względu na różne procedury wyznaczania, stosuje się kilka skal melowych. Zwykle przyjmuje się, że 1000 meli reprezentuje wrażenie wysokości wytworzone przez ton o częstotliwości 1000 Hz i poziomie ciśnienia akustycznego 40 db SPL. Rysunek 2.2: Wpływ poziomu ciśnienia akustycznego na zmianę percepcji wysokości tonu, wg [Ozimek 2002] Wpływ poziomu ciśnienia akustycznego na wrażenie wysokości tonu (rys. 2.2) jest mniejszy niż wpływ częstotliwości, ma przy tym inny charakter, w pewnych warunkach może być jednak zjawiskiem wyraźnie zauważalnym [Stevens 1935, Morgan 1951, Cohen 1961, Verschuure 1975]. W przypadku tonów o częstotliwościach od 1000 Hz do 2000 Hz zmiana poziomu ciśnienia od 40 do 90 db SPL ma niewielki wpływ na wysokość zmienia ją o mniej niż 1%. Dla tonów o częstotliwościach poniżej i powyżej tego zakresu zmiany wrażenia wysokości wywołane taką samą zmianą poziomu ciśnienia akustycznego są już jednak wyraźne mogą przekraczać nawet 5%. Wzrost poziomu ciśnienia akustycznego powoduje wrażenie obniżenia wysokości dla tonów o częstotliwościach poniżej 1000 Hz, natomiast dla tonów o częstotliwościach powyżej 2000 Hz efektem tego samego wzrostu poziomu ciśnienia akustycznego jest wrażenie wzrostu wysokości. Przesunięcie tonu testowego o wysokości w i częstotliwości f t wyrażonej w khz, względem dostrajanego sygnału sinusoidalnego o częstotliwości f, w zależności od poziomu ciśnienia akustycznego tonu testowego L wyrażonego w db SPL, wynosi w procentach: 100 w f f = 0,02 L 60 f t 2, (2.1) przy czym założono, że gdy poziom ciśnienia testowanego tonu wynosi 60 db SPL, jego wysokość w jest równa częstotliwości dostrajanego sygnału sinusoidalnego. W przypadku wielotonów harmonicznych efekt ten działa w sposób trudniejszy do zmierzenia i opisania. Do wytworzenia wrażenia wysokości konieczne jest, aby dźwięk trwał przynajmniej przez pewien określony, minimalny czas. Gdy czas ten spada do około 1-2 okresów, nie jest odbierane wrażenie wysokości, lecz trzasku [Houtsma 1987]. W zależności od częstotliwości, minimalny czas potrzebny do wytworzenia się wrażenia wysokości to około 50 ms przy 50 Hz, a 10 ms przy 1000

14 Percepcja dźwięków muzycznych przez człowieka 14 Hz. Zależność wysokości tonu oraz czasu jego trwania wiąże się z zasadą nieoznaczoności: f t = k, (2.2) gdzie: f niepewność określenia częstotliwości tonu (a więc i wysokości), t czas trwania tonu, k stała, zależna od natężenia i obwiedni czasowej tonu. Rysunek 2.3: Próg dyskryminacji częstotliwości w funkcji częstotliwości tonu wyniki pomiarów różnych autorów, wg [Ozimek 2002] Gdy słuchaczowi prezentuje się kolejno dwa tony o podobnych częstotliwościach, przy czym pierwszy z nich trwa przynajmniej minutę, może dojść do pobodźcowego przesunięcia wysokości drugiego tonu. W przypadku gdy częstotliwość drugiego tonu jest wyższa niż częstotliwość pierwszego tonu przesunięcie wysokości nastąpi w górę, w przeciwnym wypadku w dół. Przesunięcie takie nie przekracza wartości 1%, a jego wielkość zależy od czasu [Hall 1978, Rakowski 1980, Ebata 1984]. Wpływ na wrażenie wysokości tonu ma także obecność sygnału maskującego [Egan 1950b]. W sytuacji maskowania częściowego, gdy maskujący szum pasmowy ma częstotliwość niższą od maskowanego tonu, wysokość tonu może wzrosnąć do 2%. Analogicznie, gdy sygnał maskujący ma wyższą częstotliwość, wysokość tonu może się obniżyć. Wielkość tego efektu zależy od częstotliwości tonu i sygnału maskującego. Gdy sygnał maskowany jest szumem szerokopasmowym, przesunięcie następuje w górę. Zaobserwowano także kilka charakterystycznych typów czasowej obwiedni amplitudy dźwięku, które mają wpływ na wrażenie wysokości. Gdy obwiednia dźwięku zanika wykładniczo [Hartmann 1978], wywoływane przez niego wrażenie wysokości przesuwa się w górę w stosunku do sytuacji, gdy obwiednia jest prostokątna. Efekt ten można zaobserwować, gdy częstotliwość dźwięku leży w zakresie od 400 do 3200 Hz, a szczególnie wyraźnie działa on dla krótkich dźwięków [Rossing 1986].

15 Percepcja dźwięków muzycznych przez człowieka 15 System słuchowy charakteryzuje się określoną zdolnością do percypowania różnicy częstotliwości pomiędzy tonami następującymi po sobie, czyli zmiany częstotliwości w czasie. Zdolność ta jest nazywana dyskryminacją częstotliwości (rys. 2.3). Badania progów dyskryminacji częstotliwości DLF (ang. difference limen for frequency) [Sęk 1995], w których słuchaczom prezentowano dwa następujące po sobie tony o nieznacznie różniących się częstotliwościach, wykazały, że progi te rosną wraz ze wzrostem częstotliwości badanego tonu: dla tonu o częstotliwości 500 Hz próg wynosi 1 Hz, dla tonu o częstotliwości 1000 Hz wzrasta do 2 Hz, zaś dla tonu o częstotliwości 4000 Hz wynosi już prawie 20 Hz. System słuchowy posiada także określoną selektywność częstotliwości, czyli właściwość, pozwalającą na wyróżnianie wybranej składowej spośród innych składowych złożonego dźwięku Modele percepcji wysokości W ramach prób wyjaśnienia mechanizmu percepcji wysokości opracowano różnorodne teorie. Według pierwszej z nich, teorii miejsca, w ślimaku następuje analiza widmowa dźwięku. Teoria ta posiada stosunkowo długą historię [Ozimek 2002]. Już w 1863 Helmholtz zaproponował teorię rezonansową, lub teorię harfy, zgodnie z którą błona podstawna składała się z włókien o różnej długości, nazwanych strunami słuchowymi, nastrojonych i reagujących na określone częstotliwości rezonansowe. Drgające struny słuchowe miały pobudzać neurony w ślimaku, generujące impulsy elektryczne przekazywane do ośrodków słuchowych w mózgu. Późniejsze badania doprowadziły do zaproponowania teorii fali biegnącej [Wever 1962]. Zgodnie z tą teorią, w płynie ślimaka rozchodzi się, w kierunku osklepka, biegnąca fala akustyczna, wywołująca zaburzenia hydrodynamiczne. Zaburzenia te wprawiają w drgania błonę podstawną. Amplituda drgań Rysunek 2.4: Zależność percypowanej wysokości tonu w melach (1) oraz położenia maksimum pobudzenia błony podstawnej (2) od częstotliwości tonu, wg [Ozimek 2002] wywoływanych przez biegnącą falę rośnie wraz z odległością przez nią pokonywaną, aż do osiągnięcia maksimum, po czym szybko zanika. Fala biegnąca ma zawsze podobną postać, a częstotliwość dźwięku ma wpływ jedynie na miejsce wystąpienia maksimum drgań. Fale odpowiadające dźwiękom o niższych częstotliwościach docierają do głębszych części ślimaka,

16 Percepcja dźwięków muzycznych przez człowieka 16 bliżej osklepka. Teoria miejsca zakłada, że tony o różnych częstotliwościach, lub różne składowe wielotonu, pobudzają błonę podstawną ślimaka w określonych miejscach. Błona podstawna posiada więc organizację tonotopową, a pobudzanie jej dźwiękami o różnych częstotliwościach powoduje aktywację impulsów nerwowych o określonych częstotliwościach charakterystycznych. Gęstość neuronów połączonych z błoną podstawną jest stała w większej części ślimaka, zaczynając od okienka owalnego, i wynosi około 1150 neuronów na milimetr [Ozimek 2002]. Dopiero przy wierzchołku ślimaka gęstość rozmieszczenia neuronów jest mniejsza, co skutkuje mniejszą selektywnością częstotliwościową błony podstawnej w zakresie niskich częstotliwości. Wiele badań, w tym obserwacja drgającej błony podstawnej, potwierdza postulaty teorii miejsca. Wynika z nich, że zgodnie ze skalą melową, zmiana wysokości o jeden mel odpowiada zmianie położenia maksimum pobudzenia wzdłuż błony o około 12 neuronów (rys. 2.4). W ramach tej teorii trudno jednak wytłumaczyć percepcję wysokości wielotonów, wywołujących wiele maksimów, a zwłaszcza wysokość rezydualną. Rysunek 2.5: Rozkłady interwałów czasowych pomiędzy kolejnymi wyładowaniami neuronu dla różnych częstotliwości sygnału wzbudzającego o czasie trwania 1 s i poziomie 80 db SPL, wg [Ozimek 2002] Odmienny pogląd na mechanizm percepcji wysokości prezentuje teoria czasu, łącząca wrażenie wysokości z rozkładem w czasie wywołanych przez dźwięk impulsów nerwowych [Ozimek 2002]. Synchroniczność fazowa (rys. 2.5, 2.6) wyładowań neuronów sprawia, że impulsy z reguły wyzwalane są w określonych chwilach, czyli przy tej samej fazie przebiegu czasowego dźwięku, a odstępy w czasie pomiędzy nimi są zgodne z okresem, lub wielokrotnością okresu przebiegu czasowego. Mechanizm taki, ze względu na ograniczone możliwości synchroniczności fazowej, może działać jedynie do częstotliwości 5000 Hz. Pojedynczy neuron jest ograniczony okresem refrakcji i może przewodzić impulsy z częstotliwością najwyżej kilkuset Hz. Przenoszenie wyższych częstotliwości bywa tłumaczone tym, że wyładowania mogą występować nie tylko w pojedynczych neuronach, ale też w parach, lub większych grupach neuronów, co poszerza możliwe do przeniesienia pasmo częstotliwości.

17 Percepcja dźwięków muzycznych przez człowieka 17 Obydwie teorie, czasu i miejsca, próbują na swój sposób tłumaczyć powstawanie wrażenia wysokości rezydualnej. Zgodnie z teorią miejsca, byłby to efekt nieliniowych, różnicowych zniekształceń systemu słuchowego, które pobudzają błonę podstawną w miejscu odpowiadającemu częstotliwości tonu podstawowego. Interpretacja wynikająca z teorii czasu mówi, że aktywność neuronów nerwu słuchowego zsynchronizowana jest ze zmianami obwiedni amplitudowej wypadkowego przebiegu, gdyż zmiany te następują z okresem odpowiadającym okresowi tonu podstawowego. Istnieją szczególne sytuacje, w których percepcja wysokości rezydualnej zachodzi nawet pomimo braku jakichkolwiek interakcji składowych wielotonu w obszarze ślimaka. Efekt ten jest trudny do wytłumaczenia na gruncie znanych modeli, dlatego też sugerowana jest hipoteza [Meddis 1991, Moore 1999], według której proces percepcji dźwięków o złożonym widmie uaktywnia tzw. mod syntetyczny działania systemu słuchowego, który łączy informacje z dziedziny czasu z informacjami z dziedziny częstotliwości. W wyniku eksperymentów z maskowaniem dźwięku, mających na celu wyznaczenie progu słyszalności tonu w zależności od szerokości pasma częstotliwości szumu maskującego [Fletcher 1940], powstało ważne dla opisu percepcji wysokości dźwięku pojęcie, jakim jest wstęga, bądź też pasmo krytyczne. W ramach badań, prezentowano słuchaczom ton maskowany białym szumem o stałej gęstości spektralnej mocy w taki sposób, że pasmo szumu było ograniczone, a jego częstotliwość środkowa była równa częstotliwości tonu, będącego maskowanym sygnałem. Zwiększanie pasma szumu powodowało wzrost całkowitej mocy maskera. W wyniku zmian pasma szumu, a więc całkowitej mocy maskera, w trakcie eksperymentów, otrzymano zależność, zgodnie z którą poszerzenie pasma szumu wpływa na podwyższenie progu słyszalności tylko do pewnej szerokości pasma f k Rysunek 2.6: Odpowiedź neuronu (a) na pobudzenie sygnałem o niskiej częstotliwości (b), wg [Ozimek 2002], nazwanego pasmem krytycznym, lub wstęgą krytyczną (ang. critical band). Peryferyjny system słuchowy działa więc, w pewnym sensie, jak zespół liniowych filtrów pasmowych o prostokątnych charakterystykach przenoszenia i zachodzących na siebie pasmach, których źródłem jest błona podstawna. Stosunek mocy sygnału do mocy szumu wynosi: k= P s N 0 f k, (2.3) gdzie:

18 Percepcja dźwięków muzycznych przez człowieka 18 P s N 0 moc sygnału sinusoidalnego, gęstość spektralna mocy szumu białego, f k szerokość pasma krytycznego. Stosunek ten na progu słyszalności wynosi około 0,4 [Scharf 1970] i do pewnego stopnia zmienia się z częstotliwością [Patterson 1986, Peters 1992]. Szerokość pasma krytycznego określa się za pomocą psychoakustycznej skali zaproponowanej przez Eberharda Zwickera w 1961 roku [Zwicker 1961], której jednostką jest jeden bark, odpowiadający szerokości jednego pasma krytycznego. Przejścia od częstotliwości do barków można dokonać korzystając z przybliżonych wzorów [Zwicker 1980, Traunmüller 1990] działających w zakresie od 2 do 20,1 barków: l B = 26,81 f 1960 f 0,53, (2.4) f = 1960 l B 0,53 26,28 l B, (2.5) gdzie: f częstotliwość, l B liczba barków, natomiast szerokość pasma krytycznego można wyliczyć z następującej zależności: f k = l 2 B 52,56l B 690,39. (2.6) Można pasmo krytyczne rozumieć jako filtr słuchowy, posiadający taką szerokość pasma częstotliwości, że po jej przekroczeniu pewne cechy percepcyjne dźwięku ulegają wyraźnej zmianie, ponieważ składowe spektralne dźwięku wpadające w różne pasma krytyczne, czyli oddalone od siebie o więcej niż szerokość pojedynczego pasma, są przetwarzane przez system słuchowy oddzielnie. Z tego wynika, że szum poza pasmem krytycznym sygnału nie ma wpływu na próg słyszalności. Ponadto, gdy więcej tonów leży w paśmie krytycznym, wypadkowa głośność jest związana z sumą ich natężeń. Gdy pasmo w którym się znajdują jest szersze niż krytyczne, ich wypadkowa głośność jest większa niż wynika to z sumowania natężeń. Dalszy wzrost szerokości pasma sprawia, że wypadkowa głośność wytwarzana przez tony dąży do sumy ich głośności w sytuacji, gdy wszystkie znajdują się w osobnych pasmach krytycznych. Mechanizm pasm krytycznych pozwala także usłyszeć oddzielnie około 6 pierwszych składowych wielotonu, jeżeli są

19 Percepcja dźwięków muzycznych przez człowieka 19 one od siebie oddalone o szerokość pasma krytycznego. W badaniach pasm krytycznych założono prostokątną charakterystykę częstotliwościową filtrów słuchowych. Gdy biały szum o gęstości spektralnej mocy N 0 przejdzie przez filtr o charakterystyce częstotliwościowej H f, to całkowita moc szumu P sz na wyjściu filtru wyniesie: P sz =N 0 H f 2 df. (2.7) 0 Gdyby filtr posiadał prostokątną charakterystykę przenoszenia, a w paśmie przepuszczania o szerokości B p nie zmieniał amplitudy sygnału, moc białego szumu po przejściu przez niego wynosiłaby: P sz =N 0 B p, (2.8) a moc sygnału, przy której byłby on zaledwie słyszalny na tle szumu maskującego wyrażałaby się następującą zależnością: P s =k N 0 B p. (2.9) Po przyjęciu uproszczonego założenia, że k=1, szerokość B p stanie się ilorazem progowej mocy maskowanego tonu i gęstości spektralnej mocy szumu maskującego: B p = P s N 0. (2.10) Koncepcja filtru prostokątnego stała się podstawą do wprowadzenia pojęcia ekwiwalentnej prostokątnej szerokości pasma ERB (ang. equivalent rectangular bandwidth). ERB odpowiada pasmu przepuszczania filtru prostokątnego o jednostkowej wysokości. Gdy na wejście zostanie podany szum biały, moce na wyjściu rzeczywistego filtru słuchowego oraz odpowiadającego mu filtru prostokątnego będą równe. Jeżeli maksymalna wartość H f jest równa 1, ERB wynosi: ERB= H f 2 df. (2.11) 0

20 Percepcja dźwięków muzycznych przez człowieka 20 Niezależnie od częstotliwości środkowej filtru, ERB zawsze odpowiada stałemu odcinkowi na błonie podstawnej, o długości 0,9 mm [Greenwood 1961]. W rzeczywistości, obwiednia filtrów słuchowych jest asymetryczna (rys. 2.7) i zmienia się w zależności od poziomu ciśnienia akustycznego sygnału [Irino 1997, Kleczkowski 2002, Ozimek 2002]. Problemy sprawia wyznaczenie ich dobroci, czyli stosunku częstotliwości środkowej do szerokości pasma filtru. Dzieje się tak przede wszystkim dlatego, że działają one w ramach większego układu z dodatnim sprzężeniem zwrotnym [Moore 1999], w którym grają rolę także wyższe piętra systemu słuchowego, a co za tym idzie, ich właściwości nie mogą być badane poza żywym organizmem. Nie skonstruowano dotąd modelu pasywnego tłumaczącego wysokie, zmierzone wartości dobroci filtrów słuchowych [Tadeusiewicz 1988, Moore 1999], co jest kolejnym argumentem potwierdzającym przypuszczenia o ich aktywnym charakterze [Moore 1999, Kleczkowski 2002]. Aktywny proces poprawiający selektywność filtrów słuchowych działa szczególnie wyraźnie w przypadku słabych sygnałów. Selektywność ta zmniejsza się w przypadku wysokich poziomów sygnału wejściowego [Irino 1997]. Rysunek 2.7: Kształt modelu filtrów słuchowych zaproponowany w [Irino 1997] Wysokość dźwięków muzycznych Ocena wysokości dźwięku z zastosowaniem skali melowej jest, z punktu widzenia muzycznego, mało przydatna. Muzyka dysponuje w tym samym celu skalami wypracowanymi znacznie wcześniej, konsekwentnie stosowanymi i rozpowszechnionymi w takim stopniu, że w

21 Percepcja dźwięków muzycznych przez człowieka 21 wielu przypadkach można mówić o percepcji wysokości przez ich pryzmat. W skalach muzycznych różnice wysokości dźwięków mierzy się w interwałach muzycznych, stanowiących odległości na skali wysokości. W ramach określonej skali muzycznej wysokości z definicji odpowiadają częstotliwościom, a interwały ustalonym stosunkom częstotliwości. Interwał oktawy czystej, stanowiący w kręgu kultury europejskiej podstawę większości skal muzycznych, odpowiada stosunkowi 2 :1, a więc podwojenie częstotliwości jest podniesieniem wysokości dźwięku o jedną oktawę. Interwał pozostaje niezmienny niezależnie od relacji czasowej składających się nań dźwięków, jednak w zależności od tej relacji stosowane jest dodatkowe nazewnictwo: dwa dźwięki brzmiące równocześnie tworzą interwał harmoniczny, natomiast gdy następują bezpośrednio po sobie interwał melodyczny. System interwałowy operuje szeregiem chrom, czyli wewnątrzoktawowych kategorii wysokościowych, które powtarzają się w ramach kolejnych oktaw. Pełne określenie wysokości wymaga więc podania chromy oraz nazwy oktawy. Szczegóły podziału oktaw na chromy zależą od wybranego systemu dźwiękowego. Określanie wysokości dźwięków muzycznych oraz ich relacji w bardziej złożonych strukturach jest możliwe dzięki mechanizmowi pamięci słuchowej. Krótkotrwała pamięć słuchowa przechowuje informację o wysokości usłyszanego dźwięku przez okres od kilku do kilkudziesięciu sekund, a jej dokładność w przypadku pierwszych kilku sekund wynosi 0,6% [Ozimek 2002]. Ten rodzaj pamięci można łatwo zakłócić innym dźwiękiem występującym po dźwięku zapamiętanym. Drugim rodzajem pamięci słuchowej jest pamięć długotrwała, która pozwala na rozpoznanie wysokości niezależnie od tego, jak dawno dźwięk został zapamiętany. Jej dokładność jest jednak bardzo mała i waha się w zakresie 1-2 oktaw. Niewielki odsetek populacji (zależnie od badań, od jednego do kilku procent) charakteryzuje się tzw. słuchem absolutnym [Bachem 1950]. Osoby dysponujące słuchem absolutnym mogą określać wysokość dźwięku z taką dokładnością, jakby znajdował się on w pamięci krótkotrwałej niezależnie od tego, jak dawno został usłyszany. Kształcenie słuchu muzycznego może doprowadzić do wytworzenia się bardziej złożonych form pamięci muzycznej, związanych na przykład z barwą konkretnego instrumentu Systemy dźwiękowe Podział oktawy na chromy jest definiowany przez system dźwiękowy, który określa zbiór wszystkich wysokości dźwięków używanych w danym okresie historycznym przez daną kulturę. Systemy dźwiękowe były kształtowane przez naturę i możliwości wykorzystywanych instrumentów, zarazem jednak same wpływały na ich budowę i praktykę instrumentalną. Wpływ na rozwój systemów dźwiękowych wywarli także kompozytorzy oraz teoretycy muzyki. Pierwsze związki liczbowe pomiędzy wysokościami dźwięków określił, opierając się na

22 Percepcja dźwięków muzycznych przez człowieka 22 samodzielnie przeprowadzonych doświadczeniach oraz na wiedzy ludów orientalnych, Pitagoras z Samos w VI w. p.n.e. W swoich badaniach podzielił strunę monochordu w 1 2, 1 3 i 1 4 długości, uzyskując dźwięki o wysokościach tworzących interwały, kolejno, oktawy czystej, kwinty czystej i kwarty czystej, odpowiadające stosunkom częstotliwości 2:1, 3:2 i 4:3. Pozostałe interwały uzyskuje się składając odpowiednią liczbę skoków kwartowych, kwintowych i oktawowych 2. Przykładowo, interwał sekundy wielkiej można otrzymać dokonując dwóch skoków o kwintę w górę i jednego o oktawę w dół, co odpowiada następującemu stosunkowi częstotliwości: = = 9 8. (2.12) Interwał sekundy małej wymaga siedmiu skoków o kwintę w górę oraz czterech skoków o oktawę w dół, odpowiada więc stosunkowi częstotliwości: = = (2.13) Takim stosunkiem częstotliwości charakteryzuje się sekunda c-cis. Z drugiej strony, sekundę małą można również osiągnąć pięcioma skokami o kwartę w górę i dwoma o oktawę w dół: = = (2.14) Tą drogą otrzymuje się sekundę c-des. Na klawiaturze fortepianu dźwięki cis i des są swoim enharmonicznym 3 odpowiednikiem (odpowiada im ten sam klawisz), jednak w systemie pitagorejskim uzyskuje się je różną drogą i ich wysokości nieznacznie od siebie odbiegają. Różnica ta jest w systemie kwintowym stała, niezależnie od interwału, czy stopnia na którym jest oparty, wynosząc prawie 1 4 małej sekundy (półtonu). Określa się ją mianem komatu pitagorejskiego i podaje najczęściej jako różnicę dwunastu kwint i siedmiu oktaw: 2 Dodawanie i odejmowanie interwałów odpowiada mnożeniu i dzieleniu stosunków częstotliwości. 3 W systemie równomiernie temperowanym enharmonia jest cechą pozwalającą zapisać i nazwać jeden dźwięk na kilka sposobów.

23 Percepcja dźwięków muzycznych przez człowieka = 312 = ,014. (2.15) Ze względu na występowanie komatu, na pełny system pitagorejski składa się nie 12, jak na klawiaturze fortepianu, lecz 35 dźwięków w obrębie każdej oktawy. W praktyce, często stosowano jedynie 12 wybranych spośród wszystkich 35 dźwięków. Wykorzystanie systemu pitagorejskiego w ramach muzyki wielogłosowej okazało się niezadowalające, przede wszystkim ze względu na interwał tercji wielkiej. W systemie kwintowym odpowiadający mu stosunek częstotliwości wynosi: = = 81 64, (2.16) co nieznacznie odbiega od najbliższego interwału z szeregu harmonicznego, o stosunku liczbowym 5: 4. Dźwięki muzyczne o określonej wysokości są najczęściej wielotonami harmonicznymi. Na skutek jednoczesnego brzmienia dwóch takich dźwięków, tworzących tercję pitagorejską, piąta harmoniczna niższego wielotonu 4, o częstotliwości pięciokrotnie większej od jego częstotliwości podstawowej, znajdzie się bardzo blisko czwartej harmonicznej wyższego wielotonu, której częstotliwość jest ,06 raza większa od częstotliwości podstawowej dolnego wielotonu. Taka sama relacja wystąpi pomiędzy częścią wyższych składowych. Składowe widmowe w tak małej odległości wytworzą zjawisko dudnienia, prowadzące w efekcie do odczucia dyskomfortu. System kwintowy został dostosowany do muzyki wielogłosowej w XIV w. przez benedyktyńskiego teoretyka Waltera Odingtona, znanego jako Walter z Evesham. Odington powołał się na greckiego filozofa Didymosa, który w I w. p.n.e. dokonał dodatkowego podziału struny monochordu, w 1 5 długości, otrzymując tercję wielką z szeregu harmonicznego, o stosunku częstotliwości 5: 4. System dźwiękowy, w którym wysokości dźwięków otrzymuje się na drodze składania naturalnych, występujących w szeregu harmonicznym, interwałów: oktawy, kwinty, kwarty oraz tercji wielkiej, został nazwany systemem tercjowym, lub didymejskim. Tercja wielka didymejska jest mniejsza od tercji pitagorejskiej. Różnica pomiędzy nimi, nazywana komatem syntonicznym, jest mniejsza niż komat pitagorejski wynosi około 1 5 małej sekundy i odpowiada następującemu stosunkowi częstotliwości: 4 W muzyce, składowe wielotonów harmonicznych określa się mianem alikwotów.

24 Percepcja dźwięków muzycznych przez człowieka = ,013. (2.17) Dzięki możliwości skoku o dodatkowy interwał, wysokość każdego stopnia skali w systemie tercjowym można osiągnąć na więcej sposobów, niż w systemie kwintowym: w obrębie oktawy można uzyskać 197 różnych wysokości. Wykorzystanie wszystkich jednocześnie byłoby niepraktyczne, dlatego posługiwano się obejmującymi wybrane dźwięki systemami niepełnymi, przystosowanymi do konkretnych zastosowań, bądź warunków. Jednym z bardziej znanych był system naturalny, wykorzystujący cztery, odległe od siebie o kwintę, dźwięki pitagorejskie oraz ich górne i dolne tercje wielkie (tab. 2.1). Tabela 2.1: Stopnie chromatyczne systemu naturalnego Liczba stopni chromatycznych od początku skali Stosunek częstotliwości do początku skali Interwał od początku skali 0 1 : 1 Pryma czysta (pitagorejski) 1 16 : 15 Sekunda mała 2 9 : 8 Sekunda wielka (pitagorejski) 3 6 : 5 Tercja mała 4 5 : 4 Tercja wielka 5 4 : 3 Kwarta czysta (pitagorejski) 6 45 : 32 Tryton 7 3 : 2 Kwinta czysta (pitagorejski) 8 8 : 5 Seksta mała 9 5 : 3 Seksta wielka 10 9 : 5 Septyma mała : 8 Septyma wielka W systemie tercjowym interwał obejmujący określoną liczbę stopni chromatycznych może różnić się w zależności od tego na którym stopniu skali jest oparty, a co za tym idzie, na pewnych stopniach skali może brzmieć subiektywnie gorzej, niż na innych. W wyniku tego, swobodna gra wielogłosowa jest możliwa tylko w części tonacji: jedynie po sześć trójdźwięków molowych i durowych brzmi zadowalająco czysto, co poważnie utrudnia bardziej odległe modulacje 5. Muzyka XVI i XVII wieku osiągnęła stopień rozwoju, na którym potrzeba znalezienia systemu umożliwiającego grę we wszystkich tonacjach stała się bardzo silna. Zwiększanie liczby 5 Modulacja w muzyce tonalnej jest przejściem melodycznym i harmonicznym z jednej tonacji do drugiej.

25 Percepcja dźwięków muzycznych przez człowieka 25 dźwięków w ramach oktawy lub stosowanie zamiennie kilku odmian systemu tercjowego było rozwiązaniem albo trudnym, albo niemożliwym do zastosowania w praktyce, na przykład w przypadku organów. Teoretycy oraz stroiciele instrumentów szukali więc jednego systemu, który umożliwiłby grę we wszystkich tonacjach. Pierwszy znany, świadomy system kompromisowy, temperacja średniotonowa, zaproponowana w 1511 roku przez Arnolta Schlicka, niemieckiego kompozytora i organistę epoki renesansu zakłada, że przy strojeniu kwintowym każda kwinta zostanie lekko zmniejszona tak, by złożenie czterech kwint dawało dwie oktawy i tercję nie pitagorejską, a naturalną. W systemie tym interwał sekundy wielkiej (cały ton) ma wielkość pośrednią pomiędzy wielkościami jakie przyjmuje w systemie naturalnym. Temperacja średniotonowa pozwala na uzyskanie dziesięciu znośnie czystych kwint oraz siedmiu czystych tercji. Pozostałe pięć tercji oraz dwie kwinty brzmią nieczysto: kwinty cis-ges oraz as-es otrzymały miano wilczych kwint. Dwanaście kolejnych kwint tworzy tzw. koło kwintowe. Odpowiadająca im odległość na klawiaturze fortepianu jest dokładnie równa siedmiu oktawom. Dwanaście kwint naturalnych (o stosunku częstotliwości 3 :2 ) jest jednak większe od siedmiu oktaw o komat pitagorejski. Pierwszą znaną próbą zamknięcia koła kwintowego, czyli zrównania dwunastu kwint z siedmioma oktawami jest jeden z systemów opracowanych przez Andreasa Werckmeistera, niemieckiego organistę, kompozytora i teoretyka działającego w epoce baroku. Werckmeister oparł swój system z 1681 roku o podział komatu pitagorejskiego i odjęcie jego części od wybranych kwint, przy czym w różnych wersjach systemu komat został rozdzielony na trzy, cztery, a nawet siedem części. Zarówno kwinty jak i tercje tego systemu różnią się pomiędzy sobą wielkością, jednak są wystarczająco czyste, aby umożliwić grę we wszystkich tonacjach. System Werckmeistera nie zrównał wysokości dźwięków enharmonicznych. Zostało to osiągnięte dopiero w 1706 roku, w temperacji Neidhardta, który podzielił komat pitagorejski równomiernie, pomiędzy wszystkie kwinty koła kwintowego. W odróżnieniu od poprzednich, nierównomiernych, jest to temperacja równomierna, w której stosunki częstotliwości odpowiadające interwałom są ujednolicone i nie zależą od stopnia na którym interwał jest oparty. Kompletny system równomiernie temperowany zawiera jedynie 12 różnych wysokości w ramach oktawy, upraszczając budowę instrumentów, zaś intonacja wszystkich jego interwałów jest w większości zastosowań wystarczająca. System równomiernie temperowany dzieli oktawę na dwanaście równych części: półtonów. Stosunek częstotliwości składników półtonu wynosi więc: ,059. (2.18)

26 Percepcja dźwięków muzycznych przez człowieka 26 Jeżeli p jest liczbą półtonów mieszczących się w danym interwale, to odpowiadający temu interwałowi stosunek częstotliwości wynosi: 12 2 p. (2.19) Składająca się siedmiu półtonów kwinta czysta odpowiada stosunkowi częstotliwości: ,498, (2.20) jest więc mniejsza niż kwinta naturalna. Do celów strojenia i badań półton dzieli się na sto równych części, nazwanych centami. Stosunek częstotliwości składników centa wynosi: , (2.21) Dwunastotonowy system równomiernie temperowany bywa określany skrótem 12-TET (ang. twelve-tone equal temperament) i nie jest jedynym tego typu systemem. Część systemów równomiernie temperowanych dzieli oktawę na inną liczbę interwałów, jak system ćwierćtonowy czeskiego kompozytora Aloisa Haby, w którym oktawa jest podzielona na 24 części. Celem niektórych podziałów jest poprawa interwałów które w systemie dwunastotonowym najdalej odbiegają od interwałów naturalnych, lub poszukiwanie nowych zestawień harmonicznych. Proponowano także systemy dzielące interwał inny niż oktawę, przyjęły się one jednak w bardzo ograniczonym stopniu. 12-TET zawdzięcza niesłabnącą popularność muzyce rozrywkowej, która bardzo rzadko wykracza poza jego ramy. Wymienione systemy dźwiękowe są systemami teoretycznymi. Ich założenia realizują z dużą dokładnością jedynie cyfrowe instrumenty elektroniczne. W przypadku pozostałych instrumentów osiągalna jest tylko przybliżona zgodność stroju z wybranym systemem teoretycznym. Strojenie takich instrumentów, choć często wspierane różnego rodzaju urządzeniami, ostatecznie odbywa się na ucho muzyka lub stroiciela. Część instrumentów daje muzykowi możliwość kontrolowania intonacji w trakcie gry. Instrumenty takie umożliwiają adaptację stroju w zależności od potrzeb, nie są więc ograniczone do korzystania z systemów kompromisowych, takich jak równomiernie temperowany. Tak jest w przypadku instrumentów smyczkowych, w których przed grą stroi się jedynie kilka strun 6, a o wysokości pozostałych dźwięków muzyk decyduje w trakcie gry, regulując ją ułożeniem palców lewej ręki na strunie i dobierając strój tak, aby każdy dźwięk, w zależności od kontekstu melodycznego i harmonicznego, brzmiał najczyściej. 6 W przypadku skrzypiec są to cztery struny strojone kwintami, odpowiadające dźwiękom g, d 1, a 1 i e 2.

27 Percepcja dźwięków muzycznych przez człowieka 27 Przykładem sytuacji, w której strój zależy od kontekstu, jest wykonanie na skrzypcach interwału tercji wielkiej d 1 -fis 1 harmonicznie (jednocześnie) oraz melodycznie (dźwięk po dźwięku). Gdy skrzypek precyzyjnie dostroi tercję melodyczną, a następnie, nie zmieniając układu palców, wykona ją harmonicznie, stanie się ona subiektywnie nieczysta. Dzieje się tak dlatego, że interwały wykonywane w sposób harmoniczny brzmią najczyściej, gdy stosunek liczbowy częstotliwości podstawowych ich składników odpowiada stosunkowi wynikającemu z szeregu harmonicznego, a zatem, gdy są to interwały naturalne. Unika się wówczas sytuacji, w której część alikwotów znajduje się blisko siebie i powoduje dudnienia. O percepcji interwałów melodycznych decydują inne mechanizmy, w tym przyzwyczajenie do rozwiązań melodycznych związanych z muzyką tonalną, takie jak podnoszenie wysokości dźwięku prowadzącego 7. Problem kontekstu melodycznego i harmonicznego pogłębia się w przypadku wieloskładnikowych akordów. Niedomknięte koło kwintowe w systemie naturalnym sprawia, że wystrojenie jednych interwałów akordu skutkuje odstrojeniem innych. Niezbędna jest wówczas jakaś forma kompromisu, czyli temperacji. Instrumenty takie jak fortepian, klawesyn, czy organy, w których wykonawca nie ma wpływu na intonację, są strojone w sposób zbliżony do któregoś z systemów temperowanych. Nie osiąga się w ten sposób intonacji tak doskonałej, jak to jest możliwe w przypadku skrzypiec, zachowuje się jednak możliwość intonacyjnie poprawnego wykonania każdego akordu, w dowolnej tonacji, pomimo ograniczonej do 12 liczby chrom w ramach oktawy. W grze zespołowej wybór systemu dźwiękowego zależy w głównej mierze od składu instrumentalnego. Strój dostosowuje się do tych instrumentów, których intonacji nie da się kontrolować w czasie gry, co zwykle oznacza temperację. Nawet jednak, gdy nie ma w zespole takich instrumentów, lecz sam skład jest duży, a utwór zawiera złożone akordy, temperacja staje się koniecznością. Jedynie w mniejszych zespołach, lub we fragmentach utworów wykonywanych przez mniejszą część składu, gdy harmonia na to pozwala, istnieje możliwość wykorzystania systemu innego, niż temperowany Percepcja barwy dźwięku Jeżeli dwa dźwięki o takim samym czasie trwania, charakteryzujące się taką samą głośnością i tą samą wysokością prezentowane są w taki sam sposób, to atrybutem wrażenia słuchowego który może je różnić jest barwa dźwięku. Sama percepcja wrażenia barwy, czy też różnic w barwie, nie sprawia większych problemów, sprawia je jednak jakościowe określenie tego wrażenia, a jego ocena w skali liczbowej jest trudna i niejednoznaczna. Wrażenie barwy jest wypadkową działania różnorodnych czynników, związanych zarówno z fizycznymi parametrami 7 Dźwiękiem prowadzącym nazywa się dźwięk dążący do przejścia na dźwięk sąsiedni, wyższy lub niższy o półton.

28 Percepcja dźwięków muzycznych przez człowieka 28 dźwięku, jak i wynikających z mechanizmów jego percepcji, stąd w odróżnieniu od głośności i wysokości, od których także do pewnego stopnia zależy, barwa jest wielkością wielowymiarową. Trudności sprawia nie tylko znalezienie odpowiedniej skali, czy zestawu skal, które byłyby na tyle uniwersalne, aby opis tego samego dźwięku dokonany przez różne osoby był spójny, ale także sama definicja wrażenia barwy. Proponowane dotąd definicje są poddawana krytyce, bądź to ze względu na nieuwzględnienie istotnych czynników wpływających na barwę, bądź też przez zbyt daleko idące uproszczenia. Przykładowo, definicja Amerykańskiego Instytutu Standardów z 1973 roku [ANSI 3.20] nie uwzględnia faktu, że można rozróżnić barwę dwóch dźwięków o różnych wysokościach lub głośnościach, a co więcej, sama zmiana głośności lub wysokości może wpływać na barwę. Pomimo trudności, korzystanie z różnego rodzaju metod opisu barwy dźwięku jest w muzyce nieodzowne, zwłaszcza, gdy w grę wchodzi współpraca nauczyciel uczeń, solista dyrygent zespół, czy realizator nagrania wykonawcy. Najbardziej naturalną i powszechnie wykorzystywaną spośród metod opisu barwy jest metoda semantyczna, której istotą jest przypisanie określonym barwom kojarzących się z nimi nazw. Zwykle są to przymiotniki, takie jak ostry, wysoki, czy głośny, określające wrażenie słuchowe w sposób bardziej bezpośredni, ale stosuje się również określenia odwołujące się do skojarzeń emocjonalnych, takie jak przyjemny, miły, czy drażniący, wywołujące odczucia w o wiele większym stopniu subiektywne. Barwę opisuje się także pośrednio, poprzez opis jej źródła, lub kojarzących się z nią warunków akustycznych. Często wykorzystuje się określenia wrażeń z innych zmysłów, mówiąc o dźwięku, że jest jasny, ciemny, gęsty, twardy, miękki, chropowaty lub gładki. Można także spotkać określenia geometryczne, bądź abstrakcyjne, takie jak okrągły, płaski, głęboki, czy otwarty. Choć naturalny, opis barwy metodą semantyczną jest niejednoznaczny, gdyż skojarzenia są cechą indywidualną i subiektywną. Wypracowanie wspólnego zbioru określeń jest wynikiem długiej współpracy i bywa osiągane w przypadku muzyków grających ze sobą przez dłuższy czas, lub znającego swych uczniów nauczyciela. W innych sytuacjach może takiego zbioru brakować, stąd metoda semantyczna nie jest uniwersalna. Dodatkowym problemem jest fakt, że stopniowanie wrażeń w jej ramach odbywa się bez ustalonej skali, co uniemożliwia opis ilościowy. Aby umożliwić stopniowanie wrażeń, a co za tym idzie, opisać barwę dźwięku bardziej precyzyjnie, stosuje się modyfikację metody semantycznej w postaci metody dyferencjału semantycznego. Polega ona na wprowadzeniu zestawu zróżnicowanych semantycznie jednowymiarowych skal, opartych na parach przeciwstawnych przymiotników, takich jak jasny ciemny, gładki chropowaty, czy też twardy miękki. Problem zrozumienia subiektywnych określeń bywa rozwiązywany metodą identyfikacji źródła dźwięku, w której opisu barwy dokonuje się poprzez nazwanie źródła z którego mogłaby

29 Percepcja dźwięków muzycznych przez człowieka 29 pochodzić. To jednak ogranicza jej stosowalność przede wszystkim do dźwięków pochodzących ze znanych źródeł. Opis tą metodą dźwięków, których źródło nie jest znane, robi się tym bardziej niejednoznaczny, im bardziej dźwięk różni się od dźwięku znanego słuchaczowi. Próbę precyzyjnego opisu ilościowego barwy podejmuje metoda skalowania wielowymiarowego MDS (ang. Multi Dimensional Scaling), opierająca się na analogii psychofizycznego podobieństwa obiektów do odległości geometrycznej. Efektem jej zastosowania jest określenie położenia w n-wymiarowej przestrzeni, którego dokonuje się wykorzystując wzór: d nj = r p N p x nk x jk r p, (2.22) k=1 gdzie: N p r p liczba wymiarów przestrzeni, metryka przestrzeni ( r p =2 przestrzeń euklidesowa), x n, x j punkty w przestrzeni, x nk, x jk rzuty punktów na oś k-tego wymiaru. Stosuje się różnorodne procedury skalowania wielowymiarowego, o różnej liczbie wymiarów, czyli subiektywnych kryteriów oceny, przy czym zakłada się, że do stosunkowo dokładnego opisu wystarczają już 2-3 dobrze dobrane wymiary. W ramach wybranych kryteriów słuchacze przyporządkowują parom lub triadom dźwięków stopień ich niepodobieństwa za pomocą liczb z określonego przedziału. Liczby te stają się miarami odległości pomiędzy punktami w taki sposób, że większe liczby oznaczają mniejsze podobieństwo dźwięków. O ile metoda ta próbuje porządkować ocenę wrażenia barwy, to jest trudna do zastosowania wymaga odpowiednich warunków oraz specjalizowanego oprogramowania komputerowego Wpływ parametrów fali akustycznej na wrażenie barwy dźwięku Praktycznie każda zmiana dowolnego z parametrów fali akustycznej wywiera mniejszy, bądź większy wpływ na wrażenie barwy dźwięku. Największy związek z barwą mają: struktura widmowa dźwięku, charakter przebiegu czasowego, poziom ciśnienia akustycznego. Ich wpływ na barwę z dużej mierze zależy od charakteru samego dźwięku. W przypadku niektórych dźwięków decydującym czynnikiem jest struktura widmowa, w przypadku innych przebieg

30 Percepcja dźwięków muzycznych przez człowieka 30 czasowy. Niektóre opracowania [Plomp 1970, Iverson 1993] przypisują atrybut barwy jedynie wielotonom i wiążą go z dynamicznie zmieniającą się strukturą widmową, jednak trudno do końca zgodzić się z taką tezą. Jej konsekwencją jest bowiem zanegowanie faktu wytwarzania wrażenia barwy przez tony proste, którym w rzeczywistości, podobnie jak wielotonom, także można przypisać pewną barwę. Wpływ struktury widmowej łączony jest z rozkładem energii w poszczególnych pasmach krytycznych oraz ze środkiem ciężkości widma. Sama struktura widmowa może nie dostarczać wystarczającej informacji do identyfikacji źródła dźwięku. W wielu sytuacjach, również w przypadku części instrumentów muzycznych, kluczową rolę odgrywają dynamiczne atrybuty dźwięku, związane przede wszystkim z jego stanami nieustalonymi, takimi jak faza narastania. Usunięcie początkowego transjentu sprawia, że wiele dźwięków staje się nierozróżnialnych. Spośród instrumentów muzycznych, obwiednia czasowa decyduje na przykład o barwie fletu, zaś obwiednia widmowa odgrywa większą rolę w przypadku trąbki, oboju, czy klarnetu. Są także instrumenty, takie jak waltornia, czy puzon, w przypadku których dla identyfikacji ważna jest zarówno struktura widma, jak i charakter przebiegu czasowego. Zmiana poziomu ciśnienia akustycznego może spowodować zmianę proporcji percypowanych składowych dźwięku część z nich może nawet znaleźć się poniżej progu słyszalności. Ma to wpływ na odbierane widmo dźwięku. Podobny wpływ na barwę może mieć zmiana wysokości dźwięku. Część, lub wszystkie składowe dźwięku ulegają wówczas przesunięciu, a pobudzając inne miejsca błony postawnej mogą być percypowane z innym natężeniem, co wpływa na odbierany kształt widma. Pewne elementy wrażenia słuchowego łączy się z konkretnymi własnościami fizycznymi dźwięku. Tonalność pozwala odróżnić szumy od dźwięków składających się z tonów. Na ostrość dźwięku wpływa przede wszystkim obwiednia widma. Chropowatość, lub szorstkość, wiąże się ze strukturą czasową dźwięku w sytuacjach takich, jak modulacja amplitudy, przy czym istotna jest częstotliwość, nie zaś charakter zmian. Gdy amplituda zmienia się w czasie z częstotliwością poniżej kilkunastu Hz, mowa jest już nie o chropowatości, lecz o sile fluktuacji. Gdy natomiast modulacji, z częstotliwością około 5-7 Hz, podlega częstotliwość, dźwięk charakteryzuje się efektem vibrato.

31 Percepcja dźwięków muzycznych przez człowieka Zależność pomiędzy artykulacją i dynamiką muzyczną a barwą dźwięku Barwa dźwięku pozwala większości słuchaczy odróżnić od siebie różne grupy 8 i podgrupy 9 [Drobner 1997] instrumentów, takie jak strunowe smyczkowe, czy strunowe szarpane. Wprawnemu słuchaczowi umożliwia ona identyfikację rodzajów instrumentów, czyli na przykład odróżnienie skrzypiec od altówki. Natomiast wytrawny słuchacz w niektórych sytuacjach może na jej podstawie opisać pewne własności instrumentu, czy nawet rozróżnić poszczególne egzemplarze, szczególnie w przypadku instrumentów wykonywanych ręcznie, takich jak lutnicze skrzypce. Każdy egzemplarz takiego instrumentu posiada bowiem właściwe tylko sobie i w praktyce niemożliwe do dokładnego odtworzenia szczegóły związane z konstrukcją i materiałami użytymi do jego wykonania oraz z samym procesem wykonania i wykończenia. Dźwięk instrumentów produkowanych fabrycznie jest w większym stopniu zunifikowany, zarazem jednak oceniany jest zwykle gorzej niż dźwięk instrumentów wykonywanych indywidualnie. W grze zespołowej, odmiennie niż w grze solowej, istotny jest taki dobór instrumentów, aby brzmienie całego zespołu było zrównoważone, nawet kosztem gorszej nieco jakości dźwięku pojedynczych instrumentów. Instrument muzyczny jest zdolny do wytwarzania dźwięków o różnych barwach. Pomijając kwestie związane ze zmianami środowiska akustycznego, wiąże się to ze sposobem wydobycia dźwięku, zwanym w muzyce artykulacją. Poza wpływem na barwę, sposób wydobycia dźwięku może zmienić stosunek czasu trwania do przerw między dźwiękami oraz jego poziom. W zbiorze określeń artykulacyjnych część z nich jest uniwersalna i może odnosić się do większości instrumentów, natomiast część jest silnie związana z konkretnymi podgrupami, czy rodzinami instrumentów. Na przykład ogólne określenie staccato oznacza krótkie, oddzielane, ostrzejsze dźwięki, możliwe do osiągnięcia na większości instrumentów. Nieco podobne spiccato jest określeniem odnoszącym się do instrumentów smyczkowych, oznaczającym dźwięki ostre i krótkie, otrzymywane poprzez odbijanie się smyczka od struny. Podobnie tremolo, oznaczające bardzo szybkie powtarzanie jednego dźwięku, często wiązane z modulacją amplitudy, jest określeniem ogólnym, ale będące jego odmianą frullato wiąże się z konkretną techniką wykonywania dźwięków na flecie. Kompozytor może, lecz nie musi zapisywać wszystkich określeń artykulacyjnych. Zwykle zapisywane są tylko ważniejsze z nich, natomiast artykulacja dźwięków które nie zostały opisane albo wynika z kontekstu, albo pozostaje w gestii wykonawcy. W artykulacji można doszukiwać się źródeł określania barwy dźwięku poprzez wyrażenia związane z wrażeniem dotyku, lub z geometrią i ruchem, ponieważ wyrażenia takie wiążą się z 8 Instrumenty dzieli się na grupy w zależności od zastosowanego w nich wibratora. Wyróżnia się instrumenty strunowe (chordofony), dęte (aerofony), membranowe (membranofony) i samobrzmiące (idiofony). 9 Podział instrumentów na podgrupy wiąże się ze sposobem wzbudzenia wibratora do drgań. Przykładowo, w przypadku instrumentów strunowych wyróżnia się podgrupy instrumentów smyczkowych, szarpanych i uderzanych.

32 Percepcja dźwięków muzycznych przez człowieka 32 procesem i techniką gry na instrumencie. Wpływ pewnych szczególnych rodzajów artykulacji na wybrane aspekty barwy jest bardziej wyraźny i łatwiejszy do określenia. Artykulacje ostre, prowadzące do skrócenia dźwięku, czyli wszystkie odmiany staccato, wprowadzają do dźwięku transjenty oraz szumy związane z wprawieniem wibratora w drgania. Artykulacje miękkie, łagodzące początki dźwięków oraz przejścia pomiędzy nimi, takie jak legato, wprowadzają dłuższe stany ustalone. Smyczkowa artykulacja sul ponticello, czyli gra przy podstawku, zgodnie z pierwszym prawem Younga [Drobner 1997] sprawia, że w widmie dźwięku występuje więcej wysokich składowych harmonicznych, powodując jego metaliczność i ostrość. Przeniesienie smyczka w kierunku podstrunnika (gryfu), czyli gra sul tasto, usuwa z widma dźwięku wyższe harmoniczne, przez co staje się on miękki i łagodny, lecz zarazem cichy i mało charakterystyczny. Można wskazać wiele tego typu powiązań dla różnych grup i rodzajów instrumentów. Z drugiej strony, istnieją artykulacje, których wpływ na barwę dźwięku jest mniej oczywisty, lub daje się go zauważyć nie na przestrzeni całego dźwięku, a jedynie w pewnych krótkich odcinkach czasu. Przykładem mogą być artykulacje takie jak portato, czy détaché, które w środkowym odcinku dźwięku mogą być trudne do rozpoznania, odnoszą się bowiem głównie do oddzielania sąsiednich dźwięków, wprowadzają więc transjenty jedynie w początkowym i końcowym odcinku. Artykulacja jest silnie związana z dynamiką, odpowiadającą w muzyce za wrażenie głośności dźwięków. W tradycyjnej muzyce nie stosuje się precyzyjnej skali dynamicznej, a jedynie kilka swobodnie interpretowanych stopni 10 oraz określenia dotyczące przejść pomiędzy nimi. Poza instrumentami elektronicznymi, w których kontrola głośności może zachodzić na poziomie regulacji amplitudy sygnału, wpływ instrumentalisty na wytwarzany przez instrument poziom ciśnienia akustycznego jest pośredni i ogranicza się do zmiany sposobu wydobycia dźwięku. Dlatego też zmiana dynamiki łączy się ze zmianą artykulacji i wpływa na barwę dźwięku Maskowanie Ważnym zagadnieniem związanym z percepcją dźwięku jest efekt maskowania, polegający na podniesieniu progu słyszalności 11 dźwięku maskowanego, nazywanego sygnałem, na skutek obecności dźwięku maskującego, nazywanego maskerem [Ozimek 2002]. Obecność maskera może spowodować, że sygnał w ogóle przestanie być słyszalny taka sytuacja nazywana jest maskowaniem całkowitym. W przypadku maskowania częściowego sygnał pozostaje słyszalny, ale obniża się jego głośność. 10 Liczba stopni oraz ich interpretacja zależy od epoki w której powstał dany utwór muzyczny. W baroku stosowano praktycznie tylko dwa stopnie: forte (f) i piano (p). Później liczba ta wzrosła i najczęściej obejmuje: ppp, pp, p, mp, mf, f, ff oraz fff. 11 Przesunięcie progu słyszalności jest najczęściej wyrażane w decybelach.

33 Percepcja dźwięków muzycznych przez człowieka 33 Efekt podniesienia progu słyszalności dźwięku może wystąpić nie tylko w sytuacji maskowania równoczesnego, w której sygnał jest prezentowany w tym samym czasie co masker, ale też w różnych konfiguracjach, w których sygnał i masker następują po sobie, co nazywane jest maskowaniem nierównoczesnym. W maskowaniu resztkowym, lub pobodźcowym, masker występuje po sygnale, natomiast w maskowaniu wstecznym, lub przedbodźcowym, sygnał występuje po maskerze. Maskowanie równoczesne charakteryzuje się gorszą rozdzielczością częstotliwościową niż maskowanie nierównoczesne, w przypadku którego psychofizyczne krzywe strojenia są ostrzejsze, szczególnie od strony wysokich częstotliwości [Moore 1978, Ozimek 2002]. Rysunek 2.8: Krzywe maskowania zmierzone dla tonów o różnych częstotliwościach, maskowanych pasmem szumu o szerokości 90 Hz i częstotliwości środkowej 410 Hz; parametr krzywych opisuje poziom ciśnienia akustycznego pasma szumu; wg [Egan 1950a] Skuteczność maskowania równoczesnego jest uzależniona przede wszystkim od częstotliwości oraz poziomów ciśnienia akustycznego sygnału i maskera. W sytuacji, w której ton jest maskowany wąskopasmowym szumem, zbliżenie się częstotliwości środkowej pasma szumu do częstotliwości tonu skutkuje podniesieniem się progu słyszalności [Egan 1950a]. Najsilniejsze maskowanie występuje w przypadku, gdy obie częstotliwości są równe. Krzywe maskowania są symetryczne względem częstotliwości środkowej pasma szumu jedynie dla małych poziomów ciśnienia maskera (rys. 2.8). Gdy poziom maskera przekracza 60 db SPL, krzywe stają się bardziej strome po stronie niższych częstotliwości występuje wtedy efekt górnego poszerzenia maskowania. Gdy sygnałem jest wąskopasmowy szum, maskowany dwoma tonami o

34 Percepcja dźwięków muzycznych przez człowieka 34 częstotliwościach położonych w równych odległościach powyżej i poniżej jego częstotliwości środkowej, zwiększanie odstępu pomiędzy częstotliwościami tonów maskujących nie zmienia progu detekcji pasma szumu, aż do momentu osiągnięcia pomiędzy nimi pewnej krytycznej odległości [Zwicker 1954]. Gdy różnica częstotliwości tonów przekroczy szerokość pasma krytycznego, próg detekcji szumu zaczyna maleć wraz ze wzrostem odległości pomiędzy maskerami. Maskowanie sygnału tonalnego innym sygnałem tonalnym prowadzi do powstania efektu dudnień, wynikającego z nieliniowości systemu słuchowego. Efekt ten w przypadku, gdy częstotliwości obydwu tonów leżą bardzo blisko siebie, zmniejsza skuteczność maskowania. Gdy maskowanie jest nierównoczesne, największy wpływ mają na nie relacje czasowe pomiędzy maskerem i sygnałem. Skuteczność maskowania resztkowego maleje, gdy rośnie przerwa czasowa pomiędzy obydwoma dźwiękami. Gdy przekroczy ona 200 ms, efekt jest już bardzo słabo zauważalny [Fastl 1976, Fastl 1977, Jesteadt 1982]. Zwiększanie poziomu maskera pociąga za sobą proporcjonalny wzrost skuteczności maskowania resztkowego. Słabiej zbadane maskowanie wsteczne jest prawdopodobnie wynikiem częściowego zakłócenia procesu przetwarzania sygnału na skutek pojawienia się maskera. Efekt ten szybko maleje ze wzrostem przerwy czasowej, aż do 15 ms, a powyżej tego czasu zmienia się nieznacznie. Interesującym faktem jest wyraźne osłabienie efektu maskowania wstecznego, w niektórych sytuacjach praktycznie do zera, w przypadku doświadczonych słuchaczy [Moore 1999]. Gdy sygnał jest maskowany zarówno przedbodźcowo, jak i pobodźcowo, efekt podniesienia progu słyszalności jest większy, niż wynika to z sumy efektów każdego maskowania z osobna, co może sugerować odmienną naturę każdego z nich [Ozimek 2002]. Najczęściej sygnał i masker są prezentowane monoauralnie, jednak efekt maskowania, słabszy niż w przypadku maskowania monoauralnego, może wystąpić nawet wtedy, gdy masker jest podawany do innego ucha niż sygnał. W procesie tym, nazywanym maskowaniem centralnym, biorą udział wyższe piętra systemu słuchowego [Ozimek 2002]. Jego skuteczność w dużym stopniu zależy od długości przerwy czasowej pomiędzy sygnałem i maskerem oraz od ich częstotliwości efekt jest silniejszy gdy obydwie częstotliwości są sobie równe lub bliskie. Największą skuteczność obserwuje się w chwilach narastania oraz zanikania maskera, a szczególnie w przypadkach, w których zarówno sygnał jak i masker pulsują są kolejno włączane i wyłączane. Zwiększanie poziomu maskera ma wpływ na skuteczność maskowania centralnego jedynie wtedy, gdy zarówno sygnał jak i masker mają charakter pulsujący, natomiast gdy masker nie zmienia się w czasie, a pulsuje jedynie sygnał, zależność taka nie występuje. Gdy masker i sygnał nie są prostymi tonami, lub fragmentami wąskopasmowego szumu, maskowanie może przebiegać w bardziej złożony sposób. Efekt maskowania sygnału sinusoidalnego przy pomocy szumu o nieregularnych, zmieniających się losowo w różnych

35 Percepcja dźwięków muzycznych przez człowieka 35 pasmach modulacjach amplitudy jest inny niż wtedy, gdy maskerem jest szum skomodulowany, czyli zmodulowany amplitudowo w taki sposób, że fluktuacje amplitudy są takie same we wszystkich pasmach częstotliwości [Hall 1984]. Poszerzanie pasma szumu losowego prowadzi do wzrostu progu detekcji sygnału sinusoidalnego aż do osiągnięcia szerokości pasma krytycznego. Dalsze poszerzanie pasma szumu nie zwiększa już skuteczności maskowania. Poszerzanie pasma szumu skomodulowanego początkowo podnosi próg detekcji sygnału, jednak od pewnej szerokości pasma, mniejszej niż pasmo krytyczne, próg ten zaczyna maleć, nawet o 10 db, przez co maskowany sygnał jest coraz łatwiej zauważalny (rys. 2.9). Zjawisko to jest nazywane komodulacyjnym zmniejszeniem maskowania CMR (ang. comodulation masking release). Efekt CMR obserwuje się także maskując sygnał dwoma wąskimi pasmami szumu o skorelowanej obwiedni amplitudy takimi, że częstotliwość środkowa jednego z nich jest równa częstotliwości sygnału maskowanego, natomiast częstotliwość drugiego znacznie przekracza granice pasma krytycznego sygnału. Wpływ efektu CMR jest tym większy, im więcej pojawi się skomodulowanych pasm szumu [Hall 1990]. Efekt ten sugeruje, że system słuchowy w procesie detekcji sygnału maskowanego może zbierać informacje z wyjść wielu filtrów słuchowych. Rysunek 2.9: Progi detekcji sygnału o częstotliwości 1000 Hz maskowanego szumem w funkcji szerokości pasma tego szumu; (1) szum o losowych fluktuacjach, (2) szum skomodulowany; wg [Hall 1984] Spostrzeganie modulacji amplitudowej jednego sygnału może się wyraźnie pogorszyć w obecności drugiego sygnału zmodulowanego amplitudowo, gdy ich częstotliwości nośne znacznie się różnią [Yost 1989]. Efekt ten nazywany jest zaburzeniem detekcji modulacji MDI (ang. modulation detection interference). Jest on odwrotnie proporcjonalny do częstotliwości modulacji,

36 Percepcja dźwięków muzycznych przez człowieka 36 jego wielkość zależy przede wszystkim od głębokości modulacji, a działa najsilniej, gdy częstotliwości modulujące obydwu sygnałów są równe. Występuje również w przypadku sygnałów zmodulowanych częstotliwościowo. Sygnał AM może zakłócać FM i odwrotnie. Próg detekcji wąskiego pasma szumu na tle innych pasm szumu zmienia się w zależności od tego, czy jego obwiednia jest skorelowana z obwiedniami pozostałych pasm. W przypadku, gdy obwiednie te są skorelowane próg jest wyższy, a detekcja trudniejsza niż w sytuacji, w której korelacja nie występuje [Cohen 1987, McFadden 1987]. Efekt ten, nazywany komodulacyjną różnicą detekcji CDD (ang. comodulation detection difference) jest bardziej wyraźny w przypadku większej liczby pasm szumu, słabnie natomiast, gdy przy ustalonej liczbie pasm szumu zakłócającego wrośnie liczba pasm sygnału. Z efektem maskowania dźwięku wiąże się wiele procesów przebiegających na różnych poziomach drogi słuchowej, poczynając od błony podstawnej [Ozimek 2002]. W maskowaniu resztkowym pobudzenie błony podstawnej wywołane maskerem może nałożyć się na pobudzenie wywołane sygnałem. Efekt ten występuje wyraźniej w przypadku dźwięków o niskiej częstotliwości, wywołujących wolniej zanikające drgania błony podstawnej. W nerwie słuchowym może wystąpić spowodowane maskerem zmęczenie lub krótkotrwała adaptacja, czego skutkiem będzie jego mniejsza aktywność po zakończeniu działania maskera. Podobnie na wyższych piętrach układu słuchowego, aktywność wywołana maskerem może do pewnego stopnia tłumić aktywność wywołaną przez sygnał.

37 Metody symulacji dźwięków muzycznych Metody symulacji dźwięków muzycznych 3.1. Rola syntezy dźwięku w muzyce Rozwój techniki komputerowej, a szczególnie niezwykle szybki wzrost pojemności pamięci i nośników danych oraz mocy obliczeniowej procesorów centralnych i sygnałowych, umożliwiły nie tylko przechowywanie długich, wielośladowych nagrań w postaci cyfrowej, ale także ich przetwarzanie w czasie rzeczywistym. Łatwość tworzenia i modyfikacji narzędzi programowych sprawia, że komputery są obecnie podstawowym narzędziem pracy zarówno realizatorów dźwięku, jak i wielu kompozytorów oraz aranżerów. Kompozycja i aranżacja z zastosowaniem narzędzi komputerowych opiera się nie tylko na nagrywaniu i odtwarzaniu, ale, być może w większym nawet stopniu, na generowaniu i przetwarzaniu dźwięku. W procesie generowania sygnału dźwiękowego stosuje się rozmaite techniki syntezy dźwięku które, choć w dużej mierze znane i stosowane wcześniej w postaci analogowej, swój rozkwit przeżywają dopiero dzięki technice cyfrowej i komputerowym implementacjom. Synteza dźwięku jest procesem generowania sygnału fonicznego w oparciu o zadany algorytm i szereg ustalonych parametrów. Swobodna kontrola właściwości powstającego dźwięku czyni z niej bardzo atrakcyjne narzędzie. Dzięki syntezie, kompozytorzy mają możliwość badania nowych obszarów dźwiękowych, niedostępnych dla tradycyjnych instrumentów i technik muzycznych. Syntezę można wykorzystać do naśladowania dźwięku rzeczywistych instrumentów i zastosować w dziedzinie aranżacji, gdzie eliminuje ona konieczność angażowania dużego zespołu muzyków, dając tym samym olbrzymią swobodę w doborze instrumentarium. Możliwość generowania sygnałów dźwiękowych o ściśle określonych właściwościach pozwala na próbę zastosowania syntezy dźwięku w badaniach psychoakustycznych, takich jak badanie percepcji intonacji Przegląd metod syntezy dźwięku Zróżnicowane potrzeby, ale i ograniczenia, legły u podstaw opracowania różnorodnych metod syntezy dźwięku. Szczególnie w początkach muzyki elektronicznej metody syntezy były kształtowane w dużej mierze przez możliwości techniczne. Syntezę analogową ograniczała komplikacja oraz parametry techniczne elementów syntezatora, natomiast rozwój technik syntezy cyfrowej powstrzymywała złożoność obliczeniowa i zapotrzebowanie na pamięć. Jednak w miarę

38 Metody symulacji dźwięków muzycznych 38 rozwoju technologii rola tych ograniczeń malała, umożliwiając eksperymenty w coraz to nowych obszarach. Pomimo dużej różnorodności, metody syntezy dźwięku reprezentują kilka dobrze określonych kierunków. Można wyróżnić: metody kształtujące barwę dźwięku poprzez bezpośrednie działanie na jego widmo, takie jak synteza addytywna i subtraktywna, metody abstrakcyjne, a wśród nich oparte o modulację amplitudową lub częstotliwościową, zniekształcanie fazy oraz kształtowanie fali, metody modelowania fizycznego, w których dźwięk jest efektem działania matematycznego modelu instrumentu, metody reprodukcyjne i oparte o przetwarzanie sygnału, obejmujące syntezę granularną oraz syntezę tablicową i samplery Metody widmowe Fundamentalny wpływ na atrybut barwy ma struktura widmowa dźwięku. Wpływając na widmo dźwięku można kształtować jego barwę. Na tym fakcie opiera się grupa metod syntezy dźwięku, zwanych metodami widmowymi, obejmujących syntezę addytywną oraz subtraktywną, których wspólną cechą jest kształtowanie dźwięku w dziedzinie częstotliwości. Naturalny dźwięk jest zjawiskiem o złożonym charakterze, trudnym do opisania w sposób analityczny. Duża część dźwięków muzycznych może być jednak traktowana jako sygnały w przybliżeniu okresowe, a to, dzięki zastosowaniu przekształcenia Fouriera, pozwala rozłożyć je na proste funkcje trygonometryczne. Najbardziej naturalnym sposobem wygenerowania takiego dźwięku wydaje się więc droga odwrotna do analizy, czyli złożenie wielu różnych sygnałów sinusoidalnych. W taki sposób działa synteza addytywna [Roads 1996], wytwarzająca dźwięki o złożonym widmie poprzez sumowanie sygnałów sinusoidalnych o określonych stosunkach amplitud (rys. 3.1): N x n = A k n sin nt k 1 2 F k n, (3.1) k=1 gdzie: x n generowany sygnał, T okres próbkowania, A k n amplituda harmonicznej o numerze k,

39 Metody symulacji dźwięków muzycznych 39 F k n odchyłka częstotliwości harmonicznej o numerze k, N liczba składowych spektralnych, 1 pulsacja składowej podstawowej. Rysunek 3.1: Schemat syntezy addytywnej (osc generator, env_osc generator amplitudy), wg [Roads 1996] Ważnym elementem wrażenia barwy jest czasowa ewolucja widma, odpowiedzialna za takie zjawiska jak faza ataku, czy faza wybrzmiewania dźwięku. Synteza addytywna umożliwia dynamiczną zmianę widma poprzez sterowanie obwiednią amplitudy poszczególnych składowych sinusoidalnych. Pozwala również uwzględnić zależność widma od wysokości dźwięku, co jest charakterystyczne dla instrumentów o wyraźnych rejestrach 1, od amplitudy sygnału dźwiękowego, 1 Rejestr jest częścią skali dźwiękowej instrumentu, charakteryzującą się określoną barwą, odmienną od pozostałej części skali. Skala instrumentu dzieli się często na kilka odrębnych rejestrów.

40 Metody symulacji dźwięków muzycznych 40 a także, w instrumentach sterowanych klawiaturą, od szybkości naciskania klawisza, wprowadzając zależność barwy od artykulacji dźwięku. Parametry potrzebne w procesie syntezy addytywnej można otrzymać z analizy czasowo-częstotliwościowej istniejącego sygnału. Jest to zatem metoda, która umożliwia proces resyntezy dźwięku: z ograniczoną dokładnością może odtworzyć dowolny dźwięk, na przykład instrumentu muzycznego, kontrolując jego parametry. Rysunek 3.2: Schemat syntezy subtraktywnej (VCF filtr sterowany napięciowo, ang. voltage controlled filter; VCA wzmacniacz sterowany napięciowo, ang. voltage controlled amplifier; EG generator obwiedni, ang. envelope generator; MIX mikser) Odmiennie niż w syntezie addytywnej, proces generowania sygnału w syntezie subtraktywnej (rys. 3.2) odbywa się metodą eliminacji. Punktem wyjścia jest wytworzenie sygnału o bogatej strukturze widmowej, a następnie poddanie go modyfikacjom przez zastosowanie różnego rodzaju filtrów tłumiących lub wzmacniających wybrane pasma [Roads 1996]. Proces ten przypomina sposób, w jaki dźwięk powstaje w rzeczywistych instrumentach muzycznych, w których pierwotne źródło dźwięku, wibrator, wytwarza szumy o specyficznej charakterystyce, kształtowane następnie przez rezonanse korpusu instrumentu. W syntezatorach wykorzystujących metodę syntezy subtraktywnej źródłem pierwotnego sygnału mogą być generatory przebiegów prostokątnych, trójkątnych, czy piłokształtnych, z których otrzymuje się dyskretne widmo harmoniczne o dużej liczbie składowych, oraz różnego rodzaju generatory szumu, wytwarzające widmo ciągłe. Wytworzony sygnał przechodzi następnie przez modyfikatory, czyli filtry z układami obwiedni. Metoda ta, podobnie jak synteza addytywna, pozwala na kształtowanie widma przez wprowadzenie jego zależności od czasu, częstotliwości podstawowej, czy amplitudy sygnału. Umożliwia również resyntezę dźwięku.

41 Metody symulacji dźwięków muzycznych Metody abstrakcyjne Pośród abstrakcyjnych metod syntezy dźwięku największą rolę odgrywają metody modulacyjne, w których sygnał dźwiękowy generuje się przez modulację parametrów jednego sygnału przebiegiem drugiego. Do wygenerowania złożonego widma potrzebują one zaledwie kilku oscylatorów, a sam proces syntezy jest znacznie mniej kosztowny obliczeniowo, niż uzyskanie podobnie złożonego dźwięku metodami widmowymi. Najbardziej rozpowszechnioną metodą modulacyjną jest synteza oparta o modulację częstotliwości FM (ang. Frequency Modulation) [Chowning 1973, Chowning 1986] (rys. 3.3), w której sygnał wyjściowy przyjmuje następującą postać: x n =A n sin 2 f c nt I n sin 2 f m nt, (3.2) gdzie: f c f m częstotliwość sygnału nośnego, częstotliwość sygnału modulującego, A n amplituda zmodulowanego sygnału, T okres próbkowania, I n amplituda modulatora. Amplituda modulatora nazywana jest indeksem modulacji i wyraża się wzorem: I = f f m, (3.3) w którym f opisuje głębokość modulacji, czyli zakres zmian częstotliwości zmodulowanego sygnału. Gdy I 0, a więc gdy występuje modulacja częstotliwości, w widmie sygnału pojawią się dodatkowe składowe o częstotliwościach f c ±n f m, n N. Przebieg wygenerowanego sygnału można przedstawić przy pomocy funkcji Bessela pierwszego rodzaju [Abramowitz 1965]: x t = J n I sin 2 f c ±n f m t, (3.4) n= gdzie n odpowiada numerowi składowej. Podniesienie indeksu modulacji I prowadzi do zwiększenia się liczby dodatkowych składowych, przy czym energia tych składowych bierze się ze spadku energii składowej o częstotliwości f c. Liczba dodatkowych składowych o amplitudzie

42 Metody symulacji dźwięków muzycznych 42 większej niż 1/100 amplitudy sygnału nośnego wynosi I 1 [Roads 1996]. Sygnał FM posiada wobec tego I 2 składowych, a jego całkowite pasmo wyraża reguła Carsona: BW =2 f f m. (3.5) Wyrażenia na liczbę składowych oraz na całkowite pasmo sygnału FM są przybliżone. O charakterze widma wygenerowanego sygnału decyduje współczynnik modulacji, definiowany jako: w m = f m f c. (3.6) Widmo będzie harmoniczne jedynie wtedy, gdy w m W praktyce stosuje się więcej niż jeden sygnał nośny i modulujący. Kilka sygnałów nośnych ze wspólnym sygnałem modulującym generuje dźwięk, w którym wokół częstotliwości poszczególnych sygnałów nośnych występują obszary formantów, co w niektórych sytuacjach pozwala dokładniej odwzorować brzmienia instrumentów muzycznych. Zastosowanie wielu modulatorów do jednego sygnału nośnego prowadzi do większego skomplikowania przebiegu wyjściowego nawet, gdy poszczególne indeksy modulacji są niskie. Poprzez kontrolę indeksu modulacji synteza FM umożliwia symulowanie charakterystycznego będzie liczbą naturalną. Rysunek 3.3: Schemat syntezy FM (OSC MOD generator modulatora; OSC CAR generator sygnału nośnego), wg [Roads 1996] dla instrumentów muzycznych zjawiska zmiany szerokości pasma i pojawiania się lub zanikania dodatkowych składowych, związanego ze zmianą częstotliwości podstawowej lub amplitudy dźwięku. Podnoszenie indeksu modulacji prowadzi jednak, zgodnie z przebiegiem funkcji Bessela,

43 Metody symulacji dźwięków muzycznych 43 do dużych zmian w amplitudach wszystkich składowych sygnału FM, przez co znacznym wahaniom ulegają ich proporcje. Utrudnia to realistyczną syntezę instrumentów muzycznych. Efektowi temu można zapobiec wprowadzając sprzężenie zwrotne. Wprowadzenie do indeksu modulacji zależności od czasu, na przykład w postaci dodatkowego generatora obwiedni amplitudy dla oscylatora modulatora, pozwala generować sygnały o widmach ewoluujących w czasie. Rysunek 3.4: Schemat syntezy AM (OSC MOD generator modulatora; OSC CAR generator sygnału nośnego), wg [Roads 1996] piłokształtnego. Efekt podobny do wyniku działania syntezy FM można uzyskać metodą zniekształcania fazy PD (ang. Phase Distortion), w której proces generowania sygnału polega na odczytywaniu wartości z tablicy zawierającej przebieg jednego okresu funkcji sinus [Roads 1996]. Sterowanie krokiem z jakim jest przeszukiwana tablica prowadzi do niejednorodności zmian fazy i w konsekwencji do zniekształcenia oryginalnego sygnału zawartego w tablicy. Zakładając, że przeszukiwanie tablicy przyspiesza od 0 do, a zwalnia od do 2, częstotliwość generowanego sygnału nie ulegnie zmianie, ale wynikowy przebieg przestanie być sinusoidalny. Im większa będzie zmiana kroku przeszukiwania, tym bardziej generowany sygnał będzie odbiegał od sinusoidy, zawierając coraz więcej składowych harmonicznych. W skrajnym przypadku sygnał osiągnie kształt podobny do przebiegu Mniej rozpowszechnioną metodą modulacyjną jest synteza dźwięku w oparciu o modulację amplitudy AM (ang. Amplitude Modulation), w której wyniku otrzymuje się sygnał zawierający składowe o częstotliwościach równych sumie i różnicy częstotliwości sygnałów wejściowych [Black 1953] (rys. 3.4). Gdy obydwa sygnały wejściowe są bipolarne, wyjściowy przebieg nie zawiera składowej o częstotliwości sygnału nośnego. Składowa ta pozostaje natomiast w sygnale wyjściowym gdy sygnał modulujący zostanie przesunięty o składową stałą tak, aby stał się unipolarny. Gdy tylko jeden przebieg wejściowy jest sinusoidalny, natomiast drugi jest przebiegiem złożonym, następuje przetransponowanie złożonego przebiegu w górę i w dół o częstotliwość sygnału sinusoidalnego, co może prowadzić do zmiany harmonicznej struktury widma w strukturę nieharmoniczną. Podobnie jak w metodzie FM, także w syntezie AM można wprowadzić indeks modulacji,

44 Metody symulacji dźwięków muzycznych 44 pozwalający, poprzez zastosowanie obwiedni, na sterowanie wielkością modulacji w zależności od czasu. Wyjściowy przebieg przyjmie wówczas następującą postać: x t = A c cos f c I A c 2 cos f c f m I A c 2 cos f c f m, (3.7) w której: f c f m A c częstotliwość sygnału nośnego, częstotliwość sygnału modulującego, amplituda sygnału nośnego, I indeks modulacji. W metodzie kształtowania fali (ang. waveshaping) [Risset 1969, Arfib 1979, LeBrun 1979] sygnał jest poddawany działaniu funkcji kształtującej, realizowanej jako tablica w pamięci, odwzorowującej wartość x sygnału wejściowego z przedziału [ 1,1] na wartość w x z tego samego przedziału. Cały proces jest bardzo efektywny, ponieważ opiera się wyłącznie na odczytywaniu kolejnych wartości z tablicy. Sygnał wejściowy może pochodzić z dowolnego źródła, takiego jak inna metoda syntezy lub próbkowanie dźwięku na żywo. Najprostszą postacią funkcji kształtującej jest funkcja liniowa, zwykle jednak postać ta jest bardziej skomplikowana. Odpowiednio dobrana funkcja kształtująca może symulować pojawianie się zniekształceń nieliniowych w dźwięku instrumentów muzycznych przy dużych amplitudach sygnału: funkcja taka powinna być liniowa, lub prawie liniowa, dla niewielkich wartości sygnału wejściowego, a nieliniowa dla dużych wartości tego sygnału. Poddając działaniu takiej funkcji przebieg o zmiennej w czasie amplitudzie, można uzyskać czasową ewolucję widma generowanego sygnału. Jest to jedna z najistotniejszych właściwości metody kształtowania fali, wpływającą zarazem na jej wysoką efektywność: przy pomocy tylko jednej funkcji kształtującej można uzyskać różne widma sygnałów wyjściowych, kontrolując jedynie amplitudę sygnału wejściowego, lub jego przesunięcie o składową stałą Modelowanie fizyczne Większość metod syntezy modeluje zjawisko dźwięku, nie zajmując się mechanizmem jego powstawania. Istnieje jednak grupa metod, w których dźwięk jest w pewnym sensie wtórny, gdyż koncentrują się one na symulacji zjawisk fizycznych odpowiedzialnych za proces jego powstawania w rzeczywistych instrumentach muzycznych. Duża część potrzebnych do modelowania teorii i

45 Metody symulacji dźwięków muzycznych 45 równań pochodzi jeszcze z XIX wieku, jednak większe zainteresowanie metodą fizycznego modelowania dźwięku wiąże się dopiero z zastosowaniem komputerów. Rysunek 3.5: Schemat modelu instrumentu smyczkowego Jedną z takich metod jest modelowanie matematyczne [Roads 1996]. Proces modelowania rozpoczyna się od określenia fizycznych rozmiarów i parametrów drgających obiektów. Następnie ustala się warunki brzegowe oraz stan początkowy układu. Wzbudzenie, takie jak potarcie smyczkiem, szarpnięcie, uderzenie, czy dmuchanie, wytwarza drgania, na które korpus rzeczywistego instrumentu odpowiada rezonansem, działając jak zmienny w czasie filtr. Tworząc model opisuje się zależności pomiędzy elementem wymuszającym drgania i rezonatorem. Uwzględnia się impedancję poszczególnych elementów, wpływającą na propagację fali akustycznej w instrumencie. Działanie czynników takich jak tarcie, czy charakterystyka promieniowania dźwięku, symuluje się wprowadzając odpowiednie filtry. Ostatnim krokiem jest rozwiązanie równania falowego. Funkcja stanowiąca to rozwiązanie jest przebiegiem czasowym reprezentującym dźwięk modelowanego instrumentu w ustalonych warunkach. Najprostszy, abstrakcyjny przypadek, czyli równanie falowe idealnej drgającej struny przyjmuje postać: 2 p t 2 =c2 2 p, (3.8) x 2

46 Metody symulacji dźwięków muzycznych 46 a jego ogólne rozwiązanie to suma dwóch fal biegnących, propagujących w przeciwnych kierunkach: p x,t = p 1 t x c p 2 t x c. (3.9) Rzeczywiste modele, uwzględniające niezbędne parametry instrumentu, są o wiele bardziej złożone (rys. 3.5). Teoretycznie, wysoka precyzja rozwiązania równania falowego w modelu dobrze odwzorowującym działanie rzeczywistego instrumentu pozwala wygenerować sygnał wiernie naśladujący jego brzmienie. W praktyce, matematyczny opis całego procesu sprawia poważne trudności. Bardziej efektywną implementacją metod modelowania fizycznego jest synteza falowodowa [Roads 1996, Zieliński 1996], opierająca się na modelowaniu instrumentu przy pomocy cyfrowych falowodów, w których fale biegnące interferują tworząc falę stojącą, charakterystyczną dla danego instrumentu. Złożone kształty instrumentów przybliża się większą liczbą połączonych falowodów, co bywa nazywane próbkowaniem w przestrzeni (ang. sampling in space) Metody reprodukcyjne i oparte o przetwarzanie sygnału Najbardziej podstawową metodą reprodukcyjną jest synteza tablicowa (ang. wavetable synthesis), w której sygnał jest generowany przez sekwencyjny odczyt danych z tablicy w pamięci urządzenia [Roads 1996]. Tablica ta zawiera fragment przebiegu sygnału w postaci kolejnych próbek (rys. 3.6). Może to być przebieg sinusoidy lub dowolnego innego, bardziej skomplikowanego sygnału. W oryginalnej metodzie tablicowej przechowuje się tylko jeden okres przebiegu. Proces generowania sygnału metodą tablicową polega na cyklicznym odczytywaniu wartości próbek z tablicy, co odpowiada ciągłemu zwiększaniu fazy. W jego efekcie otrzymuje się sygnał okresowy. Zmiany częstotliwości generowanego sygnału można dokonać dwiema metodami. Pierwsza, w której liczba próbek na okres pozostaje stała, polega na zmianie częstotliwości próbkowania sygnału. Jej implementacja sprawia jednak trudności w przypadku generowania wielu częstotliwości z dużego zakresu. Ze względu na łatwość implementacji, częściej stosowaną metodą jest zmiana kroku z jakim jest przeszukiwana tablica. Jeżeli tablica zawiera jeden okres generowanego przebiegu, zależność pomiędzy krokiem a częstotliwością wygląda następująco:

47 Metody symulacji dźwięków muzycznych 47 k= f L f s, (3.10) gdzie: k długość kroku, L długość tablicy, f częstotliwość generowanego sygnału, f s częstotliwość próbkowania. Fazy obliczane zgodnie z otrzymaną ze wzoru 3.10 wielkością kroku zwykle posiadają część ułamkową, podczas gdy tablica przechowuje próbki jedynie o całkowitych indeksach. Części ułamkowe fazy można odrzucać, w efekcie otrzymuje się jednak sygnał posiadający zniekształcenia nazywane szumami tablicy [Moore 1977]. Mniejsze zniekształcenia otrzymuje się przybliżając fazę do najbliższej liczby całkowitej, lecz wyraźną poprawę przynosi dopiero zastosowanie interpolacji. Już interpolacja liniowa w znacznym stopniu redukuje szumy tablicy, jednak lepsze efekty daje zastosowanie interpolacji wyższego rzędu [Snell 1977]. Rysunek 3.6: Generowanie sygnału przez odczyt próbek z tablicy, wg [Roads 1996] Operacje odczytu z pamięci są znacznie szybsze niż obliczenia numeryczne, dzięki czemu generatory oparte na metodzie tablicowej są bardzo efektywne. Korzysta się z nich w większości sytuacji wymagających zastosowania cyfrowych generatorów sygnału, w tym również w cyfrowej implementacji innych metod syntezy dźwięku. Czerpiące z idei dualizmu falowo korpuskularnego pomysły fizyka Dennisa Gabora [Gabor 1947] oraz kompozytora Iannisa Xenakisa [Xenakis 1960], aby dźwięk potraktować nie jako falę, lecz jako sumę elementarnych sygnałów ziaren, stały się podstawą oryginalnej metody

48 Metody symulacji dźwięków muzycznych 48 syntezy dźwięku, zwanej syntezą granularną, rozwiniętej później przez Curtisa Roadsa [Roads 1978]. Ziarna są krótkimi, trwającymi zwykle od 1 do 100 ms, fragmentami sygnału dźwiękowego, zawierającymi dwa rodzaje informacji: informacje związane z dziedziną czasu (czas rozpoczęcia, czas trwania, kształt obwiedni, kształt przebiegu falowego), informacje związane z dziedziną częstotliwości (widmo). Czas trwania ziaren może być stały, może też zmieniać się w sposób losowy lub według określonych reguł. Zawarty wewnątrz ziaren przebieg falowy może być zarówno syntetyczny, jak i pochodzić z próbkowania naturalnych dźwięków. Ziarna są elementami dźwięku, które, zebrane w określoną strukturę, tworzę zjawisko dźwiękowe. Ostateczny efekt brzmieniowy zależy od metody organizacji ziaren [Roads 1996]. 1. Siatki fourierowskie i falkowe umożliwiają analizę, transformację oraz resyntezę sygnału. 2. Synchroniczna synteza granularna, PSGS (ang. Pitch-Synchronous Granular Synthesis), jest wieloetapowym procesem resyntezy, pozwalającym na generowanie dźwięków o określonej wysokości, zawierających kilka formantów. 3. W pseudo-synchronicznej syntezie granularnej, QSGS (ang. Quasi-Synchronous Granular Synthesis), generowane jest kilka równoległych strumieni ziaren, w ramach których ziarna są odtwarzane okresowo. Okresy podlegają małym, losowym wahaniom, czego efektem jest sygnał podobny do sygnału AM. QSGS daje jednak większe możliwości jego kształtowania. 4. Asynchroniczną syntezę granularną, AGS (ang. Asynchronous Granular Synthesis), stosuje się do organizowania ziaren w tzw. chmury na płaszczyźnie czasowo-częstotliwościowej. Parametry chmury są dobierane losowo, w ramach pewnego zbioru reguł. Określa się: czas trwania całej chmury, czas trwania poszczególnych ziaren, gęstość ziaren, czyli ich liczbę w jednostce czasu, dozwolone dla ziaren pasmo częstotliwości, obwiednię amplitudy, kształty i pochodzenie fal w ziarnach, rozkład ziaren w przestrzeni (pomiędzy kanały generowanego sygnału). 5. Granulacja czasu nagranych dźwięków jest pseudo-synchronicznym lub asynchronicznym odtwarzaniem nakładających się ziaren, powstałych z granulacji czasowej sygnału pochodzącego z nagrania lub próbkowanego w czasie rzeczywistym. Stosuje się ją do zmiany tempa odtwarzania dźwięku lub w celu dodania specjalnych efektów.

49 Metody symulacji dźwięków muzycznych Metoda reprodukcyjna w samplerach Rozwinięciem idei syntezy tablicowej jest zaawansowana metoda reprodukcyjna stosowana w samplerach 2. Polega ona na przechowywaniu w pamięci nie jednego okresu sygnału, lecz całego zdarzenia dźwiękowego [Roads 1996], takiego jak pojedynczy dźwięk instrumentu muzycznego (rys. 3.7). W odróżnieniu od próbki sygnału, będącej pojedynczą wartością w tablicy, składający się z wielu takich wartości zapis całości zdarzenia dźwiękowego jest nazywany próbką dźwięku, lub próbką instrumentu. W najprostszym przypadku proces generowania sygnału polega na odczycie wartości kolejnych próbek sygnału z pamięci. Rysunek 3.7: Schemat samplera Synteza tablicowa może generować sygnał o dowolnej długości poprzez wielokrotne odczytywanie pojedynczego okresu. Metoda ta nie nadaje się jednak do sterowania czasem trwania sygnału w samplerze, ze względu na skomplikowaną strukturę czasową większości naturalnych dźwięków. W strukturze tej można wyróżnić fazy ewolucji, charakteryzujące się zmianami w widmie i w obwiedni amplitudy. Aby te zmiany uwzględnić wprowadza się dwa szczególne punkty, czyli położenia w próbce dźwięku określone przez indeksy odpowiednich próbek sygnału, stanowiące początek i koniec pętli (ang. loop points). Proces generowania sygnału przybiera wtedy nieco inną postać: 1. odczytywane są kolejne próbki sygnału, aż do osiągnięcia początkowego punktu pętli, 2. odcinek pomiędzy początkiem a końcem pętli jest odczytywany wielokrotnie, w zależności od tego, jak długo ma trwać generowany sygnał, 3. odczytywane są próbki sygnału od punktu kończącego pętlę do końca tablicy. Położenie pętli jest ustalane w taki sposób, aby fakt jej powtarzania był jak najsłabiej słyszalny. Musi to być odcinek o niewielkiej zmienności w czasie, jednak dla zachowania wrażenia naturalności pewien stopień zmienności jest konieczny. Istnieją metody automatycznego doboru 2 Metoda reprodukcyjna stosowana w samplerach bywa, z braku polskiego określenia, nazywana metodą samplingową (ang. sampling synthesis).

50 Metody symulacji dźwięków muzycznych 50 położenia pętli, lecz najlepsze rezultaty można uzyskać kierując się w ustalaniu jej położenia słuchem. W przypadku większości naturalnych dźwięków cykliczne odtwarzanie pętli prawie zawsze wprowadza słyszalne zniekształcenia sygnału. W praktyce nie ma bowiem możliwości dopasowania faz wszystkich składowych spektralnych na końcach pętli chyba, że dźwięk jest okresowy. Pętlę można odtwarzać w jeden z trzech sposobów. 1. W odtwarzaniu jednokierunkowym po odczycie zawartości pętli następuje skok do jej początku, powtórny odczyt, itd. 2. Odtwarzanie dwukierunkowe łagodzi różnice pomiędzy krańcami pętli. Po odczycie pętli od początku do końca następuje odczyt w przeciwnym kierunku, po czym cały proces rozpoczyna się od nowa. Odtwarzanie fragmentu nagrania od końca w niektórych sytuacjach skutkuje nienaturalnym brzmieniem. 3. Odtwarzanie z przenikaniem (ang. crossfade) jest modyfikacją metody jednokierunkowej, polegającą na wprowadzeniu odcinka na którym pętla się zazębia, czyli jednocześnie odtwarzany jest jej koniec i początek. Na obszar pętli nakładana jest funkcja okna w taki sposób, że na zazębiającym się odcinku wagi próbek sygnału z początku pętli rosną, zaś tych z końca pętli maleją. W ten sposób otrzymuje się wrażenie płynnego przejścia. W zastosowaniach muzycznych nieodzowna jest możliwość zmiany wysokości generowanego dźwięku. Wykorzystuje się w tym celu jedną z trzech metod. 1. Metoda wykorzystywana w klasycznej syntezie tablicowej polega na zmianie kroku z jakim odczytywane są z tablicy próbki sygnału. W ten sposób, poprzez transpozycję (ang. pitchshifting), z pojedynczej próbki dźwiękowej można uzyskać wiele wysokości. Metoda ta nie uwzględnia wpływu wysokości na strukturę widmową dźwięku instrumentów muzycznych. 2. Inną metodą jest przechowywane osobnych próbek dźwiękowych dla dźwięków o różnych wysokościach (ang. multi-sampling). Metoda ta umożliwia realistyczną syntezę, uwzględniającą zmiany struktury widmowej związane ze zmianą wysokości, wymaga jednak dużej ilości pamięci oraz znacznego nakładu pracy podczas przygotowywania próbek instrumentów. 3. Często stosowana jest metoda mieszana, w której na całą skalę wysokości instrumentu nagrane jest kilka, lub kilkanaście próbek dźwiękowych. Wysokości dźwięków dla których nie ma nagranych próbek są uzyskiwane przez transpozycję którejś z nagranych próbek. Jeżeli próbki są nagrane w niewielkich odstępach, na przykład interwału tercji małej, zachowuje się zalety poprzedniej metody, jednocześnie wielokrotnie 3 redukując zapotrzebowanie na pamięć. Metoda reprodukcyjna stosowana w samplerach umożliwia niewielki, w porównaniu do 3 W przypadku odstępu tercji małej czterokrotnie.

51 Metody symulacji dźwięków muzycznych 51 innych metod, stopień kontroli brzmienia generowanego dźwięku. Podstawowym sposobem zmiany brzmienia jest wykorzystanie innej próbki dźwiękowej. Dodatkową możliwością jest kontrola obwiedni amplitudy sygnału. Najczęściej stosuje się przedstawioną na rys. 3.8 obwiednię ADSR (ang. Attack, Decay, Sustain, Release) lub DAHDSR (ang. Delay, Attack, Hold, Decay, Sustain, Release). Rysunek 3.8: Obwiednia ADSR (fazy: A nabrzmiewania, D opadania, S podtrzymania, R wybrzmiewania) 3.3. Implementacje metod syntezy dźwięku Metody syntezy dźwięku stanowią opis procedury generowania sygnału dźwiękowego i nie są na stałe związane z konkretną implementacją. W praktyce, pomimo wielu możliwości, każdą z realizacji metod syntezy można zaliczyć do jednej z trzech klas. 1. Urządzenia samodzielne, czyli analogowe i cyfrowe elektroniczne instrumenty muzyczne, są odpowiednikiem instrumentów tradycyjnych. 2. Sprzętowe moduły brzmieniowe dokonują syntezy dźwięku, wymagają jednak zewnętrznego sterowania, na przykład za pomocą dodatkowej klawiatury albo komputera. Mogą mieć postać samodzielnych jednostek lub być częścią innych urządzeń, takich jak komputerowe karty dźwiękowe. 3. Syntezatory programowe są samodzielnymi programami komputerowymi lub wtyczkami 4 (ang. plugins) innych programów, pełniącymi rolę podobną do sprzętowych modułów brzmieniowych. Podobnie jak moduły sprzętowe, wymagają zewnętrznego sterowania. Rosnącą popularnością cieszą się narzędzia programowe, których podstawową zaletą jest możliwość swobodnej konfiguracji i łączenia ich z innymi programami, pozwalająca wykorzystywać je jako elementy większych systemów. Ze względu na szybkość działania można wyróżnić implementacje czasu rzeczywistego, w których nie występuje zauważalne opóźnienie pomiędzy otrzymaniem rozkazu generowania 4 Wtyczka jest programem współpracującym z aplikacją gospodarzem i rozszerzającym go o określoną funkcjonalność.

52 Metody symulacji dźwięków muzycznych 52 dźwięku a wygenerowaniem sygnału, oraz implementacje w których to opóźnienie jest zauważalne, przez co sygnał musi być syntetyzowany z wyprzedzeniem, zapisywany i później odtwarzany. Źródłem parametrów potrzebnych w procesie syntezy mogą być: muzyczne urządzenia wejściowe, wykorzystywane w grze na żywo, takie jak klawiatury i przystawki do tradycyjnych instrumentów, oprogramowanie do wykonywania bądź odtwarzania muzyki, takie jak sekwencery, graficzne edytory nutowe oraz tekstowe języki nutowe, programy do kompozycji algorytmicznej, programy do analizy dźwięku i inne programy komputerowe. W muzyce, syntezę dźwięku stosuje się przede wszystkim w celu uzyskania nowych brzmień oraz do symulacji brzmienia istniejących instrumentów. Największą swobodę w kreowaniu i kontroli dźwięku zapewniają rozwiązania programowe, w postaci złożonych środowisk do syntezy dźwięku, opartych o specjalizowany język programowania (tabela 3.1). Spośród implementacji w których nacisk położono na wierność naśladowania brzmienia istniejących instrumentów muzycznych, największą popularność zdobyły programowe samplery (tabela 3.2). Moc obliczeniowa i pamięć współczesnych komputerów umożliwiają stosowanie długich próbek dźwiękowych o parametrach dorównujących najlepszym nagraniom audio oraz ich przetwarzanie w czasie rzeczywistym. Tabela 3.1: Środowiska do syntezy dźwięku Środowisko Zastosowania UI 5 ChucK Synteza w czasie rzeczywistym, kompozycja Tekstowy algorytmiczna, programowanie dźwięku na żywo Csound Synteza w czasie rzeczywistym, Tekstowy [www: Csound] kompozycja algorytmiczna Max/MSP Synteza w czasie rzeczywistym, Graficzny [www: Max/MSP] sterowanie urządzeniami Pure Data Synteza w czasie rzeczywistym Graficzny [www: PureData] Reaktor Synteza w czasie rzeczywistym, Graficzny [www: Reaktor] sterowanie urządzeniami SuperCollider [www: SuperCollider] Synteza w czasie rzeczywistym, kompozycja algorytmiczna, programowanie dźwięku na żywo Tekstowy 5 Interfejs użytkownika (ang. user interface).

53 Metody symulacji dźwięków muzycznych 53 Tabela 3.2: Samplery programowe Sampler Gigastudio (wcześniej: Gigasampler) Emulator X2 [www: EmulatorX2] LinuxSampler [www: LinuxSampler] [www: Gigastudio] Producent Tascam E-mu Parametry próbek 96 khz, 24 bity 192 khz, 24 bity 24 bity Dodatkowe możliwości Dodawanie pogłosu metodą splotową Zintegrowane procesory efektów Praca w środowisku rozproszonym, architektura klient-serwer 3.4. Sterowanie procesem syntezy Łączenie różnych urządzeń sterujących z dowolnymi syntezatorami wymaga jednolitej platformy komunikacji. Platforma taka powstała w 1983 roku, w którym opracowano standard MIDI (ang. Musical Instrument Digital Interface), obejmujący specyfikację połączeń sprzętowych oraz protokół komunikacyjny 6 [www: MIDI]. Wprowadziło to szereg możliwości, w tym: rozdzielenie syntezatora od urządzenia wejściowego, a co za tym idzie, możliwość sterowania dowolną barwą przy użyciu dowolnego typu urządzenia, wymianę danych pomiędzy sprzętem i oprogramowaniem różnych producentów, transmisję różnego rodzaju danych pomiędzy programami i sprzętem oraz komunikację z różnego rodzaju urządzeniami, niekoniecznie muzycznymi, ułatwione tworzenie oprogramowania związanego z syntezą dźwięku. Poprzez specyficzny charakter przesyłanych danych MIDI parametryzuje czynności związane z grą na instrumencie: przesyłany jest nie sam dźwięk, lecz informacje dotyczące jego generowania. Dzięki temu następuje redukcja ilości danych w stosunku do cyfrowego sygnału dźwiękowego, a ponadto w czasie gry możliwa jest swobodna kontrola dźwięku, aż do poszczególnych aspektów pojedynczych nut. bit startu 0 0: dane 1: status bit 6 bit 5 bit 4 bit 3 bit 2 bit 1 bit 0 bit stopu 1 Rysunek 3.9: Pojedyncze słowo komunikatu MIDI Urządzenie MIDI posiada do 16 kanałów, czyli niezależnych strumieni przetwarzania danych. Transmisja danych jest szeregowa i asynchroniczna, wyzwalana zdarzeniami takimi, jak 6 Protokół komunikacyjny jest zbiorem reguł opisującym sposób przesyłania danych.

54 Metody symulacji dźwięków muzycznych 54 naciśnięcie klawisza, czy przekręcenie pokrętła modulatora. Informacje są przesyłane w 10- bitowych słowach (rys. 3.9). Bit statusu określa, czy słowo jest rozkazem, czy zawiera dane. Pozostałe 7 bitów zawiera dane lub kod rozkazu 7. Sterowanie polega na przesyłaniu komunikatów MIDI złożonych z jednego lub więcej słów, z których pierwsze jest zawsze rozkazem. Komunikaty dzielą się na: związane z kanałem MIDI (ang. voice message); komunikaty z tej grupy (od 0x80 do 0xEF) 8 mają wpływ wyłącznie na kanał określony przez 4 młodsze bity rozkazu; pozostałe bity określają typ komunikatu (tab. 3.3), nie związane z określonym kanałem (od 0xF0 do 0xFF). Tabela 3.3: Komunikaty MIDI odnoszące się do określonego kanału Rozkaz Czynność Dane (7-bitowe słowa) Słowo 1 Słowo 2 0x8 0x9 Wyłączenie nuty (ang. note off) Włączenie nuty (ang. note on) Numer nuty Wartość szybkości naciskania/zwalniania klawisza (ang. velocity) 0xA Nacisk Numer nuty Wartość nacisku przytrzymanego klawisza (ang. after touch) 0xB Zmiana wartości kontrolera Numer kontrolera Wartość kontrolera (ang. control change) 0xC Zmiana programu (ang. program change) Numer nowego programu (instrumentu, efektu, itp.) 0xD Nacisk klawiszy Wartość nacisku całego kanału (ang. channel pressure) 0xE Odchylenie wysokości (ang. pitch wheel) Wartość odchylenia, bity od 0 do 6 Wartość odchylenia, bity od 7 do 14 W standardzie MIDI nuty są reprezentowane przez 7-bitowe liczby. Najczęściej przyjmuje się, że odpowiadają one dźwiękom systemu równomiernie temperowanego. Wartość 60 odpowiada dźwiękowi c 1, o częstotliwości podstawowej 261,63 Hz, natomiast dźwiękowi a 1 odpowiada 7 Zgodnie z protokołem MIDI, w dalszej części rozdziału określenie bajt odnosi się do struktury 7 bitowej. 8 Wartości, ze względu na zwięzłość zapisu oraz strukturę rozkazów, podawane są w systemie szesnastkowym, zgodnie z konwencją przyjętą w języku C, w której liczby szesnastkowe poprzedza się przedrostkiem 0x.

55 Metody symulacji dźwięków muzycznych 55 częstotliwość 440 Hz. 128 nut systemu MIDI obejmuje dźwięki o częstotliwościach podstawowych od 8,18 Hz do 12543,85 Hz. Oktawa zawsze podzielona jest na 12 części. Możliwe jest odchylenie wysokości dźwięku o zadaną wartość i tym samym jej precyzyjna regulacja. Wykonanie rozkazu 0xE skutkuje natychmiastowym przesunięciem częstotliwości podstawowej generowanego dźwięku względem częstotliwości wynikającej z systemu równomiernie temperowanego. Wartość 0x2000 wskazuje brak odchylenia, natomiast skrajne wartości powodują obniżenie (0x0000) bądź podwyższenie (0x4000) dźwięku o interwał sekundy wielkiej 9. Istnieje możliwość zmiany zakresu odchyleń. Rozkaz odchylenia wysokości wpływa jednocześnie na wszystkie nuty grane przez dany kanał. Kontrolery, ustawiane rozkazem 0xB, są przełącznikami typu włącz/wyłącz lub odpowiednikami potencjometrów, pozwalającymi na regulację parametru w ramach określonej liczby kroków. Wyróżnia się regulację zgrubną (ang. coarse), o 7-bitowej rozdzielczości, oraz precyzyjną (ang. fine), polegającą na ustaleniu dodatkowych 7 bitów. 14-bitowa wartość jest sumą części zgrubnej, zawartej w najbardziej znaczącym bajcie (MSB, ang. most significant byte) oraz wartości precyzyjnej, stanowiącej najmniej znaczący bajt (LSB, ang. least significant byte): X = 2 7 MSB LSB. (3.11) Składowe MSB oraz LSB są ustawiane dwoma niezależnymi kontrolerami. Przykładowe kontrolery zebrano w tab Tabela 3.4: Przykładowe kontrolery MIDI Kontrolery 14-bitowe Kontrolery 7-bitowe Kontrolery włącz/wyłącz 1 i 33: pokrętło modulatora 72: czas wybrzmiewania 64: pedał zatrzymania dźwięku 7 i 39: amplituda 73: czas ataku dźwięku 66: pedał sostenuto 8 i 40: balans 92: poziom efektu tremolo 68: pedał legato 10 i 42: panorama 93: poziom efektu chorus Urządzenia MIDI mogą pracować w kilku trybach, określających podział kanałów i polifonię 10. Specjalnym trybem jest zdefiniowany w 1991 roku General MIDI, stworzony w celu unifikacji zestawów brzmień. Pracując w tym trybie urządzenie udostępnia 128 brzmień o określonych w standardzie nazwach. General MIDI określa ponadto minimalną liczbę mogących grać jednocześnie głosów, a także wymaga, aby urządzenie reagowało na zmianę szybkości nacisku 9 Odpowiada to podzieleniu bądź pomnożeniu częstotliwości wyjściowej przez wartość 2 1/6. 10 Polifonia MIDI odnosi się do możliwości równoczesnego wykonywania wielu dźwięków.

56 Metody symulacji dźwięków muzycznych 56 klawiszy (ang. note velocity) oraz aby każdy kanał mógł działać w trybie polifonicznym. Standard MIDI powstał przede wszystkim z myślą o muzyce rozrywkowej, charakteryzującej się regularną rytmiką oraz wykorzystaniem systemu równomiernie temperowanego. Taki rodzaj muzyki łatwo jest sparametryzować do postaci zgodnej z MIDI. Parametryzacja muzyki wychodzącej poza metryczność lub system dur-moll może być utrudniona Realizm brzmieniowy Realizm brzmieniowy a słyszenie utworu muzycznego Muzyka, czy utwór muzyczny, przechodzi w drodze od twórcy do odbiorcy kilka etapów, przybierając różną postać. Pierwszym etapem jest koncepcja kompozytora, oparta na jego wyobraźni muzycznej i słyszeniu wewnętrznym. Koncepcja ta przeobraża się w zapis nutowy, będący drugim etapem, w czym kompozytor może, choć nie musi, wspomagać się instrumentem albo komputerem. Na tym etapie koncepcja ulega zmianom i znacznej redukcji, ze względu na ograniczenia wynikające z natury zapisu nutowego, który jest zapisem parametrycznym podobnie, jak częściowo oparty na nim zapis komunikatów MIDI. Można więc powiedzieć, że w pewnym sensie etap ten jest parametryzacją idei kompozytora. Zapis nutowy, pomijając drobne modyfikacje wprowadzane z czasem przez różnych wydawców, jest od tego momentu niezmienną, a zarazem najbardziej zredukowaną, postacią utworu muzycznego. Dalsza droga utworu muzycznego wiedzie do wykonawcy, który rozpoczyna od jego analizy muzycznej, prowadzącej do syntezy własnej koncepcji utworu. Koncepcja ta jest tym razem oparta o wiedzę, wyobraźnię muzyczną i słyszenie wewnętrzne indywidualnego wykonawcy, a zatem może znacznie odbiegać od koncepcji kompozytora, czy innych wykonawców. Na etapie wykonania utworu koncepcja wykonawcy oddziałuje na proces gry na instrumencie, co prowadzi do przekształcenia utworu w fizyczne zjawisko dźwięku. Gra różnych wykonawców będzie skutkowała powstaniem różnych postaci dźwiękowych utworu nie tylko ze względu na różne koncepcje wykonawcze, ale też ze względu na różne umiejętności, czy odmienne warunki w jakich wykonanie może się odbywać. Nawet w przypadku jednego wykonawcy zmiana instrumentu, czy warunków akustycznych, zaowocuje inną postacią dźwiękową. Pomijając na tym etapie możliwość rejestracji i reprodukcji utworu muzycznego, która może wprowadzić dodatkowe zmiany, ostatnim etapem jest jego odbiór przez słuchacza. W tym etapie fizyczne parametry dźwięku są przetwarzane na wrażenia słuchowe w zależności od słuchu fizjologicznego, słuchu muzycznego oraz wiedzy muzycznej i stanu psychofizycznego odbiorcy. Słuchacz dokonuje słuchowej analizy utworu, by w końcu

57 Metody symulacji dźwięków muzycznych 57 zsyntetyzować jego ostateczny obraz muzyczny. Na kolejnych etapach następuje zarówno redukcja, jak i wprowadzanie nowych informacji do utworu. Funkcjonujący jako podstawa wszystkich wykonań zapis nutowy, będąc parametryczną postacią utworu, zawiera jedynie część informacji ostatecznie percypowanych przez słuchacza. Tylko niektóre parametry są w zapisie nutowym określone w sposób bezwzględny i precyzyjny, tak jak wysokości dźwięków. Inne z nich, jak wartości rytmiczne, czyli relatywne czasy trwania dźwięków, są zapisane precyzyjnie, jednak z założenia w trakcie wykonania mogą podlegać pewnym odchyleniom. Są także parametry zapisywane względnie i z małą precyzją, takie jak dynamika, artykulacja, czy zmiany agogiczne, pozostawiające wykonawcy dużą swobodę. W zapisie nutowym brakuje więc całego szeregu elementów składających się na wrażenie słuchowe odbiorcy. Nie wszystkie z tych braków wynikają z niskiej precyzji zapisu części parametrów. 1. W tradycyjnym zapisie nutowym brakuje koncepcji wykonawcy, opartej o jego analizę utworu. Koncepcja ta manifestuje się w postaci interpretacji utworu, kształtującej przebieg myśli muzycznej. Myśl ta wpływa na to, jak wykonawca odczyta zapis nutowy oraz w jaki sposób uzupełni utwór w tych obszarach, w których zapis pozostawia swobodę. Będą to dobór dynamiki, artykulacji, temp, oddechów oraz przede wszystkim odpowiednie kształtowanie przejść i odchyleń od stałych wartości tych parametrów sprawiające, że muzyka zabrzmi w sposób żywy i indywidualny. Część z tych elementów jest przez wykonawcę kształtowana w pełni świadomie, część natomiast intuicyjnie. To, w jaki sposób muzyk interpretuje utwór wynika pośrednio, bądź bezpośrednio z jego edukacji i wiedzy, odpowiedniego wyczucia i smaku, a także długotrwałego treningu. 2. Część nie ujętych w zapisie nutowym odchyleń i zmian parametrów może wynikać z interpretacji utworu, jednak część z nich jest przypadkowa. Żywy muzyk nie jest w stanie zagrać dwóch dźwięków o takiej samej artykulacji, dynamice, czy o identycznym czasie trwania, dlatego w każdym wykonaniu utworu obok odchyleń celowych będą występowały losowe fluktuacje tych parametrów. Do tej grupy należy także zaliczyć możliwe do wystąpienia błędy wykonawcy. Można je interpretować jako swego rodzaju muzyczny szum informacyjny będący odpowiednikiem błędów zaokrągleń w układach cyfrowych, czy szumu termicznego w układach fizycznych. Poziom takiego szumu może zależeć od doświadczenia i klasy wykonawcy, a także od rodzaju instrumentu. Można domniemywać, że w przypadku instrumentów uznawanych za trudne do opanowania oraz takich, które wymagają kontroli większej liczby parametrów, jego poziom będzie wyższy. 3. Ważnym elementem kształtującym ostateczne wrażenie słuchowe są własności akustyczne danego egzemplarza instrumentu oraz warunki akustyczne w jakich następuje wykonanie i odbiór utworu, czyli akustyka pomieszczenia [Adamczyk 2001, Adamczyk 2003], miejsca w

58 Metody symulacji dźwięków muzycznych 58 których znajdują się wykonawca i słuchacz, ich wzajemna pozycja, wypełnienie sali oraz hałas zewnętrzny. Informacje te nie zmieniają się w czasie w tak nieprzewidywalny sposób jak fluktuacje parametrów związane z interpretacją utworu przez wykonawcę. W sytuacji, gdy utwór został zarejestrowany, a słuchacz słucha jego nagrania, zmiany wprowadzone przez proces realizacji i odtworzenia nagrania mogą być rozpatrywane razem z akustyką pomieszczenia, gdyż są w pewien sposób jej przedłużeniem. 4. W pewnych sytuacjach wpływ na odbiór muzyki może mieć widok grającego muzyka, czy zespołu muzycznego. 5. Na dalszy etap, czyli interpretację i analizę wrażeń słuchowych oraz budowanie na ich podstawie ostatecznego obrazu muzycznego ma wpływ już jedynie sam słuchacz. Na percepcję utworu muzycznego składa się znacznie więcej elementów niż jest ujęte w ramach zapisu nutowego, a więc zapis taki samodzielnie nie jest wystarczającym źródłem danych do odtworzenia utworu na drodze syntetycznej w sposób, który byłby postrzegany jako realistyczny. Można, co prawda, przygotować syntetyczną wersję utworu bazując jedynie na zapisie nutowym, jednak, nawet w przypadku zastosowania najlepszej z możliwych metod syntezy, wersja ta będzie bardzo łatwo rozróżnialna także i dla mało wprawnego słuchacza. Zwiększenie stopnia realizmu może nastąpić jedynie na drodze symulacji wymienionych etapów, pomiędzy zapisem nutowym a słuchaczem. Symulacja powinna więc objąć: możliwie najwierniejszą syntezę dźwięku wybranych instrumentów, udostępniającą różne rodzaje artykulacji obecnie najlepiej do tego celu nadają się zaawansowane programowe samplery w połączeniu z wysokiej klasy próbkami instrumentów zawierającymi zróżnicowaną artykulację, reguły opisujące sposób dokonywania przejść pomiędzy sąsiednimi dźwiękami w różnych sytuacjach, zbiór reguł opisujących sposób interpretacji utworu muzycznego, pozwalający na celowe i odpowiednie kształtowanie takich czynników jak przebieg dynamiki, artykulacja, zmiany tempa, czy oddechy w taki sposób, aby w całości granego utworu zauważalna była wyraźna myśl muzyczna, metodę wprowadzania losowych odchyleń i zmian parametrów o rozkładzie takim, jaki występuje w przypadku gry żywego muzyka, nałożenie na wygenerowany sygnał efektów symulujących akustykę odpowiedniej sali koncertowej lub pomieszczenia odsłuchowego [Gołaś 1999, Gołaś 2000], najlepiej z zachowaniem informacji o charakterystykach kierunkowych instrumentu w rozbudowanych programowych samplerach można do pewnego stopnia symulować efekt pogłosu,

59 Metody symulacji dźwięków muzycznych 59 Duża część z wymienionych elementów znajduje się w zasięgu obecnej techniki, jednak implementacja niektórych z nich może być wysoce problematyczna. Programowe samplery zapewniają wysoką wierność brzmienia wielu, choć nadal nie wszystkich instrumentów, a metody splotowe zapewniają stosunkowo dobre odwzorowanie akustyki wybranych pomieszczeń. Pojawiają się także próby zaimplementowania reguł łączenia sąsiednich dźwięków [Strawn 1985], można też wyobrazić sobie metodę wprowadzania losowych odchyleń zgodnie ze statystykami sporządzonymi na podstawie gry żywych muzyków. Do rozwiązania pozostaje jednak jedna z najtrudniejszych kwestii, a mianowicie określenie reguł kierujących interpretacją utworu wymaga to połączenia wyników badań z wielu dziedzin, takich jak przetwarzanie informacji, akustyka fizyczna, akustyka muzyczna, instrumentoznawstwo, instrumentalistyka oraz teoria muzyki Realizm brzmieniowy w różnych metodach syntezy dźwięku Trudno wskazać najlepszą z metod syntezy dźwięku. Wybór konkretnej metody zależy w głównej mierze od zadania jakie stawia się przed syntezatorem oraz od możliwości implementacji i sterowania określonymi parametrami procesu syntezy. Zdarza się nawet, że w ramach jednego projektu stosowane jest wiele różnych metod, gdyż każda z nich lepiej oddaje innego rodzaju dźwięki. Przykładem takiej sytuacji może być projekt wirtualnej orkiestry stworzonej w IRCAM [www: IRCAM] w Paryżu. Domeną metod modulacyjnych jest tworzenie nowych brzmień. Dają one dużą swobodę i łatwość kontrolowania sygnału wyjściowego, sprawiają jednak problemy w sytuacji, gdy zachodzi potrzeba imitacji istniejącego dźwięku. Pomimo tego, że synteza FM w zadowalającym stopniu symuluje brzmienie niektórych instrumentów, ze względu na brak uniwersalnego algorytmu resyntezy trudno jest za jej pomocą wygenerować dźwięk o zadanej barwie. Do imitacji dźwięku instrumentów muzycznych nadaje się, niejako z definicji, metoda reprodukcyjna zaimplementowana w samplerach. Współczesne samplery programowe uzupełnia się o elementy innych metod syntezy, w tym metod widmowych, w celu korekty położenia formantów, czy metod modulacyjnych, w celu wzbogacenia wyjściowego sygnału, oraz o procesory efektów. Do pewnego stopnia niweluje to podstawową wadę metody reprodukcyjnej, a mianowicie ograniczone możliwości kontroli generowanego sygnału. Teoretycznie, metody modelowania fizycznego mogą zapewnić zarówno swobodną kontrolę, jak i wierność imitacji instrumentów, ich implementacja jest jednak niezwykle trudna. W praktyce funkcjonują modele nielicznych instrumentów. Konstrukcja dokładnego modelu jest procesem bardzo pracochłonnym, zwykle więc nie modeluje się całego instrumentu, a jedynie jego część biorącą udział w powstawaniu dźwięku. Złożoność problemu sprawia, że opracowywane

60 Metody symulacji dźwięków muzycznych 60 modele są znacznie uproszczone, a dźwięk przez nie generowany posiada barwę co najwyżej zbliżoną do dźwięku naturalnych instrumentów. Sampler z dobrymi próbkami instrumentów może wiernie imitować dźwięki instrumentów muzycznych, jednak, paradoksalnie, nie oznacza to, że muzyka odtwarzana przez sampler brzmi realistycznie. W przypadku niektórych instrumentów, takich jak organy, muzyka pochodząca z samplera może być zbliżona do naturalnej, jednak imitacja skrzypiec, czy saksofonu, pozostaje sztuczna nawet jeżeli próbki dźwiękowe są doskonale nagrane i brzmią realistycznie. Wiąże się to z powtarzalnością parametrów naturalnych dźwięków, wynikającą ze sposobu ich wydobycia oraz z budowy instrumentu. Łatwiejsze jest zagranie dwóch identycznie brzmiących dźwięków na instrumentach w których muzyk bezpośrednio kontroluje niewielką liczbę parametrów niż na tych, które dają mu szerokie możliwości w zakresie ekspresji. W dużym uproszczeniu, organista naciskając i zwalniając klawisz instrumentu ma wpływ jedynie na czas rozpoczęcia i zakończenia dźwięku. Skrzypek przez cały czas trwania dźwięku prawą ręką kontroluje prędkość smyczka, siłę jego docisku, kąt pod jakim jest przyłożony do strun, odległość od gryfu i podstawka, zaś palcami lewej ręki zmienia długość struny, skracając ją naciśnięciem palca lub dodając wibrację. Dodatkowo, może wpływać na charakterystykę kierunkową dźwięku skrzypiec poprzez zmiany postawy. Dźwięk organów brzmi więc tak samo niezależnie od kontekstu muzycznego, natomiast brzmienie skrzypiec wynika z tego kontekstu, zmieniając się w zależności od wielu parametrów fizycznych świadomie, bądź nieświadomie kontrolowanych przez muzyka. Bez lepszego zrozumienia mechanizmów łączących interpretację utworu z jego strukturą brzmieniową, a więc z fizycznymi parametrami dźwięków, zwiększenie realizmu poza pewien punkt nie będzie możliwe, niezależnie od zastosowanej metody syntezy dźwięku Zastosowanie syntezy dźwięku w realistycznej symulacji odstrojenia W badaniach percepcji dźwięku stosuje się proste, abstrakcyjne sygnały, takie jak przebiegi sinusoidalne, szumy, sygnały zmodulowane amplitudowo i częstotliwościowo oraz krótkie impulsy. Sygnały takie można zapisać w sposób analityczny, co upraszcza procedurę analizy wyników badań, różnią się one jednak od dźwięków z którymi zmysł słuchu ma do czynienia w rzeczywistości, a których złożoność jest daleko większa. Wyniki badań opartych na sygnałach abstrakcyjnych mogą zatem odbiegać od zachowania się słuchu w naturalnych warunkach. Zastosowanie w testach słuchowych symulacji opartych na realistycznej syntezie dźwięku, umożliwiając generowanie kontrolowanych sygnałów o charakterystyce zbliżonej do naturalnych dźwięków oraz ich parametryczny opis, może dostarczyć informacji na temat percepcji dźwięku w rzeczywistych warunkach.

61 Metody symulacji dźwięków muzycznych 61 Szczególny aspekt percepcji dźwięku, jakim jest percepcja intonacji w obecności innych dźwięków muzycznych, choć istotny z punktu widzenia muzyki, pozostaje słabo zbadany z braku możliwości generowania realistycznych sygnałów testowych. Źródłem takich sygnałów może być odpowiednio zaprojektowany symulator, prezentujący wysoki poziom realizmu brzmieniowego, jednak bez niepotrzebnej złożoności i liczby parametrów, uniemożliwiających w praktyce kontrolę i zwięzły opis sygnału. Rozwiązaniem które zapewni zarówno łatwość sterowania, jak i realizm brzmieniowy, jest programowy sampler. Ograniczone możliwości kontroli parametrów generowanego sygnału mogą zostać skompensowane wprowadzeniem odpowiednio większej liczby zróżnicowanych próbek dźwiękowych. Symulacja powinna zostać uzupełniona elementami interpretacji muzycznej poprzez połączenie warstwy syntetycznej z nagraniem żywych muzyków i dopasowanie ważnych z punktu widzenia realizmu brzmieniowego parametrów ścieżek syntetycznych do nagrania.

62 Sprzętowo-programowy symulator błędów intonacyjnych Sprzętowo programowy symulator błędów intonacyjnych Do obecnej chwili nie istniały narzędzia służące badaniu percepcji intonacji, mogące zapewnić jednocześnie wysoki realizm brzmieniowy oraz sterowanie parametrami generowanego sygnału i jego powtarzalność. Z tego powodu dla potrzeb pracy autor zaprojektował i stworzył naśladujący rzeczywiste sytuacje dźwiękowe sprzętowo-programowy symulator błędów intonacyjnych, a następnie zastosował go w serii testów słuchowych Celowość stworzenia specjalistycznego narzędzia do realistycznej symulacji błędów intonacyjnych Muzyka jest źródłem sygnału dźwiękowego o bardzo wysokiej złożoności, złożone więc muszą być mechanizmy, które odpowiadają za wielopoziomową analizę takiego sygnału w ludzkim systemie słuchowym. Badanie tych mechanizmów wymaga dysponowania narzędziem umożliwiającym automatyczne generowanie realistycznych i zarazem powtarzalnych przykładów muzycznych z zadanymi błędami intonacyjnymi. Programy wykorzystywane w kształceniu słuchu, takie jak GNU Solfege [www: Solfege] (rys. 4.1), Auralia [www: Auralia], czy Practica Musica [www: PracticaMusica], oferują część niezbędnej w tym celu funkcjonalności. elementem Będące mikrotonowe ich i intonacyjne ćwiczenia słuchowe są Rysunek 4.1: Ćwiczenie intonacyjne z programu GNU Solfege. jednak nadmiernie uproszczone1, traktując intonację w sposób abstrakcyjny, z pominięciem dużej części kontekstu muzycznego. Błędy intonacyjne są w nich prezentowane jako wyizolowane przykłady, odległe brzmieniowo od rzeczywistych sytuacji muzycznych: są to zniekształcone intonacyjnie interwały, akordy i proste melodie, odtwarzane w całości przez syntezator. Programy te, projektowane jako narzędzia edukacyjne, nie zapewniają również niezbędnego w badaniach stopnia kontroli nad parametrami generowanych przykładów. Z wymienionych powodów mogą więc, zgodnie z przeznaczeniem, znaleźć zastosowanie jedynie w elementarnej edukacji muzycznej, nie da się ich jednak wykorzystać w roli generatora sygnałów w badaniach percepcji intonacji. 1 W typowym ćwiczeniu prezentowanym na rys. 4.1 program odtwarza przez syntezator pojedynczy interwał, a zadaniem słuchacza jest ocena jego poprawności intonacyjnej (za mały/czysty/za duży).

63 Sprzętowo-programowy symulator błędów intonacyjnych W celu zbadania procesu identyfikacji 63 błędów intonacyjnych konieczne było zaprojektowanie i realizacja całkowicie nowego narzędzia: symulatora błędów intonacyjnych. Symulator, w oparciu o wysokiej klasy samplery i cyfrowe nagrania, umożliwi swobodne i powtarzalne sterowanie intonacją wybranych instrumentów i grup instrumentów na tle orkiestry, prezentując materiał dźwiękowy, obejmujący fragmenty utworów muzycznych, o poziomie realizmu brzmieniowego bliskim nagraniom żywych muzyków. Z punktu widzenia badania percepcji intonacji w warunkach zbliżonych do rzeczywistych, ważne jest zachowanie mogących wpływać na odbiór intonacji elementów związanych z grą żywych wykonawców, pomijanych w ćwiczeniach abstrakcyjnych oraz w badaniach opartych na abstrakcyjnych sygnałach Założenia przyjęte przy projektowaniu symulatora Przykłady muzyczne Określeniem symulacja błędów intonacyjnych objęto proces generowania i prezentowania słuchaczowi przykładów muzycznych, zawierających błędy intonacyjne celowo wprowadzone do linii melodycznej wybranych instrumentów. Przykłady muzyczne są generowane na podstawie fragmentów nagrań utworów muzycznych, o czasach trwania około s, stanowiących pewną całość muzyczną, do których wprowadza się ustalony błąd intonacyjny. Przykład muzyczny jest więc całkowicie powtarzalnym sygnałem akustycznym, definiowanym przez dwa elementy: nagranie na podstawie którego powstał oraz wprowadzony do niego błąd intonacyjny. Zmiana któregokolwiek z tych elementów jest rozumiana jako utworzenie nowego przykładu muzycznego. Istnieją dwa sposoby prezentacji przykładu muzycznego. Pierwszy z nich pozwala słuchaczowi zadać błąd intonacyjny, który zostanie wygenerowany i odtworzony przez symulator. W tym przypadku słuchacz wie jaki błąd usłyszy. Drugim sposobem jest automatyczne wygenerowanie przykładu muzycznego przez symulator, który losowo wybiera fragment nagrania i dodaje do niego losowy błąd intonacyjny. Informacja na temat błędu intonacyjnego jaką w tym przypadku dysponuje słuchacz opiera się wyłącznie na analizie słuchowej przykładu.

64 Sprzętowo-programowy symulator błędów intonacyjnych Błędy intonacyjne Błąd w instrumencie i w grupie instrumentów W grze zespołowej błędy intonacyjne nie są związane z całym zespołem lub z grupą, lecz z indywidualnymi instrumentami. Najczęściej błąd intonacyjny występuje tylko w jednym instrumencie spośród całego zespołu, gdy jednak zła jest intonacja pewnej grupy instrumentów, błędy intonacyjne w liniach melodycznych wchodzących w jej skład instrumentów różnią się między sobą, a korekta intonacji polega na indywidualnym określeniu błędów w tych instrumentach, w których one występują. Gdy błąd występuje w jednym instrumencie, intonacyjnym układem odniesienia jest dźwięk pozostałej części zespołu. Gdy błędy występują w grupie instrumentów, dochodzi do powstawania zniekształconych struktur akordowych, komplikujących określenie intonacyjnego układu odniesienia. W symulatorze uwzględniono obydwie sytuacje tworząc przykłady dwojakiego rodzaju. W przykładach pierwszego rodzaju błędy intonacyjne są wprowadzane wyłącznie do jednego, natomiast w przykładach drugiego rodzaju do trzech instrumentów. Błędy o różnych parametrach wprowadzone do trzech linii melodycznych symulują złą intonację grupy instrumentów Wybór odstrajanych instrumentów W generowanych przez symulator przykładach występuje cała orkiestra symfoniczna, błędy intonacyjne wprowadzane są jednak wyłącznie do partii instrumentów z grupy dętej. Grupa perkusyjna została pominięta ze względu na to, że większość jej instrumentów wydaje dźwięki, które nie posiadają wyraźnie określonej wysokości, lub intonacja wytwarzanych przez nie dźwięków nie zależy od instrumentalisty. Instrumenty perkusyjne w których muzyk ma wpływ na intonację, takie jak niektóre odmiany kotłów, rzadko są wykorzystywane melodycznie. Błędy intonacyjne w perkusji byłyby mało realistyczne. Pominięcie instrumentów kwintetu smyczkowego2 wynika z faktu, że praktycznie każda smyczkowa linia melodyczna jest grana nie przez pojedyncze instrumenty, lecz przez grupę, na którą składa się od kilku, do ponad 20 instrumentów. Błędy intonacyjne ulegają wówczas pewnemu zatarciu : jeżeli barwy instrumentów wchodzących w skład grupy są zbliżone, to percypowana jest 2 W orkiestrze, kwintet smyczkowy jest grupą instrumentów smyczkowych w wielokrotnej obsadzie, w skład której wchodzą skrzypce I (8 20), skrzypce II (6 16), altówki (4 12), wiolonczele (3 10) i kontrabasy (2 10) [Habela 1988, Drobner 1997].

65 Sprzętowo-programowy symulator błędów intonacyjnych 65 średnia częstotliwość podstawowa dla całego głosu grającego tą samą wysokość, a zauważalny jest dopiero większy błąd intonacyjny. Biorąc jednak pod uwagę fakt, że muzycy grający na instrumentach smyczkowych charakteryzują się zwykle ponadprzeciętnym słuchem muzycznym, błędy takie, jeżeli występują, najczęściej nie są skutkiem złego słyszenia wysokości, lecz trudności technicznej w wykonaniu danego fragmentu utworu. W takiej sytuacji sama lokalizacja i identyfikacja błędu nie rozwiązuje problemu muzycy muszą, poprzez ćwiczenie, wyeliminować trudność techniczną. Ponadto, gdy błąd występuje w całej grupie instrumentów grających tą samą wysokość, trudna jest jego precyzyjna identyfikacja każdy z muzyków zrobi prawdopodobnie nieco inny błąd, a percypowany rezultat będzie pewną średnią wartością błędów rzeczywistych. Źródłem typowych i najczęściej występujących błędów intonacyjnych jest grupa dęta. W orkiestrze symfonicznej najczęściej spotyka się sytuację, w której każdy muzyk z tej grupy gra osobną partię, więc nie występuje tu typowe dla grupy smyczkowej uśrednianie i błędy intonacyjne są słyszalne, da się też określić ich kierunek i stopień. Muzycy grający na instrumentach dętych, ze względu na sposób wydobycia dźwięku, mogą mieć problemy z porównaniem wysokości dźwięku granego przez siebie z dźwiękami otaczającej ich orkiestry, co niejednokrotnie wymaga interwencji i korekty ze strony dyrygenta lub realizatora. Dlatego symulator koncentruje się właśnie na tej grupie instrumentów i do nich wprowadza błędy, generując przykłady muzyczne Formy błędów intonacyjnych Rzeczywiste błędy intonacyjne różnią się między sobą wielkością odchylenia dźwięku od poprawnej wysokości (odstrojeniem) oraz przebiegiem odstrojenia w czasie. Na potrzeby symulacji, aby błędy dało się precyzyjnie i jednoznacznie określić, wielkość odstrojenia została poddana kwantyzacji i może wynosić: -50, -25, 0, 25 i 50 centów. Dodatnia wartość oznacza odstrojenie dźwięku w górę, zero brak odstrojenia, a ujemna odstrojenie w dół. Wyboru stopni odstrojenia oraz dokładności kwantyzacji dokonano opierając się na właściwościach systemu równomiernie temperowanego oraz na różnicach występujących pomiędzy systemami dźwiękowymi. W systemie równomiernie temperowanym kolejne stopnie skali chromatycznej są odległe od siebie o 100 centów (interwał półtonu), więc 50 centów (interwał ćwierćtonu3) jest wartością leżącą dokładnie pomiędzy nimi. Odstrojenie większe niż o 50 centów byłoby interpretowane przez słuchacza nie tylko jako błąd intonacyjny, ale również jako zmiana stopnia skali, czyli tzw. błąd tekstowy. Wielkość 25 centów4, porównywalna z wielkościami komatu pitagorejskiego5 i komatu 3 Interwał wprowadzony do współczesnego języka muzycznego przez czeskiego kompozytora Aloisa Hábę. 4 Równoważna stosunkowi częstotliwości 1,014 : 1. 5 Odpowiadająca stosunkowi częstotliwości 1,014 : 1.

66 Sprzętowo-programowy symulator błędów intonacyjnych 66 syntonicznego6, dochodzi do granic, w których odgrywają rolę różnice pomiędzy systemami dźwiękowymi, a poprawność intonacyjna zależy od kontekstu muzycznego, czyli, między innymi, od granego akordu, stopnia skali, tonacji, artykulacji, czy barwy dźwięku instrumentu. Rzeczywiste błędy intonacyjne zmieniają się w czasie, dlatego symulacja obejmuje również przykłady muzyczne ze zmieniającym się w czasie odstrojeniem. Odstrojenie określa się w nich przy pomocy tych samych stopni, co w przypadku błędów stałych w czasie, jednak tutaj dotyczą one tylko ustalonych chwil czasu, stanowiących punkty węzłowe, takie jak początek i koniec przykładu. Pomiędzy punktami węzłowymi odstrojenie zmienia się w jeden ze zdefiniowanych sposobów, symulujących występujące w rzeczywistości przebiegi. Określenie błędu zmieniającego się w czasie polega na podaniu wielkości odstrojenia w punktach węzłowych oraz typu przebiegu odstrojenia pomiędzy nimi Realizm brzmieniowy symulacji Wprowadzanie błędów intonacyjnych do przykładów muzycznych wymaga ingerencji w linie melodyczne poszczególnych instrumentów. Można to osiągnąć dwoma sposobami: generując przykłady muzyczne przy pomocy syntezatora dźwięku, lub stosując nagrania wielośladowe, w których każdy instrument wymagający kontroli intonacji byłby nagrany na osobnym śladzie. Nawet jednak najbardziej realistyczna metoda syntezy, w postaci samplera z wysokiej jakości próbkami instrumentów, zastosowana samodzielnie pozbawi muzykę elementów decydujących o indywidualnym stylu wykonawczym, wprowadzając wrażenie sztuczności. Wyższy stopień realizmu brzmieniowego zapewnia nagranie wielośladowe. Wymóg izolacji instrumentów w poszczególnych śladach pociąga za sobą jednak konieczność jego realizacji w trybie wielosesyjnym. W metodzie tej muzycy są nagrywani osobno, co poważnie ogranicza możliwość ich współdziałania i w praktyce uniemożliwia naturalne prowadzenie myśli muzycznej, szczególnie w dziedzinie czasu, powodując częściową utratę realizmu brzmieniowego. Ponadto, w nagraniach muszą brać udział profesjonalni wykonawcy, ponieważ jedynie tacy mogą zapewnić wymaganą precyzję intonacyjną. Rozwiązanie to jest więc kosztowne i czasochłonne, ograniczając wielkość bazy przykładów muzycznych oraz możliwości jej rozszerzenia. Żadna z opisanych technik zastosowana samodzielnie nie prowadzi do uzyskania realistycznie brzmiących przykładów muzycznych z możliwością kontroli intonacji indywidualnych instrumentów. Dlatego symulator wykorzystuje elementy każdej z nich, łącząc fragmenty istniejących nagrań cyfrowych z jedną lub trzema ścieżkami generowanymi przez sampler. 6 Odpowiadająca stosunkowi częstotliwości 1,013 : 1.

67 Sprzętowo-programowy symulator błędów intonacyjnych Projekt i realizacja symulatora Symulator błędów intonacyjnych jest stanowiskiem łączącym elementy sprzętowe i programowe. Opiera się na oryginalnym, autorskim oprogramowaniu, stworzonym od podstaw na potrzeby realistycznej symulacji błędów intonacyjnych w przykładach muzycznych. Elementy symulatora oraz rodzaj przekazywanych pomiędzy nimi informacji przedstawiono schematycznie na rys Do chwili obecnej zrealizowano dwa stanowiska, różniące się elementami sprzętowymi. Pierwsze powstało w Akademii Muzycznej w Krakowie i funkcjonuje w pracowniach Zespołu Kształcenia Słuchu (rys. 4.2). Drugie działa w Laboratorium Inżynierii Dźwięku Katedry Mechaniki i Wibroakustyki Akademii Górniczo-Hutniczej w Krakowie. Rysunek 4.2: Stanowisko symulatora w Akademii Muzycznej w Krakowie (A wzmacniacz mocy, B1, B2 monitory odsłuchowe, C urządzenia peryferyjne komputera) Sprzętowe elementy symulatora Centralnym elementem części sprzętowej symulatora błędów intonacyjnych jest komputer PC wyposażony w kartę dźwiękową, połączoną ze wzmacniaczem mocy i kolumnami głośnikowymi lub z aktywnymi monitorami odsłuchowymi. Konfiguracja komputera ma znaczenie drugorzędne. Musi jedynie zapewnić moc obliczeniową i pamięć, wystarczające do swobodnego działania samplera i programu symulatora oraz przechowywania 200 MB próbek dźwiękowych. Sprzęt odsłuchowy powinien poprawnie reprodukować nagrania stereofoniczne. Wyposażenie obydwu stanowisk zestawiono w tab. 4.1.

68 Sprzętowo-programowy symulator błędów intonacyjnych 68 SŁUCHACZ sprzęt klawiatura mysz monitor komputera karta dźwiękowa WE WY mikser GUI cyfrowe nagranie orkiestry [SD] program symulatora monitory odsłuchowe WY wzmacniacz mocy wygenerowany sygnał instrumentów (z błędem) [SD] komunikaty MIDI sampler próbki instrumentów oprogramowanie komputer sprzęt audio SYMULATOR BŁĘDÓW INTONACYJNYCH WE WY GUI SD wejście wyjście graficzny interfejs użytkownika sygnał dźwiękowy Rysunek 4.3: Schemat symulatora

69 Sprzętowo-programowy symulator błędów intonacyjnych 69 Nie wszystkie modele kart dźwiękowych współpracują z programowymi samplerami. Zastosowany w symulatorze Gigasampler wymaga, aby sterownik karty dźwiękowej obsługiwał protokół GSIF. Oryginalne sterowniki E-mu APS oraz Creative Sound Blaster Audigy 2 dla systemu Microsoft Windows XP nie są zgodne z tym protokołem, dlatego użyto sterowników kx [www: kx], opracowanych przez niezależny zespół programistów do współpracy z oprogramowaniem studyjnym i zgodnych z GSIF. Tabela 4.1: Wyposażenie stanowisk symulatora Stanowisko Akademia Muzyczna Akademia w Krakowie Górniczo-Hutnicza Sprzęt komputerowy Procesor centralny Intel Pentium 4 HT 2,6 GHz AMD Athlon 950 MHz (CPU) (rdzeń Northwood) (rdzeń Thunderbird) Płyta główna Asus P4C800 Asus A7V (układ Intel i875p) (układ Via KT133) Pamięć operacyjna 1 GB 384 MB (RAM) (2x512 MB, dual DDR SDRAM) ( MB, SDRAM) Pamięć masowa Dysk twardy Seagate 120 GB Dysk twardy Seagate 10 GB ST AS, ST310232A, napęd optyczny Pioneer napęd optyczny Liteon DVD-RW DVR-110D DVD-RW LDW-411S Karta graficzna Ati Radeon 9200SE Ati Radeon 9600 Monitor komputera Sony Multiscan 200ES 17 CRT Sony GDM-F500R 21 CRT Karta dźwiękowa E-mu APS Creative Sound Blaster Audigy 2 Platinum Sprzęt odsłuchowy Wzmacniacz mocy Aktywne monitory odsłuchowe Technics SU-V500, Genelec 1032A pasywne monitory odsłuchowe Tannoy PBM 6.5 II Programowe elementy symulatora Oprogramowanie symulatora pracuje pod kontrolą systemu operacyjnego Microsoft Windows XP. Główny program symulatora steruje procesem generowania i odtwarzania

70 Sprzętowo-programowy symulator błędów intonacyjnych 70 przykładów muzycznych oraz odpowiada za interakcję z użytkownikiem poprzez graficzny interfejs (ang. Graphical User Interface, GUI). Program symulatora komunikuje się z programowym samplerem Gigasampler przy pomocy protokołu MIDI. Sampler korzysta ze znajdującego się na twardym dysku komputera zestawu próbek dźwiękowych, obejmującego nagrania instrumentów dętych orkiestry symfonicznej Program symulatora Pracą symulatora steruje autorski program komputerowy. Odpowiada on za najważniejsze funkcje symulatora, opisane w kolejnych rozdziałach, stanowi więc kluczowy element całego stanowiska. Jego rolą jest również interakcja z użytkownikiem przez graficzny interfejs. Wprowadzanie danych odbywa się poprzez wybór odpowiedniej pozycji z listy lub wciśnięcie opisanego przycisku. Dane wyjściowe są prezentowane w jednej z trzech form: krótkiego tekstu, grafiki, lub sygnału dźwiękowego. Praca z symulatorem nie wymaga znajomości komend i składni, ponieważ program dostarcza wszystkich niezbędnych w danej chwili informacji. Kod źródłowy programu symulatora powstał w języku C++. Najnowszą wersję programu skompilowano dla systemu Microsoft Windows XP w środowisku Turbo C++ Explorer [www: TurboC++]. Program jest autonomiczny funkcjonuje samodzielnie pod kontrolą systemu operacyjnego. Do uruchomienia i pracy nie wymaga dodatkowych środowisk, takich jak maszyna wirtualna7, czy interpreter8. Wykorzystuje wyłącznie standardowe biblioteki9 obecne w systemie operacyjnym. Pominięcie niepotrzebnych warstw abstrakcji10 znacząco redukuje jego zapotrzebowanie na pamięć operacyjną i moc obliczeniową, umożliwiając niezawodną współpracę ze złożonym i pochłaniającym dużą część zasobów komputera oprogramowaniem, jakim jest zaawansowany sampler programowy. Używane w niniejszej pracy nazewnictwo elementów symulatora do pewnego stopnia odbiega od tego, które zastosowano w programie symulatora, co można zauważyć śledząc rysunki przedstawiające okna programu. Rozbieżność ta wynika z konieczności wprowadzenia precyzyjnej systematyki elementów symulatora w tekście pracy, przy równoczesnej potrzebie zachowania zwięzłości i zrozumiałości terminologii programu dla użytkownika. 7 Maszynami wirtualnymi (ang. virtual machine, VM) nazywane są programy tworzące środowisko uruchomieniowe dla innych programów. 8 Interpreter jest programem analizującym kod źródłowy innego programu i wykonującym przeanalizowane fragmenty. Konieczność każdorazowej analizy kodu źródłowego sprawia, że interpretacja jest wolniejsza niż uruchamianie skompilowanego programu. 9 Biblioteka jest zbiorem gotowych do wykorzystania funkcji, klas i elementów programów komputerowych. 10 Warstwy abstrakcji służą ukrywaniu szczegółów implementacji, poprzez wprowadzenie pośredniego modelu udostępniającego uproszczony i ujednolicony interfejs.

71 Sprzętowo-programowy symulator błędów intonacyjnych Korekcja intonacji próbek instrumentów Uczestnicy wstępnych testów symulatora studenci dyrygentury sygnalizowali, że intonacja wielu przykładów muzycznych które, wedle wskazań programu symulatora, nie zawierały błędu intonacyjnego, była zła. Źródłem niezamierzonych błędów intonacyjnych okazała się zła intonacja wykorzystywanych przez sampler próbek instrumentów muzycznych. Gigasampler umożliwia ich precyzyjne (z dokładnością 1 centa) dostrojenie, wymaga to jednak liczbowego określenia wielkości odstrojenia każdej z nich. Ze względu na to, że nawet wytrenowani słuchacze, tacy jak dyrygenci, nie są w stanie określić odstrojenia w taki sposób, konieczne było zastosowanie obiektywnego narzędzia do precyzyjnej i niezawodnej oceny intonacji próbek instrumentów. Wypróbowano w tym celu program Cool Edit, jednak jego algorytm oceny wysokości dał w przypadku wielu próbek całkowicie błędne wyniki. Działo się tak, gdy badano dźwięki z niskich rejestrów, dźwięki o słabym tonie podstawowym lub w ogóle nie posiadające tego tonu, a także dźwięki reprezentujące krótką artykulację (staccato). Badanie intonacji różni się od szukania częstotliwości podstawowej dźwięku tym, że w pierwszym przypadku znana jest wysokość jaką ten dźwięk powinien posiadać i, dodatkowo, wysokość ta jest bliska jego rzeczywistej wysokości. Algorytmy zastosowane w programie Cool Edit oraz podobnych narzędziach, szukając nieznanej częstotliwości podstawowej nie korzystają z tej informacji. Podanie przybliżonej wysokości może znacznie zawęzić zakres poszukiwań, a zarazem redukuje możliwości wystąpienia błędu, zaprojektowano więc i zaimplementowano w postaci programu komputerowego autorski, wyspecjalizowany algorytm, oceniający odstępstwo częstotliwości podstawowej, lub częstotliwości harmonicznych badanego dźwięku, od podanej częstotliwości wzorcowej [Pluta 2006]. Opierając się na zadanej częstotliwości wzorcowej, algorytm dokonuje rekurencyjnej pasmowej filtracji sygnału dźwiękowego w dziedzinie częstotliwości oraz w dziedzinie czasu. Wynikiem jego działania jest różnica w centach pomiędzy częstotliwością wzorcową, a częstotliwością najbliższej jej składowej badanego sygnału. Do poprawnego działania algorytmu wystarcza istnienie któregokolwiek z tonów składowych dźwięku. Działa on nie tylko dla wielotonów harmonicznych, ale również dla tonów prostych oraz dla dźwięków o zdegenerowanych widmach, może więc zostać wykorzystany do badania intonacji dźwięków o słabym tonie podstawowym, takich jak dźwięki z niskich rejestrów, a nawet dźwięków w ogóle nie posiadających tego tonu w swoim widmie. Wykorzystując wskazania algorytmu skorygowano w samplerze intonację wszystkich wykorzystywanych próbek dźwiękowych, w tym także tych, w przypadku których Cool Edit podawał błędne wyniki. Grupa studentów dyrygentury, która wskazała na dyskwalifikującą intonację próbek przed ich nastrojeniem, po nastrojeniu określiła ją jako poprawną. Dopiero tak

72 Sprzętowo-programowy symulator błędów intonacyjnych 72 przygotowane sampler i próbki instrumentów wykorzystano w ostatecznej wersji symulatora Konstrukcja, generowanie i odtwarzanie przykładów muzycznych Elementy przykładu muzycznego W toku symulacji program symulatora prezentuje przykłady muzyczne, w których wprowadza błędy intonacyjne do linii melodycznej wybranych instrumentów. Przykłady muzyczne powstają przez synchroniczne odtworzenie dwóch warstw: cyfrowego nagrania rzeczywistej orkiestry oraz warstwy syntetycznej (rys. 4.4). Nagranie orkiestry, odtwarzane bezpośrednio przez program symulatora i nie podlegające trakcie w tego procesu modyfikacjom, jest nośnikiem informacji decydujących o wrażeniu realizmu brzmieniowego, których nie da się symulować od podstaw Rysunek 4.4: Warstwy przykładu muzycznego przy pomocy syntezy dźwięku. Są to elementy indywidualnego stylu i prowadzenia myśli muzycznej, objawiające się fluktuacjami parametrów takich jak tempo, rytm, dynamika, czy artykulacja. Jednocześnie warstwa nagrania, nie zawierając błędów intonacyjnych, stanowi dla słuchacza intonacyjny układ odniesienia. W trakcie odtwarzania nagrania orkiestry program symulatora steruje samplerem, wysyłając do niego w określonych momentach komunikaty MIDI, na podstawie których sampler generuje warstwę syntetyczną, czyli jedną lub trzy ścieżki zawierające linie melodyczne wybranych instrumentów dętych, do których wprowadza określone przez program symulatora błędy intonacyjne (rys. 4.5). Ścieżki te są więc nośnikiem informacji o błędzie intonacyjnym. Warstwa syntetyczna nie może zakłócać realizmu brzmieniowego nagrania orkiestry, nie powinna więc wyróżniać się na jego tle, dlatego ważne jest dopasowanie barwy, artykulacji, dynamiki i przede wszystkim czasu wystąpienia dźwięków syntetycznych do dźwięków rzeczywistej orkiestry.

73 Sprzętowo-programowy symulator błędów intonacyjnych 73 cyfrowe nagranie orkiestry wejście sygnały wyzwalające t1 t2 ti ti+1 tn ścieżka MIDI b1 a1 w1 b2 a2 w2 bi ai wi bi+1 ai+1 wi+1 bn an wn wi ai sampler bi wybór brzmienia (instrumentu i artykulacji) bank próbek dźwiękowych wybór próbki dźwiękowej o przybliżonej wysokości kontrola obwiedni ADSR transpozycja próbki dźwiękowej (decymacja/interpolacja) do dokładnej wysokości mikser karty dźwiękowej kontroler precyzyjnej zmiany wysokości (ang. pitch wheel) wprowadzany błąd intonacyjny (t) kontrola dostrajania (t) transpozycja próbki dźwiękowej (t) generowana ścieżka instrumentu wejście ti ti+1 Rysunek 4.5: Odtwarzanie przykładu muzycznego

74 Sprzętowo-programowy symulator błędów intonacyjnych 74 Przykład muzyczny, docierając do miksera karty dźwiękowej, przyjmuje postać: k y t p =x o t p x s t p, (4.1) s=1 gdzie: t p czas, mierzony w próbkach sygnału, k liczba ścieżek syntetycznych instrumentów (1 lub 3), x o przebieg czasowy cyfrowego nagrania orkiestry, x s przebieg czasowy pojedynczej ścieżki warstwy syntetycznej. Symulator dysponuje zestawem fragmentów nagrań utworów muzycznych. Do każdego nagrania przypisany jest zbiór danych, nazywany ścieżką MIDI, definiujących nuty generowane przez sampler w ramach ścieżek syntetycznych. Nutę opisują cztery parametry: czas rozpoczęcia t i, mierzony w próbkach sygnału od początku nagrania, brzmienie bi, amplituda a i oraz wysokość w i. Brzmienie oznacza numer próbki dźwiękowej, decyduje więc o tym, jaki instrument i jaką artykulacją wykona nutę. Amplituda reprezentuje muzyczną dynamikę dźwięku, a technicznie realizowana jest poprzez kontroler MIDI opisujący szybkość z jaką naciśnięto klawisz instrumentu (ang. velocity) i steruje kształtem obwiedni ADSR. Wysokość odpowiada za częstotliwość podstawową dźwięku11. Przebieg czasowy ścieżki pojedynczego instrumentu z warstwy syntetycznej generowany jest na podstawie wymienionych parametrów z uwzględnieniem zadanego błędu intonacyjnego: x s t p =x s b t i t p, a t i t p, w t i t p, o t p, (4.2) gdzie o t p oznacza odstrojenie ścieżki w chwili t p, o jest więc przebiegiem czasowym błędu intonacyjnego. Ścieżka MIDI jest zapisana i na stałe związana z fragmentem nagrania. Inaczej jest w przypadku przebiegów błędów intonacyjnych, są one bowiem generowane przez program symulatora na bieżąco, podczas pracy. Dzięki temu, do każdego nagrania można wprowadzić dowolny błąd intonacyjny co sprawia, że na podstawie nawet niewielkiej bazy fragmentów muzycznych da się wygenerować dużą liczbę różniących się od siebie przykładów muzycznych. 11 W standardzie MIDI częstotliwości podstawowe dźwięków poddano kwantyzacji, opierając się na skali chromatycznej w systemie równomiernie temperowanym. Wysokość oznacza numer nuty związanej z konkretną częstotliwością, więc wykorzystując jedynie ten parametr nie da się uzyskać dźwięków o częstotliwościach leżących poza stopniami systemu równomiernie temperowanego.

75 Sprzętowo-programowy symulator błędów intonacyjnych Rysunek 4.6: Algorytm synchronizacji warstw przykładu muzycznego 75

76 Sprzętowo-programowy symulator błędów intonacyjnych Synchronizacja warstw przykładu muzycznego Połączenie cyfrowych nagrań oraz realizowanych przez syntezator ścieżek MIDI jest szeroko stosowane w aranżacji muzyki rozrywkowej. Synchronizacja czasowa obydwu warstw następuje tam jednak najczęściej poprzez dokonywanie nagrań zgodnie ze wskazaniami metronomu lub ścieżki syntetycznej. Nadrzędna rytmicznie jest więc warstwa syntetyczna, do której dopasowuje się nagranie. W symulatorze błędów intonacyjnych ma miejsce odwrotna sytuacja: w procesie przygotowania przykładów muzycznych wykorzystywane są istniejące nagrania, do których należy dopasować ścieżki syntetyczne. Zachowanie nierównomierności tempa i rytmu obecnych w nagraniu żywych muzyków jest niezwykle istotne, ponieważ naturalne fluktuacje tych parametrów stanowią jeden z podstawowych elementów decydujących o indywidualnym stylu wykonawcy, mają więc duży wkład w ostateczny realizm brzmieniowy. Do osiągnięcia synchronizacji pomiędzy nagraniem i ścieżkami syntetycznymi nie wystarcza samo ustalenie czasów rozpoczęcia i trwania dźwięków w ścieżce MIDI tak, aby odpowiadały one czasom w nagraniu. Chwilowe obciążenie komputera przez inny pracujący w tym samym czasie proces, może w różnym stopniu opóźnić działanie wątków odtwarzających każdą z warstw, skutkując słyszalną utratą synchronizacji, a więc i realizmu brzmieniowego, ponieważ przesunięte w czasie ścieżki syntetyczne są łatwo rozróżnialne na tle nagrania. Już niewielkie przesunięcie warstw może być zauważalne. Przykładowo, w tempie presto, przy 140 ćwierćnutach na minutę, czas trwania pojedynczej szesnastki wynosi niecałe 110 ms. W tych warunkach opóźnienie rzędu 55 ms powoduje przesunięcie rytmu o wartość trzydziestodwójki i granie dokładnie pomiędzy dźwiękami. Aby zapobiec powstawaniu przesunięć, program symulatora wykorzystuje autorską metodę odtwarzania przykładów muzycznych, w której synchronizacja warstw następuje na początku każdej nuty, co pozwala na natychmiastowe odzyskanie synchronizacji, nawet w przypadku wystąpienia dużych opóźnień między warstwami. Opisywana metoda (rys. 4.6) opiera się na odczycie znacznika położenia w odtwarzanym nagraniu i wykorzystaniu go w roli zegara dla ścieżek syntetycznych. Wymaga ona specyficznej konstrukcji ścieżek MIDI, w których w miejsce wartości rytmicznych lub czasów trwania podane są numery próbek sygnału od których w nagraniu orkiestry rozpoczynają się odpowiednie dźwięki. Próbki te są wyszukiwane przy pomocy edytora nagrań cyfrowych12 podczas przygotowania bazy przykładów. W trakcie odtwarzania przykładu, sampler otrzymuje od programu symulatora rozkaz wyzwolenia nuty w momencie, gdy znacznik położenia w nagraniu przekroczy próbkę o określonym numerze. W ten sposób ścieżka MIDI precyzyjnie podąża za wszelkimi niuansami agogicznymi obecnymi w nagraniu. Dźwięki ścieżek syntetycznych, niezależnie od wartości 12 W tym celu skorzystano z programu Audacity [www: Audacity].

77 Sprzętowo-programowy symulator błędów intonacyjnych 77 rytmicznych w zapisie nutowym utworu muzycznego, pojawiają się dokładnie w tych momentach, w których występują one w nagraniu, przez co ścieżki te charakteryzują się tym samym co nagranie, naturalnym przebiegiem rytmu i tempa Sterowanie intonacją warstwy syntetycznej Do sterowania intonacją dźwięków warstwy syntetycznej program symulatora wykorzystuje komunikat MIDI pitch wheel, odpowiedzialny za realizację portamento, czyli płynnego przejścia pomiędzy stopniami skali muzycznej. Z komunikatem wysyłana jest 14-bitowa liczba całkowita, określająca wielkość przesunięcia wysokości dźwięku względem wartości określonej systemem dźwiękowym. Wysokość można przesunąć w zakresie od całego tonu w dół, do całego tonu w górę13 [www: MIDISpec], uzyskując teoretyczną dokładność 12 bitów na półton lepszą, niż 1/40 centa. W praktyce, realizacja odstrojenia zależy od syntezatora. Komunikat pitch wheel może zostać wysłany w czasie włączania oraz w czasie trwania dźwięku, umożliwiając płynną kontrolę intonacji na przestrzeni przykładu muzycznego program symulatora wysyła komunikaty o jej zmianie w odstępach 5 ms (rys. 4.5). O kształcie zmian odstrojenia linii melodycznej w czasie decyduje funkcja, której parametry są ustalane w momencie tworzenia przykładu muzycznego, kiedy zapada decyzja o rodzaju błędu. Wartości odstrojenia są obliczane i wysyłane do samplera na bieżąco, na podstawie aktualnie odtwarzanej próbki sygnału orkiestry. W zależności od wybranej funkcji oraz jej parametrów, program symulatora może generować przykłady ze stałym, lub w różny sposób zmieniającym się w czasie błędem intonacyjnym. W przypadku wprowadzania błędu do grupy trzech instrumentów, sterowanie intonacją każdego z nich jest niezależne, można więc wprowadzić równocześnie różne błędy. W przykładach muzycznych w których błąd intonacyjny nie zmienia się w czasie, funkcja opisująca przebieg odstrojenia jest funkcją stałą, o wartości odpowiadającej ustalonemu stopniowi odstrojenia. W przebiegu pozostałych przykładów określone są dwa (początek i koniec przykładu) lub cztery punkty węzłowe, w których odstrojenie przyjmuje jedną z 5 określonych wartości. Na przestrzeni odcinków pomiędzy punktami węzłowymi błąd intonacyjny zmienia się w jeden z czterech sposobów (rys. 4.7). Jeżeli b p i b k, należące do zbioru liczb { 2, 1, 0,1, 2}, odpowiadającego odstrojeniom o { 50, 25, 0, 25,50 } centów, są odstrojeniem początku i końca odcinka14, to błąd intonacyjny w chwili t, znajdującej się pomiędzy chwilą początkową t p i końcową t k, jest określony jednym z następujących wzorów: 13 Specyfikacja MIDI przewiduje możliwość zadania innego zakresu. 14 Wyjątkiem jest krzywa b2, w przypadku której b k jest odstrojeniem środka odcinka.

78 Sprzętowo-programowy symulator błędów intonacyjnych b1 t =b p b k b p t t p t k t p b 2 t =b p b k b p sin b 4 t =b p bk b p tgh s, t t p t k t p b3 t =b p b k b p 1 tgh s 78 (4.3), (4.4) t t k t k t p. t t p t k t p, (4.5) (4.6) Parametr s, występujący w dwóch ostatnich wzorach, określa stromość krzywej w jej początkowym lub końcowym odcinku. Każdy z wymienionych przebiegów może zostać wykorzystany w przykładach z dwoma punktami węzłowymi (początek koniec). Krzywa b3 symuluje sytuację, w której instrumentaliście pod koniec frazy kończy się oddech, na skutek czego nie jest w stanie utrzymać stałej Rysunek 4.7: Przebiegi odstrojenia dla przykładowego zestawu parametrów: t p =0, t k =10, b p= 1, b k =2 prędkości strumienia powietrza i wysokość granego przez niego dźwięku ulega zmianie. Krzywa b 4 odpowiada przypadkowi, w którym instrumentalista po rozpoczęciu gry próbuje skorygować swoją intonację. Efekt tzw. szukania dźwięku jest symulowany krzywą b 2. Przy podziale przykładu na trzy odcinki czterema punktami węzłowymi, symulator stosuje wyłącznie wzór b1. Przebieg odstrojenia jest wtedy opisywany linią łamaną, symulującą dowolne zmiany odstrojenia. Wygenerowanie błędu w symulatorze wymaga więc określenia następujących parametrów: stopnia odstrojenia w każdym z punktów węzłowych (5 różnych stopni), rodzaju przebiegu odstrojenia pomiędzy punktami węzłowymi (4 różne przebiegi). Zakres zmian niektórych parametrów może zostać zawężony. W zależności od potrzeb, otrzymuje się wówczas błędy o zredukowanym stopniu złożoności.

79 Sprzętowo-programowy symulator błędów intonacyjnych Artykulacja w ścieżkach syntetycznych Wiele syntezatorów pracuje wyłącznie w trybie General MIDI, definiującym zestaw 128 brzmień, wśród których na większą część instrumentów przypada po jednym brzmieniu [www: MIDISpec] co sprawia, że ich dźwięki są wykonywane zawsze tą samą artykulacją. Zastosowanie w symulatorze programowego samplera, który nie jest ograniczony do trybu General MIDI, daje możliwość wykorzystania próbek dźwiękowych obejmujących różne rodzaje artykulacji i wprowadzenia zmian artykulacyjnych do ścieżek instrumentów odtwarzanych przez sampler. Można dzięki temu dopasować artykulację, a więc i barwę warstwy syntetycznej, do artykulacji instrumentów obecnych w nagraniu. W grze żywego muzyka artykulacja ulega nieustanym zmianom, często bardzo subtelnym, czego nie da się dokładnie odtworzyć wykorzystując ograniczony zestaw próbek dźwiękowych, który w symulatorze obejmuje, w zależności od instrumentu, od 3 do 9 rodzajów artykulacji. Można jednak dokonać przybliżonego dopasowania artykulacji ścieżek MIDI do nagrania. Proces ten przebiega w dwóch etapach. W pierwszym, artykulacja warstwy syntetycznej zostaje ustalona na podstawie partytury utworu (zapisu nutowego). Drugi etap obejmuje serię odsłuchów obydwu warstw przykładu, podczas których korygowana jest artykulacja tych dźwięków warstwy syntetycznej, które w słyszalny sposób wyróżniają się na tle nagrania Przebieg dynamiki w ścieżkach syntetycznych Artykulacja, jako sposób wydobycia dźwięku, jest silnie związana z dynamiką, odpowiadającą za wrażenie głośności dźwięków muzycznych. Aby uzyskać realistyczną symulację, przebieg dynamiki warstwy syntetycznej należy dopasować do przebiegu dynamiki w nagraniu. Pierwotnie zastosowano w tym celu metodę analogiczną do dopasowania artykulacji. Dynamikę dźwięków syntetycznych ustalano zgodnie z zapisem partyturowym, a następnie korygowano w serii odsłuchów. Takie dopasowanie było jednak mało dokładne: uzyskiwano dynamikę płaszczyznową15, bez związanych z indywidualnym stylem gry zmian w małej skali, zarówno dynamicznej, jak i czasowej. W celu poprawy jakości symulacji opracowano autorską, bardziej precyzyjną metodę. Metoda ta (rys. 4.8) opiera się na fakcie, że w przeciwieństwie do artykulacji, którą trudno jest sparametryzować, muzyczną dynamikę można określić mierząc wartość skuteczną sygnału x składającego się z n próbek jako: 15 Dynamika płaszczyznowa operuje małą liczbą ustalonych stopni dynamicznych, bez płynnych przejść pomiędzy nimi.

80 Sprzętowo-programowy symulator błędów intonacyjnych 80 n 1 x RMS = xi2, n i=1 (4.7) Wielkość ta opisuje dynamikę bardziej precyzyjnie, niż określenia stosowane w zapisie nutowym i, mierzona w odpowiednich odcinkach czasu, może oddać rzeczywisty przebieg dynamiki w nagraniu. Jako wzorzec wykorzystano określany na podstawie nagrań stosunek wartości skutecznej sygnału rzeczywistego instrumentu do wartości skutecznej sygnału rzeczywistej orkiestry. Opisywana metoda dąży do osiągnięcia tego stosunku osobno dla każdej nuty. Program symulatora steruje dynamiką dźwięków generowanych przez sampler poprzez 7bitowy kontroler velocity, odpowiadający za szybkość naciśnięcia klawisza instrumentu. Wartość velocity wpływa na kształt obwiedni ADSR próbki dźwiękowej i choć nie jest określone, w jaki sposób zmienia wartość skuteczną wygenerowanego dźwięku, można to zmierzyć rejestrując go. Pierwszym etapem dopasowania jest odtworzenie i jednoczesna rejestracja nagrania orkiestry, co pozwala uwzględnić parametry miksera karty dźwiękowej. Zarejestrowany sygnał dzielony jest na odcinki odpowiadające kolejnym nutom. Paramter velocity wszystkich nut ścieżki syntetycznej zostaje ustalony na połowę skali (64), a wielkość jego zmiany D na połowę tej wartości (32). Dopasowanie przebiega w pętli, rozpoczynającej się odtworzeniem ścieżki syntetycznej z aktualnie ustalonymi wartościami velocity. Podobnie jak warstwa nagrania, syntetyczna ścieżka jest w trakcie odtwarzania rejestrowana, a zarejestrowany sygnał dzielony na odcinki odpowiadające kolejnym nutom. Dzięki rejestracji obydwu warstw, pomiar wartości skutecznej jest dokonywany na sygnałach wygenerowanych w tych samych warunkach chodzi w szczególności o parametry miksera karty dźwiękowej oraz ewentualne dodatkowe elementy programowej części toru fonicznego, mogące w różny sposób wpływać na każdą warstwę. Następnie obliczana jest wartość skuteczna kolejnych odcinków, przy czym wartości dla warstwy syntetycznej są skalowane zgodnie z ustalonym na początku stosunkiem, a odpowiadające sobie wartości dla obydwu warstw są porównywane. W zależności od wyniku tego porównania, parametr velocity odpowiadającej danemu odcinkowi nuty jest zwiększany lub zmniejszany o D, po czym D zostaje zmniejszone o połowę. Pętla jest powtarzana dopóty, dopóki zmniejszanie zmiennej D jest możliwe. Dzięki opisanej metodzie, przebieg dynamiki ścieżek syntetycznych naśladuje naturalne zmiany obecne w nagraniu orkiestry, realizując w ten sposób kolejny element związany z interpretacją utworu przez żywych muzyków. Biorąca udział we wstępnych testach grupa studentów dyrygentury zwróciła uwagę na wyraźną poprawę realizmu brzmieniowego osiągniętą po zastosowaniu opisanej metody, w porównaniu do efektu uzyskanego metodą stosowaną wcześniej.

81 Sprzętowo-programowy symulator błędów intonacyjnych Rysunek 4.8: Algorytm dopasowania dynamiki warstwy syntetycznej do nagrania 81

82 Sprzętowo-programowy symulator błędów intonacyjnych Przygotowanie materiału do przykładów muzycznych Symulator generuje przykłady muzyczne w trakcie pracy, na bieżąco, bazując na przygotowanym wcześniej materiale, przechowywanym wraz z programem symulatora na dysku twardym komputera. Materiał ten obejmuje fragmenty nagrań muzyki symfonicznej oraz pliki zawierające parametry ścieżek syntetycznych związanych z danym nagraniem, a jego przygotowywanie wymaga wiedzy muzycznej, w tym umiejętności czytania partytur. W procesie dopasowania warstwy syntetycznej do nagrania niezbędna jest możliwość osłuchu obydwu warstw. Zaprojektowano więc program, zaimplementowany w języku C++, którego rolą jest ułatwienie przygotowania i edycji materiału. Rysunek 4.9: Edytor fragmentów muzycznych Edytor fragmentów muzycznych (rys. 4.9) jest wyposażony w graficzny interfejs użytkownika (GUI) i posiada następujące funkcje: wprowadzanie do ścieżek syntetycznych nut o zadanych parametrach (czas wystąpienia,

83 Sprzętowo-programowy symulator błędów intonacyjnych 83 wysokość, próbka instrumentu, amplituda), modyfikacja parametrów nut w ścieżkach syntetycznych, usuwanie nut ze ścieżek syntetycznych, automatyczne dopasowanie wartości skutecznej przebiegów syntetycznych do nagrania, edycja opisu i kategorii fragmentu utworu, dopasowanie częstotliwości odniesienia ścieżek syntetycznych do nagrania. W muzycznych systemach dźwiękowych częstotliwości są obliczane względem zadanej częstotliwości odniesienia, która w przypadku samplera wynosi 440 Hz i odpowiada dźwiękowi a1. W nagraniach częstotliwość ta zwykle w różnym stopniu odbiega od 440 Hz. Edytor przykładów pozwala określić różnicę pomiędzy częstotliwościami odniesienia obydwu warstw w sposób analogiczny do strojenia instrumentu: poprzez regulację położenia suwaka. Odsłuch materiału uwzględnia ustawioną różnicę, więc gdy przestaje ona być słyszalna oznacza to, że została określona poprawnie. Znaleziona wartość jest wykorzystywana przez symulator błędów intonacyjnych, który w trakcie generowania przykładów muzycznych, przed wprowadzeniem błędu intonacyjnego, przesuwa o nią wysokości wszystkich dźwięków warstwy syntetycznej Funkcje symulatora Rolą symulatora jest generowanie i prezentacja słuchaczowi przykładów muzycznych zawierających celowo wprowadzone błędy intonacyjne. W ramach tego zadania funkcje symulatora obejmują: interakcję z użytkownikiem poprzez graficzny interfejs użytkownika (GUI), prezentację przykładów muzycznych z określonymi przez użytkownika błędami intonacyjnymi, prezentację przykładów muzycznych z losowymi błędami intonacyjnymi, ocenę poprawności odpowiedzi użytkownika w testach słuchowych, rejestrację wybranych parametrów pracy słuchacza z symulatorem i zarządzanie bazą danych słuchaczy, zarządzanie bazą materiałów, na podstawie których generowane są przykłady muzyczne, umożliwienie zawężenia zmian parametrów błędów intonacyjnych poprzez określenie kategorii błędów.

84 Sprzętowo-programowy symulator błędów intonacyjnych 84 START dydaktyka test D1: wybór rodzaju ćwiczenia GWR T1: wybór rodzaju ćwiczenia GWR D2: wylosowanie fragmentu utworu GLR T2: wylosowanie fragmentu utworu GLR D3: wybór błędu intonacyjnego GWR T3: wylosowanie błędu intonacyjnego LR T4: odsłuch przykładu DR D4: odsłuch przykładu D T5: określenie GWR usłyszanego błędu T6: dodatkowy odsłuch przykładu Grubsze strzałki obejmują cały cykl pojedynczego przykładu: od wygenerowania do odpowiedzi. G D W informacja na ekranie prezentacja sygnału dźwiękowego wprowadzenie danych L R D losowanie rejestracja danych do pliku Rysunek 4.10: Schemat pracy z symulatorem

85 Sprzętowo-programowy symulator błędów intonacyjnych Praca z symulatorem Program symulatora umożliwia pracę w dwóch trybach. W trybie dydaktycznym słuchacz zadaje błąd intonacyjny, który zostanie wprowadzony do przykładu muzycznego generowanego i odtwarzanego przez symulator. W trybie testowym symulator automatycznie generuje przykład muzyczny, wprowadzając losowy błąd intonacyjny do losowego fragmentu muzycznego Cykl pracy z przykładami muzycznymi Cykl pracy z przykładami muzycznymi zależy od wybranego trybu (rys. 4.10). W trybie dydaktycznym użytkownik może swobodnie przechodzić pomiędzy etapami. Tryb testowy wymusza realizację pełnego cyklu. 1. Po przejściu w tryb dydaktyki lub testu, słuchacz wybiera rodzaj ćwiczenia (D1/T1) (rys. 4.11). Określa w ten sposób kategorię błędów intonacyjnych wprowadzanych do przykładów muzycznych, a więc zakres zmian parametrów odstrojeń. 2. Program symulatora losuje fragment muzyczny do którego zostanie wprowadzony błąd (D2/ T2). W trybie dydaktycznym etap ten można powtarzać do momentu uzyskania żądanego fragmentu. 3. Określany jest błąd intonacyjny wprowadzany do przykładu muzycznego. W trybie dydaktycznym (D3) parametry błędu ustala użytkownik. W trybie testowym (T3) parametry są losowane przez program symulatora, a użytkownik otrzymuje wyłącznie informację o instrumentach w których błąd może wystąpić, nie otrzymuje natomiast informacji o parametrach błędu. 4. Symulator odtwarza wygenerowany przykład muzyczny (D4/T4). Przykładu można słuchać dowolną liczbę razy, możliwe jest również przerwanie odsłuchu w trakcie odtwarzania. W trybie dydaktycznym po zakończeniu odsłuchu można wybrać inny błąd intonacyjny dla tego samego fragmentu muzycznego (D3), lub wylosować nowy fragment muzyczny (D2). 5. W trybie testowym słuchacz dokonuje analizy słuchowej przykładu muzycznego i na jej podstawie określa parametry błędu intonacyjnego, czyli udziela odpowiedzi na zadanie testowe (T5). Program symulatora ocenia poprawność tej odpowiedzi. 6. Przed powrotem do losowania fragmentu muzycznego (T2), słuchacz może ponownie odsłuchać wygenerowany przykład muzyczny (T6). Na tym etapie symulator informuje o rzeczywistych parametrach błędu intonacyjnego.

86 Sprzętowo-programowy symulator błędów intonacyjnych 86 Rysunek 4.11: Program symulatora - wybór trybu i rodzaju ćwiczenia Rysunek 4.12: Ćwiczenie 1 Rysunek 4.13: Ćwiczenie 2 Rysunek 4.14: Ćwiczenie 3

87 Sprzętowo-programowy symulator błędów intonacyjnych 87 Rysunek 4.15: Ćwiczenie Kategorie błędów intonacyjnych Tabela 4.2: Zestawienie rodzajów ćwiczeń słuchowych Stwierdzenie wystąpienia odstrojenia Błąd w jednym Błąd w grupie instrumencie instrumentów Ćwiczenie 1 Ćwiczenie 4 (test) (test) Błąd Stwierdzenie wystąpienia odstrojenia Ćwiczenie 2 Ćwiczenie 5 stały w czasie i określenie jego kierunku (test) (test) Określenie stopnia odstrojenia: Ćwiczenie 3 Ćwiczenie 6-50, -25, 0, 25, 50 centów (test) (test/dydaktyka) 2 punkty węzłowe, Ćwiczenie 7 Ćwiczenie 10 (test) (test/dydaktyka) Ćwiczenie 8 Ćwiczenie 11 (test) (test/dydaktyka) Ćwiczenie 9 Ćwiczenie 12 (test) (test/dydaktyka) Błąd zmieniający się w czasie przebieg b1 2 punkty węzłowe, przebiegi: b1, b2, b3, b 4 4 punkty węzłowe, przebieg b1 Symulator udostępnia 12 rodzajów ćwiczeń słuchowych (tab. 4.2), z których każde jest związane z określoną kategorią błędów intonacyjnych (rys. 4.11). Kategorie są pogrupowane w zależności od liczby jednocześnie odstrajanych instrumentów, zmienności czasowej odstrojenia oraz wymaganej precyzji opisu błędu. Ćwiczenia z błędem w grupie trzech instrumentów są

88 Sprzętowo-programowy symulator błędów intonacyjnych 88 odpowiednikami ćwiczeń z błędem w jednym instrumencie, przy czym błąd w grupie instrumentów składa się z trzech niezależnych błędów danej kategorii, występujących jednocześnie w różnych instrumentach. Rysunek 4.16: Ćwiczenie 8 W ćwiczeniach 1 (rys. 4.12), 2 (rys. 4.13) i 3 (rys. 4.14) generowane są błędy tego samego rodzaju, obejmujące 5 możliwych stopni odstrojenia. Różnica polega na precyzji określenia odstrojenia. W ćwiczeniu 1 należy jedynie rozróżnić dwie sytuacje: zaistnienia lub braku błędu. W ćwiczeniu 2, jeżeli błąd wystąpił, należy dodatkowo określić kierunek w którym przesunięto wysokości dźwięków. W ćwiczeniu 3 należy udzielić pełnej informacji o stopniu i kierunku błędu. Ta sama sytuacja ma miejsce w przypadku ćwiczeń 4, 5 i 6 (rys. 4.15). W trybie testu, prawdopodobieństwo wystąpienia poszczególnych stopni odstrojenia jest w każdym z wymienionych ćwiczeń inne (tab. 4.3). W ćwiczeniach 7-12 (rys. 4.16) prawdopodobieństwo wystąpienia każdego stopnia odstrojenia w punkcie węzłowym wynosi 1/5. W ćwiczeniach 8 (rys. 4.16) i 11, prawdopodobieństwo wystąpienia każdego z przebiegów jest takie samo (1/4). Tabela 4.3: Prawdopodobieństwo wystąpienia w teście różnych stopni odstrojenia -50 centów -25 centów 0 centów +25 centów +50 centów Ćwiczenie 1 i 4 1/8 1/8 1/2 1/8 1/8 Ćwiczenie 2 i 5 1/6 1/6 1/3 1/6 1/6 Ćwiczenie 3 i 6 1/5 1/5 1/5 1/5 1/5

89 Sprzętowo-programowy symulator błędów intonacyjnych 89 Rysunek 4.17: Ćwiczenie Automatyczna rejestracja wyników Program symulatora przechowuje bazę danych słuchaczy. W przypadku określenia osoby wykonującej ćwiczenia, symulator dokonuje automatycznej rejestracji wybranych informacji dotyczących jej pracy (rys. 4.10), obejmujących: datę i godzinę rozpoczęcia ćwiczenia, oznaczenie wykorzystanego w przykładzie fragmentu muzycznego, rodzaj ćwiczenia, czas trwania wygenerowanego przykładu muzycznego, całkowity czas udzielania odpowiedzi oraz liczbę i czasy poszczególnych przesłuchań przykładu aż do udzielenia odpowiedzi (tylko w trybie testowym),

90 Sprzętowo-programowy symulator błędów intonacyjnych 90 parametry błędu intonacyjnego wygenerowanego przez komputer (w trybie testowym), lub zadanego przez słuchacza (w trybie dydaktycznym), parametry błędu intonacyjnego podane przez użytkownika w odpowiedzi na zadanie testowe (tylko w trybie testowym). Dane są zapisywane w postaci, która umożliwia zarówno ich późniejszą analizę komputerową, jak i odczyt na bieżąco przez osobę nadzorującą pracę z symulatorem. Proces rejestracji danych jest dla słuchaczy niezauważalny. Automatyczna rejestracja wyników usprawnia przeprowadzanie testów słuchowych i zastępuje stosowane tradycyjnie papierowe ankiety. Pozwala skrócić całkowity czas przeprowadzania testów oraz eliminuje pomyłki występujące przy ręcznym wypełnianiu ankiet Możliwości konfiguracji symulatora Baza fragmentów muzycznych Program symulatora pozwala zarządzanie na bazą fragmentów muzycznych, na podstawie generuje których przykłady muzyczne. Każdy fragment jest przypisany do określonej kategorii, przy czym liczba kategorii jest nieograniczona, a nowy, dodawany do bazy fragment może wprowadzić własną. Istnieje możliwość wyboru fragmentów które zostaną wykorzystane do generowania Rysunek 4.18: Zarządzanie fragmentami muzycznymi przykładów oraz zapamiętania dokonanych wyborów w postaci zestawów fragmentów muzycznych (rys. 4.18).

91 Sprzętowo-programowy symulator błędów intonacyjnych Wybór urządzeń odtwarzających sygnał Program symulatora umożliwia wybór urządzenia odtwarzającego nagranie orkiestry (rys. 4.19) oraz urządzenia realizującego ścieżki syntetyczne (rys. 4.20). W przypadku zmiany syntezatora niezbędna jest dodatkowa konfiguracja: w zależności od tego, czy pracuje on w trybie General MIDI, czy operuje określonym przez symulator zestawem próbek dźwiękowych, wybierany jest odpowiedni tryb indeksowania Rysunek 4.19: Wybór urządzenia odtwarzającego nagranie instrumentów MIDI (rys. 4.21). Możliwość zmiany urządzeń odtwarzających sygnał pozwala na przeprowadzenie testów w warunkach różnego poziomu realizmu brzmieniowego, w celu określenia jego wpływu na percepcję intonacji. Rysunek 4.20: Wybór syntezatora Rysunek 4.21: Dodatkowe ustawienia

92 Sprzętowo-programowy symulator błędów intonacyjnych Zastosowania symulatora Symulator błędów intonacyjnych może pełnić różnorodne funkcje. 1. W badaniach z zakresu percepcji intonacji dźwięków muzycznych stanowi kontrolowane źródło sygnałów testowych o własnościach zbliżonych do wykonywanej na żywo muzyki, a automatyczna rejestracja wyników pracy słuchaczy ułatwia akwizycję danych. 2. Wbudowane w program symulatora możliwości generowania ustalonych przez użytkownika odstrojeń pozwalają na wykorzystanie go w dydaktyce z osobą prowadzącą lub w autodydaktyce, celem zapoznania się z brzmieniem różnych błędów intonacyjnych w warunkach symulujących odbiór rzeczywistej muzyki. 3. Moduł testowy, generujący losowe odstrojenia w przykładach muzycznych, może rozwijać umiejętność szybszego i bardziej precyzyjnego rozpoznawania błędów intonacyjnych, wymaganą w pracy dyrygentów oraz realizatorów dźwięku. 4. Rozszerzenie zakresu symulacji, poprzez wprowadzanie materiałów z alternatywnymi zestawami instrumentów, innymi gatunkami muzyki, w tym rozrywkowej, czy wręcz innego rodzaju sygnałami, niekoniecznie muzycznymi, pozwoli na wykorzystanie symulatora w nowych obszarach percepcji dźwiękowej.

93 Testy słuchowe Testy słuchowe 5.1. Propozycja modelu procesu identyfikacji błędu intonacyjnego W oparciu o wyniki badań dotyczących analizy sceny słuchowej [Cherry 1953, Bregman 1990] (rozdział 5.1.2) oraz o własną praktykę muzyczną i doświadczenia w dziedzinie kształcenia słuchu muzycznego, autor zaproponował jakościowy model procesu identyfikacji błędu intonacyjnego (rozdział 5.1.3). Jego celem jest wyjaśnienie, w jaki sposób słuchacz określa parametry błędu intonacyjnego na podstawie sygnału akustycznego i jakie mechanizmy biorą udział w tym procesie. Model dotyczy percepcji określonej klasy zdarzeń dźwiękowych, w których: błędy intonacyjne występują w zespole muzyków, intonacja większej części zespołu jest poprawna i na jej podstawie możliwe jest słuchowe określenie intonacyjnego punktu odniesienia, indywidualne błędy dotyczą pojedynczych instrumentów, nie zaś grup instrumentów tak, że możliwe jest określenie kierunku i stopnia odstrojenia każdej z linii melodycznych. Zdarzenia takie obejmują najbardziej typowe sytuacje występujące w pracy dyrygentów i realizatorów nagrań Złożoność zjawiska błędu intonacyjnego Metody cyfrowej analizy sygnału akustycznego, zarówno te oparte o analizę fourierowską, jak i falkową, nie pozwalają na identyfikację i ocenę rzeczywistych błędów intonacyjnych indywidualnych instrumentów w nagraniach większych zespołów. Wynika to z trudności w separacji złożonego sygnału na składowe pochodzące od poszczególnych instrumentów, często o bardzo zbliżonych charakterystykach. Nawet przy założeniu, że możliwa jest separacja ścieżek pojedynczych instrumentów ze złożonego sygnału akustycznego, problem sprawia matematyczny opis zjawiska odstrojenia. Instrumenty muzyczne generują dźwięki o złożonej strukturze widmowej, w której część składowych jest harmoniczna. Proporcje składowych harmonicznych zmieniają się w zależności od wielu parametrów, przede wszystkim jednak od: czasu od rozpoczęcia dźwięku, artykulacji i dynamiki muzycznej, zmian w środowisku akustycznym, w tym zmian położenia instrumentu w przestrzeni.

94 Testy słuchowe 94 O ile więc w uproszczeniu można traktować błąd intonacyjny b jako przesunięcie częstotliwości f 0 tonu podstawowego generowanego dźwięku względem częstotliwości f p wynikającej z zapisu nutowego i przyjętego systemu dźwiękowego: b= f0, fp (5.1) o tyle rzeczywista sytuacja jest bardziej złożona: ton podstawowy nie zawsze występuje i często jest ustalany na podstawie istniejących składowych harmonicznych: f 0= f k 1 f k, (5.2) dźwięki pozostałych instrumentów charakteryzują się różnymi wysokościami, przez co intonacyjnym punktem odniesienia nie jest ten sam szereg harmoniczny w innym instrumencie, lecz wiele innych szeregów, których tony podstawowe f 0i są oddalone od f 0 o różne interwały i często tworzą złożony akord, błąd jest zjawiskiem dynamicznym, ponieważ struktura widmowa każdego dźwięku muzycznego zmienia się w czasie indywidualnie, a więc zestawienie współistniejących ze sobą składowych również ulega zmianom: y t = Ai t b ik t cos 2 k f 0i t, i (5.3) k oprócz związanych z czasem zmian struktury widmowej, zmianom w czasie, niekoniecznie synchronicznym, podlegają również wysokości dźwięków co sprawia, że zarówno intonacyjny punkt odniesienia, jak i linia melodyczna odstrojonego instrumentu wprowadzają dodatkowy element dynamiczny do struktury błędu: y t = Ai t b ik t cos 2 k f 0i t t. i (5.4) k O ile zależność f 0i od czasu jest opisana przebiegiem nutowym i jako taka jest deterministyczna, to przebiegi amplitud dźwięków Ai t oraz obwiednie amplitudowe składowych bik t są uzależnione od instrumentu, wykonawcy oraz warunków akustycznych i pozostają w dużej części indeterministyczne.

95 Testy słuchowe Analiza sceny słuchowej Słuch ludzki analizuje złożone sygnały dźwiękowe pochodzące z wielu źródeł jednocześnie i może dokonać ich separacji ze względu na źródło dźwięku. W procesie tym, nazywanym analizą sceny słuchowej (ang. auditory scene analysis), sygnał dźwiękowy zostaje rozdzielony na strumienie słuchowe (ang. auditory streams) będące jednostkami percepcyjnymi reprezentującymi zdarzenia fizyczne lub obiekty wytwarzające dźwięk [Bregman 1990]. Dzięki analizie sceny słuchacz uzyskuje informacje na temat źródeł dźwięku, takie jak: liczbę źródeł, ich położenia, charakterystyki każdego źródła. Czas potrzebny na separację strumienia jest stały izolacja ze złożonego sygnału i wytworzenie strumienia słuchowego wymaga przynajmniej 4 s. Podobny czas potrzebny jest aby efekt ten zniknął po zakończeniu sekwencji, co zapobiega oscylacjom, czyli mimowolnemu przeskakiwaniu uwagi pomiędzy strumieniami. Na skutek nagłej zmiany parametrów sygnału mechanizm strumienia zanika szybciej niż w przypadku ciszy. Mechanizm analizy sceny opiera się na kilku spostrzeżeniach. 1. Percypowana wysokość złożonego sygnału zależy od częstotliwości podstawowej zbioru składowych, nawet gdy częstotliwość ta nie występuje w widmie (wysokość rezydualna). 2. Mechanizm analizy sceny faworyzuje takie zgrupowania składowych, które tworzą razem szeregi harmoniczne. 3. Gdy wszystkie składowe wskazują na kilka częstotliwości podstawowych, sugeruje to istnienie kilku źródeł dźwięku. Analiza sceny akustycznej może przebiegać na dwa sposoby. Segregacja pierwotna (ang. primitive), rozdziela sygnał ze względu na korelacje parametrów akustycznych w ramach strumieni. Segregacja oparta o wzorzec (ang. scheme based), polega na aktywnym nasłuchiwaniu strumienia o parametrach zgodnych z parametrami wzorca, wykorzystuje więc doświadczenie i pamięć. Zwiększanie tempa sekwencji przyspiesza i poprawia integrację strumienia w przypadku segregacji pierwotnej, jednak w przypadku segregacji opartej o wzorzec przekroczenie pewnego tempa utrudnia integrację. W przypadku sygnałów muzycznych, strumieniem słuchowym najczęściej staje się melodia wybranego instrumentu. Gdy jednak akordy są odbierane nie jako zbiory składników, lecz jako całościowe, samodzielne zjawiska, pojedynczy strumień obejmuje cały pochód akordowy. Uwaga może być świadomie przenoszona ze strumienia melodycznego na strumień akordowy. W ramach tej hipotezy przyjmuje się, że jeżeli dwa składniki interwału lub akordu znajdują się w osobnych

96 Testy słuchowe 96 strumieniach słuchowych, potencjalny dysonans tworzony przez nie zostaje zneutralizowany, albo przynajmniej stłumiony nie wytwarza się wtedy ani konsonans, ani dysonans. Hipoteza ta jest do pewnego stopnia sprzeczna z twierdzeniami łączącymi dysonansowość wyłącznie ze stosunkiem częstotliwości podstawowych składników interwału oraz z występowaniem dudnień Model procesu identyfikacji błędu intonacyjnego Autor proponuje model, którego zadaniem jest wyjaśnienie procesu identyfikacji błędu intonacyjnego w ludzkim systemie słuchowym, na gruncie mechanizmów związanych z analizą sceny słuchowej. Proces identyfikacji błędu intonacyjnego polega na określeniu parametrów błędu na podstawie analizy słuchowej sygnału akustycznego. W procesie tym słuchacz ustala następujące parametry: 1. fakt wystąpienia błędu intonacyjnego B 0, 2. źródło błędu (instrument w którym wystąpił błąd), 3. kierunek odstrojenia sgn B, 4. bezwzględną wielkość odstrojenia B, 5. zależność odstrojenia od czasu B t. Nie każdy błąd intonacyjny wymaga ustalenia wszystkich parametrów: źródło błędu może być znane (typowy przypadek w realizacji nagrań), nie zawsze też błąd zmienia się w czasie. Fundamentalnym założeniem modelu jest występowanie dwóch trybów (rys. 5.1), w jakich system słuchowy dokonuje analizy i oceny parametrów błędu, umownie nazwanych trybem syntetycznym i analitycznym. Podstawową różnicą pomiędzy obydwoma trybami jest liczba, charakter oraz metoda analizy występujących w nich strumieni słuchowych. W trybie analitycznym porównywane są wysokości dwóch strumieni melodycznych, natomiast w trybie syntetycznym oceniane jest wrażenie barwy związane z jednym, sumarycznym strumieniem słuchowym. Tryb syntetyczny odpowiada rodzajowi słyszenia określanemu przez muzyków jako słyszenie barwowe. Model przewiduje również występowanie trzeciego, hybrydowego trybu, polegającego na dokonaniu częściowej oceny błędu w trybie syntetycznym, a częściowej w analitycznym.

97 Testy słuchowe 97 Rysunek 5.1: Model procesu percepcji błędu intonacyjnego; S S strumień sumaryczny, S B strumień instrumentu z błędem intonacyjnym, S O strumień odniesienia, B błąd, W wysokość, p prawdopodobieństwo