DŹWIĘK INTERAKTYWNY II

DŹWIĘK INTERAKTYWNY II Dźwięk w projektach interaktywnych przykłady, analizy, symulacje Materiały pomocnicze do ćwiczeń Dorota Błaszczak

2 DŹWIĘK INTERAKTYWNY II Część I Podstawowe cechy nowych mediów... 4 Projektowanie nowych mediów... 5 Nowe nowe media... 6 Intermedia... 6 Typy projektów interaktywnych... 7 Strategia instrumentu - nadrzędność interfejsu Strategia gry - nadrzędność interakcji Strategia archiwum - nadrzędność danych Strategia labiryntu - nadrzędność organizacji danych (hipertekst) Strategia kłącza - rozwój organizacji danych Strategia systemu - interaktywność wewnętrzna Strategia sieci - relacje sieciowe Strategia spektaklu - nadrzędność wydarzenia i odbiorcy Część II Klasyfikacje w sferze sztuki audiowizualnej... 10 Strefa przestrzeni w muzyce... 12 Sfera elektroakustyczna... 13 Strefa muzyki komputerowej... 14 Strefa przestrzeni słuchowej... 15 Strefa krajobrazu dźwiękowego... 16 Strefa urbanistyki i architektury... 18 Strefa dźwięku gier komputerowych... 19 Część III Typy projektów interaktywnych. Przykłady audiowizualne... 20 Strategia instrumentu... 20 Strategia archiwum... 21 Interaktywność wewnętrzna... 22 Dodatek Media interaktywne na rynku pracy... 23

3 Przedmiot Dźwięk interaktywny II jest kontynuacją nauki o wykorzystaniu dźwięku w interaktywnych projektach, które obejmują zarówno prace związane tylko z samym dźwiękiem, jak i prace audiowizualne. Zajęcia opierają się na realizacji indywidualnych lub grupowych projektów wykorzystujących różne techniki interaktywne i są zajęciami wspomagającymi dla przedmiotu głównego Kreacja dźwięku w formach audiowizualnych. Ze względu na indywidualny charakter zajęć, materiały do przedmiotu Dźwięk interaktywny II mają na celu przedstawienie różnorodnych zagadnień z wielu dziedzin. Takich, które tworzą wielowymiarową przestrzeń potencjalnego zaistnienia dźwięku interaktywnego oraz takich, które mogą być inspiracją i pomocą w decyzjach dotyczących wyboru projektu i jego realizacji w ciągu dwóch semestrów zajęć. Materiały zawierają przykłady atrybutów charakteryzujących nowe media oraz przykłady klasyfikacji dzieł interaktywnych i audiowizualnych, opierające się na różnorodnych materiałach źródłowych, prezentujące możliwości różnorakiego spojrzenia na zagadnienie interaktywności i wyodrębnienie cech łączących grupy projektów. Szeroki zakres tematów i dziedzin, nie zawsze związanych bezpośrednio z dźwiękiem, ma na celu pokazanie, że dźwięk w sztukach interaktywnych może czerpać inspiracje z wielu źródeł, aby odnaleźć pomiędzy nimi nowe miejsce dla siebie, aby poszukiwać nowych środków wyrazu i podporządkować istniejące technologie założonemu celowi estetycznemu. Dla wybranych typów projektów interaktywnych zostały przedstawione przykłady dzieł ilustrujące związane z nimi zagadnienia. Tak jak i w części pierwszej tego przedmiotu wybrany zestaw przykładów nie stanowi systematycznego przeglądu dzieł interaktywnych. Może, i powinien być, zmieniany oraz uzupełniany o inne dzieła charakterystyczne dla omawianych zagadnień przez prowadzącego oraz przez studentów. Zadania, przedstawione dla ilustracji kilku typów projektów i zagadnień związanych z interaktywnością, są propozycjami do wyboru i realizacji na zajęciach.

4 Część I Opracowania dotyczące nowych mediów zajmują się najczęściej zagadnieniami związanymi ze sztuką wizualną, czasem przedstawiając również zagadnienia dotyczące dźwięku. Dlatego też przedstawiane tu klasyfikacje są często modyfikacją i rozszerzeniem myślenia o kulturze wizualnej również w stronę kultury dźwiękowej. Podstawowe cechy nowych mediów. (W oparciu o książkę L.Manovicha Język nowych mediów ) Język nowych mediów (2001) jest klasycznym opracowaniem na temat nowych mediów, ich definicji i wpływu na kulturę wizualną oraz na powstawanie nowych form kulturowych i pojawianie się nowych możliwości estetycznych. W wyniku komputerowej rewolucji medialnej zmieniły się wszystkie etapy komunikacji medialnej, a same media przekształcone do postaci danych komputerowych, na których można dokonywać obliczeń i przekształceń, stały się nowymi mediami. Autor książki przedstawia główne cechy i pojęcia dotyczące nowych mediów. 1. Reprezentacja numeryczna Cyfryzacja mediów daje możliwości manipulowania danymi za pomocą algorytmów, możliwości tworzenia symulacji fizycznych obiektów i procesów opisanych równaniami matematycznymi. Media stają się programowalne. 2. Modularność Obiekty nowych mediów składają się z niezależnych od siebie części (dźwięk, obraz, kształt, zachowania), co umożliwia łatwą modyfikację całości poprzez modyfikację elementów na różnych etapach produkcji i procesu komunikacji. 3. Automatyzacja Wiele procesów przetwarzania i modyfikacji obiektów mogło zostać automatyzowanych, gdyż pojawiła się możliwość definiowania i proponowania użytkownikom określonych szablonów. Również zautomatyzowany dostęp do obiektów nowych mediów w bazach danych, umożliwił ułatwione wyszukiwanie istniejących już obiektów. 4. Wariacyjność Obiekt nowych mediów ze względu na swoją budowę modularną może istnieć w wielu wersjach. Tworzone są one czasem automatycznie w procesach dopasowania danego obiektu do określonego środowiska prezentowania danych obiekty nowych mediów są skalowalne.

5 5. Transkodowanie kulturowe Obiekty nowych mediów składają się z warstwy kulturowej i komputerowej. Warstwa komputerowa, poprzez swoją określoną strukturę i określone działanie wpływa i modeluje organizację warstwy kulturowej, wpływa na gatunki i treść nowych mediów. 6. Interaktywność Media komputerowe są z definicji interaktywne poprzez interfejs człowiek-komputer. Interakcja może być odniesiona do fizycznej interakcji człowieka z interfejsem, jak również do psychologicznych procesów interakcji pozwalających na tworzenie obrazów mentalnych. Takie podejście pozwala na stwierdzenie, że interaktywne media komputerowe umożliwiają eksternalizację i uprzedmiotowienie operacji myślowych. To jednocześnie umożliwia nakierowanie odbiorcy nowych mediów na podążanie tokiem myślenia twórcy przekazu. 7. Nawigowalna przestrzeń Jest to przestrzeń subiektywna, która reaguje na ruchy użytkownika. Ruch pozwala na odkrywanie otoczenia. Przestrzeń nawigowalna może zmieniać się dosłownie, odzwierciedlając subiektywność użytkownika. Jest pełnoprawną formą kulturową (obok bazy danych), a jej obecność może definiować nowe media. 8. Interfejs Interfejs kształtuje i narzuca sposób, w jaki użytkownik postrzega obiekt medialny i jak jest kształtowane przeżycie estetyczne widza. Projektowanie nowych mediów Projektowanie nowych mediów związane jest z konstruowaniem interfejsu do multimedialnych baz danych oraz z definiowaniem poruszania się widza w nawigowalnej przestrzeni. Projektanci nawigowalnych przestrzeni mogą wykorzystać współczesną sztukę, jako źródło inspiracji i źródło wielu przydatnych koncepcji. - Architektura filmowa - tworzona na potrzeby nawigacji i eksplorowania jej za pomocą kamery. - Malarstwo - organizacja przestrzeni w obrębie krawędzi ramy ograniczającej przestrzeń. - Instalacje - aranżacje przestrzeni, umożliwiające widzowi wybór kolejności oglądania danej instalacji, która posiada określoną strukturę przestrzenną i określoną dramaturgię powstającą w trakcie poruszania się widza w obrębie instalacji.

6 Projektowanie nowych mediów powinno być skoncentrowane na przeżyciu estetycznym widza w czasie i przestrzeni, a nie na obiekcie samym w sobie. Aby zrozumieć logikę nowych mediów, które są w coraz większym stopniu programowalne, należy poznać zasady programowania w praktyce, co może ułatwić zrozumienie otaczających nas mediów. Nowe nowe media (W oparciu o książkę P. Levinsona Nowe nowe media ) Pojęcie nowe nowe media zostało zaproponowane przez Paula Levinsona w 2010 roku, tak aby uniknąć definiowania rzeczywistości poprzez kolejne liczby, jak w określeniach Web 2.0 czy 3.0. Opracowanie to dotyczy szybko zmieniającej się rzeczywistości medialnej i mediom nowszym niż nowe media i opisuje zagadnienia dotyczące takich pojęć jak blogowanie, YouTube, Wikipedia, MySpace, Facebook, Twitter, Second Life, podcasty, nadużycia w sieci i sprzętu. Podstawowym wyróżnikiem nowych nowych mediów jest to, że konsument staje się jednocześnie producentem, a media mają charakter społecznościowy i mobilny. Te zmiany wpływają na rodzaje medialnych przekazów komunikacyjnych, możliwych do wykorzystania dla celów projektów artystycznych, które mają się zmierzyć z przekształcającymi się mediami i dotrzeć ze swoim przekazem do odbiorców. Intermedia (W oparciu o książkę K.Chmieleckiego Estetyka intermedialności ) Pojęcie intermediów zostało zaproponowane latach 60-tych XX w przez Dicka Higginsa, jako określenie nowego statusu sztuki szukającej swojego miejsca pomiędzy mediami. To pojęcie jest też wykorzystywane obecnie w zakresie estetyki mediów i badań nad kulturą audiowizualną, co opisuje i analizuje Konrad Chmielecki w książce Estetyka intermedialności, książce o estetyce, której przedmiotem badań są relacje zachodzące między już istniejącymi mediami. A do intermediów zostają zaliczone: poezja wizualna, muzyka wizualna, sztuka światła, fotografia intermedialna, film, video, wideoklipy, sztuka telewizyjna, animacja komputerowa, kino interaktywne, net art., holografia, teatr, balet, multimedialne przedstawienia performatywne.

7 Typy projektów interaktywnych (W oparciu o książkę Ryszarda W. Kluszczyńskiego Sztuka interaktywna. Od dziełainstrumentu do interaktywnego spektaklu ) Przedstawiona poniżej klasyfikacja opiera się na analizie przedstawionej w książce Sztuka interaktywna. Od dzieła-instrumentu do interaktywnego spektaklu. Książka stanowi obszerne omówienie zagadnień związanych z interaktywnością, jej rozumieniem, definicjami i teoriami z nią związanymi. Przedstawione poniżej w sposób skrótowy kategorie, mogą stać się narzędziem do analizy dzieł z ważnym komponentem dźwiękowym i interaktywnej sztuki dźwięku. W części III skryptu, znajdują się dodatkowe przykłady interaktywnych projektów (spoza wyżej wymienionej książki). W książce znajdujemy obszerną analizę prac wizualnych lub audiowizualnych i propozycję podziału interaktywnych dzieł według strategii, jako podstawowego wkładu artysty w dzieło interaktywne. Strategie łączą wszystkie składowe w jeden układ i wyznaczają proponowane pola aktywności odbiorców, a ich kategoryzacja opiera się w dużym stopniu na zmieniającej się hierarchii i ważności pomiędzy składowymi dzieł interaktywnych: interfejsu, interakcji, organizacji i wykorzystania danych, systemu technologicznego, sieci społecznej i wydarzenia artystycznego. 1. Strategia instrumentu - nadrzędność interfejsu Projekt ma charakter przede wszystkim wykonawczy, w oparciu o interfejs, wykorzystany tu jak instrument do grania, do wytwarzania określonego ciągu zdarzeń dźwiękowych czy wizualnych. Dla użytkownika/uczestnika/potencjalnego wykonawcy, zostaje przygotowane środowisko wykonawcze użytkownik może stać się wykonawcą, sprawiając tym samym, że dzieło zaistnieje. W zależności od przygotowanych przez artystę ram środowiska wykonawczego, dzieło może mieć charakter koncertu dźwiękowego czy wizualnego, charakter peformatywny lub kształt manipulacji udostępnionymi użytkownikowi środkami.

8 2. Strategia gry - nadrzędność interakcji W tym przypadku, interakcja jest dominującym elementem dzieła, które bazuje na działaniach uczestnika zmierzających do postawionego przed nim celu, według określonych reguł. Praca realizująca strategie gry może być transformacją gry już istniejącej lub być dziełem autonomicznym z własnymi zasadami działania. Może być zbudowana wokół przestrzeni sieci internetowej lub jako instalacja lokalna. Granica między grą komputerową a sztuką opierającą się na jej zasadach powstaje poprzez stworzenie takiego środowiska gry, które kieruje uwagę uczestnika nie tylko na przebieg gry, ale również na różne aspekty świata gier i samego procesu interakcji i kontroli nad grą. 3. Strategia archiwum - nadrzędność danych Wszystkie elementy dzieła interaktywnego zostają tu podporządkowane zgromadzonym danym, zaprezentowanym do eksploracji użytkownikowi. Takie audiowizualne dane zorganizowane są w postaci baz danych, jednego z wyznaczników nowych mediów. Bazy danych, wraz z odpowiednim oprogramowaniem, organizują zawarte w nich dane, relacje między nimi i umożliwiają szeroki do nich dostęp. Dzieła wykorzystujące strategie archiwum stwarzają dla odbiorców określone możliwości przeglądania i łączenia danych w tymczasowe struktury i ich zestawienia, zgodne z zamierzeniami twórcy. 4. Strategia labiryntu - nadrzędność organizacji danych (hipertekst) Sposób organizacji danych w uporządkowane struktury hipertekstowe jest głównym wyznacznikiem dzieł realizujących strategię labiryntu, jak interaktywnych narracji i nawigowalnych środowisk. Hipertekst jest strukturą danych zawierającą odniesienia między jej elementami. Wszystkie odniesienia są zdefiniowane, ale sposób nawigacji pomiędzy nimi nie jest wstępnie określony i zależy od zachowania odbiorcy. Doświadczanie danego dzieła nie jest poprzedzone wyjaśnieniem jego struktury i opiera się na konieczności podejmowania wielu decyzji i poszukiwaniu rozwiązań. 5. Strategia kłącza - rozwój organizacji danych W dziełach wykorzystujących strategię kłącza nadrzędnym elementem jest również organizacja danych, przy czym zasoby danych zorganizowane są w sposób otwarty i podczas doświadczania danego projektu następuje ewolucja organizacji danych. Tym samym środowisko i zasady eksploracji dzieła ulegają zmianie według założeń artysty.

9 6. Strategia systemu - interaktywność wewnętrzna Dzieło zgodne ze strategią systemu nie daje odbiorcy możliwości interakcji. Jest przykładem interaktywności wewnętrznej systemu technologicznego składającego się na dane dzieło i tworzy zakomponowane odwzorowania zachowania systemu oraz zmienności danych wejściowych. Takie wizualizacje i sonifikacje wybranych przez artystę zjawisk, oglądane są przez publiczność, jako wydarzenie audiowizualne. 7. Strategia sieci - relacje sieciowe Projekty sieciowe, które proponują środowisko umożliwiające tworzenie konkretnych relacji między użytkownikami uczestniczącymi w wydarzeniu artystycznym. Stworzenie określonej sieci odbiorców stanowi główny cel prac realizujących strategię sieci i jest odzwierciedleniem idei interaktywności, jako partycypacji kulturowej. 8. Strategia spektaklu - nadrzędność wydarzenia i odbiorcy Spektakle interaktywne zmieniają podejście do odbiorcy wydarzenia artystycznego i zakładają aktywne uczestniczenie publiczności w przebiegu takiego spektaklu na każdym jego etapie. Publiczność jest nie tylko obserwatorem, ale i uczestnikiem wydarzenia.

10 Część II Znajomość szerokiego zakresu idei estetycznych i gatunków sztuki związanych z dźwiękiem i obrazem w przekroju historycznym, daje możliwość korzystania z tej bazy wiedzy w procesie tworzenia własnych projektów, przy wykorzystaniu zmieniających się możliwości technologicznych tak, aby technologie podporządkować własnym zamysłom artystycznym. Poniżej zaprezentowane są przykładowe klasyfikacje i podstawowe zagadnienia z różnych sfer około-dźwiękowych i około-muzycznych. Klasyfikacje w sferze sztuki audiowizualnej [Sonification, Sound Art, Sound Design, Color Organs, Music Video, Performance Art, Software Art, Synesthesia] ( W oparciu o książkę See this Sound. Audiovisuology. Compedium. An Interdisciplinary Survey of Audiovisual Culture, http://www.see-this-sound.at/en) Książka i archiwum sieciowe na temat sztuk audiowizualnych powstały w wyniku działań związanych z projektem See this sound (Linz, 2009) i obejmują wiele przekrojowych zagadnień związanych z formami sztuki łączącymi w sobie obraz i dźwięk, z koncepcjami sztuki i rozwojem technologicznym wpływającym na sztukę. Zagadnienia te przedstawione są w ujęciu historycznym dla poszczególnych gatunków sztuki oraz w ujęciu przekrojowym pod kątem zjawisk audiowizualnych i ich percepcji. Wybrane gatunki i obszary działania w sferze audiowizualnej zaproponowane w książce: - Film abstrakcyjny, jako forma zbliżenia sztuki wizualnej do muzyki. - Animacja i zastosowanie dźwięku w oparciu o korelacje obrazu i dźwięku. - Architektura a muzyka - analogie w zasadach proporcji i harmonii oraz w kierunkach zmian historycznych obu dziedzin. - Działania na pograniczu wielu dziedzin sztuki przez artystów wizualnych będących jednocześnie muzykami. - Kino a taniec analogie w wykorzystaniu ruchu dla celów estetycznych i ruchu powiązanego z muzyką. - Organy kolorów, jako wizualizacja muzyki.

11 - Taniec, jako przedstawienie audiowizualne. - Kino rozszerzone, jako eksploracja przestrzennych cech filmu i jego nowych prezentacji. - Muzyka filmowa, jako kompozycja funkcjonalna współgrająca z estetycznymi założeniami montażu filmowego. - Gry komputerowe a warstwa dźwiękowa i muzyczna poszerzenie funkcji muzyki i dźwięku w filmie o interaktywną kontrolę tych warstw dźwiękowych przez użytkownika. - Gesamtkunstwerk, utopia zespolenia wszystkich sztuk w jednym dziele, jako idea realizująca się w sztuce cyfrowej, o zintegrowanym środowisku danych i rozmytych granicach gatunków. - Graficzna notacja i muzyczna grafika, jako połączenie notacji muzycznej i sztuki wizualnej. - Sztuka interaktywna tworząca nowe relacje między dźwiękiem a obrazem, dla nowej, partycypacyjnej roli widza i dla nowego charakteru sztuki, jako zdarzenia a nie obiektu. - Lingwistyczne przedstawienie dźwięku i obrazu w literaturze, jako pole do eksperymentów semantycznych i strukturalnych. - Elementy wizualne w muzyce w utworach inspirowanych obrazem i światłem. - Malarstwo a muzyka, jako model sztuki. - Wideo muzyczne, jako ilustracja wizualna utworu muzycznego. - Teatr muzyczny, jako współpraca twórców z wielu dziedzin na rzecz jednego dzieła. - Sztuka performatywna, jako artystyczna praktyka intermedialna. - Audiowizualna sztuka komputerowa, jako wizualizacja dźwięku i sztuka generatywna. - Sonifikacja, jako metoda naukowa i praktyka dźwiękowa. - Sound Art, sztuka dźwięku, jako odchodząca od liniowości i czasowej ograniczoności muzyki. - Sound design, jako kompozycja dźwięku w filmie współtworząca przestrzeń filmową. - Wideo, jako sztuka audiowizualna.

12 Różne dziedziny i idee mogą inspirować w procesie tworzenia dźwięku interaktywnego w określonym środowisku audiowizualnym. Poniżej znajduje się propozyjca kilku pozycji książkowych i internetowych wskazująca na możliwości poszukiwań inspiracji na temat przestrzeni i sceny słuchowej, krajobrazu dźwiękowego i historii dźwięku, muzyki wykorzystującej przestrzeń, jako element kompozycji, muzyki elektroakustycznej, muzyki interaktywnej, dźwięku w grach komputerowych. Strefa przestrzeni w muzyce (W oparciu o pracę doktorską M.A. Harley Space and Spatialization in Contemporary Music: History and Analysis, Ideas and Implementation ) W latach 50-tych i 60-tych XX wieku wzrosło zainteresowanie przestrzenią, jako elementem kompozycji muzycznej, a nie tylko zewnętrznym aspektem wykonania danej kompozycji. Idee filozoficzne i muzyczne z tego okresu mogą stanowić bazę do poszukiwań dźwiękowych w przestrzeni dźwięku interaktywnego, gdzie można pokazać mechanizmy percepcji poprzez odpowiedź dźwięku na ruch i gest odbiorcy. - Muzyka jest sztuką przestrzenno-czasową, a nie tylko czasową. - Dzieło muzyczne jest niekompletne bez konkretyzacji przez odbiorcę. Przy słuchaniu tego samego nagrania fizyczna sekwencja dźwięków nie zmienia się, ale zmienia się percepcja słuchacza (Roman Ingarden). - Możliwość i doświadczanie ruchu są źródłem wiedzy o otaczającym świecie (Susanne Langer). - Ciało człowieka w przestrzeni jest podstawą bycia człowieka w świecie (Maurice Merleau- Ponty). - Różnice w polach percepcji dźwiękowej i wizualnej sprawiają, że mamy możliwość słyszenia tego, co niewidoczne: znajdujemy się w środku przestrzeni dźwiękowej, a na skraju przestrzeni wizualnej (Don Ihde). - Wiedząc o możliwościach percepcji aktywnego słuchacza, który w sferze percepcji może wybierać te warstwy muzyczne, których chce słuchać, kompozytor może wykorzystać technikę niezależnych warstw muzycznych, jako organizację planów dźwiękowych utworu. Możliwość poruszania się przez słuchacza w rzeczywistej przestrzeni wykonania kompozycji, wzbogaca percepcję utworu o różne perspektywy (Charles Ives, Henry Brant).

13 - Kompozycja w oparciu o obiekty dźwiękowe o określonych cechach barwowych, dynamicznych i przestrzennych, powinna traktować je jak fizyczne obiekty poruszane w rzeczywistej przestrzeni (Edgar Varese, Pierre Schaeffer). - Dla muzyki elektroakustycznej, przestrzeń samej kompozycji nakłada się zawsze na przestrzeń wykonania utworu (Denis Smalley). - Przestrzenna lokalizacja, jako jeden z parametrów dźwięku, umożliwia separację dźwięków w przestrzeni i zmianę percepcji warstw dźwiękowych utworu poprzez niestandardowe ustawienie instrumentalistów w przestrzeni wykonawczej (Karlheinz Stockhausen) czy poprzez zmiany w ustawieniu instrumentalistów w samej orkiestrze oraz zastosowanie interwałów przestrzennych w kompozycji (Pierre Boulez). - Role kompozytora, wykonawcy i odbiorcy-słuchacza zmieniają się, gdy muzyka staje się procesem i happeningiem (John Cage). - Praca z przestrzenią i uprzestrzennienie dźwięku w kompozycji jest jej bardzo ważnym elementem, gdyż wszystkie dźwięki są z natury przestrzenne (Alvin Lucier). - Słyszenie jest jak dotyk na odległość (Murray Schafer). Sfera elektroakustyczna (W oparciu o książkę L.Landy Understanding the Art of Sound Organization, http://www.ears.dmu.ac.uk ) Książka i strona internetowa (EARS ElectroAcustics Resource Site) przedstawia obszerny słownik oraz klasyfikacje różnych zjawisk, gatunków, działań związanych z obszarem elektroakustycznej muzyki i dźwięku. Muzyka elektroakustyczna, jako interdyscyplinarna, łączy w sobie takie dziedziny jak kompozycję muzyczną, akustykę, psychoakustykę, teorię percepcji, fenomenologię, przetwarzanie sygnałów, techniki obliczeniowe i inne. Jednocześnie wszelkie inne działania mające swoją podstawę w dźwięku mają bardzo różnorodny i szeroki zakres. Stąd też potrzeba kategoryzacji sztuki związanej z dźwiękiem, jak i próby ujednolicenia terminologii. Prace związane z projektem EARS nakierowane są na stworzenie systematyki i słownika w zakresie zdefiniowania obszaru i dyscyplin objętych badaniami, gatunków muzyki elektroakustycznej, muzykologii muzyki elektroakustycznej, praktyki wykonawczej i prezentacji muzyki elektroakustycznej, struktur muzycznych, produkcji dźwiękowej i przetwarzania dźwięku.

14 Strefa muzyki komputerowej (W oparciu o książki: C. Roads, The Computer Music Tutorial, R. Rowe, Interactive Music Systems. Machine Listening and Composing ) Projekty powiązane z dźwiękiem interaktywnym i muzyka komputerowa często mogą całkiem pokrywać się albo różnić się sygnałem wejściowym, rodzajem analiz i odpowiedzi systemu interaktywnego, ale schemat działania, narzędzia, obliczenia mogą być wykorzystane te same. Pojęcie muzyki komputerowej obejmuje różne dziedziny działalności muzycznej wykorzystującej komputer do procesu tworzenia kompozycji muzycznej, zarówno na poziomie samego przygotowywania materiału dźwiękowego jak i na poziomie generowania partytury oraz wykonania utworu. Komputer może być wykorzystywany na etapie przygotowania utworu lub w czasie rzeczywistym podczas jego wykonania. Dziedzina muzyki komputerowej rozwija się w oparciu o szeroki zakres wiedzy z różnych dyscyplin: kompozycji, akustyki, psychoakustyki, fizyki, przetwarzania sygnałów, wykonawstwa, informatyki, elektroniki, stąd też potrzebne jest powiązanie zagadnień technologiczno-informatycznych z ich zastosowaniami muzycznymi. Podstawowe zagadnienia związane z muzyką komputerową obejmują: metody syntezy dźwięku, miksowanie i przetwarzanie sygnału dźwiękowego, metody analizy sygnału dźwiękowego wysokości dźwięku, rytmu i widma dźwięku, rodzaje interfejsów i rozpoznawanie gestów wykonawcy, języki programowania, algorytmy generacyjne, protokół MIDI, połączenia sieciowe, percepcja dźwięku, podstawy matematyczne dla muzyki komputerowej. Jednym z rodzajów muzyki komputerowej jest muzyka interaktywna, w której oprogramowanie interpretuje wykonanie utworu i w odpowiedzi wykazuje zmienne zachowanie w zależności od sygnału wejściowego i zaprogramowanych reguł działania, w postaci zmiany generacji przebiegu muzycznego lub zmiany parametrów przetwarzania dźwięku. System muzyki interaktywnej składa się z dwóch podstawowych modułów działających w czasie rzeczywistym: - moduł słuchacza program analizujący przebieg sygnału wejściowego, aby wyodrębnić predefiniowane struktury muzyczne, atrybuty dźwięku oraz zachowania się dźwięku w czasie i przesłać tę informację w określonym formacie do modułu grającego,

15 - moduł grający program realizujący przygotowane algorytmy kompozycyjne i procedury przetwarzania dźwięku w odpowiedzi na przesłane dane z analizy z modułu słuchacza. Połączenie między dwoma modułami może być konfigurowalne: poszczególne odpowiedzi drugiego modułu mogą być przypisane odpowiednim zakresom danych z analizy pierwszego modułu. Konfiguracja ta może być zmienna w czasie w sposób ciągły lub może być zmieniana dla poszczególnych części utworu. Strefa przestrzeni słuchowej [Aural Architecture, Sonic Architecture, Auditory Culture] (W oparciu o książkę B.Blesser i L.Salter Spaces Speak, Are You Listening? Experiencing Aural Architecture ) Obserwacje i pojęcia dotyczące przestrzeni architektonicznej i sceny słuchowej można wykorzystać do zastanowienia się nad zachowaniem się dźwięku i obrazu w interaktywnej przestrzeni audiowizualnej i pokazania powiązania tej przestrzeni z obecnością widza. W książce analizowana jest przestrzeń słuchowa w kontekście przestrzeni widzialnej, ich podobieństwa i różnice i konsekwencje z tego wynikające. Każda przestrzeń może być odbierana nie tylko wzrokowo, ale i słuchowo. Można jej doświadczyć poprzez uważne słuchanie, a unikalne właściwości akustyczne różnych przestrzeni naturalnych i architektonicznych mają silny wpływ na ich percepcję i znaczenie, w określonym kontekście społecznym. Najczęściej w projektowaniu przestrzeni architektonicznej największą wagę ma strona wizualna i czysto akustyczna, architektura słuchowa jest pomijana, choć wszyscy w przestrzeni słuchowej funkcjonujemy. To, że możemy nauczyć się słyszeć układ przestrzenny i obiekty w przestrzeni, nie jest w pełni uznawane przez ludzi widzących. A taka umiejętność pozwala docenić działania zmierzające do zmiany lokalnej akustyki, poprzez zmiany materiałów i obiektów w przestrzeni czy też rzeźby słuchowe. Przy czym świadomość przestrzeni słuchowej zawiera się również w rozpoznawaniu kontekstu społecznego i jej wpływu na zachowanie ludzi w danej przestrzeni. Można wyróżnić cztery aspekty słuchowej architektury: socjalny, nawigowalny, estetyczny, przestrzenny w sensie muzycznym.

16 Wybrane poniżej pojęcia i zjawiska powiązane z architekturą słuchową ułatwiają zdefiniowanie znaczenia i obszaru jej wpływu oraz umożliwiają porównania ze sferą widzialną. - Aktywność ludzka wytwarzająca dźwięk, a nie światło. - Iluminacja dźwiękiem, jako artefakt działań społecznych. - Scena dźwiękowa i dynamiczny krajobraz dźwiękowy (przy zwykle statycznej architekturze widzialnej), - Przekształcanie doświadczania zdarzeń dźwiękowych, poprzez architekturę słuchową. - Zanurzenie słuchacza w przestrzeni odpowiedzi dźwiękowych. - Znaczenie pamięci słuchowej w słyszeniu przestrzeni: waga czasu w percepcji dźwięku związana z prędkością rozchodzenia się dźwięku, nakładanie się istniejącego dźwięku na dźwięk z przeszłości, - Możliwość usłyszenia atrybutów przestrzeni (objętość), których nie można zobaczyć. Strefa krajobrazu dźwiękowego [Soundscape, Soundwalks, Sound Map, Acoustic Ecology, Listening Day] (W oparciu o książki R.Murraya Schafera The Soundscape: Our Sonic Environment and the Tuning of the World oraz 100 Exercises in Listening and Sound-Making ) Klasyfikacje otaczających nas dźwięków, historia dźwięków i zmiany krajobrazu dźwiękowego dają podstawę do świadomego tworzenia własnych przestrzeni dźwiękowych w projektach interaktywnych. Książka Murraya Schafera The soundscape stanowi obszerne omówienie zagadnień związanych z krajobrazem dźwiękowym, jego elementami i zmianami historycznymi wynikającymi z działalności człowieka. Proponuje edukację w dziedzinie świadomego słuchania oraz rozwijanie dziedziny projektowania akustycznego mieszczącego się pomiędzy nauką, socjologią i sztuką. Podkreśla rolę muzyki w kształtowaniu krajobrazu dźwiękowego i jego wpływu na zachowanie się człowieka. Krajobraz dźwiękowy zmienia się w kolejnych epokach poprzez powstawanie zupełnie nowych dźwięków, zmianie ich jakości i intensywności. Obecnie dźwięk zaczyna mieć coraz większe znaczenie w każdej dziedzinie życia zawodowego i prywatnego. Stąd też potrzeba analizy i badania tego zagadnienia, badania zależności między ludźmi a dźwiękami

17 związanymi z ich środowiskiem, potrzeba badania zanieczyszczenia środowiska dźwiękowego, takimi dźwiękami, które są ignorowane i odrzucane oraz potrzeba wpływania w sposób pozytywny na krajobraz dźwiękowy. Analizowanie krajobrazu dźwiękowego obejmuje wiele zagadnień związanych z dźwiękiem oraz z porównywaniem dźwięku ze sferą widzenia: - Opisywanie krajobrazu dźwiękowego i trudności związane z opisem dźwięku poprzez milczące pismo i rysunki. - Porównanie krajobrazów dźwiękowych w różnych epokach i trudności związane z brakiem możliwości posłuchania rzeczywistego dźwięku (brak muzeów dźwiękowych, analiza w oparciu o przekazy w literaturze, w sztuce). - Określenie głównych cech krajobrazu dźwiękowego (dźwięki bazowe, sygnały, dźwięki unikalne). - Określenie rodzajów krajobrazów dźwiękowych (wiejski, miejski, sakralny, świecki ). - Analiza dźwięków uważanych za hałas w różnych epokach historycznych (regulacje prawne). - Analiza wpływu rewolucji technologicznych na krajobraz dźwiękowy. - Analiza zmian charakteru dźwięków związanych z urządzeniami technicznymi. - Analiza zmian percepcji dźwięków. - Tworzenie klasyfikacji dźwięków według ich właściwości fizycznych, psychoakustycznych, semantycznych i estetycznych. - Obserwacje krajobrazu dźwiękowego i tworzenie map dźwiękowych i map hałasu. - Poznawanie krajobrazu dźwiękowego poprzez spacery dźwiękowe. - Tworzenie programów nauczania dotyczących świadomości słyszenia, poznawania otaczających dźwięków, solfeżu przestrzennego.

18 Strefa urbanistyki i architektury (W oparciu o książkę Kazimierza Wejcherta Elementy kompozycji urbanistycznej ) Tworząc nawigowalne przestrzenie interaktywne można sięgnąć do różnych przydatnych zasad istniejących już dziedzinach zajmujących się projektowaniem rzeczywistej przestrzeni dla jej mieszkańców - obserwatorów. Wybrane zagadnienia związane z projektowaniem urbanistycznym: - Kompozycja urbanistyczna i architektoniczna powinna brać pod uwagę oddziaływanie form przestrzennych na doznania poruszającego się w niej człowieka - obserwatora. - Przestrzeń świadomie zorganizowana w celu oddziaływania na patrzącego obserwatora może wpływać na niego emocjonalnie oraz może uczyć patrzenia i dostrzegania elementów otaczającego środowiska. - Na kompozycję przestrzeni składają się zróżnicowane rejony, pasma graniczne, dominanty, punkty węzłowe i znaki szczególne. - Dla rozległych kompozycji przestrzennych wzrasta rola czasu, jako ważnego czynnika, który musi być uwzględniony w rozwiązaniach kompozycyjnych. - Ciągi czasoprzestrzenne muszą być dostosowane do możliwości percepcyjnych człowieka przy danej prędkości przemieszczania się. - Subiektywny odbiór zaprojektowanej przestrzeni jest silnie uzależniony zarówno od zmiennych warunków zewnętrznych jak i od obserwatora jego wiedzy, doświadczeń i nastroju w danej chwili. Siła przeżywania przestrzeni jest bardzo zróżnicowana: od pozornego niedostrzegania dobrze znanej przestrzeni, po duże zainteresowanie nowymi czy zmiennymi kompozycjami przestrzennymi. - Postrzeganie przestrzeni uzależnione jest też od kontekstu społecznego oglądania indywidualnego, we dwoje czy w dużej grupie. Pierwsza z tych sytuacji, odbiór indywidualny, stwarza warunki do powstawania najbardziej niezależnych ocen przestrzeni, bez wpływu grupy czy drugiej osoby. Odpowiednie zaprojektowanie przestrzeni może stwarzać warunki właśnie takich indywidualnych doznań.

19 Strefa dźwięku gier komputerowych (W oparciu o www.iasig.org, WWise www.audiokinetic.com, UDK www.udk.com) Struktura gry komputerowej wymaga zastosowania dźwięku interaktywnego. Taki sam mechanizm działania i zasady projektowania obiektów dźwiękowych z ich atrybutami i zachowaniami, może być również wykorzystany w projektach artystycznych. Dźwięk w grach komputerowych może pełnić rolę semiotyczną, emocjonalną, strukturalną, narracyjną, immersywną, kinetyczną i estetyczną. Obecnie dźwięk ten nie odbiega od standardów dźwięku wysokiej jakości, często jest to dźwięk przestrzenny. Gry komputerowe, ze swej natury interaktywne, wymagają tworzenia dźwięku nieliniowego i interaktywnego, szybko reagującego na zachowania użytkownika we wszystkich warstwach dźwiękowych gry, nie tylko w warstwie efektów synchronicznych, ale również dla efektów asynchronicznych i atmosfer oraz muzyki. Ze względu na istniejące ograniczenia każdej z platform sprzętowych, projektowanie dźwięku musi uwzględniać ograniczenia pamięci, ograniczenia czasowe przy utrzymaniu możliwie najlepszej jakości dźwięku. Środowiska do pracy nad dźwiękiem do gier komputerowych umożliwiają oddzielenie części dotyczącej dźwięku od całego projektu tak, aby osoba odpowiedzialna za dźwięk mogła pracować w dużym stopniu samodzielnie, równolegle do programowania gry, z możliwością testowania z grafiką i możliwością pełnej integracji z całym środowiskiem gry. W pracy nad dźwiękiem w jednym projekcie dostępne są wszystkie dane dotyczące ruchu i dźwięku dla danej gry, co umożliwia pracę nad: - zarządzaniem obiektami dźwięków, dialogu, muzyki i ruchu oraz budowanie hierarchicznych struktur między tymi obiektami, - zarządzaniem bibliotekami dźwięków, - definiowaniem parametrów obiektów (głośność, wysokość, lokalizacja ) i zasad odtwarzania przypisanym im dźwięków (przypadkowa, sekwencyjna ), - tworzeniem zdarzeń związanych z akcją i dialogiem, które wyzwalają dźwięk i ruch w grze, - definiowaniem zależności między obiektami dźwiękowymi a zdefiniowanymi parametrami gry zmieniającymi się w czasie rzeczywistym, - tworzeniem wersji prototypowych i symulacji dla różnych platform sprzętowych i wersji językowych.

20 Część III Typy projektów interaktywnych. Przykłady audiowizualne. Strategia instrumentu 1. TheFunTheory.com Piano Staircase Schody w przejściu podziemnym zamienione w klawiaturę fortepianową, wpływające na zachowanie ludzi. 2. Toshio Iwai Resonance of 4 (Barbican Arts Centre, Londyn 1997) Cztery myszy pozwalające na wpisywanie punktów na czterech siatkach graficznych, stanowiących zapis dźwięków muzycznych, odtwarzanych synchronicznie. 3. Gregory Lasserre, Anais met den Ancxt Akusmaflore (WRO 09 13. Biennale Sztuki Mediów, Wrocław 2009) Rośliny reagujące na oddziaływanie człowieka poprzez własny strumień dźwięku. 4. Paweł Janicki Mapping Chopin (Warszawska Jesień, 2010) Zapis pianolowy wyświetlany na podłodze, uruchamiany przez ruch słuchaczy. 5. Marek Chołoniewski, Krzysztof Knittel qub (Warszawska Jesień, 2010) Harfa ISA, rama z niewidzialnymi strunami, jako interfejs dla różnorodnych kompozycji dźwiękowych. 6. Krzysztof Czaja, Andrzej Kopeć Chopout (Warszawska Jesień, 2010) Improwizacja pianisty na instrumencie disklavier stanowiąca materiał do odpowiedzi muzycznej komponowanej przez komputer. Zadania: 1. Przygotowanie algorytmicznego materiału dźwiękowego dla harfy ISA. 2. Przygotowanie dwóch graficznych tablic do wpisywania krótkich przebiegów melodycznych odtwarzanych synchronicznie. 3. Etiuda na jeden tłumik synteza algorytmiczna dźwięku z jednym zmiennym parametrem.