Nazwa modułu: Dźwięk w multimediach Rok akademicki: 2014/2015 Kod: RIA-2-204-ID-s Punkty ECTS: 7 Wydział: Inżynierii Mechanicznej i Robotyki Kierunek: Inżynieria Akustyczna Specjalność: Inżynieria Dźwięku w Mediach i Kulturze Poziom studiów: Studia II stopnia Forma i tryb studiów: Stacjonarne Język wykładowy: Polski Profil kształcenia: Ogólnoakademicki (A) Semestr: 2 Strona www: Osoba odpowiedzialna: dr inż. Wierzbicki Jacek (wierzbic@agh.edu.pl) Osoby prowadzące: dr Pluta Marek (pluta@agh.edu.pl) dr inż. Wierzbicki Jacek (wierzbic@agh.edu.pl) Alda Witold (alda@agh.edu.pl) dr inż. Ziółko Bartosz (bziolko@agh.edu.pl) Opis efektów kształcenia dla modułu zajęć Kod EKM Student, który zaliczył moduł zajęć wie/umie/potrafi Powiązania z EKK Sposób weryfikacji efektów kształcenia (forma zaliczeń) Wiedza M_W001 zna metody syntezy dźwięku i ich zastosowania IA2A_W01, IA2A_W08 M_W002 zna podstawowe pojęcia i techniki związane z budową i konfiguracją systemów przetwarzania dźwięku w komputerze IA2A_W01, IA2A_W08 Aktywność na zajęciach, Wykonanie ćwiczeń laboratoryjnych Umiejętności M_U001 umie udźwiękowić grę komputerową IA2A_W05, IA2A_W06, IA2A_W09, IA2A_U03, IA2A_U07, IA2A_U09, IA2A_U15, IA2A_K04, IA2A_K05 Aktywność na zajęciach, Udział w dyskusji, Wykonanie projektu, Wykonanie ćwiczeń, Wykonanie ćwiczeń laboratoryjnych M_U002 samodzielnie realizuje programowe implementacje wybranych metod syntezy dźwięku IA2A_U04, IA2A_U09, IA2A_U11, IA2A_U21 1 / 5
M_U003 kreatywnie wykorzystuje metody syntezy dźwięku do symulacji dźwięku instrumentów akustycznych, do przetwarzania sygnałów i do kreowania nowych brzmień IA2A_U09, IA2A_U15, IA2A_U21 M_U004 samodzielnie rozwiązuje problemy związane z systemem przetwarzania dźwięku w komputerze IA2A_W06 Odpowiedź ustna, Wykonanie, Zaliczenie laboratorium Matryca efektów kształcenia w odniesieniu do form zajęć Kod EKM Student, który zaliczył moduł zajęć wie/umie/potrafi Forma zajęć Wykład audytoryjne laboratoryjne projektowe Konwersatori um seminaryjne praktyczne terenowe warsztatowe Inne E-learning Wiedza M_W001 M_W002 Umiejętności M_U001 M_U002 M_U003 M_U004 zna metody syntezy dźwięku i ich zastosowania zna podstawowe pojęcia i techniki związane z budową i konfiguracją systemów przetwarzania dźwięku w komputerze umie udźwiękowić grę komputerową samodzielnie realizuje programowe implementacje wybranych metod syntezy dźwięku kreatywnie wykorzystuje metody syntezy dźwięku do symulacji dźwięku instrumentów akustycznych, do przetwarzania sygnałów i do kreowania nowych brzmień samodzielnie rozwiązuje problemy związane z systemem przetwarzania dźwięku w komputerze Treść modułu zajęć (program wykładów i pozostałych zajęć) Wykład Kodeki audio, strumieniowe przesyłanie dźwięku 2 / 5
Architektura sprzętowo-programowa systemów przetwarzania dźwięku w komputerze Karty dźwiękowe - parametry i konfiguracja Osługa dźwięku w DirectX Technologia ASIO i VST Przegląd gier komputerowych Przegląd rodzajów gier komputerowych. Krótkie omówienie etapów tworzenia gier. Przedstawienie wybranych narzędzi wspomagających budowanie gry. Omówienie znaczenia dźwięku w grach. Scharakteryzowanie, na przykładach, różnych rodzajów dźwięków w grach. (2 godz.) Dźwięk w programie GameMaker Przedstawienie możliwości programu GameMaker. Pokaz budowania prostej gry 2D (typu Pacman) w trakcie zajęć. Dodanie dźwięku tła i dźwięków związanych ze zdarzeniami. (2 godz.) Przestrzeń dźwiękowa w grach tworzonych w Unity 3D Przedstawienie rozbudowanego silnika gier Unity 3D. Pokaz tworzenia elementów gry i scharakteryzowanie dostępnych assetów. Dokładniejsze omówienie assetów dźwięku: audio clip, audio source i audio listener. Zbudowanie sceny dźwiękowej 3D, przypisanie źródeł dźwięku do wybranych obiektów. Omówienie parametrów przestrzeni dżwiękowej i obserwacja efektów ich zmiany (m.in. efekt Dopplera, funkcja zanikania dźwięków z odległością, filtracja i inne). (3 godz.) Obsługa dźwięków za pomocą skryptów w Unity 3D Zaawansowana obsługa dźwięków w Unity 3D w opaciu o sterowanie skryptami w C1. i Javascript. Krótkie przypomnienie charakterystyki języków C2. i Javascript. Uzupełnianie i tworzenie własnych prostych skryptów do obsługi zdarzeń w środowisku o złożonej geometrii. (3 godz.) Programowe generowanie dźwięków Omówienie oprogramowania do generowania dźwięków dla potrzeb gier i filmów animowanych. Demonstracja programu Bfxr i pokazanie jego możliwości. Wprowadzenie do języka programowania ChucK, zorientowanego na generowanie dźwięków. Demonstracja i analiza przykładów w tym języku. (3 godz.) Perspektywy rozwoju użycia dźwięku w grach Uzupełnienie poprzednich wykładów. Omówienie poprawnej fizycznie realizacji. Podział metod syntezy dźwięku, rys historyczny, sławne syntezatory analogowe Synteza tablicowa, operowanie zarejestrowanymi próbkami dźwięków Modelowanie widma: synteza addytywna i formantowe. Metody filtracyjne: synteza subtraktywna, falowodowa, Karplus-Strong Metody nieliniowe i inne: FM, kształtowanie fali, synteza granularna i in. Modelowanie fizyczne laboratoryjne Realizacja nagrań do bazy efektów dźwiękowych do gier Analiza istniejących rozwiązań w grach dotyczących dźwięków Programowanie elementów silnika audio do gier komputerowych 3 / 5
Testowanie i ustalanie akustyki pomieszczeń w grach komputerowych Implementacja i testowanie algorytmów soundtracingu w grach komputerowych Zapoznanie z oprogramowaniem Pure Data oraz Synthesis Toolkit in C++ Cyfrowa symulacja dźwięku syntezatorów analogowych i instrumentów akustycznych Tworzenie nowych brzmień Przetwarzanie sygnału metodami syntezy dźwięku Sterowanie syntezatorem. Protokół MIDI Konfiguracja toru przetwarzania dźwięku w komputerze dla zadanego celu Wybór kodeków dźwięku i dobór ich nastaw, strumieniowanie dźwięku Wybór wtyczki VST i dobór jej nastaw do realizacji zadanego efektu dźwiękowego Sposób obliczania oceny końcowej Ocena końcowa jest oceną z egzaminu. Warunkiem przystąpienia do egzaminu jest otrzymanie zaliczenia ze wszystkich zakresów tematycznych wchodzących w skład modułu: - dźwięk w komputerze - dźwięk w grach - synteza dźwięku Wymagania wstępne i dodatkowe zaliczenie modułu Dźwięk w multimediach 1 Zalecana literatura i pomoce naukowe Cook Perry R., Real Sound Synthesis for Interactive Applications. A K Peters, Wellesley, Massachusetts 2004. Miranda Eduardo R., Computer Sound Design. Synthesis Techniques and Programming. Focal Press, 2006. Metzger P., Anatomia PC. Wydanie XI. Helion 2007. MSDN, msdn.microsoft.com DirectX SDK, www.microsoft.com ASIO SDK, www.steinberg.net Publikacje naukowe osób prowadzących zajęcia związane z tematyką modułu Nie podano dodatkowych publikacji Informacje dodatkowe Brak 4 / 5
Nakład pracy studenta (bilans punktów ECTS) Forma aktywności studenta Udział w wykładach Samodzielne studiowanie tematyki zajęć Udział w ćwiczeniach laboratoryjnych Przygotowanie do zajęć Przygotowanie sprawozdania, pracy pisemnej, prezentacji, itp. Egzamin lub kolokwium zaliczeniowe Sumaryczne obciążenie pracą studenta Punkty ECTS za moduł Obciążenie studenta 30 godz 30 godz 1 godz 196 godz 7 ECTS 5 / 5