Audio i video R. Robert Gajewski omklnx.il.pw.edu.pl/~rgajewski s-rg@siwy.il.pw.edu.pl
Fale dźwiękowe Dźwięk jest drganiem powietrza rozchodzącym się w postaci fali. Fala ma określoną amplitudę i częstotliwość. Rzeczywiste dźwięki są sumą wielu różnych nakładających się na siebie fal.
Konwersja fali dźwiękowej do postaci cyfrowej Aby przekształcić fale dźwiękowa do postaci cyfrowej musimy zmierzyć amplitudę w określonych odstępach czasowych. Każda zmierzona wartość amplitudy nazywana jest próbką (sample). Proces przekształcania dźwięku do postaci cyfrowej nazywany jest próbowaniem (sampling). Liczba próbek pobierana w ciągu sekundy zwana jest częstotliwością próbkowania (sample rate). Najpopularniejsze obecnie częstotliwości próbkowania to: 11025KHz, 22050KHz i 44100KHz.
Rozdzielczość próbkowania Rozdzielczość próbkowania (sample resolution) to rozmiar próbkowania. Rozróżniamy dwie rozdzielczości 8 i 16 bitów Możemy ją sobie wyobrazić jako liczbę poziomych odcinków na jakie dzielimy amplitudę. 8 bitow probki 16 bitow
Próbkowanie Przy pobieraniu dźwięku rzeczywista wielkość zmierzonej amplitudy zaokrąglana jest do najbliższej "cyfrowej" wartości. W żargonie określane jest to jako kwantowanie (quantizing). Różnica między oryginalną wartością a zapisanym zaokrąglonym wynikiem pomiaru to błąd kwantowania (quantization error).
Błąd próbkowania skwantowana wartosc amplitudy jednostka pomiaru fala dzwiekowa rzeczywista wartosc amplitudy moment probkowania
Odtwarzanie dźwięku Ponieważ dźwięk jest zapisany w sposób "zębaty", będzie brzmieć on nieco sztucznie. W celu eliminacji tego zjawiska stosuje się specjalne filtry analogowe, które wygładzają kształt fali dźwiękowej.
Format µ-law Wykorzystywany jako standard zapisu dźwięku w systemach Sun i NEXT. (rozszerzenie.au) Monofoniczny, 8-bitowy o częstotliwości 8KHz. Ze względu na specyficzny sposób kodowania ma dobra dynamikę.
Formaty AIFF/AIFC i WAVE AIFF - Audio Interchange File Format, opracowany przez firmę Apple, zaakceptowany później przez firmę SGI. AIFC ma wbudowana kompresję. Format WAVE został opracowany przez Microsoft. Ma wiele wspólnego z AIIFF. Istnieje możliwość zapisu z różną rozdzielczością, częstotliwością i liczba kanałów.
Format Real Audio Wymagają odtwarzacza RealAudio. Format 14.4 nadaje się do odtwarzania przy pomocy modemu 14.4K a 28.8 przy pomocy szybszego, 28.8K. Oba formaty wyposażone są w skuteczne algorytmy kompresji.
Cyfrowy obraz wideo Analogowe wideo to płynny strumień informacji. Karta wideo dokonuje próbkowania dostarczonego obrazu filmowego w regularnych odstępach czasu. Każdy obraz jest następnie kodowany i powstaje ujęcie (frame). Prędkość odtwarzania (frame rate) to liczba ujęć wyświetlanych w ciągu sekundy, zaś wielkość ujęcia (frame size) to rozmiary pojedynczego ujęcia wyrażone w pikselach. Na standardowym odtwarzaczu prędkość to 30 fps frames per second -(full motion video).
Format QuickTime Format utworzony przez firmę Apple na użytek komputerów Macintosh. Format QuickTime pozwala wykorzystać wiele różnych algorytmów kompresji, a w szczególności CinePak oraz Indeo. Pliki maja rozszerzenie.qt lub.mov.
Format Video for Windows Format ten został opracowany przez Microsoft i stanowi standard w edycji wideo na PC. Pliki te są zwane także plikami AVI z powodu rozszerzenia.avi (Auto/Video Interleave)
Format MPEG wideo MPEG jest zarówno formatem pliku jak i algorytmem kompresji. Format ten zapewnia doskonałą jakość obrazu, lecz proces dekompresji jest dosyć powolny - dlatego wiele dekoderów plików MPEG jest wspomaganych sprzętowo. Jeżeli korzystamy z dekodera programowego musimy dysponować komputerem o dużej mocy obliczeniowej. Duże są koszty kodowania obrazu w pliku MPEG - potrzebny jest do tego sprzętowy kompresor.
Kompresja obrazu wideo Algorytm stosowany do kompresji i dekompresji cyfrowego obrazu wideo określany jest terminem codec -(skrót odcompression/decompression). Algorytmy te, inaczej niż algorytmy stosowane do kompresji obrazów, nie są powiązane ściśle z formatem pliku w którym zapisujemy obraz wideo. Kodowanie symetryczne to takie, w którym czas kompresji obrazu wideo jest równy czasowi jego dekompresji. Kodowanie asymetryczne to takie, dla którego czas kompresji i dekompresji jest niejednakowy.
Kodowanie symetryczne i asymetryczne Kodowanie symetryczne Oryginalny obraz wideo Plik z cyfrowym obrazem wideo Odtwarzanie Czas kompresji Czas dekompresji Kodowanie asymetryczne Oryginalny obraz wideo Plik z cyfrowym obrazem wideo Odtwarzanie Czas kompresji Czas dekompresji
Kodowanie symetryczne i asymetryczne Przy kodowaniu symetrycznym kompresja filmowego obrazu zajmuje tyle samo co jego późniejsza dekompresja. Wpływa to pozytywnie na sprawność tworzenia plików wideo, ale nie koniecznie na ich odtwarzanie. Przy kodowaniu asymetrycznym proces kompresowania obrazu wideo trwa długo, za to czas odtwarzania przy dekompresji jest krótki. Im krótszy jest czas dekompresji tym większa możemy osiągnąć prędkość odtwarzania.
Porównywanie ujęć (1) 3-2 3 2-1 2 1 1
Porównywanie ujęć (2) Są dwie podstawowe metody kompresji obrazów wideo: Każde kolejne ujecie może być kompresowane jak zwykły pojedynczy obraz, a następnie dekompresowane przy odtwarzaniu. Druga metoda polega na tzw. porównywaniu ujęć (frame differencing) - nie jest to system kodowania, ale technika pracy, z której mogą korzystać różne systemy kodowania.
Porównywanie ujęć (3) Ujęcie z pliku dla którego użyto tej metody zawiera o wiele mniej informacji niż ujęcie ze zwykłego pliku wideo. Nie znajdziemy w nim bowiem całego obrazu, a jedynie te jego części, które uległy zmianie w stosunku do ujęcia poprzedniego. Zmieniona część obrazu jest zwykle mniejsza od jego całej powierzchni. Metoda ta sprawdza się najlepiej w statycznych scenach typu "gadające głowy", gdzie tło pozostaje nieruchome, jedynie niewielkie obiekty na pierwszym planie wykazują jakieś ruchy.
Ujęcia kluczowe (1) 4-3 5 3-2 2-1 1
Ujęcia kluczowe (2) W tym przypadku porównywanie zasadza się na istnieniu tzw. ujęć kluczowych (key frames). Ujęcia te zapisywane są w całości; służą one za wzorce, na podstawie których określa się różnice, jakie trzeba zapisać dla ujęć pośrednich. Im dalej znajdziemy się od ujęcia kluczowego, tym więcej będzie zmienionych miejsc i tym więcej informacji do przeliczenia. Rośnie wtedy prawdopodobieństwo powstania opóźnień i zmniejszenia prędkości odtwarzania.
Systemy kodowania algorytm JPEG Przy kodowaniu obrazów ruchomych algorytm ten nazywany jest Motion JPEG. Korzystanie z tego algorytmu jako systemu kodowania obrazu wideo ma dwie wady: Nie jest przeprowadzane porównywanie ujęć (frame differencing), Dekompresja obrazu przy wyświetlaniu jest powolna. Każde ujęcie jest kompresowane osobno bez porównywania z innymi. Przy odtwarzaniu każde ujęcie jest osobno dekompresowane i wyświetlane jedno po drugim.