mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 1.

Transkrypt

1 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 1. SYSTEMY MULTIMEDIALNE Co to jest system multimedialny? Elementy systemu multimedialnego Nośniki danych i ich wpływ na kodowanie Cele i sposoby kodowania Kompresja bezstratna Kompresja stratna Stratna kompresja dźwięku Stratna kompresja obrazów Stratna kompresja video

2 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 2. Co to jest system multimedialny? Czy na przykład klasyczna analogowa telewizja, to system multimedialny? Owszem, jak najbardziej, ale to analogowy system multimedialny. Nas natomiast będą interesowały cyfrowe systemy multimedialne, elementy niektórych z nich podziwiać można poniżej.? W słowie multimedialny tkwi mały haczyk, bo multi zakłada wielość mediów w takim systemie (np. obraz i dźwięk). Jednak systemy dostarczające tylko jedno medium (np. tylko dźwięk), również można podciągnąć pod systemy multimedialne, bo słowo medialny znaczy w naszym języku coś zupełnie innego.

3 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 3. Elementy systemu multimedialnego. kodowanie źródła nośniki danych dekodowanie urządzenia końcowe

4 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 4. Nośniki danych i ich wpływ na kodowanie. Transmisja radiowa Szerokość pasma średnia i duża. Poziom zakłóceń wysoki. Ilość jednoczesnych odbiorców nieograniczona. Dostęp swobodny brak. Kanał zwrotny - brak. Transmisja kablowa Szerokość pasma duża. Poziom zakłóceń niski. Ilość jednoczesnych odbiorców średnia i duża. Dostęp swobodny brak. Kanał zwrotny najczęściej brak. Pamięci masowe Szerokość pasma duża i bardzo duża. Poziom zakłóceń żaden. Ilość jednoczesnych odbiorców 1. Dostęp swobodny jest. Kanał zwrotny brak. Ograniczona pojemność. Internet Szerokość pasma mała lub średnia. Poziom zakłóceń niski lub bardzo niski. Ilość jednoczesnych odbiorców umiarkowana. Dostęp swobodny może być zapewniony. Kanał zwrotny bez problemu. Nośnik danych systemu multimedialnego ma zasadniczy wpływ na rodzaj wybranego kodowania. Różnorodność kanałów transmisyjnych powoduje różnorodność standardów kodowania, choć daje się zaobserwować pewien trend do tworzenia systemów uniwersalnych (np. MPEG-4). Warto też pamiętać o tym, że często kanał transmisyjny składa się z kilku różnych części, np. media transmitowane przez Internet są składowane po stronie nadawczej (a często i odbiorczej) w pamięci masowej.

5 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 5. Cele i sposoby kodowania Kodowanie danych ma różne cele, w zależności od rodzaju kanału transmisyjnego, czy modelu biznesowego nadawcy. Możemy wyróżnić trzy najważniejsze cele kodowania: Korekcja błędów Ma na celu oczywiście zapobieżeniu uszkodzeniom transmitowanych mediów wywołanych zakłóceniami. We współczesnych systemach multimedialych korekcja błędów odbywa się najczęściej w warstwie transmisji jak najbliższej sprzętu (np. sumy kontrolne ramek Ethernet, kody korekcyjne na dyskach CD/DVD). Kompresja danych Jest szczególnie istotna w kanałach o ograniczonej pojemności, a więc w Internecie i pamięciach masowych. Dane multimedialne mogą być kompresowane bezstratnie (z wykorzystaniem redundancji informacyjnej), lub też stratnie (z wykorzystaniem redundancji percepcyjnej). Kompresja stratna i bezstratna najczęściej są wykorzystywane jednocześnie. Szyfrowanie Celem szyfrowania może być zarówno zapewnienie poufności przekazu (np. w systemach łączności radiowej czy wideofonicznej), zapewnienie, że przekaz trafi wyłącznie do zaufanych odbiorców, bądź też zabezpieczenie praw autorskich (utrudnienie kopiowania).

6 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 6. Kompresja bezstratna Kompresja bezstratna wykorzystuje redundancję (nadmiarowość) informacyjną (dowolnego) strumienia danych. Jej cechą charakterystyczną jest identyczność bitowa strumienia zdekompresowanego ze sttumieniem źródłowym. Dzięki temu kompresja bezstratna może być wykorzystana do dowolnego formatu danych, niekoniecznie mediów. Oto różnego rodzaju algorytmy kompresji bezstratnej: Algorytmy bez analizy danych: ByteRun IFF ILBM. Run Length Encoding BMP. Lempel Ziv Welsh (LZW) GIF. Algorytmy z analizą danych: Algorytm Huffmana ZLIB, ZIP. Kompresja arytmetyczna. Przykład redundancji informacyjnej dane źródłowe AAABBBAAAAAABBBBCCCCCBBBBBAAAAAAA prosta kompresja typu byte run 3A3B6A4B5C5B7A

7 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 7. Kompresja stratna Kompresja stratna jest charakterystyczna dla danych medialnych, ponieważ wykorzystuje redundancję percepcyjną. Opiera się ona na tym, że ludzkie zmysły i mózg nie analizują całej informacji zawartej w strumieniu multimedialnym. W związku z tym część danych może zostać z tego strumienia usunięta, podczas gdy percepcja tego strumienia pozostanie niezmieniona, lub (częściej) strata jakości percepcji jest w danych warunkach akceptowalna. Pewnym problemem jest tu indywidualność percepcji. Autorzy kompresorów konstruują uśrednione modele percepcji w oparciu o wyniki eksperymentów (np. model psychoakustyczny MPEG Audio). Trzeba się liczyć z tym, że indywidualne osoby mogą mieć percepcję inną niż uśredniony model. Na przykład większość ludzi kopmresję MPEG 1 Audio warstwę 3 (popularne MP3) o przepływności 192 kbit/s traktuje jako jakość CD, podczas gdy są osoby, które odczuwają stratę jakości nawet przy 256 kbit/s. Większość algorytmów kompresji stratnej na koniec pakuje przetransformowane dane dodatkowo algorytmem bezstratnym.

8 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 8. Kompresja stratna dźwięku Najprostszą kompresją stratną dźwięku jest nieliniowe kwantowanie próbek, stosowane między innymi w formatach A-law i µ-law. Osiąga się kompresję 2:1 przy nieznacznym pogorszeniu stosunku sygnału do szumu. Kolejnym stopniem jest wykorzystanie korelacji międzypróbkowej ADPCM z predyktorami różnego stopnia. Są to jednakże metody przestarzałe, powszechnie obecnie jest stosowana transformata w dziedzinę częstotliwości, następnie przy pomocy modelu psychoakustycznego usuwa się składowe percepcyjnie nieistotne, dzięki zjawisku maskowania tonalnego i szumowego. Korzystając z tego samego zjawiska można zamaskować szum kwantyzacji współczynników transformaty (noise shaping). Prostą metodą stosowaną przy dźwięku wielokanałowym jest wykorzystanie wysokiej korelacji między kanałami (najczęściej stosowana wraz z innymi metodami). Skuteczną metodą poprawienia stopnia kompresji jest kompresja z dynamicznym bitrate (VBR). Najnowsze standardy (AAC+) wykorzystują też sztuczki z powieleniem dolnej połowy widma w górną (spectral band replication). Odrębną gałęzią jest kompresja sygnałów mowy. Tu podstawowym kryterium jest raczej zrozumiałość mowy niż wierne odtworzenie. Powszechnie stosowaną techniką jest dynamiczne modelowanie układu głosowego człowieka i przesyłanie parametrów modelu, oraz pobudzenia szczątkowego (szum + ton). Na technicej tej opiera się np. standard kompresji telefonii komórkowej GSM. kwantowanie nieliniowe korelacja międzypróbkowa f maskowanie tonalne i szumowe t

9 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 9.. Kompresja stratna obrazów nieruchomych Wzrok człowieka oszukać trudniej niż słuch, stąd wiele formatów obrazu pozostaje przy kompresji bezstratnej (GIF, BMP), ewentualnie wspomagając się usuwaniem korelacji między sąsiednimi pikselami (PNG). Kompresja stratna sprawdza się w przypadku obrazów naturalnych (zdjęcia). Najbardziej rozpowszechnionym formatem jest JPEG, który opiera się na transformacie obrazu w dziedzinę częstotliwości (DCT), a następnie stratnym kwantowaniu współczynników transformaty. Nowsze formaty (JPEG2000, DjVu) wykorzystują transformatę falkową, która lepiej dopasowana jest do sposobu przetwarzania obrazu przez mózg (przy tej samej kompresji, artefakty są mniej widoczne). Ważną techniką jest też zmniejszanie pasma przenoszenia chrominancji (formaty YUV). Warto tu wspomnieć, że w przypadku rysunków wygenerowanych sztucznie, zawierających głównie linie i jednobarwne figury, bardzo skutecznym rodzajem kompresji jest zapis w formacie wektorowym (np. SVG, czy nawet PostScript i PDF). 95,7 kb 3,9 kb 7,1 kb 3,6 kb 2,0 kb

10 mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 1, strona 10. Kompresja stratna video O ile rozdzielczość percepcyjna obrazów nieruchomych u człowieka jest niezła, o tyle w przypadku video możliwości oszustwa jest więcej. Większość ludzi odbiera ruch pokazany z prędkością powyżej 25 klatek na sekundę jako płynny. To podstawa ograniczenia strumienia danych. Oczywiście do każdej klatki dają się zastosować techniki stosowane przy obrazach niesuchomych, przede wszystkim format YUV i skwantowane transformaty częstotliwościowe. Oprócz tego dochodzi wiele nowych technik wykorzystujących korelację międzyklatkową: predykcja i interpolacja klatek, predykcja ruchu bloków obrazu. predykcja i interpolacja ramek kompensacja ruchu