Multimedia Wykład 1 Samo pojęcie informacji multimedialnej w skrócie multimedia nie doczekało się do tej pory ani powszechnie akceptowalnej definicji ani formalnego ujęcia. Multimedia to łączna prezentacja różnych źródeł danych: tekstu, obrazu nieruchomego i ruchomego. Mogą to być dane na lokalnym nośniku i tak rozumiane nie wymagają transmisji z odległych źródeł Najczęściej przyjmuje się za wystarczające istnienie w systemie dwóch postaci informacji przy czym jedna musi mię charakter ciągły. Tak więc przykładowe multimedia stanowią Tekst piosenki wyświetlany na ekranie monitora wraz z podkładem muzycznym odtwarzanym np. z dysku CD Animacja komputerowa (np. utworzona w języku VRML (Virtual Reality Modeling Language) zsynchronizowana z mową tworzoną na podstawie tekstu Sekwencja obrazów wyświetlana na ekranie wraz z towarzyszącym dźwiękiem odtwarzanym z dysku np. DVD (cyfrowy dysk video) Dane multimedialne to dane dyskretne o ogromnej liczbie bitów wymaganych do ich zapisu. Powstał techniczny problem ich zapisu, przechowywania wyszukiwania, przesłania i właściwego odbioru. Tabela 1. Informacja multimedialna w peta bajtach {1 PB»1 milion GB)- stan z roku 2002 Medium Ilość obiektów rocznie Rozmiar [PB] cyfrowe/analogowe Fotografie 8O miliardów obrazów 410.00 Filmy wideo 1.4 miliarda taśm 300.00 Zdjęcia rentgenowskie 2 miliardy obrazów 17.20 Twardee dyski 200 milionów 13..76 napędów Opanowanie tej powodzi informacyjnej wymagało zatem znalezienia efektywnych narzędzi tworzenia opisów wybranych standardów meta-danych, indeksowania wyszukiwania danych a także kompresji tworzonych meta-danych Przykładowo, przesyłanie sygnału stereofonicznego z rozdzielczością 16 bitów (jakość CD) i częstotliwością próbkowania 48 khz (standard studyjny), wymaga przepustowości ponad 1,5 Mb/s. Zapisanie zaledwie 1 minuty takiego sygnał w pamięci cyfrowej wymaga pojemności ponad 11 Mbyte. W 1988 roku powstała grupa robocza 11 połączonych Komisji Technicznych ISO i IEC, nazywana powszechnie Moving Picture Exvert Group czyli w skrócie MPEG, która 1993 roku opracowała pierwszy standard kompresji sygnału MPEG-1, który zapewnia Kodowanie Ruchomych Obrazów i Dźwięku Towarzyszącego przy szybkości przesyłania ponad l,5mbit/s a 1994 roku MPEG-2, który został on zatwierdzony jako standard ISO/IEC a następnie MPEG-4. Standardowym rozszerzeniem plików w formacie MPEG są:.mpg oraz.mpeg. Do ich odtwarzania wymagane jest posiadanie specjalizowanej aplikacji (w systemie Windows jest to standardowo Windows Media Player). MPEG-1 IS-11172-1 ("System") opisuje synchronizację i przełączanie sygnałów video i audio. IS-11172-2 ("Video") opisuje kompresję sygnałów video (używaną głównie w Video-CD ) MPEG-1 Prace nad MPEG1 zostały ukończone. Pierwsze trzy części zostały opracowane przed rokiem 1992. Standard MPEG1 składa się z pięciu części: 1S-11172-1 ("System") opisuje synchronizację i przełączanie sygnałów video i audio. IS-11172-2 ("Video") opisuje kompresję sygnałów video (używaną głównie w Video-CD) IS-11172-3 ("Audio") opisuje rodzinę kodowania dźwięku oraz jej trzech opcji (nazywanych "Layer-1", "Layer-2" i "Layer-3"). IS-11172-4 ("Compliance Testing") opisuje czynności potrzebne do określenia charakterystyk kodowania i dekodowania oraz dla testowania kompatybilności z innymi częściami standardu. DTR-11172-5 ("Symulacja Programowa") jest to techniczny raport na temat programowego wykonania pierwszych trzech części.
W początkowej fazie rozwoju multimedia koncentrowały się wokół jednego komputera wraz z odpowiednim oprogramowaniem aplikacyjnym i narzędziowym w celu tworzenia muzyki, realizacji encyklopedii multimedialnej, archiwizacji zdjęć fotograficznych, czy odtwarzania zsynchronizowanych sekwencji obrazów i dźwięków w postaci cyfrowej np. Video for Windows. Użytkownik nie miał dostępu do danych innych użytkowników ani też nie musiał się komunikować z innymi użytkownikami. Obecnie są już całe struktury komunikacyjne łączące wielu użytkowników, korzystających z rozproszonych zasobów danych. Obserwuje się dynamiczny rozwój systemów informacyjnych wykorzystujących z jednej strony nowe algorytmy i technologie przetwarzania informacji multimedialnej a z drugiej strony bogatą infrastrukturę komunikacyjną do transmisji danych. Infrastruktura składa się z wielu rodzajów sieci ikomunikacyjnych: - komputerowych -> Internet, LAN, MAN - telekomunikacyjnych->isdn,atm (ISDN Integrated Senices Digital Nefiwrk - sicć cyfrowa z integracją usług ATM Asynchronous Transfer Mode, technologia sieciowa umożliwiająca transmisję danych, dźwięku, wideo w czasie rzeczywistym) - telewizji kablowej -> CATV (CATV Community Antena Television system nadawania przez kabel koncentryczny) - satelitarnej -> DBS (DBS Direct Broadcast Sateltite satelita do transmisji bezpośrednich) - radiowych -> GSM (GSM Global System for global Communications system łączności przenośnej) Obecnie istnieją kategorie zastosowań tworzących systemy multimedialne danych multimedialne informacyjne (geograficzne, medyczne, policyjne, satelitarne) pracy biurowej komunikacji multimedialnej wiadomości na żądanie bibliotek cyfrowych interaktywnej edukacji telewizji interaktywnej Dane multimedialne mają różny charakter (obraz dźwięk) i duże wymiary W aplikacji multimedialnej dane te są kompresowane, transmitowane i prezentowane użytkownikowi. Algorytmy przetwarzania danych multimedialnych to przede wszystkim algorytmy kompresji, która prowadzi do efektywnego gromadzenia i efektywnej transmisji Inteligentny dostęp do danych jest realizowany na bazie systemów rozproszonych, w których wielu dostawców informacji/usług połączonych jest hierarchiczną siecią komunikacyjną z użytkownikami klientami Wśród systemów komunikacji multimedialnej można wyróżnić dwie kategorie: Systemy komunikacji wideokonferencyjnej, w którym biorące w nim udział osoby są ze sobą w kontakcie bezpośrednim Systemy inteligentnego dostępu do informacji multimedialnej Warunkiem poprawnej komunikacji jest stosowanie standardów kompresji i protokołów transmisji danych. Wtedy dekoder danego producenta potrafi poprawnie zinterpretować dane wygenerowane przez oprogramowanie lub koder innego producenta Protokół-^System reguł lub standardów dotyczących komunikacji przez sieć, zwłaszcza przez Internet. Komputery i sieci współdziałają ze sobą zgodnie z protokołami, które określają zachowania, jakich obie strony oczekują od siebie przy przesyłaniu informacji. Przykładowe standardy komunikacji multimedialnej (protokoły komunikacyjne) odnoszące się do systemów inteligentnego dostępu do informacji multimedialnej jak i systemów wideokonferencyjnych: Standard RTP komunikacji dla sieci Tnternet (RTP Real Time Protocol protokół czasu przesyłania danych, dźwięku, obrazu) Standard DSM CC sterowania urządzeniami. {DSM Digital Storage Media) Standard MPEG-2(ISO 13818, H.262) kompreśjt danych Standard H.320(ITU-T) komunikacji dla sieci N-ISDN. (N-ISDN Narrow band Integrasted Senices
Digital Network (przepustowość 64-1920 Kbps. H.320 historycznie pierwszy, Standard komunikacji multimedialnej opracowany w 1990 rokii głównie do wideotelefonii) Standard H.321(ITU-T) komunikacji dla sieci B-ISDN Standard H.310(ITLJ-T) komunikacji dla sieci ATM Standard H.322(ITU-T) komunikacji dla sieci LAN o gwarantowanej jakości usług Standard H.323(ITU-T) komunikacji dla sieci telefonicznych GSTN Standard H.324(ITU-T) komunikacji dla sieci gwarantowanej jakości usług Standard T.120(ITU-T) transportu dokumentów i danych ITU-T International Telecommunication Union - międzynarodowa organizacja z siedzibą w Genewie odpowiedzuialna za rekomendowanie i ustalanie standardów telekomunikacyjnych. Poprzednio CCITT międzynarodowy Komitet ds. Telefonii i Telegrafii Rola Internetu w komunikacji multimedialnej-standard RTP Internet w najprostszym uogólnieniu to ogólnoświatowy system sieci oraz bramek opartych na protokole TCP/IP (Transmission Control Protocol/Intemet Protocot) w celu wzajemnej komunikacji. Zawiera w sobie dwie grupy protokołów składowych: protokoły transportowe TCP i grupę protokołów sieciowych IP. Protokół warstwy transportowej TCP zapewnia usługi połączeniowe - negocjuje warunki połączenia, utrzymuje je przez czas trwania sesji i gwarantuje dostarczanie pakietów do odbiorcy. Umożliwia zachowanie kolejności dostarczania pakietów, sprawdza także poprawność danych i umożliwia retransmisję zagubionych pakietów. Niezawodne przesyłanie danych protokół TCP zawdzięcza mechanizmowi potwierdzania. Warstwa transportowa obejmuje protokoły TCP i UDP (User Datagram Protocol, dokonuje konwersji wygenerowanych przez aplikacje danych na pakiety do przesyłania przez protokół IP). Datagram -> pakiet lub jednostka informacji wraz z odpowiednią informacją doręczenia np. adresem przeznaczenia Protokół IP (niższa warstwa sieciowa), korzystający z usług transportowych protokołu UDP), ma charakter bezpołączeniowy, dokonuje fragmentacji i wysyła datagramy w sieć, nie troszcząc się o istnienie odbiorcy po drugiej stronie sieci. Przykładowy zakres usług Internetu dla użytrowników - Archiwa FTP( File Transfer Protocol) do wymiany plików protokołem FTP - Poczta elektroniczna - Strony WWW zbiór połączonych dokumentów na serwerach HTTP - Grupy dyskusyjne - IRC (InternetRelay Chat) internetowe pogawędki Natomiast sieć Internet ze względu na aktualny poziom rozpowszechniania zajmuje szczególne miejsce w systemach oraz usługach komunikacji multimedialnej. Nie jest dobrze przygotowana do realizacji komunikacji multimedialnej, ponieważ nie gwarantuje synchronizacji pomiędzy strumieniami danych ani ciągłości danych w czasie. Retransmisje pakietów nie mogą być stosowane, gdyż prowadzą do niedeterministycznego opóźnienia. Jeśli dane pojawią się za wcześnie część z nich może zostać bezpowrotnie stracona z powodu przepełnienia buforów. Technologia Plugins wprowadzona przez firmę Netscape umożliwia przeglądarkom WWW stosowanie multimedialnych formatów (np. MPEG, A VI, VRML, MIDI. Corel, PDF, PowerPoint) przez dynamiczne łączenie odpowiednich bibliotek do ich interpretacji. Multimedialnym rozszerzeniem sieci Internet jest protokół MIME (Multipurpose Internet Maił Extension), który specyfikuje metody kodowania obiektów binarnych zawierających dane multimedialne w przesyłanej wiadomości. Protokół MIME definiuje typy ogólne (dźwięk, obraz, wideo) i podtypy zawartości multimedialnej. Przykładowo typ 'obraz' zawiera zawartość jpeg' w formacie standardu kompresji obrazów statycznych JPEG. Inne podtypy obejmują następujące formaty ogólnych typów obrazów i wideo, gif, mpeg, ąuicktime. Realizacja danych multimedialnuych z udziałem większej liczby użytkowników może zostać zrealizowana na wirtualnej sieci MBone (Multicast Backbone). Sieć MBone składa się ze zbioru połączonych (poprzez tunele) podsieci i routerów Internetu obsługujących protokół transmisji danych IP Multicast (Internet Protocol Multicasting). Protokół IP Multicast pozwala na efektywne wykorzystanie przepustowości sieci, dzięki jednokrotnej transmisji pojedynczego pakietu danych do podzbioru węzłów przeznaczenia zamiast
jego wielokrotnej transmisji do każdego węzła oddzielnie. W ramach IETF (Internet Engineering Task Force - Grupa robocza do spraw technicznych sieci Internet) opracowano architekturę ulepszonego modelu usług komunikacyjnych o zadanej jakości operujących w czasie rzeczywistym, która obejmuje następujące protokoły 1. RSVP (Resonrce resevation Protocol) ->rezerwacja zasobów sieci 2. RTP (Realtime Transport Protocol protokół transportowy czasu rzeczywistego) -> bazuje na protokole UDP uzupełniony o nagłówek zawierający znacznik czasu i numer sekwencyjny dla każdego pakietu 3. TCP (Real Time Control Protocol protokół sygnalizacji) -> nadzór nad protokołem RTP 4. RTSP (Real Time Streaming Protocol protokół strumieniowy czasu rzeczywistego) Krótki opis standardu MPEG-2. Standard MPEG-2 jest rozszerzeniem standardu MPEG-1. Standard MPEG-2 został zaprojektowany w celu zwiększenia odporności na błędy transmisji i zapewnienia współpracy z sieciami ATM. MPEG-2 jest podstawowym standardem reprezentacji danych dla realizacji inteligentnych systemów dostępu do usług multimedialnych MPEG-2 opiera się o kodowanie percepcyjne które jest formą kompresji stratnej, które do zmniejszenia ilości informacji wykorzystuje dwie właściwości słuchu ludzkiego - próg słyszalności i zjawisko maskowania. Standard ten zawiera trzy części: systemową, video i audio. Część systemowa definiuje strukturę pakietu do multipleksowania strumieni audio i video w jeden strumień danych, wraz z informacjami syn chroń i żującym i niezbędnymi do dekodowania. Część video do kodowania wykorzystuje między innymi DCT (dyskretna transformata cosinusowa) i przy pracy z przepływnościami rzędu 2-8 Mbit/s (max. 15 Mb/s) zapewnia jakość stosowaną do emisji programów w telewizji Część audio składa się z trzech algorytmów (trzy warstwy - ang. Layer) o wzrastającej złożoności, wprowadzanym opóźnieniu i efektywności kodowania. Standard wymaga jednak, aby najbardziej złożona warstwa umożliwiała dekodowanie najmniej złożonej Dopuszczalne częstotliwości próbkowania i przepływności obrazuje rysunek 1 Przepływność 256 kb/s odpowiada 6-cio krotnej kompresji w stosunku do oryginalnego sygnału CD. Przykładowy koder i dekoder sygnału audio
4. Warstwy kodowania. Norma opisująca standard MPEG zawiera trzy warstwy kodowania różniące się złożonością i stopniem kompresji. Warstwa pierwsza przeznaczona jest raczej do zastosowań nieprofesjonalnych, dla których silna kompresja nie jest decydująca. Algorytmy tej warstwy analizują grupy po 384 próbek wejściowego kodu PCM. Warstwa druga wprowadza dalszą kompresję kodu wejściowego przez łączną analizę po trzy grupy próbek PCM (3*384=1152) w jednej ramce i redukcję elementów powtarzających się lub bliskich. Dla zadanej przepływności kodera warstwa ta gwarantuje wyższą jakość dźwięku niż warstwa 1. Schemat blokowy kodera dla warstwy I i II przedstawia rysunek 6. Technika kodowania dla tych warstw oparta została na: podziale sygnału wejściowego na 32 równe podpasmaprzy wykorzystaniu zestawu filtrów wielofazowych, dynamicznej alokacji bitów określanej na podstawie modelu psychoakustycznego, blokowym porównaniu próbek podpasma, formowaniu strumienia bitów. Standardy MPEG występują w wielu częściach (część systemowa, video, audio, testowanie, symulacja softwarowa, rozszerzenia dla DSM {Digital Storage Media - nośniki pamięci CD, DVD, taśmy lub dyski magnetyczne, lub dyski magneto-optyczne), zaawansowane kodowanie audio, rozszerzenie dla systemów dekodowania w czasie rzeczywistym) Np. część systemowa poświęcona jest łączeniu w multiplekserze wielu elementarnych strumieni danych, reprezentujących zakodowane obrazy i dźwięk w pojedynczy strumień MPEG zachowujący ich wzajemną synchronizację. W dekoderze następuje rozdzielenie na strumienie elementarne, które po dekompresji są w sposób zsynchronizowany przedstawiony użytkownikowi. Syntaktyka standardów umożliwia dostęp do danych wybranego strumienia a także pozwala na identyfikację informacji czasowej o zakodowanym programie W standardzie MPEG-2 zostały zdefiniowane dwa typy strumieni
Model systemu MPEG2 Strumień programowy SP (współpraca z urządzeniami DSM) używa pakietów o zmiennej długości dostosowanej do rozmiaru sektorów na dysku Strumień transportowy ST (używa pakietów o stałej długości 188 bajtów) Pakiety strumieni SP i ST są generowane przez proces pakietyzacji, który tworzy jednostki elementarnego strumienia pakietów PES. Strumienie elementarne PES o wspólnym odniesieniu czasowym formują program audiowizualny.
Struktura bloku danych audio standardu MPEG2 Realizacja przykładowego systemu multimedialnego. Część 6 standardu MPEG2 Digital Storage Media Command and Control (DSM-CC) jest zbiorem protokołów i operacji zarządzających strumieniem danych między serverem i klientem. W modelu DSM-CC strumień danych z servera jest przesyłany do klienta. Zarówno klient jak i server są użytkownikami sieci DSM-CC. DSM-CC definiuje jednostkę logiczną nazywaną Session and Resource Manager (SRM) która sprawuje nadzór nad sesją i zasobami. Część 9 określa specyfikację interfejsu czasu rzeczywistego (RTI)
Konfiguracja odniesienia RTI Organizacja systemu multimedialnego tworzona jest stosownie do zastosowania. Od tego zależy wybór rodzaju sprzętu, organizacji transmisji, organizacji baz multimedialnych. Przykładowy system multimedialny dla potrzeb realizacji rozproszonego systemu telemedycznego (np. na obszarach słabo zaludnionych) został zaprojektowany na uniwersytecie Waszyngtona i składał się z komputera o nazwie MediaStation 5000, który jest specjalizowaną stacją multimedialną. Ogólnie stacja multimedialną jest to pewna komputerowa platforma sprzętowa o dużych mocach obliczeniowych pozwalająca np. na modelowanie 3D, animację komputerową, tworzenia specjalnych efektów wideo w czasie rzeczywistym. Stacja multimedialna współpracuje zejsprzętem pozwalającym na: - akwizycję danych ( karty akwizycji obrazów, karty dźwiękowe, kamery cyfrowe, skanery). Generalnie są to urządzenia do przekształcenia danych na postać cyfrową co umożliwia ich przetwarzanie systemie komputerowym. - kompresję danych multimedialnych (karty kompresji z implementacją standardowych algorytmów kompresji) - archiwizację danych multimedialnych ( magnetowidy, pamięci taśmowe, dyski magnetyczne, dyski optyczne) - prezentację danych multimedialnych (monitory, odbiorniki TV, wideoprojektory, głośniki sterowane ze wzmacniaczy, drukarki, plotery) Dodatkowo system wykorzystywał dostępne rodzaje sieci komunikacyjne np. ISDN, ATM, różne postaci informacji takich jak dane, obrazy i dźwięk. W rezultacie realizowany był wideokonferencyjny kontakt z pacjentem oraz transmisja obrazów medycznych. Do kompresji zastosowano równoległą architekturę procesów sygnałowych DSP typu TMS320C80 na którym zaimplementowano następujące standardy: JPEG do kompresji obrazów medycznych (np. rentgenowskich) H.261(H 320) do wideo konferencji przez sieci ISDN H.261 - standard kompresji wideo opracowany prze: ITU-T na początku lat 90., przeznaczony do współpracy z ISDN (integrated service digital network). Dane są kompresowane z szybkością p*64p kbit/s, gdzie p waha się w przedziale 1 do 30, zależnie od liczby użytych kanałów ISDN. Standard został pierwotnie opracowany do obsługi wideofonów i konferencji wideo. Kodowane są obrazy standardu CIF (Common Intermediate Format) czyli 352*288 pikseli lub QCIF (Ouarter Common Intermediate Format) 176*144 pikseli 1.263 do wideokonferencji przez sieci telefoniczne H.263 - standard kompresji wideo opracowany przez 1TU-T. Przeznaczony do transmisji w kanałach o przepływności mniejszej niż 64 kbps Ważne znaczenie w integracji rozproszonych systemów multimedialnych odgrywają interfejsy programistyczne. Uwalniają one projektantów systemów i programistów aplikacji od konieczności współpracy z urządzeniami danego producenta. Najbardziej znane jest środowisko programistyczne Java (przepis działania na danych) pozwalające na transmisję i prezentację strumieni multimedialnych oraz tworzenia aplikacji multimedialnych np.; Java 2D dla grafiki 2D i obrazów Java 3D dla grafiki 3D Java Advanced Imaging do zaawansowanego przetwarzania obrazów Java Speech do syntezy i rozpoznawania mowy Java Telephony dla telefonii komputerowej Multimedia w wydaniu satelitarnym że jesteśmy na pierwszym miejscu w Europie przy wyborze przez klientów szybkiego i efektywnego dostarczania treści multimedialnych.
System Satelitarny ASTRA dostarcza szybko i efektywnie treści multimedialnych. Usługi oferowane przez systemy satelitarne dostęp do internetu i sieci WWW elektroniczny transfer dokumentów poczta elektroniczna przesyłanie wiadomości dystrybucja danych telewizja na żądanie wideokonferencje sklepy elektroniczne Zalety technologii satelitarnej w transmisjach multimedialnych. Pobieranie z Internetu 5-minutowego klipu wideo za pomocą zwykłego modemu analogowego zajmie ponad 40 min. Używając linii ISDN, ta sama operacja będzie trwać 22 min, a poprzez satelitę Astra taką porcję danych pobierzemy w zaledwie 14 sek Architektura systemów satelitarnych Protokoły i platformy transmisyjne W satelitarnych systemach multimedialnych przewiduje się zastosowanie następujących protokołów i platform cyfrowych Protokołu TPC/BP Platformy cyfrowej DVB-S Protokołu ATM Platforma DVB-S obejmuje oprócz protokołów również Metody kodowania głównie MPEG-2 Sposób dołączania dodatkowych informacji np. do konfigurowania dekodera Rozsiewczą transmisję danych (DVB Data Broadcasting) Metody zabezpieczania za pomocą kodu zewnętrznego, np. Reeda-Salomona Słowniczek ATM -> (Asynchronous Transfer Modę) technologia sieciowa umożliwiająca transmisję danych, dźwięku, wideo w czasie rzeczywistym datagramów użytkownika- (jednostka informacji wraz z odpowiednią informacją doręczenia)