Urządzenia i systemy multimedialne

Transkrypt

1 Urządzenia i systemy multimedialne Dr inż. Janusz Klink Politechnika Wrocławska Instytut Telekomunikacji i Akustyki Zakład Sieci Telekomunikacyjnych pok. 808, C-5 Janusz.Klink@pwr.wroc.pl 1

2 Definicja multimediów Zgodnie z zaleceniem F.700, pojęcie tzw. multimediów daje się wyróżnić w kontekście takich elementów jak:!usługi multimedialne!aplikacje multimedialne!terminale multimedialne!sieci multimedialne!inne (np. prezentacje multimedialne) 2

3 Media, usługi i aplikacje multimedialne Media są rozumiane jako środki, za pomocą których informacja może być wyrażana, przekazywana, prezentowana lub przechowywana Jedna z definicji określa usługi multimedialne jako takie, które są związane z jednoczesnym (z punktu widzenia użytkownika), zsynchronizowanym w czasie, przekazem co najmniej dwóch rodzajów informacji, np. przekazem głosu i obrazu Analogicznie do ww. rozumiane jest pojęcie aplikacji multimedialnej jako takiej aplikacji, która wymaga jednoczesnego wykorzystania dwóch lub więcej rodzajów mediów lub typów informacji (np. jednoczesna praca kilku użytkowników nad jednym dokumentem, realizacje telekonferencji, zdalny nadzór, zdalne nauczanie itp.) 3

4 Usługi multimedialne -różne punkty widzenia Z punktu widzenia użytkownika!usługi multimedialne stanowią kombinację środków i możliwości sieci telekomunikacyjnej potrzebnych dla realizacji konkretnej aplikacji multimedialnej! Usługi takie postrzegane są zwykle jako niezależne od sieci telekomunikacyjnej, w której są one świadczone Z punktu widzenia operatora sieci!usługi multimedialne stanowią kombinację środków (lub zbiór takich kombinacji) dwóch lub więcej rodzajów mediów (takich jak np. audio, wideo, grafika) w konkretnym środowisku sieciowym, w celu wykreowania nowej usługi telekomunikacyjnej! Tak rozumiane usługi są rozważane w ścisłym związku z konkretnymi właściwościami sieci, w której są one świadczone 4

5 Model odniesienia dla usług multimedialnych (1) Poziom aplikacji!zdefiniowane są tutaj podstawowe charakterystyki funkcjonalne aplikacji użytkownika (opisane z punktu widzenia użytkownika), w oderwaniu od wszystkich aspektów technicznych dotyczących samych usług oraz sieci, w której są one świadczone Poziom usług!definiuje podstawowe wymagania związane ze świadczeniem usług, poprzez określenie parametrów wydajnościowych, jakości obsługi, bezpieczeństwa, taryfikacji itd. 5

6 Model odniesienia dla usług multimedialnych (2) Poziom komunikacji (communication task)!zdefiniowane oraz opisane są tutaj podstawowe zadania komunikacyjne, związane z przenoszeniem i sterowaniem złożonych typów informacji, niezbędne dla realizacji usług multimedialnych. Zadania te stanowią kombinację takich elementów jak: konfiguracja, symetria połączenia czy sterowanie przesyłaniem informacji Poziom mediów!na tym poziomie prezentowane są multimedialne cechy świadczonych usług poprzez identyfikację i opis poszczególnych ich elementów składowych ( usług monomedialnych ), związanych z przekazem pojedynczego typu informacji, takiej jak inf. audio, wideo, itp. 6

7 Opis usług multimedialnych!z punktu widzenia użytkownika zagadnienia komunikacji oraz mediów stanowią podstawowy zbiór elementów niezbędnych dla tworzenia usług multimedialnych!relacje pomiędzy zadaniami komunikacyjnymi a poszczególnymi rodzajami mediów w ramach platformy usługowej: Usługa multimedialna Komunikacja Komunikacja Medium 1 Medium 2 Medium 3 Medium 4 Medium 5 7

8 Atrybuty komunikacji Konfiguracja punkt-punkt punkt-wielopunkt wielopunkt-punkt wielopunkt-wielopunkt Symetria połączenia połączenie jednokierunkowe połączenie dwukierunkowe symetryczne połączenie dwukierunkowe niesymetryczne Element sterujący przepływem informacji Uwarunkowania czasowe (notatka 1) Transmisja (notatka 2) nadajnik odbiornik nadajnik i odbiornik urz. trzecie czas rzeczywisty czas prawie rzeczywisty czas nierzeczywisty inny zdefiniowany czas izochroniczna nieizochroniczna 8

9 Atrybuty komunikacji c.d. Niezbędne media audio wideo text obraz grafika dane Media opcjonalne audio wideo text obraz grafika dane brak Korelacje pomiędzy mediami 1) synchronizacja pomiędzy: sygn. audio i wideo (dotycząca np. ruchu warg, oddalonych lokalizacji itp.) sygn. audio i tekstem tekstem i obrazem wideo, grafiką (np. synchronizacja obrazów i podpisów do nich) grafiką i sygn. audio 2) synchronizacja pomiędzy mediami tego samego rodzaju w celu zapewnienia transmisji dwukierunkowej 3) konwersja rożnych rodzajów informacji 9

10 Standardy, zalecenia (1) Usługi multimedialne - wybrane zalecenia ITU F.700 -Fram ew ork R ecom m endation foraudiovisual/multim edia services F.701 -Teleconference service F.702 -Multim edia conference services F.710 -G eneralprinciples foraudiographic conference service F.711 -Audiographic conference teleservice forisdn F.720 -Videotelephony services G eneral F.721 -Videotelephony teleservice forisdn 10

11 Standardy, zalecenia (2) Usługi multimedialne - wybrane zalecenia ITU F.723 -Videophone service in the (PSTN) F.730 -Videoconference service G eneral F.731 -Multim edia conference services in the ISDN F.732 -Multim edia conference services in the B-ISDN F.740 -Audiovisualinteractive services F.761 -Service oriented requirem ents fortelew riting applications F.811 -Broadband connection-oriented bearerservice F.812 -Broadband connectionless data bearerservice 11

12 Opis usług multimedialnych Opis usług obejmuje dwa stopnie:!pierwszy:!drugi:! opis ogólny, niezależny od rodzaju sieci, w których są one świadczone! opis zależny od rodzaju sieci 12

13 ISDN (Integrated Services Digital Network) TE 1 TE 2 Instalacja u abonenta Centrala Łącze NT2 NT1 LT ET TA Architektura fizyczna dostępu podstawowego R S T U V Centrala telefoniczna 0-50 m m Wyposażenie abonenta TR TR NT 0-10 m TE 8 TE 2 TE 1 13

14 ISDN c.d. Rodzaje dostępów - struktura logiczna Dostęp podstawowy BRA kanał B 64 kbit/s kanał B 64 kbit/s kanał D 16 kbit/s Dostęp pierwotny PRA kanał B 64 kbit/s kanał B 64 kbit/s 30 * B 64 kbit/s + D 64 kbit/s kanał D 64 kbit/s 14

15 ISDN Usługi klasyfikacja Usługi telekomunikacyjne ISDN Usługi przenoszenia Teleusługi Podstawowe usługi przenoszenia Podstawowe usługi przenoszenia + usługi dodatkowe Podstawowe teleusługi Podstawowe teleusługi + usługi dodatkowe 15

16 ISDN Usługi przenoszenia (1)!Związane są z przesyłaniem informacji. Zapewniają realizację minimalnego zbioru funkcji potrzebnych do realizacji połączenia i wymiany informacji.!realizują funkcje 3 najniższych warstw modelu odniesienia OSI!Usługi te realizowane są przez sieć ISDN!Obejmują dwa tryby komutacji: kanałów i pakietów 16

17 ISDN Usługi przenoszenia (2) Przykłady usług realizowanych w trybie komutacji kanałów! Usługa przenoszenia o strukturze na bazie 8 khz i szybkości transmisji 64 kbit/s do przesyłania sygnałów mowy (64 kbit/s, 8 khz structured, usable for speech information transfer)! Usługa przenoszenia o strukturze na bazie 8 khz i szybkości transmisji 64 kbit/s do przesyłania sygnałów fonicznych w paśmie 3,1 khz (64 kbit/s, 8 khz structured, usable for 3,1 khz audio information transfer)! Usługa przenoszenia o strukturze na bazie 8 khz i szybkości transmisji 64 kbit/s, umożliwiająca przesyłanie nieograniczonej (dowolnej) informacji (64 kbit/s unrestricted, 8 khz structured) 17

18 ISDN Usługi przenoszenia (3) Przykłady usług realizowanych w trybie komutacji pakietów:! X.31 przypadek A (kanał B) - transmisja danych w trybie komutacji pakietów X.31 (odpowiednik X.25 dla ISDN) w kanale B (X.31 case A (B-channel)).! X.31 przypadek B (kanał B) - transmisja danych w trybie komutacji pakietów X.31 (odpowiednik X.25 dla ISDN) w kanale B (X.31 case B (B-channel)).! X.31 przypadek B (kanał D) - transmisja danych w trybie komutacji pakietów X.31 (odpowiednik X.25 dla ISDN) w kanale sygnalizacyjnym D (X.31 case B (D-channel)). 18

19 ISDN Teleusługi (1)!Związane są ze wszystkimi warstwami modelu odniesienia!realizowane są przez sieć ISDN, jak również terminale końcowe użytkownika. Związane są więc nie tylko z właściwościami sieci, lecz również z możliwościami terminala końcowego użytkownika (usługi warstw wyższych (4-7) mogą nie występować w sieci ISDN, lecz wymagać obsługi przez urządzenia końcowe użytkownika) 19

20 ISDN Teleusługi (2) Przykłady teleusług:!telefonia (pasmo 3,1 khz) (Telephony 3,1 khz)!teleteks (Teletex!Telefaks (Grupy 2/3) (Telefax Group 2/3)!Telefaks (Grupy 4) (Telefax Group 4)!Telefonia (pasmo 7 khz) (Telephony 7 khz)!telekonferencja audiograficzna (Audiographic Teleconferencing)!Wideoteks 20

21 ISDN Usługi dodatkowe Modyfikują usługi podstawowe m.in. w celu poprawienia komfortu korzystania z nich, wygodniejszego zarządzania połączeniem Przykłady usług dodatkowych:!clip, CLIR, COLP, COLR, CFU, CFNR, CFB, AOC, UUS, TP itd.. 21

22 Podstawowe zalecenia i relacje 22

23 Struktura zaleceń F Audiovisual and multimedia services User's view General descriptions Profiles AGCS F.MCS Multimedia conference services Profiles VCS... F.MCVS Multimedia conversational services Profiles VPS Annex A: Media components Annex B: Communication tasks F.MDS Multimedia distribution services Profiles MDS Profiles AVIS F.MRS Multimedia retrieval services Profiles ADM F.MMS Multimedia message services Profiles... F.MCLS Multimedia collection services Profiles... ISDN F.MCS.1 MCS on ISDN Profiles Profiles AGCS VCS... F.721 VPS on ISDN Network provider's view B-ISDN PSTN F.MCS.2 MCS on B-ISDN Profiles Profiles... AGCS VCS F.MCS.3 MCS on PSTN Profiles Profiles... AGCS VCS F.722 VPS on B-ISDN F.723 VPS on PSTN AGCS VCS VPS MDS ADM AVIS Audiographic Conference Service VideoConference Service Videophone Service Multimedia Distribution Service Teleadministration Service Audiovisual Interactive Services Mobiles F.MCS.4 MCS for mobiles Profiles Profiles... AGCS VCS F.724 VPS for mobiles 23

24 QoS wg ITU-T F.700!Zagadnienia QoS mogą być rozważane na różnych poziomach:! Mediów!np. ustalenia dot. rozdzielczości obrazu! Komunikacji!np. ustalenia dot. dopuszczalnej różnicy opóźnień sygnałów, w celu możliwości synchronizacji dźwięku i obrazu! Usług!np. ustalenia dot. maksymalnego czasu odpowiedzi w trakcie zestawiania połączenia 24

25 Poziomy jakości sygnału audio A( 1): sygnał o minimalnym poziomie jakości, pozwalającym jedynie na wykrycie obecności mówcy A0: minimalna jakość dźwięku, wystarczająca do zrozumienia informacji wypowiadanych przez różnych mówców; powinna to być jakość odpowiadająca przynajmniej jakości dźwięku uzyskiwanej przy zastosowaniu kodekó G.711 lub G.728 A1: jakość odpowiednia dla usługi mowa 7 khz, odpowiadająca kodowaniu G.722 (48 kbit/s) A2: jakość odpowiadająca przekazowi głosu/muzyki, w trybie rozgłoszeniowym, w paśmie 15 khz, zgodna z kodekiem J.41 A3: jakość hi-fi lub CD w paśmie 20 khz! Ocena ta dotyczy zarówno sygnałów mono-, jak i stereofonicznych! Niektóre algorytmy kompresji mogą wykorzystywać nadmiarowość w sygnale stereo do redukcji pasma wymaganego dla transmisji tego sygnału! Sygnały o poziomie jakości A3, są zwykle sygnałami stereofonicznymi 25

26 Zastosowania i wymagane poziomy jakości sygnału audio Usługa/terminal A0 A1 A2 A3 Wideotelefonia w PSTN X Wideotelefonia ruchoma X X Wideotelefonia w ISDN X X Wideotelefon desktopowy X X Konferencja audiograficzna X X X Wideoconferencja X X Nadzór wideo X X Dystrybucja sygn. audio/wideo Obsługa multimediów X X X X X X 26

27 Poziomy jakości sygnału wideo V( 1): jakość obrazu pozwalająca wykryć ruch V0: minimalna jakość dla usługi wideotelefonii, gdzie pokazywana jest twarz rozmówcy, a rysy jego twarzy pozwalają na jego rozpoznanie (rozdzielczość obrazu odpowiadająca formatom od SQIF do QCIF) (notatka) V1: podstawowa jakość dla usługi wideotelefonii, gdzie pokazywana jest twarz i ramiona rozmówcy oraz możliwe jest obserwowanie ruchu jego warg w trakcie mówienia (rozdzielczość obrazu odpowiada formatowi QCIF) V2: podstawowa jakość dla usługi wideokonferencji, gdzie pokazywana jest mała grupa rozmawiających ze sobą osób (np. 3) oraz możliwe jest obserwowanie ich ruchów (rozdzielczość obrazu odpowiada formatowi CIF) V3: jakość odpowiadająca przekazowi telewizyjnemu (ITU-R.601) V4: jakość odpowiadająca standardowi telewizji wysokiej rozdzielczości (HDTV) 27

28 Zastosowania i wymagane poziomy jakości sygnału wideo Usługa V0 V1 V2 V3 V4 Wideotelefonia w PSTN X Wideotelefonia ruchoma X X X Wideotelefonia w ISDN X X Wideotelefon desktopowy X X Wideokonferencja X X X Nadzór wideo X X X Dystrybucja sygn. wideo X X Obsługa/przesył. sygn. wideo X X 28

29 Obróbka i przesyłanie sygnału audio!z sygnałem audio w systemach multimedialnych związane są takie procesy jak:! generacja sygnału po stronie nadawczej! próbkowanie! kodowanie / kompresja! zapis! transmisja! dekodowanie i prezentacja w formie zrozumiałej dla odbiorcy 29

30 Kodowanie sygnałów audio (Pulse Code Modulation)!Analogowe (z natury) sygnały audio poddawane są cyfryzacji, który obejmuje takie zabiegi, jak:!próbkowanie (z częstotliwością zgodną z tw. Shanona-Kotielnikowa)!Częstotliwość próbkowania 2 razy większa od częstotliwości najwyższej harmonicznej przenoszonego sygnału!częstotliwość najwyższej harmonicznej jest mniejsza niż 4 khz!częstotliwość próbkowania wynosi 8 khz (PCM)!Przy 8-bitowym kodowaniu wymagana przepływność = 64 kbit/s!kwantowanie!kodowanie (równomierne, nierównomierne, wg krzywej A lub µ) 30

31 Próbkowanie sygnału analogowego 31

32 Kwantyzacja (przykład 1) 32

33 Kwantyzacja (przykład 2) 33

34 Kodowanie 34

35 Niewielkie wykorzystanie łącza Cyfrowa reprezentacja sygnału analogowego, w paśmie telefonicznym od 0.3 do 3.4 khz, składa się z odpowiednio zakodowanych próbek, pobieranych, zgodnie z tw. Shanona-Kotielnikowa, z częstotliwością 8 khz (odstęp pomiędzy sąsiednimi próbkami wynosi 125 µs) Stosunkowo niewielkie wykorzystanie cyfrowych łączy abonenckich przez pojedyncze terminale daje możliwość multipleksacji sygnałów, czyli wykorzystania jednego łącza do przenoszenia informacji od wielu terminali (pokazane na kolejnych slajdach) 35

36 Zasada multipleksacji 36

37 Ramka systemu PCM30/ i to numery szczelin (kanałów) przenoszących informacje użytkownika, takie jak np. mowa czy dane 37

38 Zalecenia dot. kodowania audio Kodowanie sygnału audio - wybrane zalecenia ITU G.711 -Pulse code m odulation (PCM )ofvoice frequencies G kh z audio-coding within 64 kbit/s G Dualrate speech coderformultimedia com m unications transm itting at5.3 and 6.3 kbit/s G.724 -Characteristics ofa 48-channellow bitrate encoding primary multiplex operating at1544 kbit/s G.725 -System aspects forthe use ofthe 7 kh z audio codec within 64 kbit/s G ,32,24,16 kbit/s adaptive differentialpulse code m odulation (ADPCM ) G ,4-,3-and 2-bits/sam ple em bedded adaptive differentialpulse code m odulation (ADPCM ) G.728 -Coding ofspeech at16 kbit/s using low -delay code excited linearprediction G.729 -Coding ofspeech at8 kbit/s using conjugate-structure algebraic-code-excited linear-prediction 38

39 Kodowanie sygnału audio wg G.711 (PCM)!Częstotliwość próbkowania sygnału analogowego: 8kHz (±50ppm)!Prędkość transmisji 64 kbit/s!każda próbka kodowana jest za pomocą 8 bitów!proponowane są dwie krzywe kodowania/kompresji!wg prawa µ (w Ameryce Pn. i Japonii)!wg prawa A (wszędzie za wyj., Ameryki Pn. i Japonii)!Na styku międzynarodowym, pomiędzy krajami stosującymi różne kodowanie (A, µ) zaleca się stosowanie krzywej A 39

40 Kodowanie sygnału audio wg G.722 (7kHz) cz. I!Pasmo sygnału analogowego: od 50 do 7000 Hz, wykorzystywanego dla przeniesienia dźwięku o podwyższonej jakości!częstotliwość próbkowania: 16 khz, każda próbka kodowana za pomocą 14 bitów!koder redukuje prędkość transmisji do 64 kbit/s!wykorzystywana modulacja SB-ADPCM (Sub-Band Adaptive Differential Pulse Code Modulation)! Dwa podpasma (0-4 khz i 4 khz 8 khz), w których wykorzystuje się ADPCM!Możliwe są trzy tryby pracy, odpowiadające prędkościom transmisji: 64, 56 i 48 khz! Dwa ostatnie tryby pozwalają na utworzenie na bazie bitów dolnego podpasma, dodatkowego kanału 8 lub 16 khz! Procedury związane z identyfikacją terminali i trybów, w jakich nawiązują połączenie opisane są w zaleceniu G

41 Kodowanie sygnału audio wg G.722 (7kHz) cz. II 41

42 Kodowanie sygnału audio wg G.722 (7kHz) cz. III 42

43 Kodowanie sygnału audio wg G.722 (7kHz) cz. IV 43

44 Kodowanie sygnału audio wg G.723.1!Kodowanie wykorzystywane do sygnałów audio przesyłanych z prędkością 5,3 i 6,3 kbit/s (odpowiednio: gorsza i lepsza jakość dźwięku), przy realizacji usług multimedialnych (standard wymyślony do współpracy z rodziną standardów H.324)! Koder optymalizowany jest do przenoszenia sygnałów mowy! Metoda może być wykorzystywana do kodowania muzyki i innych sygnałów audio, lecz nie są one tak wiernie odtwarzane jak mowa!wykorzystywane metody kodowania:! Dla kodera 6,3 kbit/s: MP-MLQ (Multipulse Maximum Likelihood Quantization)! Dla kodera 5,3 kbit/s: ACELP (Algebraic-Code-Excited Linear-Prediction)!Opóźnienie sygnału wynikające z długości ramki oraz algorytmu kodowania wynosi 37,5 ms!dodatkowe opóźnienia mogą być związane z:! Przetwarzaniem informacji w koderze! Transmisją sygnału w łączu! Buforowaniem informacji 44

45 Kodowanie sygnału audio wg G.728 i G.729!G.728!Kodowanie wykorzystywane do sygnałów mowy przesyłanych z prędkością 16 kbit/s!wykorzystywana metoda kodowania: LD-CELP (Low-Delay Code-Excited Linear-Prediction)!W tej metodzie przesyłane są parametry modelu opisującego sygnał oryginalny oraz skompresowana informacja o błędach reprezentujących różnicę pomiędzy sygnałem oryginalnym a jego modelem.!metoda pozwala na uzyskanie jakości dźwięku odpowiadającej kodowaniu G.711 przy czterokrotnie mniejszych wymaganiach dotyczących przepustowości kanału!g.729!kodowanie wykorzystywane do sygnałów mowy przesyłanych z prędkością 8 kbit/s!wykorzystywana metoda kodowania: CS-CELP (Conjugate-Structure Code-Excited Linear- Prediction)!Opóźnienie sygnału wynikające z długości ramki oraz algorytmu kodowania wynosi 15 ms!dodatkowe opóźnienia mogą być związane z: przetwarzaniem, transmisją i multipleksacją danych 45

46 Zagadnienie jakości przesyłanego dźwięku!jakość dźwięku (ang. Voice Quality VQ) jako szerokie pojęcie, może być różnie interpretowane i wykorzystywane do opisu takich parametrów/elementów jak: Z jednej strony!wierność odtwarzania sygnału mowy!zrozumiałość mowy!sam sygnał analogowy Z drugiej strony!wydajność mechanizmów transportowych, wykorzystywanych do przesyłania dźwięku Innymi słowy: VQ wykorzystywana jest do określania jakościowych i ilościowych parametrów samego sygnału mowy, jak i konwersacji prowadzonej w trakcie 46 połączenia telefonicznego

47 Kodowanie sygnałów wideo (1)!Oko ludzkie reaguje na trzy różne elementy charakteryzujące obraz:!jasność!barwa (odcień)!nasycenie!wyróżnia się dwa typy sygnałów wideo:! Component (oddzielne przesyłanie sygn. luminancji i chrominancji)! Composite (informacja o luminancji i chrominancji obrazu przenoszona jest w jednym sygnale) 47

48 Kodowanie sygnałów wideo (2)!W przypadku sygnału Component!Sygnał luminancji jest rejestrowany i przesyłany oddzielnie od sygnału niosącego informację o barwie i nasyceniu!w tym wypadku sygnał luminancji jest rejestrowany z wykorzystaniem wyższej częstotliwości nośnej, co pozwala na uzyskanie większej rozdzielczości!ponieważ oko ludzkie jest mniej czułe na sygnały chrominancji, stąd są one rejestrowane z wykorzystaniem niższych częstotliwości i transmitowane w węższym paśmie!ten rodzaj kodowania obrazu nie jest standardem w przekazach multimedialnych. Daje on większe możliwości sterowania obrazem i uzyskiwanie lepszej jego jakości. Często określany jest mianem Y/C wideo 48

49 Kodowanie sygnałów wideo (3)!W przypadku sygnału Composite!Informacja o sygnale luminancji i chrominancji przenoszona jest w jednym strumieniu!ten sposób kodowania wykorzystywany jest w systemach NTSC i PAL 49

50 Zalecenie ITU-T H.261 (1)!H najpowszechniej wykorzystywany standard kodowania i dekodowania obrazu w połączeniach wideokonferencyjnych, wykorzystujących przepływności łączy p x 64kbit/s (gdzie p [1,30])!Zalecenie ma rozbudowaną strukturę i zawiera wiele wymagań opcjonalnych, dotyczących kodowania obrazu, wykorzystywanych w różnych sieciach oraz telewizjach na świecie!h.261 obejmuje m.in. formaty kodowania CIF i QCIF (zdefiniowane przez CCIR Recommendation 601), które mogą być implementowane w dowolnym ze spotykanych na świecie standardów telewizyjnych: NTSC, PAL, SECAM! CIF i QCIF stanowią rozwiązania kompromisowe wykorzystujące przesyłanie obrazu z prędkością 30 klatek na sekundę (stosowane w amerykańskiej TV) i rozdzielczość łatwo adaptowalną do standardów europejskich! CIF wymagany jest w przypadku prezentacji obrazu na dużych ekranach! QCIF przeznaczony jest do wykorzystywania podczas prezentacji obrazu na małych ekranach (do 20 cali) 50

51 Zalecenie ITU-T H.261 (2)!Formaty obrazu CIF i QCIF Format obrazu Liczba punktów dla sygn. luminanacji (dx) Liczba punktów dla sygn. luminanacji (dy) Liczba punktów dla sygn. chrominancji (dx/2) Liczba punktów dla sygn. chrominancji (dy/2) CIF QCIF

52 Zalecenie ITU-T H.263 (1)!H.263 opisuje standard kodowania/kompresji obrazu ruchomego w przypadku usług audiowizualnych wykorzystujących wąskie pasmo (wymagających małych przepływności bitowych)!algorytm kodowania obrazu bazuje na zaleceniu H.261!W celu polepszenia parametrów wydajnościowych zaproponowano cztery metody kodowania, przy czym wybór jednej z nich podlega procesowi wcześniejszej negocjacji!zalecenie nie specyfikuje prędkości bitowej niezbędnej dla przekazywania informacji o ruchomym obrazie zostawia to w gestii terminala użytkownika lub sieci!kodek może pracować w trybie transmisji jedno- lub dwukierunkowej.!koder może pracować w oparciu o 5 standardowych formatów obrazu: sub-qcif, QCIF, CIF, 4CIF and 16CIF 52

53 Zalecenie ITU-T H.263!Obsługiwane formaty obrazu (2) Format obrazu Liczba punktów dla sygn. luminanacji (dx) Liczba punktów dla sygn. luminanacji (dy) Liczba punktów dla sygn. chrominancji (dx/2) Liczba punktów dla sygn. chrominancji (dy/2) sub-qcif QCIF CIF CIF CIF !Każdy koder powinien obsługiwać jeden z formatów: SQCIF lub QCIF (wybór zależy od kodera)!niektóre kodery mogą pracować również formatami CIF, 4CIF i 16CIF.!Wszystkie dekodery powinny obsługiwać format SQCIF i QCIF.!Niektóre dekodery mogą również obsługiwać formaty CIF, 4CIF i 16CIF 53

54 Zagadnienie kompresji sygnału!zadaniem kompresji sygnału jest minimalizacja szerokości pasma niezbędnego dla jego przesłania w torze telekomunikacyjnym!idea kompresji polega na zastąpieniu oryginalnej postaci sygnału jego ekwiwalentem, którego postać stanowi odpowiedni model matematyczny!warunkiem nr 1, którego zachowanie podczas kompresji jest niezbędne, jest konieczność zachowania przenoszonej informacji (która nie może ulec uszkodzeniu)!warunkiem nr 2, jest obsługa sygnału w czasie rzeczywistym (czas potrzebny na skompresowanie sygnału i jego późniejszą dekompresję jest często odwrotnie proporcjonalny do możliwości redukcji pasma niezbędnego dla transmisji danego sygnału 54

55 Metody kompresji sygnału - klasyfikacja (1)!W przypadku wideokonferencji wyróżnia się dwie metody kompresji, polegające na:!redukcji informacji nadmiarowej (redundancji)!akceptowalnej przez oko i ucho ludzkie, degradacji jakości przesyłanego dźwięku i obrazu (zwykle w obszarach, w których narządy słuchu i wzroku są mniej czułe) 55

56 Metody kompresji sygnału - klasyfikacja (2)!Jeden z podziałów kompresji sygnałów rozróżnia kompresję!bezstratną (pozwala na odtworzenie sygnału oryginalnego w wyniku jego dekompresji)!stratną (pozwala jedynie na uzyskanie, w wyniku dekompresji, sygnału będącego aproksymacją sygnału oryginalnego)!generalnie kompresje stratne pozwalają na uzyskanie lepszych współczynników kompresji (większą kompresję sygnału), ale często kosztem jakości zakodowanego dźwięku czy obrazu 56

57 Metody kompresji sygnału - klasyfikacja (3)!Drugi z podziałów kompresji sygnałów dotyczy metod używanych podczas kompresji i dekompresji:!symetryczna kiedy proces dekompresji jest dokładnie procesem odwrotnym do kompresji (met wykorzystywana w przypadku sygn. czasu rzeczywistego, wideokonferencjach itp.)!asymetryczna kiedy technika kompresji jest bardziej skomplikowana (wymagająca znacznie większej mocy obliczeniowej urz.) niż technika dekompresji (met. wykorzystywana w aplikacjach wideo, nie wymagających obróbki w czasie rzeczywistym) 57

58 Metody kompresji sygnału - klasyfikacja (4)!Trzeci z podziałów kompresji sygnałów związany jest ze sposobami eliminacji informacji nadmiarowej w sygnale (np. w ruchomym obrazie) i wyróżnia takie rodzaje jak:!kompresja wewnątrzramkowa (eliminowana jest informacja nadmiarowa w obrębie jednej ramki)!kompresja międzyramkowa (eliminowana jest informacja nadmiarowa w obrębie kilku ramek)!przykładem eliminacji inf. nadmiarowej z tekstu jest kod Huffmana (1960r.), który zastępuje często pojawiające się sekwencje znaków krótkimi kodami, a sekwencje rzadko pojawiające się zastępuje odpowiednio dłuższymi ciągami znaków (redukcja do 40%) 58

59 Metody kompresji obrazu (DPCM) cz. I!DPCM (Diffrrential Pulse Code Modulation) jedna z pierwszych metod kodowania sygnału wideo, która w odróżnieniu od PCM, gdzie koduje się poszczególne próbki sygnału, DPCM koduje różnicę wartości sąsiadujących próbek!wartości kolejnych próbek wyznaczane są na zasadzie predykcji w stosunku do próbek poprzednich x!gdzie x s aktualna wartość próbki, prognozowana wartość próbki, p - liczba poprzednich próbek, a i współczynniki wagowe x 59

60 Metody kompresji obrazu!sygnał różnicy wynosi (DPCM) cz. II!Współczynniki wagowe a i powinne być tak dobrane, aby doprowadzić do minimalizacji sygnału różnicy e (np. w sensie kryterium średniokwadratowego)!minimalizacja funkcji e wpływa na zmniejszenie szumu kwantyzacji, a tym samym poprawia stosunek sygnał / szum!obecnie DPCM jest tzw. standardem opcjonalnym, tzn. powinny go obsługiwać wszystkie dekodery wideo, natomiast nie musi być on implementowany w każdym koderze. 60

61 Metody kompresji obrazu (CFR/CR)!CFR (lub CR) Conditional Frame Replanishment met. kodowania oparta, podobnie jak DPCM, na wykrywaniu zmian w kolejnych kodowanych obrazach, lecz umożliwiająca przesyłanie tylko części informacji w ramce, która związana jest np. z ruchem obiektu w pokazywanym obrazie!metoda spisuje się dobrze w przypadku, gdy zmiany (zapisane w kolejnych ramkach) nie dotyczą więcej niż 15 % przekazywanej informacji!dla obrazów ruchomych ważne jest przesyłanie informacji o tzw. wektorze przesunięcia (przy założeniu, że informacja o samym obiekcie jest znana, metoda ta pozwala na zwiększenie wydajności kodowania w stosunku do met. CFR o %) 61

62 Metody kompresji obrazu JPEG, MPEG!Spotykane obecnie standardy kodowania obrazu:! JPEG (Joint Photographic Experts Group) dla obrazów nieruchomych! MPEG (Moving Picture Experts Group) dla obrazów ruchomych o jakości TV lub prawie-tv, zwykle używany w aplikacjach typu playback!do kodowania obrazów ruchomych obecnie wykorzystuje się najczęściej dwie metody (kodowanie wewnątrzramkowe):! dyskretna transformata kosinusowa (DCT Discrete Cosine Transform) część bitów (tzw. high-frequency components) opisuje duże obszary obrazu o danym kolorze, druga część (tzw. low-frequency components) opisuje szczegółowe zmiany w obrazie (zmiany koloru, granice obiektów, przesunięcia obiektów)! kwantyzacja wektorowa (VQ Vector Quantization) stratna, bardziej wydajna niż DCT 62

63 Dyskretna transformata kosinusowa!dyskretna transformata kosinusowa (DCT Discrete Cosine Transform) pozwala na podział obrazu na części (lub spektralnie: podpasma) odpowiadające określonym poziomom jakości!istnieje podobieństwo pomiędzy transformatą Fouriera a transformatą kosinusowa, która transformuje informację o sygnale lub obrazie z dziedziny przestrzeni w dziedzinę częstotliwości!obliczanie wyjściowych współczynników B reprezentujących sygnał wejściowy A odbywa się zgodnie ze wzorem: Gdzie: format obrazu na wejściu (w pikselach): N1 (wysokość) x N2 (szerokość), A(i,j) jasność piksela w wierszu i oraz kolumnie j, B(k1,k2) współczynnik elementu w wierszu k1 i kolumnie k2 w macierzy DCT 63

64 Kwantyzacja wektorowa cz. I!Kwantyzacja wektorowa VQ stratna metoda kompresji bazująca na zasadach kodowania blokowego!polega na aproksymacji sygnału rzeczywistego (zdefiniowanego w postaci tzw. wektorów źródłowych przez jego reprezentację w postaci słów (wektorów) kodowych!na rysunku: czerwone krzyżyki opisane sekwencją bitową oznaczają słowa kodowe, reprezentujące rzeczywiste wektory kodowe należące do przedziałów, które reprezentują 64

65 Kwantyzacja wektorowa cz. II!Przykład 65

66 Kwantyzacja wektorowa cz. III! Zasada wyboru właściwych słów kodowych opiera się na minimalizacji błędu średniokwadratowego! Gdzie:! Xm k-wymiarowy wektor źródłowy! Q(xm) aproksymacja wektora źródłowego 66

67 Metody kompresji obrazu JPEG!JPEG (Joint Photographic Experts Group) stratna metoda kompresji/dekompresji obrazów nieruchomych!wykorzystuje dyskretną transformatę kosinusową (DCT)!Algorytm kompresji wykorzystuje naturalne ograniczenia oka ludzkiego, polegające na jego mniejszej wrażliwości na małe zmiany koloru niż małe zmiany jasności obrazu 67

68 Metody kompresji obrazu JPEG cz. II!Kodowanie pojedynczych próbek ( pikseli ) za pomocą słów 24-bitowych (16 milionów kolorów), gdzie np. GIF daje możliwość kodowania na 8 bitach (256 kolorów)!stopień kompresji i stopień stratności mogą być regulowane poprzez dobór odpowiednich parametrów kompresji!istnieje możliwość regulacji prędkości dekodowania obrazu, w zależności od wymaganej dokładności: szybsza praca dekodera gorsza aproksymacja sygnału (i odwrotnie)!zwykle najlepsze stratne metody kompresji pozwalają ograniczyć ilość przesyłanych informacji średnio dwukrotnie, gdy JPEG pozwala na kompresję od 10:1 do 20:1 bez zauważalnego pogorszenia jakości obrazu (kompresja 30:1 do 50:1 z małym zauważalnym pogorszeniem jakości)!nadaje się do kompresji zarówno obrazów kolorowych, jak i w odcieniach szarości!bardziej nadaje się do kompresji obrazów przedstawiających fotografie niż rysunki, tekst czy pojedyncze linie 68