MPEG-7. Oficjalna nazwa - Coding of Audiovisual Objects. 1. Etapy rozwoju standardów w MPEG. ania

Transkrypt

1 MPEG-. Etapy rozwoju standardów w MPEG MPEG- CD-I, (99) MPEG- TV, DVD, HDTV, multimedia, (99) MPEG -... MPEG- DTV, interaktywne aplikacje graficzne i multimedialne wersja (V.) -.99 wersja (V.) ~ MPEG- " Multimedia Content Description Interface, (). MPEG- - ogólna charakterystyka Oficjalna nazwa - Coding of Audiovisual Objects Główne założenia standardu Ujednolicenie metod dostępu do różnego r typu usług. ug. Rozwinięta interaktywność (nie tylko stop/play/slow, ale równier wnież "interakcyjny dostęp" " do poszczególnych obiektów w sceny). Połą łączenie treści naralnych i szcznie generowanych Efektywna kompresja danych. Ochrona praw autorskich.. Ogólna zasada działania ania Strona kodera MPEG- "Scena audiowizualna" (Audiovisual( Scene) ) jest budowana z niezależnych nych obiektów, którymi mogą być: "Obiekty audio" (A) "Obiekty video" (V) Oba typy obiektów w mogą być naralne (Naral( Naral), lub generowane szcznie (Syntethic( Syntethic). Poszczególne obiekty i scena sąs w odpowiedni sposób b kodowane i informacja jest przesyłana do dekodera. Strona dekodera MPEG- Obiekty (A i V), po rozkodowaniu sąs umieszczane na scenie przez układ komponujący (Compositor( Compositor), który uwzględnia: charakter obiektów w i strukrę sceny wymagania wynikające z interaktywnego charakteru procesu

2 scena lektor tło meble prezentacja A/V postać głos biurko globus Ilustracja koncepcji opisu sceny (w nadajniku) i jej rekonstrukcji (w odbiorniku) Hierarchiczna strukra sceny z poprzedniego przykładu. Na co pozwala MPEG-? V. Przesyłanie obiektów w video z prędko dkością Kbit/s - Mbit/s Naralne obiekty video mogą być różne np. sekwencje video w polu prostokąta, ta, lub sekwencje video w polu o dowolnym kształcie Przesyłanie dźwid więku z prędko dkością Kbit/s - kbit/s/ /s/ch Jakość realnego dźwid więku lepsza niż MP Obiekty video mogą być generowane komputerowo np. animowane twarze ludzkie, obiekty szkieletowe (Meshes)) z ruchomą teksrą Dźwięki mogą być generowane komputerowo np. MIDI Możliwo liwość synchronizacji grafiki i teks animowanego V. Animacja twarzy ciała a ludzkiego Kompresja teksrowanych obiektów w szkieletowych -D Modelowanie charakterystyki pomieszczenia dla potrzeb dźwięku przestrzennego

3 . Architekra systemu. Klasyfikacja obiektów w MPEG- Norma wyróżnia klasy obiektów w pierwotnych: Mesh - dwuwymiarowa tablica punktów, w której każdy punkt jest opisywany wektorem, składowymi wektora mogą być np. kolor, przezroczystość ść,, położenie, Chain - jednowymiarowa tablica punktów, Light - źródło światła a (obiekt stosowany jedynie przy komponowaniu scen -D), Waveform - jednowymiarowa tablica próbek służąs żąca do tworzenia elementów w pierwotnych dla źródeł sygnałów audio. 9 Wszystkie inne obiekty AV sąs obiektami złożonymi, z onymi, powstającymi jako hierarchiczne strukry zbudowane z obiektów w pierwotnych lub złożonych. z onych.. Kodowanie i dekodowanie naralnych obiektów w video (VOP( VOP- Video Object Plane) Obiekty o kształcie regularnym (prostokątnym) tnym) Obiekty o dowolnym kształcie (nieregularne) Przykład algorytmu kodowania - obiekty o dowolnym kształcie, kodowaniu podlegają: kształt t obiek (shape( shape) ruch (motion( motion) teksra (texre( texre) Ogólny schemat algorytmu kodowania

4 Sposoby opisu kształ obiek i kodowanie kształ Sposoby opisu kształ Maska binarna nałożona ona na prostokąt t ograniczający cy obiekt Płaszczyzna alfa (Alpha( Plane) - mapa bitowa, ( - bitów w na punkt określaj lająca przezroczystość punk ( - nieprzezroczysty, całkowicie przezroczysty) Kodowanie kształ obiek Płaszczyzna alfa dzielona jest na bloki x punktów Bloki sąs dalej kodowane niezależnie przy pomocy drzew czwórkowych (Quadtree( Quadtree) Kodowanie bloku x punktów blok x punktów w dzielony jest na podbloki x punkty podbloki sąs numerowane według algorytmu dla poziomu drzewa czwórkowego poziom poziom poziom poziom Niższy poziom powstaje z podziału u na cztery, bloków w wyższego poziomu. Przykładowo: Podbloki,,, poziomu, uzyskano z podbloku poziomu u. Podbloki,,, poziomu, otrzymano z podbloku poziomu.

5 Kodowanie ruchu Kodowanie ruchu odbywa się podobnie jak w algorytmie MPEG - przy pomocy wektorów w ruchu i kompensacji ruchu. Wyznaczanie wektorów w ruchu Prostokąt t ograniczający cy kształt t obiek jest gdy zachodzi taka potrzeba rozszerzany (z prawej strony i od dołu), tak aby jego rozmiary były y wielokrotności cią dla składowej Y i dla składowych U i V Jako kryterium służąs żące do poszukiwania wektora ruchu przyjmowana jest suma wartości bezwzględnych różnic r nazywana SAD (Sum of Absolute Difference). SAD dla danego makrobloku jest liczona tylko gdy odpowiedni punkt płaszczyzny p alfa ma wartość różną od. Płaszczyzna alfa opisująca kształt t jest też odpowiednio rozszerzana a w punktach rozszerzenia wpisywane sąs wartości Kodowanie teksry Ramki I (Intra( Intra) ) sąs kodowane przy pomocy algorytmu JPEG osobno dla składowych Y, U i V przy podziale na bloki x punktów w z poniższ szą modyfikacją. Dla obiektów w o dowolnym kształcie mogą zajść trzy przypadki - blok leży y całkowicie "wewnątrz" kształ - część bloku jest wspólna z kształtem tem obiek - blok leży y całkowicie "na zewnątrz" kształ W poszczególnych przypadkach postępuje puje się następuj pująco: jeśli blok leży y całkowicie "wewnątrz" kształ - normalne kodowanie JPEG jeśli część bloku jest wspólna z kształtem tem obiek - punkty, które nie należą do kształ sąs zerowane jeżeli eli blok leży y całkowicie "na zewnątrz" kształ to jest pomijany 9

6 Dekodowanie obiek. Działanie anie układu komponującego (Compositor( Compositor) Obiekty po zdekodowaniu i rekonstrukcji sąs przekazywane do układu komponującego, którego zadaniem jest ich odpowiednie umieszczenie na rekonstruowanej scenie. Przykład ad: Obiekt N jest nakładany adany na wcześniej umieszczony na scenie obiekt M,, w efekcie powstaje nowy obiekt P. M N P Jak wyznaczyć tablice Y,U,V dla nowego obiek? Tablice Y,U,V dla obiek P sąs wyznaczane ze wzoru: gdzie P, M P, N Przykładowo: Nα N = α M + N α N - tablice Y,U,V dla poszczególnych obiektów - płaszczyzna alfa dla obiek N N a = P = M N a = P = N 9. Kodowanie i animacja twarzy oraz ciała ludzkiego W normie MPEG- została a zdefiniowana specyfikacja metody opisu i animacji twarzy oraz ciała a ludzkiego. Animacja twarzy model geometryczny twarzy (siatka wieloboków w lub płaty powierzchni NURBS), określenie parametrów w animacji i sposobu ich kodowania, reguły y pozwalające na obliczanie deformacji modelu geometrycznego na podstawie parametrów w animacji.

7 Określenie parametrów w animacji Parametry animacji twarzy FAP (Face( Animation Parameters) ) pozwalają na celowe deformowanie modelu twarzy powodując odpoowiednią zmianę w stosunku do stanu neutralnego. MPEG- określa punkty charakterystyczne FAP (Face( Animation Points), które pozwalają dalej na zdefiniowanie odpowiednich parametrów w animacji. Twarz w stanie neutralnym Twarz z przodu i z profilu Punkty charakterystyczne pogrupowano i przypisano im parametry animacji: Szczegóły elementów twarzy : eyeballs, pupils, eyelids : eyebrow : cheeks : tongue : head rotation : outerlip positions 9: nose : ears Group : visemes and expressions : jaw, chin, inner lowerlip, cornerlips, midlip itd. Number of FAPs