MPEG-7 1. Wstęp Oficjalna nazwa: Multimedia Content Description Interface - 2001 Język opisu zawartości obiektów w multimedialnych MPEG-1, MPEG-2, MPEG- 4 - normowały y reprezentację (zwarty zapis) obiektów w multimedialnych. MPEG-7 - normuje opisy zawartości obiektów multimedialnych. Obszar zainteresowania normy MPEG-7 1 2 Opisy materiału u multimedialnego mogą być tworzone ręcznie,, na przykład przez podanie pewnych typowych informacji przez twórc rców w materiału u (tytuł utworu, data produkcji, krótki opis treści), lub automatycznie przez komputer. Wytworzone w ten sposób b opisy sąs następnie w odpowiedni, określony standardem MPEG-7 7 sposób porządkowane i kodowane. Opis materiału u multimedialnego przy pomocy standaryzowanych deskryptorów w może e służyćs dalej różnych r celów w np. do tworzenia indeksów w w archiwach materiałów multimedialnych, wyszukiwania materiałów w w bazach danych itp. 3 Podstawowe elementy opisu przy pomocy standardu MPEG-7 4 1
Częś ęści normy MPEG-7 Systems the tools needed to prepare MPEG-7 7 descriptions for efficient transport and storage and the terminal architecture. Description Definition Language - the language for defining the syntax of the MPEG- 7 Description Tools and for defining new Description Schemes. Visual the Description Tools dealing with (only) Visual descriptions. Audio the Description Tools dealing with (only) Audio descriptions. Multimedia Description Schemes - the Description Tools dealing with generic features and multimedia descriptions. Reference Software - a software implementation of relevant parts of the MPEG-7 Standard with normative status. Conformance Testing - guidelines and procedures for testing conformance of MPEG- 7 implementations MPEG-7 7 Extraction and use of descriptions 5 Gdzie może e być pomocny standard MPEG-7? Architektura, rynek nieruchomości, ci, projektowanie wnętrz (szukanie określonych rozwiąza zań projektowych) TV, radio (inteligentne przeszukiwanie kanałów) Usługi kulturalne (muzea, galerie sztuki itp.) Biblioteki cyfrowe (katalogi zdjęć i filmów, katalogi muzyki, itp.) E-Comerce (katalogi on-line line) Edukacja (poszukiwanie materiału u multimedialnego) Rozrywka domowa (przeszukiwanie prywatnych archiwów w multimedialnych, manipulowane ich zawartości cią,, edycja materiałów w video, poszukiwanie gier, karaoke) Usługi detektywistyczne (rozpoznawanie osób b na podstawie wybranych cech) Dziennikarstwo (poszukiwanie materiału u multimedialnego) Katalogi firm, Słowniki, S Informatory (przeszukiwanie) Edycja materiału u multimedialnego ( personalizacja treści) 6 Inne standardy stosowane do opisu materiału multimedialnego Dublin Core standard definiuje zestaw atrybutów służących do opisu materiału, dla przykładu: Title (tytuł) Creator (osoba odpowiedzialna za całość materiału) Subject (temat) Description (opis podsumowujący treść materiału) Publisher (wydawca) Coverege (kwalifikacja treści) Rights (określenie praw autorskich) 7 EBU P/META model normalizujący dane służąs żące do opisu materiałów w multimedialnych, przyjęto tu tzw. model transakcyjny przydatny w procesie obiegu materiałów: EBU European Brodcastning Union Przyjęto następuj pujące rodzaje transakcji: Producer to Distributor (opis tekstowy, lista występuj pujących postaci, skrypt, zdjęcia promocyjne) Producer to Archive ( ) Archive to Producer ( ) Dystributor to Archive ( ) Archive to Dystributor ( ) 8 2
2. Dane podlegające normalizacji w standardzie MPEG-7, deskryptory Jakie dane podlegają normalizacji? Dane dotyczące ce produktu multimedialnego - autor, tytuł, producent, format w jakim zapisano produkt itp. Dane dotyczące ce treści opisy zawartości treścowej cowej. Dane dotyczące ce semantyki zdarzenia, obiekty, postacie. Dane dotyczące ce sygnału kolor, tekstura, ruch, linia melodyczna muzyki itp. 9 Deskryptory wizualne według standardu MPEG-7 Podstawowe Grid Layout,, Time series, Multiple view, Spatial 2D coordinates,temporal interpolation. Koloru Color space, Color Quantization, Dominant Colors, Scalable Color,, Color Layout, Color-Structure, GoF/GoP Color. Tekstury Homogeneous Texture, Edge Histogram, Texture Browsing. Kształtu tu Region Shape, Contour Shape, and Shape 3D. Ruchu Camera Motion, Motion Trajectory, Parametric Motion, and Motion Activity. 10 Położenia Region locator, Spatio-temporal temporal locator. Rozpoznawanie twarzy FaceRecognition Deskryptory audio według standardu MPEG-7 Audio Signature Description Scheme Musical Instrument Timbre Description Melody Description Sound Recognition and Indexing Description Spoken Content Description 11 3. Przykłady deskryptorów w video i audio Jak określone sąs niektóre wymienione wcześniej deskryptory? Jakich modeli matematycznych używa u się do ich opisywania? Deskryptory video Deskryptory podstawowe Grid Layout - Definiuje sposób b podziału u obrazu na takie same obszary prostokątne. tne. Każdy obszar będzie b dalej traktowany niezależnie. nie. Każdemu obszarowi będąb przypisywane dalej niezależnie wyznaczane dla niego deskryptory takie jak: kolor tekstura itp. Można powiedzieć, że e deskryptor Grid Layout określa sposób próbkowania obrazu innymi deskryptorami. 12 3
Time Series - Definiuje szereg czasowy pozwalający określi lić zmiany innego deskryptora opisującego obiekt w czasie. Dopuszcza się występowanie dwóch rodzajów w deskryptora szeregu czasowego. RegularTimeSeries w tym przypadku próbkowanie w dziedzinie czasu następuje w równych r odstępach i IrregularTimeSeries dla odstępów w nierównych. Zastosowanie drugiego sposobu pozwala w niektórych przypadkach na poprawienie zwartości opisu. Temporal Interpolation - Definiuje sposób b interpolacji czasowej wykorzystującej wielomiany. Deskryptor ten może być użyty do aproksymacji wartości zmiennej wielowymiarowej, dla przykładu położenia obiektu na obrazie w sekwencji video. Temporal Interpolation - Na rysunku powyżej pokazano prawdziwy przebieg współrz rzędnej x jakiegoś obiektu w czasie oraz jego aproksymację pięcioma odcinkami prostej i dwoma segmentami paraboli. 13 14 Deskryptory koloru Color Space - Definiuje bieżą żąco używany u model barw. Model ten jest dalej ważny dla wszystkich deskryptorów dotyczących cych barwy. Aktualnie norma dopuszcza użycie u następuj pujących modeli barw: R,G,B Y,Cr,Cb H,S,V HMMD (Hue, Min, Max, Difference) Liniowej transformacji z modelu R,G,B Monochromatycznego Dominant Color(s) - Charakterystyka pozwalająca na przypisywanie obiektowi (ramce, obszarowi ramki, sekwencji ramek, obszarowi temporalnemu) informacji o dominującym kolorze (kolorach) : Scalable Color - Histogram barw w modelu HSV zakodowany przy pomocy transformaty Haara.. Przypisywany jest podobnie jak poprzedni deskryptor obiektowi. Reprezentacja falkowa histogramu kolorów w pozwala na skalowalność deskryptora. Color Layout - Informacja o współczynnikach DCT obrazu obliczonych dla poszczególnych podobszarów w ramki. Współczynniki wyznacza się dla modelu barw Y, C b, C r i odpowiednio koduje. 15 16 4
Color Structure - Informacja o tzw. strukturalnym histogramie kolorów. Charakterystyka wyliczana jest w przestrzeni barw HMMD. Opis ten pozwala rozróżni nić przypadki, gdy normalne histogramy sąs takie, czyli w dwóch obrazach jest taka sama liczba punktów o danych kolorach. Jeśli punkty sąs rozmieszczone inaczej to histogramy strukturalne dla dwóch takich obrazów w będąb różne. Deskryptory tekstury Texture Browsing Charakterystyka określaj lająca pewne cechy percepcyjne tekstury, jak na przykład regularność czy kierunkowość ść.. Dla wyliczenia deskryptora stosuje się metodę polegającą na analizie kierunków w na obrazach spektralnych tekstury. Podobnie jak w poprzednim przypadku się transformację Radona i filtry Gabora. Edge Histogram Histogram rozkładu przestrzennego elementarnych (jest ich pięć ęć) ) typów w krawędzi. Homogenous Texture Charakterystyka wyrażaj ająca jednorodność tekstury obiektu. Przykładem tekstury jednorodnej może e być widok dużego parkingu z samolotu. Dla wyliczenia deskryptora stosuje się transformację Radona i filtry Gabora. 17 18 Deskryptory kształtu tu Region Shape Charakterystyka kształtu tu obszaru liczona za pomocą momentów Zernicke. Contour Shape Charakterystyka kształtu tu konturu obszaru. Obliczenia charakterystyki przeprowadza się na podstawie analizy tzw. Curvature Scale-Space Space representation (skalowalnej przestrzeni krzywizny). Pozwala to na wyłowienie percepcyjnych właściwow ciwości kształtu tu konturu. Deskryptory ruchu Kształty ty różne Camera Motion Opis parametrów w ruchomej kamery. Kształty ty dość podobne 19 20 5
Deskryptory audio Audio Signature Opis statystycznych właściwow ciwości lokalnych widma sygnału dźwieku. Motion Trajectory Opis ruchu obiektu (trajektoria) interpolowana przy pomocy krzywej zbudowanej z segmentów w wielomianowych pierwszego lub drugiego stopnia. 21 Musical Instrument Timbre Zestaw deskryptorów charakteryzujących cych liczbowo brzmienie poszczególnych instrumentów w muzycznych wyrażonych w kategoriach analizy widmowej. Musical Instrument Timbre Skomplikowany deskryptor opisujący zależno ności czasowe i linie melodyczną utworu. General Sound Recognition and Indexing Deskryptor pozwalający na odróżnienie muzyki od szumu, głosu g mężczyzny od kobiety itp. Wykorzystano elementy teorii procesów w Markowa 22 Przykład: A AudioSpectrumProjection AudioSpectrumBasis Spektrogram AudioSpectrumEnvelope 23 Charakterystyki zredukowane AudioSpectrum iospectrumbasis i AudioSpectrum iospectrumprojection 24 6
4. Koncepcja porównywania obiektów Obiekt 1 [D 1,D 2,,D n ] Porównanie wektorów deskryptorów Obiekt 2 [D 1,D 2,,D n ] 25 7