(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (51) T3 Int.Cl. H04N 19/00 ( ) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 2016/13 EP B1 (54) Tytuł wynalazku: SPOSÓB I SYSTEM DO KODOWANIA SYGNAŁU WIDEO, ZAKODOWANY SYGNAŁ WIDEO, SPOSÓB I SYSTEM DO DEKODOWANIA SYGNAŁU WIDEO (30) Pierwszeństwo: EP (43) Zgłoszenie ogłoszono: w Europejskim Biuletynie Patentowym nr 2009/40 (45) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 2016/09 (73) Uprawniony z patentu: Koninklijke Philips N.V., Eindhoven, NL (72) Twórca(y) wynalazku: PL/EP T3 WILHELMUS H. A. BRULS, Eindhoven, NL ARNAUD P. H. BOURGE, Eindhoven, NL (74) Pełnomocnik: rzecz. pat. Mariusz Kondrat KONDRAT I PARTNERZY Al. Niepodległości 223/ Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 SPOSÓB I SYSTEM DO KODOWANIA SYGNAŁU WIDEO, ZAKODOWANY SYGNAŁ WIDEO, SPOSÓB I SYSTEM DO DEKODOWANIA SYGNAŁU WIDEO Opis DZIEDZINA WYNALAZKU [0001] Wynalazek dotyczy ogólnej dziedziny kodowania wideo (lub kompresji wideo), a w przykładach wykonania tak zwanego skalowalnego kodowania wideo. Przedstawia on sposób i system do kodowania sygnału wideo, w którym dokonuje się kompresji obrazu, na przykład skalowalnej kompresji obrazu i wykorzystywanych jest wiele predykcji czasowych, przy czym w pamięci w jednostce predykcyjnej przechowywanych jest wiele klatek. [0002] Wynalazek dotyczy też zakodowanego, np. skalowalnego sygnału wideo i sposobu i systemu do dekodowania sygnału wideo. OPIS STANU TECHNIKI [0003] Systemy wyświetlania obrazu często odbierają strumienie skompresowanych danych. Znane są przeróżne techniki kompresji obrazu do zmniejszania ilości danych obrazowych, które muszą być przechowywane lub przesyłane. W kompresji wideo wykorzystywana jest predykcja, przy czym zawartość klatki lub części klatki jest predykowana na podstawie zawartości jednej lub większej liczby uprzednio odebranych lub wygenerowanych klatek. Przy przetwarzaniu sygnału wideo sygnał składa się z klatek kodowanych wewnętrznie i kodowanych predykcyjnie, na przykład klatek typu I, klatek typu P i klatek typu B. Klatki typu I są kodowane wewnętrznie. Klatki typu P i B nazywa się klatkami kodowanymi predykcyjnie. Klatki kodowane wewnętrznie można rekonstruować bez odnoszenia się do innych klatek; klatki kodowane predykcyjnie rekonstruuje się z wykorzystaniem danych z innych klatek (predykcja w przód lub w tył). Klatki typu P i B zawierają tylko informacje lub zmiany między klatkami typu I, często wyrażone w wektorach ruchu makrobloków. W standardowym przetwarzaniu sygnału wideo odsyłanie jest względnie proste i ma miejsce odniesienie do co najwyżej dwóch klatek, klatki typu P są predykowane w przód na podstawie klatek typu I i klatki typu B są predykowane w przód i w tył na podstawie klatek typu I i P. Z wykorzystaniem estymacji ruchu odnaleźć można wektory ruchu, które wykorzystuje się do estymacji ruchu części (makrobloków) klatki. Trochę bardziej złożone standardy kompresji wideo, takie jak standard kompresji AVC, mają możliwość zastosowania wielu predykcji. Dokonywana jest względnie duża liczba predykcji czasowych (np. w przód lub w tył). Jako dokonujące predykcji traktuje się nie tylko klatki najbliższe w czasie, ale też klatki dalej 1

3 przesunięte w czasie. Wiele klatek do wykorzystania do predykcji czasowej przechowywanych jest w buforze w pamięci. W miarę upływu czasu klatki przesuwają się przez bufor w pamięci i gdy zapisywana jest świeża klatka, z bufora wyrzucane są najstarsze. [0004] Mimo że istniejące schematy są przydatne, wynalazcy zdali sobie sprawę z tego, że istnieje możliwość ulepszenia kodowania. Znane sposoby mają ograniczenie dotyczące predykcji. Poprzez zniesienie ograniczenia otwierają się nowe możliwości, nie wymagając dużych zmian w istniejącym (skalowalnym) kodowaniu obrazu wideo, zapewniając w ten sposób nowe możliwości łatwe do wdrożenia na skalę przemysłową. STRESZCZENIE WYNALAZKU [0005] W tym celu sposób kodowania według wynalazku charakteryzowany jest, jak opisano w zastrzeżeniu 1. [0006] Klatki predykcyjne produkowane są w rozszerzającej części kodującej kodera, klatki predykcyjne, które są produkowane w części kodującej strumień podstawowy są produkowane oddzielnie od części rozszerzającej kodera (mimo że nadal w obrębie kodera, patrząc w szerszym znaczeniu). [0007] Wynalazek opiera się na poniższych kwestiach: Standardowo w dekoderze rozszerzającym wykorzystywanych jest wiele predykcji czasowych. Im dłuższa klatka znajduje się w pamięci, tym przeciętnie mniejsze znaczenie predykcji czasowej opartej o taką klatkę. W wynalazku dogmat predykcji czasowej omija się poprzez wykorzystanie przestrzeni zarezerwowanej dla jednej lub większej liczby predykcji czasowych dla oddzielnej predykcji pochodzącej z kodera strumienia podstawowego. Zmniejsza to nieznacznie dokładność predykcji czasowej w koderze rozszerzającym w oparciu o konwencjonalnie produkowane klatki predykcyjne. Niemniej jednak nadpisywane informacje są względnie zbędne / mniej przydatne. Z tego względu nadpisywanie informacji bardzo często nie obniża poważnie jakości obrazu. Informacje, które można zapisać w nadpisywanych szczelinach otwierają jednak możliwości, których nie można osiągnąć w obecnych standardach, lub tylko przy bardzo złożonych zmianach w istniejących procedurach, tak że nie będą one dłużej kompatybilne z istniejącymi standardami i/lub będą powodować konieczność dużego zwiększenia bitów w sygnale wideo. W prostych przykładach wykonania wynalazku nadpisywana predykcja jest jedną z najstarszych predykcji. Najstarsze (najdłużej w 2

4 pamięci) predykcje są przeważnie najmniej ważne. Alternatywnie sposób może zawierać algorytm do wybierania najmniej ważnej(-ych) predykcji przed nadpisaniem. [0008] Sposób według wynalazku nie wymaga więcej bitów ani dużych zmian w istniejącym standardzie AVC. [0009] W przykładzie wykonania wynalazku pamięć jest pamięcią w koderze/dekoderze rozszerzającym, a oddzielnie produkowana klatka jest klatką skalowaną w gorę / z przeplotem z kodera/dekodera podstawowego. Pozwala to, bez jakiejkolwiek zmiany składni, wykorzystać standard AVC do kompresji skalowalnej. [0010] W innym przykładzie wykonania zewnętrzna klatka zawiera widoki głębi. [0011] Pozwala to generować kodowanie wielowidokowego obrazu wideo 3D. [0012] W jeszcze innym przykładzie wykonania, przedstawionym na figurze 7, strumień rozszerzający zapewnia większą częstotliwość wyświetlania klatek, przy współczynniku różnym od 2. Przewidywanym zastosowaniem dla takiego przypadku jest warstwa podstawowa przy 50 Hz przewidziana dla odbiorników telewizyjnych i warstwa rozszerzająca przy 75 Hz przewidziana dla komputerowych paneli LCD (lub dowolnego innego zaawansowanego wyświetlacza). W istocie zwiększenie częstotliwości wyświetlania klatek do co najmniej 75 Hz daje znaczącą poprawę, podczas gdy wymaga mniejszego wzrostu przepływności niż przejście bezpośrednio do 100 Hz. Co więcej, 75 Hz jest natywną częstotliwością odświeżania wielu wyświetlaczy (głównie w świecie komputerów). Zatem korzystne jest rozwiązanie 50/60 Hz kompatybilne z rozszerzeniem 75/90 Hz, ale nie może być realizowane ani z wykorzystaniem MPEG2, ani z wykorzystaniem SVC. [0013] Taką kompatybilność można skutecznie zrealizować w oparciu o niniejszy wynalazek. KRÓTKI OPIS RYSUNKÓW [0014] Te i inne korzystne przykłady wykonania wynalazku zostaną opisane bardziej szczegółowo na podstawie poniższych figur. Fig. 1a do 1c przedstawiają przebieg przetwarzania w sposobie przetwarzania końcowego obejmującym sposób kodowania (fig. 1a) i dekodowania (fig. 1b) według przykładu wykonania wynalazku, przy czym fig. 1c przedstawia bardziej złożony przykład wykonania. Fig. 2 do 5 dodatkowo ilustrują przykładzie wykonania wynalazku, jak przedstawiony na fig. 1a do 1c. 3

5 Fig. 6 przedstawia drugi przykład wykonania wynalazku. Fig. 7 przedstawia kolejny przykład wykonania wynalazku, w którym strumień podstawowy i strumień rozszerzający mają różne częstotliwości wyświetlania klatek. Fig. 8 przedstawia podstawową zasadę dla urządzenia do kompresji wideo mającego pamięci predykcji (typowo do predykcji czasowej), przy czym co najmniej jedna z mniej nadających się do użytku jest wykorzystywana do przechowywania predykcji alternatywnego środka predykcyjnego. [0015] Figury nie są narysowane w skali. Identyczne komponenty są na ogół oznaczone na figurach tymi samymi numerami odniesienia. SZCZEGÓŁOWY OPIS KORZYSTNYCH PRZYKŁADÓW WYKONANIA [0016] W skrócie wynalazek można opisać następująco: Niektóre standardy kompresji wideo mają możliwość wykorzystania wielu predykcji do np. estymacji ruchu / kompensacji ruchu. Wynalazcy zdali sobie sprawę z tego, że niektóre spośród takich predykcji są bardziej zbędne lub mniej przydatne, np. przy zastosowaniu AVC wykorzystywanych jest wiele predykcji czasowych i układ scalony jest wstępnie projektowany tak, aby sobie z tym radzić. W wynalazku dogmat predykcji czasowej jest omijany poprzez nadpisywanie ostatnich takich predykcji (tzn. przeważnie najmniej dokładnych, szczególnie dla dzikiego ruchu), aby zakodować inną predykcję. Dekoder zachowuje się podobnie. [0017] Figura 1 przedstawia przebieg przetwarzania dla przykładu wykonania naszego wynalazku wykorzystującego sposób kodowania i dekodowania. Zilustrowane to poprzez poniższe: Strona kodera: [0018] Figura 1a ilustruje przykład wykonania sposobu i systemu według wynalazku. [0019] Znaczenie skrótów wykorzystanych na figurach: DCT: Dyskretna transformacja kosinusowa (ang. Discrete Cosine Transform) Q: Kwantyzacja (ang. Quantization) DCT -1 : Odwrócona dyskretna transformacja kosinusowa Q -1 : Odwrócona kwantyzacja 4

6 VLC: Kodowanie o zmiennej długości słów (ang. Variable Length Coding) Str. podst.: Strumień podstawowy Str. rozsz.: Strumień rozszerzający ME/MC: Estymacja ruchu / kompensacja ruchu (ang. Motion Estimation / Motion Compensation) R 0, R 1 itd.: Klatki w pamięci wykorzystywane w ME/MC MB i : Makroblok i PTS i : Znacznik czasu prezentacji i (ang. Presentation Time Stamp) AVC: Zaawansowane kodowanie wideo (ang. Advanced Video Coding), zaawansowane kodowanie wideo na przykład dla standardów kodowania H-264 i MPEG4.10. SEI: Dodatkowe informacje rozszerzające (ang. Supplemental Enhancement Information) [0020] Figura 1a przedstawia sposób, w którym wykorzystywany jest strumień podstawowy i strumień rozszerzający. Duże ilości danych spójnych stwarzają znaczne problemy w sposobie transmisji wielu obrazów. Dokładniej, każda klatka obrazu cyfrowego jest nieruchomym obrazem utworzonym z tablicy pikseli zgodnie z rozdzielczością wyświetlania konkretnego systemu. W wyniku tego zawarte ilości nieprzetworzonych informacji cyfrowych są często olbrzymie. Aby zmniejszyć ilość danych, które muszą być przesłane, do kompresji danych wykorzystywane są schematy kompresji. Ustanowiono różne standardy lub sposoby kompresji wideo, w tym MPEG-2, MPEG-4 i H.263. [0021] Umożliwionych jest wiele zastosowań, gdzie w jednym strumieniu dostępne są dane obrazowe o różnej rozdzielczości i/lub jakości. Sposoby osiągnięcia tego nazywa się luźno technikami skalowalności. Istnieją trzy osie, na których można wdrożyć skalowalność. Pierwsza jest skalowalność w osi czasu, nazywana często skalowalnością czasową. Po drugie istnieje skalowalność w osi jakości, nazywana często skalowalnością sygnał/szum lub skalowalnością drobnoziarnistą. Trzecią osią jest oś rozdzielczości (liczba pikseli na obrazie), nazywana często skalowalnością przestrzenną lub kodowaniem warstwowym. W kodowaniu warstwowym strumień bitów dzielony jest na dwa lub większa liczbę strumieni bitów lub warstw. Każdą warstwę można połączyć, aby utworzyć pojedynczy sygnał o wysokiej jakości. Na przykład warstwa podstawowa może zapewniać sygnał o niskiej jakości, podczas gdy warstwa rozszerzająca zapewnia dodatkowe informacje, które mogą rozszerzać obraz 5

7 warstwy podstawowej. Figura 1a przedstawia sposób i system do zapewniania sygnału warstwowego, w tym przypadku ma strumień podstawowy (str. podst.) i strumień rozszerzający (str. rozsz.), nazywany niekiedy również warstwą rozszerzającą. [0022] Sygnał wejściowy jest dzielony i przesyłany do podstawowego kodera 2 po przejściu przez filtr dolnoprzepustowy 1, na przykład filtr Nyquista. Sygnał ulega w koderze podstawowym dyskretnej transformacji kosinusowej (DCT) lub jakiejkolwiek innej podobnej transformacji, tak jak na przykład z wykorzystaniem fal elementarnych i jest kwantyzowany (Q); na otrzymanym strumieniu danych dokonuje się kodowania o zmiennej długości słów, zapewniając strumień podstawowy do przesłania i/lub przechowania. Przy przetwarzaniu sygnału wideo sygnał często składa się z klatek kodowanych wewnętrznie i kodowanych predykcyjnie, na przykład klatek typu I, klatek typu P i klatek typu B. Klatki typu I są kodowane wewnętrznie. Klatki typu P i B nazywa się klatkami kodowanymi predykcyjnie. Klatki kodowane wewnętrznie można rekonstruować bez odnoszenia się do innych klatek; klatki kodowane predykcyjnie rekonstruuje się z wykorzystaniem danych z innych klatek (predykcja w przód lub w tył). Klatki typu P i B zawierają tylko informacje lub zmiany między klatkami typu I, często wyrażone w wektorach ruchu makrobloków. Aby znaleźć różnice, trzeba zrekonstruować wewnątrz kodera sygnał pierwotny. Dokonuje się tego poprzez odwróconą kwantyzację (Q -1 ) i odwróconą dyskretną transformację kosinusową (DCT -1 ). Otrzymane zrekonstruowane klatki wykorzystywane są wewnątrz kodera do estymacji wektorów ruchu. W prostym układzie do estymacji ruchu i kompensacji ruchu wykorzystywana jest tylko jedna zrekonstruowana klatka. Niemniej jednak w bardziej złożonych sposobach i systemach wykorzystywanych jest wiele zrekonstruowanych klatek. Może być to przydatne, ponieważ rekonstrukcja wprowadza błędy, które mogą być dla niektórych zrekonstruowanych klatek większe niż dla innych i może zdarzyć się, że poprzednia klatka niekoniecznie jest najlepszą klatką do wykorzystania jako pozycja początkowa do estymacji wektorów ruchu różnic między klatkami. Koder zawiera rejestr przesuwny, przy czym dla porównania dane wielu zrekonstruowanych klatek są przechowywane w rejestrze przesuwnym do wykorzystania przy estymacji ruchu i/lub kompensacji ruchu, tzn. przy predykcji. Trochę bardziej złożone standardy kompresji wideo, takie jak standard kompresji AVC, mają możliwość zastosowania wielu predykcji. Dokonywana jest względnie duża liczba predykcji czasowych (np. w przód lub w tył). Jako dokonujące predykcji traktuje się nie tylko klatki najbliższe w czasie, ale też klatki dalej przesunięte w czasie. Wiele klatek do wykorzystania do predykcji czasowej 6

8 przechowywanych jest w buforze. W miarę upływu czasu klatki przesuwają się przez bufor i gdy zapisywana jest świeża klatka, z bufora wyrzucane są najstarsze. [0023] Otrzymany strumień podstawowy można transmitować, odbierać i poprzez dekoder wyświetlać w niezmienionej formie, mimo że strumień podstawowy nie zapewnia rozdzielczości, którą można by postrzegać jako rozdzielczość wysoką. [0024] Na figurze 1a system zawiera też koder rozszerzający 3. W koderze rozszerzającym 3 realizowany jest sposób podobny, jak w koderze strumienia podstawowego 2, ale z taką różnicą, że odnosi się on do strumienia rozszerzającego (tzn. różnicy między sygnałem pierwotnym i strumieniem podstawowym). Dekoder rozszerzający zawiera środek do dyskretnej transformacji kosinusowej i kwantyzacji sygnału warstwy rozszerzającej i do rekonstrukcji (DCT -1, Q -1 ). Zrekonstruowane dane strumienia rozszerzającego dla klatek R 0, R 1 itd. są przechowywane i wykorzystane do estymacji ruchu i kompensacji ruchu dla strumienia rozszerzającego. Znawca będzie zaznajomiony z tymi sposobami. [0025] Wynalazcy zdali sobie sprawę z tego, że nie wszystkie przechowywane klatki są tak samo ważne, w szczególności, ale nie wyłącznie mogą okazać się mniej ważne najdłużej pozostające klatki. Im dłuższa klatka znajduje się w pamięci, tym przeciętnie mniejsze znaczenie predykcji czasowej opartej o taką klatkę. W wynalazku dogmat predykcji czasowej omija się poprzez wykorzystanie przestrzeni zarezerwowanej dla ostatnich spośród predykcji czasowych (tzn. najstarszych klatek ) dla oddzielnej predykcji. Nieznacznie zmniejszy to dokładność predykcji czasowej. Niemniej jednak nadpisywane informacje są względnie zbędne / mniej przydatne. Z tego względu nadpisywanie informacji bardzo często nie obniża poważnie jakości obrazu. Informacje, które można zapisać w nadpisywanych szczelinach otwierają jednak możliwości, których nie można osiągnąć w obecnych standardach, lub tylko przy bardzo złożonych zmianach w istniejących procedurach, tak że nie będą one dłużej kompatybilne z istniejącymi standardami i/lub będą powodować konieczność dużego zwiększenia bitów w sygnale wideo. Wynalazek wykorzystać można poprzez nadpisywanie jednej lub większej liczby najstarszych klatek. [0026] Figura 1a ilustruje przykład wykonania sposobu i systemu według wynalazku. Najstarsze dane w pamięci w koderze rozszerzającym są nadpisywane przez klatkę skalowaną w górę / z przeplotem wyprodukowaną w koderze podstawowym. Zatem przed zakodowaniem ostatnia (najdłużej w pamięci 5 kodera rozszerzającego) klatka odniesienia R n/1 w koderze rozszerzającym 3 nadpisywana jest klatką 4 skalowaną w górę / bez przeplotu z kodera/dekodera 2 podstawowego również ze znacznikiem czasu prezentacji i (PTSi). 7

9 Klatka najdłużej w pamięci 5 kodera rozszerzającego 3 jest zatem nadpisywana przez klatkę produkowaną oddzielnie, a mianowicie klatkę 4 skalowaną w górę / bez przeplotu z kodera strumienia podstawowego 2. Mimo że może to nieznacznie zmniejszyć dokładność estymacji ruchu / kompensacji ruchu realizowanej wewnątrz kodera rozszerzającego, pozwala to, bez jakiejkolwiek zmiany składni, wykorzystać AVC do kompresji skalowalnej. Jest to np. odpowiednie, aby wprowadzić 1080p HDTV przy pełnej częstotliwości wyświetlania klatek w sposób zgodny wstecz (względem 720p lub 1080i HDTV). Zasada ta działa także w przypadku kompresji nieskalowalnej. Figura 1a przedstawia koder skalowalny. Ponieważ zasoby ograniczone są do 1080i, schemat według wynalazku zapewnia tylko małą modyfikację do krzemu 1080p. Ostatnia predykcja R n-1 zawiera teraz np. inteligentnego kandydata do skalowania w górę dostosowującego się do treści. Jako bardziej drobiazgowy przykład wykonania, np. dwie ostatnie normalne predykcje czasowe (R n-1, R n-2 ) można nadpisać np. predykcjami (klatkami) wyprodukowanymi z wykorzystaniem dwóch różnych algorytmów usuwania przeplotu. [0027] W przykładach wykonania nadpisywana jest tylko najstarsza klatka w pamięci w koderze rozszerzającym. W zakresie wynalazku, zależnie od liczby klatek w pamięci, nadpisać można więcej niż jedną z najstarszych klatek. Również w takim przykładzie wykonania dokonywany jest prosty wybór, nadpisywana jest najstarsza klatka. W przykładach wykonania nadpisana może zostać jedna z ostatnich n klatek, przy czym wybór tego, która z nich jest nadpisywana dokonywany jest na podstawie oceny znaczenia (rankingu) zestawu najstarszych klatek do nadpisania, nadpisywane klatki niekoniecznie muszą być klatką konkretnie najstarszą, ale mogą istnieć obok klatki najstarszej. [0028] Figura 1b przedstawia stronę dekodera. VLD to dekodowanie o zmiennej długości słowa (ang. Variable Length Decoding). Do nadpisania klatki predykcyjnej R n-1 klatki w pamięci 5' dekodera rozszerzającego wykorzystywana jest klatka 4 wyprodukowana w dekoderze strumienia podstawowego 2'. [0029] Figura 1c przedstawia bardziej złożony przykład wykonania projektu przedstawionego na figurze 1a. Różnica jest taka, że wykorzystywany jest filtr i do dodatkowych informacji rozszerzających (SEI) wprowadzane są dodatkowo dane związane z filtrem i skalowaniem w górę. Dane te są wykorzystywane w dekoderze do ustanawiania na końcu dekodera takich samych parametrów do filtrowania i skalowania w górę, tak aby parametry wykorzystane w sposobie kodowania w koderze można było wykorzystać również przy dekodowaniu. 8

10 [0030] W tym przykładzie wykonania, gdy klatka z zewnątrz zostaje umieszczona w buforze zdekodowanych obrazów, dostaje stary znacznik czasu kompozycji (CTS), tak aby nie została nigdy wyświetlona, i zostaje też oznaczona jako odnośnik długoterminowy, tak aby nie została wyrzucona z pamięci. [0031] Figura 2 przedstawia schemat przebiegu różnych etapów w obrębie rozszerzania do zapewniania, aby zewnętrzna klatka (skalowana w górę podstawowa z PTS j ) nadpisywała klatkę R n-1 w pamięci. [0032] Podstawowa kwestia według wynalazku, a mianowicie to, że klatka predykcyjna najdłużej w pamięci jest nadpisywana klatką predykcyjną produkowaną zewnętrznie, jest przydatna nie tylko w przykładzie wykonania przedstawionym na figurach 1a do 1c. [0033] Inną opcję podano na figurze 2b; przedstawia ona przykład, gdy można bezpiecznie nadpisać klatkę odniesienia w pamięci. Ważne jest tutaj to, że klatka jest nadpisywana tylko, gdy została już przesłana do wyjścia (wyświetlacza). Po wejściu klatki następuje zapełnienie klatką pamięci (pamięć 0, pamięć 1 itd.). W takiej konfiguracji liczba klatek odniesienia to trzy. Oznacza to, że pierwsze trzy klatki są klatkami niemożliwymi do nadpisania, ponieważ potrzeba trzech klatek. Klatkę można nadpisać w pamięci, gdy klatka ta zostanie wyświetlona. Zatem w tym przykładzie nadpisać można klatki, które zostały umieszczone w okręgach. Należy zauważyć, że klatki te są klatkami najstarszymi, ale niekoniecznie najstarszą klatką w pamięci. W kolumnie 4 na przykład nadpisać można klatkę I 0, ale nie jeszcze nie wyświetloną klatkę B 1. Prostokąt oznacza klatki wykorzystywane jako odniesienie dla B 3 i P 6 (pierwszy prostokąt) oraz B 5 i P 7 (ostatni prostokąt). [0034] Figura 3 ilustruje przykład wykonania, w którym skalowana w górę zdekodowana klatka strumienia podstawowego I 0 nadpisuje w pamięci (buforze) kodera/dekodera rozszerzającego ostatnią predykcyjną klatkę odniesienia (R 2 ) w koderze/dekoderze rozszerzającym, którą w tym przypadku jest P -6. [0035] Figura 4 ilustruje przykład wykonania, w którym skalowana w górę zdekodowana klatka strumienia podstawowego P 2 ze znacznikiem czasu PTS2 nadpisuje w pamięci (buforze) kodera/dekodera rozszerzającego ostatnią predykcyjną klatkę odniesienia (R 2 ) w koderze/dekoderze rozszerzającym, którą w tym przypadku jest P -4. [0036] Figura 5 ilustruje przykład wykonania, w którym strumień podstawowy ma sygnał wyjściowy 720p, a strumień rozszerzający sygnał wyjściowy 1080p. Klatka strumienia podstawowego skalowana w górę / bez przeplotu ze znacznikiem czasu PTS1 nadpisuje 9

11 klatkę R n-1 w pamięci kodera rozszerzającego AVC. Pozwala to wprowadzić 1080p HDTV przy pełnej częstotliwości wyświetlania klatek w sposób zgodny wstecz (względem 720p lub 1080i HDTV), co nie jest możliwe lub przy znacznie większych kosztach za pomocą znanych sposobów. [0037] Taką zasadę nadpisywania jednej z wielu klatek odniesienia zastosować można też do przypadku wielowidokowego, tak że również nie trzeba zmieniać jakiejkolwiek składni i zasadniczo można wykorzystać regularne AVC także do takiego zastosowania. [0038] Istniały próby wydajnej kompresji przypadków wielowidokowych. W MPEG stwierdzono już, że do wydajnej kompresji wielowidokowego obrazu wideo zastosować można normalne AVC wykorzystujące hierarchiczne klatki typu B. W takich sposobach przeplatane są klatki z różnych widoków i zapewniane jest, że klatki widoku inne niż odniesienia (inne niż C) są typu hierarchicznego B (zapisane B, Bs). Umożliwia to każdemu makroblokowi zarówno predykcję przestrzenną (sąsiedzką), jak i czasową (na podstawie tego samego widoku). [0039] Szczególnie interesujący dla stereoskopowego obrazu wideo jest przypadek z jednym widokiem centralnym (C) i jednym widokiem lewym (L) i jednym widokiem (R). Widok centralny C byłby widokiem odniesienia, a widoki L i R byłyby klatkami hierarchicznymi typu B. [0040] Mimo że aktualnie najlepsze rozwiązanie (AVC + klatki hierarchiczne typu B) to duża poprawa, nadal przepływność strumienia AVC z 3 widokami jest dla wielu zastosowań duża w odniesieniu do samego strumienia C AVC (1+2*0.4/0.5)= *. [0041] Ludzie w MPEG próbują rozszerzyć AVC o nowe tryby (nową składnię), aby zawrzeć jako nowe tryby predykcji IBR (renderowanie obrazu na podstawie 2D + głębi), w celu ulepszenia wydajności kodera wielowidokowego AVC. Stwarza to jednak trudności w zakresie realizacji, ponieważ oznacza to wiele zmian w AVC. [0042] Wynalazcy zdali sobie jednak sprawę z tego, że podstawową koncepcję wynalazku, tzn. zasadę nadpisywania jednej z wielu klatek odniesienia, można zastosować do przypadku wielowidokowego, tak że również nie trzeba zmieniać jakiejkolwiek składni, i zasadniczo można wykorzystać do takiego zastosowania również regularne AVC. [0043] Przedstawiono to na figurze 6, gdzie minimalna liczba klatek odniesienia wynosiłaby normalnie 4, patrz a), przy czym w pamięci kodera AVC wykorzystywane są cztery klatki odniesienia, a mianowicie Cfw, Cbw, Bsr, Bsl. 10

12 [0044] Tą liczbę klatek odniesienia można oczywiście zwiększyć (patrz figura 6b, Cfw. Cbw, Bsr, Bsl, Bsr-1, Bsl-1) i dałoby to pewne (ograniczone) wzmocnienie. Sytuację taką przedstawiono w b). [0045] Rzeczywiste zastosowanie 3D wymagałoby również 3 widoków głębi. Z takimi widokami głębi i widokiem C można zastosować IBR (renderowanie na podstawie obrazów), aby stworzyć aproksymacje (predykcje) L' i R'. Predykcje mogą nadpisywać mniej ważne klatki odniesienia za każdym razem przed rozpoczęciem kodowania nowej klatki (patrz figura 6c). [0046] Wzmocnienie przedstawione w części c) będzie teraz dużo większe w porównaniu z b). [0047] Trzecie zastosowanie umożliwione przez niniejszy wynalazek to tworzenie strumienia rozszerzającego dla większej częstotliwości wyświetlania klatek przy współczynniku innym niż moc równa 2. [0048] W rzeczywistości zdekodowania klatka sekwencji 50 Hz jest umieszczana na liście odniesienia sekwencji 75 Hz, zgodnie z ogólnym schematem niniejszego wynalazku. Taka klatka predykcyjna z sekwencji 50 Hz jest dobrym predyktorem i pomaga osiągnąć lepszą wydajność kodowania, ponieważ jest czasowo bardzo bliska klatce do zdekodowania w wersji 75 Hz. Patrząc na figurę 7, gdzie klatka i należy do rozszerzonej sekwencji 75 Hz, a klatka i' przynależy do podstawowej sekwencji 50 Hz: - klatka 1' ma taką samą czasową lokalizację jak klatka 1 - klatka 2' jest czasowo bliższa klatce 2 niż jakakolwiek klatka w sekwencji 75 Hz - klatka 2' jest czasowo bliższa klatce 3 niż jakakolwiek klatka w sekwencji 75 Hz - klatka 3' ma taką samą czasową lokalizację jak klatka 4 - itd. [0049] W skrócie wynalazek można opisać następująco: Niektóre standardy kompresji wideo wykorzystują wiele predykcji czasowych. Jedna lub większa liczba najstarszych predykcji czasowych jest nadpisywana inną predykcją. Predykcja wykorzystana w koderze rozszerzającym jest w przykładzie wykonania nadpisywana predykcją produkowaną w koderze strumienia podstawowego. W innym przykładzie wykonania predykcja czasowa jest nadpisywana widokiem 3D. 11

13 [0050] Wynalazek dotyczy sposobu i systemu kodowania, jak również sposobu i systemu dekodowania, jak opisane powyżej tytułem przykładu. [0051] Wynalazek jest również zawarty w sygnale wideo zawierającym kodowane sygnały wideo i informacje sterujące zawierające np. parametry funkcjonalne do zastosowania w sposobie dekodowania. Informacje sterujące mogą zawierać dane według któregokolwiek, lub jakiejkolwiek kombinacji, spośród przykładów wykonania opisanych powyżej. [0052] Informacje sterujące zawarte w sygnale wideo według niniejszego wynalazku mogą zawierać jedne lub większą liczbę spośród poniższych informacji: A: informacje ogólne, tzn. mające zastosowanie do całego sygnału wideo 1. Że sposób jest wykorzystywany do kodowania sygnału wideo, jest to przydatne, gdy jest, w przyszłości wykorzystywany jest tylko jeden standardowy sposób 2. Że do kodowania sygnału wideo wykorzystywany jest szczególny przykład wykonania sposobu 3. Parametry wykorzystywane w sposobie, takimi parametrami mogą być na przykład - Szczególna predykcja do nadpisania (najdłużej w pamięci lub dwie najdłużej w pamięci lub obok pozostającej najdłużej w pamięci). - Parametry wykorzystywane przy kodowaniu sygnału wideo, tak jak parametry dla filtrów, algorytmy skalowania w górę lub algorytmy do określania, które predykcje mają zostać nadpisane. B: szczególne informacje dynamiczne. [0053] Jeśli sygnał wideo jest generowany dynamicznie, tzn. pewne wybory dokonywane podczas kodowania są zależne od zawartości wideo; wybory dokonywane w koderze można zawrzeć w kodowanym sygnale wideo. Na przykład, jeśli sposób kodowania zawiera algorytm do dokonywania decyzji, która z predykcji ma zostać nadpisana, na przykład poprzez ocenę znaczenia predykcji do nadpisania możliwie w porównaniu z predykcją, która będzie nadpisywać, istnieje wybór zawarcia szczegółów o wspomnianym(-ch) algorytmie(- ach) wyboru w sygnale wideo (i w ten sposób zawarcie w sygnale wideo informacji ogólnych). Niemniej jednak działa to tylko, jeśli dekoder zawiera wspomniany algorytm. Jeśli dekoder nie spełnia tego warunku, można przesłać szczególne informacje dynamiczne, tzn. 12

14 dla szczególnej części sygnału wideo określone zostaje (na przykład za pomocą flagi), że nadpisana ma zostać szczególna predykcja. [0054] Sygnał wideo może zawierać informacje ogólne, jak również informacje dynamiczne. Wszystkie z powyższych rodzajów informacji, jak również jakikolwiek inny rodzaj informacji związany z zastosowaniem sposobu według wynalazku, wywoływane są w ramach zastosowania parametru. Parametry mogą być zatem prostymi parametrami Tak/Nie (punkt A1 powyżej), parametrami wskazującymi wybór w obrębie zestawu możliwości (na przykład punkt A2 powyżej) lub parametrem do kontroli etapu w obrębie sposobu (punkt A3 powyżej) lub parametrami dynamicznymi (punkt B powyżej) w dowolnym kształcie lub postaci. [0055] Figura 8 ponownie określa najbardziej ogólne urządzenie (odpowiadające najbardziej ogólnemu sposobowi) według wynalazku. W kompresji wideo, która umożliwia jednostce predykcyjnej 801 zastosowanie kryterium SEL_F() po wygenerowaniu wielu predykcji przez podobne jednostki predykcyjne T, T2, które dokonują np. transformacji stratnej i kompensacji ruchu (np. w AVC predykcja czasowa może wynikać z kombinacji wielu poprzednich obrazów), jeden z takich standardowych trybów można wykorzystać ponownie poprzez zapisanie danych z oddzielnej predykcji z innej jednostki predykcyjnej PR_UN (tzn. w pamięci podrzędnej MEM_P2, zgrubnie kwantowana pierwsza predykcja, np. aproksymacja fali elementarnej, jest nadpisywana przez inny predykowany region, przez inny algorytm z PR_UN). Taki nowy tryb predykcji można wtedy z łatwością wprowadzić do istniejącego standardu (wedle upodobań). Zmienić można też kryterium wyboru SEL_F(). [0056] Inna jednostka predykcyjna może np. wykorzystywać syntezę teksturalną. Jeśli strona kodera rozpoznaje, że istnieją np. płaty (np. bloki) trawy, zastosować można kryterium porównawcze lub predykcję, która po prostu wykorzystuje syntetycznie wygenerowaną trawę (np. typowo bez aktualizacji reszty). Można to następnie wybrać jako region skompresowany / o najlepszej jakości w porównaniu z np. predykcją czasową. Dekoder zastosuje wtedy też generowanie trawy (nie musi on nawet odbierać informacji predykcji czasowej dla tego regionu). Wszystkie rodzaje ulepszonych predykcji można wygenerować poprzez jednostkę predykcyjną PR_UN, np. poprzez zastosowanie pewnego przekształcenia obrazu, takiego jak wyostrzanie lub wygładzanie, dla pewnych danych obrazowych (lub dwóch różnych algorytmów usuwania przeplotu w dwóch ostatnich, najmniej dokładnych pamięciach predykcji czasowej, które tworzą wtedy konkurencyjne predykcje z np. predykcją czasową), lub model 3D (np. wygenerowany z pary kolejnych czasowo obrazów) itp. 13

15 [0057] Takie dane synchronizacyjne można też przesyłać przez unormowany sygnał obrazu skompresowanego np. w dodatkowych informacjach rozszerzających (SEI). [0058] Wynalazek jest także zawarty w dowolnym produkcie będącym programem komputerowym dla sposobu lub urządzenia według wynalazku. Przez produkt będący programem komputerowym należy rozumieć dowolną fizyczną realizację zbioru poleceń umożliwiającą, po serii etapów wczytywania (które mogą obejmować pośrednie etapy konwersji, takie jak tłumaczenie na język pośredni, i końcowy język procesora), dostarczenie do procesora poleceń ogólnych procesora lub specjalnego przeznaczenia, aby wykonać jakiekolwiek charakterystyczne funkcje według wynalazku. W szczególności produkt będący programem komputerowym można zrealizować jako dane na nośniku, takim jak np. dysk lub taśma, dane występujące w pamięci, dane przesyłane przez połączenie sieciowe - przewodowe lub bezprzewodowe - lub kod programu na papierze. Poza kodem programu jako produkt będący programem komputerowym zrealizować można też dane charakterystyczne wymagane przez program. [0059] Należy zauważyć, że wyżej wspomniane przykłady wykonania raczej ilustrują, a nie ograniczają wynalazku i że znawcy będą w stanie zaprojektować wiele alternatywnych przykładów wykonania bez odchodzenia od zakresu załączonych zastrzeżeń. [0060] Wszelkie oznaczenia referencyjne w zastrzeżeniach umieszczane w nawiasach nie powinny być traktowane jako ograniczające zastrzeżenie. [0061] Będzie oczywiste, że w ramach wynalazku możliwych jest wiele wariantów. Znawcy docenią, ze niniejszy wynalazek nie jest ograniczony przez to, co zostało szczegółowo pokazane i opisane tutaj powyżej. Wynalazek zawiera się w każdej bez wyjątku nowatorskiej charakterystycznej właściwości i każdej bez wyjątki kombinacji charakterystycznych właściwości. Numery odniesienia w zastrzeżeniach nie ograniczają ich zakresu ochrony. [0062] Na przykład sposób można zastosować tylko do części obrazu lub różne przykłady wykonania sposobu według wynalazku można zastosować do różnych części obrazu, na przykład wykorzystując jeden przykład wykonania dla środka obrazu przy jednoczesnym wykorzystaniu innego dla krawędzi obrazu. [0063] Użycie czasownika zawierać i jego odmian nie wyklucza wystąpienia elementów innych niż podane w zastrzeżeniach. Wykorzystanie elementów występujących w liczbie pojedynczej nie wyklucza występowania wielu takich elementów. 14

16 [0064] Wynalazek opisano w odniesieniu do klatek. W ramach wynalazku klatka może być częścią klatki, jeśli na przykład sposób według wynalazku jest realizowany dla części klatki, na przykład tylko środkowej części obrazu wideo lub tylko przednich części obrazu wideo. 15

17 Zastrzeżenia patentowe 1. Sposób do kodowania sygnału wideo, w którym realizowana jest kompresja obrazu, przy czym dla sygnału wideo kodowany jest strumień rozszerzający w koderze strumienia rozszerzającego (3) i kodowany jest strumień podstawowy w koderze strumienia podstawowego (2), a częstotliwości wyświetlania klatek dla strumienia rozszerzającego i strumienia podstawowego różnią się o współczynnik inny niż moc równa 2 i w koderze strumienia rozszerzającego (3) wykorzystywanych jest wiele predykcji czasowych, przy czym wiele klatek predykcyjnych przechowywanych jest w pamięci (5) kodera strumienia rozszerzającego (3), przy czym klatka predykcyjna (Rn- 1) we wspomnianej pamięci (5) kodera strumienia rozszerzającego (3) jest nadpisywana klatką (4) pochodzącą z kodera strumienia podstawowego (2), przy czym nadpisywana klatka predykcyjna we wspomnianej pamięci (5) jest klatką predykcyjną najdłużej w pamięci. 2. Sposób jak zastrzeżony w zastrzeżeniu 1, przy czym klatka pochodząca z kodera strumienia podstawowego jest klatką skalowaną w górę. 3. Sposób dekodowania sygnału wideo zawierającego strumień rozszerzający i strumień podstawowy, przy czym strumień rozszerzający jest dekodowany w dekoderze strumienia rozszerzającego (3') i strumień podstawowy jest dekodowany w dekoderze strumienia podstawowego (2'), a częstotliwości wyświetlania klatek dla strumienia rozszerzającego i strumienia podstawowego różnią się o współczynnik inny niż moc równa 2 i w dekoderze strumienia rozszerzającego (3') wykorzystywanych jest wiele predykcji czasowych, przy czym wiele klatek predykcyjnych przechowywane jest w pamięci (5') dekodera strumienia rozszerzającego (3'), przy czym klatka predykcyjna (Rn-1) w pamięci (5') dekodera strumienia rozszerzającego (3') nadpisywana jest klatką (4') pochodzącą z dekodera strumienia podstawowego (2'), przy czym nadpisywana klatka predykcyjna we wspomnianej pamięci (5') jest klatką predykcyjną najdłużej w pamięci. 4. Sposób dekodowania jak zastrzeżony w zastrzeżeniu 3, przy czym klatka pochodząca z dekodera strumienia podstawowego jest klatką skalowaną w górę. 5. Koder do kodowania sygnału wideo do strumienia rozszerzającego i strumienia podstawowego zawierający koder strumienia rozszerzającego (3) i koder strumienia podstawowego (2), w którym realizowana jest kompresja obrazu i częstotliwości 16

18 wyświetlania klatek dla strumienia rozszerzającego i strumienia podstawowego różnią się o współczynnik inny niż moc równa 2, przy czym koder strumienia rozszerzającego (3) jest przygotowany do generowania wielu predykcji czasowych i przechowywania wielu predykcji czasowych w pamięci (5) i przy czym koder jest przygotowany do nadpisywania klatki predykcyjnej (Rn-1) we wspomnianej pamięci (5) kodera strumienia rozszerzającego (3) klatką pochodzącą z kodera strumienia podstawowego (2), przy czym nadpisywana klatka predykcyjna we wspomnianej pamięci (5) jest klatką predykcyjną najdłużej w pamięci. 6. Koder jak zastrzeżony w zastrzeżeniu 5, przy czym koder jest zrealizowany tak, że klatka pochodząca z kodera strumienia podstawowego jest klatką skalowaną w górę. 7. Dekoder dla skompresowanego sygnału wideo zawierającego strumień podstawowy i strumień rozszerzający, dekoder zawierający dekoder strumienia podstawowego (2') i dekoder strumienia rozszerzającego (3'), przy czym częstotliwości wyświetlania klatek dla strumienia rozszerzającego i strumienia podstawowego różnią się o współczynnik inny niż moc równa 2, przy czym dekoder strumienia rozszerzającego (3') jest przygotowany do generowania wielu predykcji czasowych i przechowywania wielu predykcji czasowych w pamięci (5'), przy czym dekoder jest przygotowany do nadpisywania klatki predykcyjnej (Rn-1) w pamięci (5') dekodera strumienia rozszerzającego (3') klatką (4') pochodzącą z dekodera strumienia podstawowego (2'), przy czym nadpisywana klatka predykcyjna we wspomnianej pamięci (5') jest klatką predykcyjną najdłużej w pamięci. 8. Dekoder jak zastrzeżony w zastrzeżeniu 7, przy czym dekoder jest zrealizowany tak, że klatka pochodząca z dekodera strumienia podstawowego jest klatką skalowaną w górę. 9. Produkt będący programem komputerowym zawierający środek w postaci kodu programu zapisanego na nośniku do odczytu na komputerze do realizacji sposobu kodowania, jak zastrzeżony w którymkolwiek z zastrzeżeń od 1 do 4, gdy wspomniany program jest uruchamiany na komputerze. 17

19 18

20 19

21 20

22 21

23 22

24 23

25 24

26 25