(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP Urząd Patentowy Rzeczypospolitej Polskiej (96) Data i numer zgłoszenia patentu europejskiego: (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 14/46 EP B1 (13) (1) T3 Int.Cl. H04N 19/196 (14.01) H04N 19/13 (14.01) H04N 19/132 (14.01) H04N 19/14 (14.01) H04N 19/129 (14.01) H04N 19/122 (14.01) H04N 19/176 (14.01) H04N 19/9 (14.01) H04N 19/60 (14.01) H04N 19/61 (14.01) H04N 19/96 (14.01) H04N 19/194 (14.01) H04N 19/11 (14.01) H04N 19/93 (14.01) H04N 19/46 (14.01) H04N 19/7 (14.01) H04N 19/8 (14.01) (4) Tytuł wynalazku: Dostosowywanie zestawu możliwych przekształceń częstotliwości na podstawie rozmiaru bloku i trybu predykcji wewnątrzobrazowej () Pierwszeństwo: US US US US P US P US P (43) Zgłoszenie ogłoszono:.0.13 w Europejskim Biuletynie Patentowym nr 13/ (4) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego /03 (73) Uprawniony z patentu: Qualcomm Incorporated, San Diego, US (72) Twórca(y) wynalazku: PL/EP T3 MARTA KARCZEWICZ, San Diego, US MUHAMMED ZEYD COBAN, San Diego, US PEISONG CHEN, San Diego, US HSIAO-CHIANG CHUANG, San Diego, US RAJAN LAXMAN JOSHI, San Diego, US (74) Pełnomocnik: rzecz. pat. Oliwia Czarnocka POLSERVICE KANCELARIA RZECZNIKÓW PATENTOWYCH SP. Z O.O. ul. Bluszczańska Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 P3477PL00 3 Opis DZIEDZINA TECHNIKI [0001] Niniejszy wynalazek dotyczy kodowania wideo. TŁO WYNALAZKU 2 [0002] Możliwości cyfrowego wideo mogą być zawarte w szerokim zakresie urządzeń, wliczając telewizję cyfrową, systemy bezpośredniego nadawania cyfrowego (digital direct broadcast systems), bezprzewodowe systemy nadawcze, urządzenia typu cyfrowy asystent cyfrowy (PDA), komputery typu laptop lub komputery biurkowe, kamery cyfrowe, cyfrowe urządzenia rejestrujące, cyfrowe odtwarzacze multimedialne, urządzenia gier wideo, konsole gier wideo, komórkowe lub satelitarne radiotelefony, urządzenia do telekonferencji wideo, i temu podobne. Cyfrowe urządzenia wideo implementują techniki kompresji wideo, takie jak technik opisane w standardach zdefiniowanych przez standardy MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part, zaawansowane kodowanie wideo (AVC), nadchodzący standard kodowania wideo o dużej wydajności (HEVC) (określany także jako H.26), i rozszerzenia takich standardów, w celu wydajniejszego transmitowania i odbierania cyfrowych informacji wideo. [0003] Techniki kompresji wideo realizują predykcję przestrzenną i/lub predykcję czasową w celu zredukowania lub usunięcia redundancji obecnej w sekwencjach wideo. Dla bazującego na blokach kodowania wideo, ramka wideo lub wycinek typu slice może być

3 P3477PL podzielony na makrobloki. Każdy makroblok może zostać dalej podzielony. Makrobloki w kodowanej wewnątrzobrazowo (I) ramce lub wycinku typu slice są kodowane z wykorzystaniem predykcji przestrzennej w odniesieniu do sąsiednich makrobloków. Makrobloki w kodowanej międzyobrazowo (P lub B) ramce lub wycinku typu slice mogą wykorzystywać predykcję przestrzenną w odniesieniu do sąsiednich makrobloków w tej samej ramce lub wycinku typu slice lub predykcję czasową w odniesieniu do innych ramek odniesienia. [0004] Następuje odwołanie do następujących dokumentów ze stanu techniki: W dokumencie DAVIES (BBC) T ET AL: "Suggestion for a Test Model",1. JCT-VC MEETING; ; DRESDEN; (JOINTCOLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-TSG.16 ); URL: 7 maja (-0-07) przedstawiono sugestię dla Modelu Testowego dla nadchodzącego standardu HEVC, zgodnie z którą zapewniona jest różna liczba przekształceń w zależności od rozmiaru bloku. W dokumencie XIN ZHAO ET AL: " Rate-distortion optimized transform for intra-frame coding", ACOUSTICS SPEECH AND SIGNAL PROCESSING (ICASSP), IEEE INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 14 marca (-03-14), strony , ISBN: , przedstawiono powiązanie wielu przekształceń z każdym trybem predykcji wewnątrzklatkowej, wybieranie jednego z nich z wykorzystaniem

4 P3477PL00 kryterium zmiany szybkości i wskazywanie dekoderowi wybranego przekształcenia. ISTOTA WYNALAZKU [000] Niniejszy wynalazek dotyczy sposobu dekodowania danych wideo zgodnie z dołączonym zastrzeżeniem 1, urządzenia do dekodowania danych wideo zgodnie z dołączonym zastrzeżeniem 7, produktu w postaci programu komputerowego zgodnie z dołączonym zastrzeżeniem 9, sposobu kodowania danych wideo zgodnie z dołączonym zastrzeżeniem, urządzenia do kodowania danych wideo zgodnie z dołączonym zastrzeżeniem 13 oraz produktu w postaci programu komputerowego zgodnie z dołączonym zastrzeżeniem. KRÓTKI OPIS RYSUNKÓW 2 [0006] FIG. 1 przedstawia schemat blokowy ilustrujący przykładowy system kodowania i dekodowania wideo, który może wykorzystywać techniki kodowania i dekodowania jednostek przekształcenia jednostki kodowania. FIG. 2 przedstawia schemat blokowy ilustrujący przykład kodera wideo, który może implementować dowolne lub wszystkie spośród technik kodowania jednostek przekształcenia danych wideo opisanych w tym dokumencie.

5 P3477PL FIG. 3 przedstawia schemat blokowy ilustrujący przykład dekodera wideo, który dekoduje zakodowaną sekwencję wideo. FIG. 4 przedstawia koncepcyjny schemat ilustrujący wykres, który obrazuje przykładowy zestaw kierunków predykcji powiązanych z różnymi trybami predykcji wewnątrzobrazowej. FIG. przedstawia koncepcyjny schemat ilustrujący różne tryby predykcji wewnątrzobrazowej określone przez standard ITU-T H.264/AVC. FIG. 6 przedstawia koncepcyjne schematy ilustrujące skanowanie typu zig-zag dla bloku współczynników przekształcenia. FIG. 7A i 7B przedstawiają koncepcyjne schematy ilustrujące przykładowe drzewo czwórkowe oraz odpowiednią największą jednostkę kodowania (LCU). FIG. 8 przedstawia schemat działań ilustrujący przykładowy sposób wybierania przekształcenia i skanowania do zastosowania względem bloku na podstawie trybu predykcji wewnątrzobrazowej wybranego dla bloku. FIG. 9 przedstawia schemat działań ilustrujący inny przykładowy sposób wybierania przekształcenia i skanowania do zastosowania względem bloku na podstawie trybu predykcji wewnątrzobrazowej wybranego dla bloku. FIG. przedstawia schemat działań, ilustrujący przykładowy sposób stosowania trybu predykcji wewnątrzobrazowej i przekształcenia względem podjednostek CU o określonym rozmiarze.

6 P3477PL00 7 FIG. 11 przedstawia schemat działań ilustrujący przykładowy sposób wykonywania adaptacyjnego skanowania współczynników przekształcenia na podstawie wybranego przekształcenia stosowanego względem bloku wartości resztkowych. FIG. 12 przedstawia schemat działań ilustrujący przykładowy sposób wybierania modelu kontekstowego do zastosowania podczas skanowania oraz kodowania entropijnego elementów składni, które opisują współczynniki skanowane adaptacyjnie. FIG. 13 przedstawia schemat działań ilustrujący przykładowy sposób dekodowania jednostki przekształcenia, która została zakodowana z wykorzystaniem jednej lub większej liczby technik według niniejszego wynalazku. FIG. 14 przedstawia schemat działań ilustrujący przykładowy sposób wybierania przekształcenia do zastosowania względem kodowanego wewnątrzobrazowo bloku zawierającego brzeg, dla którego jest sygnalizowany tryb predykcji wewnątrzobrazowej DC. OPIS SZCZEGÓŁOWY 2 [0007] Zasadniczo, w niniejszym dokumencie opisano techniki kodowania danych wideo. W szczególności, w niniejszym dokumencie opisano techniki dotyczące przekształcania danych resztkowych i skanowania współczynników przekształcenia podczas procesu kodowania wideo. Zakodowane dane wideo mogą obejmować dane predykcji i dane resztkowe. Koder wideo może tworzyć dane predykcji podczas trybu predykcji

7 P3477PL wewnątrzobrazowej lub trybu predykcji międzyobrazowej. Predykcja wewnątrzobrazowa zasadniczo wykorzystuje przewidywanie bloku obrazu względem sąsiednich, wcześniej zakodowanych bloków tego samego obrazu. Predykcja międzyobrazowa zasadniczo wykorzystuje przewidywanie bloku obrazu względem danych wcześniej zakodowanego obrazu. [0008] Po predykcji wewnątrzobrazowej lub międzyobrazowej, koder wideo może obliczać wartość resztkową dla bloku. Wartość resztkowa zasadniczo odpowiada różnicy między przewidywanymi danymi dla bloku i rzeczywistą wartością bloku. Aby dodatkowo skompresować wartość resztkową bloku, wartość resztkowa może być przekształcona na zestaw współczynników przekształcenia, który zagęszcza możliwie najwięcej danych (określanych także jako energia ) w możliwie najmniejszej liczbie współczynników. Współczynniki przekształcenia odpowiadają dwuwymiarowej macierzy współczynników, która ma taki sam rozmiar jak oryginalny blok. Innymi słowy, występuje zwyczajnie tyle współczynników przekształcenia, ile jest pikseli w oryginalnym bloku. Jednakże, w wyniku przekształcenia, wiele współczynników przekształcenia może mieć wartości równe zero. [0009] W niektórych przypadkach, drugorzędne przekształcenie, takie jak przekształcenie rotacyjne, może być zastosowane względem podzestawu współczynników przekształcenia generowanych przez pierwsze przekształcenie. Na przykład, po przekształceniu bloku resztkowego na macierz współczynników przekształcenia, przekształcenie rotacyjne może być

8 P3477PL zastosowane względem bloku 8 8 współczynników przekształcenia o najmniejszej częstotliwości. Mimo że ten przykład opisuje przekształcenie rotacyjne jako drugorzędne przekształcenie, to także inne drugorzędne przekształcenia (np. KLT, DCT, i tym podobne) mogą być zastosowane jako drugorzędne przekształcenia. Takie drugorzędne przekształcenia mogą także być wybrane na podstawie sygnalizowanego trybu predykcji wewnątrzobrazowej dla bloku. [00] Odniesienia do przekształceń DCT powinny być rozumiane jako obejmujące zarówno implementacje stałoprzecinkowe, jak i implementacje zmiennoprzecinkowe. To oznacza, że implementacja przekształcenia DCT może w rzeczywistości obejmować aproksymację DCT tak, że przekształcenie DCT ma całkowitoliczbowe współczynniki (to znaczy, współczynniki stałoprzecinkowe) zamiast współczynników o wartościach wymiernych. [0011] W niektórych przykładach, przekształcenie może obejmować przekształcenie nierozłączne. Przekształcenia nierozłączne są zwykle wymagające pod względem obliczeniowym, a zatem urządzenia do kodowania wideo mogą zamiast nich stosować przekształcenia rozłączne. Zasadniczo, przekształcenia rozłączne zawierają składową poziomą stosowaną względem rzędów bloku oraz składową poziomą stosowana względem kolumn bloku. W ten sposób, przekształcenie rozłączne może mieć składową przekształcenia rzędów i składową przekształcenia kolumn, określane także jako dwie ortogonalne składowe przekształcenia. Dwie macierze mogą być wykorzystane do zdefiniowana przekształcenia

9 P3477PL00 2 rozłącznego, przy czym każda z macierzy odpowiada jednej z ortogonalnych składowych przekształcenia. Przekształcenie nierozłączne może zawierać tylko jedną macierz, która, podczas zastosowania, wytwarza koncepcyjnie podobny wynik do zastosowana przekształcenia rozłącznego, ale z wykorzystaniem względnie bardziej intensywnych obliczeń. [0012] Przekształcanie bloku danych resztkowych tworzy zestaw współczynników przekształcenia dla bloku. Koder wideo może następnie kwantyzować współczynniki przekształcenia, aby dodatkowo skompresować dane wideo. Kwantyzacja zasadniczo obejmuje odwzorowanie wartości we względnie dużym zestawie na wartości we względnie małym zestawie, redukując w ten sposób ilość danych potrzebnych do reprezentowania kwantyzowanych współczynników przekształcenia. Po kwantyzacji, koder wideo może skanować współczynniki przekształcenia, tworząc jednowymiarowy wektor z macierzy dwuwymiarowej zawierający kwantyzowane współczynniki przekształcenia. Koder wideo może zerować określone współczynniki przed lub po skanowaniu, np. wszystkie oprócz współczynników z górnego lewego rogu macierzy lub wszystkie współczynniki w tablicy od pozycji N do końca tablicy. [0013] Koder wideo może następnie kodować entropijnie wynikową tablicę, aby jeszcze bardziej skompresować dane. W niektórych przykładach, koder wideo może być skonfigurowany do wykorzystywania kodów o zmiennej długości (VLC) do reprezentowania różnych możliwych kwantyzowanych współczynników przekształcenia tablicy, np. z wykorzystaniem kodowania typu contextadaptive variable-length coding (CAVLC). W innych

10 P3477PL przykładach, koder wideo może być skonfigurowany do wykorzystywania binarnego arytmetycznego kodowania do kodowania wynikowych kwantyzowanych współczynników, np. z wykorzystaniem kodowania typu context-adaptive binary arithmetic coding (CABAC). [0014] W niniejszym dokumencie opisano kilka technik dotyczących transformacji, kwantyzacji, skanowania i kodowania entropijnego wartości resztkowych podczas procesu kodowania wideo. Techniki mogą być zastosowane zarówno przez jednostki kodowania, jak i dekodowania wideo, włącznie z koderami/dekoderami wideo (CODEC) i jednostkami przetwarzającymi skonfigurowanymi do realizacji kodowania i/lub dekodowania wideo. Odniesienia do jednostek kodowania wideo lub urządzeń do kodowania wideo powinny być rozumiane jako odniesienia do jednostek lub urządzeń zdolnych do kodowania, dekodowania lub zarówno do kodowania, jak i dekodowania danych wideo. [00] Aktualnie podejmowane są starania, aby opracować nowy standard kodowania wideo, określany aktualnie jako kodowanie wideo o dużej wydajności (HEVC). Nadchodzący standard jest określany także jako H.26. Starania w zakresie standaryzacji są oparte na modelu urządzenia do kodowania wideo określanym jako Model Testowy HEVC (model HM). Model HM zakłada kilka możliwości urządzeń do kodowania wideo względem urządzeń zgodnych np. ze standardem ITU-T H.264/AVC. Na przykład, podczas gdy standard H.264 zapewnia dziewięć trybów kodowania predykcji wewnątrzobrazowej, model HM zapewnia aż trzydzieści cztery tryby kodowania predykcji wewnątrzobrazowej.

11 P3477PL [0016] Model HM odnosi się do bloku danych wideo jako do jednostki kodowania (CU), która może zawierać jedną lub większą liczbę jednostek predykcji (PU) i/lub jedną lub większą liczbę jednostek przekształcenia (TU). Dane składni w strumieniu bitów mogą definiować największą jednostkę kodowania (LCU), która stanowi największą jednostkę kodowania pod względem liczby pikseli. Zasadniczo, jednostka CU ma podobne przeznaczenie jak makroblok w standardzie H.264, z tym wyjątkiem, że jednostka CU nie ma rozróżnienia rozmiaru. Zatem, jednostka CU może być podzielona na podjednostki CU. Zasadniczo, odniesienia w tym dokumencie do jednostki CU mogą dotyczyć największej jednostki kodowania obrazu lub podjednostki CU jednostki LCU. Jednostka LCU może być podzielona na podjednostki CU, a każda podjednostka CU może być dodatkowo podzielona na podjednostki CU. Dane składni dla strumienia bitów mogą definiować maksymalną liczbę określającą, ile razy jednostka LCU może być podzielona, określaną jako głębokość jednostki CU. Zgodnie z tym, strumień bitów może także definiować najmniejszą jednostkę kodowania (SCU). W niniejszym dokumencie stosowane jest także określenie blok dla odniesienia się do dowolnej spośród jednostek CU, PU lub TU. [0017] Jednostka LCU może być powiązana ze strukturą danych drzewa czwórkowego. Zasadniczo, struktura danych drzewa czwórkowego zawiera jeden węzeł przypadający na jednostkę CU, przy czym węzeł-korzeń odpowiada jednostce LCU. Jeżeli jednostka CU jest podzielona na cztery podjednostki CU, węzeł odpowiadający jednostce

12 P3477PL CU zawiera cztery węzły-liście, z których każdy odpowiada jednej z podjednostek CU. Każdy węzeł struktury danych drzewa czwórkowego może zapewniać dane składni dla odpowiedniej jednostki CU. Na przykład, węzeł w drzewie czwórkowym może zawierać wskaźnik podziału wskazujący, czy jednostka CU odpowiadająca węzłowi jest podzielona na podjednostki CU. Elementy składni dla jednostki CU mogą być zdefiniowane rekursywnie, i mogą zależeć od tego, czy jednostka CU jest podzielona na podjednostki CU. Jeżeli jednostka CU nie jest dalej podzielona, jest ona określana jako jednostka-liść CU. W niniejszym dokumencie, 4 podjednostki CU jednostki-liścia CU będą także określane jako jednostki-liście CU, mimo że nie występuje żaden wyraźny podział oryginalnej jednostkiliścia CU. Na przykład, jeżeli jednostka CU o rozmiarze 16x16 nie jest dalej podzielona, cztery podjednostki CU 8x8 będą także określane jako jednostki-liście CU, mimo że jednostka CU 16x16 nie została nigdy podzielona. [0018] Ponadto, jednostki TU jednostek-liści CU mogą także być powiązane z odpowiednimi strukturami danych drzewa czwórkowego. To znaczy, że jednostka-liść CU może zawierać drzewo czwórkowe wskazujące, jak jednostka-liść CU jest podzielona na jednostki TU. Niniejszy dokument dotyczy drzewa czwórkowego wskazującego, jak jednostka LCU jest podzielona jako drzewo czwórkowe CU oraz drzewa czwórkowego wskazującego, jak jednostka-liść CU jest podzielona na jednostki TU jako drzewo czwórkowe TU. Węzeł-korzeń drzewa czwórkowego TU zasadniczo odpowiada jednostceliściowi CU, natomiast węzeł-korzeń drzewa czwórkowego

13 P3477PL CU zasadniczo odpowiada jednostce LCU. Jednostki TU drzewa czwórkowego TU, które nie są podzielone, są określane jako jednostki-liście TU. [0019] Jednostka-liść CU może zawierać jedną lub większą liczbę jednostek predykcji (PU). Zasadniczo, jednostka PU reprezentuje całość lub część odpowiedniej jednostki CU, i może zawierać dane dla uzyskiwania próbki odniesienia dla jednostki PU. Na przykład, gdy jednostka PU jest zakodowana w trybie międzyobrazowym, jednostka PU może zawierać dane definiujące wektor ruchu dla jednostki PU. Dane definiujące wektor ruchu mogą opisywać, na przykład, składową poziomą wektora ruchu, składową poziomą wektora ruchu, rozdzielczość dla wektora ruchu (np. precyzja z dokładnością do jednej czwartej piksela lub precyzja z dokładnością do jednej ósmej piksela), ramkę odniesienia, która wskazuje wektor ruchu i/lub listę odniesienia (np. listę 0 lub listę 1) dla wektora ruchu. Dane dla jednostki-liścia CU definiujące jednostkę (jednostki) PU mogą także opisywać, na przykład, dzielenie jednostki CU na jedną lub większą liczbę jednostek PU. Tryby podziału mogą się różnić w zależności od tego, czy jednostka CU jest zakodowana, zakodowana w trybie predykcji wewnątrzobrazowej lub zakodowana w trybie predykcji międzyobrazowej. Dla kodowania wewnątrzobrazowego, jednostka PU może być traktowana tak samo, jak jednostka-liść przekształcenia opisana poniżej. [00] Jednostka-liść CU może zawierać jedną lub większą liczbę jednostek przekształcenia (TU). Jednostki przekształcenia mogą być określone z

14 P3477PL00 2 wykorzystaniem struktury drzewa czwórkowego TU, jak omówiono powyżej. Oznacza to, że wskaźnik podziału może wskazywać, czy jednostka-liść CU jest podzielona na cztery jednostki przekształcenia. Następnie, każda jednostka przekształcenia może być dalej podzielona na 4 podjednostki TU. Gdy jednostka TU nie jest dalej podzielona, może być ona określana jako jednostka-liść TU. Zasadniczo, dla kodowania wewnątrzobrazowego, wszystkie jednostki-liście TU należące do jednostkiliścia CU współdzielą ten sam tryb predykcji wewnątrzobrazowej. Oznacza to, że ten sam tryb predykcji wewnątrzobrazowej jest zasadniczo stosowany w celu obliczenia przewidywanych wartości dla wszystkich jednostek TU jednostki-liścia CU. Dla kodowania wewnątrzobrazowego, koder wideo może obliczać wartość resztkową dla każdej jednostki-liścia TU z wykorzystaniem trybu predykcji wewnątrzobrazowej, jako różnicę między częścią przewidywanych wartości odpowiadających jednostce TU oraz oryginalnym blokiem. Wartość resztkowa może być przekształcana, kwantyzowana i skanowana. Dla kodowania międzyobrazowego, koder wideo może dokonywać predykcji na poziomie jednostki PU i może obliczać wartość resztkową dla każdej jednostki PU. Wartości resztkowe odpowiadające jednostce-liściowi CU mogą być przekształcane, kwantyzowane i skanowane. Dla kodowania międzyobrazowego, jednostka-liść TU może być większa lub mniejsza niż jednostka PU. Dla kodowania wewnątrzobrazowego, jednostka PU może być współlokowana z odpowiednią jednostką-liściem TU. W niektórych przykładach, maksymalnym rozmiarem

15 P3477PL jednostki-liścia TU może być rozmiar odpowiedniej jednostki-liścia CU. [0021] Zasadniczo, w niniejszym dokumencie wykorzystuje się określenia jednostka CU i jednostka TU dla odniesienia się do, odpowiednio, jednostki-liścia CU i jednostki-liścia TU, o ile nie wskazano inaczej. Zasadniczo, techniki według niniejszego wynalazku dotyczą przekształcania, kwantyzowania, skanowania i kodowania entropijnego danych jednostki CU. Jako przykład, techniki według niniejszego wynalazku obejmują wybór przekształcenia do wykorzystania w celu przekształcenia wartości resztkowej bloku przewidywanego w trybie wewnątrzobrazowym, na podstawie trybu predykcji wewnątrzobrazowej wykorzystywanego do przewidywania bloku. W niniejszym dokumencie wykorzystuje się także określenie przekształcenie kierunkowe, lub przekształcenie zaprojektowane, dla odniesienia się do takiego przekształcenia, które zależy od kierunku trybu predykcji wewnątrzobrazowej. Oznacza to, że koder wideo może wybrać przekształcenie kierunkowe do zastosowania względem jednostki przekształcenia (TU). Jak wskazano powyżej, predykcja wewnątrzobrazowa obejmuje przewidywanie jednostki TU bieżącej jednostki CU obrazu na podstawie wcześniej zakodowanych jednostek CU i jednostek TU tego samego obrazu. W szczególności, koder wideo może przewidywać wewnątrzobrazowo bieżącą jednostkę TU obrazu z wykorzystaniem określonego trybu predykcji wewnątrzobrazowej. [0022] Techniki według niniejszego wynalazku obejmują powiązanie określonych przekształceń z trybami

16 P3477PL predykcji wewnątrzobrazowej. Zatem, może występować zgodność typu jeden do jednego między trybami predykcji wewnątrzobrazowej i przekształceniami zgodnie z technikami według niniejszego wynalazku. W niektórych przykładach, może występować zgodność typu wiele do jednego między trybami predykcji wewnątrzobrazowej i ich przekształceniami. Na przykład, duży zestaw trybów predykcji wewnątrzobrazowej może być odwzorowany na mniejszy zestaw trybów predykcji wewnątrzobrazowej, a każdy mniejszy zestaw trybów predykcji wewnątrzobrazowej może być odwzorowany jeden do jednego na odpowiednie przekształcenia. [0023] Przekształcenia mogą także być odwzorowane na odpowiednie wzorce skanowania. W niektórych przykładach, tryby predykcji wewnątrzobrazowej mogą być odwzorowane zarówno na przekształcenia, jak i na skanowania, natomiast w innych przykładach, tryby predykcji wewnątrzobrazowej mogą być odwzorowane na przekształcenia, a przekształcenia mogą być odwzorowane na skanowania. W różnych przykładach, mogą być wykorzystane różne kombinacje przekształceń i skanowań współczynników. Na przykład, tryby predykcji wewnątrzobrazowej mogą być odwzorowane na zależne od trybu przekształcenia kierunkowe, a skanowanie typu zig-zag może być wykorzystane we wszystkich przypadkach. [0024] W niektórych przykładach, zamiast odwzorowania trybów predykcji wewnątrzobrazowej na przekształcenia i/lub wzorce skanowania, koder wideo może być skonfigurowany do sygnalizowania kombinacji jednego lub większej liczby przekształceń i wzorca

17 P3477PL skanowania do zastosowania. Podobnie, dekoder wideo może być skonfigurowany do określania przekształcenia i wzorca skanowania do zastosowania na podstawie odebranego wskazania, a nie odwzorowania między trybem predykcji wewnątrzobrazowej i przekształceniami oraz wzorcem skanowania. [002] Przekształcenia mogą obejmować dyskretną transformację kosinusową (DCT) i osiem przekształceń kierunkowych, określanych także jako przekształcenia Karhunen-Loève (KLT). Transformacja DCT stanowi zasadniczo sumę funkcji kosinusowych mających różne częstotliwości, przy czym funkcje są stosowane względem wartości resztkowych. Każde z przekształceń KLT zasadniczo zawiera dwie macierze. Każda macierz w przekształceniu KLT ma taki sam rozmiar jak blok resztkowy, który ma być przekształcony. Przekształcenia KLT mogą być wyznaczone z danych zestawu próbnego lub wyznaczone analitycznie przyjmując model dla ramek wideo i/lub wartości resztkowych predykcji. [0026] Koder HM może być skonfigurowany z trzydziestoma czterema trybami predykcji wewnątrzobrazowej dla określonych rozmiarów bloku. Zatem, dla obsługi odwzorowania typu jeden do jednego między trybami kierunkowej predykcji wewnątrzobrazowej i przekształceniami kierunkowymi, kodery i dekodery HM musiałyby przechowywać nawet 68 macierzy dla każdego obsługiwanego rozmiaru przekształcenia. Ponadto, rozmiary bloku, dla których wszystkie trzydzieści cztery tryby predykcji wewnątrzobrazowej są obsługiwane, mogą stanowić względnie duże bloki, np. 16x16 pikseli, 32x32 piksele, lub nawet większe.

18 P3477PL [0027] W niektórych przykładach, w niniejszym dokumencie zapewniono techniki redukowania liczby przekształceń kierunkowych, które kodery i dekodery muszą obsługiwać. Oznacza to, że kodery i dekodery mogą obsługiwać mniej przekształceń kierunkowych, niż wynosi liczba dostępnych trybów predykcji wewnątrzobrazowej. Koder zgodnie z tymi technikami może, na przykład, odwzorować względnie duży zestaw trybów predykcji wewnątrzobrazowej na podzestaw trybów predykcji wewnątrzobrazowej. Każdy z trybów predykcji wewnątrzobrazowej w podzestawie może być powiązany z przekształceniem kierunkowym. Oznacza to, że tryby predykcji wewnątrzobrazowej w podzestawie mogą posiadać zgodność typu jeden do jednego z zestawem przekształceń kierunkowych. Zatem, tryby predykcji wewnątrzobrazowej w dużym zestawie mogą posiadać zgodność typu wiele do jednego z zestawem przekształceń kierunkowych. [0028] Na przykład, każdy z 34 kierunkowych trybów predykcji wewnątrzobrazowej HM może być odwzorowany na jeden z ośmiu trybów kierunkowej predykcji wewnątrzobrazowej standardu H.264. Koder wideo może zatem wybierać tryb predykcji kierunkowej w celu wewnątrzobrazowego przewidywania wartości dla bieżącej jednostki TU, określać tryb predykcji wewnątrzobrazowej z podzestawu, na który wybrany tryb jest odwzorowany, a następnie wykorzystywać przekształcenie kierunkowe odwzorowane na tryb predykcji wewnątrzobrazowej z podzestawu w celu przekształcenia bieżącej jednostki TU. Dodatkowo, każde z przekształceń kierunkowych może być powiązane z odpowiednim wzorcem skanowania. Zatem, koder może wykonywać skanowanie powiązane z

19 P3477PL00 2 przekształceniem kierunkowym w celu utworzenia wektora współczynników przekształceń, które mogą następnie być kwantyzowane. Ponadto, koder może być skonfigurowany z maksymalnym rozmiarem dla wektora. Oznacza to, że koder może zatrzymać skanowanie współczynników przekształcenia po osiągnięciu maksymalnego rozmiaru, niezależnie od tego, czy następny współczynnik, który ma być skanowany, jest niezerowy, czy nie. [0029] Dzięki zastosowaniu technik opisanych powyżej, koder nie musi sygnalizować przekształcenia wykorzystywanego dla określonej jednostki TU, gdy wykorzystywane są techniki opisane powyżej. Oznacza to, że zarówno koder, jak i dekoder mogą być skonfigurowane z odwzorowaniem typu wiele do jednego trybów predykcji wewnątrzobrazowej dużego zestawu na tryby predykcji wewnątrzobrazowej podzestawu, oraz z odwzorowaniem typu jeden do jednego trybów predykcji wewnątrzobrazowej podzestawu na przekształcenia kierunkowe. Zatem, przez sygnalizowanie trybu predykcji wewnątrzobrazowej z dużego zestawu, dekoder może wyznaczyć przekształcenie wykorzystywane do przekształcenia bloku. Ponadto, te techniki mogą być implementowane przez klasyczne urządzenia, które mają ograniczoną pamięć, która może być przydzielona do przechowywania macierzy dla różnych przekształceń kierunkowych. [00] Koder HM może być skonfigurowany tak, że dostępny zestaw trybów predykcji wewnątrzobrazowej dla bloku zmienia się w oparciu o rozmiar bloku. Oznacza to, że rozmiar jednostki CU może określać liczbę trybów predykcji wewnątrzobrazowej dostępnych dla jednostki CU, z których koder może wybrać tryb predykcji

20 P3477PL00 21 wewnątrzobrazowej do przewidywania wartości wykorzystywanych do obliczania współczynników jednostek TU. Tabela 1 poniżej ilustruje jeden przykład zgodności między rozmiarami jednostki CU i liczbą trybów predykcji wewnątrzobrazowej dostępnych dla jednostek CU o tym rozmiarze. W niniejszym dokumencie, 4 podjednostki CU jednostki-liścia CU są określane także jako jednostki-liście CU, mimo że nie występuje wyraźny podział oryginalnej jednostki-liścia CU. Jeżeli jednostka-liść CU ma najmniejszy rozmiar jednostki CU, te 4 podjednostki CU mogą wybrać różne tryby predykcji wewnątrzobrazowej. Zatem, tabela posiada wpis dla rozmiaru 4x4 jednostki CU. TABELA 1 Rozmiar jednostki CU Liczba trybów predykcji wewnątrzobrazowej 4x4 17 8x x x x64 [0031] Zasadniczo, koder wideo może sygnalizować kierunek predykcji dla bloku, aby dekoder wideo prawidłowo dekodował blok. W niektórych przykładach, koder wideo może być skonfigurowany do określania pojedynczego kierunku predykcji dla jednostki CU, który może być zastosowany względem wszystkich jednostek TU należących do jednostki CU. Jednakże, jak wskazano

21 P3477PL powyżej w tabeli 1, niektóre rozmiary bloków mają mniej dostępnych trybów predykcji wewnątrzobrazowej w porównaniu do innych rozmiarów bloków. Takie przypadki mogą być rozwiązane przez umożliwienie tego, aby liczba kierunków predykcji w rozmiarze bloku jednostki CU była wykorzystana dla rozmiarów bloków jednostki TU. Alternatywnie, tryby predykcji wewnątrzobrazowej większego zestawu mogą być odwzorowane na tryby predykcji wewnątrzobrazowej mniejszego zestawu, np. podzestaw. Jak omówiono powyżej, może występować zależność typu wiele do jednego między trybami predykcji wewnątrzobrazowej większego zestawu i trybami predykcji wewnątrzobrazowej mniejszego zestawu. [0032] Struktury drzewa czwórkowego TU mogą prowadzić do dekompozycji dużego bloku (jednostka CU) na mniejsze bloki (jednostki TU). Tryb predykcji przestrzennej bloku-korzenia (dla jednostki CU) może być wyraźnie sygnalizowany w strumieniu bitów. Wynikowe mniejsze bloki drzewa czwórkowego TU (jednostki TU) mogą dziedziczyć swoje tryby predykcji z trybu blokukorzenia drzewa czwórkowego TU (który odpowiada jednostce CU). Jednakże, liczba kierunków predykcji przestrzennej obsługiwanych przez mniejsze bloki (jednostki TU) może być inna niż w przypadku blokukorzenia (jednostka CU). Może być to rozwiązane przez umożliwienie większej liczby kierunków predykcji dla mniejszych bloków (jednostki TU). Alternatywnie, tryby predykcji mniejszych bloków (jednostki TU) mogą być wyznaczone z trybu bloku-korzenia (jednostka CU) przez odwzorowanie typu wiele do jednego lub typu jeden do jednego zgodnie z określonym z góry kryterium, takim

22 P3477PL jak minimalizowanie różnicy kąta kierunku predykcji między kierunkiem predykcji wewnątrzobrazowej dla jednostki CU i obsługiwanymi kierunkami predykcji w mniejszym bloku. Przekształcenia kierunkowe i wzorce skanowania mogą być wybrane na podstawie tego odwzorowania. [0033] W ten sposób, koder wideo może sygnalizować kierunek predykcji wewnątrzobrazowej jeden raz dla jednostki CU. Zakładając, że jednostka CU zawiera jednostkę TU o rozmiarze, który nie obsługuje sygnalizowanego kierunku predykcji wewnątrzobrazowej, koder wideo może określać tryb predykcji wewnątrzobrazowej dla jednostki TU na podstawie odwzorowania. Oznacza to, że koder wideo może przewidywać wewnątrzobrazowo przewidywany blok wykorzystywany do obliczania jednostki TU z wykorzystaniem trybu predykcji wewnątrzobrazowej mniejszego zestawu, na który sygnalizowany tryb predykcji wewnątrzobrazowej większego zestawu jest odwzorowany. Podobnie, dekoder wideo może zawierać taką samą konfigurację tak, że dekoder wideo może określać tryby predykcji wewnątrzobrazowej dla każdej jednostki TU odebranej jednostki CU. Alternatywnie, liczba trybów predykcji dla jednostki TU może być zwiększona w celu dopasowania do liczby trybów predykcji dla odpowiedniej jednostki CU. [0034] W niektórych przykładach, dla niektórych trybów predykcji wewnątrzobrazowej, wiele przekształceń może być możliwych dla jednostek TU o określonych rozmiarach. W takich przypadkach, dekoder wideo może nie być w stanie wyznaczyć przekształcenia do

23 P3477PL zastosowania względem jednostki TU jedynie na podstawie trybu predykcji wewnątrzobrazowej. Zatem, koder wideo może mieć potrzebę, aby sygnalizować przekształcenie do wykorzystania dla jednostek TU o rozmiarach, dla których możliwych jest wiele przekształceń. Zamiast sygnalizowania przekształcenia dla każdej takiej jednostki TU, te informacje mogą być sygnalizowane na poziomie jednostki CU. W takim przypadku, to przekształcenie może mieć zastosowanie względem wszystkich jednostek TU zawartych w jednostce CU. Dla jednostek TU o rozmiarach, dla których tylko jedno przekształcenie jest odwzorowane na sygnalizowany tryb predykcji wewnątrzobrazowej, odwzorowane przekształcenie może być wykorzystane. [003] Ponadto, składnia określająca przekształcenie musi być obecna tyko wtedy, gdy jednostka CU zawiera jednostkę TU o rozmiarze, dla którego możliwych jest wiele przekształceń. Dla jednostek TU, dla których tylko jedno przekształcenie jest możliwe, koder i dekoder wideo może określać przekształcenie do wykorzystania na podstawie wybranego trybu predykcji wewnątrzobrazowej. Jednakże, dla jednostek TU o rozmiarze, dla którego możliwych jest wiele przekształceń, koder wideo może wyraźnie sygnalizować przekształcenie do wykorzystania dla wszystkich jednostek TU o jednakowym rozmiarze w jednostce CU, np. przez sygnalizowanie przekształcenia do wykorzystania w korzeniu drzewa czwórkowego TU dla jednostki CU. [0036] W ten sposób, jeżeli dekoder wideo napotka jednostkę TU o rozmiarze, dla którego możliwych jest wiele przekształceń na podstawie trybu predykcji

24 P3477PL wewnątrzobrazowej dla jednostki CU odpowiadającej jednostce TU, dekoder może określać przekształcenie do zastosowania na podstawie wyraźnego sygnalizowania. Dla innych jednostek TU, dekoder wideo może wykorzystywać przekształcenie powiązane z trybem predykcji wewnątrzobrazowej sygnalizowanym dla jednostki CU. [0037] W niektórych przykładach, koder wideo może zastosować więcej niż jedno przekształcenie (np. więcej niż jedno przekształcenie rozłączne) względem wartości resztkowej dla jednostki CU. Na przykład, koder wideo może przekształcać jednostkę TU jednostki CU jeden raz z wykorzystaniem pierwszego przekształcenia, tworząc pierwszy zestaw współczynników przekształcenia, następnie stosować drugie przekształcenie względem pierwszego zestawu współczynników przekształcenia, tworząc drugi zestaw współczynników przekształcenia. Ten proces stosowania dwóch lub większej liczby przekształceń względem jednostki TU może być określany jako przekształcenie kaskadowe. W niektórych przykładach, drugie przekształcenie może być zastosowane tylko względem podzestawu współczynników utworzonego przez pierwsze przekształcenie. Należy rozumieć, że drugie przekształcenie może obejmować drugie przekształcenie rozłączne, natomiast pierwsze przekształcenie może obejmować pierwsze przekształcenie rozłączne. Zatem, przekształcenia kaskadowe mogą być zastosowane przez stosowanie w sumie czterech macierzy względem współczynników: dwóch dla pierwszego przekształcenia rozłącznego i kolejnych dwóch dla drugiego przekształcenia rozłącznego.

25 P3477PL [0038] W niektórych przykładach, drugie przekształcenie (to znaczy drugie przekształcenie rozłączne) może odpowiadać przekształceniu rotacyjnemu (ROT). Przekształcenie rotacyjne może zasadniczo być traktowane jako zmiana układu współrzędnych podstawy przekształcenia. Na przykład, koder wideo może najpierw stosować przekształcenie kierunkowe, a następnie przekształcenie rotacyjne, względem jednostki TU. Jako kolejny przykład, koder wideo może najpierw stosować transformację DCT względem jednostki TU, a następnie stosować przekształcenie rotacyjne względem jednostki TU. Koder wideo może być skonfigurowany z wieloma przekształceniami rotacyjnymi. Koder wideo może ponadto być skonfigurowany do stosowania przekształcenia rotacyjnego po określonych przekształceniach kierunkowych i/lub w połączeniu z określonymi trybami predykcji wewnątrzobrazowej. Oznacza to, że koder wideo może być skonfigurowany do stosowania przekształcenia rotacyjnego dla niektórych kombinacji przekształceń kierunkowych i określonych trybów predykcji wewnątrzobrazowej. Różne przekształcenia rotacyjne mogą być indeksowane przez określoną wartość, np. kąt rotacji. W niektórych przykładach, nie wszystkie spośród współczynników są przekształcane z wykorzystaniem przekształcenia rotacyjnego. Na przykład, koder wideo może być skonfigurowany do rotacyjnego przekształcania tylko niskoczęstotliwościowych współczynników przekształcenia jednostki TU. [0039] Ponadto, w niektórych przykładach, techniki według niniejszego wynalazku obejmują przewidywanie w

26 P3477PL trybie wewnątrzobrazowym jednostki TU z wykrytym brzegiem w jednostce TU. Na przykład, jednostka kodowania wideo może wykrywać obecność brzegu w sąsiednim bloku, a następnie określać, że brzeg jest kontynuowany do bieżącej jednostki TU. Tryby predykcji z obsługą brzegów mogą być zapewnione dla przewidywania wewnątrzobrazowego takiej jednostki TU. Koder wideo może określać, czy realizować przewidywanie jednostki TU z wykorzystaniem trybu predykcji w oparciu o brzeg, czy innego trybu kierunkowej predykcji wewnątrzobrazowej. Gdy określone jest występowanie brzegu w jednostce TU, oraz gdy wybrany jest tryb predykcji w oparciu o brzeg, wartość wskazująca tryb predykcji DC może być wykorzystana do sygnalizowania wykorzystywanego trybu predykcji wewnątrzobrazowej, ale ze względu na określenie występowania brzegu, ta wartość może być interpretowana jako wskazanie trybu predykcji z obsługą brzegów. Ponadto, kąt brzegu może być określony i odwzorowany na przekształcenie kierunkowe w sposób podobny do odwzorowania trybów kierunkowej predykcji wewnątrzobrazowej na przekształcenia kierunkowe omówionego powyżej. Podobnie, wzorzec skanowania odwzorowany na przekształcenie kierunkowe może także być wykorzystany w tym przykładzie. [0040] W niniejszym dokumencie zapewniono także techniki skanowania współczynników przekształcenia w celu utworzenia jednowymiarowego wektora, który może być następnie kodowany entropijnie. Zgodnie z tymi technikami, koder wideo może być skonfigurowany do wybierania stałego wzorca skanowania na podstawie

27 P3477PL różnych czynników, lub do wykonywania adaptacyjnego skanowania. Na przykład, koder wideo może posiadać zestaw stałych wzorców skanowania. Koder wideo może wybrać jeden ze stałych wzorców skanowania na podstawie różnych kryteriów, takich jak, na przykład, tryb predykcji wewnątrzobrazowej, przekształcenie wybrane dla jednostki TU, to, czy jednostka TU jest przekształcana z wykorzystaniem przekształcenia kaskadowego, przekształcenie rotacyjne wybrane dla jednostki TU, lub dowolna ich kombinacja. Na przykład, koder wideo może wybrać jeden z zestawu wcześniej zdefiniowanych skanowań na podstawie trybu predykcji wewnątrzobrazowej, drugorzędnego przekształcenia lub ich kombinacji. W niektórych przykładach, koder wideo może wybrać indeks skanowania na podstawie jednego lub większej liczby czynników omówionych powyżej, przy czym indeks skanowania może odpowiadać albo stałemu skanowaniu, albo adaptacyjnemu skanowaniu. [0041] W niektórych przykładach, koder wideo może być skonfigurowany do adaptacyjnego skanowania współczynników przekształcenia. Koder wideo może przechowywać początkowy, stały wzorzec skanowania. Gdy koder wideo koduje bloki obrazu, koder wideo może aktualizować wzorzec skanowania adaptacyjnie. Koder wideo może, na przykład, gromadzić statystyki wskazujące, czy współczynniki w lokalizacjach mają tendencję do przyjmowania wartości zerowych, i jeżeli współczynnik w określonej lokalizacji zwykle przyjmuje wartość zerową, koder wideo może wybrać skanowanie tego współczynnika później niż innych współczynników, które zwykle mają wartości niezerowe. Ponadto, koder wideo

28 P3477PL może przechowywać oddzielne stałe skanowania i/lub statystyki skanowania dla różnych kombinacji czynników, takich jak, na przykład, tryb predykcji wewnątrzobrazowej, przekształcenie wybrane dla jednostki TU, to, czy jednostka TU jest przekształcana z wykorzystaniem przekształcenia kaskadowego, przekształcenie rotacyjne wybrane dla jednostki TU, lub dowolna ich kombinacja. W niektórych przykładach, koder wideo może przechowywać oddzielne statystki dla każdej kombinacji przekształceń kaskadowych, np. pierwsze przekształcenie, po którym następuje przekształcenie rotacyjne. W niektórych przykładach, koder wideo może wykorzystywać adaptacyjne skanowanie, gdy koder wideo stosuje przekształcenie kaskadowe, oraz stałe skanowanie, gdy koder wideo stosuje pojedyncze przekształcenie. [0042] Jak wskazano powyżej, skanowanie macierzy dwuwymiarowej współczynników przekształcenia tworzy jednowymiarowy wektor, który może być następnie kodowany entropijnie. W niektórych przykładach, koder wideo może kodować entropijnie współczynniki przekształcenia z wykorzystaniem kodowania typu context-adaptive binary arithmetic coding (CABAC). Koder wideo może także kodować entropijnie elementy składni takie jak, na przykład, wskaźnik istotnego współczynnika i wskaźnik ostatniego współczynnika. W trakcie adaptacyjnego skanowania współczynników przekształcenia, koder wideo może ustawiać wartość wskaźnika istotnego współczynnika w celu wskazania, czy współczynnik jest istotny, czy nie. Koder wideo może, na przykład, być skonfigurowany do określania, że

29 P3477PL00 2 współczynnik jest istotny, gdy wartość współczynnika jest niezerowa. Koder wideo może także ustawiać wartość wskaźnika ostatniego współczynnika w celu wskazania ostatniego współczynnika w wektorze utworzonym przez adaptacyjne skanowanie. Dekoder wideo może wykorzystywać te elementy składni do aktualizowania lokalnie zachowanych statystyk, w celu odwrotnego adaptacyjnego skanowania kodowanych entropijnie współczynników. W niniejszym dokumencie zapewniono techniki wybierania modelu kontekstowego podczas realizowania kodowania CABAC w celu zakodowania takich elementów składni. Koder wideo może wybrać model kontekstowy na podstawie, na przykład, trybu predykcji wewnątrzobrazowej dla jednostki CU podlegającej kodowaniu, spośród innych elementów. [0043] FIG. 1 przedstawia schemat blokowy ilustrujący przykładowy system kodowania i dekodowania wideo, który może wykorzystywać techniki kodowania i dekodowania jednostek przekształcenia jednostki kodowania. Jak pokazano na FIG. 1, system zawiera urządzenie źródłowe 12, które transmituje zakodowane wideo do urządzenia docelowego 14 za pośrednictwem kanału komunikacyjnego 16. Urządzenie źródłowe 12 i urządzenie docelowe 14 mogą obejmować dowolne spośród szerokiego zakresu urządzeń. W niektórych przypadkach, urządzenie źródłowe 12 i urządzenie docelowe 14 mogą obejmować urządzenia do komunikacji bezprzewodowej, takie jak bezprzewodowe zestawy słuchawkowe, tak zwane radiotelefony komórkowe lub satelitarne, lub dowolne bezprzewodowe urządzenia, które mogą przesyłać informacje wideo za pośrednictwem

30 P3477PL kanału komunikacyjnego 16, w którym to przypadku kanał komunikacyjny 16 jest bezprzewodowy. [0044] Techniki według niniejszego wynalazku, które dotyczą kodowania i dekodowania jednostek przekształcenia, nie są jednak koniecznie ograniczone do bezprzewodowych zastosowań lub ustawień. Na przykład, techniki te mogą mieć zastosowanie w emisji telewizyjnej typu over-the-air, transmisjach telewizji kablowej, transmisjach telewizji satelitarnej, internetowych transmisjach wideo, zakodowanym cyfrowym wideo, które jest zakodowane na nośniku pamięci, lub w innych scenariuszach. W związku z powyższym, kanał komunikacyjny 16 może obejmować dowolną kombinację bezprzewodowych lub przewodowych nośników odpowiednich dla transmisji lub przechowywania zakodowanych danych wideo. [004] W przykładzie na FIG. 1, urządzenie źródłowe 12 zawiera źródło 18 wideo, koder wideo, modulator/demodulator (modem) 22 oraz nadajnik 24. Urządzenie docelowe 14 zawiera odbiornik 26, modem 28, dekoder wideo oraz urządzenie wyświetlające 32. Zgodnie z niniejszym dokumentem, koder wideo urządzenia źródłowego 12 może być skonfigurowany do stosowania technik kodowania i dekodowania jednostek przekształcenia według niniejszego wynalazku. W innych przykładach, urządzenie źródłowe i urządzenie docelowe mogą obejmować inne komponenty lub ustawienia. Na przykład, urządzenie źródłowe 12 może odbierać dane wideo z zewnętrznego źródła 18 wideo, takiego jak kamera zewnętrzna. Podobnie, urządzenie docelowe 14 może być połączone przez interfejs z zewnętrznym

31 P3477PL urządzeniem wyświetlającym, zamiast posiadania zintegrowanego urządzenia wyświetlającego. [0046] Zilustrowany system na FIG. 1 stanowi tylko jeden przykład. Techniki kodowania i dekodowania jednostek przekształcenia mogą być realizowane przez dowolne cyfrowe urządzenie do kodowania i/lub dekodowania wideo. Mimo że techniki według niniejszego wynalazku są zasadniczo realizowane przez urządzenie do kodowania wideo lub urządzenie do dekodowania wideo, to techniki mogą także być realizowane przez koder/dekoder wideo, określany zwykle jako CODEC. Urządzenie źródłowe 12 i urządzenie docelowe 14 stanowią tylko przykłady takich urządzeń do kodowania, przy czym urządzenie źródłowe 12 generuje zakodowane dane wideo dla transmisji do urządzenia docelowego 14. W niektórych przykładach, urządzenia 12, 14 mogą pracować w zasadniczo symetryczny sposób tak, że każde z urządzeń 12, 14 zawiera komponenty do kodowania i dekodowania wideo. Zatem, system może obsługiwać jednokierunkową lub dwukierunkową transmisję wideo między urządzeniami 12, 14 wideo, np. dla strumieniowania wideo, odtwarzania wideo, emisji wideo lub wideotelefonii. [0047] Źródło 18 wideo urządzenia źródłowego 12 może obejmować urządzenie do przechwytywania wideo, takie jak kamera wideo, archiwum wideo zawierające wcześniej przechwycone wideo i/lub zasoby wideo dostarczane od dostawcy treści wideo. Jako kolejna alternatywa, źródło 18 wideo może generować dane oparte na grafice komputerowej jako źródłowe wideo, lub kombinację wideo na żywo, zarchiwizowanego wideo i wideo generowanego

32 P3477PL komputerowo. W niektórych przypadkach, jeżeli źródło 18 wideo jest kamerą wideo, urządzenie źródłowe 12 i urządzenie docelowe 14 mogą tworzyć tak zwane kamerofony lub wideofony. Jednakże, jak wspomniano powyżej, techniki opisane w tym dokumencie mogą być stosowane zasadniczo w kodowaniu wideo, oraz mogą być wykorzystane w bezprzewodowych i/lub przewodowych zastosowaniach. W każdym przypadku, przechwycone, wcześniej przechwycone lub generowane komputerowo wideo może być zakodowane przez koder wideo. Informacje zakodowanego wideo mogą następnie być modulowane przez modem 22 zgodnie ze standardem komunikacji, oraz transmitowane do urządzenia docelowego 14 za pośrednictwem nadajnika 24. Modem 22 może zawierać różne mieszacze, filtry, wzmacniacze lub inne komponenty przeznaczone do modulacji sygnałów. Nadajnik 24 może zawierać układy przeznaczone do transmitowania danych, włącznie ze wzmacniaczami, filtrami oraz jedną lub większą liczbą anten. [0048] Odbiornik 26 urządzenia docelowego 14 odbiera informacje za pośrednictwem kanału 16, a modem 28 demoduluje informacje. Ponownie, proces kodowania wideo może implementować jedną lub większą liczbę technik opisanych w niniejszym dokumencie w celu kodowania i dekodowania jednostek przekształcenia. Informacje przesyłane za pośrednictwem kanału 16 mogą obejmować informacje składni definiowane przez koder wideo, które są także wykorzystywane przez dekoder wideo, które zawierają elementy składni opisujące charakterystyki i/lub przetwarzanie jednostek kodowania lub innych jednostek zakodowanych danych wideo, np.

33 P3477PL grup obrazów (GOP), wycinków typu slice, ramek, itp. Struktura danych drzewa czwórkowego CU może tworzyć część informacji składni dla największej jednostki kodowania. Oznacza to, że każda jednostka LCU może zawierać informacje składni w postaci drzewa czwórkowego CU, które może opisywać to, jak jednostka LCU jest podzielona na podjednostki CU, a także sygnalizować informacje o tym, jak jednostka LCU i podjednostki CU są kodowane. Podobnie, struktury danych drzewa czwórkowego TU mogą tworzyć część informacji składni dla jednostek-liści CU jednostki LCU, które mogą opisywać to, jak odpowiednie jednostki-liście CU są podzielone na jednostki TU. [0049] Dekoder wideo może wykorzystywać drzewo czwórkowe CU i drzewa czwórkowe TU do określania tego, jak dekodować jednostki CU odebranego obrazu, włącznie z jednostkami TU jednostek CU. Dekoder wideo może następnie dekodować jednostki CU i wysyłać dekodowane dane wideo do urządzenia wyświetlającego 32. Urządzenie wyświetlające 32 wyświetla dekodowane dane wideo użytkownikowi, i może obejmować dowolne spośród wielu urządzeń wyświetlających, takich jak lampa elektronopromieniowa (CRT), wyświetlacz ciekłokrystaliczny (LCU), wyświetlacz plazmowy, wyświetlacz z organicznymi diodami elektroluminescencyjnymi (OLED), lub dowolny inny typ urządzenia wyświetlającego. [000] W przykładzie na FIG. 1, kanał komunikacyjny 16 może obejmować dowolny bezprzewodowy lub przewodowy nośnik komunikacyjny, taki jak widmo częstotliwości radiowych (RF) albo jedna lub większa liczba fizycznych

34 P3477PL linii transmisyjnych, lub dowolna kombinacja bezprzewodowych i przewodowych nośników. Kanał komunikacyjny 16 może tworzyć część sieci pakietowej, takiej jak lokalna sieć komputerowa, rozległa sieć komputerowa, lub sieć globalna, taka jak sieć Internet. Kanał komunikacyjny 16 zasadniczo reprezentuje dowolny odpowiedni nośnik komunikacyjny, lub zbiór różnych nośników komunikacyjnych, do transmitowania danych wideo z urządzenia źródłowego 12 do urządzenia docelowego 14, włącznie z dowolną odpowiednią kombinacją nośników przewodowych lub bezprzewodowych. Kanał komunikacyjny 16 może zawierać routery, przełączniki, stacje bazowe lub dowolne inne wyposażenie, które może być użyteczne dla umożliwienia komunikacji z urządzenia źródłowego 12 do urządzenia docelowego 14. [001] Koder wideo i dekoder wideo mogą działać zgodnie ze standardem kompresji wideo, takim jak standard ITU-T H.264, określanym alternatywnie jako MPEG-4, Part, zaawansowane kodowanie wideo (AVC). Jako kolejny przykład, koder wideo i dekoder wideo mogą działać zgodnie ze standardem kodowania wideo o dużej wydajności (HEVC), i mogą być zgodne z Modelem Testowym HEVC (HM). Techniki według niniejszego wynalazku nie są jednak ograniczone do żadnego określonego standardu kodowania. Inne przykłady obejmują MPEG-2 oraz ITU-T H.263. Mimo że nie zostało to pokazane na FIG. 1, w niektórych aspektach, zarówno koder wideo, jak i dekoder wideo mogą być zintegrowane w koderze i dekoderze audio, i mogą zawierać odpowiednie jednostki MUX-DEMUX, lub inny

35 P3477PL sprzęt oraz oprogramowanie, w celu obsługi kodowania zarówno audio, jak i wideo we wspólnym strumieniu danych lub oddzielnych strumieniach danych. Jeżeli ma to zastosowanie, jednostki MUX-DEMUX mogą być zgodnie z protokołem multipleksera ITU H.223, lub innymi protokołami, takimi jak protokół datagramów użytkownika (UDP). [002] Standard ITU-T H.264/MPEG-4 (AVC) został sformułowany przez grupę ekspertów kodowania wideo (Video Coding Experts Group) (VCEG) ITU-T razem z grupą ekspertów obrazu ruchomego (Moving Picture Experts Group) (MPEG) ISO/IEC jako wynik zbiorowego partnerstwa znanego jako Joint Video Team (JVT). W niektórych aspektach, techniki opisane w tym dokumencie mogą być zastosowane względem urządzeń, które zasadniczo spełniają standard H.264. Standard H.264 jest opisany w Rekomendacji ITU-T H.264, zaawansowane kodowanie wideo dla ogólnych usług audiowizualnych (Advanced Video Coding for generic audiovisual services), opracowanej przez grupę ITU-T Study Group, z marca 0 r., który może być określany w niniejszym dokumencie jako standard H.264 lub specyfikacja H.264, albo standard lub specyfikacja H.264/AVC. Zespół Joint Video Team (JVT) kontynuuje prace nad rozszerzeniami H.264/MPEG-4 AVC. [003] Zarówno koder wideo, jak i dekoder wideo może być implementowany jako dowolny spośród wielu różnych odpowiednich układów kodera, takich jak jeden lub większa liczba mikroprocesorów, cyfrowych procesorów sygnałowych (DSP), układów scalone do specjalnych zastosowań (ASIC), bezpośrednio

36 P3477PL programowalnych macierzy bramek (FPGA), logiki dyskretnej, oprogramowania, sprzętu, oprogramowania układowego lub dowolne ich kombinacje. Gdy techniki są implementowane w oprogramowaniu, urządzenie może przechowywać instrukcje dla oprogramowania w odpowiednim, nieprzechodnim odczytywalnym komputerowo nośniku i wykonywać instrukcje z wykorzystaniem jednego lub większej liczby procesorów w celu realizacji technik zgodnie z niniejszym wynalazkiem. Każdy spośród kodera wideo i dekodera wideo może być zawarty w jednym lub większej liczbie koderów lub dekoderów, z których każdy może być zintegrowany jako część połączonego kodera/dekodera (CODEC) w odpowiedniej kamerze, komputerze, urządzeniu mobilnym, urządzeniu abonenta, urządzeniu nadawczym, przystawce typu set-top box, serwerze i temu podobnym. [004] Sekwencja wideo zawiera zwykle serię ramek wideo. Grupa obrazów (GOP) zasadniczo zawiera serię jednej lub większej liczby ramek wideo. Grupa GOP może zawierać dane składni w nagłówku grupy GOP, nagłówku jednej lub większej liczby ramek grupy GOP, lub gdziekolwiek indziej, które opisują liczbę ramek zawartych w grupie GOP. Każda ramka może zawierać dane składni ramki, które opisują tryb kodowania dla odpowiedniej ramki. Koder wideo działa zwykle na jednostkach kodowania w poszczególnych ramkach wideo w celu kodowania danych wideo. Jednostka kodowania może odpowiadać jednostce LCU lub podjednostce CU, a określenie jednostka CU może dotyczyć jednostki LCU lub podjednostki CU. Informacje nagłówka dla jednostki LCU mogą opisywać rozmiar jednostki LCU, liczbę

37 P3477PL określającą, ile razy jednostka LCU może być podzielona (określaną w niniejszym dokumencie jako głębokość jednostki CU), oraz inne informacje. Każda ramka wideo może zawierać wiele wycinków typu slice, a każdy wycinek typu slice może zawierać wiele jednostek LCU. [00] W niektórych przykładach predykcja może być wykonywana dla różnych rozmiarów jednostki CU. Rozmiar jednostki LCU może być zdefiniowany przez informacje składni. Zakładając, że rozmiar określonego węzłaliścia CU wynosi 2Nx2N, rozmiary predykcji wewnątrzobrazowej mogą wynosić 2Nx2N lub NxN, w niektórych przykładach, a symetryczne rozmiary predykcji międzyobrazowej mogą wynosić 2Nx2N, 2NxN, Nx2N lub NxN. W niektórych przykładach, asymetryczny podział może być wykorzystany dla predykcji międzyobrazowej z rozmiarami wynoszącymi 2NxnU, 2NxnD, nlx2n oraz nrx2n. W asymetrycznym podziale, jeden kierunek jednostki CU nie jest podzielony, natomiast inny kierunek jest podzielony na 2% oraz 7%. To, która część jednostki CU wynosi 2% podziału, jest wskazane przez n, po którym następuje wskazanie Góra ( Up ), Dół ( Down ), Lewo ( Left ) lub Prawo ( Right ). Zatem, na przykład, 2NxnU dotyczy jednostki 2Nx2N, która jest podzielona poziomo z jednostką PU.2Nx.N PU na górze i z jednostką PU 2Nx1.N na dole. [006] W niniejszym dokumencie, oznaczenia NxN oraz N na N mogą być wykorzystywane zamiennie w celu odniesienia się do wymiarów pikseli bloku (np. jednostki CU, PU lub TU) pod względem wymiarów pionowych i poziomych, np. 16x16 pikseli lub 16 na 16

38 P3477PL pikseli. Zasadniczo, blok 16x16 będzie miał 16 pikseli w kierunku pionowym (y = 16) oraz 16 pikseli w kierunku poziomym (x = 16). Podobnie, blok NxN ma zasadniczo N pikseli w kierunku pionowym oraz N pikseli w kierunku poziomym, przy czym N reprezentuje nieujemną wartość całkowitą. Piksele w bloku mogą być rozmieszczone w rzędach i kolumnach. Ponadto, bloki nie koniecznie muszą mieć tę samą liczbę pikseli w kierunku poziomym i w kierunku pionowym. Na przykład, bloki mogą zawierać NxM pikseli, gdzie M niekoniecznie jest równe N. [007] Jednostki PU jednostki CU mogą zawierać dane pikseli w dziedzinie przestrzennej (określanej także jako dziedzina pikseli), natomiast jednostki TU jednostki CU mogą być przekształcane w celu utworzenia współczynników w dziedzinie przekształcenia, np. po zastosowaniu przekształcenia, takiego jak dyskretna transformacja kosinusowa (DCT), transformacja całkowitoliczbowa, transformacja falkowa, lub koncepcyjnie podobne przekształcenie na resztkowe dane wideo. Dane resztkowe zasadniczo reprezentują różnice pikseli między wartościami jednostki PU i wartościami współlokowanych, niezakodowanych pikseli z wejściowych danych wideo. Współczynniki mogą ponadto być kwantyzowane. Można powiedzieć, że przekształcone współczynniki jednostki TU należą do dziedziny częstotliwości. [008] Koder wideo może implementować dowolne lub wszystkie spośród technik według niniejszego wynalazku w celu usprawnienia kodowania jednostek przekształcenia jednostki kodowania. Podobnie, dekoder wideo może implementować dowolne lub wszystkie te techniki w celu

39 P3477PL usprawnienia dekodowania jednostek przekształcenia jednostki kodowania. Zasadniczo, techniki według niniejszego wynalazku dotyczą przekształcania współczynników jednostek przekształcenia po obliczeniu współczynników na podstawie predykcji w trybie wewnątrzobrazowym. Jednakże, pewne aspekty według niniejszego wynalazku mogą także być implementowane w odniesieniu do kodowania predykcji międzyobrazowej. Dla celów przykładu, techniki te są opisane w odniesieniu do kodowania predykcji wewnątrzobrazowej jednostek TU. Należy rozumieć, że pewne aspekty tych technik mogą także być realizowane w połączeniu z kodowaniem predykcji międzyobrazowej. [009] Koder wideo może odbierać jednostkę LCU i określać, czy ma podzielić jednostkę LCU na cztery kwadranty, z których każdy zawiera podjednostkę CU, lub czy ma kodować jednostkę LCU bez dzielenia. Po decyzji o podzieleniu jednostki LCU na podjednostki CU, koder wideo może określać, czy ma podzielić każdą podjednostkę CU na cztery kwadranty, z których każdy zawiera podjednostkę CU. Koder wideo może kontynuować rekursywne określanie, czy ma podzielić jednostkę CU, przy maksymalnej liczbie podziałów wskazanej przez głębokość jednostki LCU. Koder wideo może zapewnić strukturę danych drzewa czwórkowego CU wskazującą podział jednostki LCU i podjednostek CU jednostki LCU. Jednostka LCU może odpowiadać węzłowikorzeniowi drzewa czwórkowego LCU. Każdy węzeł drzewa czwórkowego CU może odpowiadać jednostce CU jednostki LCU. Ponadto, każdy węzeł może zawierać wartość

40 P3477PL wskaźnika podziału wskazującą, czy odpowiednia jednostka CU jest podzielona. [0060] Jeżeli jednostka LCU jest podzielona, na przykład, koder wideo może ustawić wartość wskaźnika podziału w węźle-korzeniu w celu wskazania, że jednostka LCU jest podzielona. Następnie, koder wideo może ustawiać wartości węzłów potomnych węzłakorzenia w celu wskazania, które, jeżeli jakieś występują, spośród podjednostek CU jednostki LCU są podzielone. Jednostka CU, która nie jest podzielona, może odpowiadać węzłowi-liściowi struktury danych drzewa czwórkowego CU, przy czym węzeł-liść nie posiada żadnych węzłów potomnych. Ponadto, każdy węzeł-liść CU może zawierać jedną lub większą liczbę jednostek TU, wskazaną przez drzewo czwórkowe TU dla węzła-liścia CU. [0061] Koder wideo może zakodować każdą podjednostkę CU jednostki LCU odpowiadającą węzłowiliściowi w strukturze danych drzewa czwórkowego. Dla celów przykładu, w niniejszym dokumencie opisano techniki dotyczące kodowania predykcji wewnątrzobrazowej jednostek TU odpowiadających węzłowiliściowi CU. W kodowaniu trybu wewnątrzobrazowego, koder wideo może tworzyć jednostki predykcji (jednostki PU) dla każdej jednostki TU odpowiadającej węzłowi-liściowi w struktura danych drzewa czwórkowego TU. W niektórych przykładach, koder wideo może wybrać jeden z trzydziestu czterech różnych trybów predykcji wewnątrzobrazowej dla jednostki CU i sygnalizować wybrany tryb predykcji wewnątrzobrazowej w węźle-korzeniu drzewa czwórkowego TU. Rozpoczynając od pierwszej, największej jednostki TU (o rozmiarze równym

41 P3477PL węzłowi-liściowi CU w drzewie czwórkowym CU), koder wideo może określać, czy ma podzielić największą jednostkę TU, oraz, w sposób rekursywny, czy ma podzielić podjednostki TU macierzystej jednostki TU. Koder wideo może ponadto sygnalizować tryb predykcji wewnątrzobrazowej w drzewie czwórkowym węzła-liścia CU dla jednostki CU zawierającym drzewo czwórkowe TU, przy czym sygnalizowany tryb predykcji wewnątrzobrazowej może opisywać tryb predykcji wewnątrzobrazowej do wykorzystania do obliczania przewidywanych wartości dla każdej z jednostek TU w drzewie czwórkowym TU odpowiadającym jednostce CU. Koder wideo odzyskuje dane predykcji dla jednostek TU z sąsiednich, wcześniej zakodowanych danych wideo, zgodnie z wybranym trybem predykcji wewnątrzobrazowej. W ten sposób, jednostki PU jednostki CU przewidywane z wykorzystaniem trybu predykcji wewnątrzobrazowej mają taki sam rozmiar jak jednostki TU jednostki CU. [0062] Zgodnie z technikami według niniejszego wynalazku, jeżeli wybrany tryb predykcji wewnątrzobrazowej nie jest dostępny dla bieżącej jednostki CU, np. ze względu na swój rozmiar, koder wideo może wybrać tryb predykcji wewnątrzobrazowej, na który odwzorowany jest tryb sygnalizowany w korzeniu drzewa czwórkowego. Oznacza to, że koder wideo może zawierać informacje, które odwzorowują każdy z trybów dużego zestawu trybów na tryby mniejszego zestawu, np. podzestawu dużego zestawu, ze zgodnością typu wiele do jednego. Koder wideo może następnie przewidywać wewnątrzobrazowo jedną lub większą liczbę jednostek PU dla jednostki CU z wykorzystaniem trybu predykcji

42 P3477PL wewnątrzobrazowej z mniejszego zestawu. W ten sposób, koder wideo musi sygnalizować jedynie jeden tryb predykcji wewnątrzobrazowej dla jednostki LCU, mimo że koder wideo może wykorzystywać wiele trybów dla przywidywania wewnątrzobrazowego podjednostek CU jednostki LCU bez wyraźnego sygnalizowania każdego z trybów i podjednostek CU, dla których tryby są wykorzystywane. Zatem, wiele trybów predykcji wewnątrzobrazowej może być wykorzystanych bez zwiększania ilości informacji zawartych w strumieniu bitów, redukując w ten sposób narzut. W innym przykładzie wykonania, może być dopuszczalna większa liczba kierunków predykcji na poziomie jednostki CU, aby umożliwić wykorzystanie tego samego trybu predykcji wewnątrzobrazowej dla jednostki LCU niezależnie od rozmiarów podjednostek CU lub rozmiarów jednostek PU. [0063] Koder wideo może ponadto być skonfigurowany z trybami predykcji w oparciu o brzeg dla przewidywania jednostek TU w jednostce CU, w których koder wideo określa występowanie brzegu. Zasadniczo, brzeg odpowiada zmianie wysokiej częstotliwości wzdłuż względnie prostej linii przez jednostkę TU. Na przykład, brzeg może wystąpić wzdłuż granicy obiektu reprezentowanego w jednostce TU w kontraście do tła także reprezentowanego w jednostce TU. W celu wykrycia brzegu w jednostce TU, koder wideo może obliczać gradienty dla pikseli w jednostce TU i określać, czy gradienty identyfikują linię przez jednostkę TU. Po określeniu, że bieżąca jednostka TU zawiera brzeg, koder wideo może określać, czy ma wykorzystać tryb predykcji w oparciu o brzeg. Jeżeli

43 P3477PL taki brzeg jest wykryty, i gdy wybrany jest tryb predykcji w oparciu o brzeg, koder wideo może sygnalizować wykorzystanie trybu predykcji w oparciu o brzeg z użyciem wartości, która w innym przypadku wskazywałaby wykorzystanie trybu predykcji DC. Oznacza to, że po wykrywaniu obecności brzegu w bieżącym bloku, koder wideo może wybrać tryb predykcji wewnątrzobrazowej z zestawu zawierającego tryb predykcji w oparciu o brzeg oraz inne tryby predykcji kierunkowej (ale z wyłączeniem trybu DC), a gdy wybrany jest tryb predykcji w oparciu o brzeg, może sygnalizować wykorzystanie trybu predykcji w oparciu o brzeg tak jakby sygnalizował wykorzystanie trybu predykcji DC. [0064] Po kodowaniu predykcyjnym wewnątrzobrazowym lub predykcyjnym międzyobrazowym w celu utworzenia przewidywanych danych dla jednostki TU jednostki CU, koder wideo może obliczać dane resztkowe, zawierające współczynniki jednostek TU reprezentatywne dla różnic piksel po pikselu między przewidywanymi danymi i oryginalnymi danymi dla jednostki TU. Koder wideo może tworzyć w ten sposób jedną lub większą liczbę jednostek TU zawierających dane resztkowe dla jednostki CU. Koder wideo może następnie przekształcać jednostki TU. Zgodnie z technikami według niniejszego wynalazku, koder wideo może wybrać przekształcenie do zastosowania względem jednostki TU na podstawie trybu predykcji wewnątrzobrazowej wykorzystywanego do przewidywania w trybie wewnątrzobrazowym danych dla jednostki TU.

44 P3477PL [006] W niektórych przykładach, koder wideo może zawierać dane konfiguracji, które zapewniają odwzorowanie typu wiele do jednego między dużym zestawem trybów predykcji wewnątrzobrazowej, oraz mniejszym zestawem trybów predykcji wewnątrzobrazowej. Na przykład, koder wideo może zawierać dane konfiguracji, które zapewniają odwzorowanie między 34 trybami predykcji wewnątrzobrazowej modelu HM i dziewięcioma trybami predykcji wewnątrzobrazowej standardu H.264. Ponadto, koder wideo może zawierać dane konfiguracji, które zapewniają odwzorowanie między mniejszym zestawem trybów predykcji wewnątrzobrazowej oraz przekształceniami kierunkowymi. Zestaw przekształceń kierunkowych może mieć taki sam rozmiar jak mniejszy zestaw trybów predykcji wewnątrzobrazowej tak, że występuje odwzorowanie typu jeden do jednego między mniejszym zestawem trybów predykcji wewnątrzobrazowej oraz zestawem przekształceń kierunkowych. W ten sposób, dane konfiguracji dla kodera wideo mogą zapewnić niebezpośrednie odwzorowanie typu wiele do jednego między dużym zestawem trybów predykcji wewnątrzobrazowej oraz zestawem przekształceń kierunkowych. Alternatywnie, w niektórych przykładach, może występować odwzorowanie typu jeden do jednego dużego zestawu przekształceń kierunkowych na duży zestaw przekształceń kierunkowych lub innych zaprojektowanych przekształceń, takich jak dyskretna transformacja kosinusowa, dyskretna transformacja sinusowa, lub inne koncepcyjnie zbliżone przekształcenia. W dowolnym przypadku, wykorzystując odwzorowanie, koder wideo może wybrać

45 P3477PL przekształcenie dla każdej jednostki TU na podstawie trybu predykcji wewnątrzobrazowej wybranego dla jednostki CU zawierającej jednostkę TU. [0066] W niektórych przykładach, może występować wiele możliwych przekształceń kierunkowych dla jednostki TU o określonym rozmiarze. W niektórych przykładach, koder wideo może sygnalizować wybrany tryb predykcji wewnątrzobrazowej (np. wybrany kierunek predykcji wewnątrzobrazowej) w korzeniu struktury danych drzewa czwórkowego TU odpowiadającym jednostce CU (to znaczy węzłowi-liściowi CU w drzewie czwórkowym CU), a wybrany tryb predykcji wewnątrzobrazowej może być stosowany względem wszystkich jednostek TU jednostki CU. Jeżeli wszystkie jednostki TU w jednostce CU mają rozmiary, dla których tylko jedno przekształcenie jest możliwe, to wtedy koder wideo może postępować zgodnie z powyższym przykładem, w którym przekształcenie może być wyznaczone z sygnalizowanego trybu predykcji wewnątrzobrazowej dla jednostki LCU. Jeżeli jednak co najmniej jedna jednostka TU w jednostce CU ma rozmiar, dla którego możliwych jest wiele przekształceń, to wtedy koder wideo może wybrać jedno z możliwych przekształceń i sygnalizować wybrane przekształcenie w węźle-korzeniu drzewa czwórkowego TU. W związku w powyższym, koder wideo może wykorzystywać sygnalizowane przekształcenie do przekształcania każdej jednostki TU w jednostce CU mającej rozmiar powiązany z wieloma możliwymi przekształceniami. W ten sposób, koder wideo może wyraźnie sygnalizować przekształcenie, bez nadmiernego wykorzystywania dodatkowej szerokości pasma.

46 P3477PL [0067] W niektórych przykładach, gdy koder wideo stosuje tryb predykcji wewnątrzobrazowej w oparciu o brzeg do przewidywania wartości dla jednostki TU, koder wideo może wybrać przekształcenie do zastosowania względem jednostki TU na podstawie kąta brzegu. Jak omówiono powyżej, koder wideo może określać, że brzeg występuje w bieżącej jednostce TU na podstawie wykrywania brzegu w sąsiedniej jednostce TU, która współdzieli granicę z bieżącą jednostką TU. Zgodnie z technikami według niniejszego wynalazku, koder wideo może obliczać względny kąt brzegu i wykorzystywać kąt brzegu do wybrania przekształcenia kierunkowego, w sposób podobny do wybierania przekształcenia kierunkowego dla trybu predykcji wewnątrzobrazowej. Na przykład, koder wideo może porównywać kąt brzegu z kątami dla trybów kierunkowej predykcji wewnątrzobrazowej, określać tryb kierunkowej predykcji wewnątrzobrazowej mający kąt, który jest najbliższy kątowi brzegu, a następnie przekształcać jednostkę TU przewidywaną w trybie predykcji w oparciu o brzeg z wykorzystaniem przekształcenia, które jest odwzorowane na określony tryb predykcji wewnątrzobrazowej. [0068] W niektórych przykładach, koder wideo może być skonfigurowany do stosowania więcej niż jednego przekształcenia względem jednostki TU, co w niniejszym dokumencie określa się jako przekształcenie kaskadowe. Na przykład, pierwsze przekształcenie może odpowiadać dyskretnej transformacji kosinusowej (DCT) lub przekształceniu Karhunen-Loève (KLT), także zasadniczo określanych jako przekształcenie kierunkowe. Gdy przekształcenie kierunkowe jest wybrane na podstawie

47 P3477PL trybu predykcji wewnątrzobrazowej odwzorowanego na przekształcenie kierunkowe, przekształcenie może być określane jako zależne od trybu przekształcenie kierunkowe (MDDT). Niniejszy dokument dotyczy także przekształcenia wybranego na podstawie trybu predykcji wewnątrzobrazowej jako przekształcenia zaprojektowanego, które może obejmować przekształcenia kierunkowe, dyskretną transformację kosinusową, dyskretną transformację sinusową lub inne koncepcyjnie zbliżone przekształcenia wybrane specjalnie dla trybu predykcji. [0069] Drugie przekształcenie może odpowiadać przekształceniu rotacyjnemu. W niektórych przykładach, koder wideo może być skonfigurowany z wieloma przekształceniami rotacyjnymi. W niektórych przykładach, koder wideo może wybrać jedno z przekształceń rotacyjnych do zastosowania poprzez obliczanie kosztów zmiany szybkości dla każdego z przekształceń rotacyjnych. Koder wideo może być skonfigurowany do stosowania przekształcenia rotacyjnego względem mniejszej liczby współczynników niż pierwsze przekształcenie. Zgodnie z technikami według niniejszego wynalazku, koder wideo może zawierać dane konfiguracji dla zależnych od trybu przekształceń rotacyjnych (MDROT), włącznie z macierzą przekształcenia kolumn i macierzą przekształcenia rzędów. Tryby predykcji wewnątrzobrazowej mogą być odwzorowane zarówno na pierwsze przekształcenia, np. jedno z przekształceń MDDT, jak również na jedno z przekształceń rotacyjnych, np. jedno z przekształceń MDROT. Zatem, sygnalizowany tryb predykcji

48 P3477PL wewnątrzobrazowej dla jednostki CU może także zapewnić wskazanie pierwszego przekształcenia do zastosowania względem jednostki TU jednostki LCU oraz drugiego przekształcenia do zastosowania względem jednostki TU. Mimo że przekształcenia MDROT są opisane jako przykłady, należy rozumieć, że drugie przekształcenie może obejmować inne przekształcenia, takie jak przekształcenia kierunkowe. [0070] Poprzez przekształcanie współczynników jednostki TU, koder wideo tworzy macierz współczynników przekształcenia. Ta macierz ma taki sam rozmiar jak jednostka TU. Zasadniczo, proces przekształcenia przygotowuje dane resztkowe dla kwantyzacji, która dodatkowo kompresuje dane. Kwantyzacja zasadniczo odnosi się do procesu, w którym współczynniki przekształcenia są kwantyzowane, aby możliwie zredukować ilość danych wykorzystywaną do reprezentowania współczynników. Proces kwantyzacji może redukować głębokość bitową powiązaną z niektórymi lub wszystkimi współczynnikami. Na przykład, n-bitowa wartość może być zaokrąglona w dół do m-bitowej wartości podczas kwantyzacji, gdzie n jest większe niż m. [0071] W niektórych przykładach, koder wideo może wykorzystywać wcześniej określoną kolejność skanowania do skanowania kwantyzowanych współczynników przekształcenia w celu utworzenia wektora, który może być kodowany entropijnie. Na przykład, po konwencjonalnym przekształceniu lub zależnym od trybu przekształceniu, koder wideo może być skonfigurowany do stosowania skanowania typu zig-zag. Koder wideo

49 P3477PL może także być skonfigurowany do stosowania skanowania na podstawie trybu predykcji wewnątrzobrazowej i/lub jednego lub większej liczby przekształceń stosowanych względem bloku. W niektórych przykładach, koder wideo może przeprowadzać adaptacyjne skanowanie następujące po transformacji i kwantyzacji współczynników jednostki TU. W niektórych przykładach, koder wideo może zawierać dane konfiguracji definiujące różne schematy skanowania dla każdego możliwego schematu przekształcenia. Na przykład, koder wideo może zawierać dane konfiguracji zawierające odwzorowanie typu jeden do jednego między zestawem przekształceń kierunkowych i zestawem wcześniej określonych wzorców skanowania. Wzorce skanowania mogą być zdefiniowanie na podstawie empirycznego testowania skanowań następujących po określonym przekształceniu kierunkowym, w celu zoptymalizowania usytuowania współczynników przekształcenia w wektorze po odpowiednim przekształceniu kierunkowym. Alternatywnie, koder wideo może zawierać dane konfiguracji definiujące indeksy skanowania, na które tryby predykcji wewnątrzobrazowej (lub schematy przekształceń) mogą być odwzorowane, przy czym indeksy skanowania mogą wskazywać albo wcześniej określone skanowania albo adaptacyjne skanowania. [0072] Zgodnie z powyższym, każde przekształcenie kierunkowe może mieć powiązany wzorzec skanowania, który jest relatywnie zoptymalizowany dla tego przekształcenia kierunkowego, na podstawie testowania empirycznego. Jak wskazano powyżej, koder wideo nie musi sygnalizować przekształcenia kierunkowego lub

50 P3477PL wzorca skanowania wykorzystywanego dla określonej jednostki TU, zakładając, że występuje odwzorowanie między trybem predykcji wewnątrzobrazowej sygnalizowanym w drzewie czwórkowym TU dla jednostki CU zawierającej jednostkę TU oraz przekształceniem kierunkowym i wzorcem skanowania. W różnych przykładach, wzorce skanowania mogą być zależne od wybranego pierwszego przekształcenia (np. DCT lub MDDT), wybranego drugiego przekształcenia (np. MDROT, DCT lub inne drugorzędne przekształcenie rozłączne) lub kombinacji obu. W niektórych przykładach, jedno z dwóch przekształceń kaskadowych może zawierać zaprojektowane przekształcenie stosowane w określonym kierunku (np. poziomym lub pionowym), a koder wideo może wybrać kolejność skanowania zasadniczo odpowiadającą temu samemu kierunkowi lub kierunkowi prostopadłemu, na podstawie danych konfiguracji. [0073] W przykładach, w których koder wideo stosuje kaskadowe przekształcenie względem jednostki TU, koder wideo może adaptacyjnie skanować współczynniki będące wynikiem przekształcenia kaskadowego. W celu przeprowadzenia adaptacyjnego skanowania, koder wideo może zasadniczo śledzić statystyki wskazujące, czy jest mniej lub bardziej prawdopodobne, że określona pozycja w macierzy współczynników przekształceń będzie istotna (np. niezerowa). Koder wideo może dostosować wzorzec skanowania w czasie tak, że wzorzec skanowania odpowiada tym statystycznym prawdopodobieństwom. Oznacza to, że wzorzec adaptacyjnego skanowania może dążyć do zapewnienia, aby współczynniki

51 P3477PL przekształcenia, mające względnie większe prawdopodobieństwo, że będą istotne (np. niezerowe), były skanowane przed współczynnikami przekształcenia mającymi względnie mniejsze prawdopodobieństwo, że będą istotne. Alternatywnie, koder wideo może wybrać indeks skanowania, na który kaskadowe przekształcenie jest odwzorowane. [0074] Koder wideo może oddzielnie śledzić statystyki skanowania dla każdej możliwego przekształcenia kaskadowego. Na przykład, prawdopodobieństwo związane z określoną lokalizacją współczynnika w macierzy przekształcenia może się różnić na podstawie pierwszego i drugiego przekształcenia zastosowanych podczas przekształcenia kaskadowego. Zatem, koder wideo może śledzić oddzielne, niezależne zestawy statystyk dla każdego możliwego przekształcenia kaskadowego. Jako przykład, przyjmując, że tryby predykcji wewnątrzobrazowej są odwzorowane zarówno na przekształcenie MDDT, jak i na przekształcenie MDROT (lub inne drugorzędne przekształcenie rozłączne), koder wideo może śledzić niezależne statystyki dla każdej kombinacji przekształcenia MDDT i przekształcenia MDROT (lub inne drugorzędnego przekształcenie) stosowanej względem jednostek TU. Jako kolejny przykład, koder wideo może być skonfigurowany do wykonywania kaskadowego przekształcenia tylko wtedy, gdy koder wideo stosuje transformację DCT względem jednostki TU. Zatem, koder wideo może wykonywać adaptacyjne skanowanie i śledzić niezależne statystyki dla wykonywania adaptacyjnego skanowania, na podstawie wybranego

52 P3477PL przekształcenia MDROT (lub innego drugorzędnego przekształcenia rozłącznego) dla jednostki TU, stosowanego po transformacji DCT. [007] W niektórych przykładach, czy to z wykorzystaniem adaptacyjnego skanowania, czy z góry określonego skanowania, koder wideo może zerować współczynniki w tablicy po skanowaniu. Oznacza to, że koder wideo może ustawiać wartości, dla współczynników w pozycjach od N do końca tablicy, równe zero. Wartość N może dotyczyć rozmiaru jednostki CU i/lub rozmiaru jednostki TU. W niektórych przykładach, koder wideo może zerować współczynniki przekształcenia w macierzy przed wykonaniem skanowania, np. wszystkie współczynniki w macierzy inne niż współczynniki w górnym lewym rogu macierzy. [0076] Po skanowaniu macierzy przekształcenia w celu utworzenia jednowymiarowego wektora, koder wideo może kodować entropijnie jednowymiarowy wektor, np. zgodnie z kodowaniem typu content adaptive variable length coding (CAVLC), kodowaniem typu context adaptive binary arithmetic coding (CABAC), kodowaniem typu syntax-based context-adaptive binary arithmetic coding (SBAC) lub inną metodą kodowania entropijnego. [0077] W celu realizacji kodowania CAVLC, koder wideo może wybrać kod o zmiennej długości dla symbolu, który ma być transmitowany. Słowa kodowe w kodzie VLC mogą być zbudowane tak, że względnie krótsze kody odpowiadają bardziej prawdopodobnym symbolom, natomiast dłuższe kody odpowiadają mniej prawdopodobnym symbolom. W ten sposób, przy wykorzystaniu kodu VLC można uzyskać oszczędność bitów w porównaniu do, na przykład,

53 P3477PL wykorzystania słów kodowych o jednakowej długości dla każdego symbolu, który ma być transmitowany. [0078] W celu realizacji kodowania CABAC, koder wideo może wybrać model kontekstowy do zastosowania w określonym kontekście w celu zakodowania symboli, które mają być transmitowane. Kontekst może dotyczyć, na przykład, tego, czy sąsiednie wartości są niezerowe, czy nie. Koder wideo może także kodować entropijnie elementy składni, takie jak wskaźnik istotnego współczynnika i wskaźnik ostatniego współczynnika utworzone podczas wykonywania adaptacyjnego skanowania. Zgodnie z technikami według niniejszego wynalazku, koder wideo może wybrać model kontekstowy wykorzystywany do kodowania tych elementów składni na podstawie, na przykład, kierunku predykcji wewnątrzobrazowej, pozycji skanowania współczynnika odpowiadającej elementom składni, typu bloku i/lub typu przekształcenia, wśród innych czynników wykorzystywanych do wyboru modelu kontekstowego. [0079] Dekoder wideo może działać w sposób zasadniczo symetryczny do działania kodera wideo. Na przykład, dekoder wideo może odbierać kodowane entropijnie dane reprezentatywne dla zakodowanej jednostki CU, zawierające dane zakodowanej jednostki TU. Te odebrane dane mogą zawierać informacje wskazujące tryb predykcji wewnątrzobrazowej wykorzystywany do kodowania danych jednostki PU, zakładając, że jednostka CU została zakodowana z wykorzystaniem predykcji wewnątrzobrazowej. Dekoder wideo może dokonywać odwrotnego kodowania entropijnego odebranych danych, tworząc zakodowane współczynniki

54 P3477PL00 2 kwantyzacji. Gdy koder wideo koduje entropijnie dane z wykorzystaniem algorytmu kodu o zmiennej długości, dekoder wideo może wykorzystywać jedną lub większa liczbę tabel VLC do określania symbolu odpowiadającego odebranemu słowu kodowemu. Gdy koder wideo koduje entropijnie dane z wykorzystaniem algorytmu kodowania arytmetycznego, dekoder wideo może wykorzystywać model kontekstowy do dekodowania danych, który może odpowiadać temu samemu modelowi kontekstowemu wykorzystywanemu przez koder wideo do kodowania danych. [0080] Dekoder wideo może następnie skanować odwrotnie dekodowane współczynniki, z wykorzystaniem skanowania odwrotnego, które stanowi odbicie lustrzane skanowania wykorzystywanego przez koder wideo. W celu dokonania odwrotnego adaptacyjnego skanowania współczynników, dekoder wideo może dekodować elementy składni zawierające wskaźniki istotnego współczynnika i wskaźniki ostatniego współczynnika w celu regenerowania statystyk wykorzystywanych przez koder wideo, aby przeprowadzić adaptacyjne skanowanie. Dekoder wideo może w ten sposób utworzyć macierz dwuwymiarową, z jednowymiarowego wektora wynikającego z procesu dekodowanie entropijnego. [0081] Następnie, dekoder wideo może kwantyzować odwrotnie współczynniki w macierzy dwuwymiarowej utworzonej przez skanowanie odwrotne. Dekoder wideo może następnie stosować jedno lub większą liczbę przekształceń odwrotnych względem macierzy dwuwymiarowej. Przekształcenia odwrotne mogą odpowiadać przekształceniom stosowanym przez koder wideo.

55 P3477PL Dekoder wideo może określać przekształcenia odwrotne do zastosowania na podstawie, na przykład, trybu predykcji wewnątrzobrazowej wykorzystywanego do obliczania współczynników dla jednostki TU, oraz jeżeli dostępnych jest wiele przekształceń dla jednostki TU o określonym rozmiarze, informacji sygnalizowanych w korzeniu drzewa czwórkowego TU odpowiadającego jednostce CU zawierającej jednostkę TU aktualnie podlegającą dekodowaniu. W ten sposób, dekoder wideo może wybrać jedno lub większą liczbę przekształceń odwrotnych do zastosowania względem odwrotnie kwantyzowanych współczynników dla jednostki TU w celu odtworzenia jednostki TU, na podstawie trybu predykcji wewnątrzobrazowej sygnalizowanego dla jednostki TU. Ponadto, dekoder wideo może obliczać przewidywaną wartość dla jednostki TU z wykorzystaniem trybu predykcji wewnątrzobrazowej odpowiadającego sygnalizowanemu wskazaniu trybu predykcji wewnątrzobrazowej, np. w drzewie czwórkowym TU. W niektórych przykładach, dekoder wideo może określać, że w jednostce TU występuje brzeg, na podstawie brzegu wykrytego w sąsiedniej jednostce TU, oraz, gdy sygnalizowany jest tryb DC, wykorzystywać w zamian tryb w oparciu o brzeg do przewidywania wartości dla jednostki TU. [0082] Zarówno koder wideo, jak i dekoder wideo może być implementowany jako dowolny spośród wielu różnych odpowiednich układów kodera lub dekodera, według zastosowania, takich jak jeden lub większa liczba spośród: mikroprocesorów, cyfrowych procesorów sygnałowych (DSP), układów scalonych do specjalnych

56 P3477PL zastosowań (ASIC), bezpośrednio programowalnych macierzy bramek (FPGA), układu logiki dyskretnej, oprogramowania, sprzętu, oprogramowania układowego lub dowolne ich kombinacje. Każdy spośród kodera wideo i dekodera wideo może być zawarty w jednym lub większej liczbie koderów lub dekoderów, z których dowolny może być zintegrowany jako część połączonego kodera/dekodera wideo (CODEC). Urządzenie zawierające koder wideo i/lub dekoder wideo może zawierać układ scalony, mikroprocesor i/lub bezprzewodowe urządzenie komunikacyjne, takie jak telefon komórkowy. [0083] FIG. 2 przedstawia schemat blokowy ilustrujący przykład kodera wideo, który może implementować dowolne lub wszystkie spośród technik kodowania jednostek przekształcenia danych wideo opisanych w tym dokumencie. Koder wideo może wykonywać kodowanie wewnątrzobrazowe i kodowanie międzyobrazowe jednostek CU wewnątrz ramek wideo. Kodowanie wewnątrzobrazowe polega na predykcji przestrzennej w celu zredukowania lub usunięcia przestrzennej redundancji w wideo wewnątrz danej ramki wideo. Kodowanie międzyobrazowe polega na predykcji czasowej w celu zredukowania lub usunięcia czasowej redundancji między bieżącą ramką i wcześniej zakodowanymi ramkami sekwencji wideo. Tryb wewnątrzobrazowy (I-mode) może odnosić się do dowolnego z kilku przestrzennych trybów kompresji, a tryby międzyobrazowe, takie jak jednostkowa predykcja kierunkowa (P-mode) lub predykcja dwukierunkowa (Bmode) mogą odnosić się do dowolnego z kilku czasowych trybów kompresji.

57 P3477PL [0084] Jak pokazano na FIG. 2, koder wideo odbiera bieżący blok wideo wewnątrz ramki wideo do zakodowania. W przykładzie na FIG. 2, koder wideo zawiera jednostkę 44 kompensacji ruchu, jednostkę 42 oszacowania ruchu, jednostkę 46 predykcji wewnątrzobrazowej, pamięć 64 ramek odniesienia, sumator 0, jednostkę 2 przekształcenia, jednostkę 4 kwantyzacji oraz jednostkę 6 kodowania entropijnego. Jednostka 2 przekształcenia zilustrowana na FIG. 2 jest jednostką, która wykonuje rzeczywistą transformację, przy czym nie należy jej mylić z jednostką TU, jednostki CU. Dla zrekonstruowania bloku wideo, koder wideo zawiera także jednostkę 8 kwantyzacji odwrotnej, jednostkę 60 przekształcenia odwrotnego oraz sumator 62. Dodatkowo, koder wideo może zawierać dane konfiguracji, takie jak dane 66 odwzorowania. Może być także zawarty filtr deblokujący (nie przedstawiono na FIG. 2) do filtrowania granic bloków w celu usunięcia artefaktów związanych z blokami ze zrekonstruowanego wideo. Jeżeli jest to pożądane, filtr deblokujący zwykle mógłby filtrować wyjście z sumatora 62. [008] Podczas procesu kodowania, koder wideo odbiera ramkę wideo lub wycinek typu slice do zakodowania. Ramka lub wycinek typu slice może być podzielony na wiele bloków wideo, np. największe jednostki kodowania (jednostki LCU). Jednostka 42 oszacowania ruchu i jednostka 44 kompensacji ruchu wykonują kodowanie predykcyjne międzyobrazowe odebranego bloku wideo względem jednego lub większej liczby bloków w jednej lub większej liczbie ramek

58 P3477PL odniesienia w celu zapewnienia kompresji czasowej. Jednostka 46 predykcji wewnątrzobrazowej może wykonywać kodowanie predykcyjne wewnątrzobrazowe odebranego bloku wideo względem jednego lub większej liczby sąsiednich bloków w tej samej ramce lub wycinku typu slice jako bloku, który ma być zakodowany, w celu zapewnienia kompresji przestrzennej. [0086] Jednostka 40 wyboru trybu może wybrać jeden z trybów kodowania, węwnątrzobrazowego lub międzyobrazowego, np. na podstawie wyników błędów (określanych czasem jako zniekształcenie), i dostarcza wynikowy blok kodowany międzyobrazowo lub wewnątrzobrazowo do sumatora 0 w celu generowania bloku danych resztkowych oraz do sumatora 62 w celu zrekonstruowania zakodowanego bloku dla wykorzystania w ramce odniesienia. Niektóre ramki wideo mogą być wyznaczonymi I-ramkami, przy czym wszystkie bloki w I- ramce są kodowane w trybie predykcji wewnątrzobrazowej. W niektórych przypadkach, jednostka 46 predykcji wewnątrzobrazowej może wykonywać kodowanie predykcji wewnątrzobrazowej bloku w P-ramce lub B-ramce, np. gdy wyszukiwanie ruchu wykonywane przez jednostkę 42 oszacowania ruchu nie daje w rezultacie wystarczającej predykcji bloku. [0087] Jednostka 42 oszacowania ruchu i jednostka 44 kompensacji ruchu mogą być w dużym stopniu zintegrowane, ale są zilustrowane oddzielnie dla celów koncepcyjnych. Oszacowanie ruchu stanowi proces generowania wektorów ruchu, które oszacowują ruch dla bloków wideo. Wektor ruchu może, na przykład, wskazywać przemieszczenie jednostki predykcji w bieżącej ramce

59 P3477PL względem próbki odniesienia ramki odniesienia. Próbka odniesienia stanowi blok, który okazuje się być najlepiej pasujący do części jednostki CU zawierającej jednostkę PU podlegającą kodowaniu pod względem różnicy pikseli, która może być określona przez sumę różnic bezwzględnych (SAD), sumę kwadratów różnic (SSD) lub inne miary różnic. Kompensacja ruchu, wykonywana przez jednostkę 44 kompensacji ruchu, może obejmować pobieranie lub generowanie wartości dla jednostki predykcji na podstawie wektora ruchu określonego przez oszacowanie ruchu. Ponownie, w niektórych przykładach, jednostka 42 oszacowania ruchu i jednostka 44 kompensacji ruchu mogą być funkcjonalnie zintegrowane. [0088] Jednostka 42 oszacowania ruchu oblicza wektor ruchu dla jednostki predykcji ramki kodowanej międzyobrazowo przez porównywanie jednostki predykcji z próbkami odniesienia ramki odniesienia zapisanej w pamięci 64 ramek odniesienia. W niektórych przykładach, koder wideo może obliczać wartości dla pozycji cząstkowych pikseli ramek odniesienia zapisanych w pamięci 64 ramek odniesienia. Na przykład, koder wideo może obliczać wartości pozycji jednej czwartej piksela, pozycji jednej ósmej piksela lub innych pozycji cząstkowych pikseli ramki odniesienia. Zatem, jednostka 42 oszacowania ruchu może wykonywać poszukiwanie ruchu względem pozycji pełnych pikseli i pozycji cząstkowych pikseli i dostarczać wektor ruchu z precyzją cząstkową pikseli. Jednostka 42 oszacowania ruchu wysyła obliczony wektor ruchu do jednostki 6 kodowania entropijnego i jednostki 44 kompensacji ruchu. Część ramki odniesienia identyfikowana przez

60 P3477PL wektor ruchu może być określana jako próbka odniesienia. Jednostka 44 kompensacji ruchu może obliczać wartość predykcji dla jednostki predykcji bieżącej jednostki CU, np. przez pozyskiwanie próbki odniesienia identyfikowanej przez wektor ruchu dla jednostki PU. [0089] Jednostka 46 predykcji wewnątrzobrazowej może kodować, wykorzystując predykcję wewnątrzobrazową, odebrany blok, co stanowi alternatywę dla predykcji międzyobrazowej wykonywanej przez jednostkę 42 oszacowania ruchu i jednostkę 44 kompensacji ruchu. Jednostka 46 predykcji wewnątrzobrazowej może zakodować odebrany blok w odniesieniu do sąsiednich, wcześniej zakodowanych bloków, np. bloków powyżej, powyżej na prawo, powyżej na lewo, lub na lewo względem bieżącego bloku, przyjmując kolejność kodowania od lewej do prawej, z góry na dół dla bloków (taką jak rastrowa kolejność skanowania). Jednostka 46 predykcji wewnątrzobrazowej może być skonfigurowana z wieloma różnymi trybami predykcji wewnątrzobrazowej. Na przykład, jednostka 46 predykcji wewnątrzobrazowej może być skonfigurowana z określoną liczbą trybów predykcji kierunkowej, np. z 34 trybami predykcji kierunkowej, na podstawie rozmiaru jednostki CU podlegającej kodowaniu. [0090] Jednostka 46 predykcji wewnątrzobrazowej może wybrać tryb predykcji wewnątrzobrazowej poprzez, na przykład, obliczanie wartości błędu dla różnych trybów predykcji wewnątrzobrazowej i wybieranie trybu, który uzyskuje najmniejszą wartość błędu. Tryby predykcji kierunkowej mogą zawierać funkcje do łączenia wartości przestrzennie sąsiednich pikseli oraz stosowania

61 P3477PL połączonych wartości w jednej lub większej liczbie pozycji pikseli w jednostce PU. Po obliczeniu wartości dla wszystkich pozycji pikseli w jednostce PU, jednostka 46 predykcji wewnątrzobrazowej może obliczać wartość błędu dla trybu predykcji na podstawie różnic pikseli między jednostką PU i odebranym blokiem do zakodowania. Jednostka 46 predykcji wewnątrzobrazowej może kontynuować testowanie trybów predykcji wewnątrzobrazowe, aż zostanie znaleziony tryb predykcji wewnątrzobrazowej, który uzyskuje akceptowalną wartość błędu. Jednostka 46 predykcji wewnątrzobrazowej może następnie wysłać jednostkę PU do sumatora 0. [0091] Zgodnie z technikami według niniejszego wynalazku, jednostka 46 predykcji wewnątrzobrazowej może być skonfigurowana do przewidywania bloku zawierającego brzeg z wykorzystaniem trybu predykcji w oparciu o brzeg. W szczególności, jednostka 46 predykcji wewnątrzobrazowej może analizować piksele sąsiednich, wcześniej zakodowanych bloków w celu określenia, czy brzeg jest wykryty w co najmniej jednym z sąsiednich bloków, oraz czy brzeg przecina krawędź między wcześniej zakodowanym blokiem i bieżącym blokiem. W celu wykrycia brzegu, jednostka 46 predykcji wewnątrzobrazowej może obliczać gradienty dla pikseli w sąsiednich, wcześniej zakodowanych blokach zarówno w kierunku poziomym, jak i pionowym. Gdy gradienty dla wielu pikseli w jednym z sąsiednich bloków są względnie prostopadłe do wspólnej linii, która przecina krawędź między sąsiednim blokiem i bieżącym blokiem, jednostka 46 predykcji wewnątrzobrazowej może określać, że bieżący blok także zawiera brzeg (w szczególności,

62 P3477PL brzeg wzdłuż linii wykrytej jak opisano powyżej). Należy rozumieć, że określenie brzeg w tym kontekście dotyczy zmiany wysokiej częstotliwości wzdłuż względnie prostej linii w bloku pikseli, a nie krawędzi lub granicy między oddzielnie zakodowanymi blokami. [0092] Zgodnie z powyższym, gdy brzeg jest wykryty w bloku, jednostka 46 predykcji wewnątrzobrazowej może określać, czy ma przewidywać blok z wykorzystaniem trybu predykcji w oparciu o brzeg, czy trybu kierunkowej predykcji wewnątrzobrazowej. Gdy jednostka 46 predykcji wewnątrzobrazowej wybiera tryb predykcji w oparciu o brzeg, jednostka 46 predykcji wewnątrzobrazowej może sygnalizować, że tryb predykcji DC został wykorzystany do przewidywania bloku, w celu uniknięcia zwiększenia się liczby wartości wymaganych do sygnalizowania trybów predykcji wewnątrzobrazowej. Oznacza to, jak omówiono bardziej szczegółowo w odniesieniu do FIG. 3, że dekoder wideo, taki jak dekoder wideo, może być skonfigurowany do interpretowania wskazania (np. sygnału lub informacji składni), że tryb predykcji DC został wykorzystany do przewidywania bloku, jako wskazania trybu predykcji w oparciu o brzeg, gdy dekoder wideo określa, że w bloku występuje brzeg. [0093] Koder wideo tworzy blok resztkowy przez odejmowanie danych predykcji obliczonych przez jednostkę 44 kompensacji ruchu lub jednostkę 46 predykcji wewnątrzobrazowej od oryginalnego bloku wideo podlegającego kodowaniu. Sumator 0 reprezentuje komponent lub komponenty, które wykonują tę operację odejmowania. Blok resztkowy może odpowiadać macierzy

63 P3477PL dwuwymiarowej wartości, przy czym liczba wartości w bloku resztkowy jest taka sama, jak liczba pikseli w jednostce PU odpowiadającej blokowi resztkowemu. Wartości w bloku resztkowy mogą odpowiadać różnicom między współlokowanymi pikselami w jednostce PU i w oryginalnym bloku, który ma być kodowany. [0094] Jednostka 2 przekształcenia może tworzyć jedną lub większą liczbę jednostek przekształcenia (jednostek TU) z bloku resztkowego. Jednostka 2 przekształcenia stosuje przekształcenie, takie jak dyskretna transformacja kosinusowa (DCT), przekształcenia kierunkowe lub koncepcyjnie zbliżone przekształcenie, względem jednostki TU, tworząc blok wideo zawierający współczynniki przekształcenia. Zgodnie z technikami według niniejszego wynalazku, jednostka 46 predykcji wewnątrzobrazowej może wysyłać wskazanie trybu predykcji wewnątrzobrazowej wybranego dla jednostki TU, do jednostki 2 przekształcenia, np. przez sygnalizowanie trybu w węźle drzewa czwórkowego TU odpowiadającym jednostce TU. Zgodnie z powyższym, jednostka 2 przekształcenia może wybrać przekształcenie do zastosowania względem jednostki TU na podstawie wskazania trybu predykcji wewnątrzobrazowej odebranego od jednostki 46 predykcji wewnątrzobrazowej. [009] W niektórych przykładach, jednostka 2 przekształcenia jest skonfigurowana do wybierania przekształceń, takich jak przekształcenie kierunkowe, do zastosowania względem jednostki TU na podstawie trybu predykcji wewnątrzobrazowej wykorzystywanego do przewidywania jednostki TU. Oznacza to, że dane 66

64 P3477PL odwzorowania mogą przechowywać dane konfiguracji, które opisują przekształcenie do zastosowania na podstawie trybu predykcji wewnątrzobrazowej wykorzystywanego do przewidywania jednostki TU. W ten sposób, jednostka 2 przekształcenia może przekształcać blok resztkowy z wykorzystaniem przekształcenia odwzorowanego na tryb predykcji wewnątrzobrazowej wykorzystywany do obliczania bloku resztkowego. Podobnie, dane 66 odwzorowania mogą odwzorowywać tryb predykcji wewnątrzobrazowej, przekształcenie, lub oba, na określony indeks skanowania, który może być wykorzystany do wybrania skanowania, które ma być zastosowane względem kwantyzowanych współczynników przekształcenia bloku. [0096] W niektórych przykładach, dane 66 odwzorowania mogą przechowywać dane konfiguracji zawierające odwzorowanie typu wiele do jednego między dużym zestawem trybów predykcji wewnątrzobrazowej oraz mniejszym zestawem trybów predykcji wewnątrzobrazowej. Mniejszy zestaw może zawierać podzestaw trybów predykcji wewnątrzobrazowej. W niektórych przykładach, duży zestaw może zawierać tryby predykcji wewnątrzobrazowej obsługiwane przez Model Testowy HEVC, natomiast mniejszy zestaw może zawierać tryby predykcji wewnątrzobrazowej obsługiwane przez standard H.264. Dane 66 odwzorowania mogą także zawierać odwzorowanie, takie jak odwzorowanie typu jeden do jednego, między mniejszym zestawem trybów predykcji wewnątrzobrazowej oraz przekształceniami. Mniejszy zestaw trybów predykcji wewnątrzobrazowej może być odwzorowany jeden do jednego na przekształcenia kierunkowe, które są

65 P3477PL00 66 przeznaczone do zapewnienia empirycznie najlepszych wyników przekształcenia dla odpowiedniego trybu predykcji wewnątrzobrazowej. [0097] W niektórych przykładach, tryby predykcji wewnątrzobrazowej dużego zestawu i mniejszego zestawu mogą być powiązane z odpowiednimi kątami predykcji. Odwzorowanie między dużym zestawem trybów predykcji oraz mniejszym zestawem może być zatem określone przez wybieranie kąta predykcji jednego z trybów predykcji wewnątrzobrazowej w mniejszym zestawie, który aproksymuje kąt predykcji trybów predykcji wewnątrzobrazowej dużego zestawu. Przyjęto, że α reprezentuje kąt predykcji jednego z trybów predykcji wewnątrzobrazowej dużego zestawu, a βi reprezentuje kąt predykcji i-tego trybu predykcji wewnątrzobrazowej mniejszego zestawu. W celu odwzorowania trybu predykcji wewnątrzobrazowej na jeden z trybów predykcji wewnątrzobrazowej mniejszego zestawu, koder wideo może, znając α, odnaleźć βi tak, że spełnione jest równanie 1 poniżej: 2 [0098] Jednostka 2 przekształcenia może odbierać wskazanie wybranego trybu predykcji wewnątrzobrazowej od jednostki 46 predykcji wewnątrzobrazowej, następnie odpytać dane 66 odwzorowania w celu określenia przekształcenia do wykorzystania w celu przekształcenia jednostki TU zawierającej wartości resztkowe odebrane z sumatora 0. Jeżeli jednostka TU ma rozmiar, dla którego możliwych jest wiele przekształceń, jednostka 2 przekształcenia lub inna jednostka kodera wideo

66 P3477PL może wybrać przekształcenie dla jednostek TU o tym rozmiarze tak, że jednostka 2 przekształcenia może zastosować to samo przekształcenie względem wszystkich jednostek TU o tym rozmiarze w tej samej jednostce CU. W niektórych przykładach, jednostka 2 przekształcenia może ponadto być skonfigurowana do wykonywania przekształcenia rotacyjnego w kaskadzie za pierwszym przekształceniem. Oznacza to, że po pierwszym przekształceniu, jednostka 2 przekształcenia może wybrać i zastosować przekształcenie rotacyjne względem współczynników przekształcenia. Jednostka 2 przekształcenia może wybrać przekształcenie rotacyjne na podstawie, na przykład, trybu predykcji wewnątrzobrazowej wykorzystywanego do przewidywania jednostki PU dla bieżącej jednostki TU. [0099] Jak omówiono powyżej, w niektórych przykładach, jednostka 46 predykcji wewnątrzobrazowej jest skonfigurowana do określania, czy blok zawiera brzeg (to znaczy, zmianę wysokiej częstotliwości między pikselami wewnątrz bloku). Gdy brzeg jest wykryty, jednostka 46 predykcji wewnątrzobrazowej może wybrać albo tryb predykcji w oparciu o brzeg, albo tradycyjny tryb kierunkowej predykcji wewnątrzobrazowej. Oznacza to, że jednostka 46 predykcji wewnątrzobrazowej może zastąpić tryb predykcji DC trybem predykcji w oparciu o brzeg. W niektórych przykładach, gdy blok jest przewidywany z wykorzystaniem trybu predykcji w oparciu o brzeg, jednostka 2 przekształcenia wybiera przekształcenie (takie jak przekształcenie kierunkowe) odwzorowane na kierunek trybu predykcji wewnątrzobrazowej mającego kąt, który dobrze

67 P3477PL aproksymuje kąt brzegu. Oznacza to, że jednostka 2 przekształcenia w niektórych przykładach określa kąt brzegu w bloku i wybiera przekształcenie, które jest odwzorowane na tryb kierunkowej predykcji wewnątrzobrazowej mający kąt, który dobrze aproksymuje kąt brzegu (np. ma minimalną odległość do niego). W niektórych przykładach, jednostka 2 przekształcenia jest skonfigurowana do wybierania przekształcenia, które jest odwzorowane na tryb kierunkowej predykcji wewnątrzobrazowej mający kąt, który dobrze aproksymuje kąt brzegu wykryty w bloku. [00] Koder wideo może także sygnalizować wykorzystanie trybu predykcji w oparciu o brzeg z wykorzystaniem wartości, która w innym przypadku byłaby wykorzystana do sygnalizowania użycia trybu predykcji DC. Zatem, mimo że tryb predykcji DC jest sygnalizowany, tryb predykcji w oparciu o brzeg może być wykorzystany do przewidywania bloku. Podobnie, mimo że tryb predykcji w oparciu o brzeg może być wykorzystany do przewidywania bloku, jednostka 2 przekształcenia może wykorzystywać przekształcenie odwzorowane na tryb predykcji wewnątrzobrazowej mający kąt, który aproksymuje kąt brzegu wykryty w bloku. [01] Dane 66 odwzorowania mogą zapewniać dane konfiguracji, które wskazują, że gdy brzeg jest wykryty w bloku, dla którego tryb predykcji DC jest sygnalizowany, jednostka 2 przekształcenia ma wybrać przekształcenie mające kąt, który aproksymuje kąt brzegu. Ponadto, jak omówiono powyżej, dane 66 odwzorowania mogą zawierać odwzorowanie z trybów predykcji wewnątrzobrazowej oraz kątów dla trybów

68 P3477PL predykcji wewnątrzobrazowej (które mogą definiować tryby predykcji wewnątrzobrazowej) na przekształcenia kierunkowe. Zgodnie z powyższym, jednostka 2 przekształcenia może odpytać dane 66 odwzorowania w celu określenia trybu predykcji wewnątrzobrazowej mającego kąt, który dobrze aproksymuje kąt brzegu w bloku, jak również w celu określenia przekształcenia, które jest odwzorowane na określony tryb predykcji wewnątrzobrazowej. [02] W ten sposób, koder wideo stanowi przykład kodera wideo skonfigurowanego do obliczania bloku resztkowego dla bloku danych wideo na podstawie przewidywanego bloku utworzonego z wykorzystaniem trybu predykcji wewnątrzobrazowej, oraz przekształcania bloku resztkowego z wykorzystaniem przekształcenia odwzorowanego na tryb predykcji wewnątrzobrazowej. Koder wideo stanowi także przykład kodera wideo skonfigurowanego do odbierania wskazania pierwszego trybu predykcji wewnątrzobrazowej w pierwszym zestawie trybów predykcji wewnątrzobrazowej dla bloku danych wideo, określania drugiego trybu predykcji wewnątrzobrazowej z mniejszego zestawu trybów predykcji wewnątrzobrazowej, na który odwzorowany jest pierwszy tryb predykcji wewnątrzobrazowej, określania przekształcenia kierunkowego, na które drugi tryb predykcji wewnątrzobrazowej jest odwzorowany, oraz stosowania przekształcenia kierunkowego względem danych resztkowych bloku. [03] Ponadto, koder wideo stanowi także przykład kodera wideo skonfigurowanego do wybierania trybu predykcji wewnątrzobrazowej do wykorzystania do

69 P3477PL zakodowania bloku danych wideo, określania, czy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń na podstawie rozmiaru podbloku i wybranego trybu predykcji wewnątrzobrazowej, gdy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń na podstawie rozmiaru podbloku i wybranego trybu predykcji wewnątrzobrazowej, wybierania jednego z wielu możliwych przekształceń, przekształcania podbloku z wykorzystaniem wybranego przekształcenia spośród wielu możliwych przekształceń, oraz dostarczania wskazania wybranego przekształcenia spośród wielu możliwych przekształceń dla rozmiaru bloku. [04] Ponadto, koder wideo stanowi przykład kodera wideo skonfigurowanego do określania, że blok, który ma być zakodowany z użyciem predykcji wewnątrzobrazowej, zawiera brzeg wewnątrz bloku, obliczania bloku resztkowego dla bloku na podstawie wartości predykcji obliczonej z wykorzystaniem trybu predykcji wewnątrzobrazowej ukierunkowanego na brzeg, przekształcania bloku resztkowego z wykorzystaniem przekształcenia kierunkowego odwzorowanego na tryb kierunkowej predykcji wewnątrzobrazowej mający kąt, który aproksymuje kąt brzegu, i dostarczania informacji reprezentatywnych dla przekształconego bloku resztkowego oraz informacji wskazujących, że blok został przewidziany z wykorzystaniem trybu predykcji wewnątrzobrazowej DC. [0] Jednostka 2 przekształcenia może wysyłać wynikowe współczynniki przekształcenia do jednostki 4 kwantyzacji. Jednostka 4 kwantyzacji może następnie

70 P3477PL kwantyzować współczynniki przekształcenia. W niektórych przykładach, jednostka 4 kwantyzacji może następnie wykonywać skanowanie macierzy zawierającej kwantyzowane współczynniki przekształcenia. Alternatywnie, jednostka 6 kodowania entropijnego może wykonywać skanowanie. W niniejszym dokumencie opisano, że jednostka 6 kodowania entropijnego wykonuje skanowanie, jednak należy rozumieć, że, w innych przykładach, skanowanie mogą wykonywać inne jednostki przetwarzające, takie jak jednostka 4 kwantyzacji. [06] W niektórych przykładach, jednostka 6 kodowania entropijnego może odbierać wskazanie wybranego trybu predykcji wewnątrzobrazowej od jednostki 46 predykcji wewnątrzobrazowej lub od jednostki 2 przekształcenia. Jednostka 6 kodowania entropijnego może wybrać skanowanie do zastosowania względem macierzy współczynników przekształcenia, w celu przekształcenia macierzy dwuwymiarowej na jednowymiarowy wektor. W niektórych przykładach, jednostka 6 kodowania entropijnego wybiera skanowanie z góry określonego zestawu skanowań. Dane 66 odwzorowania mogą odwzorowywać mniejszy zestaw trybów predykcji wewnątrzobrazowej na z góry określony zestaw skanowań. Jednostka 6 kodowania entropijnego może wybrać skanowanie na podstawie różnych charakterystyk bieżącej jednostki TU, takich jak, na przykład, typ bloku (międzyobrazowy lub wewnątrzobrazowy), tryb predykcji wewnątrzobrazowej (przyjmując blok kodowany wewnątrzobrazowo) i/lub typ przekształcenia stosowanego względem jednostki TU (np. DCT lub KLT).

71 P3477PL [07] W niektórych przykładach, jednostka 6 kodowania entropijnego może być skonfigurowana do wykonywania adaptacyjnego skanowania. Początkowo (np. dla pierwszej jednostki TU bieżącej ramki), jednostka 6 kodowania entropijnego może wykorzystywać z góry określony wzorzec skanowania. W przeciągu czasu, jednostka 6 kodowania entropijnego może aktualizować wzorzec skanowania w celu wykonania adaptacyjnego skanowania. Zasadniczo, celem adaptacyjnego skanowania jest określenie prawdopodobieństwa, że określony współczynnik przekształcenia będzie niezerowy. Następnie, kolejność skanowania zasadniczo postępuje od współczynników mających największe prawdopodobieństwo, że będą niezerowe do współczynników mających najmniejsze prawdopodobieństwo, że będą niezerowe. Jednostka 6 kodowania entropijnego może określać te prawdopodobieństwa w przeciągu czasu z wykorzystaniem różnych statystyk i obliczeń. Ponadto, jednostka 6 kodowania entropijnego może śledzić oddzielne statystyki dla każdego trybu predykcji wewnątrzobrazowej, przekształcenia, przekształcenia kaskadowego lub dowolnej ich kombinacji. [08] Jednostka 6 kodowania entropijnego może wykorzystywać tabelę szerokiego zakresu dynamicznego oraz tabele skanowania z dynamicznym aktualizowaniem w celu określenia prawdopodobieństw, że współczynniki przekształcenia będą niezerowe, oraz w celu określenia kolejności adaptacyjnego skanowania. Przyjmując jednostkę TU NxN, każda z tych tabel może być tabelą NxN z wartościami odpowiadającymi współczynnikom przekształcenia jednostki TU. Tabela szerokiego zakresu

72 P3477PL dynamicznego może być stałą, z góry określoną tabelą dostarczającą prawdopodobieństwa, że każdy współczynnik przekształcenia jest niezerowy. Ta tabela może być obliczona na podstawie zestawu danych treningowych. Ponadto, ta tabela może być wykorzystana do dostarczenia punktu początkowego dla kolejności adaptacyjnego skanowania. [09] Jednostka 6 kodowania entropijnego może aktualizować tabelę skanowania z dynamicznym aktualizowaniem w przeciągu czasu w celu odzwierciedlenia ostatnio określonych statystyk dla współczynników przekształcenia. Jednostka 6 kodowania entropijnego może utrzymywać zliczenie tego, ile razy każdy współczynnik w określonej lokalizacji w macierzy przekształcenia NxN jest niezerowy. Oznacza to, że dla każdej jednostki TU bieżącej ramki, jednostka 6 kodowania entropijnego może zwiększać wartości w tabeli skanowania z dynamicznym aktualizowaniem odpowiadające niezerowym współczynnikom w bieżącym bloku przekształcenia, w szczególności, w tabeli skanowania z dynamicznym aktualizowaniem powiązanej z trybem predykcji wewnątrzobrazowej, przekształceniami i/lub kaskadowym przekształceniem dla bieżącej jednostki CU. Na przykład, jeżeli współczynnik przekształcenia w rzędzie 2 i kolumnie 1 jest niezerowy, jednostka 6 kodowania entropijnego może dodać jeden do wartości w tabeli skanowania z dynamicznym aktualizowaniem w rzędzie 2 i kolumnie 1. Jednostka 6 kodowania entropijnego może także okresowo normalizować wartości w tabeli skanowania z dynamicznym aktualizowaniem, aby

73 P3477PL zapobiec przekraczaniu przez wartości maksymalnej wartości. [01] W celu wykonania adaptacyjnego skanowania dla pierwszej jednostki TU bieżącej ramki, jednostka 6 kodowania entropijnego może wykonywać skanowanie tylko na podstawie tabeli szerokiego zakresu dynamicznego. Jednostka 6 kodowania entropijnego może także inicjować tabelę skanowania z dynamicznym aktualizowaniem np. przez ustawianie wszystkich wartości w tabeli skanowania z dynamicznym aktualizowaniem na zero. Dla każdego niezerowego współczynnika w bloku przekształcenia, jednostka 6 kodowania entropijnego może dodać jeden do współlokowanej wartości w tabeli skanowania z dynamicznym aktualizowaniem powiązanej z trybem predykcji wewnątrzobrazowej i przekształceniami lub kaskadowym przekształceniem dla bieżącej jednostki TU. Dla następnych jednostek TU wykorzystujących ten sam tryb predykcji wewnątrzobrazowej i przekształcenie lub przekształcenie kaskadowe, jednostka 6 kodowania entropijnego może najpierw odnieść się do tabeli skanowania z dynamicznym aktualizowaniem w celu określenia, który spośród współczynników przekształcenia ma największe prawdopodobieństwo, że będzie niezerowy, a następnie skanować w kolejności zmniejszającego się prawdopodobieństwa, że współczynniki będą niezerowe. W niektórych przypadkach, dwie lub większa liczba wartości w tabeli skanowania z dynamicznym aktualizowaniem może być jednakowa. W takim przypadku, jednostka 6 kodowania entropijnego odnosi się do tabeli szerokiego zakresu dynamicznego w celu

74 P3477PL określenia, który współczynnik skanować jako następny. W ten sposób, jednostka 6 kodowania entropijnego może wykonywać adaptacyjne skanowanie dla każdego trybu predykcji wewnątrzobrazowej, przekształcenia lub kaskadowego przekształcenia (lub dowolnej ich kombinacji) na podstawie kombinacji tabeli szerokiego zakresu dynamicznego i tabeli skanowania z dynamicznym aktualizowaniem. [0111] W wyniku skanowania macierzy dwuwymiarowej współczynników przekształcenia, jednostka 6 kodowania entropijnego może utworzyć jednowymiarową tablicę zawierającą współczynniki przekształcenia. Jednostka 6 kodowania entropijnego może następnie skanować jednostkę TU w celu utworzenia tablicy i kwantyzować współczynniki przekształcenia w tablicy po skanowaniu, aby dodatkowo zredukować przepływność. Proces kwantyzacji może redukować głębokość bitową powiązaną z niektórymi lub wszystkimi współczynnikami. Stopień kwantyzacji może być kodyfikowany przez regulowanie parametru kwantyzacji. [0112] Jednostka 6 kodowania entropijnego może także kodować entropijnie elementy składni dla współczynników macierzy przed lub podczas adaptacyjnego skanowania. Elementy składni mogą zawierać wskaźnik istotnego współczynnika, który wskazuje, czy określony współczynnik jest istotny (np. niezerowy) oraz wskaźnik ostatniego współczynnika, który wskazuje, czy określony współczynnik jest ostatnim współczynnikiem skanowanym w adaptacyjnym skanowaniu. Dekoder wideo może wykorzystywać te elementy składni w celu zrekonstruowania tabeli skanowania z dynamicznym

75 P3477PL aktualizowaniem tak, że dekoder wideo może skanować odwrotnie współczynniki zakodowane przez jednostkę 6 kodowania entropijnego. [0113] W celu entropijnego kodowania elementów składni, jednostka 6 kodowania entropijnego może realizować kodowanie CABAC i wybrać modele kontekstowe na podstawie, na przykład, liczby istotnych współczynników we wcześniej skanowanych N współczynnikach, gdzie N jest wartością całkowitą, która może odnosić się do rozmiaru skanowanego bloku. Jednostka 6 kodowania entropijnego może także wybrać model kontekstowy na podstawie trybu predykcji wykorzystywanego do obliczania danych resztkowych, które zostały przekształcone na blok współczynników przekształcenia, oraz typu przekształcenia wykorzystywanego do przekształcenia danych resztkowych na blok współczynników przekształcenia. Gdy odpowiednie dane predykcji zostały przewidziane z wykorzystaniem trybu predykcji wewnątrzobrazowej, jednostka 6 kodowania entropijnego może ponadto oprzeć wybór modelu kontekstowego na kierunku trybu predykcji wewnątrzobrazowej. [0114] W ten sposób, koder wideo reprezentuje przykład kodera wideo skonfigurowanego do przekształcania danych resztkowych dla bloku danych wideo z wykorzystaniem pierwszego przekształcenia w celu utworzenia pośredniego, dwuwymiarowego bloku współczynników przekształcenia, przekształcania pośredniego, dwuwymiarowego bloku współczynników przekształcenia z wykorzystaniem przekształcenia rotacyjnego w celu utworzenia dwuwymiarowego bloku

76 P3477PL współczynników przekształcenia, wybierania zestawu statystyk powiązanych z co najmniej jednym spośród pierwszego przekształcenia i przekształcenia rotacyjnego, przy czym zestaw statystyk dostarcza prawdopodobieństwa, że lokalizacje w dwuwymiarowym bloku współczynników przekształcenia będą niezerowe, oraz adaptacyjnego skanowania dwuwymiarowego bloku współczynników przekształcenia na podstawie wybranego zestawu statystyk. [01] Koder wideo reprezentuje także przykład kodera wideo skonfigurowanego do skanowania dwuwymiarowego bloku współczynników przekształcenia w celu utworzenia jednowymiarowego wektora współczynników przekształcenia, określania wartości wskazujących, czy współczynniki przekształcenia w jednowymiarowym wektorze są istotne, oraz kodowania entropijnego co najmniej jednej z wartości z wykorzystaniem modelu kontekstowego wybranego na podstawie co najmniej wartości procentowej istotnych współczynników w z góry określonej liczbie wartości zakodowanych przed co najmniej jedną z wartości. [0116] W niektórych przykładach, jednostka 2 przekształcenia może być skonfigurowana do zerowania określonych współczynników przekształcenia (to znaczy, współczynników przekształcenia w określonych lokalizacjach). Na przykład, jednostka 2 przekształcenia może być skonfigurowana do zerowania wszystkich współczynników przekształcenia na zewnątrz lewego, górnego kwadranta jednostki TU po przekształceniu. Jako kolejny przykład, jednostka 6 kodowania entropijnego może być skonfigurowana do

77 P3477PL zerowania współczynników przekształcenia w tablicy za określoną pozycją w tablicy. W niektórych przykładach, jednostka 6 kodowania entropijnego może kwantyzować macierz dwuwymiarową, a jednostka 6 kodowania entropijnego może wykonywać skanowanie. W dowolnym przypadku, koder wideo może być skonfigurowany do zerowania określonej części współczynników przekształcenia, np. przed lub po skanowaniu. Sformułowanie zerowanie jest wykorzystywane do określenia ustawiania wartości współczynnika równej zero, ale nie oznacza koniecznie pomijania lub odrzucania współczynnika. [0117] Po kwantyzacji, jednostka 6 kodowania entropijnego koduje entropijnie kwantyzowane współczynniki przekształcenia. Na przykład, jednostka 6 kodowania entropijnego może realizować kodowanie typu content adaptive variable length coding (CAVLC), kodowanie typu context adaptive binary arithmetic coding (CABAC) lub inną technikę kodowania entropijnego. Po kodowaniu entropijnym wykonywanym przez jednostkę 6 kodowania entropijnego, zakodowane wideo może być transmitowane do innego urządzenia lub archiwizowane dla późniejszej transmisji lub odzyskania. W przypadku kodowania typu context adaptive binary arithmetic coding, kontekst może być oparty na sąsiednich blokach. [0118] W niektórych przypadkach, jednostka 6 kodowania entropijnego lub inna jednostka kodera wideo może być skonfigurowana do realizowania innych funkcji kodowania oprócz kodowania entropijnego. Na przykład, jednostka 6 kodowania entropijnego może być

78 P3477PL skonfigurowana do określania wartości wzorców zakodowanych bloków (CBP) dla bloków. Ponadto, w niektórych przypadkach, jednostka 6 kodowania entropijnego może wykonywać kodowanie grupowe współczynników w bloku. [0119] Jednostka 8 kwantyzacji odwrotnej i jednostka 60 przekształcenia odwrotnego stosują, odpowiednio, kwantyzację odwrotną i transformację odwrotną, w celu zrekonstruowania bloku resztkowego w dziedzinie pikseli, np. dla późniejszego wykorzystania jako bloku odniesienia. Jednostka 44 kompensacji ruchu może obliczać blok odniesienia przez dodawanie bloku resztkowego do bloku predykcyjnego jednej z ramek z pamięci 64 ramek odniesienia. Jednostka 44 kompensacji ruchu może także stosować jeden lub większą liczbę filtrów interpolacyjnych względem zrekonstruowanego bloku resztkowego w celu obliczenia wartości cząstkowych pikseli dla wykorzystania w oszacowaniu ruchu. Sumator 62 dodaje zrekonstruowany blok resztkowy do bloku predykcji ze skompensowanym ruchem utworzonego przez jednostkę 44 kompensacji ruchu w celu utworzenia zrekonstruowanego bloku wideo dla zapisania w pamięci 64 ramek odniesienia. Zrekonstruowany blok wideo może być wykorzystany przez jednostkę 42 oszacowania ruchu i jednostkę 44 kompensacji ruchu jako blok odniesienia do kodowania międzyobrazowego bloku w następnej ramce wideo. [01] FIG. 3 przedstawia schemat blokowy ilustrujący przykład dekodera wideo, który dekoduje zakodowaną sekwencję wideo. W przykładzie na FIG. 3, dekoder wideo zawiera jednostkę 70 dekodowania

79 P3477PL entropijnego, jednostkę 72 kompensacji ruchu, jednostkę 74 predykcji wewnątrzobrazowej, jednostkę 76 kwantyzacji odwrotnej, jednostkę 78 transformacji odwrotnej, pamięć 82 ramek odniesienia i sumator 80. Dekoder wideo może, w niektórych przykładach, realizować przebieg dekodowania stanowiący zasadniczo odwrotność przebiegu kodowania opisanego w odniesieniu do kodera wideo (FIG. 2). Jednostka 72 kompensacji ruchu może generować dane predykcji na podstawie wektorów ruchu odebranych od jednostki 70 dekodowania entropijnego. Jednostka 74 predykcji wewnątrzobrazowej może generować dane predykcji dla bieżącego bloku bieżącej ramki na podstawie sygnalizowanego trybu predykcji wewnątrzobrazowej i danych z wcześniej dekodowanych bloków bieżącej ramki. [0121] W niektórych przykładach, jednostka 70 dekodowania entropijnego lub jednostka 76 kwantyzacji odwrotnej może skanować odebrane wartości z wykorzystaniem skanowania stanowiącego odbicie lustrzane skanowania wykorzystywanego przez koder wideo. W przykładzie na FIG. 3, dekoder wideo zawiera dane 84 odwzorowania, które mogą obejmować dane podobne lub identyczne do tych należących do danych 66 odwzorowania. Zgodnie z powyższym, dekoder wideo może wybrać skanowanie na podstawie, na przykład, wskazania trybu kodowania wewnątrzobrazowego dla bieżącego bloku (np. prezentowanego w węźle-korzeniu drzewa czwórkowego dla jednostki LCU zawierającej bieżący blok), przekształcenia dla bieżącego bloku, kaskadowego przekształcenia dla bieżącego bloku, lub innych czynników wykorzystywanych przez koder wideo

80 P3477PL do wybrania skanowania. Podobnie, dekoder wideo może być skonfigurowany do wykonywania adaptacyjnego skanowania lub do wybierania z góry określonego skanowania na podstawie tych czynników. W ten sposób, dekoder wideo może utworzyć macierz dwuwymiarową kwantyzowanych współczynników przekształcenia z odebranej, jednowymiarowej tablicy współczynników. [0122] Jednostka 76 kwantyzacji odwrotnej kwantyzuje odwrotnie, tj. dekwantyzuje, kwantyzowane współczynniki przekształcenia dostarczone w strumieniu bitów i dekodowane przez jednostkę 70 dekodowania entropijnego. Proces kwantyzacji odwrotnej może obejmować tradycyjny proces, np. określony przez standard dekodowania H.264 lub przez HEVC. Proces kwantyzacji odwrotnej może obejmować wykorzystanie parametru kwantyzacji QP Y obliczonego przez koder wideo dla jednostki CU w celu określenia stopnia kwantyzacji oraz, podobnie, stopnia kwantyzacji odwrotnej, który powinien być zastosowany. [0123] Jednostka 8 przekształcenia odwrotnego stosuje przekształcenie odwrotne, np. odwrotną transformację DCT, odwrotną transformację całkowitoliczbową, odwrotne przekształcenie rotacyjne lub odwrotne przekształcenie kierunkowe. W niektórych przykładach, jednostka 78 przekształcenia odwrotnego może określać przekształcenie odwrotne na podstawie trybu predykcji wewnątrzobrazowej sygnalizowanego dla odebranego zakodowanego bloku predykcji wewnątrzobrazowej. Jeżeli blok ma rozmiar, dla którego więcej niż jedno przekształcenie jest możliwe na podstawie trybu predykcji wewnątrzobrazowej, to wtedy

81 P3477PL jednostka 78 przekształcenia odwrotnego może określać przekształcenie do zastosowania względem bieżącego bloku na podstawie sygnalizowanego przekształcenia w węźle korzeniu drzewa czwórkowego dla jednostki LCU zawierającej bieżący blok. W niektórych przykładach, jednostka 78 przekształcenia odwrotnego może zastosować kaskadowe przekształcenie odwrotne, np. najpierw odwrotne przekształcenie rotacyjne, po którym następuje odwrotne przekształcenie kierunkowe. [0124] W niektórych przykładach, np. gdy sygnalizowany tryb predykcji wewnątrzobrazowej jest trybem predykcji DC, jednostka 8 przekształcenia odwrotnego (lub inna jednostka dekodera wideo) może określać, czy w bieżącym bloku występuje brzeg. Jednostka 8 przekształcenia odwrotnego może określać, czy występuje brzeg, z wykorzystaniem technik, które zasadniczo odpowiadają technikom opisanym w odniesieniu do kodera wideo na FIG. 2. Jeżeli brzeg występuje w bieżącym bloku, jednostka 78 przekształcenia odwrotnego może określać kąt brzegu wewnątrz bloku i wybrać przekształcenie odwrotne, które jest odwzorowane na tryb predykcji wewnątrzobrazowej mający kąt, który aproksymuje kąt brzegu. [012] Jak omówiono powyżej, dane 84 odwzorowania mogą zapewniać kąty dla trybów predykcji wewnątrzobrazowej oraz odwzorowania między trybami predykcji wewnątrzobrazowej i przekształceniami odwrotnymi. Zgodnie z powyższym, jednostka 78 przekształcenia odwrotnego może odpytywać dane 84 odwzorowania celu określenia przekształcenia odwrotnego odwzorowanego na tryb predykcji wewnątrzobrazowej

82 P3477PL mający kąt, który dobrze aproksymuje kąt brzegu, gdy sygnalizowany jest tryb predykcji DC. Ponadto, jednostka 74 predykcji wewnątrzobrazowej może zastosować tryb predykcji w oparciu o brzeg w celu przewidywania bloku, zamiast trybu predykcji DC sygnalizowanego dla bloku, gdy w bloku jest wykryty brzeg. Dane 84 odwzorowania mogą także zapewnić odwzorowanie z trybu predykcji wewnątrzobrazowej, drugorzędnego przekształcenia, takiego jak przekształcenie rotacyjne, lub ich kombinacji, na indeks skanowania, w celu wybrania skanowania odwrotnego dla odebranych kwantyzowanych współczynników przekształcenia. [0126] Jednostka 72 kompensacji ruchu tworzy bloki ze skompensowanym ruchem, możliwie wykonując interpolację w oparciu o filtry interpolacyjne. Identyfikatory dla filtrów interpolacyjnych, które mają być wykorzystane dla oszacowania ruchu z precyzją cząstkową pikseli, mogą być zawarte w elementach składni. Jednostka 72 kompensacji ruchu może wykorzystywać filtry interpolacyjne, które są wykorzystywane przez koder wideo podczas kodowania bloku wideo w celu obliczenia interpolowanych wartości dla cząstkowych pikseli bloku odniesienia. Jednostka 72 kompensacji ruchu może określać filtry interpolacyjne wykorzystywane przez koder wideo zgodnie z odebranymi informacjami składni i wykorzystywać filtry interpolacyjne do utworzenia bloków predykcyjnych. [0127] Jednostka 72 kompensacji ruchu i jednostka 74 predykcji wewnątrzobrazowej wykorzystują niektóre spośród: informacji składni (np. zapewnione przez

83 P3477PL drzewo czwórkowe) w celu określenia rozmiarów jednostek LCU wykorzystywanych do zakodowania ramki (ramek) zakodowanej sekwencji wideo, informacji podziału, które opisują, jak każda jednostka CU ramki zakodowanej sekwencji wideo jest podzielona (oraz podobnie, jak podzielone są podjednostki CU), trybów wskazujących jak każdy podział jest zakodowany (np. predykcja wewnątrzobrazowa lub predykcja międzyobrazowa, oraz dla predykcji wewnątrzobrazowej tryb kodowania predykcji wewnątrzobrazowej), jednej lub większej liczby ramek odniesienia (i/lub list odniesienia zawierających identyfikatory dla ramek odniesienia) dla każdej zakodowanej międzyobrazowo jednostki PU, oraz inne informacje w celu dekodowania zakodowanej sekwencji wideo. [0128] Sumator 80 łączy bloki resztkowe z odpowiednimi blokami predykcji generowanymi przez jednostkę 72 kompensacji ruchu lub jednostkę 74 predykcji wewnątrzobrazowej w celu utworzenia dekodowanych bloków. Jeżeli jest to pożądane, może także być zastosowany filtr deblokujący w celu filtrowania dekodowanych bloków, aby usunąć artefakty związane z blokami. Dekodowane bloki wideo są następnie zapisywane w pamięci 82 ramek odniesienia, która zapewnia bloki odniesienia dla następnej kompensacji ruchu i tworzy także dekodowane wideo dla prezentacji na urządzeniu wyświetlającym (takim jak urządzenie wyświetlające 32 na FIG. 1). [0129] W ten sposób, dekoder wideo stanowi przykład dekodera wideo skonfigurowanego do określania trybu predykcji wewnątrzobrazowej, który ma być

84 P3477PL wykorzystany do przewidywania bloku danych wideo, oraz do przekształcania odwrotnego przekształconych danych resztkowych bloku z wykorzystaniem przekształcenia odwrotnego odwzorowanego na tryb predykcji wewnątrzobrazowej. Dekoder wideo stanowi także przykład dekodera wideo skonfigurowanego do odbierania wskazania pierwszego trybu predykcji wewnątrzobrazowej w pierwszym zestawie trybów predykcji wewnątrzobrazowej dla bloku zakodowanych danych wideo, określania drugiego trybu predykcji wewnątrzobrazowej z mniejszego zestawu trybów predykcji wewnątrzobrazowej, na który odwzorowany jest pierwszy tryb predykcji wewnątrzobrazowej, określania odwrotnego przekształcenia kierunkowego, na które drugi tryb predykcji wewnątrzobrazowej jest odwzorowany, oraz stosowania odwrotnego przekształcenia kierunkowego względem przekształconych danych resztkowych bloku. [01] Dekoder wideo stanowi także przykład dekodera wideo skonfigurowanego do odbierania pierwszego wskazania trybu predykcji wewnątrzobrazowej do wykorzystania do dekodowania bloku danych wideo, określania, czy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń na podstawie rozmiaru podbloku oraz wskazanego trybu predykcji wewnątrzobrazowej, gdy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń odwrotnych na podstawie rozmiaru podbloku i wskazanego trybu predykcji wewnątrzobrazowej, odbierania drugiego wskazania jednego z wielu możliwych przekształceń odwrotnych, oraz przekształcania odwrotnego podbloku z wykorzystaniem wskazanego

85 P3477PL przekształcenia spośród wielu możliwych przekształceń odwrotnych. [0131] Dekoder wideo stanowi także przykład dekodera wideo skonfigurowanego do odbierania wartości wskazujących, czy zakodowane współczynniki przekształcenia w odebranym jednowymiarowym wektorze zakodowanych współczynników przekształcenia są istotne, dekodowania entropijnego co najmniej jednej z wartości z wykorzystaniem modelu kontekstowego wybranego na podstawie co najmniej wartości procentowej istotnych współczynników w z góry określonej liczbie wartości dekodowanych przed co najmniej jedną z wartości, oraz skanowania odwrotnego jednowymiarowego wektora w celu utworzenia dwuwymiarowego bloku współczynników przekształcenia. [0132] Dekoder wideo stanowi także przykład dekodera wideo skonfigurowanego do odbierania wskazania, że dane resztkowe dla bloku danych wideo zostały przekształcone z wykorzystaniem zarówno pierwszego przekształcenia, jak i przekształcenia rotacyjnego w celu utworzenia dwuwymiarowego bloku współczynników przekształcenia, wybierania zestawu statystyk powiązanych z co najmniej jednym spośród pierwszego przekształcenia i przekształceń rotacyjnych, przy czym zestaw statystyk dostarcza prawdopodobieństwa, że lokalizacje w dwuwymiarowym bloku współczynników przekształcenia będą niezerowe, oraz adaptacyjnego skanowania odwrotnego odebranego jednowymiarowego wektora zawierającego zakodowaną wersję danych resztkowych dla bloku na podstawie

86 P3477PL wybranego zestawu statystyk w celu utworzenia macierzy dwuwymiarowej współczynników przekształcenia dla bloku. [0133] Dekoder wideo stanowi ponadto przykład dekodera wideo skonfigurowanego do odbierania informacji wskazujących, że tryb predykcji wewnątrzobrazowej dla bloku danych wideo jest trybem predykcji wewnątrzobrazowej DC, określania kąta dla brzegu w bloku danych wideo na podstawie wskazania trybów predykcji wewnątrzobrazowej DC dla bloku, przekształcania odwrotnego bloku z wykorzystaniem odwrotnego przekształcenia kierunkowego odwzorowanego na tryb kierunkowej predykcji wewnątrzobrazowej mający kąt, który aproksymuje kąt brzegu, oraz dekodowania bloku przekształconego odwrotnie. [0134] FIG. 4 przedstawia koncepcyjny schemat ilustrujący wykres 4, który obrazuje przykładowy zestaw kierunków powiązanych z trybami predykcji wewnątrzobrazowej. W przykładzie na FIG. 4, blok 6 może być przewidywany na podstawie sąsiednich pikseli 0A-0AG (sąsiednie piksele 0) w zależności od wybrane trybu predykcji wewnątrzobrazowej. Strzałki 2A-2AG (strzałki 2) reprezentują kierunki lub kąty powiązane z różnymi trybami predykcji wewnątrzobrazowej. Przykład na FIG. 4 jest reprezentatywny dla trybów predykcji wewnątrzobrazowej zapewnionych przez model HM. Jednakże, w innych przykładach, może być zapewnionych więcej lub mniej trybów predykcji wewnątrzobrazowej. Mimo że przykładowym blokiem 6 jest blok 8x8 pikseli, to zasadniczo, blok może mieć dowolną liczbę pikseli, np. 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, itd. Mimo że

87 P3477PL model HM zapewnia kwadratowe jednostki PU, techniki według niniejszego wynalazku mogą także być zastosowane względem bloków o innych rozmiarach, np. względem bloków NxM, przy czym N nie jest koniecznie równe M. [013] Tryb predykcji wewnątrzobrazowej może być zdefiniowany zgodnie z kątem kierunku predykcji w odniesieniu do, na przykład, osi poziomej, która jest prostopadła do pionowych boków bloku 6. Zatem, każda ze strzałek 2 może reprezentować określony kąt kierunku predykcji odpowiedniego trybu predykcji wewnątrzobrazowej. W niektórych przykładach, kierunek trybu predykcji wewnątrzobrazowej może być zdefiniowany przez parę liczb całkowitych (dx, dy), która może reprezentować kierunek, jaki odpowiedni tryb predykcji wewnątrzobrazowej wykorzystuje dla kontekstowej ekstrapolacji pikseli. Oznacza to, że kąt trybu predykcji wewnątrzobrazowej może być obliczony jako dy/dx. Innymi słowy, kąt może być reprezentowany zgodnie z przesunięciem poziomym dx i przesunięciem pionowym dy. Wartość piksela w lokalizacji (x, y) w bloku6 może być określona na podstawie jednego z sąsiednich pikseli 0, przez który przebiega linia, która także przebiega przez lokalizację (x, y) pod kątem dy/dx. [0136] W niektórych przykładach, każdy z trybów predykcji wewnątrzobrazowej odpowiadających kątom reprezentowanym przez strzałki 2 może być odwzorowany na konkretne przekształcenie. W niektórych przykładach, dwa lub większa liczba trybów predykcji wewnątrzobrazowej może być odwzorowana na to samo przekształcenie. Przekształcenia mogą odpowiadać

88 P3477PL przekształceniom kierunkowym, przekształceniom KLT, przekształceniom rotacyjnym, dyskretnej transformacji kosinusowej, dyskretnej transformacji sinusowej, przekształceniom Fouriera lub innym przekształceniom, które są specjalnie wybrane dla określonych trybów predykcji wewnątrzobrazowej. Takie przekształcenia mogą być zasadniczo określane jako zaprojektowane przekształcenia, ponieważ przekształcenia są wybrane dla określonych trybów predykcji wewnątrzobrazowej. [0137] Jak omówiono powyżej, w niektórych przykładach, zestaw trybów predykcji wewnątrzobrazowej może być odwzorowany, w zgodności typu wiele do jednego, na mniejszy zestaw, np. podzestaw, trybów predykcji wewnątrzobrazowej. Innymi słowy, kąty dla trybów predykcji wewnątrzobrazowej w dużym zestawie trybów mogą być odwzorowane na kąty trybów predykcji wewnątrzobrazowej w mniejszym zestawie trybów. W niektórych przykładach, odwzorowanie może być realizowane z wykorzystaniem wzoru matematycznego. Na przykład, wzór może zapewniać odwzorowanie, które minimalizuje bezwzględną różnicę kąta predykcji między rzeczywistym kątem kierunku predykcji, określanym tu jako α, oraz kątami kierunku predykcji mniejszego zestawu trybów predykcji wewnątrzobrazowej, określanymi tu jako kąty βi. Dla danego kąta α kierunku predykcji, wzór może zapewnić βi tak, że spełniony jest wzór (1) powyżej. Dla wygody, wzór (1) jest is ponownie zapisany poniżej: [0138] W jednym przykładzie, mniejszy zestaw trybów predykcji wewnątrzobrazowej może posiadać kąty, które

89 P3477PL są takie same jak strzałki 2E, 2I, 2M, 2Q, 2U, 2Y, I02AC i 2AG. Zatem, każdy z kątów strzałek 2 może być odwzorowany na jeden z kątów dla strzałek 2E, 21, 2M, 2Q, 2U, 2Y, 2AC i 2AG. Jako jeden przykład, kąty dla strzałek 2A-2E mogą być odwzorowane na kąt dla strzałki 2E, kąty dla strzałek 2F-2I mogą być odwzorowane na kąt dla strzałki 21, kąty dla strzałek 2J-2M mogą być odwzorowane na kąt dla strzałki 2M, kąty dla strzałek 2N-2Q mogą być odwzorowane na kąt dla strzałki 2Q, kąty dla strzałek 2R-2U mogą być odwzorowane na kąt dla strzałki 2U, kąty dla strzałek 2V-2Y mogą być odwzorowane na kąt dla strzałki 2Y, kąty dla strzałek 2Z-2AC mogą być odwzorowane na kąt dla strzałki 2AC, a kąty dla strzałek 2AD-2AG mogą być odwzorowane na kąt dla strzałki 2AG. [0139] Mogą być także zapewnione inne odwzorowania. W niektórych przykładach, koder wideo i dekoder wideo mogą być skonfigurowane z wieloma różnymi odwzorowaniami, a koder wideo może dostarczać informacje wskazujące odwzorowanie wykorzystywane dla określonego strumienia bitów, np. w danych nagłówka, zestawie parametrów sekwencji (SPS) lub innych sygnalizowanych danych. [0140] Jak omówiono powyżej, w niektórych przykładach, urządzenie do kodowania wideo (takie jak koder wideo lub dekoder wideo) może być skonfigurowane do określania, czy w bloku występuje brzeg. Na przykład, urządzenie do kodowania wideo może być skonfigurowane do określania, czy w bloku 6 występuje brzeg na podstawie analizy pikseli jednego

90 P3477PL lub większej liczby sąsiednich bloków, przy czym sąsiednie bloki mogą zawierać jeden lub większą liczbę sąsiednich pikseli 0. Zasadniczo, sąsiedni, wcześniej zakodowany blok może współdzielić krawędź z blokiem 6, przy czym krawędź może odpowiadać jednemu lub większej liczbie sąsiednich pikseli 0. Na przykład, lewy sąsiedni blok dla bloku 6 może zawierać sąsiednie piksele 0I-0P, które definiują krawędź między lewym sąsiednim blokiem i blokiem 6. [0141] Urządzenie do kodowania wideo może być skonfigurowane do obliczania gradientów dla pikseli w sąsiednim, wcześniej zakodowanym bloku w celu określenia, czy brzeg występuje w sąsiednim, wcześniej zakodowanym bloku. Urządzenie do kodowania wideo może ponadto określać, czy brzeg krzyżuje się (to znaczy przecina) z krawędzią między sąsiednim, wcześniej zakodowanym blokiem i bieżącym blokiem, takim jak blok 6. W odniesieniu do przykładu lewego sąsiedniego bloku dla bloku 6 opisanego powyżej, urządzenie do kodowania wideo może określać, czy gradienty dla pikseli w lewym sąsiednim bloku wskazują obecność brzegu, który przecina krawędź między lewym sąsiednim blokiem i blokiem 6, przy czym w tym przykładzie krawędź jest zdefiniowana przez piksele 0I-0P. Gdy urządzenie do kodowania wideo określa, że gradienty dla pikseli w lewym sąsiednim bloku wskazują obecność brzegu i że brzeg przecina krawędź zdefiniowaną przez piksele 0I-0P, urządzenie do kodowania wideo może określać, że brzeg przechodzi do bloku 6, i zgodnie z tym, że blok 6 zawiera brzeg.

91 P3477PL [0142] W niektórych przykładach, gdy urządzenie do kodowania wideo określa, że sygnalizowany tryb predykcji wewnątrzobrazowej dla bloku 6 jest trybem predykcji DC, i że blok 6 zawiera brzeg, urządzenie do kodowania wideo może przewidywać blok 6 z wykorzystaniem trybu predykcji wewnątrzobrazowej w oparciu o brzeg. Ponadto, urządzenie do kodowania wideo może określać kąt brzegu. Urządzenie do kodowania wideo może następnie określać kąt trybu predykcji, zasadniczo wskazany przez strzałki 2, który najlepiej aproksymuje kąt brzegu. Urządzenie do kodowania wideo może następnie wybierać przekształcenie (które może odpowiadać przekształceniu odwrotnemu podczas dekodowania), które jest odwzorowane na tryb predykcji wewnątrzobrazowej mający kąt, który najlepiej aproksymuje kąt brzegu, oraz stosować wybrane przekształcenie względem danych resztkowych bloku 6. Podczas procesu kodowania, urządzenie do kodowania wideo może zastosować przekształcenie względem jednostki TU bloku 6, natomiast podczas procesu dekodowania, urządzenie do kodowania wideo może zastosować przekształcenie odwrotne względem przekształconych danych resztkowych dla bloku 6. [0143] FIG. przedstawia koncepcyjny schemat ilustrujący tryby predykcji wewnątrzobrazowej 1A-1I (tryby 1 predykcji wewnątrzobrazowej) standardu H.264. Tryb predykcji wewnątrzobrazowej 1C odpowiada trybowi predykcji wewnątrzobrazowej DC, a zatem nie jest koniecznie powiązany z rzeczywistym kątem. Pozostałe tryby 1 predykcji wewnątrzobrazowej mogą być powiązane z kątem, podobnie do kątów strzałek 2

92 P3477PL na FIG. 4. Na przykład, kąt trybu 1A predykcji wewnątrzobrazowej odpowiada strzałce 2Y, kąt trybu 1B predykcji wewnątrzobrazowej odpowiada strzałce 21, kąt tryb 1D predykcji wewnątrzobrazowej odpowiada strzałce 2AG, kąt trybu 1E predykcji wewnątrzobrazowej odpowiada strzałce 2Q, kąt trybu 1F predykcji wewnątrzobrazowej odpowiada strzałce 2U, kąt 1G trybu predykcji wewnątrzobrazowej odpowiada strzałce 2M, kąt trybu 1H predykcji wewnątrzobrazowej odpowiada strzałce 2AD, a kąt trybu 1I predykcji wewnątrzobrazowej odpowiada strzałce 2E. [0144] Kąty strzałek 2, które nie odpowiadają bezpośrednio jednemu z trybów 1 predykcji wewnątrzobrazowej, mogą być odwzorowane na jeden z trybów 1 predykcji wewnątrzobrazowej. Na przykład, kąt dla jednego z trybów 1 predykcji wewnątrzobrazowej, który aproksymuje kąt jednej ze strzałek 2, może odpowiadać kątowi, na który jedna ze strzałek 2 jest odwzorowana. [014] Każdy z trybów 1 predykcji wewnątrzobrazowej może być odwzorowany na konkretne przekształcenie, np. ze zgodnością typu jeden do jednego. Na przykład, urządzenie do kodowania wideo, takie jak koder wideo lub dekoder wideo, może zawierać dane konfiguracji, które odwzorowują tryb 1C predykcji wewnątrzobrazowej na transformację DCT, oraz każdy z pozostałych trybów 1 predykcji wewnątrzobrazowej na określone przekształcenie kierunkowe, np. przekształcenie KLT. Zgodnie z powyższym, kąty dla każdego z trybów predykcji

93 P3477PL wewnątrzobrazowej powiązane ze strzałkami 2 (FIG. 4) mogą być odwzorowane na kąty trybów 1 predykcji wewnątrzobrazowej (FIG. ). Tryby 1 predykcji wewnątrzobrazowej mogą z kolei być odwzorowane na przekształcenia, np. przekształcenia kierunkowe. W ten sposób, kąty dla każdego z trybów predykcji wewnątrzobrazowej powiązane ze strzałkami 2 (FIG. 4) mogą być odwzorowane na przekształcenia kierunkowe. Zgodnie z powyższym, koder wideo i dekoder wideo mogą określać przekształcenie kierunkowe do zastosowania względem jednostki TU na podstawie trybu predykcji wewnątrzobrazowej wybranego dla jednostki PU odpowiadającej jednostce TU. [0146] FIG. 6 przedstawia koncepcyjny schemat iustrujący przykład skanowania typu zig-zag współczynników 1A-1P (współczynników 1). Współczynniki 1 zasadniczo odpowiadają kwantyzowanym współczynnikom przekształcenia, wynikającym z transformacji i kwantyzacji pikseli jednostki TU. Koder wideo może być skonfigurowany do skanowania bloku współczynników z wykorzystaniem skanowania typu zig-zag z FIG. 6 po, np. zastosowaniu transformacji DCT względem bloku resztkowego. W tym przykładzie, skanowanie typu zig-zag rozpoczyna się od współczynnika 1A, następnie przechodzi do współczynnika 1B, następnie do współczynnika 1E, następnie do współczynnika 1I, następnie do współczynnika 1F, następnie do współczynnika 1C, następnie do współczynnika 1D, następnie do współczynnika 1G, następnie do współczynnika 1J, następnie do współczynnika 1M, następnie do współczynnika 1N,

94 P3477PL następnie do współczynnika 1K, następnie do współczynnika 1H, następnie do współczynnika 1L, następnie do współczynnika 10, i ostatecznie do współczynnika 1P. [0147] W wyniku wykonywania tego skanowana, dwuwymiarowy układ współczynników dla pikseli może być przekształcony na jednowymiarową tablicę zawierającą wartości dla każdego ze współczynników 1. Te wartości mogą być rozmieszczone w tablicy w kolejności skanowania. Na przykład, wartość dla współczynnika 1A może być pierwsza w tablicy, po czym następują wartości dla współczynników 1B, 1E, 1I, 1F, i tak dalej. [0148] Inne wcześniej określone wzorce skanowania mogą być także zdefiniowane dla innych przekształceń. Na przykład, każde przekształcenie kierunkowe może być powiązane z wzorcem skanowania, które jest zaprojektowane do umieszczania współczynników niskiej częstotliwości wynikających z przekształcenia kierunkowego wcześniej w tablicy niż współczynników wyższej częstotliwości. Jedno z przekształceń kierunkowych może powodować, że współczynniki niższej częstotliwości występują wzdłuż najdalszej lewej kolumny bloku współczynników przekształcenia, w którym to przypadku może być zdefiniowane odpowiednie skanowanie, które rozpoczyna się od współczynnika 1A, następnie przechodzi do współczynnika 1E, następnie do współczynnika 11, następnie do współczynnika 1M, następnie do 1B, i tak dalej. Jako kolejny przykład, inne z przekształceń kierunkowych może powodować, że współczynniki niższej częstotliwości występują wzdłuż górnego rzędu bloku współczynników przekształcenia, w

95 P3477PL którym to przypadku może być zdefiniowane odpowiednie skanowanie, które rozpoczyna się od współczynnika 1A, następnie przechodzi do współczynnika 1B, następnie do współczynnika 1C, następnie do współczynnika 1D, następnie do współczynnika 1E, i tak dalej. [0149] W niektórych przykładach, koder wideo może być skonfigurowany do wykonywania adaptacyjnego skanowania, zamiast wcześniej określonego skanowania. Adaptacyjne skanowanie może zmieniać się w czasie na podstawie statystyk wskazujących, czy określone współczynniki (to znaczy, współczynniki odpowiadające współczynnikom 1) są istotne. Ponadto, koder wideo może obliczać oddzielne zestawy statystyk na podstawie, na przykład, trybu predykcji wewnątrzobrazowej wybranego do przewidywania bloku, indeksu przekształcenia rotacyjnego, które ma być zastosowane po początkowym przekształceniu, lub innych czynników. [00] W niektórych przykładach, koder wideo może zawierać dwie tabele dla tych statystyk: tabelę szerokiego zakresu dynamicznego i tabelę skanowania z dynamicznym aktualizowaniem. Zakładając, że blok, który ma być skanowany, posiada NxN współczynników, każda z tych dwóch tabeli może także mieć rozmiar NxN. Tabela szerokiego zakresu dynamicznego może być stałą, z góry określoną tabelą dostarczającą prawdopodobieństwa, że każdy współczynnik przekształcenia jest niezerowy. Ta tabela może być obliczona na podstawie zestawu danych treningowych. Ponadto, ta tabela może być wykorzystana do dostarczenia punktu początkowego dla kolejności adaptacyjnego skanowania. Zasadniczo, tabela szerokiego

96 P3477PL zakresu dynamicznego może być statyczna (to znaczy, niezmieniona) dla strumienia bitów. [01] Tabela skanowania z dynamicznym aktualizowaniem może być aktualizowana w czasie w celu odzwierciedlenia ostatnio określonych statystyk dla współczynników przekształcenia. W szczególności, koder wideo może utrzymywać zliczenie tego, ile razy każdy współczynnik jest niezerowy. Oznacza to, że dla każdego bloku przekształcenia, koder wideo może zwiększać wartości w tabeli skanowania z dynamicznym aktualizowaniem odpowiadające niezerowym współczynnikom w bieżącym bloku przekształcenia. Na przykład, jeżeli współczynnik przekształcenia odpowiadający współczynnikowi 1E jest niezerowy, koder wideo może dodać jeden do wartości w tabeli skanowania z dynamicznym aktualizowaniem odpowiadającej współczynnikowi 1E. Wartości w tabeli skanowania z dynamicznym aktualizowaniem mogą także być okresowo normalizowane, aby zapobiec przekraczaniu przez wartości maksymalnej wartości. [02] W celu wykonania adaptacyjnego skanowania dla pierwszej jednostki przekształcenia ramki, koder wideo może dokonywać skanowania tylko na podstawie tabeli szerokiego zakresu dynamicznego. Koder wideo może także inicjować tabelę skanowania z dynamicznym aktualizowaniem np. przez ustawianie wszystkich wartości w tabeli skanowania z dynamicznym aktualizowaniem na zero. Dla każdego niezerowego współczynnika w bloku przekształcenia, koder wideo może dodać jeden do współlokowanej wartości w tabeli skanowania z dynamicznym aktualizowaniem. Dla kolejnych

97 P3477PL bloków, koder wideo może najpierw odnieść się do tabeli skanowania z dynamicznym aktualizowaniem w celu określenia, który spośród współczynników przekształcenia ma największe prawdopodobieństwo, że będzie niezerowy, a następnie skanować w kolejności zmniejszającego się prawdopodobieństwa, że współczynniki będą niezerowe. W niektórych przypadkach, dwie lub większa liczba wartości w tabeli skanowania z dynamicznym aktualizowaniem może być jednakowa. W takim przypadku, jednostka 4 kwantyzacji odnosi się do tabeli szerokiego zakresu dynamicznego w celu określenia, który współczynnik skanować jako następny. W ten sposób, jednostka 4 kwantyzacji może wykonywać adaptacyjne skanowanie na podstawie kombinacji tabeli szerokiego zakresu dynamicznego i tabeli skanowania z dynamicznym aktualizowaniem. [03] W niektórych przykładach, tabela szerokiego zakresu dynamicznego może być taka sama dla wszystkich statystyk adaptacyjnego skanowania. Zatem, koder wideo może zawierać tabele skanowania z dynamicznym aktualizowaniem specyficzne dla, na przykład, wybranego trybu predykcji wewnątrzobrazowej, indeksu przekształcenia rotacyjnego lub ich kombinacji. W niektórych przykładach, koder wideo może być skonfigurowany do wybierania spośród z góry określonych, statycznych skanowań, gdy przekształcenie rotacyjne nie jest stosowane, oraz do wykonywania adaptacyjnego skanowania, gdy przekształcenie rotacyjne jest stosowane, oraz ponadto, do wybierania statystyk dla wykonywania adaptacyjnego skanowania na podstawie któregokolwiek lub obu spośród wybranego trybu

98 P3477PL predykcji wewnątrzobrazowej oraz indeksu wybranego przekształcenia rotacyjnego. Alternatywnie, koder wideo może być skonfigurowany do wybierania wcześniej określonego skanowania na podstawie indeksu przekształcenia rotacyjnego, trybu predykcji wewnątrzobrazowej, lub ich kombinacji. Dekoder wideo może być skonfigurowany podobnie jak koder wideo do wybierania stosownego skanowania. [04] FIG. 7A i 7B przedstawiają koncepcyjne schematy ilustrujące przykładowe drzewo czwórkowe 0 oraz odpowiednią największą jednostkę 172 kodowania. FIG. 7A przedstawia przykładowe drzewo czwórkowe 0, które zawiera węzły rozmieszczone w sposób hierarchiczny. Każdy węzeł w drzewie czwórkowym, takim jak drzewo czwórkowe 0, może być węzłem-liściem bez węzłów potomnych, lub posiadać cztery węzły potomne. W przykładzie na FIG. 7A, drzewo czwórkowe 0 zawiera węzeł-korzeń 2. Węzeł-korzeń 2 posiada cztery węzły potomne, obejmujące węzły-liście 6A-6C (węzłyliście 6) oraz węzeł 4. Ponieważ węzeł 4 nie jest węzłem-liściem, węzeł 4 zawiera cztery węzły potomne, którymi w tym przykładzie są węzły-liście 8A-8D (węzły-liście 8). [0] Drzewo czwórkowe 0 może zawierać dane opisujące charakterystyki odpowiedniej największej jednostki kodowania (LCU), takie jak jednostka LCU 172 w tym przykładzie. Na przykład, drzewo czwórkowe 0, dzięki swojej strukturze, może opisywać podział jednostki LCU na podjednostki CU. Przyjęto, że jednostka LCU 172 ma rozmiar 2Nx2N. Jednostka LCU 172, w tym przykładzie, ma cztery podjednostki CU 176A-176C

99 P3477PL (podjednostki CU 176) oraz 174, przy czym każda ma rozmiar NxN. Podjednostka CU 174 jest ponadto podzielona na cztery podjednostki CU 178A-178D (podjednostki CU 178), przy czym każda ma rozmiar N/2xN/2. Struktura drzewa czwórkowego 0 odpowiada w tym przykładzie podziałowi jednostki LCU 172. Oznacza to, że węzeł-korzeń 2 odpowiada jednostce LCU 172, węzły-liście 6 odpowiadają podjednostkom CU 176, węzeł 4 odpowiada podjednostce CU 174, a węzły-liście 8 odpowiadają podjednostkom CU 178. [06] Dane dla węzłów drzewa czwórkowego 0 mogą opisywać, czy jednostka CU odpowiadająca węzłowi jest podzielona. Jeżeli jednostka CU jest podzielona, w drzewie czwórkowym 0 mogą być obecne cztery dodatkowe węzły. W niektórych przykładach, węzeł drzewa czwórkowego może być implementowany podobnie do poniższego pseudokodu: quadtree_node { boolean split_flag(l); // signaling data if(split_flag) { quadtree_node child1; quadtree_node child2; quadtree_node child3; quadtree_node child4: } } Wartość wskaźnika split_flag może być jednobitową wartością określającą, czy jednostka CU odpowiadająca bieżącemu węzłowi jest podzielona. Jeżeli jednostka CU

100 P3477PL nie jest podzielona, wartość wskaźnika split_flag może wynosić "0", natomiast jeżeli jednostka CU jest podzielona, wartość wskaźnika split_flag może wynosić "1". W odniesieniu do przykładu drzewa czwórkowego 0, tablicą wskaźnika podziału wartości może być [07] W niektórych przykładach, każda z podjednostek CU 176 i podjednostek CU 178 może być zakodowana z wykorzystaniem predykcji wewnątrzobrazowej stosując ten sam tryb predykcji wewnątrzobrazowej. Zgodnie z powyższym, koder wideo może dostarczać wskazanie trybu predykcji wewnątrzobrazowej w węźlekorzeniu 2. Ponadto, niektóre rozmiary podjednostek CU mogą posiadać wiele możliwych przekształceń dla określonego trybu predykcji wewnątrzobrazowej. Zgodnie z technikami według niniejszego wynalazku, koder wideo może dostarczać wskazanie przekształcenia do wykorzystania dla takich podjednostek CU w węźlekorzeniu 2. Na przykład, podjednostki CU o rozmiarze N/2xN/2 mogą mieć dostępnych wiele możliwych przekształceń. Koder wideo może sygnalizować przekształcenie do wykorzystania w węźle-korzeniu 2. Zgodnie z powyższym, dekoder wideo może określać przekształcenie do zastosowania względem podjednostek CU 178 na podstawie trybu predykcji wewnątrzobrazowej sygnalizowanego w węźle-korzeniu 2 i przekształcenia sygnalizowanego w węźle-korzeniu 2. [08] Jako taki, koder wideo nie musi sygnalizować przekształcenia do zastosowania względem podjednostek CU 176 oraz podjednostek CU 178 w węzłachliściach 6 oraz węzłach-liściach 8, ale może zamiast tego zwyczajnie sygnalizować tryb predykcji

101 P3477PL wewnątrzobrazowej oraz, w niektórych przykładach, przekształcenie do zastosowania względem niektórych rozmiarów podjednostek CU, w węźle-korzeniu 2, zgodnie z technikami według niniejszego wynalazku. W ten sposób, techniki te mogą zredukować koszt narzutu sygnalizowania funkcji przekształcenia dla każdej podjednostki CU jednostki LCU, takie jak jednostka LCU 172. [09] W niektórych przykładach, tryby predykcji wewnątrzobrazowej dla podjednostek CU 176 i/lub podjednostek CU 178 mogą być inne niż tryby predykcji wewnątrzobrazowej dla jednostki LCU 172. Koder wideo i dekoder wideo mogą być skonfigurowane z funkcjami, które odwzorowują tryb predykcji wewnątrzobrazowej sygnalizowany w węźle-korzeniu 2 na dostępny tryb predykcji wewnątrzobrazowej dla podjednostek CU 176 i/lub podjednostek CU 178. Funkcja może zapewniać odwzorowanie typu wiele do jednego trybów predykcji wewnątrzobrazowej dostępnych dla jednostki LCU 172 na tryby predykcji wewnątrzobrazowej dla podjednostek CU 176 i/lub podjednostek CU 178. [0160] Mimo że FIG. 7A ilustruje przykład drzewa czwórkowego CU, to należy rozumieć, że podobne drzewo czwórkowe może być zastosowane dla jednostek TU węzłaliścia CU. Oznacza to, że węzeł-liść CU może zawierać drzewo czwórkowe TU, które opisuje dzielenie jednostek TU dla jednostki CU. Drzewo czwórkowe TU może zasadniczo przypominać drzewo czwórkowe CU, z tym wyjątkiem, że drzewo czwórkowe TU może sygnalizować tryby predykcji wewnątrzobrazowej indywidualnie dla jednostek TU jednostki CU.

102 P3477PL [0161] Fig. 8 przedstawia schemat działań ilustrujący przykładowy sposób wybierania przekształcenia i skanowania do zastosowania względem bloku na podstawie trybu predykcji wewnątrzobrazowej wybranego dla bloku. Mimo że dla celów wyjaśnienia zasadniczo opisano realizację przez komponenty kodera wideo (FIG. 2), to należy rozumieć, że inne jednostki kodowania wideo, takie jak procesory, jednostki przetwarzające, jednostki kodowania bazujące na sprzęcie, takie jak kodery/dekodery (CODEC), i temu podobne, mogą także być skonfigurowane do wykonywania sposobu według FIG. 8. [0162] W przykładzie na FIG. 8, jednostka 2 przekształcenia może początkowo odbierać dane resztkowe dla bieżącej jednostki TU (180). Dodatkowo, jednostka 2 przekształcenia może także odbierać wskazanie trybu predykcji wewnątrzobrazowej wybranego dla jednostki TU. Na podstawie tego wskazania, jednostka 2 przekształcenia może określać kierunek predykcji jednostki TU (182). Na przykład, jednostka 2 przekształcenia może określać kąt kierunku predykcji dla wskazanego trybu predykcji wewnątrzobrazowej. [0163] W dowolnym przypadku, po określeniu trybu predykcji wewnątrzobrazowej, jednostka 2 przekształcenia może wybrać przekształcenie do zastosowania względem danych resztkowych na podstawie odwzorowania z trybu predykcji wewnątrzobrazowej na przekształcenie (186). Na przykład, jednostka 2 przekształcenia może wybrać przekształcenie do zastosowania przez odpytywanie danych 66 odwzorowania z kierunkiem predykcji wewnątrzobrazowej i określać

103 P3477PL przekształcenie, na które kierunek predykcji wewnątrzobrazowej jest odwzorowany. Przekształcenie może odpowiadać dyskretnej transformacji kosinusowej lub przekształceniu kierunkowemu, takiemu jak zależne od trybu przekształcenie kierunkowe (MDDT). Jednostka 2 przekształcenia może następnie zastosować wybrane przekształcenie względem danych resztkowych w celu przekształcenia danych resztkowych (188). W niektórych przykładach, dane 66 odwzorowania mogą ponadto zawierać wskazanie, że jednostka 2 przekształcenia powinna zastosować dwa lub większą liczbę przekształceń, takich jak przekształcenie rotacyjne następujące po pierwszym przekształceniu, w którym to przypadku jednostka 2 przekształcenia może ponadto zastosować wskazane przekształcenie rotacyjne. [0164] W wyniku przekształcania danych resztkowych, jednostka 2 przekształcenia może utworzyć macierz dwuwymiarową współczynników przekształcenia mającą tę samą liczbę współczynników jak dane resztkowe. W przykładzie na FIG. 8, jednostka 4 kwantyzacji może następnie kwantyzować współczynniki przekształcenia (190). W niektórych przykładach, jednostka 4 kwantyzacji może skanować macierz dwuwymiarową współczynników w celu utworzenia jednowymiarowej tablicy, np. przed lub po kwantyzowaniu współczynników. Alternatywnie, jednostka 6 kodowania entropijnego może skanować macierz dwuwymiarową. [016] W tym przykładzie, jednostka 6 kodowania entropijnego może odpytywać dane 66 odwzorowania w celu wybrania skanowania do zastosowania względem kwantyzowanych współczynników przekształcenia (192). W

104 P3477PL00 2 niektórych przykładach, dane 66 odwzorowania mogą zawierać dane, które odwzorowują tryby predykcji wewnątrzobrazowej na konkretne, wcześniej określone wzorce skanowania. W niektórych przykładach, dane 66 odwzorowania mogą zawierać dane, które odwzorowują przekształcenia na wcześniej określone wzorce skanowania. W niektórych przykładach, np. gdy dane 66 odwzorowania wskazują, że przekształcenie rotacyjne ma być zastosowane względem współczynników przekształcenia, dane 66 odwzorowania mogą ponadto wskazywać, że powinno być wykonane adaptacyjne skanowanie, lub wcześniej określone skanowanie, na które przekształcenie rotacyjne jest odwzorowane. W przykładach, dla których wykonywane jest adaptacyjne skanowanie, dane 66 odwzorowania mogą ponadto zawierać statystyki skanowania, np. tabelę szerokiego zakresu dynamicznego i tabelę skanowania z dynamicznym aktualizowaniem, odwzorowane na tryb predykcji wewnątrzobrazowej, indeks pierwszych przekształceń, indeks przekształcenia rotacyjnego, ich kombinację, i/lub inne czynniki. [0166] Jednostka 6 kodowania entropijnego może następnie skanować kwantyzowane współczynniki przekształcenia z wykorzystaniem wybranego skanowania (194), np. wcześniej określonego skanowania lub adaptacyjnego skanowania na podstawie wybranych statystyk skanowania. W niektórych przykładach, jednostka 6 kodowania entropijnego może być skonfigurowana z pozycją skanowania (która może być mniejsza niż lub równa liczbie współczynników przekształcenia), za którą jednostka 6 kodowania

105 P3477PL entropijnego może zerować współczynnik wartości w tablicy. Po skanowaniu liczby współczynników równej pozycji skanowania, jednostka 6 kodowania entropijnego może ustawiać pozostałe wartości tablicy jako równe zero. W niektórych przykładach, zerowanie współczynników przekształcenia może następować przed lub po skanowaniu. [0167] W niektórych przykładach, po skanowaniu, jednostka 6 kodowania entropijnego może następnie kodować entropijnie skanowane współczynniki w tablicy (196). Alternatywnie, w niektórych przykładach, jednostka 6 kodowania entropijnego może kodować entropijnie współczynniki, gdy są one skanowane. W dowolnym przypadku, jednostka 6 kodowania entropijnego może wykorzystywać albo kodowanie CABAC, albo kodowanie CAVLC w celu kodowania entropijnego współczynników. [0168] Gdy wykorzystuje się kodowanie CABAC, oraz gdy wykonuje się adaptacyjne skanowanie, jednostka 6 kodowania entropijnego może kodować entropijnie elementy składni zawierające wskaźniki istotnego współczynnika i wskaźnik ostatniego współczynnika. Jednostka 6 kodowania entropijnego może wybrać modele kontekstowe dla kodowania entropijnego wskaźników istotnego współczynnika na podstawie typu bloku (tryb wewnątrzobrazowy lub międzyobrazowy), wybranego trybu predykcji wewnątrzobrazowej (zakładając, że blok jest przewidywany w trybie wewnątrzobrazowym), i/lub typu stosowanego przekształcenia (np. transformacja DCT lub przekształcenie kierunkowe/klt). Jednostka 6 kodowania entropijnego może wybrać modele kontekstowe dla kodowania entropijnego wskaźników ostatniego

106 P3477PL współczynnika na podstawie indeksu kolejności w adaptacyjnym skanowaniu, typu bloku, kierunku predykcji przestrzennej, i/lub wybranego przekształcenia. [0169] Zgodnie z powyższym, sposób według FIG. 8 reprezentuje przykład sposobu obejmującego obliczanie bloku resztkowego dla bloku danych wideo na podstawie przewidywanego bloku utworzonego z wykorzystaniem trybu predykcji wewnątrzobrazowej, oraz przekształcanie bloku resztkowego z wykorzystaniem przekształcenia odwzorowanego na tryb predykcji wewnątrzobrazowej. [0170] FIG. 9 przedstawia schemat działań ilustrujący inny przykładowy sposób wybierania przekształcenia i skanowania do zastosowania względem bloku danych resztkowych. Zasadniczo, FIG. 9 zasadniczo odpowiada FIG. 8. Jednakże, w przykładzie na FIG. 9, po odebraniu danych resztkowych (180) i wskazania trybu predykcji wewnątrzobrazowej wybranego dla jednostki TU, jednostka 2 przekształcenia może określać pierwszy kierunek predykcji dla przewidywania jednostki TU (183). Na przykład, jednostka 2 przekształcenia może określać kąt kierunku predykcji dla wskazanego trybu predykcji wewnątrzobrazowej. [0171] Jednostka 2 przekształcenia może następnie określać drugi kierunek odwzorowany na pierwszy kierunek predykcji (184). Na przykład, jednostka 2 przekształcenia może odpytywać dane 66 odwzorowania w celu określenia drugiego trybu predykcji wewnątrzobrazowej, na który odwzorowany jest pierwszy tryb predykcji wewnątrzobrazowej. W niektórych przykładach, jednostka 2 przekształcenia może określać kąt, który aproksymuje kąt wskazanego trybu predykcji

107 P3477PL wewnątrzobrazowej, i wybierać drugi tryb predykcji wewnątrzobrazowej odpowiadający określonemu kątowi. Jednostka 2 przekształcenia może następnie wybierać przekształcenie odwzorowane na drugie dane predykcji (18). Po wybraniu przekształcenia, które może odpowiadać wybieraniu wielu przekształceń, koder wideo zasadniczo wykonuje pozostałe etapy z FIG. 9 w sposób podobny do odpowiednich etapów opisanych w odniesieniu do FIG. 8. [0172] W ten sposób, sposób według FIG. 9 stanowi przykład sposobu obejmującego odbieranie wskazania pierwszego trybu predykcji wewnątrzobrazowej w pierwszym zestawie trybów predykcji wewnątrzobrazowej dla bloku danych wideo, określanie drugiego trybu predykcji wewnątrzobrazowej z mniejszego zestawu trybów predykcji wewnątrzobrazowej, na który odwzorowany jest pierwszy tryb predykcji wewnątrzobrazowej, określanie przekształcenia kierunkowego, na które drugi tryby predykcji wewnątrzobrazowej jest odwzorowany, oraz stosowanie przekształcenia kierunkowego względem danych resztkowych bloku. [0173] FIG. przedstawia schemat działań ilustrujący przykładowy sposób stosowania trybu predykcji wewnątrzobrazowej i przekształcenia względem podjednostek CU o określonym rozmiarze. Mimo że dla celów wyjaśnienia zasadniczo opisano realizację przez komponenty kodera wideo (FIG. 2), to należy rozumieć, że inne jednostki kodowania wideo, takie jak procesory, jednostki przetwarzające, jednostki kodowania oparte na sprzęcie, takie jak kodery/dekodery (CODEC), i temu podobne, mogą także być skonfigurowane

108 P3477PL do wykonywania sposobu według FIG.. Należy także rozumieć, że w innych przykładach, podobne sposoby mogą zawierać dodatkowe lub alternatywne etapy w odniesieniu do etapów zilustrowanych na FIG., lub mogą wykonywać zilustrowane etapy w innej kolejności, bez odbiegania od opisanych technik. [0174] Techniki dla wybierania i stosowania przekształcenia opisane w odniesieniu do FIG. mogą odpowiadać etapom 186 i 188 z FIG. 8. Techniki dla stosowania różnych trybów predykcji wewnątrzobrazowej względem bloków o różnych rozmiarach opisane w odniesieniu do FIG. mogą być realizowane przed etapem 180 z FIG. 8. [017] Jednostka 46 predykcji wewnątrzobrazowej może odbierać blok pikseli, np. jednostkę LCU (0). Jednostka 46 predykcji wewnątrzobrazowej może następnie określać tryb predykcji wewnątrzobrazowej do zastosowania względem jednostki LCU i sygnalizować określony tryb predykcji wewnątrzobrazowej dla jednostki LCU (1), np. w węźle-korzeniu struktury danych drzewa czwórkowego odpowiadającym jednostce LCU. Jednostka 46 predykcji wewnątrzobrazowej może następnie określać rozmiary podjednostek CU, dla których dostępny jest tylko podzestaw trybów predykcji wewnątrzobrazowej (2). Jednostka 46 predykcji wewnątrzobrazowej może ponadto dzielić jednostkę LCU na jedną lub większą liczbę podjednostek CU oraz określać, czy jakakolwiek z podjednostek CU ma rozmiar, dla którego dostępny jest tylko podzestaw trybów predykcji wewnątrzobrazowej (4).

109 P3477PL [0176] Jeżeli jednostka LCU zawiera podjednostki CU o rozmiarze, dla którego dostępny jest tylko podzestaw trybów predykcji wewnątrzobrazowej (gałąź TAK w 184), jednostka 46 predykcji wewnątrzobrazowej może przewidywać wewnątrzobrazowo podjednostki CU z wykorzystaniem trybu predykcji wewnątrzobrazowej, na który tryby predykcji wewnątrzobrazowej wybrane dla jednostki LCU są odwzorowane (6). Z drugiej strony, jeżeli jednostka LCU nie zawiera żadnych podjednostek CU, które mają taki rozmiar (gałąź NIE w 184), jednostka 46 predykcji wewnątrzobrazowej może zastosować tryb sygnalizowany dla jednostki LCU względem wszystkich podbloków jednostki LCU (8). [0177] Koder wideo może następnie obliczać wartości resztkowe dla podjednostek CU jednostki LCU. Następnie, jednostka 32 przekształcenia może określać rozmiary podjednostki CU, dla których możliwych jest wiele przekształceń na podstawie sygnalizowanego trybu predykcji wewnątrzobrazowej dla jednostki LCU (2). Jednostka 2 przekształcenia może ponadto określać, czy jakakolwiek z podjednostek CU jednostki LCU ma rozmiar, dla którego możliwych jest wiele przekształceń (212). Jeżeli co najmniej jedna podjednostka CU ma rozmiar, dla którego możliwych jest wiele przekształceń (gałąź TAK w 212), jednostka 2 przekształcenia może wybrać i sygnalizować przekształcenie do zastosowania dla podjednostek CU o tym rozmiarze (214). Na przykład, jednostka 2 przekształcenia może sygnalizować przekształcenie do zastosowania względem podjednostek CU o tym rozmiarze w węźle-korzeniu drzewa czwórkowego dla jednostki LCU. Jednostka 2 przekształcenia może

110 P3477PL także stosować sygnalizowane przekształcenie względem wszystkich podbloków w jednostce LCU o tym rozmiarze (216). Z drugiej strony, jeżeli jednostka LCU nie zawiera żadnych podjednostek CU, dla których możliwych jest wiele przekształceń (gałąź NIE w 212), jednostka 2 przekształcenia może zastosować przekształcenia względem podjednostek CU jednostki LCU jedynie na podstawie sygnalizowanego trybu predykcji wewnątrzobrazowej dla jednostki LCU (218), tak, że nie jest konieczne żadne sygnalizowanie dotyczące przekształceń. [0178] W ten sposób, sposób według FIG. stanowi przykład sposobu obejmującego wybieranie trybu predykcji wewnątrzobrazowej do wykorzystania do zakodowania bloku danych wideo, określanie, czy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń na podstawie rozmiaru podbloku wybranego trybu predykcji wewnątrzobrazowej, gdy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń na podstawie rozmiaru podbloku i wybranego trybu predykcji wewnątrzobrazowej, wybieranie jednego z wielu możliwych przekształceń, przekształcanie podbloku z wykorzystaniem wybranego przekształcenia spośród wielu możliwych przekształceń, oraz dostarczanie wskazania wybranego przekształcenia spośród wielu możliwych przekształceń dla rozmiaru bloku. [0179] FIG. 11 przedstawia schemat działań ilustrujący przykładowy sposób wykonywania adaptacyjnego skanowania na podstawie wybranego przekształcenia stosowanego względem bloku. Mimo że dla

111 P3477PL celów wyjaśnienia zasadniczo opisano realizację przez komponenty kodera wideo (FIG. 2), to należy rozumieć, że inne jednostki kodowania wideo, takie jak procesory, jednostki przetwarzające, jednostki kodowania oparte na sprzęcie, takie jak kodery/dekodery (CODEC), i temu podobne, mogą także być skonfigurowane do wykonywania sposobu według FIG. 11. [0180] Należy także rozumieć, że w innych przykładach, podobne sposoby mogą zawierać dodatkowe lub alternatywne etapy w odniesieniu do etapów zilustrowanych na FIG. 11, lub mogą wykonywać zilustrowane etapy w innej kolejności, bez odbiegania od opisanych technik. Techniki dla adaptacyjnego skanowania współczynników następującego po przekształceniach kaskadowych jak zilustrowano na FIG. 11 mogą odpowiadać etapom 192 i 194 na FIG. 8. Techniki dla adaptacyjnego skanowania resztkowych współczynników z FIG. 11 mogą być zastosowane względem danych resztkowych po predykcji wewnątrzobrazowej lub predykcji międzyobrazowej. [0181] Początkowo, jednostka 2 przekształcenia kodera wideo może odbierać blok resztkowy (2). Blok resztkowy może odpowiadać reszcie po predykcji wewnątrzobrazowej lub predykcji międzyobrazowej jednostki CU. Blok resztkowy może mieć taki sam rozmiar lub inny rozmiar niż odpowiednia jednostka predykcji jednostki CU. Jednostka 2 przekształcenia może następnie przekształcać blok resztkowy (232). W niektórych przykładach, jednostka 2 przekształcenia może zastosować przekształcenie kierunkowe odpowiadające trybowi predykcji wewnątrzobrazowej z

112 P3477PL podzestawu trybów predykcji wewnątrzobrazowej, zgodnie z technikami według niniejszego wynalazku. W innych przykładach, jednostka 2 przekształcenia może zastosować dyskretną transformację kosinusową. [0182] Jednostka 2 przekształcenia może następnie stosować przekształcenie rotacyjne względem przekształconego bloku (234). Dla jednostek przekształcenia (jednostek TU) o rozmiarach 8x8 i większych, względem których jednostka 2 przekształcenia stosuje transformację DCT, jednostka 2 przekształcenia może zastosować przekształcenie rotacyjne względem współczynników DCT 8x8 najniższej częstotliwości. Dla jednostek TU mniejszych niż 8x8, jednostka 2 przekształcenia może zastosować przekształcenie rotacyjne względem całej jednostki TU. Jeżeli jednostka PU odpowiadająca jednostce TU została zakodowana z wykorzystaniem predykcji wewnątrzobrazowej, jednostka 2 przekształcenia może wybrać przekształcenie rotacyjne na podstawie trybu predykcji wewnątrzobrazowej wykorzystywanego do przewidywania jednostki PU, np. gdy podzestaw trybów predykcji wewnątrzobrazowej może być odwzorowany na przekształcenia rotacyjne. Te przekształcenia rotacyjne mogą być określane jako zależne od trybu przekształcenia rotacyjne (MDROT). W niektórych przykładach, jednostka 2 przekształcenia może kaskadowo wykonywać przekształcenie rotacyjne (lub inne drugorzędne przekształcenie rozłączne) po zależnym od trybu przekształceniu kierunkowym (MDDT), którym może być przekształcenie KLT.

113 P3477PL [0183] Po przekształceniu rotacyjnym, w niektórych przykładach, jednostka 4 kwantyzacji może kwantyzować przekształcone współczynniki. Następnie, jednostka 6 kodowania entropijnego może wybrać zestaw statystyk do wykorzystania w celu wykonywania adaptacyjnego skanowania współczynników przekształcenia. Zestaw statystyk może zawierać tabelę szerokiego zakresu dynamicznego (HDR) oraz tabelę z dynamicznym aktualizowaniem (DU). Dowolna lub obie spośród tabeli HDR i DU mogą być wybrane dla określonego scenariusza, np. zależnie od tego, czy predykcja wewnątrzobrazowa, czy predykcja międzyobrazowa została wykorzystana do przewidywania jednostki PU, określonego trybu predykcji wewnątrzobrazowej dla jednostki PU, gdy wykorzystywana jest predykcja wewnątrzobrazowa, zależnie od tego, czy transformacja DCT, czy przekształcenie KLT zostało zastosowane względem jednostki TU odpowiadającej jednostce PU, indeksu zastosowanego przekształcenia rotacyjnego, lub dowolnej ich kombinacji. W ten sposób, jednostka 6 kodowania entropijnego może wybrać tabelę HDR i/lub tabelę DU do wykorzystania podczas adaptacyjnego skanowania (236). [0184] Jak omówiono powyżej, tabela HDR może zawierać wcześniej określony zestaw danych wskazujących prawdopodobieństwa, że współczynniki każdej lokalizacji w macierzy są niezerowe. Tabela HDR może być utworzona z wykorzystaniem zestawu danych treningowych, i może pozostać taka sama w obrębie całego strumienia bitów. Jednostka 6 kodowania entropijnego może gromadzić statystyki indywidualne dla ramki, wycinka typu slice, grupy obrazów lub innej jednostki danych wideo w celu

114 P3477PL obliczenia wartości dla tabeli DU. Tabela DU może zatem także wskazywać prawdopodobieństwa, że współczynniki każdej lokalizacji w macierzy są niezerowe. [018] W celu wykonania adaptacyjnego skanowania, jednostka 6 kodowania entropijnego może najpierw określać lokalizację w macierzy mającą największe prawdopodobieństwo posiadania niezerowego współczynnika z wykorzystaniem tabeli DU (238). W niektórych przypadkach, mogą występować dwie lub większa liczba lokalizacji w macierzy z jednakowymi prawdopodobieństwami posiadania niezerowych współczynników. Zatem, jednostka 6 kodowania entropijnego może określać, czy w macierzy występuje wiele lokalizacji o takich samych prawdopodobieństwach posiadania niezerowych współczynników (240). Jeżeli w macierzy występuje wiele lokalizacji o takich samych prawdopodobieństwach posiadania niezerowych współczynników (gałąź TAK w 240), jednostka 6 kodowania entropijnego może określać lokalizację w macierzy, mającą największe prawdopodobieństwo posiadania niezerowego współczynnika z wykorzystaniem tabeli HDR (242). [0186] Jednostka 6 kodowania entropijnego może następnie skanować i kodować entropijnie współczynnik w określonej lokalizacji (244). Jednostka 6 kodowania entropijnego może także określać, czy skanowany współczynnik był rzeczywiście niezerowy i ustawiać wartość dla wskaźnika istotnego współczynnika w celu wskazania, czy skanowany współczynnik był niezerowy, a zatem istotny. Jednostka 6 kodowania entropijnego może następnie określać, czy wszystkie współczynniki w

115 P3477PL macierzy zostały przeskanowane (246). Jeżeli nie (gałąź NIE w 246), jednostka 6 kodowania entropijnego może określać lokalizację w macierzy mającą następne największe prawdopodobieństwo posiadania niezerowego współczynnika z wykorzystaniem tabeli DU (lub możliwie tabela HDR), i skanować współczynnik w tej lokalizacji. [0187] Po przeskanowaniu wszystkich współczynników (gałąź TAK w 246), jednostka kodowania entropijnego może zatrzymać skanowanie. Ponadto, w niektórych przykładach, jednostka 6 kodowania entropijnego może ustawić wartość wskaźnika ostatniego współczynnika dla każdego współczynnika w celu wskazania, czy odpowiedni współczynnik jest ostatnim współczynnikiem we wskaźniku. Po określeniu, że wszystkie współczynniki zostały przeskanowane (gałąź TAK w 246), jednostka 6 kodowania entropijnego może ustawić wartość dla wskaźnika ostatniego współczynnika odpowiadającego ostatniemu skanowanemu współczynnikowi równą jeden. Z wykorzystaniem technik z FIG. 12 jak opisano poniżej, jednostka 6 kodowania entropijnego może zakodować elementy składni zawierające wskaźniki istotnego współczynnika i wskaźniki ostatniego współczynnika. [0188] W niektórych przykładach, po skanowaniu (czy to adaptacyjnym, czy stałym), koder wideo może zerować współczynniki w tablicy utworzonej przez skanowanie, np. wszystkie współczynniki za pozycją N w tablicy, gdzie N jest liczbą całkowitą między zerem i długością tablicy. W innych przykładach, koder wideo może zerować współczynniki w określonych lokalizacjach macierzy po przekształceniu (przekształceniach) lub kwantyzacji. Te lokalizacje mogą odpowiadać, na

116 P3477PL przykład, lewemu górnemu rogowi macierzy. Zasadniczo, zerowanie tych współczynników może skutkować zerowaniem współczynników wyższej częstotliwości, co może zwiększyć wydajność kodowania bez dużego wpływu na jakość. [0189] Zgodnie z powyższym, sposób według FIG. 11 stanowi przykład sposobu obejmującego przekształcanie danych resztkowych dla bloku danych wideo z wykorzystaniem pierwszego przekształcenia w celu utworzenia pośredniego, dwuwymiarowego bloku współczynników przekształcenia, przekształcanie pośredniego, dwuwymiarowego bloku współczynników przekształcenia z wykorzystaniem przekształcenia rotacyjnego w celu utworzenia dwuwymiarowego bloku współczynników przekształcenia, wybieranie zestawu statystyk powiązanego z co najmniej jednym spośród pierwszego przekształcenia i przekształcenia rotacyjnego, przy czym zestaw statystyk dostarcza prawdopodobieństwa, że lokalizacje w dwuwymiarowym bloku współczynników przekształcenia będą niezerowe, oraz adaptacyjne skanowanie dwuwymiarowego bloku współczynników przekształcenia na podstawie wybranego zestawu statystyk. [0190] FIG. 12 przedstawia schemat działań ilustrujący przykładowy sposób wybierania modelu kontekstowego do zastosowania podczas skanowania oraz kodowania entropijnego elementów składni, które opisują współczynniki skanowane adaptacyjnie. Mimo że dla celów wyjaśnienia zasadniczo opisano realizację przez komponenty kodera wideo (FIG. 2), to należy rozumieć, że inne jednostki kodowania wideo, takie jak

117 P3477PL procesory, jednostki przetwarzające, jednostki kodowania oparte na sprzęcie, takie jak kodery/dekodery (CODEC), i temu podobne, mogą także być skonfigurowane do wykonywania sposobu według FIG. 12. [0191] Należy także rozumieć, że w innych przykładach, podobne sposoby mogą zawierać dodatkowe lub alternatywne etapy w odniesieniu do etapów zilustrowanych na FIG. 12, lub mogą wykonywać zilustrowane etapy w innej kolejności, bez odbiegania od opisanych technik. Techniki wybierania modelu kontekstowego do wykorzystania podczas skanowania oraz kodowania entropijnego elementów składni, które opisują współczynniki skanowane adaptacyjnie, jak zilustrowano na FIG. 11, mogą odpowiadać etapom na FIG. 8. Techniki na FIG. 12 mogą być realizowane przed, podczas, lub po wykonaniu adaptacyjnego skanowania z FIG. 11. [0192] Jednostka 6 kodowania entropijnego może odbierać macierz kwantyzowanych współczynników przekształcenia (), np. od jednostki 4 kwantyzacji. Zasadniczo, wykorzystując przykładowy sposób z FIG. 12, jednostka 6 kodowania entropijnego może zakodować elementy składni, które opisują odebrane współczynniki. Elementy składni mogą zawierać, dla każdego współczynnika, wskaźnik istotnego współczynnika i wskaźnik ostatniego współczynnika. Wskaźnik istotnego współczynnika może wskazywać, czy odpowiedni współczynnik jest istotny, np. czy wartość odpowiedniego współczynnika jest większa niż zero. Wskaźnik ostatniego współczynnika może wskazywać, czy

118 P3477PL odpowiedni współczynnik jest ostatnim współczynnikiem adaptacyjnego skanowania. [0193] Jednostka 6 kodowania entropijnego może określać pozycje istotnych współczynników w odebranej macierzy. Jednostka 6 kodowania entropijnego może tworzyć elementy składni wskazujące pozycje istotnych współczynników w odebranej macierzy (22). Na przykład, dla każdego współczynnika w macierzy, jednostka 6 kodowania entropijnego może określać, czy współczynnik jest większy niż zero, a jeżeli jest większy, może ustawiać wartość w macierzy elementów składni, współlokowaną ze współczynnikiem, jako równą jeden, w przeciwnym przypadku, jednostka kodowania entropijnego może ustawiać wartość współlokowaną ze współczynnikiem jako równą zero. Jednostka 6 kodowania entropijnego może następnie aktualizować tabelę skanowania z dynamicznym aktualizowaniem z wykorzystaniem macierzy elementów składni (24). Na przykład, jednostka 6 kodowania entropijnego może dodać, do bieżącej wartości każdego elementu w tabeli skanowania z dynamicznym aktualizowaniem, wartość współlokowanego elementu składni w macierzy elementów składni. [0194] Jednostka 6 kodowania entropijnego może następnie skanować pierwszy spośród elementów składni w macierzy elementów składni (26). Jednostka 6 kodowania entropijnego może zastosować skanowanie typu zig-zag, takie jak skanowanie przedstawione na FIG. 6A, lub skanowanie wybrane na podstawie typu bloku (blok przewidywany międzyobrazowo lub wewnątrzobrazowo), kierunku predykcji przestrzennej, jeżeli blok jest blokiem zakodowanym z wykorzystaniem predykcji

119 P3477PL wewnątrzobrazowej, i/lub typu wykorzystanego przekształcenia (np. transformacja DCT lub przekształcenie kierunkowe). Następnie, jednostka 6 kodowania entropijnego może wybrać model kontekstowy dla kodowania skanowanego elementu składni (28). Zasadniczo, model kontekstowy może być wybrany na podstawie liczby istotnych (np. niezerowych) współczynników we wcześniej skanowanych N współczynnikach, gdzie N jest niezerową wartością całkowitą. N może być wybrane na podstawie rozmiaru bloku. [019] Po wybraniu modelu kontekstowego do wykorzystania w celu zakodowania bieżącego elementu składni, jednostka 6 kodowania entropijnego może kodować entropijnie skanowany element składni z wykorzystaniem wybranego modelu kontekstowego (260). Jednostka 6 kodowania entropijnego może następnie określać, czy zakodowany element składni jest ostatnim elementem składni, który ma być zakodowany (262). Jeżeli element składni jest ostatnim elementem składni (gałąź TAK w 262), jednostka 6 kodowania entropijnego może zatrzymać skanowanie współczynników. Z drugiej strony, jeżeli element składni nie jest ostatnim elementem składni (gałąź NIE w 262), jednostka 6 kodowania entropijnego może skanować następny element składni (264), i ponownie wybrać model kontekstowy dla kodowania skanowanego elementu składni, np. na podstawie liczby istotnych współczynników we wcześniej skanowanych N współczynnikach. [0196] Przykład na FIG. 12 jest omówiony głównie w odniesieniu do elementów składni opisujących, czy

120 P3477PL określone współczynniki są istotne, czy nie. Te elementy składni mogą zawierać, na przykład, wskaźniki istotnego współczynnika, np. jednobitowe wskaźniki wskazujące, czy odpowiednie współczynniki są istotne, np. niezerowe. Należy rozumieć, że podobne techniki mogą być zastosowane w odniesieniu do elementów składni opisujących, czy określony współczynnik jest ostatnim współczynnikiem w adaptacyjnym skanowaniu. Na przykład, podobne techniki mogą być zastosowane względem wskaźnika ostatniego współczynnika. Podczas kodowania wskaźników ostatniego współczynnika z wykorzystaniem kodowania CABAC, model kontekstowy może opierać się na indeksie kolejności w adaptacyjnym skanowaniu, to znaczy na typie bloku, kierunku predykcji przestrzennej i/lub wybranym przekształceniu. [0197] Techniki z FIG. 12 mogą być realizowane przez urządzenie do kodowania wideo, takie jak koder wideo. Dekoder wideo może wykonywać skanowanie odwrotne z wykorzystaniem elementów składni zakodowanych zgodnie z FIG 12. Na przykład, dekoder wideo może odbierać wskazanie trybu predykcji wewnątrzobrazowej wykorzystywanego do przewidywania zakodowanego bloku, wskazanie przekształcenia rotacyjnego wykorzystywanego do przekształcania zakodowanego bloku, lub inne tego typu dane. Zarówno koder wideo, jak i dekoder wideo może być skonfigurowany z tą samą tabelą szerokiego zakresu dynamicznego. W przykładach, w których koder wideo zawiera wiele tabeli szerokiego zakresu dynamicznego, zarówno koder wideo, jak i dekoder wideo może być skonfigurowany z tym samym zestawem tabeli szerokiego zakresu dynamicznego. W

121 P3477PL takich przykładach, dekoder wideo może wykorzystywać odebrane informacje w celu wybrania tej samej tabeli szerokiego zakresu dynamicznego jak tabela wykorzystywana przez koder wideo do wykonania adaptacyjnego skanowania. [0198] Jak wskazano powyżej, koder wideo może wykonywać adaptacyjne skanowanie na podstawie statystyk wskazujących szanse (lub prawdopodobieństwo), że współczynnik w określonej pozycji w macierzy jest niezerowy. Koder wideo może utrzymywać tabelę skanowania z dynamicznym aktualizowaniem, która wskazuje to prawdopodobieństwo, aktualizując tabelę skanowania z dynamicznym aktualizowaniem dla każdego skanowanego bloku. Dzięki kodowaniu elementów składni wskazujących, które spośród współczynników określonego bloku są istotne, oraz który współczynnik jest ostatni w adaptacyjnym skanowaniu, koder wideo może dostarczyć do dekodera wideo informacje, które mogą być wykorzystane do skanowania odwrotnego odebranych współczynników. [0199] Na przykład, dekoder wideo może dekodować elementy składni, a następnie aktualizować lokalną wersję tabeli skanowania z dynamicznym aktualizowaniem z wykorzystaniem elementów składni. Dekoder wideo może następnie dekodować entropijnie zakodowane współczynniki i umieszczać dekodowane współczynniki, w odpowiedniej pozycji macierzy, mające kolejne największe prawdopodobieństwo, że będą istotne (np. niezerowe). W ten sposób, dekoder wideo może zrekonstruować macierz kwantyzowanych współczynników przekształcenia z odebranego wektora kodowanych

122 P3477PL entropijnie współczynników z wykorzystaniem adaptacyjnego skanowania odwrotnego. [00] Zgodnie z powyższym, sposób według FIG. 12 stanowi przykład sposobu obejmującego skanowanie dwuwymiarowego bloku współczynników przekształcenia w celu utworzenia jednowymiarowego wektora współczynników przekształcenia, określanie wartości wskazujących, czy współczynniki przekształcenia w jednowymiarowym wektorze są istotne, oraz kodowanie entropijne co najmniej jednej z wartości z wykorzystaniem modelu kontekstowego wybranego na podstawie co najmniej wartości procentowej istotnych współczynników w z góry określonej liczbie wartości zakodowanych przed co najmniej jedną z wartości. [01] FIG. 13 przedstawia schemat działań ilustrujący przykładowy sposób dekodowania jednostki TU, która została zakodowana z wykorzystaniem jednej lub większej liczby technik według niniejszego wynalazku. Mimo że dla celów wyjaśnienia zasadniczo opisano realizację przez komponenty kodera wideo (FIG. 3), to należy rozumieć, że inne jednostki dekodowania wideo, takie jak procesory, jednostki przetwarzające, jednostki kodowania oparte na sprzęcie, takie jak kodery/dekodery (CODEC), i temu podobne, mogą także być skonfigurowane do wykonywania sposobu według FIG. 13. Należy także rozumieć, że w innych przykładach, podobne sposoby mogą zawierać dodatkowe lub alternatywne etapy w odniesieniu do etapów zilustrowanych na FIG. 13, lub mogą wykonywać zilustrowane etapy w innej kolejności, bez odbiegania od opisanych technik.

123 P3477PL [02] Początkowo, dekoder wideo może odbierać zakodowane dane resztkowe (0). W przykładzie na FIG. 13, dane resztkowe odpowiadają danym resztkowym jednostki CU zawierającej jedną lub większą liczbę jednostek PU przewidywanych w trybie predykcji wewnątrzobrazowej, dla celów ilustracji. Zgodnie z technikami według niniejszego wynalazku, dekoder wideo może określać pierwszy kierunek predykcji dla danych predykcji powiązanych z odebranymi danymi resztkowymi (2). Kierunek predykcji może odpowiadać trybowi predykcji wewnątrzobrazowej sygnalizowanemu w korzeniu drzewa czwórkowego odpowiadającego jednostce CU. [03] Dekoder wideo może określać drugi kierunek predykcji odwzorowany na pierwszy kierunek predykcji (4). Na przykład, dane 84 odwzorowania mogą zapewniać odwzorowanie typu wiele do jednego zestawu trybów predykcji wewnątrzobrazowej na mniejszy zestaw, np. podzestaw, trybów predykcji wewnątrzobrazowej. Zgodnie z powyższym, dekoder wideo może odnosić się do danych 84 odwzorowania w celu określania drugiego kierunku predykcji odwzorowanego na pierwszy kierunek predykcji. Jednostka 70 dekodowania entropijnego dekodera wideo może następnie rozpocząć dekodowanie entropijne odebranych współczynników (6). [04] Jednostka 70 dekodowania entropijnego może także skanować odwrotnie współczynniki podczas lub po dekodowaniu entropijnym (8). W niektórych przykładach, jednostka 70 dekodowania entropijnego może odwracać stałe skanowanie, na które drugi kierunek predykcji jest odwzorowany, np. jak wskazano przez dane

124 P3477PL odwzorowania. W innych przykładach, np., gdy po pierwszym przekształceniu kaskadowo następuje przekształcenie rotacyjne, jednostka 70 dekodowania entropijnego może odwracać dynamiczne skanowanie. Jak omówiono powyżej, jednostka 70 dekodowania entropijnego może, w takich przykładach, odbierać i dekodować elementy składni, takie jak wskaźniki istotnego współczynnika i wskaźniki ostatniego współczynnika tak, że jednostka 70 dekodowania entropijnego może utworzyć tabelę z dynamicznym aktualizowaniem identyczną jak tabela wykorzystywana przez koder, taki jak koder wideo, gdy koder adaptacyjnie przeskanuje dane resztkowe. [0] W dowolnym przypadku, po skanowaniu odwrotnym, jednostka 70 dekodowania entropijnego może utworzyć macierz dwuwymiarowa zawierającą kwantyzowane współczynniki przekształcenia. Zatem, jednostka 76 kwantyzacji odwrotnej może kwantyzować odwrotnie kwantyzowane współczynniki przekształcenia macierzy (3). Jednostka 78 przekształcenia odwrotnego może wybrać przekształcenie odwrotne odwzorowane na drugi kierunek predykcji (312) i przekształcać odwrotnie współczynniki przekształcenia z wykorzystaniem wybranego przekształcenia odwrotnego (314). Na przykład, jednostka 76 przekształcenia odwrotnego może odnosić się do danych 84 odwzorowania w celu wybrania przekształcenia odwrotnego. W niektórych przykładach, dane 84 odwzorowania mogą wskazywać zarówno odwrotne przekształcenie rotacyjne, jak i kolejne przekształcenie odwrotne do zastosowania, w którym to przypadku jednostka 78 przekształcenia odwrotnego może

125 P3477PL najpierw stosować odwrotne przekształcenie rotacyjne, a następnie stosować kolejne przekształcenie odwrotne względem współczynników przekształcenia. [06] Zgodnie z technikami według niniejszego wynalazku, w niektórych przykładach, może występować podblok współczynników przekształcenia, dla którego możliwych jest wiele przekształceń odwrotnych. W takich przykładach, dekoder wideo może określać przekształcenie odwrotne do zastosowania z wykorzystaniem wskazania przekształcenia stosowanego przez koder wideo. Na przykład, dekoder wideo może odbierać wskazanie przekształcenia wykorzystywanego dla podbloku w węźle-korzeniu drzewa czwórkowego odpowiadającym blokowi zawierającemu dane resztkowe. [07] Po zastosowaniu przekształcenia odwrotnego (przekształceń odwrotnych), dekoder wideo otrzymuje bloki resztkowe podobne do bloków obliczonych przez koder wideo podczas kodowania danych wideo. Jednostka 74 predykcji wewnątrzobrazowej może dostarczać jednostkę predykcji dla danych resztkowych do sumatora 80, który może łączyć jednostkę predykcji i dane resztkowe w celu utworzenia dekodowanej jednostki CU (316). Dekoder wideo może składać dekodowaną ramkę zawierającą dekodowaną jednostkę CU w pamięci 82 ramek odniesienia. Dekodowana ramka może następnie być odtwarzana dla wyświetlenia i/lub wykorzystana jako odniesienie podczas dekodowania innych ramek. [08] Zgodnie z powyższym, sposób według FIG. 13 stanowi przykład sposobu obejmującego odbieranie wskazania pierwszego trybu predykcji wewnątrzobrazowej w pierwszym zestawie trybów predykcji wewnątrzobrazowej

126 P3477PL dla bloku zakodowanych danych wideo, określanie drugiego trybu predykcji wewnątrzobrazowej z mniejszego zestawu trybów predykcji wewnątrzobrazowej, na który odwzorowany jest pierwszy tryb predykcji wewnątrzobrazowej, określanie odwrotnego przekształcenia kierunkowego, na które drugi tryby predykcji wewnątrzobrazowej jest odwzorowany, i stosowanie odwrotnego przekształcenia kierunkowego względem przekształconych danych resztkowych bloku. [09] Sposób według FIG. 13 stanowi także przykład sposobu obejmującego odbieranie pierwszego wskazania trybu predykcji wewnątrzobrazowej do wykorzystania do dekodowania bloku danych wideo, określanie, czy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń na podstawie rozmiaru podbloku i wskazanego trybu predykcji wewnątrzobrazowej, gdy blok zawiera podblok o rozmiarze, dla którego możliwych jest wiele przekształceń odwrotnych na podstawie rozmiaru podbloku i wskazanego trybu predykcji wewnątrzobrazowej, odbieranie drugiego wskazania jednego z wielu możliwych przekształceń odwrotnych, oraz przekształcanie odwrotne podbloku z wykorzystaniem wskazanego przekształcenia spośród wielu możliwych przekształceń odwrotnych. [02] Sposób według FIG. 13 stanowi także przykład sposobu obejmującego odbieranie wskazania, że dane resztkowe dla bloku danych wideo zostały przekształcone z wykorzystaniem zarówno pierwszego przekształcenia, jak i przekształcenia rotacyjnego w celu utworzenia dwuwymiarowego bloku współczynników przekształcenia, wybieranie zestawu statystyk powiązanego z co najmniej

127 P3477PL jednym spośród pierwszego przekształcenia i przekształcenia rotacyjnego, przy czym zestaw statystyk dostarcza prawdopodobieństwa, że lokalizacje w dwuwymiarowym bloku współczynników przekształcenia będą niezerowe, oraz adaptacyjne skanowanie odwrotne odebranego jednowymiarowego wektora zawierającego zakodowaną wersję danych resztkowych dla bloku na podstawie wybranego zestawu statystyk, w celu utworzenia macierzy dwuwymiarowej współczynników przekształcenia dla bloku. [0211] Sposób według FIG. 13 stanowi także przykład sposobu obejmującego odbieranie wartości wskazującej, czy zakodowane współczynniki przekształcenia w odebranym jednowymiarowym wektorze zakodowanych współczynników przekształcenia są istotne, dekodowanie entropijne co najmniej jednej z wartości z wykorzystaniem modelu kontekstowego wybranego na podstawie co najmniej wartości procentowej istotnych współczynników w z góry określonej liczbie wartości dekodowanych przed co najmniej jedną z wartości, i skanowanie odwrotne jednowymiarowego wektora w celu utworzenia dwuwymiarowego bloku współczynników przekształcenia. [0212] FIG. 14 przedstawia schemat działań ilustrujący przykładowy sposób wybierania przekształcenia do zastosowania względem kodowanego wewnątrzobrazowo bloku zawierającego brzeg, dla którego jest sygnalizowany tryb predykcji wewnątrzobrazowej DC. Mimo że opis odnosi się do dekodera wideo z FIG. 3, to należy rozumieć, że podobne (odwrotne) techniki mogą

128 P3477PL być zastosowane przez koder wideo z FIG. 2, lub inne urządzenia do kodowania wideo. [0213] Koder wideo może odbierać kodowany wewnątrzobrazowo blok, np. jednostkę TU (180). Blok może zawierać blok współczynników przekształcenia odpowiadający węzłowi w drzewie czwórkowym TU. Węzeł drzewa czwórkowego TU może zawierać wskazanie trybu predykcji wewnątrzobrazowej do zastosowania w celu obliczenia wartości predykcji dla bloku. Zgodnie z powyższym, dekoder wideo może określać tryb predykcji i to, czy tryb predykcji DC jest sygnalizowany dla bloku (32). Jeżeli tryb predykcji DC jest sygnalizowany dla bloku (gałąź TAK w 32), dekoder wideo może ponadto określać, czy w bloku występuje brzeg (34). Na przykład, jak omówiono powyżej, dekoder wideo może badać sąsiednie, wcześniej zakodowane bloki w celu określenia, czy brzeg jest wykryty we wcześniej zakodowanych blokach, oraz czy brzeg przecina granicę między wcześniej zakodowanym blokiem i bieżącym blokiem. [0214] Jeżeli zostanie określone, że w bloku występuje brzeg (gałąź TAK w 34), dekoder wideo może obliczać przewidywaną wartość dla bloku z wykorzystaniem trybu predykcji w oparciu o brzeg (36). Ponadto, dekoder wideo może określać kąt brzegu (38) i określać tryb wewnątrzobrazowy z kątem, który dobrze aproksymuje kąt brzegu (360). Na przykład, dekoder wideo może obliczać różnice między kątami dla jednego lub większej liczby możliwych trybów predykcji wewnątrzobrazowej oraz kątem brzegu, oraz

129 P3477PL wybierać tryb predykcji wewnątrzobrazowej mający najmniejszą różnicę. [02] Określanie tego trybu predykcji jest jednak zasadniczo wykonywane tylko w celu określenia przekształcenia, które jest odwzorowane na ten tryb predykcji, ponieważ, w tym przykładzie, dekoder wideo zasadniczo przewiduje wartość dla bloku z wykorzystaniem trybu predykcji w oparciu o brzeg. Oznacza to, że dekoder wideo może następnie wybierać przekształcenie odwzorowane na określony tryb predykcji wewnątrzobrazowej (362), to znaczy tryb predykcji wewnątrzobrazowej mający kąt, który dobrze aproksymuje kąt brzegu. Dekoder wideo może następnie przekształcać blok z wykorzystaniem wybranego przekształcenia (364). [0216] Z drugiej strony, jeżeli tryb predykcji DC nie był sygnalizowany dla bloku (gałąź NIE w 32), dekoder wideo może przewidywać blok z wykorzystaniem sygnalizowanego trybu (33). Jeżeli nie zostanie określone występowanie brzegu w bloku, gdy tryb predykcji DC jest sygnalizowany (gałąź NIE w 34), dekoder wideo może przewidywać blok z wykorzystaniem trybu predykcji DC, jak zasygnalizowano (366). Dekoder wideo może także wybrać przekształcenie odwzorowane na tryb predykcji (np. przekształcenie DC lub kierunkowe, jak zasygnalizowano) (368) lub w niektórych przykładach domyślne przekształcenie, takie jak transformacja DCT. Dekoder wideo może także w tym przypadku przekształcać blok z wykorzystaniem wybranego przekształcenia (364).

130 P3477PL [0217] Po przekształceniu bloku, które w tym przykładzie odpowiada przekształceniu odwrotnemu bloku, dekoder wideo odtwarza blok wartości resztkowych w dziedzinie przestrzennej. W celu dekodowania bloku, dekoder wideo może dodać blok wartości resztkowych do przewidywanego bloku (będącego rezultatem z etapów 33, 36 lub 366). Dla zwięzłości, etapy dodawania wartości resztkowej do przewidywanej wartości nie są przedstawione na FIG. 14, ale mogą być wykonane po etapie 364. [0218] Zgodnie z powyższym, sposób według FIG. 14 stanowi przykład sposobu obejmującego odbieranie informacji wskazujących, że trybem predykcji wewnątrzobrazowej dla bloku danych wideo jest tryb predykcji wewnątrzobrazowej DC, określanie kąta dla brzegu w bloku danych wideo na podstawie wskazania trybu predykcji wewnątrzobrazowej DC dla bloku, przekształcanie odwrotne bloku z wykorzystaniem odwrotnego przekształcenia kierunkowego odwzorowanego na tryb kierunkowej predykcji wewnątrzobrazowej mający kąt, który aproksymuje kąt brzegu, oraz dekodowanie bloku przekształconego odwrotnie. [0219] Jak wskazano powyżej, podobny sposób może być wykonany przez, np., koder wideo. Taki sposób może obejmować określanie, że blok, który ma być zakodowany z wykorzystaniem predykcji wewnątrzobrazowej, zawiera brzeg w obrębie bloku, obliczanie bloku resztkowego dla bloku na podstawie wartości predykcji obliczonej z wykorzystaniem trybu predykcji wewnątrzobrazowej ukierunkowanego na brzeg, przekształcanie bloku resztkowego z wykorzystaniem przekształcenia

131 P3477PL kierunkowego odwzorowanego na tryb kierunkowej predykcji wewnątrzobrazowej mający kąt, który aproksymuje kąt brzegu, oraz dostarczanie informacji reprezentatywnych dla przekształconego bloku resztkowego oraz informacji wskazujących, że blok został przewidziany z wykorzystaniem trybu predykcji wewnątrzobrazowej DC. [02] W jednym lub większej liczbie przykładów, opisane funkcje mogą być implementowane w sprzęcie, oprogramowaniu, oprogramowaniu układowym, lub dowolnej ich kombinacji. W przypadku implementowania w oprogramowaniu, funkcje mogą być zapisane na lub transmitowane za pośrednictwem odczytywalnego komputerowo nośnika, jako jedna lub większa liczba instrukcji lub kod, i wykonywane przez opartą na sprzęcie jednostkę przetwarzająca. Odczytywalne komputerowo nośniki mogą obejmować odczytywalne komputerowo nośniki pamięci, które odpowiadają rzeczywistym nośnikom, takim jak nośniki pamięci danych, lub nośnikom komunikacyjnym obejmującym dowolny nośnik, który umożliwia przesyłanie programu komputerowego z jednego miejsca do drugiego, np. zgodnie z protokołem komunikacyjnym. W ten sposób, odczytywalne komputerowo nośniki zasadniczo mogą odpowiadać (1) rzeczywistym odczytywalnym komputerowo nośnikom pamięci, które są nieprzechodnie lub (2) nośnikowi komunikacyjnemu, takiemu jak sygnał lub fala nośna. Nośniki pamięci danych mogą stanowić dowolne dostępne nośniki, do których może uzyskać dostęp jeden lub większa liczba komputerów albo jeden lub większa liczba procesorów w celu uzyskania instrukcji, kodu

132 P3477PL i/lub struktur danych dla implementacji technik opisanych w tym dokumencie. Produkt w postaci programu komputerowego może obejmować odczytywalny komputerowo nośnik. [0221] Jako przykład, a nie ograniczenie, takie odczytywalne komputerowo nośniki pamięci mogą obejmować pamięć RAM, ROM, EEPROM, dysk CD-ROM lub inny optyczny dysk pamięci, magnetyczny dysk pamięci lub inne magnetyczne urządzenia pamięciowe, pamięć typu flash lub dowolny inny nośnik, który może być wykorzystywany do przechowywania pożądanego kodu programu w postaci instrukcji lub struktur danych i do którego można uzyskać dostęp przez komputer. Ponadto, dowolne połączenie jest poprawnie nazywane nośnikiem odczytywalnym komputerowo. Na przykład, jeżeli instrukcje są transmitowane ze strony internetowej, serwera lub innego źródła zdalnego przy użyciu kabla współosiowego, kabla światłowodowego, skręconej pary, cyfrowego łącza abonenckiego (DSL) lub technologii bezprzewodowych takich jak podczerwień, fale radiowe i mikrofale, wtedy kabel współosiowy, kabel światłowodowy, skręcona para, cyfrowe łącze abonenckie (DSL) lub technologie bezprzewodowe takie jak podczerwień, fale radiowe i mikrofale są zawarte w definicji nośnika. Należy jednak rozumieć, że odczytywalne komputerowo nośniki pamięci i nośniki pamięci danych nie obejmują połączeń, fali nośnych, sygnałów lub innych przechodnich nośników, ale zamiast tego dotyczą nieprzechodnich, rzeczywistych nośników pamięci. Dysk i płyta, stosowane w niniejszym dokumencie, obejmują płytę kompaktową (CD), dysk

133 P3477PL laserowy, dysk optyczny, uniwersalny dysk cyfrowy (DVD), dyskietkę i dysk Blu-ray, przy czym dyski zazwyczaj odtwarzają dane magnetycznie, podczas gdy płyty odtwarzają dane optycznie z wykorzystaniem laserów. Kombinacje powyższych również powinny być zawarte w zakresie nośników odczytywalnych komputerowo. [0222] Instrukcje mogą być wykonywane przez jeden lub większą liczbę procesorów, takich jak jeden lub większa liczba cyfrowych procesorów sygnałowych (DSP), mikroprocesory ogólnego przeznaczenia, układy scalone do specjalnych zastosowań (ASIC), bezpośrednio programowalne macierze bramek (FPGA) lub inne równoważne układy scalone lub dyskretne układy logiczne. Zgodnie z powyższym, określenie procesor, stosowane w niniejszym dokumencie może dotyczyć dowolnej powyższej struktury lub dowolnej innej struktury odpowiedniej do implementowania technik opisanych w niniejszym dokumencie. Dodatkowo, w niektórych aspektach, funkcjonalność opisana w niniejszym dokumencie może być zapewniona w dedykowanych modułach sprzętowych i/lub modułach oprogramowania skonfigurowanych do kodowania i dekodowania, lub wbudowana w połączony układ kodującodekodujący. Ponadto, techniki mogłyby być w pełni implementowane w jednym lub większej liczbie układów lub elementów logicznych. [0223] Techniki według niniejszego wynalazku mogą być implementowane w wielu różnych urządzeniach lub przyrządach, włącznie z bezprzewodowym zestawem słuchawkowym, układem scalonym (IC) lub zestawem układów scalonych IC (np. chipset). Różne komponenty,

134 P3477PL00 13 moduły lub jednostki są opisane w tym dokumencie w celu uwydatnienia funkcjonalnych aspektów urządzeń skonfigurowanych do wykonywania przedstawionych technik, ale nie wymagają koniecznie realizacji przez inne jednostki sprzętowe. Zamiast tego, jak opisano powyżej, różne jednostki mogą być połączone w sprzętową jednostkę układu kodująco-dekodującego lub zapewnione przez zbiór współdziałających jednostek sprzętowych, włącznie z jednym lub większą liczbą procesorów jak opisano powyżej, w połączeniu z odpowiednim oprogramowaniem i/lub oprogramowaniem układowym. Qualcomm Incorporated Pełnomocnik:

135 P3477PL Zastrzeżenia patentowe 1. Sposób dekodowania danych wideo, przy czym sposób obejmuje: odbieranie (1) pierwszego wskazania trybu predykcji wewnątrzobrazowej do wykorzystania do dekodowania bloku danych wideo; określanie (212), czy blok zawiera podblok, dla którego możliwych jest wiele przekształceń, przy czym określanie oparte jest na rozmiarze podbloku i wskazanym trybie predykcji wewnątrzobrazowej; przy czym, gdy blok zawiera podblok, dla którego możliwych jest wiele przekształceń odwrotnych: odbieranie (214) drugiego wskazania jednego z wielu możliwych przekształceń odwrotnych; oraz przekształcanie odwrotne (216) podbloku z wykorzystaniem wskazanego przekształcenia spośród wielu możliwych przekształceń odwrotnych Sposób według zastrzeżenia 1, obejmujący ponadto, gdy blok nie zawiera podbloku, dla którego możliwych jest wiele przekształceń odwrotnych, przekształcanie odwrotne (218) bloku z wykorzystaniem przekształcenia odwrotnego powiązanego z trybem predykcji wewnątrzobrazowej wskazanym dla bloku. 3. Sposób według zastrzeżenia 1, obejmujący ponadto przekształcanie odwrotne (216) wszystkich podbloków bloku o rozmiarze, dla którego możliwych jest wiele

136 P3477PL przekształceń odwrotnych z wykorzystaniem wskazanego przekształcenia spośród wielu możliwych przekształceń. 4. Sposób według zastrzeżenia 1, w którym tryb predykcji wewnątrzobrazowej zawiera pierwszy tryb predykcji wewnątrzobrazowej, oraz w którym podblok zawiera pierwszy podblok, przy czym sposób obejmuje ponadto: określanie (4), czy blok zawiera drugi podblok o rozmiarze, dla którego pierwszy tryb predykcji wewnątrzobrazowej nie jest dostępny; gdy blok zawiera drugi podblok o rozmiarze, dla którego pierwszy tryb predykcji wewnątrzobrazowej nie jest dostępny: określanie (6) drugiego trybu predykcji wewnątrzobrazowej, na który odwzorowany jest pierwszy tryb predykcji wewnątrzobrazowej; oraz przewidywanie (6) drugiego podbloku z wykorzystaniem drugiego trybu predykcji wewnątrzobrazowej. 2. Sposób według zastrzeżenia 4, obejmujący ponadto, gdy pierwszy tryb predykcji wewnątrzobrazowej jest dostępny dla wszystkich podbloków bloku, przewidywanie (8) wszystkich podbloków z wykorzystaniem pierwszego trybu predykcji wewnątrzobrazowej. 6. Sposób według zastrzeżenia 1, w którym odbieranie pierwszego wskazania obejmuje odbieranie pierwszego

137 P3477PL wskazania w węźle-korzeniu struktury danych drzewa czwórkowego odpowiadającym blokowi danych wideo. 7. Urządzenie do dekodowania danych wideo, przy czym urządzenie zawiera: środki do odbierania pierwszego wskazania trybu predykcji wewnątrzobrazowej do wykorzystania do dekodowania bloku danych wideo; środki do określania, czy blok zawiera podblok, dla którego możliwych jest wiele przekształceń, przy czym określanie oparte jest na rozmiarze podbloku i wskazanym trybie predykcji wewnątrzobrazowej; środki do odbierania drugiego wskazania jednego z wielu możliwych przekształceń odwrotnych, gdy blok zawiera podblok, dla którego możliwych jest wiele przekształceń odwrotnych; oraz środki do przekształcania odwrotnego podbloku z wykorzystaniem wskazanego przekształcenia spośród wielu możliwych przekształceń odwrotnych, gdy blok zawiera podblok, dla którego możliwych jest wiele przekształceń odwrotnych Urządzenie według zastrzeżenia 7, w którym środki do odbierania pierwszego wskazania, środki do określania, środki do odbierania drugiego wskazania i środki do przekształcania odwrotnego są zawarte w dekoderze wideo. 9. Produkt w postaci programu komputerowego, zawierający odczytywalny komputerowo nośnik pamięci

138 P3477PL mający zapisane na nim instrukcje, które podczas wykonywania powodują, że procesor realizuje sposób według dowolnego z zastrzeżeń od 1 do 6.. Sposób kodowania danych wideo, przy czym sposób obejmuje: wybieranie (1) trybu predykcji wewnątrzobrazowej do wykorzystania do zakodowania bloku danych wideo; określanie (212), czy blok zawiera podblok, dla którego możliwych jest wiele przekształceń, przy czym określanie oparte jest na rozmiarze podbloku i wybranym trybie predykcji wewnątrzobrazowej; przy czym, gdy blok zawiera podblok, dla którego możliwych jest wiele przekształceń: wybieranie (214) jednego z wielu możliwych przekształceń; przekształcanie (216) podbloku z wykorzystaniem wybranego przekształcenia spośród wielu możliwych przekształceń; oraz dostarczanie (214) wskazania wybranego przekształcenia spośród wielu możliwych przekształceń dla rozmiaru podbloku Sposób według zastrzeżenia, w którym tryb predykcji wewnątrzobrazowej zawiera pierwszy tryb predykcji wewnątrzobrazowej, oraz w którym podblok zawiera pierwszy podblok, przy czym sposób obejmuje ponadto:

139 P3477PL określanie (4), czy blok zawiera drugi podblok o rozmiarze, dla którego pierwszy tryb predykcji wewnątrzobrazowej nie jest dostępny; gdy blok zawiera drugi podblok o rozmiarze, dla którego pierwszy tryb predykcji wewnątrzobrazowej nie jest dostępny: określanie (6) drugiego trybu predykcji wewnątrzobrazowej, na który odwzorowany jest pierwszy tryb predykcji wewnątrzobrazowej; oraz przewidywanie (6) drugiego podbloku z wykorzystaniem drugiego trybu predykcji wewnątrzobrazowej. 12. Sposób według zastrzeżenia, w którym dostarczanie wskazania obejmuje dostarczanie wskazania w węźle-korzeniu struktury danych drzewa czwórkowego odpowiadającym blokowi danych wideo Urządzenie do kodowania danych wideo, przy czym urządzenie zawiera: środki do wybierania trybu predykcji wewnątrzobrazowej do wykorzystania do zakodowania bloku danych wideo; środki do określania, czy blok zawiera podblok, dla którego możliwych jest wiele przekształceń, przy czym określanie oparte jest na rozmiarze podbloku i wybranym trybie predykcji wewnątrzobrazowej;

140 P3477PL środki do wybierania jednego z wielu możliwych przekształceń, gdy blok zawiera podblok, dla którego możliwych jest wiele przekształceń; środki do przekształcania podbloku z wykorzystaniem wybranego przekształcenia spośród wielu możliwych przekształceń, gdy blok zawiera podblok, dla którego możliwych jest wiele przekształceń; oraz środki do dostarczania wskazania wybranego przekształcenia spośród wielu możliwych przekształceń dla rozmiaru podbloku, gdy blok zawiera podblok, dla którego możliwych jest wiele przekształceń Urządzenie według zastrzeżenia 13, w którym środki do wybierania trybu predykcji wewnątrzobrazowej, środki do określania, środki do wybierania jednego z wielu możliwych przekształceń, środki do przekształcania oraz środki do dostarczania są zawarte w koderze wideo.. Produkt w postaci programu komputerowego zawierający odczytywalny komputerowo nośnik pamięci, mający zapisane na nim instrukcje, które podczas wykonywania powodują, że procesor realizuje sposób według dowolnego z zastrzeżeń od do 12. Qualcomm Incorporated Pełnomocnik:

141 P3477PL00 142

142 P3477PL00 143

143 P3477PL00 144

144 P3477PL00 14