(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (51) T3 Int.Cl. G10L 19/008 ( ) H04S 3/00 ( ) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 2014/15 EP B1 (54) Tytuł wynalazku: Dekodowanie audio przy użyciu wydajnego downmixingu (30) Pierwszeństwo: US P US P (43) Zgłoszenie ogłoszono: w Europejskim Biuletynie Patentowym nr 2011/34 (45) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 2014/08 (73) Uprawniony z patentu: Dolby Laboratories Licensing Corporation, San Francisco, US Dolby International AB, Amsterdam, NL (72) Twórca(y) wynalazku: PL/EP T3 ROBIN THESING, Nürnberg, DE JAMES M. SILVA, San Jose, US ROBERT L. ANDERSEN, San Francisco, US (74) Pełnomocnik: rzecz. pat. Grażyna Palka JWP RZECZNICY PATENTOWI DOROTA RZĄŻEWSKA SP. J. ul. Żelazna 28/30 Sienna Center Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 19580/14/P-RO/GP EP Opis Dziedzina wynalazku Dekodowanie audio przy użyciu wydajnego downmixingu [0001] Wynalazek dotyczy ogólnie przetwarzania sygnału audio. Tło [0002] Cyfrowa kompresja danych audio stała się ważną techniką w dziedzinie audio. Wprowadzono nowe formaty umożliwiające wysokiej jakości odtwarzanie sygnałów audio bez potrzeby dużej przepustowości danych, która byłaby wymagana przy użyciu technik tradycyjnych. Technologie kodowania AC-3 i ostatnio ulepszona AC-3 (E-AC-3) zostały przystosowane przez Komisję do spraw zaawansowanych systemów telewizyjnych (ATSC) jako standard usług audio dla telewizji o wysokiej rozdzielczości (HDTV) w Stanach Zjednoczonych. Standard E-AC-3 ma również zastosowania w przypadku nośników konsumenckich (cyfrowych dysków wideo) i bezpośredniego nadawania satelitarnego. To E- AC-3 jest przykładem kodowania perceptualnego i zapewnia kodowania wielu kanałów cyfrowego sygnału audio do strumienia bitów zakodowanego sygnału audio i metadanych. [0003] Występuje zainteresowanie wydajnym dekodowaniem zakodowanego strumienia bitów audio. Przykładowo żywotność baterii urządzeń przenośnych jest ograniczona głównie przez zużycie energii ich głównej jednostki przetwarzającej. Zużycie energii jednostki przetwarzającej jest mocno związane ze złożonością obliczeniową jej zadań. Stąd ograniczenie uśrednionej złożoności obliczeniowej przenośnych systemów przetwarzania sygnałów audio powinno zwiększyć żywotność baterii takiego systemu. [0004] Termin x86 jest powszechnie rozumiany przez znawców jako odniesienie do rodziny jednostek z architekturą zestawów instrukcji procesora, której początek sięga procesora Intel W wyniku wszechobecności architektury zestawów instrukcji x86 występuje również zainteresowanie wydajnym dekodowaniem zakodowanego strumienia bitów sygnału audio w procesorze lub systemie przetwarzania o architekturze zestawu instrukcji. Wiele realizacji dekoderów ma naturę ogólną, podczas gdy inne są specyficznie zaprojektowane dla procesorów osadzonych. Nowe procesory, takie jak AMD Geode i nowy procesor Intel Atom są przykładami jednostek 32-bitowych i 64-bitowych, stosujących zestaw instrukcji x86, używanych w niewielkich urządzeniach przenośnych. Streszczenie [0005] Przedmiot wynalazku dotyczy sposobu sterowania dekoderem audio do dekodowania danych audio według zastrzeżenia 1. Dodatkowe przedmioty są zdefiniowane i przedstawione w niezależnych zastrzeżeniach [0006] Kolejny przedmiot wynalazku dotyczy komputerowo odczytywalnego nośnika przechowującego instrukcje dekodowania, które po wykonaniu przez jeden lub więcej procesorów systemu przetwarzającego powodują, że system przetwarzający realizuje sposób opisany poniżej.

3 2- [0007] Kolejny przedmiot wynalazku dotyczy urządzenia do przetwarzania danych audio do dekodowania danych audio, które zawiera zakodowane bloki N.n kanałów danych audio do tworzenia zdekodowanych danych audio, które zawiera M.m kanałów zdekodowanego sygnału audio, gdzie M 1, n jest liczbą niskoczęstotliwościowych kanałów efektowych w zakodowanych danych audio, m jest liczbą niskoczęstotliwościowych kanałów efektowych w zdekodowanych danych audio, przy czym urządzenie zawiera środki do realizacji powyższego sposobu. Krótki opis rysunków [0008] Fig. 1 przedstawia pseudokod 100 z instrukcjami, które po wykonaniu realizują typowy proces dekodowania AC-3. [0009] Fig. 2A-2D przedstawiają, w postaci uproszczonego schematu blokowego, niektóre różne konfiguracje, które mogą być korzystnie stosowane w jednym lub więcej wspólnych modułów. [0010] Fig. 3 przedstawia pseudokod i uproszczony schemat blokowy jednego przykładu wykonania wejściowego modułu dekodującego. [0011] Fig. 4 przedstawia uproszczony diagram przepływu danych działania jednego przykładu wykonania wejściowego modułu dekodującego. [0012] Fig. 5A przedstawia pseudokod i uproszczony schemat blokowy jednego przykładu wykonania wyjściowego modułu dekodującego. [0013] Fig. 5B przedstawia pseudokod i uproszczony schemat blokowy kolejnego przykładu wykonania wyjściowego modułu dekodującego. [0014] Fig. 6 przedstawia uproszczony diagram przepływu danych działania jednego przykładu wykonania wyjściowego modułu dekodującego. [0015] Fig. 7 przedstawia uproszczony diagram przepływu danych działania innego przykładu wykonania wyjściowego modułu dekodującego. [0016] Fig. 8 przedstawia diagram blokowy jednego przykładu wykonania przetwarzania wyjściowego modułu dekodującego, takiego jak przedstawiony na Fig. 7. [0017] Fig. 9 przedstawia przykład przetwarzania pięciu bloków, obejmujący downmixing z systemu 5.1 do 2.0 za pomocą przykładu wykonania wynalazku dla przypadku transformowania bez nakładania obejmującego downmixing z 5.1 do 2.0. [0018] Fig. 10 przedstawia kolejny przykład przetwarzania pięciu bloków, obejmujący downmixing z 5.1 do 2.0 przy użyciu przykładu wykonania wynalazku dla przypadku transformowania z nakładaniem. [0019] Fig. 11 przedstawia uproszczony pseudokod jednego przykładu wykonania downmixingu w dziedzinie czasu. [0020] Fig. 12 przedstawia uproszczony schemat blokowy jednego przykładu wykonania systemu przetwarzającego, zawierającego co najmniej jeden procesor, który może realizować dekodowanie mające jedną lub więcej cech wynalazku. Opis przykładów wykonania Omówienie

4 3- [0021] Przykłady wykonania wynalazku obejmują sposób, urządzenie i logikę wykonywania czynności, zakodowaną na jednym lub więcej komputerowo odczytywalnych nośnikach materialnych. [0022] Określone przykłady wykonania obejmują sposób sterowania dekoderem audio do dekodowania danych audio, które zawierają bloki kanałów N.n danych audio do tworzenia zdekodowanych danych audio, które zawierają kanały M.m zdekodowanego sygnału audio, gdzie M 1, n jest liczbą niskoczęstotliwościowych kanałów efektowych w zakodowanych danych audio oraz m jest liczbą niskoczęstotliwościowych kanałów efektowych w zdekodowanych danych audio. Sposób obejmuje akceptowanie danych audio zawierających bloki kanałów N.n zakodowanych danych audio zakodowanych sposobem kodowania obejmującym transformowanie N.n kanałów cyfrowych danych audio oraz tworzenie i pakowanie danych wykładnika i mantysy w dziedzinie częstotliwości; i dekodowanie zaakceptowanych danych audio. Dekodowanie obejmuje: rozpakowywanie i dekodowanie danych wykładnika i mantysy w dziedzinie częstotliwości; określanie współczynników transformowania z rozpakowanych i zdekodowanych danych wykładnika i mantysy w dziedzinie częstotliwości; odwrotne transformowanie domeny częstotliwości i stosowanie dalszego przetwarzania do określenia próbkowanych danych audio; i downmixing w dziedzinie czasu przynajmniej niektórych określonych bloków próbkowanych danych audio na podstawie danych downmixingu dla przypadku, gdy M<N. Prawdziwy jest co najmniej jeden z punktów A1, B1 i C1: [0023] W A1 dekodowanie obejmuje określanie blok po bloku, czy stosować downmixing w dziedzinie częstotliwości, czy w dziedzinie czasu, i jeżeli dla danego bloku określone zostanie, żeby stosować downmixing w dziedzinie częstotliwości, stosowanie dla danego bloku downmixingu w dziedzinie czasu. [0024] W B1 downmixing w dziedzinie czasu obejmuje testowanie, czy dane downmixingu zmieniły się względem ostatnio używanych danych downmixingu i jeżeli uległy zmianie, stosowanie przenikania do określenia przenikających się danych downmixingu i downmixing w dziedzinie czasu na podstawie danych downmixingu po przenikaniu, a jeżeli nie uległy zmianie, bezpośredni downmixing w dziedzinie czasu na podstawie danych downmixingu; i [0025] W C1 sposób obejmuje identyfikowanie jednego lub więcej kanałów niewspółtworzących z N.n kanałów wejściowych, gdzie kanał niewspółtworzący jest kanałem, który nie współtworzy kanałów M.m i sposób nie przeprowadza odwrotnej transformacji danych domeny częstotliwości i stosowania dalszego przetwarzania na zidentyfikowanym jednym lub więcej kanałach niewspółtworzących. [0026] Określone przykłady wykonania wynalazku obejmują komputerowo odczytywalny nośnik danych, przechowujący instrukcje dekodowania, które po wykonaniu przez jeden lub więcej procesorów systemu przetwarzającego powodują, że system przetwarzający realizuje dekodowanie danych audio, obejmujące M.m kanałów zdekodowanego sygnału audio, gdzie M 1, n jest liczbą niskoczęstotliwościowych kanałów efektowych w zakodowanych danych audio, m jest liczbą niskoczęstotliwościowych kanałów efektowych w zdekodowanych

5 4- danych audio. Instrukcje dekodowania zawierają: instrukcje, których wykonanie powoduje akceptację danych audio zawierających bloki kanałów N.n zakodowanych danych audio zakodowanych sposobem kodowania, gdzie sposób kodowania obejmuje transformowanie kanałów N.n cyfrowych danych audio oraz tworzenie i pakowanie danych wykładnika i mantysy w dziedzinie częstotliwości; i instrukcje, których wykonanie powoduje zdekodowanie zaakceptowanych danych audio. Instrukcje, których wykonanie powoduje zdekodowanie zawierają: instrukcje, których wykonanie powoduje wypakowanie i zdekodowanie danych wykładnika i mantysy w dziedzinie częstotliwości; instrukcje, których wykonanie powoduje określenie współczynników transformowania z wypakowanych i zdekodowanych danych wykładnika i mantysy w dziedzinie częstotliwości; instrukcje, których wykonanie powoduje odwrotne transformowanie danych dziedziny częstotliwości i stosowanie dalszego przetwarzania do określenia próbkowanych danych audio; i instrukcje, których wykonanie powoduje upewnienie się, czy M<N oraz instrukcje, których wykonanie powoduje downmixing w dziedzinie częstotliwości przynajmniej niektórych bloków określonych próbkowanych danych audio na podstawie danych downmixingu, jeżeli M<N. Prawdziwy jest co najmniej jeden z punktów A2, B2 i C2: [0027] W A2 instrukcje po ich wykonaniu powodują dekodowanie obejmujące instrukcje, których wykonanie powoduje określenie blok po bloku, czy stosować downmixing w dziedzinie częstotliwości, czy downmixing w dziedzinie czasu i instrukcje, których wykonanie powoduje zastosowanie downmixingu w dziedzinie częstotliwości, jeżeli dla danego bloku określone zostanie, żeby zastosować downmixing w dziedzinie częstotliwości; [0028] W B2 downmixing w dziedzinie częstotliwości obejmuje testowanie, czy dane downmixingu uległy zmianie względem poprzednio użytych danych downmixingu i jeżeli uległy zmianie, stosowanie przenikania do określenia danych przenikających downmixingu oraz downmixing w dziedzinie czasu na podstawie danych downmixingu po przenikaniu, a jeżeli nie uległy zmianie, bezpośredni downmixing w dziedzinie czasu na podstawie danych downmixingu; i [0029] W C2 instrukcje, których wykonanie powoduje dekodowanie obejmujące identyfikowanie jednego lub więcej kanałów niewspółtworzących z N.n kanałów wejściowych, gdzie kanał niewspółtworzący jest kanałem, który nie współtworzy kanałów M.m i sposób nie przeprowadza odwrotnej transformacji danych dziedziny częstotliwości i stosowania dalszego przetwarzania w jednym lub więcej zidentyfikowanych kanałach niewspółtworzonych. [0030] Określone przykłady wykonania obejmują urządzenie przetwarzania danych audio do dekodowania danych audio, zawierających zakodowane bloki kanałów N.n danych audio do tworzenia zdekodowanych danych audio, zawierających M.m kanałów zdekodowanych danych audio, gdzie M 1, n jest liczbą niskoczęstotliwościowych kanałów efektowych w zakodowanych danych audio, m jest liczbą niskoczęstotliwościowych kanałów efektowych w zdekodowanych danych audio. Urządzenie zawiera: środki akceptowania danych audio zawierających bloki kanałów N.n zakodowanych danych audio zakodowanych sposobem kodowania, gdzie sposób kodowania obejmuje transformowanie N.n kanałów cyfrowych

6 5- danych audio oraz tworzenie i pakowanie danych wykładnika i mantysy w dziedzinie częstotliwości; i środki dekodowania zaakceptowanych danych audio. Środki dekodowania zawierają: środki do rozpakowywania i dekodowania danych wykładnika i mantysy w dziedzinie częstotliwości; środki określania współczynników transformaty z rozpakowanych i zdekodowanych danych wykładnika i mantysy w dziedzinie częstotliwości; środki odwrotnego transformowania danych w dziedzinie częstotliwości i do stosowania dalszego przetwarzania do określenia próbkowanych danych audio; i środki downmixingu w dziedzinie czasu przynajmniej niektórych bloków z określonych próbkowanych danych audio na podstawie danych downmixingu dla przypadku, gdy M<N. Prawdziwy jest co najmniej jeden z punktów A3, B3 i C3: [0031] W A3 środki dekodowania zawierają środki określania blok po bloku, czy stosować downmixing w dziedzinie częstotliwości, czy downmixing w dziedzinie czasu i środki do stosowania downmixingu w dziedzinie częstotliwości, gdzie środki stosowania downmixingu w dziedzinie częstotliwości stosują downmixing w dziedzinie częstotliwości dla określonego bloku, jeżeli dla danego bloku określone zostanie stosowanie downmixingu w dziedzinie częstotliwości; [0032] W B3 środki downmixingu w dziedzinie czasu wykonują testowanie, czy dane downmixingu uległy zmianie w odniesieniu do uprzednio używanych danych downmixingu i jeżeli uległy zmianie, stosują przenikanie do określenia przenikających danych downmixingu i downmixing w dziedzinie czasu na podstawie danych downmixingu po przenikaniu, a jeżeli nie uległy zmianie, bezpośrednio stosują downmixing w dziedzinie czasu na podstawie danych downmixingu; i [0033] W C3 urządzenie zawiera środki do identyfikowania jednego lub więcej kanałów niewspółtworzących z N.n kanałów wejściowych, gdzie kanał niewspółtworzący jest kanałem niewspółtworzącym kanałów M.m i urządzenie nie przeprowadza odwrotnego transformowania danych w dziedzinie częstotliwości i stosowania dalszego przetwarzania w jednym lub więcej zidentyfikowanych kanałach niewspółtworzących. [0034] Określone przykłady wykonania obejmują urządzenie przetwarzania danych audio, zawierających N.n kanałów zakodowanych danych audio do tworzenia zdekodowanych danych audio, zawierających M.m kanałów zdekodowanego sygnału audio, gdzie M 1, a n=0 lub 1 jest liczbą niskoczęstotliwościowych kanałów efektowych w zakodowanych danych audio, a m=0 lub 1 jest liczbą niskoczęstotliwościowych kanałów efektowych zdekodowanych danych audio. Urządzenie zawiera: środki akceptowania danych audio zawierających N.n kanałów zakodowanych danych audio zakodowanych sposobem kodowania, gdzie sposób kodowania obejmuje transformowanie N.n kanałów cyfrowych danych audio w taki sposób, że transformowanie odwrotne i dalsze przetwarzanie mogą odzyskać próbki w dziedzinie czasu bez błędów aliasingu, tworzenie i pakowanie danych wykładnika i mantysy w dziedzinie częstotliwości oraz tworzenie i pakowanie metadanych dotyczących danych wykładnika i mantysy w dziedzinie częstotliwości, gdzie metadane okazjonalnie zawierają metadane związane z przetwarzaniem transjent przed szumem; i środki dekodowania zaakceptowanych danych audio. Środki dekodowania zawierają: jeden

7 6- lub więcej środków dekodowania wejściowego i jeden lub więcej środków dekodowania wyjściowego. Środki dekodowania wejściowego zawierają środki rozpakowywania metadanych, rozpakowywania i dekodowania danych wykładnika i mantysy w dziedzinie częstotliwości. Środki dekodowania wyjściowego zawierają środki określania współczynników transformaty z rozpakowanych i zdekodowanych danych wykładnika i mantysy w dziedzinie częstotliwości; odwrotnego transformowania danych w dziedzinie częstotliwości; stosowania operacji oknowania i nakładania z dodawaniem do określenia próbkowanych danych audio; stosowania dowolnego żądanego dekodowania przetwarzania transjent przed szumem na podstawie metadanych związanych z przetwarzaniem transjent przed szumem; i dla domeny w czasie downmixingu na podstawie danych downmixingu, gdzie dane downmixingu są skonfigurowane do downmixingu w dziedzinie czasu przynajmniej niektóre bloki danych na podstawie danych downmixingu w przypadku, gdy M<N. Prawdziwy jest co najmniej jeden z punktów A4, B4 i C4: [0035] W A4 środki dekodowania wyjściowego zawierają środki określania blok po bloku, czy stosować downmixing w dziedzinie częstotliwości, czy downmixing w dziedzinie czasu i środki stosowania downmixingu w dziedzinie częstotliwości, gdzie środki stosowania downmixingu w dziedzinie częstotliwości stosują downmixing w dziedzinie częstotliwości dla określonego bloku, jeżeli określone zostanie, że dany blok ma stosować downmixing w dziedzinie częstotliwości; [0036] W B4 środki downmixingu w dziedzinie czasu przeprowadzają sprawdzanie, czy dane downmixingu uległy zmianie w odniesieniu do uprzednio użytych danych downmixingu i jeżeli uległy zmianie stosują dane downmixingu po przenikaniu, a jeżeli nie uległy zmianie bezpośrednio stosują downmixing w dziedzinie czasu na podstawie danych downmixingu; i [0037] W C4 urządzenie zawiera środki identyfikowania jednego lub więcej kanałów niewspółtworzących spośród kanałów wejściowych N.n, gdzie kanałem niewspółtworzącym jest kanał, który nie współtworzy kanałów M.m i środki dekodowania wyjściowego nie przeprowadzają transformowania odwrotnego danych w dziedzinie częstotliwości i stosowania dalszego przetwarzania w jednym lub więcej zidentyfikowanych kanałach niewspółtworzących. [0038] Określone przykłady wykonania obejmują system do dekodowania danych audio, zawierających N.n kanałów zakodowanych danych audio do formowania zdekodowanych danych audio, zawierających M.m kanałów zdekodowanego sygnału audio, gdzie M 1, n jest liczbą niskoczęstotliwościowych kanałów efektowych w zakodowanych danych audio i m jest liczbą niskoczęstotliwościowych kanałów efektowych w zdekodowanych danych audio. System zawiera: jeden lub więcej procesorów i podsystem przechowywania danych połączony z jednym lub więcej procesorami. System akceptuje dane audio zawierające bloki kanałów N.n zakodowanych danych audio zakodowanych sposobem kodowania, gdzie sposób kodowania obejmuje transformowanie N.n kanałów cyfrowych danych audio oraz tworzenie i pakowanie danych wykładnika i mantysy w dziedzinie częstotliwości; a później do dekodowania zaakceptowanych danych audio obejmującego: rozpakowywanie i dekodowanie danych wykładnika i mantysy w dziedzinie częstotliwości; określanie

8 7- współczynników transformaty z rozpakowanych i zdekodowanych danych wykładnika i mantysy w dziedzinie częstotliwości; odwrotnego transformowania danych w dziedzinie częstotliwości i stosowania dalszego przetwarzania do określania próbkowanych danych audio; i downmixingu w dziedzinie czasu przynajmniej niektórych określonych bloków próbkowanych danych audio na podstawie danych downmixingu dla przypadku, gdy M<N. Co najmniej jeden z punktów A5, B5 i C5 jest prawdziwy: [0039] W A5 dekodowanie obejmuje określanie blok po bloku, czy stosować downmixing w dziedzinie częstotliwości, czy downmixing w dziedzinie czasu, a jeżeli dla określonego bloku określone zostanie stosowanie downmixingu w dziedzinie częstotliwości, stosowanie dla danego bloku downmixingu w dziedzinie częstotliwości; [0040] W B5 downmixing w dziedzinie czasu obejmuje testowanie, czy dane downmixingu uległy zmianie w odniesieniu do poprzednio używanych danych downmixingu i jeżeli uległy zmianie stosowanie przenikania do określania danych downmixingu po przenikaniu i downmixing w dziedzinie czasu na podstawie danych downmixingu po przenikaniu, a jeżeli nie uległy zmianie, stosowanie bezpośredniego downmixingu w dziedzinie czasu na podstawie danych downmixingu; i [0041] W C5 sposób obejmuje identyfikowanie jednego lub więcej kanałów niewspółtworzących z N.n kanałów wejściowych, gdzie kanał niewspółtworzący jest kanałem, który nie współtworzy M.m kanałów i sposób nieprzeprowadzający transformowania odwrotnego danych dziedziny częstotliwości i stosowania dalszego przetwarzania w jednym lub więcej identyfikowanych kanałach niewspółtworzących. [0042] W niektórych wersjach przykładu wykonania systemu zaakceptowane dane audio mają postać strumienia bitów ramek zakodowanych danych, a podsystem przechowywania danych jest skonfigurowany z instrukcjami, których wykonanie przez jeden lub więcej procesorów systemu przetwarzającego powoduje zdekodowanie zaakceptowanych danych audio. [0043] Niektóre wersje przykładu wykonania systemu obejmują jeden lub więcej podsystemów połączonych sieciowo poprzez łącze sieciowe, gdzie każdy podsystem zawiera co najmniej jeden procesor. [0044] W niektórych przykładach wykonania, w których prawdziwy jest punkt A1, A2, A3, A4 lub A5, określanie, czy stosować downmixing w dziedzinie częstotliwości, czy downmixing w dziedzinie czasu obejmuje określanie, czy występuje jakiekolwiek przetwarzanie transjent przed szumem i określanie, czy jakikolwiek z N kanałów ma inny typ bloku, tak że downmixing w dziedzinie częstotliwości jest stosowany jedynie dla bloku mającego ten sam typ bloku w N kanałach, i brak jest przetwarzania transjent przed szumem i M<N. [0045] W niektórych przykładach wykonania, w których A1, A2, A3, A4 lub A5 jest prawdziwe i gdzie transformowanie w sposobie kodowania obejmuje transformatę z nakładaniem, a dalsze przetwarzanie obejmuje stosowanie operacji oknowania i nakładania z dodawaniem dla określenia próbkowanych danych audio, (i) stosowanie dla danego bloku downmixingu w dziedzinie częstotliwości obejmującego określanie, czy downmixing

9 8- poprzedniego bloku był downmixingiem w dziedzinie czasu i jeżeli downmixing poprzedniego bloku był downmixingiem w dziedzinie czasu, stosowanie downmixingu w dziedzinie czasu (lub dziedzinie pseudoczasu) do danych poprzedniego bloku, tak że nakładane na niego są dane zdekodowane danego bloku, i (ii) stosowanie downmixingu w dziedzinie czasu dla danego bloku obejmujące określanie, czy downmixing dla poprzedniego bloku był downmixingiem w dziedzinie częstotliwości i jeżeli downmixing dla poprzedniego bloku był downmixingiem w dziedzinie częstotliwości, przetwarzanie danego bloku inaczej, niż w przypadku gdy downmixing dla poprzedniego bloku nie był downmixingiem w dziedzinie częstotliwości. [0046] W niektórych przykładach wykonania, w których prawdziwe jest B1, B2, B3, B4 lub B5, używany jest co najmniej jeden procesor x86, którego zestaw instrukcji zawiera rozszerzenia strumieniowe pojedyncza instrukcja wiele danych (SSE) zawierających instrukcje wektorowe, a downmixing w dziedzinie czasu obejmuje wykonanie instrukcji wektorowych na co najmniej jednym spośród jednego Lu więcej procesorów x86. [0047] W niektórych przykładach wykonania, w których jest prawdziwe C1, C2, C3, C4 lub C5, n=1 i m=0, tak że transformowanie odwrotne i stosowanie dalszego przetwarzania nie są przeprowadzane na niskoczęstotliwościowym kanale efektowym. Ponadto w niektórych przypadkach wykonania, w których punkt C jest prawdziwy, dane audio zawierające zakodowane bloki zawierają informacje definiujące downmixing, przy czym identyfikowanie jednego lub więcej kanałów niewspółtworzących używa informacji definiujących downmixing. Ponadto w niektórych przykładach wykonania, w których punkt C jest prawdziwy, identyfikowanie jednego lub więcej kanałów niewspółtworzących obejmuje także identyfikowanie, czy jeden lub więcej kanałów ma nieznaczną ilość treści względem jednego lub więcej innych kanałów, przy czym kanał ma nieznaczną ilość treści względem do innego kanału, jeżeli jego energia lub poziom bezwzględny wynosi przynajmniej 15 db poniżej drugiego kanału. W niektórych przypadkach kanał ma nieznaczną ilość treści względem innego kanału, jeżeli jego energia lub poziom bezwzględny wynosi przynajmniej 18 db poniżej drugiego kanału, podczas gdy dla innych zastosowań kanał ma nieznaczącą ilość treści względem innego kanału, jeżeli jego energia lub poziom bezwzględny wynosi przynajmniej 25 db poniżej drugiego kanału. [0048] W niektórych przykładach wykonania zakodowane dane audio zakodowane są na podstawie jednego z zestawu standardów zawierających standard AC-3, standard E-AC-3, standard kompatybilny wstępnie ze standardem E-AC-3, standard MPEG-2 AAC i standard HE-ACC. [0049] W niektórych przykładach wykonania wynalazku transformowanie w sposobie kodowania używa transformaty z nakładaniem, a dalsze przetwarzanie obejmuje stosowanie operacji oknowania i nakładania z dodawaniem dla określenia próbkowanych danych audio. [0050] W niektórych przykładach wykonania wynalazku sposób kodowania obejmuje tworzenie i pakowanie metadanych związanych z danymi wykładnika i mantysy w dziedzinie

10 9- częstotliwości, przy czym metadane opcjonalnie zawierają metadane związane z przetwarzaniem transjent przed szumem i z downmixingiem. [0051] Szczególne przykłady wykonania mogą zapewniać wszystkie, niektóre lub żadne z tych przedmiotów, cech lub zalet. Szczególne przykłady wykonania mogą zapewniać jeden lub więcej przedmiotów, cech lub zalet, z których przynajmniej jedna dla znawcy może być łatwo dostrzegalna na podstawie rysunków, opisów i zastrzeżeń. Dekodowanie zakodowanego strumienia [0052] Przykłady wykonania wynalazku są opisane dla dekodowania sygnału audio zakodowanego według standardu ulepszonego AC-3 (E-AC-3) do postaci zakodowanego strumienia bitów. Standardy E-AC-3 i wcześniejszy AC-3 są szczegółowo opisane w wydaniu B dokumentu A/52B Digital Audio Compression Standard (AC-3, E-AC-3) (Standard cyfrowej kompresji fonii (AC-3, E-AC-3)) opublikowanym w ogólnoświatowej sieci Internet 1 grudnia 2009 roku pod adresem www^dot^atsc^dot^org/standards/a_52b^dot^pdf (gdzie ^dot^ oznacza kropkę (. ) w faktycznym adresie sieciowym). Jednak wynalazek nie ogranicza się do dekodowania strumienia bitów zakodowanych w E-AC-3 i może być stosowany w dekoderze lub do dekodowania strumienia bitów zakodowanych zgodnie z dowolnym innym sposobem kodowania i do sposobów takiego dekodowania, urządzeń do dekodowania, systemów przeprowadzających takie dekodowanie, oprogramowania, którego wykonanie powoduje wykonanie przez jeden lub więcej procesorów takiego dekodowania i/lub do materialnego nośnika danych, na którym oprogramowanie jest przechowywane. Przykładowo, przykłady wykonania wynalazku mają również zastosowanie do dekodowania sygnału audio, który został zakodowany zgodnie ze standardami MPEG-2 AAC (ISO/IEC ) i MPEG-4 Audio (ISO/IEC ). Standard MPEG-4 Audio obejmuje wersję 1 AAC o wysokiej wydajności (HE-AAC v1) i wersję AAC o wysokiej wydajności (HE-AAC v2) kodowania, które tutaj będą zbiorczo nazywane HE-AAC. [0053] Standardy AC-3 i E-AC-3 znane są także jako DOLBY DIGITAL i DOLBY DIGITAL PLUS. Wersja HE-AAC uwzględniająca pewne dodatkowe, kompatybilne usprawnienia znana jest także jako DOLBY PULSE. Są to znaki towarowe firmy Dolby Laboratories Licensing Corporation będącej cesjonariuszem wynalazku i mogą one być zarejestrowane w jednym lub więcej wymiarach sprawiedliwości. Standard E-AC-3 jest kompatybilny z AC-3 i obejmuje dodatkowe funkcjonalności. Architektura x86 [0054] Termin x86 jest powszechnie rozumiany przez znawców jako odniesienie do rodziny architektur zestawów instrukcji procesora, których początki sięgają procesora 8086 firmy Intel. Architektura ta została zaimplementowana w procesach takich firm, jak Intel, Cyrix, AMD, VIA i wielu innych. Ogólnie ujmując termin ten jest rozumiany jako implikacja kompatybilności binarnej z 32-bitowym zestawem instrukcji procesora firmy Intel. Współcześnie (początek roku 2010), architektura x86 jest powszechnie stosowana w komputerach stacjonarnych i notebookach, jak również w rosnącej większości wśród

11 10- serwerów i stacji roboczych. Znaczna część oprogramowania obsługuje tę platformę, w tym systemy operacyjne takie, jak MS-DOS, Windows, Linux, BSD, Solaris i Mac OS X. [0055] Używany tutaj termin x86 oznacza architekturę zestawu instrukcji procesora x86 obsługującą również rozszerzenie strumieniowe pojedyncza instrukcja wiele danych (SSE). SSE jest rozszerzeniem pojedyncza instrukcja wiele danych (SIMD) zestawu instrukcji oryginalnej architektury x86 wprowadzonym w 1999 roku przez firmę Intel w procesorach serii Pentium III i obecnie występuje powszechnie w architekturach x86 produkowanych przez wielu dostawców. Strumienie bitów AC-3 i E-AC-3 [0056] Strumień bitów AC-3 wielokanałowego sygnału audio składa się z ramek reprezentujących interwał stałoczasowy, wynoszący 1536 próbek modulacji kodowoimpulsowej (PCM) sygnału audio na wszystkich kanałach kodowanych. Dostarczanych jest do pięciu głównych kanałów i opcjonalnie niskoczęstotliwościowy kanał efektowy (LFE) oznaczany jako.1, czyli dostarczanych jest do 5.1 kanałów audio. Każda ramka ma stały rozmiar, który zależy jedynie od częstotliwości próbkowania i szybkości transmisji zakodowanych danych. [0057] Krótko mówiąc, kodowanie AC-3 obejmuje używanie transformaty z nakładaniem zmodyfikowanej dyskretnej transformaty cosinusowej (MDCT) z oknem pochodnym Kaisera- Bessela (KBD) z 50% nakładaniem, do transformowania danych czasu do danych częstotliwości. Dane częstotliwości są perceptualnie kodowane i kodowane w celu kompresji danych do tworzenia skompresowanego strumienia bitów ramek, z których każda zawiera zakodowane dane audio i metadane. Każda ramka AC-3 jest niezależną jednostką, która nie współdzieli żadnych danych z poprzednimi ramkami innych, niż nakładanie transformaty obecne w MDCT używane do konwersji danych czasu na dane częstotliwości. [0058] Na początku każdej ramki AC-3 znajdują się pola SI (Informacja o synchronizacji) i BSI (Informacja o strumieniu bitów). Pola SI i BSI opisują konfigurację strumienia bitów, w tym częstotliwość próbkowania, szybkość transmisji danych, liczbę zakodowanych kanałów i kilka innych elementów poziomu systemowego. W każdej ramce znajdują się również dwa słowa cyklicznego kodu nadmiarowego (CRC), jeden na początku i jeden na końcu, które zapewniają środki detekcji błędu. [0059] W każdej ramce znajduje się sześć bloków audio, każdy reprezentujący 256 próbek PCM na zakodowany kanał danych audio. Blok audio zawiera flagi przełączania bloku, współrzędne sprzężenia, wykładniki, parametry alokacji bitów i mantysy. Współdzielenie danych jest dozwolone wewnątrz ramki, tak że informacje obecne w bloku 0 mogą być ponownie użyte w kolejnych blokach. [0060] Na końcu każdej ramki znajduje się opcjonalne pole danych pomocniczych. Pole to umożliwia projektantom systemu osadzić w strumieniu bitów AC-3 prywatne elementy sterujące lub informacje o stanie przekazywania ich w całym systemie.

12 11- [0061] Standard E-AC-3 zachowuje strukturę ramki AC-3 składającą się z sześciu 256- współczynnikowych transformat, przy jednoczesnym umożliwieniu korzystania z krótszych ramek złożonych z jednego, dwóch i trzech bloków 256-współczynnikowej transformaty. Umożliwia to przesyłanie danych z szybkością większą niż 640 kb/s. Każda ramka E-AC-3 zawiera metadane i dane audio. [0062] Standard E-AC-3 umożliwia korzystanie ze znacznie większej liczby kanałów, niż 5.1 kanałów standardu AC-3, w szczególności E-AC-3 umożliwia przenoszenie 6.1 i 7.1 kanałów współcześnie i przenoszenie co najmniej 13.1 kanałów do obsługi, przykładowo, przyszłych wielokanałowych ścieżek dźwiękowych. Dodatkowe kanały wykraczające poza 5.1 są uzyskiwane przez przypisywanie strumienia bitów głównego programu audio do maksymalnie ośmiu dodatkowych zależnych podstrumieni, przy czym wszystkie one są przesyłane tym samym torem w jednym strumieniu bitów E-AC-3. Pozwala to na przenoszenie głównego programu audio w 5.1-kanałowym formacie AC-3, podczas gdy dodatkowa pojemność kanałów pochodzi z zależnych strumieni bitów. Oznacza to, że wersja 5.1-kanałowa i różne konwencjonalne downmixingi są zawsze dostępne, i że artefakty kodowania wywołane odejmowaniem macierzy są eliminowane przez użycie procesu substytucji kanału. [0063] Wsparcie wielu programów jest również dostępne poprzez możliwość przenoszenia siedmiu kolejnych niezależnych strumieni audio, z możliwymi przypisanymi zależnymi podstrumieniami, aby zwiększyć przenoszenie kanału każdego programu poza 5.1 kanałów. [0064] AC-3 do perceptualnego kodowania materiału audio korzysta z względnie krótkiej transformaty i prostej kwantyzacji skalarnej. Standard E-AC-3, będąc kompatybilnym z AC- 3, zapewnia lepszą rozdzielczość spektralną, poprawioną kwantyzację i poprawione kodowanie. Dzięki E-AC-3 poprawiono wydajność kodowania w porównaniu do AC-3, aby umożliwić korzystne wykorzystanie mniejszych szybkości transmisji danych. Osiąga się to przez użycie ulepszonego zespołu filtrów do konwersji danych dziedziny czasu do danych dziedziny częstotliwości, poprawionej kwantyzacji, ulepszonego sprzęgania kanału, rozszerzenia spektralnego i techniki zwanej przetwarzaniem transjent przed szumem (TPNP). [0065] Poza transformatą z nakładaniem MDCT do konwersji danych czasu do danych częstotliwości, E-AC-3 korzysta z adaptacyjnej transformaty hybrydowej (AHT) dla niezmiennych sygnałów audio. AHT zawiera MDCT z nakładanym oknem pochodnym Kaisera-Bessela (KBD), po którym dla sygnałów niezmiennych występuje drugorzędna transformata bloku w postaci nieoknowanej, nienakładanej dyskretnej transformaty cosinusowej (DCT) typu II. W ten sposób AHT dodaje drugi etap DCT po istniejącym zespole filtrów MDCT/KBD standardu AC-3, gdy sygnał audio o charakterystyce niezmiennej obecny jest do konwersji sześciu 256-współczynnikowych bloków transformaty do pojedynczego 1536-współczynnikowego bloku transformaty hybrydowej ze zwiększoną rozdzielczością częstotliwości. Zwiększona rozdzielczość częstotliwości jest łączona z 6- wymiarową kwantyzacją wektorową (VQ) i przyrostową kwantyzacją adaptacyjną (GAQ) dla poprawienia wydajności kodowania niektórych sygnałów, na przykład sygnałów trudnych do kodowania. VQ jest używana do wydajnego kodowania pasm częstotliwości wymagających

13 12- mniejszych dokładności, podczas gdy GAQ zapewnia lepszą wydajność, gdy wymagana jest większa dokładność kwantyzacji. [0066] Poprawiona wydajność kodowania jest osiągana również poprzez użycie kanału sprzężenia z zachowaniem fazy. Sposób ten rozszerza sposób sprzęgania kanału AC-3 wykorzystujący wysokoczęstotliwościowy kompozytowy kanał mono, który rekonstruuje wysokoczęstotliwościową część każdego kanału przy dekodowaniu. Dodanie informacji o fazie i kontrolowanego przez urządzenie kodujące przetwarzania informacji o amplitudzie spektralnej wysłanych w strumieniu danych poprawia wierność tego procesu, tak że kompozytowy kanał mono może być rozszerzony na mniejsze częstotliwości niż to było możliwe wcześniej. Zmniejsza to rzeczywistą zakodowaną szerokość pasma i w ten sposób zwiększa wydajność kodowania. [0067] Standard E-AC-3 obejmuje również rozszerzenie spektralne. Rozszerzenie spektralne obejmuje wymianę współczynników transformaty górnych częstotliwości segmentami spektralnymi niższych częstotliwości przełożonymi w dziedzinie częstotliwości. Charakterystyki spektralne przełożonych segmentów są dopasowane do oryginału poprzez modulację spektralną współczynników transformaty, a także poprzez mieszanie ukształtowanych składowych szumu z przełożonymi segmentami spektralnymi niższej częstotliwości. [0068] Standard E-AC-3 zawiera niskoczęstotliwościowy kanał efektowy (LFE). To opcjonalny pojedynczy kanał o ograniczonej (< 120 Hz) szerokości pasma, który ma być odtwarzany na poziomie +10 db w odniesieniu do kanałów pełnej szerokości pasma. Opcjonalny kanał LFE umożliwia dostarczanie wysokich poziomów ciśnienia akustycznego dla niskoczęstotliwościowych dźwięków. Inne standardy kodowania, na przykład AC-3 i HE- AAC również zawierają opcjonalny kanał LFE. [0069] Dodatkowa technika poprawy jakości sygnału audio dla małych szybkości transmisji danych jest używana do przetwarzania transjent przed szumem opisanego poniżej. Dekodowanie AC-3 [0070] W typowych realizacjach dekodera AC-3, aby utrzymać wymagania dotyczące pamięci i opóźnienia dekodera na możliwie niskim poziomie, każda ramka AC-3 jest dekodowana w serii zagnieżdżonych pętli. [0071] Pierwszy etap ustanawia wyrównanie ramki. Obejmuje to odnalezienie słowa synchronizacji AC-3, a następnie potwierdzenie, że słowa CRC wykrywania błędów wskazują brak błędów. Po odnalezieniu synchronizacji ramki, dane BSI są rozpakowywane, aby określić ważne informacje o ramce, takie jak liczba zakodowanych kanałów. Jednym z kanałów może być kanał LFE. Liczba zakodowanych kanałów oznaczana jest tutaj jako N.n, gdzie n jest numerem kanałów LFE, N jest numerem kanałów głównych. W aktualnie używanych standardach kodowania n=0 lub 1. W przyszłości mogą występować przypadki z n>1.

14 13- [0072] Następnym krokiem dekodowania jest odpakowanie każdego z sześciu bloków audio. Aby zminimalizować wymagania dotyczące pamięci wyjściowych buforów danych modulacji kodowo-impulsowej (PCM), bloki audio są rozpakowywane po jednym na raz. Na końcu każdego okresu bloku wyniki PCM są, w wielu realizacjach, kopiowane do buforów wyjściowych, które w przypadku działania w czasie rzeczywistym w dekoderze sprzętowym są zazwyczaj podwójnie lub obwodowo zbuforowane dla bezpośrednio przerywanego dostępu przez konwerter cyfrowo analogowy (DAC). [0073] Przetwarzanie bloku audio dekodera AC-3 może być podzielone na dwa odrębne etapy, nazywane tutaj przetwarzaniem wejściowym i wyjściowym. Przetwarzanie wejściowe obejmuje rozpakowywanie strumienia bitów i manipulowanie zakodowanym kanałem. Przetwarzanie wyjściowe odnosi się głównie do etapów oknowania i nakładania z dodawaniem odwrotnej transformaty MDCT. [0074] Dokonuje się tego rozróżnienia ponieważ liczba głównych kanałów wyjściowych, tutaj oznaczana jako M 1, generowanych przez dekoder AC-3 niekoniecznie odpowiada liczbie głównych kanałów wejściowych, oznaczanych tutaj jako N, N 1 zakodowanych w strumieniu bitów, gdzie zazwyczaj, ale niekoniecznie, N M. Poprzez wykorzystanie downmixingu, dekoder może akceptować strumień bitów z dowolną liczbą N zakodowanych kanałów i tworzyć dowolną liczbę M kanałów wyjściowych, gdzie M 1. Należy odnotować, że ogólnie liczba kanałów wyjściowych jest tutaj oznaczana jako M.m, gdzie M jest liczbą głównych kanałów wyjściowych, m jest liczbą wyjściowych kanałów LFE. W dzisiejszych zastosowaniach m=0 lub 1. W przyszłości możliwe jest uzyskanie m>1. [0075] Należy zauważyć, że w downmixingu nie wszystkie z zakodowanych kanałów są uwzględniane w kanałach wyjściowych. Przykładowo w downmixingu z 5.1 do stereo, informacje o kanale LFE są zazwyczaj odrzucane. Stąd w niektórych downmixingach n=1 i m=0, to znaczy, że nie występuje wyjściowy kanał LFE. [0076] Fig. 1 przedstawia pseudokod 100 instrukcji, których wykonanie powoduje przeprowadzenie typowego procesu dekodowania AC-3. [0077] Przetwarzanie wejściowe w dekodowaniu AC3 zazwyczaj rozpoczyna się, kiedy dekoder rozpakowuje stałe bloki danych, które są zbiorem parametrów i flag znajdujących się na początku bloku audio. Te stałe dane zawierają elementy takie, jak flagi przełączania bloków, informacje o sprzęganiu, wykładniki i parametry alokacji bitów. Termin stałe dane odnosi się do faktu, że rozmiary słów w elementach strumienia bitów są znane z wyprzedzeniem i w związku z tym proces dekodowania o zmiennej długości nie jest konieczny do odzyskania takich elementów. [0078] Wykładniki stanowią pojedyncze największe pole w obszarze danych stałych, ponieważ zawierają one wszystkie wykładniki z każdego zakodowanego kanału. W zależności od trybu kodowania, w AC-3, występować może nie więcej jak jeden wykładnik na mantysę, przy 253 mantysach na kanał. Zamiast rozpakowywać wszystkie wykładniki do pamięci lokalnej, wiele realizacji dekoderów zapisuje znaczniki do pól wykładników i rozpakowuje je wtedy, gdy są potrzebne, po jednym kanale na raz.

15 14- [0079] Po rozpakowaniu danych stałych, wiele znanych dekoderów AC-3 rozpoczyna przetwarzanie każdego zakodowanego kanału. Najpierw wykładniki dla danego kanału są rozpakowywane z ramki wejściowej. Następnie zazwyczaj przeprowadza się obliczanie alokacji bitu, które bierze wykładniki i parametry alokacji bitów i oblicza rozmiary słowa dla każdej spakowanej mantysy. Następnie mantysy są zazwyczaj rozpakowywane z ramki wejściowej. Mantysy są skalowane, aby zapewnić odpowiednią kontrolę zakresu dynamicznego i w razie potrzeby do cofania operacji sprzęgania, po czym denormalizowane przez wykładniki. Na koniec obliczana jest transformata odwrotna, aby określić dane przed nakładaniem z dodawaniem, dane w tak zwanej dziedzinie okna, a wyniki są downmixowane do odpowiednich buforów downmixingu do dalszego przetwarzania wyjściowego. [0080] W niektórych zastosowaniach wykładniki pojedynczego kanału są rozpakowywane do bufora o długości 256 próbek, zwanego buforem MDCT. Wykładniki te są następnie grupowane w nie więcej jak 50 pasm dla celów alokacji bitu. Liczba wykładników w każdym paśmie rośnie w kierunku wyższych częstotliwości audio, podążając w przybliżeniu zgodnie ze skalą logarytmiczną, która modeluje psychoakustyczne pasma krytyczne. [0081] Dla każdej z tych alokacji bitu wykładniki i parametry alokacji bitu są łączone, aby generować rozmiar słowa mantysy dla każdej mantysy z tego pasma. Rozmiary tych słów są przechowywane w buforze pasma o długości 24 próbek z najszerszym pasmem alokacji bitu składającym się z 24 przedziałów częstotliwości. Po obliczeniu rozmiarów słów, odpowiednie mantysy są rozpakowywane z ramki wejściowej i zapisane na miejscu z powrotem w buforze pasma. Mantysy te są skalowane i de-normalizowane przez odpowiadający im wykładnik i zapisywane, na przykład zapisywane na miejscu z powrotem do bufora MDCT. Po przetworzeniu wszystkich pasm i rozpakowaniu wszystkich mantys, wszystkie pozostałe lokalizacje w buforze MDCT są zazwyczaj zapisywane zerami. [0082] Realizowana jest transformata odwrotna, na przykład realizowana na miejscu w buforze MDCT. Wynik tego przetwarzania, dane dziedziny okna, może być następnie downmixowany do odpowiednich buforów downmixingu na podstawie parametrów downmixingu określonych na podstawie metadanych, na przykład uzyskanych z uprzednio zdefiniowanych danych na podstawie metadanych. [0083] Po zakończeniu przetwarzania wejściowego i po całkowitym wygenerowaniu buforów downmixingu z danymi po downmixingu dziedziny okna, dekoder może realizować przetwarzanie wyjściowe. Dla każdego kanału wyjściowego bufor downmixingu i odpowiadający mu bufor opóźnienia pół-bloku o długości 128 próbek są oknowane i łączone, aby utworzyć 256 próbek wyjściowych PCM. W sprzętowym systemie dźwiękowym zawierającym dekoder i jeden lub więcej DAC próbki te są trasowane do szerokości słowa DAC i kopiowane do bufora wyjściowego. Po wykonaniu tego, połowa bufora downmixingu jest następnie kopiowana do odpowiadającego mu bufora opóźnienia, zapewniającego 50% nakładanie informacji koniecznych do poprawnej rekonstrukcji kolejnego bloku audio. Dekodowanie E-AC-3

16 15- [0084] Określone przykłady wykonania wynalazku obejmują sposób sterowania dekoderem audio do dekodowania danych audio, zawierających określoną liczbę, oznaczoną jako N.n, kanałów zakodowanych danych audio, na przykład dekoder audio E-AC-3, do dekodowania zakodowanych danych audio E-AC-3 dla tworzenia zdekodowanych danych audio, zawierających M.m kanałów zdekodowanego sygnału audio, gdzie n=0 lub 1, m=0 lub 1, a M 1. Wartość n=1 oznacza wejściowy kanał LFE, m=1 oznacza wyjściowy kanał LFE. M<N oznacza proces downmixingu, M>N oznacza proces upmixingu. [0085] Sposób obejmuje akceptowanie danych audio zawierających N.n kanałów zakodowanych danych audio, kodowanych sposobem kodowania, na przykład sposobem kodowania obejmującym transformowanie przy użyciu transformaty z nakładaniem N kanałów cyfrowych danych audio, tworzenie i pakowanie danych wykładnika i mantysy w dziedzinie częstotliwości oraz tworzenie i pakowanie metadanych związanych z danymi wykładnika i mantysy w dziedzinie częstotliwości, gdzie metadane opcjonalnie zawierają metadane związane z przetwarzaniem transjent przed szumem, na przykład przez sposób kodowania E-AC-3. [0086] Niektóre przykłady wykonania opisane tutaj są zaprojektowane do akceptowania zakodowanego sygnału audio zakodowanego według standardu E-AC-3 lub według standardu kompatybilnie wstecznego ze standardem E-AC-3 i mogą obejmować więcej niż 5 zakodowanych kanałów głównych. [0087] Zgodnie z bardziej szczegółowym opisem poniżej, sposób obejmuje dekodowanie zaakceptowanych danych audio, gdzie dekodowanie obejmuje: rozpakowywanie metadanych oraz rozpakowywanie i dekodowanie danych wykładnika i mantysy w dziedzinie częstotliwości; określanie współczynników transformaty z rozpakowanych i zdekodowanych danych wykładnika i mantysy w dziedzinie częstotliwości; odwrotne transformowanie danych w dziedzinie częstotliwości; stosowanie oknowania i nakładania z dodawaniem do określania próbkowanych danych audio; stosowania jakiegokolwiek wymaganego dekodowania przetwarzania transjent przed szumem na podstawie metadanych związanych z przetwarzaniem transjent przed szumem; i dla przypadku, gdy M<N, downmixing na podstawie danych downmixingu. Downmixing obejmuje testowanie, czy dane downmixingu uległy zmianie względem ostatnio używanych danych downmixingu i jeżeli uległy zmianie, stosowanie przenikania do określenia danych downmixingu po przenikaniu i downmixing na podstawie danych downmixingu po przenikaniu, a jeżeli pozostały bez zmian, bezpośredni downmixing na podstawie danych downmixingu. [0088] W niektórych przykładach wykonania wynalazku dekoder używa co najmniej jednego procesora x86 wykonującego instrukcje rozszerzeń strumieniowych (SIMD) jedna instrukcja wiele danych (SSE), które zawierają instrukcje wektorowe. W takich przykładach wykonania downmixing obejmuje uruchomienie instrukcji wektorowych na przynajmniej jednym spośród jednego lub więcej procesorów x86. [0089] W niektórych przykładach wykonania wynalazku sposób dekodowania sygnału audio E-AC-3, który może być sygnałem audio AC-3, jest podzielony na moduły operacji, które

17 16- mogą być stosowane więcej, niż jeden raz, to jest w różnych realizacjach dekodera mogą tworzyć więcej niż jedną instancję. W przypadku, gdy sposób obejmuje dekodowanie, dekodowanie jest dzielone na zestaw operacji dekodowania wejściowego (FED) i zestaw operacji dekodowania wyjściowego (BED). Zgodnie z opisem poniżej operacje dekodowania wejściowego obejmują rozpakowywanie i dekodowanie danych wykładnika i mantysy w dziedzinie częstotliwości ramki strumienia bitów standardu AC-3 lub E-AC-3 do rozpakowanych i zdekodowanych dla ramki danych wykładnika i mantysy w dziedzinie częstotliwości i towarzyszących ramce metadanych. Operacje dekodowania wyjściowego obejmują określanie współczynników transformaty, odwrotne transformowanie określonych współczynników transformaty, stosowanie operacji oknowania i nakładania z dodawaniem, stosowanie jakiegokolwiek wymaganego dekodowania przetwarzania transjent przed szumem i stosowanie downmixingu w przypadku, jeżeli występuje mniejsza liczba kanałów wyjściowych niż liczba kanałów zakodowanych w strumieniu bitów. [0090] Niektóre przykłady wykonania wynalazku obejmują komputerowo odczytywalny nośnik danych przechowujący instrukcje, których wykonanie przez jeden lub więcej procesorów systemu przetwarzania powoduje, że system przetwarzania przeprowadza dekodowanie danych audio zawierających N.n kanałów zakodowanych danych audio dla tworzenia zdekodowanych danych audio zawierających M.m kanałów zdekodowanych danych audio, gdzie M 1. W dzisiejszych standardach n=0 lub 1, a m=0 lub 1, ale wynalazek nie jest w ten sposób ograniczony. Instrukcje zawierają instrukcje, których wykonanie powoduje akceptowanie danych audio zawierających N.n kanałów zakodowanych danych audio zakodowanych sposobem kodowania, na przykład AC-3 lub E-AC-3. Instrukcje zawierają także instrukcje, których wykonanie powoduje dekodowanie zaakceptowanych danych audio. [0091] W niektórych przykładach wykonania zaakceptowane dane audio mają postać strumienia bitów AC-3 lub E-AC-3 ramek zakodowanych danych. Instrukcje, których wykonanie powoduje zdekodowanie zaakceptowanych danych audio są podzielone na zestaw modułów instrukcji możliwych do ponownego użycia, w tym na moduł dekodowania wejściowego (FED) i moduł dekodowania wyjściowego (BED). Moduł dekodowania wejściowego zawiera instrukcje, których wykonanie powoduje realizację rozpakowywania i dekodowania dla danej ramki danych wykładnika i mantysy w dziedzinie częstotliwości i metadanych towarzyszących ramce. Moduł dekodowania wyjściowego zawiera instrukcje, których wykonanie powoduje określenie współczynników transformaty, odwrotne transformowanie, stosowanie operacji oknowania i nakładania z dodawaniem, stosowania jakiegokolwiek wymaganego dekodowania przetwarzania transjent przed szumem i stosowania downmixingu w przypadku, kiedy występuje mniej kanałów wyjściowych niż zakodowanych kanałów wejściowych. [0092] Fig. 2A-2D przedstawiają w postaci uproszczonego schematu blokowego niektóre różne konfiguracje dekodera, które mogą korzystnie wykorzystywać jeden lub więcej modułów wspólnych. Fig. 2A przedstawia uproszczony schemat blokowy przykładu dekodera E-AC dla zakodowanego sygnału audio 5.1 AC-3 lub E-AC-3. Oczywiście użycie

18 17- terminu blok w odniesieniu do bloków schematu blokowego nie jest tożsame z blokiem danych audio, gdyż ten ostatni odnosi się do ilości danych audio. Dekoder 200 zawiera moduł dekodowania wejściowego (FED) 201, który akceptuje ramki AC-3 lub E-AC-3 i przeprowadza, ramka po ramce, rozpakowywanie metadanych ramki i dekodowanie danych audio ramki do danych wykładnika i mantysy w dziedzinie częstotliwości. Dekoder 200 zawiera również moduł dekodowania wyjściowego (BED) 203 akceptujący dane wykładnika i mantysy w dziedzinie częstotliwości z modułu dekodowania wejściowego 201 i dekoduje je do maksymalnie 5.1 kanałów PCM danych audio. [0093] Dekompozycja dekodera na wejściowy moduł dekodujący i wyjściowy moduł dekodujący jest wyborem projektowym, a nie koniecznym rozdzieleniem. Takie rozdzielenie zapewnia zalety posiadania wspólnych modułów w wielu alternatywnych konfiguracjach. Moduł FED może być wspólny w takich alternatywnych konfiguracjach i elementem wspólnym wielu konfiguracji jest rozpakowywanie metadanych ramki i dekodowanie danych audio ramki do danych wykładnika i mantysy w dziedzinie częstotliwości tak, jak przeprowadza to moduł FED. [0094] Jako jeden przykład konfiguracji alternatywnej Fig. 2B przedstawia uproszczony schemat blokowy dekodera/konwertera E-AC dla zakodowanego sygnału audio 5.1 E- AC-3, który dekoduje zakodowany sygnał audio 5.1 AC-3 lub E-AC-3 i również dokonuje konwersji zakodowanej ramki E-AC-3 z maksymalnie 5.1 kanałami audio do ramki zakodowanej AC-3 z maksymalnie 5.1 kanałami. Dekoder/konwerter 210 zawiera moduł dekodowania wejściowego (FED) 201, który akceptuje ramki AC-3 lub E-AC-3 i przeprowadza, ramka po ramce, rozpakowywanie metadanych ramki i dekodowanie danych audio ramki do danych wykładnika i mantysy w dziedzinie częstotliwości. Dekoder/konwerter 210 zawiera także moduł dekodowania wyjściowego (BED) 203, który jest taki sam lub podobny do modułu BED 203 dekodera 200, i który akceptuje dane wykładnika i mantysy w dziedzinie częstotliwości z modułu dekodowania wejściowego 201 i dekoduje je do maksymalnie 5.1 kanałów PCM danych audio. Dekoder/konwerter 210 zawiera także moduł konwertera metadanych 205 konwertujący metadane i moduł kodowania wyjściowego 207, który akceptuje dane wykładnika i mantysy w dziedzinie częstotliwości z modułu dekodowania wejściowego 201 i kodowania danych jako ramki AC-3 o maksymalnie 5.1 kanałach danych audio i o szybkości transmisji danych nie większej niż 640 kb/s, która jest możliwa w AC-3. [0095] Jako jeden przykład alternatywnej konfiguracji, Fig. 2C przedstawia uproszczony schemat blokowy dekodera E-AC-3 dekodującego ramkę AC-3 o maksymalnie 5.1 kanałach zakodowanego sygnału audio i również do dekodowania zakodowanej ramki E-AC-3 o maksymalnie 7.1 kanałach audio. Dekoder 220 zawiera moduł analizy informacji o ramce 221, który rozpakowuje dane BSI i identyfikuje ramki i typy ramek oraz dostarcza ramki do odpowiednich elementów dekodera wejściowego. W typowej realizacji, obejmującej jeden lub więcej procesorów i pamięć, w której zapisane są instrukcje, których wykonanie powoduje realizację funkcjonalności modułów, może działać wiele instancji modułu dekodowania wejściowego i wiele instancji modułu dekodowania wyjściowego. W niektórych

19 18- przykładach wykonania dekodera E-AC-3, funkcjonalność rozpakowywania BSI jest rozdzielona od modułu dekodowania wejściowego, aby przeglądać dane BSI. To uwzględnia wspólne moduły do użycia w różnych alternatywnych realizacjach. Fig. 2C przedstawia uproszczony schemat blokowy dekodera z taką architekturą, który jest odpowiedni dla maksymalnie 7.1 kanałów danych audio. Fig. 2D przedstawia uproszczony schemat blokowy dekodera o takiej strukturze. Dekoder 240 zawiera moduł analizy informacji o ramce 241, moduł dekodowania wejściowego 243 i moduł dekodowania wyjściowego 245. Moduły FED i BED mogą mieć strukturę podobną do modułów FED i BED używanych w architekturze z Fig. 2C. [0096] Wracając do Fig. 2C, moduł analizy informacji o ramce 221 dostarcza dane niezależnie kodowanej ramki AC-3/E-AC-3 o maksymalnie 5.1 kanałach do modułu dekodowania wejściowego 223, który akceptuje ramki AC-3 lub E-AC-3 do wykonywania, ramka po ramce, rozpakowywania metadanych ramki i dekodowania danych wykładnika i mantysy w dziedzinie częstotliwości danych audio ramki. Dane wykładnika i mantysy dziedziny częstotliwości są akceptowane przez moduł dekodowania wyjściowego 225, który jest taki sam lub podobny do modułu BED 203 dekodera 200 i to akceptuje dane wykładnika i mantysy w dziedzinie częstotliwości z modułu dekodowania wejściowego 223 i do dekodowania danych do maksymalnie 5.1 kanałów PCM danych audio. Każda zależna zakodowana AC-3/E-AC-3 ramka dodatkowego kanału danych jest dostarczona do innego modułu dekodowania czołowego 227, który jest podobny do drugiego modułu FED i tak rozpakowuje metadane ramki i dekoduje dane audio ramki do danych wykładnika i mantysy dziedziny częstotliwości. Moduł dekodowania wyjściowego 229, który akceptuje dane z modułu FED 227 i do dekodowania danych do PCM danych audio jakichkolwiek dodatkowych kanałów. Moduł odwzorowujący kanał PCM 231 jest używany do łączenia zdekodowanych danych z odpowiednich modułów BED, aby zapewnić do 7.1 kanałów danych PCM. [0097] Jeżeli występuje więcej niż 5 zakodowanych kanałów głównych, to jest w przypadku, gdy N>5, występuje 7.1 zakodowanych kanałów, zakodowany strumień bitów zawiera niezależną ramkę z maksymalnie 5.1 zakodowanymi kanałami i co najmniej jedną zależną ramkę z zakodowanymi danymi. W przykładach wykonania oprogramowania dla takiego przypadku, na przykład przykładach wykonania zawierających odczytywalny komputerowo nośnik przechowujący instrukcje do wykonania, gdzie instrukcje są zaaranżowane jako wielokrotność modułów dekodowania 5.1 kanałów, gdzie każdy moduł dekodowania 5.1 kanałów zawiera swoją instancję modułu dekodowania wyjściowego. Wielokrotność modułów dekodowania kanałów 5.1 obejmuje pierwszy moduł dekodowania kanału 5.1, którego wykonanie powoduje zdekodowanie niezależnej ramki, i jeden lub więcej modułów dekodowania kanału dla każdej odpowiedniej ramki zależnej. W niektórych takich przykładach wykonania instrukcje obejmują moduł instrukcji analizy informacji o ramce, których wykonanie powoduje wypakowanie pola informacji o strumieniu bitów (BSI) z każdej ramki, aby zidentyfikować ramki i typy ramek i dostarczyć zidentyfikowane ramki do odpowiedniej instancji modułu dekodowania wejściowego, oraz moduł instrukcji odwzorowania kanału, których wykonanie i w przypadku, gdy N>5, powoduje łączenie

20 19- zdekodowanych danych z odpowiednich modułów dekodowania wyjściowego, aby tworzyć N głównych kanałów zdekodowanych danych. Sposób sterownia podwójnym dekoderem konwerterem AC-3/E-AC-3 [0098] Jeden przykład wykonania wynalazku ma postać podwójnego dekodera konwertera (DCC), który dekoduje dwa wejściowe strumienie bitów AC-3/E-AC-3, zaprojektowane jako główny i skojarzony, z maksymalnie 5.1 kanałami każdy, do PCM audio, i w przypadku konwersji, konwertuje główny strumień bitów audio z E-AC-3 do AC-3, a w przypadku dekodowania, dekoduje główny strumień bitów, a jeżeli jest obecny to skojarzony strumień bitów. Podwójny dekoder konwerter opcjonalnie miesza dwa wyjścia PCM używając metadanych mieszania wyodrębnionych ze skojarzonego strumienia bitów audio. [0099] Jeden przykład wykonania podwójnego dekodera konwertera realizuje sposób sterowania dekoderem dla realizacji procesów objętych w kodowaniu i/lub konwertowaniu do dwóch wejściowych strumieni bitów AC-3/E-AC-3. Inny przykład wykonania ma postać materialnego nośnika danych z instrukcjami, na przykład instrukcjami programowymi, których wykonanie przez jeden lub więcej procesorów systemu przetwarzania powoduje, że system przetwarzania realizuje procesy objęte w dekodowaniu i/lub konwertowaniu do dwóch wejściowych strumieni bitów AC-3/E-AC-3. [0100] Jeden przykład podwójnego konwertera dekodera AC-3/E-AC-3 ma sześć podelementów, z których niektóre stanowią elementy wspólne. Tymi modułami są: [0101] Dekoder-konwerter: Dekoder-konwerter jest skonfigurowany tak, żeby po wykonaniu zdekodować wejściowy strumień bitów AC-3/E-AC-3 (do 5.1 kanałów) do PCM audio i/lub konwertować wejściowy strumień bitów z E-AC-3 na AC-3. Dekoder-konwerter ma trzy główne pod-elementy i może wdrażać przykład wykonania 210 przedstawiony na Fig. 2B powyżej. Trzema głównymi pod-elementami są: [0102] Dekodowanie wejściowe: moduł FED jest skonfigurowany, żeby po wykonaniu dekodować ramkę strumienia bitów AC-3/E-AC-3 do surowych danych w dziedzinie częstotliwości i towarzyszących im metadanych. [0103] Dekodowanie wyjściowe: moduł BED jest skonfigurowany, żeby po wykonaniu kończyć resztę procesu dekodowania zapoczątkowanego przez moduł FED. W szczególności moduł BED dekoduje dane audio (w formacie wykładnika i mantysy) do danych audio PCM. [0104] Kodowanie wyjściowe: moduł kodowania wyjściowego jest skonfigurowany, żeby po wykonaniu kodować ramkę AC-3 używając sześciu bloków danych audio z FED. Moduł kodowania wyjściowego jest również skonfigurowany, żeby po wykonaniu synchronizować, rozwiązywać i konwertować metadane E-AC-3 do metadanych Dolby Digital przy użyciu dołączonego modułu konwertera metadanych. [0105] Dekoder 5.1: moduł dekodera 5.1 jest skonfigurowany, żeby po wykonaniu dekodować wejściowy strumień bitów AC-3/E-AC-3 (do 5.1 kanałów) do PCM audio. Dekoder 5.1 opcjonalnie również tworzy mieszane metadane do użycia przez zewnętrzną aplikację do mieszania dwóch strumieni bitów AC-3/E-AC-3. Moduł dekoder zawiera dwa