(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (1) T3 Int.Cl. GL 19/008 (13.01) GL 19/ (13.01) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 13/23 EP B1 (4) Tytuł wynalazku: Dekoder sygnału audio, sposób dekodowania sygnału audio i program komputerowy wykorzystujący kaskadowe etapy przetwarzania obiektów audio (30) Pierwszeństwo: US 2042 P (43) Zgłoszenie ogłoszono: w Europejskim Biuletynie Patentowym nr 12/18 (4) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 13/11 (73) Uprawniony z patentu: Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.v., München, DE (72) Twórca(y) wynalazku: PL/EP T3 OLIVER HELLMUTH, Erlangen, DE CORNELIA FALCH, Nürnberg, DE JÜRGEN HERRE, Buckenhof, DE JOHANNES HILPERT, Nürnberg, DE FALKO RIDDERBUSCH, Nürnberg, DE LEONID TERENTIEV, Erlangen, DE (74) Pełnomocnik: rzecz. pat. Sebastian Walkiewicz LDS ŁAZEWSKI DEPO I WSPÓLNICY SP.K. ul. Okopowa 8/ Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 1 EP B1 Z-708/13 Dekoder sygnału audio, sposób dekodowania sygnału audio i program komputerowy wykorzystujący kaskadowe etapy przetwarzania obiektów audio Opis Dziedzina techniki [0001] Warianty wykonania wynalazku dotyczą dekodera sygnału audio do dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną. [0002] Dalsze warianty wykonania wynalazku dotyczą sposobu dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną. [0003] Dalsze warianty wykonania wynalazku dotyczą programu komputerowego. [0004] Pewne warianty wykonania wynalazku dotyczą ulepszonego systemu Karaoke/Solo SAOC. Tło wynalazku [000] We współczesnych systemach audio pożądane jest przesyłanie i przechowywanie informacji audio w sposób wydajny przepływnościowo. Dodatkowo, często pożądane jest odtwarzanie zawartości audio z użyciem dwóch lub nawet większej liczby głośników, które są rozmieszczone przestrzennie w pomieszczeniu. W takich wypadkach, pożądane jest wykorzystanie zdolności takich układów wielu głośników do umożliwienia użytkownikowi przestrzennej identyfikacji różnych zawartości audio lub elementów pojedynczej zawartości audio. Można to osiągnąć przez indywidualne rozprowadzanie różnych zawartości audio do różnych głośników. [0006] Mówiąc inaczej w dziedzinie przetwarzania audio, przesyłania audio i przechowywania audio, istnieje narastająca potrzeba manipulacji zawartością wielokanałową dla poprawy wrażeń słuchowych. Wykorzystanie wielokanałowej zawartości audio przynosi użytkownikowi znaczne korzyści. Przykładowo, uzyskane mogą być słuchowe wrażenia trójwymiarowe, zapewniające użytkownikowi większe zadowolenie w zastosowaniach rozrywkowych. Jednak zawartości wielokanałowe są też przydatne w środowisku profesjonalnym, na przykład w aplikacjach telekonferencji, ponieważ zrozumiałość mówiącego może zostać ulepszona dzięki wykorzystaniu odtwarzania wielokanałowego. [0007] Jednak pożądana jest również właściwa równowaga między jakością audio i wymaganiami przepływności w celu uniknięcia nadmiernych obciążeń zasobów, powodowanych zastosowaniami wielokanałowymi.

3 [0008] Ostatnio zaproponowano parametryczne techniki wydajnej przepływnościowo i/lub pamięciowo transmisji scen audio zawierających wiele obiektów audio, na przykład Binaural Cue Coding (Type I) (patrz przykładowo referencje [BCC]), Joint Source Coding (patrz przykładowo referencje [JSC]), i MPEG Spatial Audio Object Coding (SAOC) (patrz przykładowo referencje [SAOC1], [SAOC2]. [0009] Techniki te mają na celu rekonstrukcję raczej percepcyjną pożądanej wyjściowej sceny audio, niż za pomocą dopasowania kształtu fali. [00] Fig. 8 przedstawia zarys takiego systemu (w tym wypadku MPEG SAOC). System MPEG SAOC 800 pokazany na Fig. 8 zawiera koder SAOC 8 i dekoder SAOC 8. Koder SAOC 8 odbiera wiele sygnałów obiektowych od x 1 do x N, które mogą być reprezentowane przykładowo jako sygnały w domenie czasu lub sygnały w domenie częstotliwości (przykładowo, w postaci zestawu współczynników transformacji Fouriera lub w postaci sygnałów podpasmowych QMF). Koder SAOC 8 typowo odbiera również współczynniki downmixu d 1 do d N, które są powiązane z sygnałami obiektowymi x 1 do x N. Osobne zestawy współczynników downmixu mogą być dostępne dla każdego kanału sygnału downmixu. Koder SAOC 8 typowo jest skonfigurowany do uzyskania kanału sygnału downmixu przez połączenie sygnałów obiektowych = x 1 do x N zgodnie z powiązanymi współczynnikami downmixu d 1 do d N. Typowo, jest mniej kanałów downmixu niż sygnałów obiektowych x 1 do x N. Dla umożliwienia (przynajmniej częściowo) rozdzielenia (lub oddzielnego przetwarzania) sygnałów obiektowych po stronie dekodera SAOC 8, koder SAOC 8 dostarcza zarówno jeden lub większą liczbę sygnałów downmixu (oznaczonych jako kanały downmixu) 812 jak i informację dodatkową 814. Informacja dodatkowa 814 opisuje właściwości sygnałów obiektowych x 1 do x N dla umożliwienia przetwarzania obiektowego po stronie dekodera. [0011] Dekoder SAOC 8 jest skonfigurowany do odbierania zarówno jednego lub większej liczby sygnałów downmixu 812 jak i informacji dodatkowej 814. Również, dekoder SAOC 8 typowo jest skonfigurowany do odbierania informacji 822 interakcji użytkownika i/lub kontroli użytkownika, która opisuje pożądany układ renderowania. Przykładowo, informacja 822 interakcji użytkownika/kontroli użytkownika może opisywać układ głośników i pożądane rozmieszczenie przestrzenne obiektów dostarczonych przez sygnały obiektowe x 1 do x N. [0012] Dekoder SAOC 8 jest skonfigurowany do dostarczania, przykładowo, wielu zdekodowanych sygnałów kanałów upmixu ŷ 1 do ŷ M. Sygnały kanałów upmixu mogą być przykładowo powiązane z indywidualnymi głośnikami wielogłośnikowego układu renderowania. Dekoder SAOC 8 może przykładowo zawierać separator 8a obiektów, który jest skonfigurowany do rekonstrukcji, przynajmniej częściowo, sygnałów obiektowych x 1 do x N na bazie jednego lub większej liczby sygnałów 812 downmixu i informacji dodatkowej 814, tym samym uzyskując zrekonstruowane sygnały obiektowe 8b. Jednak zrekonstruowane

4 sygnały obiektowe 8b mogą nieco odbiegać od oryginalnych sygnałów obiektowych x 1 do x N, na przykład ponieważ informacja dodatkowa 814 nie jest w pełni wystarczająca dla perfekcyjnej rekonstrukcji z powodu ograniczeń przepływnościowych. Dekoder SAOC 8 może ponadto zawierać mikser 8c, który może być skonfigurowany do odbioru zrekonstruowanych sygnałów obiektowych 8b i informacji 822 interakcji użytkownika/kontroli użytkownika i do dostarczania, na ich bazie, sygnałów ŷ 1 do ŷ M kanałów upmixu. Mikser 8c może być skonfigurowany do użycia informacji 822 interakcji użytkownika/kontroli użytkownika dla ustalenia wkładu indywidualnych zrekonstruowanych sygnałów obiektowych 8b w sygnałach ŷ 1 do ŷ M kanałów upmixu. Informacja 822 interakcji użytkownika/kontroli użytkownika może na przykład zawierać parametry renderowania (również określane jako współczynniki renderowania), które wyznaczają wkład indywidualnych zrekonstruowanych sygnałów obiektowych 8b w sygnałach ŷ 1 do ŷ M kanałów upmixu. [0013] Jednak należy zauważyć, że w wielu przykładach wykonania, separacja obiektów, która jest wskazywana przez separator 8a obiektów na Fig. 8 i miksowanie, które jest wskazane mikserem 8c na Fig. 8, są realizowane w jednym etapie. W tym celu, obliczane mogą być całościowe parametry, które opisują bezpośrednie mapowanie jednego lub większej liczby sygnałów 812 downmixu na sygnały ŷ 1 do ŷ M kanałów upmixu. Parametry te mogą być obliczane na bazie informacji dodatkowej 814 i informacji 822 interakcji użytkownika/kontroli użytkownika. [0014] Odnosząc się teraz do Fig. 9a, 9b i 9c, opisane zostaną różne urządzenia do uzyskiwania reprezentacji sygnału upmixu na bazie reprezentacji sygnału downmixu i obiektowej informacji dodatkowej. Fig. 9a przedstawia schemat blokowy systemu MPEG SAOC 900 zawierającego dekoder SAOC 9. Dekoder SAOC 9 zawiera, jako osobne bloki funkcyjne, dekoder obiektowy 922 i moduł 926 miksowania/renderowania. Dekoder obiektowy 922 dostarcza wiele zrekonstruowanych sygnałów obiektowych 924 w oparciu o reprezentację sygnału downmixu (na przykład w postaci jednego lub większej liczby sygnałów downmixu reprezentowanych w domenie czasu lub w domenie częstotliwości) i obiektowej informacji dodatkowej (na przykład w postaci obiektowych meta danych). Moduł 926 miksowania/renderowania odbiera zrekonstruowane sygnały obiektowe 924 powiązane z liczbą N obiektów i dostarcza, na ich bazie, jeden lub większą liczbę sygnałów 928 kanałów upmixu. W dekoderze SAOC 9, pozyskiwanie sygnałów obiektowych 924 jest realizowane odrębnie od miksowania/renderowania, co umożliwia separację funkcji dekodowania obiektowego od funkcji miksowania/renderowania, ale pociąga za sobą względnie wysoką złożoność obliczeniową. [001] Odnosząc się teraz do Fig. 9b, opisany zostanie krótko inny system MPEG SAOC 930, który zawiera dekoder SAOC 90. Dekoder SAOC 90 dostarcza wiele sygnałów 98 kanałów upmixu w oparciu o reprezentację kanału downmixu (na przykład w postaci jednego lub większej liczby sygnałów downmixu) i dodatkowej informacji obiektowej (na

5 przykład w postaci obiektowych meta danych). Dekoder SAOC 90 zawiera połączony dekoder obiektowy i moduł miksowania/renderowania, który jest skonfigurowany do uzyskiwania sygnałów 98 kanałów upmixu w połączonym procesie miksowania bez separacji dekodowania obiektowego i miksowania/renderowania, przy czym parametry dla wspomnianego procesu połączonego upmixu są zależne zarówno od obiektowej informacji dodatkowej i informacji o renderowaniu. Proces połączonego upmixu zależy również od informacji downmixu, która jest uważana za część obiektowej informacji dodatkowej. [0016] Podsumowując powyższe, zapewnienie sygnałów 928, 98 kanałów upmixu może być realizowane w procesie jednoetapowym lub dwuetapowym. [0017] Odnosząc się teraz do Fig. 9c, opisany zostanie system MPEG SAOC 960. System MPEG SAOC 960 zawiera transkoder 980 SAOC do MPEG Surround, zamiast dekodera SAOC. [0018] Transkoder SAOC do MPEG Surround zawiera transkoder 982 informacji dodatkowej, który jest skonfigurowany do odbierania obiektowej informacji dodatkowej (na przykład w postaci obiektowych meta danych) i opcjonalnie informacji o jednym lub większej liczbie sygnałów downmixu i informacji o renderowaniu. Transkoder informacji dodatkowej jest również skonfigurowany do dostarczania informacji dodatkowej 984 MPEG Surround (na przykład w postaci strumienia bitów MPEG Surround) w oparciu o odebrane dane. Odpowiednio do tego, transkoder 982 informacji dodatkowej jest skonfigurowany do transformowania obiektowej (parametrycznej) informacji dodatkowej, która jest odebrana z kodera obiektowego, do kanałowej (parametrycznej) informacji dodatkowej 984, uwzględniając informacje renderowania i opcjonalnie informację o zawartości jednego lub większej liczby sygnałów downmixu. [0019] Opcjonalnie, transkoder 980 SAOC do MPEG Surround może być skonfigurowany do manipulowania jednym lub większą liczbą sygnałów downmixu opisanych na przykład przez reprezentację sygnału downmixu w celu uzyskania manipulowanej reprezentacji 988 sygnału downmixu. Jednak moduł 986 manipulacji sygnałem downmixu może być pominięty, tak że wyjściowa reprezentacja 988 sygnału downmixu transkodera 980 SAOC do MPEG Surround jest identyczna z wejściową reprezentacją sygnału downmixu transkodera SAOC do MPEG Surround. Moduł 986 manipulacji sygnałem downmixu przykładowo może być użyty jeśli kanałowa informacja dodatkowa 984 MPEG Surround nie umożliwi zapewnienia pożądanych wrażeń słuchowych w oparciu o wejściową reprezentację sygnału downmixu transkodera 980 SAOC do MPEG Surround, co może mieć miejsce w pewnych układach renderowania. [00] Odpowiednio do tego transkoder 980 SAOC do MPEG Surround dostarcza reprezentację 988 sygnału downmixu i strumień bitów 984 MPEG Surround, tak że generowanych może być wiele sygnałów kanałów upmixu, które reprezentują obiekty audio zgodnie z informacją renderowania wprowadzaną do transkodera 980 SAOC do MPEG

6 Surround, z użyciem dekodera MPEG Surround, który odbiera strumień bitów 984 MPEG Surround i reprezentację 988 sygnału downmixu. [0021] Podsumowując powyższe, zastosowane mogą być różne sposoby dekodowania zakodowanych w standardzie SAOC sygnałów audio. W pewnych wypadkach użyty jest dekoder SAOC, który dostarcza sygnały kanałów upmixu (na przykład sygnały 928, 98 kanałów upmixu) w oparciu o reprezentację sygnału downmixu i obiektową parametryczną informację dodatkową. Przykłady tego sposobu widoczne są na Fig. 9a i 9b. Alternatywnie, zakodowana w SAOC informacja audio może być transkodowana w celu uzyskania reprezentacji sygnału downmixu (na przykład w postaci reprezentacji 988 sygnału downmixu) i kanałowej informacji dodatkowej (na przykład kanałowego strumienia bitów MPEG Surround), które mogą być użyte przez dekoder MPEG Surround do dostarczania pożądanych sygnałów kanałów upmixu. [0022] W systemie 800 MPEG SAOC, którego ogólny zarys przedstawiony jest na Fig. 8, ogólne przetwarzanie jest realizowane w sposób wybiórczy częstotliwościowo i może być opisane następująco, w każdym paśmie częstotliwości: * N wejściowych obiektowych sygnałów audio x 1 do x N jest downmiksowanych jako część przetwarzania kodera SAOC. W przypadku downmixu mono, współczynniki downmixu oznaczone są przez d 1 do d N. Dodatkowo, koder SAOC 8 pozyskuje informację dodatkową 814 opisującą właściwości wejściowych obiektów audio. W przypadku MPEG SAOC, relacja mocy obiektów względem siebie jest najbardziej podstawową z takich informacji dodatkowych. * Sygnał (lub sygnały) 812 downmixu i informacja dodatkowa 814 są przesyłane i/lub przechowywane. W tym celu, sygnał downmixu audio może zostać skompresowany z użyciem dobrze znanych perceptualnych koderów audio, takich jak MPEG-1 Layer II lub III (znanych również jako ".mp3"), MPEG Advanced Audio Coding (AAC) lub dowolnego innego kodera audio. * Po stronie odbiorczej, dekoder SAOC 8 konceptualnie próbuje zrekonstruować oryginalny sygnał obiektowy ( separacja obiektowa ) z użyciem przesłanej informacji dodatkowej 814 (i oczywiście jednego lub większej liczby sygnałów 812 downmixu). Te przybliżone sygnały obiektowe (określane również jako zrekonstruowane sygnały obiektowe 8b) są następnie miksowane do docelowej sceny reprezentowanej przez M wyjściowych kanałów audio (które mogą na przykład być reprezentowane przez sygnały ŷ 1 do ŷ M kanałów upmixu) z użyciem macierzy renderowania. W przypadku sygnału wyjściowego mono, współczynniki macierzy renderowania podane są przez r 1 do r N. * Efektywnie, separacja sygnałów obiektowych jest rzadko wykonywana (lub nawet nie jest nigdy wykonywana), ponieważ zarówno etap separacji (wskazany obiektowym separatorem 8a) jak i etap miksowania (wskazany mikserem 8c) są połączone w jednym etapie transkodowania, co często umożliwia ogromne zmniejszenie złożoności obliczeniowej.

7 [0023] Stwierdzono, że taki sposób jest niezwykle wydajny, zarówno pod kątem przepływności transmisji (konieczne jest tylko przesyłanie kilku kanałów downmixu plus pewne informacje dodatkowe zamiast N osobnych sygnałów obiektowych audio lub dyskretnego systemu) i złożoności obliczeniowej (złożoność przetwarzania powiązana jest głównie z liczbą kanałów wyjściowych raczej niż z liczbą obiektów audio). Dalsze korzyści dla użytkownika po stronie odbiorczej obejmują swobodę wyboru układu renderowania według jej/jego wyboru (mono, stereo, wirtualne odtwarzanie słuchawkowe itp.) i funkcję interakcji użytkownika: macierz renderowania, a co za tym idzie scena wyjściowa, może być ustawiona i zmieniana interaktywnie przez użytkownika według jego woli, osobistych preferencji lub innych kryteriów. Przykładowo, możliwe jest lokalizowanie mówiących z jednej grupy razem w jednym obszarze przestrzennym, dla maksymalizacji odróżniania od pozostałych mówiących. Ta interaktywność jest uzyskana dzięki zapewnieniu interfejsu użytkownika dekodera. [0024] Dla każdego przesłanego obiektu dźwiękowego, jego względny poziom i (dla renderowania innego niż mono) pozycja przestrzenna renderowania mogą być regulowane. Może to zachodzić w czasie rzeczywistym gdy użytkownik zmienia pozycje powiązanych suwaków graficznego interfejsu użytkownika (GUI), (przykładowo: poziom obiektu = +db, pozycja obiektu = -30 stopni). [002] Jednak stwierdzono, że trudno jest manipulować obiektami audio z różnych rodzajów obiektów audio w takim systemie. W szczególności stwierdzono, że trudno jest przetwarzać obiekty audio z różnych rodzajów obiektów audio, na przykład obiektów audio, z którymi powiązane są różne informacje dodatkowe, jeśli całkowita liczba obiektów audio do przetwarzania nie jest wstępnie ustalona. [0026] W świetle tej sytuacji, celem niniejszego wynalazku jest stworzenie koncepcji, która umożliwia wydajne obliczeniowo i elastyczne dekodowanie sygnału audio zawierającego reprezentację sygnału downmixu i obiektową informację parametryczną, w której obiektowa informacja parametryczna opisuje obiekty audio z dwóch lub większej liczby różnych typów obiektów audio. Streszczenie wynalazku [0027] Cel ten jest osiągnięty przez dekoder sygnału audio do dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną, sposób dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną i program komputerowy, określone w niezależnych zastrzeżeniach. [0028] Przykład wykonania według wynalazku udostępnia dekoder sygnału audio do dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną. Dekoder sygnału audio zawiera separator obiektów skonfigurowany do rozkładu reprezentacji sygnału downmixu, do dostarczania pierwszej informacji audio opisującej pierwszy zestaw jednego lub większej liczby obiektów audio

8 pierwszego typu obiektów audio i drugiej informacji audio opisującej drugi zestaw jednego lub większej liczby obiektów audio drugiego typu obiektów audio w oparciu o reprezentację sygnału downmixu i z użyciem przynajmniej części obiektowej informacji parametrycznej, przy czym druga informacja audio jest informacją audio opisującą obiekty audio drugiego typu obiektów audio w połączony sposób. Dekoder sygnałów audio zawiera również procesor sygnału audio skonfigurowany do odbioru drugiej informacji audio i do przetwarzania drugiej informacji audio w zależności od obiektowej informacji parametrycznej, w celu uzyskania przetworzonej wersji drugiej informacji audio. Dekoder sygnału audio zawiera również moduł łączenia sygnału audio skonfigurowany do łączenia pierwszej informacji audio z przetworzoną wersją drugiej informacji audio w celu uzyskania reprezentacji sygnału upmixu. [0029] Główną ideą niniejszego wynalazku jest to, że wydajne przetwarzanie różnych rodzajów obiektów audio można uzyskać w strukturze kaskadowej, która umożliwia separację różnych rodzajów obiektów audio z użyciem przynajmniej części obiektowej informacji parametrycznej w pierwszym etapie przetwarzania, realizowanym przez separator obiektów i która umożliwia dodatkowe przetwarzanie przestrzenne w drugim etapie przetwarzania realizowanym w oparciu o przynajmniej część obiektowej informacji parametrycznej przez procesor sygnału audio. [0030] Stwierdzono, że pozyskiwanie drugiej informacji audio, która zawiera obiekty audio drugiego typu obiektów audio z reprezentacji sygnału downmixu może być realizowane z umiarkowaną złożonością, nawet jeśli jest większa liczba obiektów audio drugiego typu obiektów audio. Dodatkowo stwierdzono, że przetwarzanie przestrzenne obiektów audio drugiego typu obiektów audio może być realizowane wydajnie po tym jak druga informacja audio zostanie oddzielona od pierwszej informacji audio opisującej obiekty audio pierwszego typu obiektów audio. [0031] Dodatkowo stwierdzono, że algorytm przetwarzania realizowanego przez separator obiektów dla rozdzielania pierwszej informacji audio i drugiej informacji audio może być realizowany ze względnie małą złożonością, jeśli indywidualne przetwarzanie obiektowe obiektów audio drugiego typu obiektów audio jest opóźnione dla procesora sygnału audio i nie jest realizowane jednocześnie z separacją pierwszej informacji audio od drugiej informacji audio. [0032] Dekoder sygnałów audio jest więc ponadto skonfigurowany do dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu, obiektową informację parametryczną i resztkową informację powiązaną z podzestawem obiektów audio reprezentowanym przez reprezentację sygnału downmixu. W tym wypadku separator obiektów jest skonfigurowany do rozkładu reprezentacji sygnału downmixu w celu dostarczania pierwszej informacji audio opisującej pierwszy zestaw jednego lub większej liczby obiektów audio (na przykład obiektów przedniego planu FGO) pierwszego typu obiektów audio, z którymi powiązana jest informacja resztkowa i drugiej informacji audio opisującej

9 drugi zestaw jednego lub większej liczby obiektów audio (na przykład obiektów tła BGO) drugiego typu obiektów audio, z którymi nie jest powiązana żadna informacja resztkowa, w oparciu o reprezentację sygnału downmixu i z użyciem przynajmniej części obiektowej informacji parametrycznej i informacji resztkowej. [0033] Procesor sygnału audio jest skonfigurowany do odbioru drugiej informacji audio i do przetwarzania drugiej informacji audio w oparciu o (przynajmniej częściowo) obiektową informację parametryczną z użyciem obiektowej informacji parametrycznej powiązanej z więcej niż dwoma obiektami audio drugiego typu obiektów audio. Odpowiednio do tego, indywidualne przetwarzanie obiektowe jest realizowane przez procesor audio i takie indywidualne przetwarzanie obiektowe nie jest realizowane dla obiektów audio drugiego typu obiektów audio przez separator obiektów. [0034] Opiera się to na stwierdzeniu, że szczególnie dokładne rozdzielenie pierwszej informacji audio opisującej pierwszy zestaw obiektów audio z pierwszego typu obiektów audio i drugiej informacji audio opisującej drugi zestaw obiektów audio z drugiego typu obiektów audio można uzyskać z użyciem informacji resztkowej, oprócz obiektowej informacji parametrycznej. Stwierdzono, że użycie tylko obiektowej informacji parametrycznej przyniesie w wielu przypadkach zniekształcenie, które może być znacznie zmniejszone lub nawet całkowicie wyeliminowane dzięki wykorzystaniu informacji resztkowej. Informacja resztkowa opisuje resztkowe zniekształcenie, które jak się oczekuje pozostanie, jeśli obiekt audio pierwszego typu obiektów audio jest odizolowany tylko z użyciem obiektowej informacji parametrycznej. Informacja resztkowa typowo jest szacowana przez koder sygnału audio. Dzięki zastosowaniu informacji resztkowej, poprawić można separację między obiektami audio pierwszego typu obiektów audio i obiektami audio z drugiego typu obiektów audio. [003] Umożliwia to uzyskanie pierwszej informacji audio i drugiej informacji audio ze szczególnie dobrą separacją między obiektami audio z pierwszego typu obiektów audio i obiektami audio z drugiego typu obiektów audio, co z kolei umożliwia uzyskanie wysokiej jakości przetwarzania przestrzennego obiektów audio drugiego typu obiektów audio podczas przetwarzania drugiej informacji audio w procesorze sygnału audio. [0036] W korzystnym wariancie wykonania separator obiektów jest więc skonfigurowany do dostarczania pierwszej informacji audio w taki sposób, że obiekty audio pierwszego typu obiektów audio są uwydatnione względem obiektów audio drugiego typu obiektów audio w pierwszej informacji audio. Separator obiektów jest również skonfigurowany do dostarczania drugiej informacji audio w taki sposób, że obiekty audio z drugiego typu obiektów audio są uwydatnione względem obiektów audio z pierwszego typu obiektów audio w drugiej informacji audio. [0037] W korzystnym wariancie wykonania dekoder sygnału audio jest skonfigurowany do realizacji przetwarzania dwuetapowego w taki sposób, że przetwarzanie drugiej informacji audio w procesorze sygnału audio jest realizowane po separacji między

10 pierwszą informacją audio opisującą pierwszy zestaw jednego lub większej liczby obiektów audio z pierwszego typu obiektów audio i drugą informacją audio opisującą drugi zestaw jednego lub większej liczby obiektów audio z drugiego typu obiektów audio. [0038] W korzystnym wariancie wykonania procesor sygnału audio jest skonfigurowany do przetwarzania drugiej informacji audio w oparciu o obiektową informację parametryczną powiązaną z obiektami audio z drugiego typu obiektów audio i niezależnie od obiektowej informacji parametrycznej powiązanej z obiektami audio z pierwszego typu obiektów audio. Tak więc uzyskać można osobne przetwarzanie obiektów audio z pierwszego typu obiektów audio i obiektów audio z drugiego typu obiektów audio. [0039] W korzystnym wariancie wykonania separator obiektów jest skonfigurowany do uzyskania pierwszej informacji audio i drugiej informacji audio z użyciem połączenia liniowego jednego lub większej liczby kanałów downmixu i jednego lub większej liczby kanałów resztkowych. W tym wypadku separator obiektów jest skonfigurowany do uzyskania parametrów połączenia dla realizacji połączenia liniowego w oparciu o parametry downmixu powiązane z obiektami audio pierwszego typu obiektów audio i w oparciu o współczynniki predykcji kanału obiektów audio z pierwszego typu obiektów audio. Obliczanie współczynników predykcji kanału obiektów audio z pierwszego typu obiektów audio może przykładowo uwzględniać obiekty audio z drugiego typu obiektów audio jako pojedynczy wspólny obiekt audio. Odpowiednio do tego proces separacji może być realizowany z wystarczająco niską złożonością obliczeniową, która na przykład może być niezależna od liczby obiektów audio z drugiego typu obiektów audio. [0040] W korzystnym wariancie wykonania separator obiektów jest skonfigurowany do zastosowania macierzy renderowania dla pierwszej informacji audio w celu mapowania sygnałów obiektowych pierwszej informacji audio na kanały audio reprezentacji sygnału upmixu audio. Można tego dokonać ponieważ separator obiektów może być zdolny do pozyskania osobnych sygnałów audio indywidualnie reprezentujących obiekty audio z pierwszego typu obiektów audio. Odpowiednio do tego możliwe jest mapowanie sygnałów obiektowych pierwszej informacji audio bezpośrednio na kanały audio z reprezentacji sygnału upmixu audio. [0041] W korzystnym wariancie wykonania procesor audio jest skonfigurowany do realizacji przetwarzania stereo drugiej informacji audio w oparciu o informacje renderowania, obiektową informację kowariancji i informację o downmixie, w celu uzyskania kanałów audio reprezentacji sygnału upmixu audio. [0042] Tak więc, przetwarzanie stereo obiektów audio drugiego typu obiektów audio jest odseparowane od rozdzielania obiektów audio z pierwszego typu obiektów audio od obiektów audio z drugiego typu obiektów audio. W ten sposób wydajne oddzielenie obiektów audio z pierwszego typu obiektów audio od obiektów audio z drugiego typu obiektów audio nie jest zakłócone (lub zdegradowane) przez przetwarzanie stereo, które typowo prowadzi do

11 dystrybucji obiektów audio na wielu kanałach audio bez zapewnienia wysokiego stopnia rozdzielenia obiektów, które może być uzyskane w separatorze obiektów, na przykład z użyciem informacji resztkowej. [0043] W korzystnym wariancie wykonania procesor sygnału audio jest skonfigurowany do realizacji przetwarzania końcowego drugiej informacji audio w oparciu o informację renderowania, obiektową informację kowariancji i informację o downmixie. Ta postać przetwarzania końcowego umożliwia rozmieszczanie przestrzenne obiektów audio z drugiego typu obiektów audio na scenie audio. Niezależnie od tego, dzięki koncepcji kaskady, złożoność obliczeniowa procesora sygnału audio może być utrzymana na wystarczająco niskim poziomie, ponieważ procesor audio nie musi uwzględniać obiektowej informacji parametrycznej powiązanej z obiektami audio z pierwszego typu obiektów audio. [0044] Dodatkowo, różne rodzaje przetwarzania mogą być realizowane przez procesor audio, jak na przykład przetwarzanie mono do binauralne, przetwarzania mono do stereo, przetwarzanie stereo do binauralne lub przetwarzanie stereo do stereo. [004] W korzystnym przykładzie wykonania separator obiektów jest skonfigurowany do traktowania obiektów audio z drugiego typu obiektów audio, z którymi nie jest powiązana żadna informacja resztkowa, jako pojedynczy obiekt audio. Ponadto, procesor sygnału audio jest skonfigurowany do uwzględniania obiektowych parametrów renderowania w celu dopasowania wkładów obiektów z drugiego typu obiektów audio do reprezentacji sygnału upmixu. W ten sposób obiekty audio z drugiego typu obiektów audio są traktowane przez separator obiektów jako pojedynczy obiekt audio, co znacznie zmniejsza złożoność separatora obiektów jak również umożliwia dysponowanie unikalną informacją resztkową, która jest niezależna od parametrów renderowania powiązanych z obiektami audio z drugiego typu obiektów audio. [0046] W korzystnym przykładzie wykonania separator obiektów jest skonfigurowany do uzyskania wspólnej wartości obiektowej różnicy poziomów dla wielu obiektów audio z drugiego typu obiektów audio. Separator obiektów jest skonfigurowany do wykorzystania wartości obiektowej różnicy poziomów do obliczania współczynników predykcji kanału. Ponadto separator obiektów jest skonfigurowany do użycia współczynników predykcji kanału do uzyskania jednego lub dwóch kanałów audio reprezentujących drugą informację audio. Dla uzyskania wartości obiektowej różnicy poziomów, obiekty audio z drugiego typu obiektów audio mogą być wydajnie traktowane przez separator obiektów, jako pojedynczy obiekt audio. [0047] W korzystnym wariancie wykonania separator obiektów jest skonfigurowany do uzyskania wspólnej wartości obiektowej różnicy poziomów dla wielu obiektów audio z drugiego typu obiektów audio i separator obiektów jest skonfigurowany do użycia wspólnej wartości obiektowej różnicy poziomów do obliczania wyrazów macierzy mapowania trybu energii. Separator obiektów jest skonfigurowany do użycia macierzy mapowania trybu energii do uzyskania jednego lub większej liczby kanałów audio reprezentujących drugą informację

12 audio. Ponownie, wspólna wartość obiektowej różnicy poziomów umożliwia wydajne obliczeniowo wspólne traktowanie obiektów audio z drugiego typu obiektów audio przez separator obiektów. [0048] W korzystnym wariancie wykonania separator obiektów jest skonfigurowany do selektywnego uzyskania wspólnej wartości korelacji międzyobiektowej powiązanej z obiektami audio z drugiego typu obiektów audio w oparciu o obiektową informację parametryczną, jeśli stwierdzi się, że są dwa obiekty audio drugiego typu obiektów audio i do ustawienia wartości korelacji międzyobiektowej powiązanej z obiektami audio z drugiego typu obiektów audio na zero, jeśli stwierdzi się, że jest więcej lub mniej niż dwa obiekty audio z drugiego typu obiektów audio. [0049] Separator obiektów jest skonfigurowany do użycia wspólnej wartości korelacji międzyobiektowej powiązanej z obiektami audio z drugiego typu obiektów audio dla uzyskania jednego lub większej liczby kanałów audio reprezentujących drugą informację audio. W podejściu tym, wartość korelacji międzyobiektowej jest wykorzystana, jeśli jest osiągalna z dużą wydajnością obliczeniową, tj. jeśli istnieją dwa obiekty audio z drugiego typu obiektów audio. W innym wypadku, byłoby obliczeniowo obciążające uzyskanie wartości korelacji międzyobiektowych. W związku z tym stwierdzono, że dobrym kompromisem w zakresie wrażeń słuchowych i złożoności obliczeniowej jest ustawienie wartości korelacji międzyobiektowej powiązanej z obiektami audio z drugiego typu obiektów audio na zero, jeśli jest więcej lub mniej niż dwa obiekty audio z drugiego typu obiektów audio. [000] W korzystnym wariancie wykonania procesor audio jest skonfigurowany do renderowania drugiej informacji audio w oparciu o (przynajmniej częściowo) obiektową informację parametryczną dla uzyskania renderowanej reprezentacji obiektów audio z drugiego typu obiektów audio, jako wersji przetworzonej drugiej informacji audio. W tym wypadku renderowanie może być wykonane niezależnie od obiektów audio z pierwszego typu obiektów audio. [001] W korzystnym wariancie wykonania separator obiektów jest skonfigurowany do dostarczania drugiej informacji audio w taki sposób, że druga informacja audio opisuje więcej niż dwa obiekty audio z drugiego typu obiektów audio. Przykłady wykonania według wynalazku umożliwiają elastyczne dopasowanie liczby obiektów audio z drugiego typu obiektów audio, co jest bardzo ułatwione przez kaskadową strukturę przetwarzania. [002] W korzystnym wariancie wykonania separator obiektów jest skonfigurowany do uzyskania, jako drugiej informacji audio, jednokanałowej reprezentacji sygnału audio lub dwukanałowej reprezentacji audio reprezentującej więcej niż dwa obiekty audio z drugiego typu obiektów audio. Pozyskiwanie jednego lub dwóch kanałów sygnału audio może być realizowane przez separator obiektów z małą złożonością obliczeniową. W szczególności złożoność separatora obiektów może być utrzymywana na wyraźnie niższym poziomie w porównaniu z przypadkiem, w którym separator obiektów musiałby radzić sobie z więcej niż

13 dwoma obiektami audio z drugiego typu obiektów audio. Niezależnie jednak stwierdzono, że wydajną obliczeniowo reprezentacją obiektów audio z drugiego typu obiektów audio jest użycie jednego lub dwóch kanałów sygnału audio. [003] W korzystnym wariancie wykonania dekoder audio jest skonfigurowany do pozyskiwania informacji o całkowitej liczbie obiektów i informacji o liczbie obiektów przedniego planu z informacji o konfiguracji powiązanej z obiektową informacją parametryczną. Dekoder audio jest również skonfigurowany do ustalania liczby obiektów audio drugiego typu obiektów audio za pomocą tworzenia różnicy między informacją o całkowitej liczbie obiektów i informacją o liczbie obiektów przedniego planu. W ten sposób uzyskuje się wydajną sygnalizację liczby obiektów audio drugiego typu obiektów audio. Dodatkowo koncepcja ta zapewnia wysoki stopień elastyczności w zakresie liczby obiektów audio drugiego typu obiektów audio. [004] W korzystnym wariancie wykonania separator obiektów jest skonfigurowany do użycia obiektowej informacji parametrycznej powiązanej z obiektami audio N eao z pierwszego typu obiektów audio dla uzyskania, jako pierwszej informacji audio, N eao, sygnałów audio reprezentujących (korzystnie, indywidualnie) N eao obiektów audio z pierwszego typu obiektów audio i dla uzyskania, jako drugiej informacji audio, jednego lub dwóch sygnałów audio reprezentujących N-N eao obiektów audio z drugiego typu obiektów audio, traktując N- N eao obiektów audio z drugiego typu obiektów audio, jako pojedynczy jednokanałowy lub dwukanałowy obiekt audio. Procesor sygnału audio jest skonfigurowany do indywidualnego renderowania N-N eao obiektów audio reprezentowanych przez jeden lub dwa sygnały audio z drugiej informacji audio z użyciem obiektowej informacji parametrycznej powiązanej z N-N eao obiektami audio z drugiego typu obiektów audio. Odpowiednio do tego separacja obiektów audio między obiektami audio z pierwszego typu obiektów audio i obiektami audio z drugiego typu obiektów audio jest oddzielona od następującego po tym przetwarzania obiektów audio z drugiego typu obiektów audio. [00] Przykład wykonania według wynalazku udostępnia sposób dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną, jak to określono w niezależnym zastrzeżeniu 29. [006] Inny przykład wykonania niniejszego wynalazku udostępnia program komputerowy do realizacji wymienionego sposobu, określony w niezależnym zastrzeżeniu 30. Krótki opis figur [007] Przykłady wykonania według wynalazku zostaną następnie opisane w odniesieniu do załączonych figur, na których: Fig. 1 przedstawia schemat blokowy dekodera sygnału audio według przykładu wykonania wynalazku; Fig. 2 przedstawia schemat blokowy innego dekodera sygnału audio według przykładu wykonania wynalazku;

14 Fig. 3a i 3b przedstawiają schematy blokowe procesora resztkowego, który może być użyty jako separator obiektów w przykładzie wykonania wynalazku; Fig. od 4a do 4e przedstawiają schematy blokowe procesorów sygnału audio, które mogą być użyte w dekoderze sygnału audio według przykładu wykonania wynalazku Fig. 4f przedstawia schemat blokowy trybu przetwarzania transkodera SAOC; Fig. 4g przedstawia schemat blokowy trybu przetwarzania dekodera SAOC; Fig. a przedstawia schemat blokowy dekodera sygnału audio, według przykładu wykonania wynalazku; Fig. b przedstawia schemat blokowy innego dekodera sygnału audio, według przykładu wykonania wynalazku; Fig. 6a przedstawia Tabelę reprezentującą opis konstrukcji testu odsłuchowego; Fig. 6b przedstawia Tabelę reprezentującą testowany system; Fig. 6c przedstawia Tabelę reprezentującą elementy testu odsłuchowego i macierze renderowania; Fig. 6d przedstawia graficzną reprezentację średnich wyników MUSHRA dla testu odsłuchowego Karaoke/Solo; Fig. 6e przedstawia graficzną reprezentację średnich wyników MUSHRA dla klasycznego testu odsłuchowego; Fig. 7 przedstawia sieć działań sposobu dostarczania reprezentacji sygnału upmixu według przykładu wykonania wynalazku; Fig. 8 przedstawia schemat blokowy referencyjnego systemu MPEG SAOC; Fig. 9a przedstawia schemat blokowy referencyjnego systemu SAOC wykorzystującego osobny dekoder i mikser; Fig. 9b przedstawia schemat blokowy referencyjnego systemu SAOC wykorzystującego zintegrowany dekoder i mikser; and Fig. 9c przedstawia schemat blokowy referencyjnego systemu SAOC wykorzystującego transkoder SAOC do MPEG. Szczegółowy opis przykładów wykonania 1. Dekoder sygnału audio według Fig. 1 [008] Fig. 1 przedstawia schemat blokowy dekodera 0 sygnału audio według przykładu wykonania wynalazku. [009] Dekoder 0 sygnału audio jest skonfigurowany do odbioru obiektowej informacji parametrycznej 1 i reprezentacji 112 sygnału downmixu. Dekoder 0 sygnału audio jest skonfigurowany do dostarczania reprezentacji 1 sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną 1. Dekoder 0 sygnału audio zawiera separator 130 obiektów, który jest skonfigurowany do rozkładu reprezentacji 112 sygnału downmixu w celu dostarczania pierwszej informacji audio 132 opisującej pierwszy zestaw jednego lub większej liczby obiektów audio pierwszego typu

15 obiektów audio i drugiej informacji audio 134 opisującej drugi zestaw jednego lub większej liczby obiektów audio drugiego typu obiektów audio w oparciu o reprezentację 112 sygnału downmixu i z użyciem przynajmniej części obiektowej informacji parametrycznej 1. Dekoder 0 sygnału audio zawiera również procesor 140 sygnału audio, który jest skonfigurowany do odbioru drugiej informacji audio 134 i do przetwarzania drugiej informacji audio w oparciu o przynajmniej część obiektowej informacji parametrycznej 112, w celu uzyskania przetworzonej wersji 142 drugiej informacji audio 134. Dekoder 0 sygnału audio zawiera również moduł łączenia sygnału audio skonfigurowany do łączenia pierwszej informacji audio 132 z przetworzoną wersją 142 drugiej informacji audio 134 w celu uzyskania reprezentacji 1 sygnału upmixu. [0060] Dekoder 0 sygnału audio realizuje przetwarzanie kaskadowe reprezentacji sygnału downmixu, która reprezentuje obiekty audio z pierwszego typu obiektów audio i obiekty audio z drugiego typu obiektów audio w sposób łączny. [0061] W pierwszym etapie przetwarzania, który jest realizowany przez separator 130 obiektów, druga informacja audio opisująca drugi zestaw obiektów audio drugiego typu obiektów audio jest oddzielona od pierwszej informacji audio 132 opisującej zestaw obiektów audio pierwszego typu obiektów audio z użyciem obiektowej informacji parametrycznej 1. Jednak druga informacja audio 134 typowo jest informacją audio (na przykład jednokanałowym sygnałem audio lub dwukanałowym sygnałem audio) opisującą obiekty audio z drugiego typu obiektów audio w sposób łączny. [0062] W drugim etapie przetwarzania, procesor 140 sygnału audio przetwarza drugą informację audio 134 w oparciu o obiektową informację parametryczną. Tak więc, procesor 140 sygnału audio jest zdolny do realizacji indywidualnego obiektowego przetwarzania lub renderowania obiektów audio drugiego typu obiektów audio, które są opisane przez drugą informację audio 134, które typowo nie jest realizowane przez separator 130 obiektów. [0063] W ten sposób, chociaż obiekty audio z drugiego typu obiektów audio korzystnie nie są przetwarzane w indywidualny obiektowy sposób przez separator 130 obiektów, obiekty audio z drugiego typu obiektów audio są faktycznie przetwarzane w indywidualny obiektowy sposób (na przykład renderowane w indywidualny obiektowy sposób) w drugim etapie przetwarzania, który jest realizowany przez procesor 140 sygnału audio. Tak więc, separacja między obiektami audio z pierwszego typu obiektów audio i obiektami audio z drugiego typu obiektów audio, która jest realizowana przez separator 130 obiektów, jest oddzielona od indywidualnego obiektowego przetwarzania obiektów audio drugiego typu obiektów audio, które jest realizowane później przez procesor 140 sygnału audio. Odpowiednio do tego przetwarzanie które jest realizowane przez separator 130 obiektów jest zasadniczo niezależne od liczby obiektów audio drugiego typu obiektów audio. Dodatkowo, format (na przykład jednokanałowy sygnał audio lub dwukanałowy sygnał audio) drugiej

16 informacji audio 134 jest typowo niezależny od liczby obiektów audio drugiego typu obiektów audio. Tak więc liczba obiektów audio drugiego typu obiektów audio może się zmieniać bez potrzeby modyfikacji struktury separatora 130 obiektów. Mówiąc inaczej, obiekty audio z drugiego typu obiektów audio są traktowane jako pojedynczy (na przykład jednokanałowy lub dwukanałowy) obiekt audio, dla którego uzyskana jest przez separator 140 obiektów wspólna obiektowa informacja parametryczna (na przykład wspólna wartość obiektowej różnicy poziomów ). [0064] Odpowiednio do tego, dekoder 0 sygnału audio według Fig. 1 jest zdolny do obsługi zmiennej liczby obiektów audio drugiego typu obiektów audio bez strukturalnej modyfikacji separatora 130 obiektów. Dodatkowo zastosowane mogą być różne algorytmy przetwarzania obiektów audio przez separator 130 obiektów i procesor 140 sygnału audio. Odpowiednio do tego przykładowo możliwa jest realizacja separacji obiektów audio z użyciem informacji resztkowej przez separator 130 obiektów, która umożliwia szczególnie dobrą separację różnych obiektów audio, wykorzystując informację resztkową, która stanowi informację dodatkową dla poprawy jakości separacji obiektów. W przeciwieństwie do tego procesor 140 sygnału audio może realizować indywidualne obiektowe przetwarzanie bez użycia informacji resztkowej. Przykładowo procesor 140 sygnału audio może być skonfigurowany do realizacji przetwarzania sygnału audio typu konwencjonalnego przestrzennego obiektowego kodowania audio (SAOC, spatial-audio-object-coding) w celu renderowania różnych obiektów audio. 2. Dekoder sygnału audio według Fig. 2 [006] Poniżej opisany zostanie dekoder 0 sygnału audio według przykładu wykonania wynalazku. Schemat blokowy tego dekodera 0 sygnału audio jest przedstawiony na Fig. 2. [0066] Dekoder 0 sygnału audio jest skonfigurowany do odbioru sygnału 2 downmixu, tak zwanego strumienia bitów SAOC 212, informacji 214 o macierzy renderowania i opcjonalnie parametrów 216 funkcji transmitancji głowy (HRTF, head-related-transferfunction). Dekoder 0 sygnału audio jest również skonfigurowany do dostarczania sygnału 2 downmixu/mps i (opcjonalnie) strumienia bitów MPS Sygnały wejściowe i sygnały wyjściowe dekodera 0 sygnału audio [0067] Poniżej opisane zostaną różne szczegóły dotyczące sygnałów wejściowych i sygnałów wyjściowych dekodera 0 sygnału audio. [0068] Sygnał 0 downmixu może na przykład być jednokanałowym sygnałem audio lub dwukanałowym sygnałem audio. Sygnał 2 downmixu może na przykład być uzyskany z zakodowanej reprezentacji sygnału downmixu. [0069] Strumień bitów SAOC 212 może na przykład zawierać obiektową informację parametryczną. Przykładowo, strumień bitów SAOC 212 może zawierać informację o obiektowej różnicy poziomów, przykładowo, w postaci parametrów OLD obiektowej różnicy

17 poziomów, informację korelacji międzyobiektowej, przykładowo, w postaci parametrów IOC korelacji międzyobiektowej. [0070] Dodatkowo, strumień bitów SAOC 212 może zawierać informację o downmixie opisującą jak sygnały downmixu zostały dostarczone w oparciu o sygnały obiektów audio z użyciem procesu downmixu. Przykładowo, strumień bitów SAOC może zawierać parametry DMG wzmocnienia downmixu i (opcjonalnie) parametry DCLD różnic poziomów kanałów downmixu. [0071] Informacja 214 macierzy renderowania może na przykład opisywać jak różne obiekty audio powinny być renderowane przez dekoder audio. Przykładowo informacja 214 macierzy renderowania może opisywać alokację obiektów audio do jednego lub większej liczby kanałów sygnału 2 downmixu wyjścia/mps. [0072] Opcjonalna informacja 216 funkcji transmitancji głowy (HRTF) może ponadto opisywać funkcję transmitancji do uzyskania binauralnego sygnału słuchawek. [0073] Sygnał 2 downmixu wyjścia/mpeg Surround (również krótko określany, jako sygnał downmixu wyjścia/mps ) reprezentuje jeden lub większą liczbą kanałów audio, na przykład w postaci reprezentacji sygnału audio w domenie czasu lub reprezentacji sygnału audio w domenie częstotliwości. Samodzielnie lub w połączeniu z opcjonalnym strumieniem bitów 222 MPEG Surround (strumieniem bitów MPS), który zawiera parametry MPEG Surround opisujące mapowanie sygnału 2 downmixu wyjścia/mps na wiele kanałów audio, tworzona jest reprezentacja sygnału upmixu Struktura i funkcje dekodera 0 sygnału audio [0074] Poniżej opisana zostanie bardziej szczegółowo struktura dekodera 0 sygnału audio, która może pełnić funkcję transkodera SAOC lub funkcję dekodera SAOC. [007] Dekoder 0 sygnału audio zawiera procesor 230 downmixu, który jest skonfigurowany do odbioru sygnału 2 downmixu i do dostarczania na jego bazie sygnału 2 downmixu wyjścia/mps. Procesor 230 downmixu jest również skonfigurowany do odbioru przynajmniej części informacji 212 strumienia bitów SAOC i przynajmniej części informacji 214 macierzy renderowania. Dodatkowo procesor 230 downmixu może również odbierać informację 240 przetworzonych parametrów SAOC z procesora parametrów. [0076] Procesor parametrów jest skonfigurowany do odbioru informacji 212 strumienia bitów SAOC, informacji 214 macierzy renderowania i opcjonalnie informacji 260 parametrów funkcji transmitancji głowy i do dostarczania na ich bazie strumienia bitów MPEG Surround 222 zawierającego parametry MPEG Surround (jeśli parametry MPEG Surround są wymagane, co ma na przykład miejsce w trybie działania transkodowania). Dodatkowo procesor parametrów dostarcza przetworzoną informację SAOC 240 (jeśli przetworzona informacja SAOC jest wymagana). [0071] Poniżej opisane zostaną bardziej szczegółowo struktura i funkcje procesora 230 downmixu.

18 [0078] Procesor 230 downmixu zawiera procesor resztkowy 260, który jest skonfigurowany do odbioru sygnału 2 downmixu i do dostarczania na jego bazie pierwszego sygnału 262 obiektu audio opisującego tak zwane wzbogacone obiekty audio (EAO), które mogą być określane jako obiekty audio pierwszego typu obiektów audio. Pierwszy sygnał obiektu audio może zawierać jeden lub większą liczbę kanałów audio i może być uznany za pierwszą informację audio. Procesor resztkowy 260 jest również skonfigurowany do dostarczania drugiego sygnału 264 obiektów audio, który opisuje obiekty audio z drugiego typu obiektów audio i może być uznany za drugą informację audio. Drugi sygnał 264 obiektów audio może zawierać jeden lub większą liczbę kanałów i typowo może zawierać jeden lub większą liczbę kanałów audio opisujących wiele obiektów audio. Typowo, drugi sygnał obiektu audio może opisywać nawet więcej niż dwa obiekty audio z drugiego typu obiektów audio. [0079] Procesor 230 downmixu zawiera również wstępny procesor 270 downmixu SAOC, który jest skonfigurowany do odbioru drugiego sygnału 264 obiektu audio i do dostarczania na jego bazie przetworzonej wersji 272 drugiego sygnału 264 obiektu audio, który może być uznany za przetworzoną wersję drugiej informacji audio. [0080] Procesor 230 downmixu zawiera również moduł 280 łączenia sygnału audio, który jest skonfigurowany do odbioru pierwszego sygnału 262 obiektu audio i przetworzonej wersji 272 drugiego sygnału 264 obiektu audio i do dostarczania na ich bazie sygnału 2 downmixu wyjścia/mps, który może być uznany, samodzielnie lub razem z (opcjonalnym) strumieniem bitów MPEG Surround 222, za reprezentację sygnału upmixu. [0081] Poniżej omówione zostaną bardziej szczegółowo funkcje indywidualnych jednostek procesora 230 downmixu. [0082] Procesor resztkowy 260 jest skonfigurowany do osobnego dostarczania pierwszego sygnału 262 obiektu audio i drugiego sygnału 264 obiektu audio. W tym celu procesor resztkowy 260 może być skonfigurowany do zastosowania przynajmniej części informacji 212 strumienia bitów SAOC. Przykładowo procesor resztkowy 260 może być skonfigurowany do ewaluacji obiektowej informacji parametrycznej powiązanej z obiektami audio z pierwszego typu obiektów audio, tj. tak zwanymi wzbogaconymi obiektami audio EAO. Dodatkowo procesor resztkowy 260 może być skonfigurowany do uzyskania całościowej informacji opisującej obiekty audio z drugiego typu obiektów audio, na przykład tak zwanych potocznie niewzbogaconych obiektów audio. Procesor resztkowy 260 może być również skonfigurowany do ewaluacji informacji resztkowej, która jest dostarczona w informacji 212 strumienia bitów SAOC, dla separacji między wzbogaconymi obiektami audio (obiektami audio z pierwszego typu obiektów audio) i niewzbogaconymi obiektami audio (obiektami audio z drugiego typu obiektów audio). Informacja resztkowa może na przykład kodować sygnał resztkowy w domenie czasu, który jest stosowany dla uzyskania szczególnie czystej separacji między wzbogaconymi obiektami audio i niewzbogaconymi obiektami audio. Dodatkowo procesor resztkowy 260 może opcjonalnie ewaluować przynajmniej część informacji 214

19 macierzy renderowania, na przykład w celu ustalenia dystrybucji wzbogaconych obiektów audio w kanałach audio pierwszego sygnału 262 obiektów audio, [0083] Wstępny procesor 270 downmixu SAOC zawiera moduł 274 redystrybucji kanału, który jest skonfigurowany do odbioru jednego lub większej liczby kanałów audio z drugiego sygnału 264 obiektów audio i do dostarczania na ich bazie, jednego lub większej liczby (typowo dwóch) kanałów audio przetworzonego drugiego sygnału 272 obiektu audio. Dodatkowo wstępny procesor 270 downmixu SAOC zawiera dostawcę 276 sygnału zdekorelowanego, który jest skonfigurowany do odbioru jednego lub większej liczby kanałów audio drugiego sygnału 264 obiektów audio i do dostarczania na ich bazie jednego lub większej liczby zdekorelowanych sygnałów 278a, 278b, które są dodane do sygnałów dostarczonych przez moduł 274 redystrybucji kanału w celu uzyskania przetworzonej wersji 272 drugiego sygnału 264 obiektu audio. [0084] Dalsze szczegóły dotyczące procesora downmixu SAOC zostaną omówione poniżej. [008] Moduł 280 łączenia sygnału audio łączy pierwszy sygnał 262 obiektu audio z przetworzoną wersją 272 drugiego sygnału obiektu audio. W tym celu może być realizowane łączenie kanałowe. Odpowiednio do tego uzyskuje się sygnał 2 downmixu wyjścia/mps. [0086] Procesor parametrów jest skonfigurowany do uzyskania (opcjonalnych) parametrów MPEG Surround, które stanowią strumień bitów MPEG Surround 222 reprezentacji sygnału upmixu na bazie strumienia bitów SAOC, uwzględniając informację 214 macierzy renderowania i opcjonalnie informację 216 parametrów HRTF. Mówiąc inaczej procesor 22 parametru SAOC jest skonfigurowany do transformacji informacji parametrów obiektowych, która jest opisana przez informację 212 strumienia bitów SAOC na kanałową informację parametryczną, która jest opisana przez strumień bitów MPEG Surround 222. [0087] Poniżej przedstawiony zostanie krótki przegląd struktury architektury transkodera/dekodera SAOC pokazanej na Fig. 2. Kodowanie przestrzennych obiektów audio (SAOC) jest parametryczną wieloobiektową techniką kodowania. Jest zaprojektowana do przesyłania pewnej liczby obiektów audio w sygnale audio (na przykład w sygnale 2 downmixu audio) która zawiera M kanałów. Razem z wstecznie kompatybilnym sygnałem downmixu, przesyłane są parametry obiektu (na przykład z użyciem informacji 212 strumienia bitów SAOC) które umożliwiają rekonstrukcję i manipulację oryginalnych sygnałów obiektowych. Koder SAOC (tutaj niepokazany) wytwarza downmix sygnałów obiektowych na swoim wejściu i pozyskuje te parametry obiektów. Liczba obiektów które mogą być obsługiwane jest co do zasady nieograniczona. Parametry obiektów są kwantyzowane i kodowane wydajnie do strumienia bitów SAOC 212. Sygnał 2 downmixu może być skompresowany i przesłany bez potrzeby aktualizacji istniejących koderów i infrastruktur. Parametry obiektów lub informacja dekodera SAOC są przesłane w dodatkowym kanale o małej przepływności, na przykład w pomocniczej części danych strumienia bitów downmixu.

20 [0088] Po stronie dekodera, obiekty wejściowe są rekonstruowane i renderowane w pewną liczbę kanałów odtwarzania. Informacja renderowania zawierająca poziom rekonstrukcji i pozycję panoramiczną dla każdego obiektu jest dostarczona przez użytkownika lub może być pozyskana ze strumienia bitów SAOC (na przykład jako wstępnie ustalona informacja). Informacja renderowania może być zmienna w czasie. Układy wyjściowe mogą sięgać od mono do wielokanałowych (na przykład.1) i są niezależne zarówno od liczby obiektów wejściowych jak i liczby kanałów downmixu. Renderowanie binauralne obiektów jest możliwe, obejmując azymut i wzniesienie pozycji wirtualnych obiektów. Opcjonalny interfejs efektów umożliwia zaawansowaną manipulację sygnałów obiektowych, poza modyfikacjami poziomu i panoramy. [0089] Same obiekty mogą być sygnałami mono, sygnałami stereo jak również sygnałami wielokanałowymi (np. kanałami.1). Typowe konfiguracje downmixu to mono i stereo. [0090] Poniżej wyjaśniona zostanie podstawowa struktura transkodera/dekodera SAOC, która jest przedstawiona na Fig. 2. Moduł transkodera/dekodera SAOC tutaj omawiany może działać albo jako samodzielny dekoder lub jako transkoder z SAOC do strumienia bitów MPEG Surround, w zależności od docelowej konfiguracji kanału wyjściowego. W pierwszym trybie działania, wyjściową konfiguracją sygnału jest konfiguracja mono, stereo lub binauralna i użyte są dwa kanały wyjściowe. W pierwszym przypadku, moduł SAOC może działać w trybie dekodera, a sygnałem wyjściowym modułu SAOC jest sygnał wyjściowy w modulacji impulsowo-kodowej (sygnał wyjściowy PCM). W pierwszym przypadku, dekoder MPEG Surround nie jest wymagany. Zamiast tego, reprezentacja sygnału upmixu może zawierać tyko sygnał wyjściowy 2 i zapewnienie strumienia bitów MPEG Surround 222 może być pominięte. W drugim przypadku, konfiguracja sygnału wyjściowego jest konfiguracją wielokanałową z więcej niż dwoma kanałami wyjściowymi. Moduł SAOC może działać w trybie transkodera. Sygnał wyjściowy modułu SAOC może zawierać zarówno sygnał 2 downmixu jak i strumień bitów MPEG Surround 222, jak pokazano na Fig. 2. Odpowiednio do tego dekoder MPEG Surround jest konieczny do uzyskania ostatecznej reprezentacji sygnału audio do odtwarzania przez głośniki. [0091] Fig. 2 przedstawia podstawową strukturę architektury transkodera/dekodera SAOC. Procesor resztkowy 216 pozyskuje wzbogacone obiekty audio z wejściowego sygnału 2 downmixu z użyciem informacji resztkowej zawartej w strumieniu bitów SAOC 212. Wstępny procesor 270 downmixu przetwarza regularne obiekty audio (którymi są na przykład niewzbogacone obiekty audio, tj. obiekty audio dla których nie jest przesyłana żadna informacja resztkowa w strumieniu bitów SAOC 212). Wzbogacone obiekty audio (reprezentowane przez pierwszy sygnał 262 obiektu audio) i przetworzone regularne obiekty audio (reprezentowane na przykład przez przetworzoną wersję 272 drugiego sygnału 264 obiektu audio) są połączone w wyjściowy sygnał 2 dla trybu dekodera SAOC lub w sygnał

21 downmixu MPEG Surround dla trybu transkodera SAOC. Szczegółowy opis bloków przetwarzania jest podany poniżej. 3. Architektura i funkcje procesora resztkowego i procesora trybu energii [0092] Poniżej omówione zostaną szczegóły dotyczące procesora resztkowego, który na przykład może przejąć funkcję separatora 130 obiektów dekodera 0 sygnału audio lub procesora resztkowego 260 dekodera 0 sygnału audio. W tym celu Fig. 3a i 3b przedstawiają schematy blokowe takiego procesora resztkowego 300, który może zając miejsce separatora 130 obiektów lub procesora resztkowego 260. Fig. 3a przedstawia mniej szczegółów niż Fig. 3b. Jednak poniższy opis dotyczy procesora resztkowego 300 według Fig. 3a, jak również procesora resztkowego 380 według Fig. 3b. [0093] Procesor resztkowy 300 jest skonfigurowany do odbioru sygnału 300 downmixu SAOC, który może być równoważny z reprezentacją 112 sygnału downmixu z Fig. 1 lub reprezentacji 2 sygnału downmixu z Fig. 2. Procesor resztkowy 300 jest skonfigurowany do dostarczania na ich bazie pierwszej informacji audio 3 opisującej jeden lub większą liczbę wzbogaconych obiektów audio, która może być na przykład równoważna z pierwszą informacją audio 132 lub z drugim sygnałem 262 obiektu audio. Również, procesor resztkowy 300 może dostarczać drugą informację audio 322 opisującą jeden lub większą liczbę innych obiektów audio (na przykład niewzbogaconych obiektów audio, dla których nie jest dostępna żadna informacja resztkowa), przy czym druga informacja audio 322 może być równoważna z drugą informacją audio 134 lub z drugim sygnałem 264 obiektu audio. [0094] Procesor resztkowy 300 zawiera jednostkę do-N/2-do-N (jednostkę OTN/TTN), która odbiera sygnał 3 downmixu SAOC i która również odbiera dane i resztki SAOC 332. Jednostka do-N/2-do-N dostarcza również sygnał 334 wzbogaconych obiektów audio, który opisuje wzbogacone obiekty audio (EAO) zawarte w sygnale 3 downmixu SAOC. Również, jednostka do-N/2-do-N dostarcza drugą informację audio 322. Procesor resztkowy 300 zawiera również jednostkę 340 renderowania, która odbiera sygnał 334 wzbogaconych obiektów audio i informację 342 macierzy renderowania i dostarcza na ich bazie pierwszą informację audio 3. [009] Poniżej opisane zostanie bardziej szczegółowo przetwarzanie wzbogaconych obiektów audio (przetwarzanie EAO), które jest realizowane przez procesor resztkowy Wprowadzenie do działania procesora resztkowego 300 [0096] Rozpatrując funkcjonalność procesora resztkowego 300 należy zauważyć, że technologia SAOC umożliwia indywidualną manipulację pewną liczbą obiektów audio w zakresie ich wzmocnienia/tłumienia poziomu bez znaczącego pogorszenia końcowej jakości dźwięku, tylko w bardzo ograniczony sposób. Specjalny tryb aplikacji karaoke wymaga całkowitego (lub prawie całkowitego) stłumienia pewnych obiektów, typowo wokalu prowadzącego, zachowując niezakłóconą jakość percepcyjną dźwięku tła.

22 [0097] Typowy przypadek zastosowania obejmuje do czterech sygnałów wzbogaconych obiektów audio (EAO), które mogą na przykład reprezentować dwa niezależne obiekty stereo (na przykład dwa niezależne obiekty stereo, które są przygotowane do ich usunięcia po stronie dekodera). [0098] Należy zauważyć, że jeden lub większa liczba wzbogaconych jakościowo obiektów audio (lub mówiąc dokładniej, wkładów sygnału audio powiązanych ze wzbogaconymi obiektami audio) jest zawarta w sygnale 3 downmixu SAOC. Typowo, wkłady sygnału audio powiązane z jednym lub większą liczbą wzbogaconych obiektów audio są miksowane w przetwarzaniu downmixu realizowanym przez koder sygnału audio z wkładami sygnału audio innych obiektów audio, które nie są wzbogaconymi obiektami audio. Również, należy zauważyć, że wkłady sygnału audio z wielu wzbogaconych obiektów audio są również typowo nakładane lub miksowane przez przetwarzanie downmixu realizowane przez koder sygnału audio. 3.2 Architektura SAOC wspierająca wzbogacone obiekty audio [0099] Poniżej omówione zostaną szczegóły dotyczące procesora resztkowego 300. Przetwarzanie wzbogaconych obiektów audio obejmuje jednostki 1-do-N lub 2-do-N zależnie od trybu downmixu SAOC. Jednostka przetwarzania 1-do-N jest dedykowana dla sygnału downmixu mono a jednostka przetwarzania 2-do-N jest dedykowana dla sygnału 3 downmixu stereo. Obie te jednostki reprezentują uogólnioną i wzbogaconą modyfikację bloku 2-do-2 (bloku TTT) znaną ze standardu ISO/IEC : 07. W koderze, sygnały regularne i sygnały EAO są połączone w sygnał downmixu. Jednostki przetwarzania OTN -1 /TTN -1 (które są odwróconymi jednostkami przetwarzania 1-do-N lub odwróconymi jednostkami przetwarzania 2-do-N) są wykorzystywane do wytwarzania i kodowania odpowiednich sygnałów resztkowych. [00] Sygnały EAO i sygnały regularne są rekonstruowane z sygnału 3 downmixu przez jednostki 330 OTN/TTN z użyciem informacji dodatkowej SAOC i zawartych sygnałów resztkowych. Zrekonstruowane obiekty EAO (które są opisane przez sygnał 334 wzbogaconych obiektów audio) są dostarczane do jednostki 340 renderowania która reprezentuje (lub dostarcza) iloczyn odpowiedniej macierzy renderowania (opisanej przez informację 342 macierzy renderowania) i końcowego sygnału wyjściowego z jednostki OTN/TTN. Regularne obiekty audio (które są opisane przez drugą informację audio 322) są dostarczane do wstępnego procesora downmixu SAOC, na przykład wstępnego procesora 270 downmixu SAOC, do dalszego przetwarzania. Fig. 3a i 3b przedstawiają ogólną strukturę procesora resztkowego, czyli architekturę procesora resztkowego. [01] Wyjściowe sygnały 3, 322 procesora resztkowego są obliczane jako

23 22 gdzie X OBJ reprezentuje sygnał downmixu regularnych obiektów audio (tj. nie EAO) a X EAO jest renderowanym sygnałem wyjściowym EAO dla trybu dekodowania SAOC lub odpowiednim sygnałem downmixu EAO dla trybu transkodowania SAOC. [02] Procesor resztkowy może działać w trybie predykcji (z użyciem informacji resztkowej) lub w trybie energii (bez informacji resztkowej). Rozszerzony sygnał wejściowy X res jest zdefiniowany następująco: Dla trybu predykcji Dla trybu energii 1 [03] W tym wypadku, X może na przykład reprezentować jeden lub większą liczbę kanałów reprezentacji 3 sygnału downmixu, która może być przenoszona w strumieniu bitów reprezentującym wielokanałową zawartość audio. res może oznaczać jeden lub większą liczbę sygnałów resztkowych, które mogą być opisane przez strumień bitów reprezentujący wielokanałową zawartość audio. [04] Przetwarzanie OTN/TTN jest reprezentowane prze macierz M a procesor EAO przez macierz A EAO. [0] Macierz M przetwarzania OTN/TTN jest zdefiniowana zgodnie z trybem działania EAO (tj. predykcji lub energii) jako 2 Dla trybu predykcji Dla trybu energii [06] Macierz M przetwarzania OTN/TTN jest reprezentowana jako 30 gdzie macierz M OBJ dotyczy regularnych obiektów audio (tj. nie EAO) a macierz M EAO dotyczy wzbogaconych obiektów audio (EAO).

24 23 [07] W pewnych przykładach wykonania, jeden lub większa liczba wielokanałowych obiektów tła (MBO) może być traktowana w ten sam sposób przez procesor resztkowy 300. [08] Wielokanałowy obiekt tła (MBO, Multi-channel Background Object) jest downmixem MPS mono lub stereo, który jest częścią downmixu SAOC. W przeciwieństwie do użycia indywidualnych obiektów SAOC dla każdego kanału w sygnale wielokanałowym, MBO może być użyty umożliwiając SAOC bardziej wydajną manipulację obiektem wielokanałowym. W przypadku MBO, narzut SAOC zmniejsza się, gdy parametry SAOC obiektu MBO są powiązane tylko z kanałami downmixu raczej niż ze wszystkimi kanałami upmixu. 3.3 Definicje dodatkowe Wymiarowość sygnałów i parametrów [09] Poniżej omówiona zostanie krótko wymiarowość sygnałów i parametrów w celu wyjaśnienia jak często wykonywane są różne obliczenia. [01] Sygnały audio są zdefiniowane dla każdego przedziału czasowego n i każdego 1 hybrydowego podpasma k (które może być podpasmem częstotliwości). Odpowiednie parametry SAOC są zdefiniowane dla każdego przedziału czasowego 1 parametru i pasma przetwarzania m. Następujące mapowanie między domeną hybrydową i parametrową jest określone w tabeli A. 31 ISO/IEC :07. Stąd, wszystkie obliczenia są wykonywane w odniesieniu do pewnych indeksów czasu/pasma i odpowiadające temu wymiarowości są implikowane dla każdej wprowadzonej zmiennej. [0111] Jednak poniżej indeksy czasu i pasma częstotliwości zostaną czasami pominięte dla utrzymania zwartości notacji Obliczanie macierzy A EAO [0112] Macierz wstępnego renderowania A EAO obiektów EAO jest zdefiniowana odpowiednio do liczby kanałów wyjściowych (tj. mono, stereo lub binauralnych) jako w przypadku mono w innych przypadkach. 30 zdefiniowane jako [0113] Macierze o rozmiarze 1 x N EAO i o rozmiarze 2 x N EAO są

25 24 gdzie podmacierz renderowania odpowiada renderowaniu EAO (i opisuje pożądane mapowanie wzbogaconych obiektów audio na kanały reprezentacji sygnału upmixu) [0114] Wartości są obliczone w zależności od informacji o renderowaniu powiązanej z wzbogaconymi obiektami audio z użyciem odpowiednich elementów EAO i z użyciem równań z sekcji [011] W przypadku renderowania binauralnego macierz jest zdefiniowana przez równania podane w sekcji 4.1.2, dla których odpowiednia docelowa macierz renderowania binauralnego zawiera tylko elementy związane z obiektami EAO. 3.4 Obliczanie elementów OTN/TTN w trybie resztkowym [0116] Poniżej zostanie omówione, jak sygnał 3 downmixu SAOC, który typowo zawiera jeden lub dwa kanały audio, jest mapowany na sygnał 334 wzbogaconych obiektów audio, który typowo zawiera jeden lub większą liczbę kanałów wzbogaconych obiektów audio i na drugą informację audio 322, która typowo zawiera jeden lub dwa kanały regularnych obiektów audio. [0117] Funkcja jednostki do-N lub 2-do-N może na przykład być realizowana z użyciem iloczynu wektorowego macierzy w taki sposób, że wektor opisujący zarówno kanały sygnału 334 wzbogaconych obiektów audio jak i kanały drugiej informacji audio 322 jest uzyskany za pomocą mnożenia wektora opisującego kanały sygnału 3 downmixu SAOC i (opcjonalnie) jeden lub większą liczbę sygnałów resztkowych przez macierz M Prediction lub M Energy. Odpowiednio do tego wyznaczanie macierzy M Prediction lub M Energy jest ważnym etapem w uzyskiwaniu pierwszej informacji audio 3 i drugiej informacji audio 322 z downmixu SAOC 3. [0118] Podsumowując, proces upmixu OTN/TTN jest przedstawiony albo przez macierz M Prediction dla trybu predykcji albo przez macierz M Energy dla trybu energii. [0119] Procedura kodowania/dekodowania oparta na energii jest zaprojektowana dla kodowania sygnału downmixu nie zachowującego kształtu fali. Dlatego też macierz upmixu

26 2 OTN/TTN dla odpowiedniego trybu energii nie opiera się na specyficznych kształtach fali, ale jedynie opisuje względny rozkład energii wejściowych obiektów audio, jak zostanie to opisane bardziej szczegółowo poniżej Tryb predykcji [01] W trybie predykcji macierz M Prediction jest zdefiniowana wykorzystując informację o downmixie zawartą w macierzy i danych CPC z macierzy C: [0121] W przypadku kilku trybów SAOC, rozszerzona macierz downmixu i macierz C CPC mają następujące wymiary i struktury: Tryby downmixu stereo (TTN): [0122] Dla trybów downmixu stereo (TTN) (na przykład w przypadku downmixu stereo na bazie dwóch kanałów regularnych obiektów audio i N EAO kanałów wzbogaconych 1 obiektów audio), (rozszerzona) macierz następująco: downmixu i macierz C CPC mogą być uzyskane 2 [0123] W przypadku downmixu stereo, każdy EAOj zawiera dwa CPC c j,0 i c j,1 dające macierz C. [0124] Sygnały wyjściowe procesora resztkowego obliczane są jako

27 [012] Tak więc, uzyskane są dwa sygnały y L, y R (które są reprezentowane przez X OBJ ), które reprezentują jeden lub dwa albo nawet więcej niż dwa regularne obiekty audio (również określane jako nierozszerzone obiekty audio). Również, uzyskane są sygnały N EAO (reprezentowane przez X EAO ) reprezentujące wzbogacone obiekty audio N EAO. Sygnały te są uzyskane na bazie dwóch sygnałów downmixu SAOC l 0,r 0 i sygnałów resztkowych N EAO res 0 do res NEAO-1, które będą kodowane w informacji dodatkowej SAOC, na przykład, jako część obiektowej informacji parametrycznej. [0126] Należy zauważyć, że sygnały y L i y R mogą być równoważne z sygnałem 322 i że sygnały Y 0,EAO do Y NEAO-1, EAO (które reprezentują X EAO ) mogą być równoważne sygnałom 3. [0127] Macierz A EAO jest macierzą renderowania. Wyrazy macierzy A EAO mogą opisywać na przykład mapowanie wzbogaconych obiektów audio na kanały sygnału 334 wzbogaconych obiektów audio (X EAO ). [0128] Odpowiednio do tego właściwy wybór macierzy A EAO umożliwia opcjonalną integrację funkcji jednostki renderowania 340 w taki sposób, że mnożenie wektora opisującego kanały (l 0, r 0 ) sygnału 3 downmixu SAOC i jednego lub większej liczby sygnałów resztkowych (res 0,..., res NEAO-1 ) przez macierz może bezpośrednio utworzyć reprezentację X EAO pierwszej informacji audio Tryby downmixu mono (OTN): [0129] Poniżej opisane zostanie pozyskiwanie sygnałów 3 wzbogaconych obiektów audio (lub alternatywnie sygnałów 334 wzbogaconych obiektów audio) i sygnału 322 regularnych obiektów audio dla przypadku, w którym sygnał 3 downmixu SAOC zawiera tylko kanał sygnału.

28 27 [0130] Dla trybów downmixu mono (OTN) (np. downmixu mono na bazie jednego kanału regularnych obiektów audio i kanałów wzbogaconych obiektów audio N EAO ) (rozszerzona) macierz downmixu i macierz C CPC mogą być uzyskane następująco: [0131] W przypadku downmixu mono, jeden EAO j jest predykowany przez jeden współczynnik c j dając macierz C. Wszystkie elementy c j macierzy są uzyskane na przykład z parametrów SAOC (na przykład z danych SAOC 322) zgodnie z zależnością podaną poniżej (sekcja ). [0132] Resztkowe sygnały wyjściowe procesora są obliczane jako 1 [0133] Sygnał wyjściowy X OBJ zawiera na przykład jeden kanał opisujący regularne obiekty audio (niewzbogacone obiekty audio). Sygnał wyjściowy X EAO zawiera na przykład jeden, dwa lub nawet więcej kanałów opisujących wzbogacone sygnały audio (korzystnie

29 28 kanały N EAO opisujące wzbogacone obiekty audio). Ponownie, wymienione sygnały są równoważne sygnałom 3, Obliczanie odwróconej rozszerzonej macierzy downmixu jako [0134] Macierz [013] Macierz -1 jest odwróceniem macierzy downmixu, a C implikuje CPC. -1 jest odwróceniem macierzy downmixu i może być obliczona [0136] Elementy dĩ,j (na przykład odwrócenia downmixu o rozmiarze 6x6) są uzyskane z użyciem następujących wartości: -1 rozszerzonej macierzy 1

30 29

31 30 [0137] Współczynniki m j i n j rozszerzonej macierzy downmixu oznaczają wartości downmixu dla każdego EAOj dla prawego i lewego kanału downmixu jako [0138] Elementy di,j macierzy D downmixu są uzyskane z użyciem informacji DMG wzmocnienia downmixu i (opcjonalnie) informacji DCLD różnicy poziomów kanału downmixu, która jest zawarta w informacji SAOC 332, która jest reprezentowana na przykład przez obiektową informację parametryczną 1 lub informację 212 strumienia bitów SAOC. [0139] W przypadku downmixu stereo macierz D downmixu o wymiarach 2xN z elementami di,j (i = 0,1; j = 0,..., N -1) jest uzyskana z parametrów DMG i DCLD jako 1 [0140] Dla przypadku downmixu mono macierz D downmixu o wymiarach 1xN z elementami d i,j (i = 0; j = 0,..., N -1) jest uzyskana z parametrów DMG jako 2 [0141] W tym wypadku, zdekwantyzowane parametry DMG j i DCLD J downmixu są uzyskane na przykład z parametrycznej informacji dodatkowej 1 lub ze strumienia bitów SAOC 212. [0142] Funkcja EAO(j) wyznacza mapowanie między indeksami wejściowych kanałów obiektów audio i sygnałami EAO: Obliczanie macierzy C [0143] Macierz C implikuje CPCs i jest uzyskana z przesłanych parametrów SAOC (np. olds, IOC S, DMGs i DCLD S ) jako

32 31 [0144] Mówiąc inaczej ograniczone CPC są uzyskane zgodnie z powyższymi równaniami, które mogą być traktowane jako algorytm ograniczania. Jednak ograniczone CPC mogą być również uzyskane z wartości z zastosowaniem innego podejścia ograniczania (algorytmu ograniczania) albo mogą być ustawione jako równe wartościom. [014] Należy zauważyć, że wyrazy c j,1 macierzy (i bezpośrednie wielkości na bazie których obliczone są wyrazy c j,1 macierzy) są typowo wymagane tylko, jeśli sygnał downmixu jest sygnałem downmixu stereo. [0146] CPC są ograniczone przez kolejną funkcję ograniczającą: ze współczynnikiem ważenia λ wyznaczonym jako 1 szacowane przez [0147] Dla jednego konkretnego kanału EAO j = 0... N EAO -1 nieograniczone CPC są [0148] Wielkości energii P Lo, P Ro,P LoRo, P LoCo,j i P RoCo,j są obliczone jako 2

33 32 [0149] Macierz kowariancji e i,j jest zdefiniowana w następujący sposób: Macierz kowariancji E o wymiarze NxN z elementami e i,j reprezentuje przybliżenie macierzy kowariancji E SS* oryginalnego sygnału i jest uzyskana z parametrów OLD i IOC jako 1 [0] W tym wypadku zdekwantyzowane parametry obiektów OLD i, IOCij są uzyskane na przykład z parametrycznej informacji dodatkowej 1 lub ze strumienia bitów SAOC 212. [011] Dodatkowo e L,R może być na przykład uzyskany jako [012] Parametry OLD L, OLD R i IOC L,R odpowiadają regularnym obiektom (audio) i mogą być uzyskane z użyciem informacji downmixu:

34 [013] Jak widać, dwie wspólne wartości różnicy poziomów obiektów OLD L i OLD R są obliczone dla regularnych obiektów audio w przypadku sygnału downmixu stereo (który korzystnie implikuje dwukanałowy sygnał regularnych obiektów audio). W przeciwieństwie do tego tylko jedna wspólna wartość OLD L różnicy poziomów obiektów jest obliczana dla regularnych obiektów audio w przypadku jednokanałowego (mono) sygnału downmixu (który korzystnie implikuje jednokanałowy sygnał regularnych obiektów audio). [014] Jak widać, pierwsza (w przypadku dwukanałowego sygnału downmixu) lub jedyna (w przypadku jednokanałowego sygnału downmixu) wspólna wartość OLD L różnicy poziomów obiektów jest uzyskana przez sumowanie wkładów regularnych obiektów audio mających indeks (lub indeksy) obiektu audio i, do kanału lewego (lub jedynego kanału) sygnału 3 downmixu SAOC. [01] Druga wspólna wartość OLDR różnicy poziomów obiektów (która jest użyta w przypadku dwukanałowego sygnału downmixu) jest uzyskana przez sumowanie wkładów regularnych obiektów audio mających indeks (lub indeksy) obiektu audio i, do prawego kanału sygnału 3 downmixu SAOC. [016] Wkład OLD L regularnych obiektów audio (mających indeksy obiektów audio i=0 do i=n- N EAO -1) do sygnału kanału lewego (lub sygnału jedynego kanału) downmixu SAOC, sygnał 7 jest obliczony na przykład uwzględniając wzmocnienie d0,i downmixu opisujące wzmocnienie downmixu zastosowane dla regularnego obiektu audio mającego indeks obiektu audio i, gdy uzyskuje się sygnał kanału lewego sygnału 3 downmixu SAOC jak również poziom obiektu regularnego obiektu audio mającego indeks obiektu audio i, który jest reprezentowany przez wartość OLD i. [017] Podobnie, wspólna wartość OLD R różnicy poziomów obiektów jest uzyskana z użyciem współczynników downmixu d 1,i opisujących wzmocnienie downmixu, które jest zastosowane dla regularnego obiektu audio mającego indeks obiektu audio i, gdy tworzony jest sygnał kanału prawego sygnału 3 downmixu SAOC i informację poziomu OLD i powiązaną z regularnym obiektem audio mającym indeks obiektu audio i.

35 34 [018] Jak widać, równania do obliczania wielkości P Lo, P Ro, P LoRo, P LoCo,j i P RoCo,j nie rozróżniają indywidualnych regularnych obiektów audio, a jedynie wykorzystują wspólne wartości OLD L, OLD R różnicy poziomów obiektów, tym samym traktując regularne obiekty audio (mające indeksy obiektu audio i) jako pojedynczy obiekt audio. [019] Również, wartość IOC L,R korelacji międzyobiektowej, która jest powiązana z regularnymi obiektami audio, jest ustawiona na 0 o ile nie ma dwóch regularnych obiektów audio. [0160] Macierz e i,j (i el,r) kowariancji jest zdefiniowana następująco: [0161] Macierz E kowariancji o rozmiarze NxN z elementami e i,j reprezentuje przybliżenie macierzy E SS* kowariancji sygnału oryginalnego i jest uzyskana z parametrów OLD i IOC jako 1 [0162] Przykładowo gdzie OLD L i OLD R i IOC L,R są obliczone jak opisano powyżej. [0163] W tym wypadku zdekwantyzowane parametry obiektów są uzyskane jako gdzie D OLD i D IOC są macierzami zawierającymi parametry różnicy poziomów obiektów i parametry korelacji międzyobiektowej Tryb energii [0164] Poniżej opisana zostanie inna koncepcja, która może być użyta do separacji sygnałów 3 rozszerzonych obiektów audio i sygnałów 322 regularnych obiektów audio (nierozszerzonych obiektów audio), i która może być użyta w połączeniu z niezachowującym kształtu fali kodowaniem audio kanałów 3 downmixu SAOC. [016] Mówiąc inaczej oparta na energii procedura kodowania/dekodowania jest zaprojektowana dla niezachowującego kształtu fali kodowania sygnału downmixu. Tak więc, macierz upmixu OTN/TTN dla odpowiedniego trybu energii nie zależy od specyficznych kształtów fali, lecz jedynie opisuje względny rozkład energii w wejściowych obiektach audio. [0166] Również, omawiana tutaj koncepcja, która jest zaprojektowana jako koncepcja trybu energii, może być użyta bez przesyłania informacji sygnału resztkowego. Ponownie, regularne obiekty audio (niewzbogacone obiekty audio) są traktowane jako

36 3 pojedynczy jednokanałowy lub dwukanałowy obiekt audio mający jedną lub dwie wspólne wartości OLDL, OLDR różnicy poziomów obiektów. [0167] Dla trybu energii, macierz M Energy jest zdefiniowana wykorzystując informację o downmixie i OLD, jak będzie to opisane poniżej Tryb energii dla trybów downmixu stereo (TTN) [0168] W przypadku stereo (na przykład downmixu stereo na bazie dwóch kanałów regularnych obiektów i kanałów N EAO wzbogaconych obiektów audio) macierze i są uzyskane z odpowiednich OLD zgodnie z 1 [0169] Sygnały wyjściowe procesora resztkowego są obliczone jako

37 36 [0170] Sygnały y L, y R, które są reprezentowane przez sygnał X OBJ, opisują regularne obiekty audio (i mogą być równoważne z sygnałami 322), a sygnały Y 0,EAO do Y NEAO-1, EAO, które są opisane przez sygnał X EAO, opisują wzbogacone obiekty audio (i mogą być równoważne z sygnałami 334 lub sygnałami 3). [0171] Jeśli pożądany jest sygnał upmixu mono dla przypadku sygnału downmixu stereo, wykonane może być przetwarzanie 2-do-1, na przykład, przez wstępny procesor 270 na bazie dwukanałowego sygnału X OBJ Tryb energii dla trybów downmixu mono (OTN) [0172] Dla przypadku mono (na przykład downmixu mono na bazie jednego kanału regularnych obiektów audio i kanałów N EAO wzbogaconych obiektów audio) macierze i są uzyskane z odpowiednich OLDs zgodnie z 1 [0173] Sygnały wyjściowe procesora resztkowego są obliczone jako [0174] Pojedynczy kanał 322 regularnych obiektów audio (reprezentowany przez X OBJ ) i kanałów N EAO 3 wzbogaconych obiektów audio (reprezentowanych przez X EAO ) mogą

38 być uzyskane przez zastosowanie macierzy i dla reprezentacji jednokanałowego sygnału 3 downmixu SAOC (reprezentowanego tutaj przez do). [017] Jeśli dla przypadku jednokanałowego (mono) sygnału downmixu pożądany jest dwukanałowy (stereo) sygnał upmixu, wykonane może być przetwarzanie 1-do-2, na przykład przez wstępny procesor 270 na bazie jednokanałowego sygnału X OBJ. 4. Architektura i działanie wstępnego procesora downmixu SAOC [0176] Poniżej, działanie wstępnego procesora 270 downmixu SAOC zostanie opisane zarówno dla pewnych trybów dekodowania jak i dla pewnych trybów transkodowania. 4.1 Działanie w trybach dekodowania Wprowadzenie [0177] Poniżej opisany jest sposób uzyskania sygnału wyjściowego z użyciem parametrów SAOC i informacji panoramy (lub informacji o renderowaniu) powiązanych z każdym obiektem audio. Dekoder SAOC 49 przedstawiony jest na Fig. 4g i składa się z procesora 49 parametrów SAOC i procesora 497 downmixu. [0178] Należy zauważyć, że dekoder 494 SAOC może być użyty do przetwarzania regularnych obiektów audio i dlatego może odbierać, jako sygnał 497a downmixu, drugi sygnał 264 obiektów audio lub sygnał 322 regularnych obiektów audio lub drugą informację audio 134. Odpowiednio do tego procesor 497 downmixu może dostarczać, jako wyjściowe sygnały 497b, przetworzoną wersję 272 drugiego sygnału 264 obiektów audio lub przetworzoną wersję 142 drugiej informacji audio 134. Tak więc, procesor 497 downmixu może pełnić rolę wstępnego procesora 270 downmixu SAOC, lub rolę procesora 140 sygnału audio. [0179] Procesor 496 parametrów SAOC może pełnić rolę procesora 22 parametrów SAOC i w wyniku tego dostarczać informację 496a downmixu Procesor downmixu [0180] Poniżej opisany zostanie bardziej szczegółowo procesor downmixu, który jest częścią procesora 140 sygnału audio i który jest określany jako wstępny procesor 270 downmixu SAOC w przykładzie wykonania z Fig. 2 i który jest oznaczony 497 w dekoderze SAOC 49. [0181] Dla trybu dekodera systemu SAOC, wyjściowy sygnał 142, 272, 497b procesora downmixu (reprezentowany w hybrydowej domenie QMF) jest dostarczany do odpowiedniego banku filtrów syntezy (niepokazanego na Fig. 1 i 2) zgodnie z opisem w standardzie ISO/IEC : 07 generując finalny wyjściowy sygnał PCM. Niezależnie od tego wyjściowy sygnał 142, 272, 497b procesora downmixu jest typowo połączony z jednym lub większą liczbą sygnałów audio 132, 262 reprezentujących wzbogacone obiekty audio. To połączenie może być wykonane przed odpowiednim bankiem filtrów syntezy (tak że połączony sygnał łączący sygnał wyjściowy procesora downmixu i jednego lub większej liczby sygnałów reprezentujących wzbogacone obiekty audio jest wprowadzony do banku filtrów syntezy).

39 38 Alternatywnie sygnał wyjściowy procesora downmixu może być połączony z jednym lub większą liczbą sygnałów audio reprezentujących wzbogacone obiekty audio tylko po przetwarzaniu w banku filtrów syntezy. Odpowiednio do tego reprezentacją 1, 2 sygnału upmixu może być albo reprezentacja w domenie GMF albo reprezentacja w domenie PCM (lub dowolna inna odpowiednia reprezentacja). Przetwarzanie downmixu obejmuje na przykład przetwarzanie mono, przetwarzanie stereo i, jeśli jest to pożądane, następujące po tym przetwarzanie binauralne. [0182] Wyjściowy sygnał wstępnego procesora 270, 497 downmixu (oznaczany również 142, 272, 497b) jest obliczany z sygnału 134, 262, 497a) i zdekorelowanego sygnału X d downmixu mono jako downmixu mono (również oznaczanego 1 [0183] Zdekorelowany sygnał X d downmixu mono jest obliczany jako [0184] Zdekorelowane sygnały X d są utworzone w dekorelatorze opisanym w ISO/IEC :07, subclause Zgodnie z tym schematem, zastosowana powinna zostać konfiguracja bsdecorrconfig == 0 z indeksem dekorelatora X=8 zgodnie z Tabelą A.26 do Tabeli A.29 w ISO/IEC :07. Stąd decorrfunc() oznacza proces dekorelacji: 2 [018] W przypadku binauralnego sygnału wyjściowego, parametry G i P2 upmixu uzyskane z danych SAOC, informacja renderowania i parametry HRTF są zastosowane w sygnale X downmixu (i X d ) dając binauralny sygnał wyjściowy, patrz Fig. 2, odnośnik liczbowy 270, gdzie pokazana jest podstawowa struktura procesora downmixu. [0186] Docelowa macierz A l,m renderowania binauralnego o rozmiarze 2xN składa się 30 z elementów. Każdy element jest uzyskany z parametrów HRTF i z macierzy renderowania z elementami na przykład przez procesor parametrów SAOC. Docelowa macierz A l,m renderowania binauralnego reprezentuje zależność między wszystkimi wejściowymi obiektami audio y i pożądanym binauralnym sygnałem wyjściowym.

40 [0187] Parametry HRTF są podane przez i dla każdego pasma przetwarzania m. Pozycje przestrzenne dla których są dostępne parametry HRTF oznaczone są indeksem i. Parametry te są opisane w ISO/IEC : Zarys ogólny [0188] Poniżej przedstawiony zostanie ogólny zarys przetwarzania downmixu w odniesieniu do Fig. 4a i 4b, które przedstawiają schemat blokowy przetwarzania downmixu, które może być realizowane przez procesor 140 sygnału audio lub przez kombinację procesora 22 parametrów SAOC i wstępnego procesora 270 downmixu SAOC, albo przez kombinację procesora 496 downmixu SAOC i procesora 497 downmixu. [0189] Odnosząc się teraz do Fig. 4a, przetwarzanie downmixu odbiera macierz M renderowania, informację OLD różnicy poziomów obiektów, informację IOC korelacji międzyobiektowej, informację DMG wzmocnienia downmixu i (opcjonalnie) informację DCLD różnicy poziomów obiektów kanałów downmixu. Przetwarzanie 400 downmixu według Fig. 4a uzyskuje macierz A renderowania na bazie macierzy M renderowania, na przykład z użyciem modułu regulacji parametru i mapowania M-do-A. Również, wyrazy macierzy E kowariancji są uzyskane w zależności od informacji OLD różnicy poziomów obiektów i informacji IOC korelacji międzyobiektowej, na przykład jak omawiano to powyżej. Podobnie, wyrazy macierzy D downmixu są uzyskane w zależności od informacji DMG wzmocnienia downmixu i informacji DCLD różnicy poziomów kanałów downmixu. [0190] Wyrazy f pożądanej macierzy F kowariancji są uzyskane w zależności od macierzy A renderowania i macierzy E kowariancji. Również, wartość skalarna v jest uzyskana w zależności od macierzy E kowariancji i macierzy D downmixu (lub w zależności od ich wyrazów). [0191] Wartości wzmocnienia P L, P R dla dwóch kanałów są uzyskane w zależności od wyrazów pożądanej macierzy F kowariancji i wartości skalarnej v. Również wartość φ C międzyobiektowej różnicy fazy jest uzyskana w zależności od wyrazów f pożądanej macierzy F kowariancji. Kąt obrotu α również jest uzyskany w zależności od wyrazów f pożądanej macierzy F kowariancji, uwzględniając na przykład stałą c. Dodatkowo, drugi kąt obrotu β jest uzyskany na przykład w zależności od wzmocnień P L, P R kanałów i pierwszego kąta obrotu α. Wyrazy macierzy G są uzyskane na przykład w zależności od dwukanałowych wartości PL, PR wzmocnień jak również w zależności od międzyobiektowej różnicy fazy φc i opcjonalnie, od kątów obrotu α, β. Podobnie, wyrazy macierzy P2 są wyznaczone w zależności od pewnych lub wszystkich wymienionych wartości P L, P R, φ C,α, β.

41 40 [0192] Poniżej omówione zostanie, jak macierz G i/lub P2 (lub ich wyrazy), które mogą być zastosowane przez procesor downmixu jak to omówiono powyżej, mogą być uzyskane dla różnych trybów przetwarzania Tryb przetwarzania mono do binauralnego x-1-b [0193] Poniżej omówione zostaną tryby przetwarzania, w których regularne obiekty audio są reprezentowane przez jednokanałowy sygnał 134, 264, 322, 497a downmixu, w których pożądane jest renderowanie binauralne. [0194] Parametry upmixu G l,m i P l,m 2 są obliczane jako 1 [019] Wzmocnienia i dla kanałów wyjściowych lewego i prawego wynoszą [0196] Pożądana macierz F l,m kowariancji o rozmiarze 2x2 z elementami jest podana jako 2 [0197] Skalar ν l,m jest obliczany jako

42 41 [0198] Międzykanałowa różnica fazy jest dana jako w innym przypadku [0199] Międzykanałowa koherencja jest obliczana jako [00] Kąty obrotu α l,m i β l,m są dane jako w innym przypadku Tryb przetwarzania mono-do-stereo x-1-2 [01] Poniżej omówiony zostanie tryb przetwarzania, w którym regularne obiekty audio są reprezentowane przez jednokanałowy sygnał 134, 264, 222 i w którym pożądane jest renderowanie stereo. [02] W przypadku sygnału wyjściowego stereo, tryb przetwarzania x-1-b może być zastosowany bez użycia informacji HRTF. Można to zrealizować przez pozyskanie 2 wszystkich elementów macierzy A renderowania, uzyskując:

43 Tryb przetwarzania mono-do-mono x-1-1 [03] Poniżej opisany zostanie tryb przetwarzania, w którym regularne obiekty audio są reprezentowane przez kanał sygnału 134, 264, 322, 497a i w którym pożądane jest renderowanie dwukanałowe regularnych obiektów audio. [04] W przypadku sygnału wyjściowego mono, tryb przetwarzania x-1-2 może być zastosowany z następującymi wyrazami: Tryb przetwarzania stereo-do-binauralny x-2-b [0] Poniżej, opisany zostanie tryb przetwarzania, w którym regularne obiekty audio są reprezentowane przez dwukanałowy sygnał 134, 264, 322, 497a i w którym pożądane jest renderowanie binauralne regularnych obiektów audio. [06] Parametry G l,m i upmixu są obliczane jako [07] Odpowiednie wzmocnienia i dla wyjściowych kanałów lewego i prawego wynoszą

44 43 [08] Pożądana macierz F l,m,x kowariancji o rozmiarze 2x2 z elementami jest dana jako [09] Macierz C l,m kowariancji o rozmiarze 2x2 z elementami suchego sygnału binauralnego jest estymowana jako gdzie 1 [02] Odpowiednie skalary v l,m,x i v l,m są obliczone jako [0211] Macierz downmixu D l,x o rozmiarze 1xN z elementami może być uzyskana jako

45 44 [0212] Macierz downmixu D o rozmiarze 2xN z elementami może być uzyskana jako [0213] Macierz E l,m,x z elementami jest uzyskana z następującej zależności [0214] Międzykanałowe różnice fazy są dane jako 1 [021] ICC i są obliczane jako [0216] Kąty obrotu α l,m i β l,m są dane jako Tryb przetwarzania stereo-do-stereo x-2-2

46 [0217] Poniżej opisany zostanie tryb przetwarzania, w którym regularne obiekty audio są opisane przez dwukanałowy (stereo) sygnał 134, 264, 322, 497a i w którym pożądane jest renderowanie dwukanałowe (stereo). [0218] W przypadku wyjściowego sygnału stereo, zastosowane jest bezpośrednio wstępne przetwarzanie stereo, które będzie opisane poniżej, w sekcji Tryb przetwarzania stereo-do-mono x-2-1 [0219] Poniżej, opisany zostanie tryb przetwarzania, w którym regularne obiekty audio są reprezentowane przez dwukanałowy (stereo) sygnał 134, 264, 322, 497a i w którym pożądane jest renderowanie jednokanałowe (mono). [02] W przypadku wyjściowego sygnału mono, zastosowane jest wstępne przetwarzanie stereo z pojedynczym aktywnym wyrazem macierzy renderowana, jak to opisano poniżej w sekcji Wnioski [0221] Odnosząc się ponownie do Fig. 4a i 4b, przedstawiono tu przetwarzanie, które może być zastosowane dla jednokanałowego lub dwukanałowego sygnału 134, 264, 322, 497a reprezentującego regularne obiekty audio po separacji między rozszerzonymi obiektami audio i regularnymi obiektami audio. Fig. 4a i 4b przedstawiają przetwarzanie, przy czym przetwarzania na Fig. 4a i 4b różnią się tym, że opcjonalna regulacja parametru jest wprowadzona na różnych etapach przetwarzania. 4.2 Działanie w trybie transkodowania Wprowadzenie [0222] Poniżej wyjaśniony jest sposób łączenia parametrów SAOC i informacji panoramy (lub informacji o renderowaniu) powiązanych z każdym obiektem audio (lub korzystnie z każdym regularnym obiektem audio) w zgodnym ze standardem strumieniu bitów MPEG Surround (strumieniu bitów MPS). [0223] Transkoder SAOC 490 jest przedstawiony na Fig. 4f i składa się z procesora 491 parametrów SAOC i procesora 492 downmixu w zastosowaniu do downmixu stereo. [0224] Transkoder SAOC 490 może na przykład przejąć rolę procesora 140 sygnału audio. Alternatywnie transkoder SAOC 490 może przejąć rolę wstępnego procesora 270 downmixu SAOC, w połączeniu z procesorem 22 parametrów SAOC. [022] Przykładowo procesor 491 parametrów SAOC może odbierać strumień bitów SAOC 491a, który jest równoważny obiektowej informacji parametrycznej 1 lub strumieniowi bitów SAOC 212. Również, procesor 491 parametrów SAOC może odbierać informację 491b macierzy renderowania, która może być zawarta w obiektowej informacji parametrycznej 1, lub może być równoważna informacji 214 macierzy renderowania. Procesor 491 parametrów SAOC może również dostarczać informację 491c przetwarzania downmixu do procesora 492 downmixu, który może być równoważny informacji 240. Ponadto procesor 491 parametrów SAOC może zawierać strumień bitów MPEG Surround 491d (lub

47 strumień bitów parametrów MPEG Surround), który zawiera parametryczną informację Surround, która jest kompatybilna ze standardem MPEG Surround. Strumień bitów MPEG Surround 491d może na przykład być częścią przetworzonej wersji 142 drugiej informacji audio, lub może na przykład być częścią strumienia bitów MPS 222 lub go zastąpić. [0226] Procesor 492 downmixu jest skonfigurowany do odbioru sygnału 492a downmixu, który korzystnie jest jednokanałowym sygnałem downmixu lub dwukanałowym sygnałem downmixu i który korzystnie jest równoważny drugiej informacji audio 134, lub drugiemu sygnałowi 264, 322 obiektów audio. Procesor 492 downmixu może również dostarczać sygnał 492b downmixu MPEG Surround, który jest równoważny przetworzonej wersji 272 (lub jej części) drugiego sygnału 264 obiektów audio. [0227] Jednak istnieją różne sposoby łączenia sygnału 492b downmixu MPEG Surround z sygnałem 132, 262 wzbogaconych obiektów audio. Łączenie może być realizowane w domenie MPEG Surround. [0228] Alternatywnie jednak reprezentacja MPEG Surround, zawierająca strumień bitów 491d parametrów MPEG Surround i sygnał 492b downmixu MPEG Surround regularnych obiektów audio może być przekonwertowana z powrotem do wielokanałowej reprezentacji w domenie czasu lub wielokanałowej reprezentacji w domenie częstotliwości (indywidualnie reprezentujących różne kanały audio) przez dekoder MPEG Surround i może następnie być połączona z sygnałami wzbogaconych obiektów audio. [0229] Należy zauważyć, że tryby transkodowania zawierają zarówno jeden lub więcej trybów przetwarzania downmixu mono jak i jeden lub więcej trybów przetwarzania downmixu stereo. Jednak poniżej omówiony zostanie tylko tryb przetwarzania stereo, ponieważ przetwarzanie sygnałów regularnych obiektów audio jest bardziej złożone w trybie przetwarzania downmixu stereo Przetwarzanie downmixu w trybie przetwarzania downmixu stereo ( x-2- ) Wprowadzenie [0230] W poniższej sekcji podany zostanie opis trybu transkodowania SAOC dla przypadku downmixu stereo. [0231] Parametry obiektów (różnica poziomów obiektów OLD, korelacja międzyobiektowa IOC, wzmocnienie downmixu DMG i różnica poziomów kanałów downmixu DCMD) ze strumienia bitów SAOC są transkodowane na parametry przestrzenne (korzystnie kanałowe, różnicy poziomów kanałów CLD, korelacji międzyobiektowej ICC, współczynników predykcji kanału CPC) dla strumienia bitów MPEG Surround zgodnie z informacją renderowania. Downmix jest modyfikowany zgodnie z parametrami obiektów i macierzą renderowania. [0232] Odnosząc się teraz do Fig. 4c, 4d i 4e podany zostanie ogólny zarys przetwarzania, a w szczególności modyfikacji downmixu.

48 [0233] Fig. 4c przedstawia schemat blokowy przetwarzania, które jest realizowane dla modyfikacji sygnału downmixu, na przykład sygnału 134, 264, 322,492a downmixu opisującego jeden lub korzystnie więcej regularnych obiektów audio. Jak można zauważyć na Fig. 4c, 4d i 4e, przetwarzanie odbiera macierz M ren renderowania, informację DMG wzmocnienia downmixu, informację DCLD różnicy poziomów kanałów downmixu, informację OLD różnicy poziomów obiektów i informację IOC korelacji międzyobiektowej. Macierz renderowania może opcjonalnie być zmodyfikowana przez regulację parametru, jak pokazano na Fig. 4c. Wyrazy macierzy D downmixu są uzyskane w zależności od informacji DMG wzmocnienia downmixu i informacji DCLD różnicy poziomów kanałów downmixu. Wyrazy macierzy E koherencji są uzyskane w zależności od informacji OLD różnicy poziomów obiektów i informacji IOC korelacji międzyobiektowej. Dodatkowo macierz J może być uzyskana w zależności od macierzy D downmixu i macierzy E koherencji, lub w zależności od ich wyrazów. Następnie macierz C 3 może być uzyskana w zależności od macierzy M ren renderowania, macierzy D downmixu, macierzy E koherencji i macierzy J. Macierz G może być uzyskana w zależności od macierzy DTTT, która może być macierzą mającą wstępnie ustalone wyrazy, a także w zależności od macierzy C 3. Macierz G może opcjonalnie być zmodyfikowana w celu uzyskania zmodyfikowanej macierzy G mod. Macierz G lub jej wersja zmodyfikowana Gmod mogą być użyte do pozyskania przetworzonej wersji 142, 272, 492b drugiej informacji audio 134, 264 z drugiej informacji audio 134, 264, 492a (przy czym druga informacja audio 134, 264 jest oznaczona X, a jej przetworzona wersja 142, 272 jest oznaczona. [0234] Poniżej omówione zostanie renderowanie energii obiektu, które jest wykonywane w celu uzyskania parametrów MPEG Surround. Również, opisane zostanie wstępne przetwarzanie stereo, które jest realizowane w celu uzyskania przetworzonej wersji 142, 272, 492b drugiej informacji audio 134, 264, 492a reprezentującej regularne obiekty audio Renderowanie energii obiektów [023] Transkoder ustala parametry dla dekodera MPS zgodnie z docelowym renderowaniem, opisanym przez macierz M ren renderowania. Sześciokanałowa docelowa kowariancja jest oznaczona F i dana przez 3 [0236] Proces transkodowania może być podzielony koncepcyjnie na dwie części. W jednej części wykonywane jest trójkanałowe renderowanie do kanału lewego, prawego i centralnego. Na tym etapie uzyskane są parametry dla modyfikacji downmixu jak również parametry predykcji dla bloku TTT dla dekodera MPS. W pozostałej części wyznaczone są

49 48 parametry CLD i ICC dla renderowania między kanałami przednim i Surround (parametry OTT, lewy - przód lewy Surround, prawy przód prawy Surround) Renderowanie kanału lewego, prawego i centralnego [0237] W tym etapie wyznaczone są parametry przestrzenne, które sterują renderowaniem do kanału lewego i prawego składających się z sygnałów przedniego i Surround. Parametry te opisują macierz predykcji bloku TTT dla dekodowania MPS CTTT (parametry CPC dla dekodera MPS) i macierz G konwertera downmixu. [0238] CTTT jest macierzą predykcji dla uzyskania docelowego renderowania ze zmodyfikowanego downmixu =GX: 1 [0239] A 3 jest zredukowaną macierzą renderowania o rozmiarze 3xN, opisującą renderowanie odpowiednio do kanału lewego, prawego i centralnego. Jest ona uzyskana jako A 3 =D 36 M ren z macierzą D 36 częściowego downmixu 6 do 3 określoną przez [0240] Ważenia w p, p = 1,2,3 częściowego downmixu są dopasowane w taki sposób, że energia w p (y 2p-1 + y 2p ) jest równa sumie energii y2p y2p 2 aż do czynnika ograniczającego 2 gdzie f i,j oznaczają elementy F. [0241] Dla estymacji pożądanej macierzy predykcji CTTT i macierzy G wstępnego przetwarzania downmixu definiujemy macierz C 3 predykcji o rozmiarze 3x2, co prowadzi do docelowego renderowania 30 [0242] Taka macierz jest pozyskana przez uwzględnienie równań normalnych

50 49 [0243] Rozwiązanie równań normalnych daje najlepsze możliwe dopasowanie kształtu fali do docelowego sygnału wyjściowego przy danym modelu kowariancji obiektu. G i CTTT są teraz uzyskane przez rozwiązanie układu równań 1 [0244] Dla uniknięcia problemów numerycznych podczas obliczania członu J=(DED*) -1, J zostaje zmodyfikowane. Najpierw obliczone są własności własne λ 1,2 J, rozwiązując det(j - λ 1,2 I)=0. [024] Wartości własne są posortowane w porządku malejącym (λ 1 λ 2 ) a wektor własny odpowiadający większej wartości własnej jest obliczany zgodnie z równaniem powyżej. Zapewnia się jego położenie w dodatniej płaszczyźnie x (pierwszy element musi być dodatni). Drugi wektor własny jest uzyskany z pierwszego przez obrót o kąt -90 stopni: 2 [0246] Macierz ważenia jest obliczana z macierzy D downmixu i macierzy C 3 predykcji, W = (D diag(c 3 )). [0247] Ponieważ CTTT jest funkcją parametrów c 1 i c 2 predykcji MPS (opisaną w ISO/IEC :07), CTTT G = C 3 jest przepisane w następujący sposób, w celu znalezienia punktu lub punktów stałych funkcji z Г = (DTTT C 3 ) W (DTTT C 3 )* i b=gwc 3 v, 30 gdzie i v = (1 1-1). [0248] Jeśli Г nie zapewnia unikalnego rozwiązania (det(г) < -3 ), wybrany jest punkt leżący najbliżej punktu dającego przejście TTT. W pierwszym etapie, wybrany jest rząd i dla Г, γ = [γi1γi2] gdzie elementy zawierają najwięcej energii, więc γ 2 2 i,1 + γ i,2 γ 2 j,1 + γ 2 j,2, j=1,2.

51 0 [0249] Następnie ustalone jest takie rozwiązanie, że [0] Jeśli uzyskane rozwiązanie dla 1 i 2 leży poza dozwolonym zakresem dla współczynników predykcji, który jest określony jako -2 j 3 (jak to określono w ISO/IEC :07), j powinno być obliczone zgodnie z poniższym. [021] Najpierw zdefiniuj zbiór punktów, x p jako: i funkcję dystansu 1 [022] Następnie zdefiniowane są parametry predykcji zgodnie z: [023] Parametry predykcji są ograniczone zgodnie z: 2 gdzie λ, γ1 i γ2 są określone jako

52 1 [024] Dla dekodera MPS, dostarczone są CPC i odpowiedni ICCTTT następująco Renderowanie między kanałami przednimi i Surround [02] Parametry określające renderowanie między kanałami przednimi i Surround mogą być estymowane bezpośrednio z docelowej macierzy F kowariancji 1 z (a,b) = (1,2) i (3,4). [026] Parametry MPS są dostarczone w postaci 2 dla każdego bloku OTT h Przetwarzanie stereo [027] Poniżej omówione zostanie przetwarzanie stereo sygnału 134 do 64, 322 regularnych obiektów audio. Przetwarzanie stereo jest użyte do pozyskania procesu do ogólnej reprezentacji 142, 272 na bazie dwukanałowej reprezentacji regularnych obiektów audio.

53 2 [028] Downmix stereo X, który jest reprezentowany przez sygnały 134, 264, 492a regularnych obiektów audio jest przetwarzany na sygnał zmodyfikowanego downmixu, który jest reprezentowany przez przetworzone sygnały 142, 272 regularnych obiektów audio: gdzie [029] Ostateczny sygnał wyjściowy z transkodera SAOC, jest utworzony przez miksowanie X ze zdekorelowanym komponentem sygnału zgodnie z: 1 gdzie zdekorelowany sygnał X d jest obliczony jak opisano powyżej, a macierze mixu G Mod i P2 zgodnie z poniższym. [0260] Najpierw zdefiniuj macierz błędu upmixu renderowania jako gdzie 2 a ponadto zdefiniuj macierz kowariancji predykowanego sygnału R jako 30 [0261] Wektor wzmocnienia g vec może następnie być obliczony jako:

54 3 a macierz mixu G Mod jest dana jako: w innym przypadku [0262] Podobnie, macierz mixu P 2 jest dana jako: w innym przypadku [0263] Dla uzyskania v R i W d, rozwiązane musi zostać równanie charakterystyczne R: 1 układ równań: [0264] Odpowiednie wektory własne R, v R1 i v R2 mogą być obliczone rozwiązując [026] Wartości własne są sortowane w porządku malejącym (λ1 λ2), a wektor własny odpowiadający większej wartości własnej jest obliczony zgodnie z równaniem powyżej. Zapewnia się jego umiejscowienie w dodatniej płaszczyźnie x (pierwszy element musi być dodatni). Drugi wektor własny jest uzyskany z pierwszego przez obrót o kąt -90 stopni: 2 [0266] Wprowadzając P 1 =(1 1)G, R d może być obliczone zgodnie z:

55 4 co daje i ostatecznie macierz mixu Tryb podwójny [0267] Transkoder SAOC może umożliwić obliczenie macierzy mixu P 1, 2 i macierzy predykcji C 3 zgodnie z alternatywnym sposobem dla zakresu wyższych częstotliwości. Ten alternatywny sposób jest szczególnie przydatny dla sygnałów downmixu, gdzie zakres wyższych częstotliwości jest kodowany przez niezachowujący kształtu fali algorytm kodowania, np. SBR w wysoko wydajnym AAC. [0268] Dla górnych pasm parametrów, zdefiniowanych przez bstttbandslow pb < numbands, P 1, P 2 i C 3 powinny być obliczone zgodnie z alternatywnym sposobem opisanym poniżej: 2 [0269] Zdefiniuj downmix energii i wektory energii docelowej odpowiednio:

56 i macierz pomocniczą [0270] Następnie oblicz wektor wzmocnienia co ostatecznie daje nową macierz predykcji 1. Połączony tryb dekodowania/transkodowania EKS SAOC, koder według Fig. i systemy według Fig. a i b [0271] Poniżej przedstawiony zostanie krótki opis sposobu połączonego przetwarzania EKS SAOC. Proponowany jest korzystny sposób przetwarzania EKS SAOC, w którym przetwarzanie EKS jest zintegrowane z regularnym łańcuchem dekodowania/transkodowania SAOC w układzie kaskadowym..1 Koder sygnału audio według Fig.

57 [0272] W pierwszym etapie, obiekty dedykowane dla przetwarzania EKS (przetwarzanie wzbogaconego Karaoke/solo) są identyfikowane jako obiekty przedniego planu (FGO) a ich liczba N FGO (oznaczana również N EAO ) jest wyznaczona przez zmienną bsnumgroupsfgo strumienia bitów. Wymieniona zmienna strumienia bitów może być przykładowo zawarta w strumieniu bitów SAOC, opisanym powyżej. [0273] Dla generowania strumienia bitów (w koderze sygnału audio), parametry wszystkich wejściowych obiektów N obj są uszeregowane w taki sposób, że obiekty przedniego planu FGO zawierają ostatnie parametry N FGO (lub alternatywnie N EAO ) w każdym wypadku, na przykład, OLD i dla [N obj - N FGO i N obj - 1]. [0274] Z pozostałych obiektów, którymi są na przykład obiekty tła BGO, lub niewzbogacone obiekty audio, generowany jest sygnał downmixu w regularnym stylu SAOC, który jednocześnie pełni rolę obiektu tła BGO. Następnie, obiekt tła i obiekty przedniego planu są miksowane w dół w stylu przetwarzania EKS i pozyskana jest informacja resztkowa z każdego obiektu przedniego planu. W ten sposób, nie ma potrzeby wprowadzania żadnych dodatkowych etapów przetwarzania. W ten sposób uzyskano zmianę składni strumienia bitów. [027] Mówiąc inaczej po stronie kodera, niewzbogacone obiekty audio są odróżniane od wzbogaconych obiektów audio. Dostarczony jest jednokanałowy lub dwukanałowy sygnał downmixu regularnych obiektów audio, który reprezentuje regularne obiekty audio (niewzbogacone obiekty audio), przy czym może być jeden, dwa lub nawet więcej regularnych obiektów audio (niewzbogaconych obiektów audio). Jednokanałowy lub dwukanałowy sygnał downmixu regularnych obiektów audio jest następnie łączony z jednym lub większą liczbą sygnałów wzbogaconych obiektów audio (którymi mogą być na przykład jednokanałowy sygnał downmixu lub dwukanałowy sygnał downmixu) w celu uzyskania wspólnego sygnału downmixu (którym może być na przykład jednokanałowy sygnał downmixu lub dwukanałowy sygnał downmixu) łączącego sygnały audio wzbogaconych obiektów audio i sygnał downmixu regularnych obiektów audio. [0276] Poniżej opisana zostanie krótko podstawowa struktura takiego kaskadowego kodera w odniesieniu do Fig., która przedstawia schemat blokowy kodera SAOC 00 według przykładu wykonania wynalazku. Koder SAOC 00 zawiera moduł downmixu SAOC, który typowo jest modułem downmixu SAOC, który nie dostarcza informacji resztkowej. Moduł downmixu SAOC jest skonfigurowany do odbioru wielu sygnałów 12 obiektów audio NBGO z regularnych (niewzbogaconych) obiektów audio. Również, moduł downmixu SAOC jest skonfigurowany do dostarczania sygnału 14 downmixu regularnych obiektów audio na bazie regularnych obiektów audio 12 w taki sposób, że sygnał 14 regularnych obiektów audio łączy sygnały 12 regularnych obiektów audio zgodnie z parametrami downmixu. Moduł downmixu SAOC dostarcza również informację SAOC 16 regularnych obiektów audio, która opisuje sygnały i downmix regularnych obiektów audio. Przykładowo informacja SAOC 16 regularnych obiektów audio może zawierać

58 informację DMG wzmocnienia downmixu i informację DCLD różnicy poziomów kanałów downmixu opisującą downmix wykonany przez moduł downmixu SAOC. Dodatkowo informacja SAOC 16 regularnych obiektów audio może zawierać informację różnicy poziomów obiektów i informację korelacji międzyobiektowej opisującą zależność między regularnymi obiektami audio opisanymi przez sygnał 12 regularnych obiektów audio. [0277] Koder 00 zawiera również drugi moduł downmixu SAOC, który typowo jest skonfigurowany do dostarczania informacji resztkowej. Drugi moduł downmixu SAOC korzystnie jest skonfigurowany do odbioru jednego lub większej liczby sygnałów 22 wzbogaconych obiektów audio jak również do odbioru sygnału 14 downmixu regularnych obiektów audio. [0278] Drugi moduł downmixu SAOC jest również skonfigurowany do dostarczania wspólnego sygnału 24 downmixu SAOC na bazie sygnałów 22 wzbogaconych obiektów audio i sygnału 14 regularnych obiektów audio. Podczas dostarczania wspólnego sygnału downmixu SAOC, drugi moduł downmixu SAOC typowo traktuje sygnał 14 downmixu regularnych obiektów audio, jako sygnał obiektów jednokanałowych lub dwukanałowych. [0279] Drugi moduł jest również skonfigurowany do dostarczania informacji SAOC wzbogaconych obiektów audio, która opisuje przykładowo wartości DCLD różnicy poziomów kanałów downmixu powiązane ze wzbogaconymi obiektami audio i wartości OLD różnicy poziomów obiektów powiązane ze wzbogaconymi obiektami audio i wartości IOC korelacji międzyobiektowej powiązane ze wzbogaconymi obiektami audio. Dodatkowo drugi moduł downmixu SAOC korzystnie jest skonfigurowany do dostarczania informacji resztkowej powiązanej z każdym ze wzbogaconych obiektów audio w taki sposób, że informacja resztkowa powiązana ze wzbogaconymi obiektami audio opisuje różnicę między oryginalnym sygnałem indywidualnych wzbogaconych obiektów audio i spodziewanym sygnałem indywidualnych wzbogaconych obiektów audio, który może być pozyskany z sygnału downmixu z użyciem informacji downmixu DMG, DCLD i informacji obiektowej OLD, IOC. [0280] Koder audio 00 jest dobrze przystosowany do współdziałania z opisanym tutaj dekoderem audio..2 Dekoder sygnału audio według Fig. a [0281] Poniżej opisana zostanie podstawowa struktura hybrydowego dekodera EKS SAOC 00, którego schemat blokowy jest przedstawiony na Fig. a. [0282] Dekoder audio 00 według Fig. a jest skonfigurowany do odbioru sygnału downmixu, informacji 12 strumienia bitów SAOC i informacji 14 macierzy renderowania. Dekoder audio 00 zawiera przetwarzanie Karaoke/solo i renderowanie obiektów przedniego planu, które jest skonfigurowane do dostarczania pierwszego sygnału 62 obiektów audio, który opisuje renderowane obiekty przedniego planu i drugiego sygnału 64 obiektów audio, który opisuje obiekty tła. Obiekty przedniego planu mogą na przykład być

59 8 1 nazywane wzbogaconymi obiektami audio, a obiekty tła mogą na przykład być nazywane regularnymi obiektami audio lub niewzbogaconymi obiektami audio. Dekoder 00 audio zawiera również regularne dekodowanie SAOC 70, które jest skonfigurowane do odbioru drugiego sygnału 62 obiektów audio i do dostarczania na ich bazie, przetworzonej wersji 72 drugiego sygnału 64 obiektów audio. Dekoder audio 00 zawiera również moduł 80 łączenia, który jest skonfigurowany do łączenia pierwszego sygnału 62 obiektów audio i przetworzonej wersji 72 drugiego sygnału 64 obiektów audio w celu uzyskania sygnału wyjściowego. [0283] Poniżej omówiona zostanie funkcjonalność dekodera audio 00 z pewnymi dodatkowymi szczegółami. Po stronie dekodowania/transkodowania SAOC, proces upmixu skutkuje układem kaskadowym zawierającym najpierw przetwarzanie wzbogaconego Karaoke/solo (przetwarzanie EKS) w celu rozkładu sygnału downmixu na obiekt tła (BGO) i obiekty przedniego planu (FGO). Wymagane różnice poziomów obiektów (OLD) i korelacje międzyobiektowe (IOC) dla obiektu tła są pozyskane z informacji obiektu i downmixu (które obie są obiektową informacją parametryczną i które obie typowo są zawarte w strumieniu bitów SAOC): 2 30 [0284] Dodatkowo etap ten (który typowo jest realizowany przez przetwarzanie EKS i renderowanie obiektów przedniego planu) obejmuje mapowanie obiektów przedniego planu na finalne kanały wyjściowe (w taki sposób, że przykładowo pierwszy sygnał 62 obiektów audio jest sygnałem wielokanałowym, w którym każdy z obiektów przedniego planu jest mapowany na jeden lub więcej kanałów). Obiekt przedniego planu (który typowo zawiera wiele tak zwanych regularnych obiektów audio ) jest renderowany do odpowiednich kanałów wyjściowych przez regularny proces dekodowania SAOC (lub alternatywnie w pewnych przypadkach przez proces transkodowania SAOC). Proces ten może na przykład być realizowany przez regularne dekodowanie SAOC 70. Końcowy etap miksowania (na przykład

60 moduł 80 łączenia) dostarcza na wyjściu pożądaną kombinację sygnałów renderowanych obiektów przedniego planu i obiektu tła. [028] Ten hybrydowy system EKS SAOC reprezentuje połączenie wszystkich korzystnych właściwości regularnego systemu SAOC i jego trybu EKS. Podejście to umożliwia uzyskanie odpowiednich wyników z użyciem proponowanego systemu z takim samym strumieniem bitów zarówno dla klasycznego (o umiarkowanym renderowaniu) i podobnego do Karaoke/solo (o ekstremalnym renderowaniu) scenariusza odtwarzania..3 Uogólniona struktura według Fig. b [0286] Poniżej omówiona zostanie uogólniona struktura połączonego systemu EKS SAOC 90 w odniesieniu do Fig. b, która przedstawia schemat blokowy takiego uogólnionego połączonego systemu EKS SAOC. Połączony system EKS SAOC 90 z Fig. b może być również postrzegany jak dekoder audio. [0287] Połączony system EKS SAOC 90 jest skonfigurowany do odbioru sygnału a downmixu, informacji 12a strumienia bitów SAOC i informacji 14a macierzy renderowania. Również, połączony system EKS SAOC 90 jest skonfigurowany do dostarczania na ich bazie wyjściowego sygnału a. [0288] Połączony system EKS SAOC 90 zawiera człon przetwarzania I a typu SAOC, który odbiera sygnał a downmixu, informację 12a strumienia bitów SAOC (lub przynajmniej jej część) i informację 14a macierzy renderowania (lub przynajmniej jej część). W szczególności człon przetwarzania I a typu SAOC odbiera wartości (OLDs) różnicy poziomów obiektów pierwszego członu. Człon przetwarzania I a typu SAOC dostarcza jeden lub więcej sygnałów 62a opisujących pierwszy zestaw obiektów (na przykład obiektów audio pierwszego typu obiektów audio). Człon przetwarzania I a typu SAOC dostarcza również jeden lub więcej sygnałów 64a opisujących drugi zestaw obiektów. [0289] Połączony system EKS SAOC zawiera również człon przetwarzania II 70a typu SAOC, który jest skonfigurowany do odbioru jednego lub większej liczby sygnałów 64a opisujących drugi zestaw obiektów i do dostarczania na ich bazie jednego lub większej liczby sygnałów 72a opisujących trzeci zestaw obiektów z użyciem różnic poziomów obiektów drugiego członu, które są zawarte w informacji 12a strumienia bitów SAOC, jak również przynajmniej część informacji 14 macierzy renderowania. Połączony system EKS SAOC zawiera również moduł 80a łączenia, który może na przykład być sumatorem do dostarczania wyjściowych sygnałów a przez łączenie jednego lub większej liczby sygnałów 70a opisujących trzeci zestaw obiektów (przy czym trzeci zestaw obiektów może być przetworzoną wersją drugiego zestawu obiektów). [0290] Podsumowując powyższe, Fig. b przedstawia uogólnioną postać podstawowej struktury opisanej w odniesieniu do Fig. a powyżej, w korzystnym przykładzie wykonania wynalazku. 6. Perceptualna ewaluacja sposobu połączonego przetwarzania EKS SAOC

61 Metodologia testu, konstrukcja i elementy [0291] Te subiektywne testy odsłuchowe były przeprowadzone w izolowanym akustycznie pomieszczeniu odsłuchowym, które jest przystosowane do wysokiej jakości odsłuchu. Odtwarzanie było wykonane z użyciem słuchawek (STAX SR Lambda Pro z konwerterem D/A Lake-People i monitorem STAX SRM). Metoda testowa przebiegała według standardowych procedur stosowanych w testach weryfikacji przestrzennego audio w oparciu o metodę MUSHRA (multiple stimulus with hidden reference and anchors, wiele stymulacji z ukrytymi odniesieniami i kotwicami) dla subiektywnej oceny pośredniej jakości audio (patrz referencje [7]). [0292] W przeprowadzonym teście wzięło udział ośmiu odsłuchujących. Zgodnie z metodologią MUSHRA, słuchający byli proszeni o porównanie wszelkich warunków testu względem odniesienia. Warunki testowe były automatycznie dobierane losowo dla każdego elementu testu i dla każdego odsłuchującego. Subiektywne odpowiedzi były rejestrowane przez komputerowy program MUSHRA na skali w zakresie od 0 do 0. Umożliwione było natychmiastowe przełączanie między testowanymi elementami. Test MUSHRA był przeprowadzony w celu oceny perceptualnych wyników rozpatrywanych trybów SAOC i proponowanego systemu opisanego w tabeli z Fig. 6a, który dostarcza opis konstrukcji testu odsłuchowego. [0293] Odpowiednie sygnały downmixu były kodowane z użyciem kodera rdzeniowego AAC z przepływnością 128 kbps. Dla oceny jakości perceptualnej proponowanego połączonego systemu EKS SAOC, jest on porównany z regularnym systemem SAOC RM (modelowym systemem referencyjnym SAOC) i bieżącym trybem EKS (trybem wzbogaconego Karaoke/solo) dla dwóch różnych scenariuszy testów renderowania opisanych w tabeli z Fig. 6b, która opisuje testowane systemy. [0294] Kodowanie resztkowe z przepływnością kbps było zastosowane dla bieżącego trybu EKS i proponowanego połączonego systemu EKS SAOC. Należy zauważyć, że dla bieżącego trybu EKS konieczne jest generowanie stereofonicznego obiektu tła (BGO) przed faktyczną procedurą kodowania/dekodowania, ponieważ ten tryb ma ograniczenia co do liczby typów obiektów wejściowych. [029] Materiał testu odsłuchowego i odpowiednie parametry downmixu i renderowania zastosowane w przeprowadzonych testach zostały wybrane z zestawu elementów audio CfP call-for-proposals opisanych w dokumencie [2]. Odpowiednie dane dla scenariuszy aplikacji renderowania Karaoke i Classic można znaleźć w tabeli z Fig. 6c, która opisuje elementy testu odsłuchowego i macierze renderowania. 6.2 Wyniki testu odsłuchowego [0296] Krótki zarys w postaci wykresów przedstawiających uzyskane wyniki testu odsłuchowego można znaleźć na Fig. 6d i 6e, przy czym Fig. 6d przedstawia wyniki MUSHRA dla testu odsłuchowego typu renderowania Karaoke/solo, a Fig. 6e przedstawia średnie oceny

62 MUSHRA testu odsłuchowego renderowania klasycznego. Wykresy przedstawiają średnie oceny MUSHRA dla elementów dla wszystkich odsłuchujących i statystyczną wartość średnią dla wszystkich ocenionych elementów razem z powiązanymi zakresami 9% przedziałów ufności. [0297] W oparciu o wyniki przeprowadzonych testów odsłuchowych wyprowadzić można następujące wnioski: * Fig. 6d przedstawia porównanie dla bieżącego trybu EKS z połączonym systemem EKS SAOC dla zastosowań typu Karaoke. Dla wszystkich elementów testu nie obserwuje się istotnych różnic jakości (w sensie statystycznym) między tymi dwoma systemami. Z obserwacji tej można wysnuć wniosek, że połączony system EKS SAOC jest zdolny do wydajnego wykorzystania informacji resztkowej osiągając jakość trybu EKS. Można również zauważyć, że jakość regularnego systemu SAOC (bez resztek) jest niższa od obu pozostałych systemów. * Fig. 6e przedstawia porównanie dla bieżącego trybu regularnego SAOC z połączonym systemem EKS SAOC dla scenariuszy renderowania klasycznego. Dla wszystkich testowanych elementów jakość tych dwóch systemów jest statystycznie taka sama. Pokazuje to właściwe działanie połączonego systemu EKS SAOC dla klasycznego scenariusza renderowania. [0298] Stąd, można stwierdzić, że proponowany zunifikowany system łączący tryb EKS z regularnym SAOC zachowuje zalety subiektywnej jakości audio w odpowiednich typach renderowania. [0299] Uwzględniając fakt, że proponowany połączony system EKS SAOC nie ma ograniczeń dotyczących obiektu BGO, ale ma w pełni elastyczne możliwości renderowania regularnego trybu SAOC i może wykorzystywać ten sam strumień bitów dla wszystkich typów renderowania, wydaje się korzystnym wprowadzenie go do standardu MPEG SAOC. 7. Sposób według Fig. 7 [0300] Poniżej opisany zostanie sposób dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną w odniesieniu do Fig. 7, która przedstawia schemat działań takiego sposobu. [0301] Sposób 700 obejmuje etap 7 rozkładu reprezentacji sygnału downmixu dla dostarczania pierwszej informacji audio opisującej pierwszy zestaw jednego lub większej liczby obiektów audio z pierwszego typu obiektów audio i drugiej informacji audio opisującej drugi zestaw jednego lub większej liczby obiektów audio z drugiego typu obiektów audio, w oparciu o reprezentację sygnału downmixu i przynajmniej część obiektowej informacji parametrycznej. Sposób 700 obejmuje również etap 7 przetwarzania drugiej informacji audio w oparciu o obiektową informację parametryczną w celu uzyskania przetworzonej wersji drugiej informacji audio.

63 [0302] Sposób 700 obejmuje również etap 730 łączenia pierwszej informacji audio z przetworzoną wersją drugiej informacji audio w celu uzyskania reprezentacji sygnału upmixu. [0303] Sposób 700 według Fig. 7 może być uzupełniony przez dowolne właściwości i funkcje omawiane tutaj w odniesieniu do urządzenia według wynalazku. Również, sposób 700 zapewnia korzyści omawiane w odniesieniu do urządzenia według wynalazku. 8. Realizacje alternatywne [0304] Chociaż niektóre aspekty zostały opisane w kontekście urządzenia, jasnym jest, że aspekty te reprezentują również opis odpowiedniego sposobu, gdzie blok lub urządzenie odpowiadają etapowi sposobu lub właściwości etapu sposobu. Analogicznie, aspekty opisane w kontekście etapu sposobu reprezentują również opis odpowiedniego bloku lub pozycji lub właściwości odpowiedniego urządzenia. Niektóre albo wszystkie etapy sposobu mogą być realizowane przez urządzenia sprzętowe (lub za ich pomocą), jak na przykład mikroprocesor, programowalny komputer lub obwód elektroniczny. W niektórych przykładach wykonania, jeden lub więcej najważniejszych etapów sposobu, może być realizowanych przez takie urządzenie. [030] Sygnał audio zakodowany według wynalazku może być przechowywany na cyfrowym nośniku pamięci lub może być przesłany za pomocą środków transmisji takich jak bezprzewodowe środki transmisji lub przewodowe środki transmisji, takie jak Internet. [0306] Zależnie od pewnych wymagań implementacji, przykłady wykonania wynalazku mogą być implementowane sprzętowo lub programowo. Implementacja może być realizowana z użyciem cyfrowych nośników pamięci, na przykład dyskietki, płyty Blue-Ray, płyty DVD, płyty CD, pamięci typu ROM, PROM, EPROM, EEPROM lub FLASH, zawierających zapisane na nich odczytywalne elektronicznie sygnały sterujące, które współdziałają (lub są zdolne do takiego współdziałania) z programowanym systemem komputerowym, tak że realizowany jest odpowiedni sposób. Dlatego też, cyfrowy nośnik pamięci może być odczytywalny komputerowo. [0307] Niektóre przykłady wykonania wynalazku zawierają nośnik danych zawierający elektronicznie odczytywalne sygnały sterujące, które współdziałają z programowanym systemem komputerowym, tak że realizowany jest jeden z opisanych tutaj sposobów. [0308] Ogólnie, przykłady wykonania niniejszego wynalazku mogą być implementowane, jako produkt będący programem komputerowym z kodem programu, który to kod programu może działać w celu realizacji jednego ze sposobów wynalazku, kiedy produkt będący programem komputerowym uruchomiony jest w komputerze. Kod programu może na przykład być zapisany na odczytywalnym maszynowo nośniku. [0309] Inne przykłady wykonania zawierają program komputerowy do realizacji jednego z opisanych tutaj sposobów, zapisany na odczytywalnym maszynowo nośniku.

64 [03] Mówiąc inaczej, przykład realizacji sposobu wynalazku jest więc programem komputerowym zawierającym kod programu do realizacji jednego z opisanych tutaj sposobów, kiedy produkt będący programem komputerowym uruchomiony jest w komputerze. [0311] Kolejny przykład realizacji sposobów wynalazku jest więc nośnikiem danych (lub cyfrowym nośnikiem pamięci, lub nośnikiem odczytywalnym komputerowo) zawierającym, zapisany na nim program komputerowy do realizacji jednego z opisanych tutaj sposobów. Nośnik danych, lub cyfrowy nośnik pamięci, lub nośnik zapisany, są typowo materialne i/lub nie transmitujące. [0312] Kolejny wariant realizacji sposobu wynalazku jest więc strumieniem danych lub sekwencją sygnałów reprezentujących program komputerowy, do realizacji jednego z opisanych tutaj sposobów. Strumień danych lub sekwencja sygnałów mogą na przykład być skonfigurowane do tego, aby były przesyłane przez łącze przesyłu danych, na przykład przez Internet. [0313] Kolejny wariant realizacji sposobu wynalazku zawiera środki przetwarzające, na przykład komputer, lub programowalne urządzenie logiczne, skonfigurowane lub przystosowane do realizacji jednego z opisanych tutaj sposobów. [0314] Kolejny wariant realizacji sposobu wynalazku zawiera komputer, w którym zainstalowany jest program komputerowy do realizacji jednego z opisanych tutaj sposobów. [031] W niektórych wariantach wykonania, programowalne urządzenie logiczne (na przykład tablica logiczna programowalna przez użytkownika) może być użyte do realizacji niektórych lub wszystkich funkcji opisanych tutaj sposobów. W niektórych wariantach wykonania, tablica logiczna programowalna przez użytkownika może współdziałać z mikroprocesorem w celu realizacji jednego z opisanych tutaj sposobów. Ogólnie, sposoby korzystnie realizowane są przez dowolne urządzenie sprzętowe. [0316] Opisane powyżej warianty wynalazku są jedynie ilustracyjne w celach przedstawienia zasad niniejszego wynalazku. Należy rozumieć, że modyfikacje i warianty układów i opisanych tutaj szczegółów są oczywiste dla znawców. Intencją jest więc, aby ograniczenia wynikały jedynie z zakresu poniższych zastrzeżeń patentowych, a nie z konkretnych szczegółów przedstawionych na potrzeby opisu i wyjaśnień niniejszych wariantów wynalazku. 9. Wnioski [0317] Poniżej podsumowane zostaną pewne aspekty i korzyści połączonego systemu EKS SAOC według niniejszego wynalazku. W sytuacjach odtwarzania Karaoke i Solo, tryb przetwarzania SAOC EKS wspiera zarówno odtworzenie wyłącznie obiektów tła/ obiektów przedniego planu jak i swobodną mieszankę (określoną przez macierz renderowania) tych grup obiektów. [0318] Również, pierwszy tryb uważany jest za główny cel przetwarzanie EKS, natomiast drugi zapewnia dodatkową elastyczność.

65 [0319] Stwierdzono, że uogólnienie funkcjonalności EKS w konsekwencji obejmuje wysiłki łączenia EKS z regularnym trybem przetwarzania SAOC w celu uzyskania jednego zunifikowanego systemu. Możliwości takiego zunifikowanego systemu obejmują: * Jedna pojedyncza przejrzysta struktura dekodowania/transkodowania SAOC; * Jeden strumień bitów zarówno dla EKS jak i trybu regularnego SAOC; * Brak ograniczeń liczby obiektów wejściowych zawierających obiekt tła (BGO), tak że nie ma konieczności generowania obiektu tła przed etapem kodowania SAOC; oraz * Wsparcie kodowania resztkowego dla obiektów przedniego planu zapewniające wzbogaconą jakość perceptualną w wymagających sytuacjach odtwarzania Karaoke/Solo. [03] Korzyści te można osiągnąć za pomocą opisanego tutaj zunifikowanego systemu. Bibliografia [0321] [1] ISO/IEC JTC1/SC29/WG11 (MPEG), Dokument N883, "Call for Proposals on Spatial Audio Object Coding", 79th MPEG Meeting, Marrakesz, styczeń 07. [2] ISO/IEC JTC1/SC29/WG11 (MPEG), Dokument N9099, "Final Spatial Audio Object Coding Evaluation Procedures and Criterion", 80th MPEG Meeting, San Jose, kwiecień 07. [3] ISO/IEC JTC1/SC29/WG11 (MPEG), Dokument N9, "Report on Spatial Audio Object Coding RM0 Selection", 8 1 st MPEG Meeting, Lozanna, lipiec 07. [4] ISO/IEC JTC1/SC29/WG11 (MPEG), Dokument M1123, "Information and Verification Results for CE on Karaoke/ Solo system improving the performance of MPEG SAOC RM0", 83rd MPEG Meeting, Antalya, Turcja, styczeń 08. [] ISO/IEC JTC1/SC29/WG11 (MPEG), Dokument N69, "Study on ISO/IEC :0x Spatial Audio Object Coding (SAOC)", 88th MPEG Meeting, Maui, USA, kwiecień 09. [6] ISO/IEC JTC1/SC29/WG11 (MPEG), Dokument M660, "Status and Workplan on SAOC Core Experiments", 88th MPEG Meeting, Maui, USA, kwiecień 09. [7] EBU Technical recommendation: "MUSHRA-EBU Method for Subjective Listening Tests of Intermediate Audio Quality", Dok. B/AIM022, październik [8] ISO/IEC :07, Information technology - MPEG audio technologies - Part 1: MPEG Surround. Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.v., Niemcy Pełnomocnik:

66 6 EP B1 Z-708/13 Zastrzeżenia patentowe 1. Dekoder sygnałów audio (0; 0; 00; 90) do dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu (112; 2; ; ) i obiektową informację parametryczną (1; 212; 12; 12a), przy czym dekoder sygnału audio zawiera: separator obiektów (130; 260; ; a) skonfigurowany do rozkładania reprezentacji sygnału downmixu dla dostarczania pierwszej informacji audio (132; 262; 62; 62a) opisującej pierwszy zestaw jednego lub większej liczby obiektów audio z pierwszego typu obiektów audio i drugiej informacji audio (134; 264; 64; 64a) opisującej drugi zestaw jednego lub większej liczby obiektów audio z drugiego typu obiektów audio w oparciu o reprezentację sygnału downmixu i z użyciem przynajmniej części obiektowej informacji parametrycznej, przy czym druga informacja audio jest informacją audio opisującą obiekty audio drugiego typu obiektów audio w połączony sposób; procesor sygnału audio skonfigurowany do odbioru drugiej informacji audio (134; 264; 64; 64a) i do przetwarzania drugiej informacji audio w zależności od obiektowej informacji parametrycznej, dla uzyskania przetworzonej wersji (142; 272; 72; 72a) drugiej informacji audio; oraz moduł łączenia (; 280; 80; 80a) sygnału audio skonfigurowany do łączenia pierwszej informacji audio z przetworzoną wersją drugiej informacji audio dla uzyskania reprezentacji sygnału upmixu; przy czym dekoder sygnału audio jest skonfigurowany do dostarczania reprezentacji sygnału upmixu w oparciu o informację resztkową powiązaną z podzestawem obiektów audio reprezentowanym przez reprezentację sygnału downmixu, przy czym separator obiektów jest skonfigurowany do rozkładania reprezentacji sygnału downmixu dla dostarczania pierwszej informacji audio opisującej pierwszy zestaw jednego lub większej liczby obiektów audio z pierwszego typu obiektów audio, z którymi powiązana jest informacja resztkowa, i drugiej informacji audio opisującej drugi zestaw jednego lub większej liczby obiektów audio z drugiego typu obiektów audio, z którymi nie jest powiązana żadna informacja resztkowa, w oparciu o reprezentację sygnału downmixu i z użyciem informacji resztkowej; oraz przy czym procesor sygnału audio jest skonfigurowany do przetwarzania drugiej informacji audio dla realizacji indywidualnego obiektowego przetwarzania obiektów audio

67 66 drugiego typu obiektów audio z użyciem obiektowej informacji parametrycznej powiązanej z więcej niż dwoma obiektami audio z drugiego typu obiektów audio; oraz przy czym informacja resztkowa opisuje zniekształcenie resztkowe, które zgodnie z oczekiwaniem pozostanie, jeśli obiekt audio z pierwszego typu obiektów audio jest wyizolowany z użyciem tylko obiektowej informacji parametrycznej. 2. Dekoder sygnału audio (0; 0; 00; 90) według zastrzeżenia 1, w którym separator obiektów jest skonfigurowany do dostarczania pierwszej informacji audio z użyciem informacji resztkowej w taki sposób, że jeden lub większa liczba obiektów audio z pierwszego typu obiektów audio jest uwypuklona względem obiektów audio z drugiego typu obiektów audio w pierwszej informacji audio, i w którym separator obiektów jest skonfigurowany do dostarczania drugiej informacji audio za pomocą użycia informacji resztkowej w taki sposób, że obiekty audio z drugiego typu obiektów audio są uwypuklone względem obiektów audio z pierwszego typu obiektów audio w drugiej informacji audio. 3. Dekoder sygnału audio (0; 0; 00; 70) według jednego z zastrzeżeń od 1 do 2, w którym procesor sygnału audio jest skonfigurowany do przetwarzania drugiej informacji audio (134; 264; 64; 64a) w oparciu o obiektową informację parametryczną (1; 212; 12; 12a) powiązaną z obiektami audio z drugiego typu obiektów audio w oparciu o obiektową informację parametryczną (1; 212; 12; 12a) powiązaną z obiektami audio z pierwszego typu obiektów audio. 4. Dekoder sygnału audio (0; 0; 00; 90) według jednego z zastrzeżeń od 1 do 3, w którym separator obiektów jest skonfigurowany do uzyskania pierwszej informacji audio (132; 262; 62; 62a, X EAO ) i drugiej informacji audio (134; 264; 64; 64a, X OBJ ) z użyciem łączenia liniowego jednego lub większej liczby kanałów sygnału downmixu reprezentacji sygnału downmixu i jednego lub większej liczby kanałów resztkowych, przy czym separator obiektów jest skonfigurowany do uzyskania parametrów łączenia do realizacji łączenia liniowego w oparciu o parametry downmixu powiązane z obiektami audio z pierwszego typu obiektów audio (m 0... m NEAO-1 ; n o... n NEAO-1 ) i w oparciu o współczynniki predykcji kanału (c j,0, c j,1 ) obiektów audio z pierwszego typu obiektów audio.. Dekoder sygnału audio (0; 0; 00; 90) według jednego z zastrzeżeń od 1 do 4, w którym separator obiektów jest skonfigurowany do uzyskania pierwszej informacji audio i drugiej informacji audio zgodnie z

68 67 gdzie gdzie gdzie X OBJ reprezentuje kanały drugiej informacji audio; gdzie X EAO reprezentuje sygnały obiektów pierwszej informacji audio; gdzie downmixu; reprezentuje macierz, która jest odwróceniem rozszerzonej macierzy gdzie C opisuje macierz reprezentującą wiele współczynników predykcji kanału; gdzie l 0 i r 0 reprezentują kanały reprezentacji sygnału downmixu; gdzie res 0 do res NEAO-1 reprezentują kanały resztkowe; i gdzie A EAO jest macierzą EAO wstępnego renderowania, której wyrazy opisują mapowanie wzbogaconych obiektów audio na kanały sygnału X EAO wzbogaconych obiektów audio; przy czym separator obiektów jest skonfigurowany do uzyskania odwróconej macierzy jako downmixu, jako odwrócenia rozszerzonej macierzy downmixu, która jest zdefiniowana

69 68 przy czym separator obiektów jest skonfigurowany do uzyskania macierzy C jako gdzie m 0 do m NEAO-1 są wartościami downmixu powiązanymi z obiektami audio pierwszego typu obiektów audio; gdzie no to n NEAO-1 są wartościami downmixu powiązanymi z obiektami audio pierwszego typu obiektów audio; przy czym separator obiektów jest skonfigurowany do obliczania współczynników predykcji i jako i przy czym separator obiektów jest skonfigurowany do uzyskania ograniczonych współczynników predykcji c j,0 i c j,1 ze współczynników predykcji i z użyciem algorytmu

70 69 ograniczenia, lub do użycia współczynników predykcji i jako współczynników predykcji i ; przy czym wielkości energii P Lo, P Ro, P LoRo, P LoCoj i P RoCoj są zdefiniowane jako gdzie parametry OLD L, OLD R i IOC L,R odpowiadają obiektom audio drugiego typu obiektów audio i są zdefiniowane zgodnie z

71 70 gdzie d 0,i i d 1,i są wartościami downmixu powiązanymi z obiektami audio z drugiego typu obiektów audio; gdzie OLD i są wartościami różnicy poziomów obiektów powiązanymi z obiektami audio z drugiego typu obiektów audio; gdzie N jest całkowitą liczbą obiektów audio; gdzie N EAO jest liczbą obiektów audio pierwszego typu obiektów audio; gdzie IOC 0,1 jest wartością korelacji międzyobiektowej powiązaną z parą obiektów audio drugiego typu obiektów audio; gdzie e ij i e L,R są wartościami kowariancji uzyskanymi z parametrów różnicy poziomów obiektów i parametrów korelacji międzyobiektowej; i gdzie e ij są powiązane z parą obiektów audio z pierwszego typu obiektów audio, a e L,R jest powiązany z parą obiektów audio z drugiego typu obiektów audio. 6. Dekoder sygnału audio (0; 0; 00; 90) według jednego z zastrzeżeń od 1 do 4, w którym separator obiektów jest skonfigurowany do uzyskania pierwszej informacji audio i drugiej informacji audio zgodnie z gdzie gdzie X OBJ reprezentuje kanał drugiej informacji audio;

72 gdzie X EAO reprezentuje sygnały obiektów pierwszej informacji audio; 71 gdzie reprezentuje macierz, która jest odwróceniem rozszerzonej macierzy downmixu; gdzie C opisuje macierz reprezentującą wiele współczynników predykcji kanałów; gdzie do reprezentuje kanał reprezentacji sygnału downmixu; i gdzie res o do res NEAO-1 reprezentuje kanały resztkowe; i gdzie A EAO jest macierzą EAO wstępnego renderowania. 7. Dekoder sygnału audio według zastrzeżenia 6, w którym separator obiektów jest skonfigurowany do uzyskania odwróconej macierzy downmixu jako odwrócenia rozszerzonej macierzy downmixu, która jest zdefiniowana jako przy czym separator obiektów jest skonfigurowany do uzyskania macierzy C jako gdzie m 0 to m NEAO-1 są wartościami downmixu powiązanymi z obiektami audio z pierwszego typu obiektów audio. 8. Dekoder sygnału audio (0; 0; 00; 90) według jednego z zastrzeżeń od 1 do 4, w którym separator obiektów jest skonfigurowany do uzyskania pierwszej informacji audio i drugiej informacji audio zgodnie z

73 72 gdzie gdzie X OBJ reprezentuje kanał drugiej informacji audio; gdzie X EAO reprezentuje sygnały obiektów pierwszej informacji audio; gdzie m 0 to m NEAO-1 są wartościami downmixu powiązanymi z obiektami audio z pierwszego typu obiektów audio; gdzie n 0 do n NEAO-1 są wartościami downmixu powiązanymi z obiektami audio z pierwszego typu obiektów audio; gdzie OLD i są wartościami różnicy poziomów obiektów powiązanymi z obiektami audio z pierwszego typu obiektów audio;

74 73 gdzie OLD L i OLD R są wspólnymi wartościami różnicy poziomów obiektów powiązanymi z obiektami audio drugiego typu obiektów audio; i gdzie A EAO jest macierzą EAO wstępnego renderowania. 9. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 3, w którym separator obiektów jest skonfigurowany do uzyskania pierwszej informacji audio i drugiej informacji audio zgodnie z gdzie gdzie X OBJ reprezentuje kanał drugiej informacji audio; gdzie X EAO reprezentuje sygnały obiektów pierwszej informacji audio; gdzie m 0 do m NEAO-1 są wartościami downmixu powiązanymi z obiektami audio z pierwszego typu obiektów audio; gdzie OLD i są wartościami różnicy poziomów obiektów powiązanymi z obiektami audio z pierwszego typu obiektów audio;

75 74 gdzie OLD L jest wspólną wartością różnicy poziomów obiektów powiązanych z obiektami audio drugiego typu obiektów audio; i gdzie A EAO jest macierzą EAO wstępnego renderowania; przy czym macierze i są zastosowane dla reprezentacji d 0 pojedynczego sygnału downmixu SAOC.. Dekoder sygnału audio (0; 0; 00; 90) według jednego z zastrzeżeń od 1 do 9, w którym separator obiektów jest skonfigurowany do zastosowania macierzy renderowania dla pierwszej informacji audio (132; 262; 62; 62a) do mapowania sygnałów obiektów pierwszej informacji audio na kanały audio reprezentacji (1; 2, 222; 62; 62a) sygnału audio upmixu. 11. Dekoder sygnału audio (0; 0; 00; 90) według jednego z zastrzeżeń od 1 do, w którym procesor (140; 270; 70; 70a) sygnału audio jest skonfigurowany do realizacji wstępnego przetwarzania stereo drugiej informacji audio (134; 264; 64; 64a) w oparciu o informację renderowania (M ren ), i obiektową informację kowariancji (E), informację o downmixie (D) dla uzyskania kanałów audio przetworzonej wersji drugiej informacji audio. 12. Dekoder sygnału audio (0; 0; 00; 90) według zastrzeżenia 11, w którym procesor (140; 270; 70; 70a) sygnału audio jest skonfigurowany do realizacji przetwarzania stereo dla mapowania szacowanego wkładu (ED*JX) obiektu audio drugiej informacji audio (134; 264; 64; 64a) na wiele kanałów reprezentacji sygnału audio upmixu w oparciu o informację renderowania i informację kowariancji. 13. Dekoder sygnału audio według zastrzeżenia 11 albo zastrzeżenia 12, w którym procesor sygnału audio jest skonfigurowany do dodania zdekorelowanego wkładu (P 2 X d ) sygnału audio, uzyskanego na bazie jednego lub większej liczby kanałów audio drugiej informacji audio, do drugiej informacji audio, lub informacji uzyskanej z drugiej informacji audio, w oparciu o informację (R) błędu upmixu renderowania i jednej lub większej liczby wartości (w d1, w d2 ) skalowania zdekorelowanych intensywności sygnału. 14. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do, w którym procesor (140; 270; 70; 70a) sygnału audio jest skonfigurowany do realizacji przetwarzania końcowego drugiej informacji audio (134; 264; 64; 64a) w oparciu o informację (A) o renderowaniu, informację (E) o obiektowej kowariancji i informację o (D) downmixie. 1. Dekoder sygnału audio według zastrzeżenia 14, w którym procesor sygnału audio jest skonfigurowany do realizacji przetwarzania mono-do-binauralnego drugiej informacji audio, do mapowania pojedynczego kanału drugiej informacji audio na dwa kanały reprezentacji sygnału upmixu, uwzględniając funkcję transmitancji głowy. 16. Dekoder sygnału audio według zastrzeżenia 14, w którym procesor sygnału audio jest skonfigurowany do realizacji przetwarzania mono-do-stereo drugiej informacji audio, do

76 7 mapowania pojedynczego kanału drugiej informacji audio na dwa kanały reprezentacji sygnału upmixu. 17. Dekoder sygnału audio według zastrzeżenia 14, w którym procesor sygnału audio jest skonfigurowany do realizacji przetwarzania stereo-do-binauralnego drugiej informacji audio, do mapowania dwóch kanałów drugiej informacji audio na dwa kanały reprezentacji sygnału upmixu, uwzględniając funkcję transmitancji głowy. 18. Dekoder sygnału audio według zastrzeżenia 14, w którym procesor sygnału audio jest skonfigurowany do realizacji przetwarzania stereo-do-stereo drugiej informacji audio, do mapowania dwóch kanałów drugiej informacji audio na dwa kanały reprezentacji sygnału upmixu. 19. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 18, w którym separator obiektów audio jest skonfigurowany do traktowania obiektów audio drugiego typu obiektów audio, z którymi nie jest powiązana żadna informacja resztkowa, jako pojedynczych obiektów audio, i w którym procesor (140; 270; 70; 70a) sygnału audio jest skonfigurowany do uwzględnienia obiektowych parametrów renderowania powiązanych z obiektami audio z drugiego typu obiektów audio dla dopasowania udziałów obiektów audio z drugiego typu obiektów audio w reprezentacji sygnału upmixu.. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 19, w którym separator obiektów audio jest skonfigurowany do uzyskania jednej lub dwóch wspólnych wartości (OLD L, OLD R ) różnicy poziomów obiektów dla wielu obiektów audio z drugiego typu obiektów audio; i w którym separator obiektów audio jest skonfigurowany do użycia wspólnej wartości różnicy poziomów obiektów do obliczania współczynników (CPC) predykcji kanału; i w którym separator obiektów jest skonfigurowany do użycia współczynników predykcji kanału dla uzyskania jednego lub dwóch kanałów audio reprezentujących drugą informacje audio. 21. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do, w którym separator obiektów audio jest skonfigurowany do uzyskania jednej lub dwóch wspólnych wartości (OLD L, OLD R ) różnicy poziomów obiektów dla wielu obiektów audio z drugiego typu obiektów audio; i w którym separator obiektów audio jest skonfigurowany do użycia wspólnej wartości różnicy poziomów obiektów do obliczania wyrazów macierzy (M); i w którym separator obiektów audio jest skonfigurowany do użycia macierzy (M) dla uzyskania jednego lub większej liczby kanałów audio reprezentujących drugą informację audio. 22. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 21, w którym separator obiektów audio jest skonfigurowany do selektywnego uzyskiwania wspólnej wartości (IOC L,R ) korelacji międzyobiektowej powiązanej z obiektem audio z drugiego typu obiektów

77 76 audio w oparciu o obiektową informację parametryczną jeśli zostanie stwierdzone, że istnieją dwa obiekty audio z drugiego typu obiektów audio, i do ustawienia wartości korelacji międzyobiektowej powiązanej z obiektami audio z drugiego typu obiektów audio na zero, jeśli zostanie stwierdzone, że jest więcej lub mniej niż dwa obiekty audio z drugiego typu obiektów audio; i w którym separator obiektów jest skonfigurowany do użycia wspólnej wartości korelacji międzyobiektowej do obliczania wyrazów macierzy (M); i w którym separator obiektów jest skonfigurowany do użycia wspólnej wartości korelacji międzyobiektowej powiązanej z obiektami audio z drugiego typu obiektów audio dla uzyskania jednego lub większej liczby kanałów audio reprezentujących drugą informację audio. 23. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 22, w którym procesor sygnału audio jest skonfigurowany do renderowania drugiej informacji audio w oparciu o obiektową informację parametryczną dla uzyskania renderowanej reprezentacji obiektów audio z drugiego typu obiektów audio, jako przetworzonej wersji drugiej informacji audio. 24. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 23, w którym separator obiektów audio jest skonfigurowany do dostarczania drugiej informacji audio w taki sposób, że druga informacja audio opisuje więcej niż dwa obiekty audio z drugiego typu obiektów audio. 2. Dekoder sygnału audio według zastrzeżenia 24, w którym separator obiektów audio jest skonfigurowany do uzyskania, jako drugiej informacji audio, jednokanałowej reprezentacji sygnału audio lub dwukanałowej reprezentacji sygnału audio reprezentującej więcej niż dwa obiekty audio z drugiego typu obiektów audio. 26. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 2, w którym procesor sygnału audio jest skonfigurowany do odbioru drugiej informacji audio i do przetwarzania drugiej informacji audio w oparciu o obiektową informację parametryczną, uwzględniając obiektową informację parametryczną powiązaną z więcej niż dwoma obiektami audio z drugiego typu obiektów audio. 27. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 26, w którym dekoder sygnału audio jest skonfigurowany do pozyskania informacji (bsnumobjects) całkowitej liczby obiektów i liczby (bsnum- GroupsFGO) obiektów przedniego planu z informacji konfiguracji (SAOCSpecificConfig) obiektowej informacji parametrycznej i do ustalenia liczby obiektów audio z drugiego typu obiektów audio, poprzez utworzenie różnicy informacji całkowitej liczby obiektów i informacji liczby obiektów przedniego planu. 28. Dekoder sygnału audio według jednego z zastrzeżeń od 1 do 27, w którym separator obiektów audio jest skonfigurowany do użycia obiektowej informacji parametrycznej powiązanej z N EAO obiektami audio z pierwszego typu obiektów audio dla uzyskania, jako

78 77 pierwszej informacji audio, N EAO (X EAO ) sygnałów audio reprezentujących N EAO obiektów audio z pierwszego typu obiektów audio i do uzyskania, jako drugiej informacji audio, jednego lub dwóch sygnałów audio (X OBJ ) reprezentujących N-N EAO obiektów audio z drugiego typu obiektów audio, traktując N-N EAO obiektów audio z drugiego typu obiektów audio, jako pojedynczy jednokanałowy lub dwukanałowy obiekt audio; i w którym procesor sygnału audio jest skonfigurowany do indywidualnego renderowania N-N EAO obiektów audio reprezentowanych przez jeden lub dwa sygnały audio z drugiej informacji audio z użyciem obiektowej informacji parametrycznej powiązanej z N-N EAO obiektami audio z drugiego typu obiektów audio. 29. Sposób dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu i obiektową informację parametryczną, przy czym sposób obejmuje: rozkład reprezentacji sygnału downmixu dla dostarczania pierwszej informacji audio opisującej pierwszy zestaw jednego lub większej liczby obiektów audio z pierwszego typu obiektów audio i drugiej informacji audio opisującej drugi zestaw jednego lub większej liczby obiektów audio z drugiego typu obiektów audio w oparciu o reprezentację sygnału downmixu i z użyciem przynajmniej części obiektowej informacji parametrycznej, przy czym druga informacja audio jest informacją audio opisującą obiekty audio drugiego typu obiektów audio w połączony sposób; i przetwarzanie drugiej informacji audio w zależności od obiektowej informacji parametrycznej, dla uzyskania przetworzonej wersji drugiej informacji audio; i łączenie pierwszej informacji audio z przetworzoną wersją drugiej informacji audio w celu uzyskania reprezentacji sygnału upmixu; przy czym reprezentacja sygnału upmixu jest dostarczana w oparciu o informację resztkową powiązaną z podzestawem obiektów audio reprezentowanym przez reprezentację sygnału downmixu; przy czym reprezentacja sygnału downmixu jest rozkładana dla dostarczania pierwszej informacji audio opisującej pierwszy zestaw jednego lub większej liczby obiektów audio z pierwszego typu obiektów audio, z którym jest powiązana żadna informacja resztkowa i drugiej informacji audio opisującej drugi zestaw jednego lub większej liczby obiektów audio z drugiego typu obiektów audio, z którym nie jest powiązana żadna informacja resztkowa, w oparciu o reprezentację sygnału downmixu i z użyciem informacji resztkowej; przy czym indywidualne obiektowe przetwarzanie obiektów audio z drugiego typu obiektów audio jest realizowane z użyciem obiektowej informacji parametrycznej powiązanej z więcej niż dwoma obiektami audio z drugiego typu obiektów audio; i przy czym informacja resztkowa opisuje zniekształcenie resztkowe, które zgodnie z oczekiwaniem pozostanie, jeśli obiekt audio z pierwszego typu obiektów audio jest wyizolowany wyłącznie z użyciem obiektowej informacji parametrycznej.

79 Program komputerowy do realizacji sposobu określonego w zastrzeżeniu 29, gdy program komputerowy jest wykonywany na komputerze. Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.v., Niemcy Pełnomocnik:

80 79 EP B1 Z-708/13 obiektowa informacja parametryczna reprezentacja sygnału downmixu dekoder obiektów audio separator obiektów 1-sza informacja audio opisująca 1-szy zestaw obiektów audio z 1-szego typu obiektów audio 2-ga informacja audio opisująca 2-gi zestaw obiektów audio z 2-go typu obiektów audio procesor sygnału audio moduł łączenia sygnału audio wersja przetworzona drugiej informacji audio reprezentacja sygnału audio

81 80 EP B1 Z-708/13 sygnał domnmixu proce pro resztkow y 1-szy sygnał obiektów audio procesor d-xu SAOC procesor downmixu sygnał wyjściowy/ downmixu MPS dostawca sygnału zdekorelowanego drugi sygnał obiektów audio (druga informacja audio) deko der dekoder strumień bitów SAOC m-rz renderowania parametry HRTF procesor parametru SAOC procesor parametru strumień bitów MPS OGÓLNA STRUKTURA ARCHITEKTURY TRANSKODERA/DEKODERA SAOC repreze ntacja sygnał u upmixu

82 81 EP B1 Z-708/13 macierz renderowania procesor resztkowy downmix SAOC jednostka OTN/TTN jedn. renderowan ia resztki danych SAOC ARCHITEKTURA PROCESORA RESZTKOWEGO dane SAOC procesor resztkowy downmix SAOC jednostka M OTN/TTN procesor EAO resztki danych SAOC ARCHITEKTURA PROCESORA RESZTKOWEGO

83 82 EP B1 Z-708/13 moduł regulacji parametru (opcjonalny) M dopasowane mapowanie M do A HRTF (opcjonalnie) międzykanałowa różnica fazy wzmocnieni e kanał 1 wzmocnieni e kanał 2 międzykanałow a różnica fazy obrót kąt 1 obrót kąt 2 dekorela tor

84 83 EP B1 Z-708/13 mapowanie M do A HRTF (opcjonalnie ) wzmocnie nie kanał 1 wzmocnie nie kanał 2 międzykanało wi różnica fazy obrót kąt 1 obrót kąt 2 regulator parametru (opcjonalny) G dopasowa dekorela tor

85 84 EP B1 Z-708/13 regulator parametru opcjonalnie wektor wzmocnienia dekorelat or

86 8 EP B1 Z-708/13 opcjonalnie wektor wzmocnienia regulator parametru dekore lator

87 86 EP B1 Z-708/13 downmix stereo (x-2-) (tryb transkodowania) regulator parametru C 3,dopasowane C 3,dopasowane opcjonalnie wektor wzmocnienia dekore lator

88 87 EP B1 Z-708/13 downmix transkoder SAOC downmix procesor downmixu MPS strumień bitów SAOC procesor parametru SAOC strumień bitów MPS dekoder MPS wyjście macierz renderowania downmix dekoder SAOC procesor downmixu wyjście strumień bitów SAOC procesor parametru SAOC macierz renderowania parametry HRTF

89 88 EP B1 Z-708/13 połączony system EKS SAOC strumień bitów SAOC sygnał downmixu przetwarza nie EKS i renderowa nie FGO regularne dekodowa nie SAOC renderowane rendero wane sygnał wyjściowy macierz renderowania PODSTAWOWA STRUKTURA POŁĄCZONEGO SYSTEMU EKS SAOC macierz renderowania strumień bitów SAOC człon 2-gi człon 1-szy 2-gi zest. obiektów sygnał downmixu człon I przetwarza nia SAOC 1-szy zest. obiektów człon I przetwarza nia SAOC sygnał wyjściowy UOGÓLNIONA STRUKTURA POŁĄCZONEGO SYSTEMU EKS SAOC

90 89 EP B1 Z-708/13 Nazwa kodera ukryte odniesienie dolna kotwica regularne SAOC bieżący EKS system połączony Opis idealnie renderowana scena audio (ukryte odniesienia) dolna 3, khz tryb dekodowania regularnego SAOC tryb bieżącego SAOC EKS system połączony (EKS+SAOC)(system proponowany) System Strumień bitów Render. Karaoke Render. klasyczne system połączony regularne SAOC bieżący EKS dane SAOC A + reszt.a dane SAOC A dane SAOC B + reszt. B

91 90 EP B1 Z-708/13 Pozycja Typ Karaoke Klasyczny Karaoke Klasyczny Macierz renderowania Macierz downmixu

92 91 EP B1 Z-708/13 znakomicie dobrze średnio słabo źle ukryte odniesienie wszystkie pozycje wszystkie pozycje system połączony EP B1

93 92 Z-708/13 znakomicie dobrze średnio słabo źle ukryte odniesienie dolna kotwica regul. SAOC wszystkie pozycje system połączony EP B1

94 93 Z-708/13 Rozkład reprezentacji sygnału downmixu, dla dostarczania pierwszej informacji audio opisującej pierwszy zestaw jednego lub większej liczby obiektów audio z pierwszego typu obiektów audio i drugiej informacji audio opisującej drugi zestaw jednego lub większej liczby obiektów audio z drugiego typu obiektów audio, w oparciu o reprezentację sygnału downmixu i przynajmniej część obiektowej informacji parametrycznej Przetwarzanie drugiej informacji audio w oparciu o obiektową informację parametryczną dla uzyskania przetworzonej wersji drugiej informacji audio Łączenie pierwszej informacji audio z przetworzoną wersją drugiej informacji audio dla uzyskania reprezentacji sygnału upmixu EP B1