(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (1) T3 Int.Cl. H04S 3/00 (06.01) H04S /02 (06.01) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 12/46 EP B1 (4) Tytuł wynalazku: Sposób i koder do łączenia zestawów danych cyfrowych, sposób dekodowania i dekoder do takich połączonych zestawów danych cyfrowych oraz nośnik zapisu do przechowywania takiego połączonego zestawu danych cyfrowych () Pierwszeństwo: US P (43) Zgłoszenie ogłoszono: w Europejskim Biuletynie Patentowym nr 11/12 (4) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 13/0 (73) Uprawniony z patentu: AURO TECHNOLOGIES, Mol, BE (72) Twórca(y) wynalazku: PL/EP T3 GUIDO VAN DEN BERGHE, Sint-Amands, BE WILFRIED VAN BAELEN, Mol, BE (74) Pełnomocnik: rzecz. pat. Robert Teofilak SULIMA GRABOWSKA SIERZPUTOWSKA BIURO PATENTÓW I ZNAKÓW TOWAROWYCH SP.J. Skr. poczt Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 SGS-3386/VAL EP B1 Opis Dziedzina wynalazku [0001] Niniejszy wynalazek dotyczy sposobu łączenia próbek pierwszego zestawu danych cyfrowych o pierwszym rozmiarze i próbek drugiego zestawu danych cyfrowych o drugim rozmiarze w celu uzyskania próbek trzeciego zestawu danych cyfrowych o trzecim rozmiarze, gdzie trzeci rozmiar jest mniejszy niż suma pierwszego rozmiaru i drugiego rozmiaru. Stan techniki [0002] Taki sposób znany jest z EP908, gdzie ujawniono sposób miksowania dwóch zestawów danych cyfrowych w celu uzyskania trzeciego zestawu danych cyfrowych. Aby połączyć dwa zestawy danych cyfrowych w celu uzyskania pojedynczego zestawu danych cyfrowych o rozmiarze mniejszym niż suma rozmiarów dwóch zestawów danych cyfrowych wymagane jest przeprowadzenie redukcji informacji zawartych w dwóch zestawach danych cyfrowych. W EP908 redukcję osiągnięto przez określenie interpolacji próbek między pierwszym zestawem z góry określonych pozycji w pierwszym zestawie danych cyfrowych i zestawem z góry określonych pozycji w drugim zestawie danych cyfrowych, przy czym te zestawy pozycji nie są ze sobą zbieżne. Wartości próbek znajdujących się między z góry określonymi pozycjami w zestawach danych cyfrowych przyjmują wartości interpolowane. Po przeprowadzeniu takiej redukcji informacji w dwóch zestawach danych cyfrowych każda próbka pierwszego zestawu danych cyfrowych jest sumowana z odpowiadającą jej próbką drugiego zestawu danych cyfrowych. Prowadzi to do uzyskania trzeciego zestawu danych cyfrowych zawierającego zsumowane próbki. Takie sumowanie próbek ze sobą przy znanym związku przesunięcia między z góry określonymi pozycjami w pierwszym zestawie danych cyfrowych i drugim zestawie danych cyfrowych umożliwia odtworzenie pierwszego zestawu danych cyfrowych i drugiego zestawu danych cyfrowych, aczkolwiek między z góry określonymi pozycjami zawierają one jedynie próbki interpolowane. W przypadku wykorzystania sposobu ujawnionego w EP908 do przetwarzania strumienia danych audio, interpolacja ta jest niezauważalna, zaś trzeci zestaw danych cyfrowych może być odtwarzany jako miksowana reprezentacja zawierająca dwa zestawy danych cyfrowych. W celu zapewnienia możliwości odtworzenia pierwszego i drugiego zestawu danych cyfrowych z interpolowanymi próbkami znane muszą być wartości początkowe pierwszego i drugiego zestawu danych cyfrowych, zatem te dwie wartości muszą również być zapisywane podczas miksowania, żeby umożliwić późniejsze rozplatanie tych dwóch zestawów danych cyfrowych na podstawie trzeciego zestawu danych cyfrowych. [0003] Sposób ujawniony w EP908 wykazuje wadę polegającą na tym, że podczas procesu kodowania wymagane jest przeprowadzanie złożonego przetwarzania. Streszczenie wynalazku [0004] Celem niniejszego wynalazku jest ograniczenie przetwarzania, które wymagane jest podczas procesu kodowania. [000] Aby osiągnąć ten cel, sposób według niniejszego wynalazku obejmuje następujące etapy: - przyrównanie pierwszego podzestawu próbek pierwszego zestawu danych cyfrowych do sąsiednich próbek drugiego podzestawu próbek pierwszego zestawu danych cyfrowych, gdzie pierwszy podzestaw próbek i drugi podzestaw próbek przeplatają się ze

3 sobą, - przyrównanie trzeciego podzestawu próbek drugiego zestawu danych cyfrowych do sąsiednich próbek czwartego podzestawu próbek drugiego zestawu danych cyfrowych, gdzie trzeci podzestaw próbek i czwarty podzestaw próbek przeplatają się ze sobą, - utworzenie próbek trzeciego zestawu danych cyfrowych przez dodanie próbek pierwszego zestawu danych cyfrowych do próbek drugiego zestawu danych cyfrowych, które odpowiadają im w dziedzinie czasu, - wprowadzenie do trzeciego zestawu danych cyfrowych pierwszej próbki początkowej pierwszego zestawu danych cyfrowych i drugiej próbki początkowej drugiego zestawu danych cyfrowych. [0006] Dzięki zastąpieniu etapu interpolacji wykorzystywanego w sposobie ujawnionym w EP908 etapem, w którym wartości znajdujące się między z góry określonymi pozycjami przyjmują wartości sąsiednich próbek, osiągnięto znaczne zmniejszenie złożoności przetwarzania podczas procesu kodowania. Uzyskiwany sygnał nadal pozwala na rozplatanie (tj. wydzielanie) dwóch zestawów danych cyfrowych z trzeciego zestawu danych cyfrowych. Po połączeniu dwóch strumieni cyfrowych danych audio w trzeci zestaw danych cyfrowych, który jest pojedynczym strumieniem cyfrowym danych audio, stanowi on nadal dobrą reprezentację monofoniczną tych dwóch połączonych strumieni cyfrowych danych audio. [0007] Wynalazek oparty jest na uświadomieniu sobie, że przeprowadzanie interpolacji podczas procesu kodowania nie jest konieczne, ponieważ równie dobrze może ono być przeprowadzane podczas procesu dekodowania, jak w niniejszym sposobie łączenia i rozplatania próbek pierwszego i drugiego zestawu danych cyfrowych znajdujących się na z góry określonych pozycjach pozostawianych w stanie niezmienionym i które mogą zostać odtworzone, co umożliwia interpolację próbek znajdujących się między niezmienionymi próbkami podczas procesu dekodowania trzeciego zestawu danych cyfrowych. Trzeci zestaw danych cyfrowych, ujawniony w niezależnym zastrzeżeniu patentowym niniejszego wynalazku, różni się od trzeciego zestawu danych cyfrowych ujawnionego w EP908 tym, że w przypadku niniejszego wynalazku między rzeczywistą sumą pierwszego i drugiego zestawu danych cyfrowych a trzecim zestawem danych cyfrowych występuje zwykle większy błąd. [0008] Przyrównanie pierwszego podzestawu próbek pierwszego zestawu danych cyfrowych do sąsiednich próbek drugiego podzestawu próbek pierwszego zestawu danych cyfrowych, gdzie pierwszy podzestaw próbek i drugi podzestaw próbek przeplatają się ze sobą, umożliwia łatwe przeprowadzenie redukcji informacji zawartej w pierwszym zestawie danych cyfrowych. [0009] Przyrównanie trzeciego podzestawu próbek drugiego zestawu danych cyfrowych do sąsiednich próbek czwartego podzestawu próbek drugiego zestawu danych cyfrowych, gdzie trzeci podzestaw próbek i czwarty podzestaw próbek przeplatają się ze sobą, umożliwia łatwe przeprowadzenie redukcji informacji zawartej w drugim zestawie danych cyfrowych. [00] Zapewnienie dostępności pierwotnych wartości z pierwszego i drugiego zestawu danych cyfrowych, gdzie pierwotne wartości mogą spełniać rolę wartości początkowych, oraz zapewnienie przeplotu między drugim a czwartym podzestawem, umożliwia odtworzenie pierwszego i drugiego zestawu danych cyfrowych na podstawie trzeciego zestawu danych cyfrowych pod warunkiem, że przeprowadzone zostało przyrównanie pierwszego podzestawu próbek pierwszego zestawu danych cyfrowych do sąsiednich próbek drugiego podzestawu próbek pierwszego zestawu danych cyfrowych oraz przyrównanie trzeciego podzestawu próbek drugiego zestawu danych cyfrowych do sąsiednich próbek czwartego podzestawu próbek drugiego zestawu danych cyfrowych. Po odtworzeniu w takich warunkach pierwszego i drugiego zestawu danych cyfrowych możliwe jest przeprowadzenie interpolacji lub filtrowania, co ma na celu jak najdokładniejsze odtworzenie pierwotnych

4 wartości z pierwszego podzestawu próbek pierwszego strumienia danych cyfrowych i trzeciego podzestawu próbek drugiego strumienia danych cyfrowych. Sposób łączenia pierwszego zestawu danych cyfrowych z drugim zestawem danych cyfrowych w celu uzyskania trzeciego zestawu danych cyfrowych umożliwia zatem odtworzenie z dużą dokładnością drugiego i czwartego podzestawu próbek oraz rekonstrukcję pierwszego i trzeciego podzestawu wartości, zaś etap interpolacji, jeżeli jest wymagany, może być przeprowadzany podczas procesu dekodowania. [0011] Urządzenie użytkownika końcowego zawierające dekoder może decydować o uzyskiwanym poziomie jakości rekonstrukcji, ponieważ interpolacja może być wybierana i przeprowadzana przez dekoder, nie jest zaś nakazywana przez koder. [0012] Nie wprowadzając interpolacji pierwszego i drugiego zestawu danych cyfrowych, lecz wprowadzając aproksymację błędów ukrytą w najmniej znaczących bitach trzeciego strumienia danych cyfrowych osiągnięto zaletę polegającą na tym, że zachowano swobodę wyboru rekonstrukcji w etapie dekodowania. Jeżeli jednak aproksymacja błędów została również zastosowana podczas tworzenia trzeciego zestawu danych cyfrowych (w postaci połączenia próbek pierwszego i drugiego zestawu danych cyfrowych z aproksymowanymi błędami), wartości aproksymacji błędów ukryte w najmniej znaczących bitach muszą być wykorzystywane również podczas przeprowadzania procesu dekodowania, co ma celu uzyskanie rekonstrukcji pierwotnych zestawów danych cyfrowych, tj. pierwotnych cyfrowych kanałów audio. [0013] Sposób rekonstrukcji przeprowadzanej podczas dekodowania może być wybrany tak, by zapewnić wykorzystywanie aproksymacji błędów zawartej w najmniej znaczących bitach i przeprowadzanie liniowej interpolacji między wartościami próbek znajdujących się na z góry określonych pozycjach, ponieważ mogą być one odtworzone całkowicie, poza utratą informacji zawartej w najmniej znaczących bitach. System kodowania i dekodowania może być zatem wykorzystywany bardziej elastycznie. [0014] Kodowanie może być przeprowadzane z wykorzystaniem jeszcze mniej złożonego przetwarzania, jeżeli łączenie pierwszego i drugiego zestawu danych cyfrowych w celu uzyskania trzeciego zestawu danych cyfrowych dokonywane jest bez dodawania aproksymacji błędów, i po prostu przez przyjęcie przez próbki znajdujące się między z góry określonymi pozycjami wartości sąsiednich próbek, lub możliwe jest też dokonywanie wyboru aproksymacji błędów z ograniczonego zestawu aproksymacji błędów i wprowadzanie jej do najmniej znaczących bitów trzeciego zestawu danych cyfrowych. [00] W jednej postaci realizacji sposobu, pierwszy zestaw danych cyfrowych reprezentuje pierwszy sygnał audio, zaś drugi zestaw danych cyfrowych reprezentuje drugi sygnał audio. [0016] Zastosowanie niniejszego wynalazku do przetwarzania sygnałów audio powoduje nie tylko zapewnienie możliwości odtworzenia pierwszego i drugiego sygnału audio przy zachowaniu akceptowalnej dokładności, lecz uzyskiwany połączony sygnał audio reprezentowany przez trzeci zestaw danych cyfrowych stanowi akceptowalną percepcyjne reprezentację pierwszego sygnału audio zmiksowanego z drugim sygnałem audio. Dzięki temu uzyskiwany trzeci zestaw danych cyfrowych może być prawidłowo odtwarzany z wykorzystaniem urządzeń, które nie uniemożliwiają wydzielania pierwszego i drugiego sygnału audio na podstawie trzeciego zestawu danych cyfrowych, natomiast urządzenia umożliwiające takie wydzielanie mogą wydzielać pierwszy i drugi sygnał audio w celu ich oddzielnego odtworzenia lub poddania dalszemu przetwarzaniu. Jeżeli z wykorzystaniem niniejszego wynalazku połączone, tj. zmiksowane, ze sobą są więcej niż dwa sygnały audio, możliwe jest również wydzielanie tylko jednego z sygnałów audio, podczas gdy pozostałe sygnały audio są ze sobą nadal połączone. Te pozostałe sygnały audio stanowią nadal możliwy do odtworzenia sygnał audio, który stanowi reprezentacje pozostałych sygnałów audio połączonych ze sobą, natomiast wydzielony sygnał audio może być przetwarzany osobno.

5 [0017] Możliwe jest również zastosowanie niniejszego wynalazku jako narzędzia dla realizatorów nagrań jako przeprowadzanej w czasie rzeczywistym emulacji miksowania par kanałów audio w celu uzyskania pojedynczego kanału audio. Podczas edycji nagrania stanowiącej część procesu tworzenia sygnału audio (authoringu) generowany jest wyjściowy sygnał audio, który zapewnia gwarantowaną jakość minimalną procesu miksowania końcowego, jak również minimalną jakość kanałów dekodowanych lub rozmiksowywanych. Po utworzeniu podstawowego zestawu danych PCM (modulacja kodowo-impulsowa) wielokanałowego sygnału aurofonicznego (AURO) możliwe jest autonomiczne obliczenie dodatkowych parametrów kodowania zwiększających jakość miksowanych sygnałów, co umożliwia wyeliminowanie konieczności przetwarzania w czasie rzeczywistym. [0018] W kolejnej postaci wykonania sposobu, pierwsza próbka początkowa ma postać pierwszej próbki pierwszego zestawu danych cyfrowych, zaś druga próbka początkowa ma postać drugiej próbki drugiego zestawu danych cyfrowych. [0019] Wybranie w procesie rozplatania próbek początkowych położonych w pobliżu początku zestawu danych cyfrowych umożliwia rozpoczęcie rozplatania pierwszego i drugiego zestawu danych cyfrowych natychmiast po rozpoczęciu odczytu trzeciego zestawu danych cyfrowych. Próbki początkowe mogą być również wprowadzone, tj. umieszczane, w dalszej części trzeciego zestawu danych cyfrowych, przez co rozplatanie próbek znajdujących się przed próbkami początkowymi wymaga zastosowania procesu rekurencyjnego. Wybranie próbek początkowych z pierwotnego zestawu danych cyfrowych znajdujących się przy lub na jego początku ułatwia przeprowadzenie procesu rozplatania mającego na celu odtworzenie pierwszego i drugiego zestawu danych cyfrowych. [00] W kolejnej postaci realizacji sposobu, pierwsza próbka początkowa i druga próbka początkowa są zawarte w najmniej znaczących bitach trzeciego zestawu danych cyfrowych. [0021] Dzięki umieszczeniu wartości początkowych w najmniej znaczących bitach próbek, wartości tych próbek różnią się od ich wartości pierwotnych jedynie w niewielkim stopniu, a stwierdzono, że jest to niemal niemożliwe do usłyszenia, ponieważ wymagane jest zapisanie jedynie kilku wartości początkowych, a więc tylko kilka próbek ma zmienioną wartość. Dzięki wybraniu najmniej znaczących bitów uzyskano ponadto pewność, że wartości są zmienione jedynie w niewielkim stopniu. [0022] Nawet jeżeli dane wprowadzone są do najmniej znaczących bitów wszystkich próbek, zmiana wartości jest niesłyszalna lub bardzo trudna do usłyszenia, ponieważ z próbek usuwane są najmniej znaczące bity, a to z kolei jest trudne do zauważenia. [0023] Usunięcie z próbek najmniej znaczących bitów powoduje zmniejszenie przestrzeni wymaganej do przechowywania zestawu danych cyfrowych, w którym te próbki są zawarte, a więc zwolnienie miejsca na nośniku zapisu lub w kanale przesyłowym, lub umożliwienie wprowadzenia dodatkowych danych, na przykład wykorzystywanych do sterowania. [0024] Rozmiksowywanie próbek PCM z wykorzystaniem podstawowego sposobu według niniejszego wynalazku może powodować powstawanie błędów, w przypadku wystąpienia błędu podczas odczytu dodatkowych danych zakodowanych w najmniej znaczących bitach próbek PCM lub także częściowo bardziej znaczących bitów próbek PCM wykorzystywanych do zapisywania sygnału audio. Charakter takiego procesu rozplatania powoduje, że błędy dotyczące jednej próbki (audio/danych) mają wpływ na operację rozmiksowywania kolejnych próbek. Zoptymalizowane wykorzystanie dodatkowego obszaru danych przeznaczonego na przesyłanie dodatkowych danych w strumieniu PCM obejmuje jednak zastosowanie tego dodatkowego obszaru danych do przechowania błędów (redukcji częstotliwości próbek) i kompresję wszystkich danych korygujących, jak również dodanie na końcu bloku danych sumy kontrolnej CRC, dzięki czemu w dekoderze możliwe jest sprawdzenie integralności danych zawartych w takim bloku. Dzięki zachowaniu regularnych odstępów między zapisanymi wartościami początkowymi, możliwe jest ograniczenie

6 rezultatów występowania błędów w próbkach audio. W przypadku wystąpienia błędu jego propagacja jest ograniczona do kolejnej pozycji, dla której znane są wartości początkowe, ponieważ w tym momencie możliwe jest ponowne zainicjowanie procesu rozplatania, co zapewnia skuteczne zatrzymanie propagacji błędu. Ponadto, w przypadku wystąpienia błędu danych w początkowych wartościach przechowywanych w obszarze dodatkowych danych w najmniej znaczących bitach, proces rozplatania na podstawie błędnych wartości początkowych może być błędny, jednak jedynie do następnej pozycji, dla której znane są wartości początkowe, ponieważ w tym momencie możliwe jest ponowne zainicjowanie procesu rozplatania. [002] Dzięki wprowadzeniu dodatkowych danych do obszaru dodatkowych danych w najmniej znaczących bitach próbek, w niniejszym wynalazku miksowanie lub multipleksowanie zmiksowanych danych audio (bity większej dokładności) i kodowanie/dekodowanie danych (zwykle 2, 4 lub 6 bitów na próbkę) nie wymagają wykorzystywania większej przestrzeni nośnika niż (już dostępne) 24 bity na próbkę w przypadku płyt BLU-Ray DVD i HD-DVD, nie są również wymagane żadne dodatkowe informacje pochodzące z części nawigacyjnej danych zapisanych na płycie (na przykład nie są wymagane znaczniki czasowe rozdziału lub strumienia). Nie są zatem wymagane żadne zmiany dotyczące sterowania odczytem danych z płyty (jak zaimplementowano we wbudowanym oprogramowaniu zawartym w odtwarzaczach DVD). Wykorzystanie niniejszego wynalazku nie wiąże się również z żadnymi zmianami ani rozszerzeniem standardu dotyczącego nowych nośników danych. Zmniejszenie rozdzielczości bitowej próbek audio i przechowywanie danych dotyczących kodowania/dekodowania sygnału audio w najmniej znaczących bitach nie powoduje ponadto powstawania żadnych artefaktów, które mogłyby być usłyszane przez użytkowników podczas odtwarzania sygnału z wykorzystaniem urządzeń lub systemów (na przykład odtwarzaczy BLU-Ray DVD lub HD-DVD), w których nie są zastosowane algorytmy dekodowania. [0026] W kolejnej postaci realizacji sposobu, w pozycji określonej względem położenia pierwszej próbki początkowej, wprowadzono wzór synchronizacyjny. [0027] Wprowadzony wzór synchronizacyjny ma na celu umożliwienie odtworzenia pierwszej próbki początkowej, ponieważ dzięki wykryciu wzoru synchronizacyjnego znane jest położenie pierwszej próbki początkowej. To rozwiązanie może być również wykorzystywane do lokalizowania drugiej próbki początkowej. Wzór synchronizacyjny może zostać ulepszony przez powtarzanie wzoru synchronizacyjnego w regularnych odstępach, dzięki czemu możliwe jest niezawodne wykrywanie wzoru synchronizacyjnego z wykorzystaniem metody wykrywania koła zamachowego. Polega ona na podzieleniu najmniej znaczących bitów zapisanych próbek na bloki, co umożliwia zastosowanie przetwarzania bloków po kolei. [0028] W kolejnej postaci realizacji sposobu, przed etapem przyrównywania próbek przeprowadzana jest aproksymacja błędu wynikającego z przyrównywania próbek, co dokonywane jest przez wybranie aproksymacji błędu z zestawu aproksymacji błędów. [0029] Etap przyrównywania próbek jest bardzo łatwy do wykonania podczas łączenia pierwszego i drugiego zestawu danych cyfrowych, lecz również wprowadza błąd. [00] W celu ograniczenia tego błędu określana jest wartość błędu, która jest wybierana z ograniczonego zestawu aproksymacji błędów. [0031] Ograniczony zestaw aproksymacji błędów umożliwia zmniejszenie błędu przy jednoczesnym zaoszczędzeniu przestrzeni, ponieważ aproksymacje błędu mogą być wybierane jedynie z ograniczonego zestawu, który może być reprezentowany przez mniejszą liczbę bitów niż rzeczywisty błąd występujący na etapie przyrównywania. Indeksy reprezentacji błędów wymagają zastosowania mniejszej liczby bitów na próbkę niż liczba bitów uwolnionych podczas procesu kodowania Jest to istotne, z punktu widzenia zagwarantowania kompresowalności danych. Zaoszczędzona przestrzeń umożliwia wstawienie dodatkowych informacji, takich jak wzory synchronizacyjne i próbki początkowe. Zmniej-

7 szenie częstotliwości próbkowania z 96 khz do 48 khz lub ze 192 khz do 96 khz może stanowić problem, ponieważ wyższe częstotliwości próbkowania wprowadzono w celu odtworzenia sygnału audio, gdzie nie tylko częstotliwości próbkowania jako takie, ale głównie informacje o fazie były wymagane w dużo większym wymiarze w porównaniu do nagrań audio dysków kompaktowych CD do reprodukcji nagrań dźwiękowych z wysoką jakością. [0032] Błędy spowodowane zmniejszeniem częstotliwości próbkowania i dane korygujące (aproksymacje błędów) służące do eliminowania tych błędów (w jak największym stopniu) mogą stanowić wynik zastosowania algorytmu optymalizacji, w którym kryteria optymalizacji mogą być określone w postaci najmniejszej sumy kwadratów błędów lub mogą nawet mieć postać kryteriów opracowanych na podstawie percepcji dźwięku. [0033] W kolejnej postaci realizacji sposobu, po ustaleniu aproksymacji błędu odpowiadającej danej próbce wartość sąsiedniej próbki, do której jest ona przyrównywana, jest modyfikowana w taki sposób, że podczas rekonstrukcji próbki na podstawie przyrównywanej próbki i aproksymacji błędu możliwe jest uzyskanie próbki o wartości bardziej zbliżonej do wartości próbki przed etapem przyrównywania. Jeżeli jest to potrzebne, błąd może być jeszcze bardziej zmniejszony przez modyfikację wartości sąsiedniej próbki, dzięki czemu po przyrównaniu próbki do sąsiedniej próbki połączenie sąsiedniej wartości i aproksymacji błędu dokładniej odpowiada pierwotnej wartości próbki przed jej przyrównaniem do sąsiedniej próbki. [0034] W kolejnej postaci realizacji sposobu, zestaw aproksymacji błędów jest indeksowany, a indeks reprezentujący aproksymację błędu jest wprowadzany do próbek, którym odpowiada aproksymacja błędu. [003] W kolejnej postaci realizacji sposobu, próbki dzielone są na bloki, a indeks jest wprowadzany do próbek znajdujących się w pierwszym bloku poprzedzającym drugi blok, który zawiera próbki, których dotyczy aproksymacja błędu. [0036] Dalsze zmniejszenie rozmiaru aproksymacji błędu osiągnięto przez indeksowanie ograniczonego zestawu aproksymacji błędów i zapisywanie jedynie właściwego indeksu w najmniej znaczących bitach próbek trzeciego zestawu danych cyfrowych, które znajdują się przez próbkami, których dotyczy aproksymacja błędu. Dzięki wprowadzaniu indeksu do próbek znajdujących się w poprzednim bloku, indeks, a zatem również aproksymacje błędu, dostępne są w momencie rozpoczęcia procesu rozplatania próbek, których dotyczy aproksymacja błędu. [0037] W kolejnej postaci realizacji sposobu, wprowadzane aproksymacje błędu są kompresowane. [0038] Poza indeksowaniem możliwe jest wykorzystywanie innych sposobów kompresji, na przykład metody Lempel Ziff. Aproksymacje błędów pochodzą z ograniczonego zestawu aproksymacji błędów, mogą więc zostać poddane kompresji, co umożliwia wykorzystywanie mniejszej przestrzeni podczas wprowadzania aproksymacji błędów do próbek. [0039] Jest to szczególnie korzystne w przypadku, gdy w najmniej znaczących bitach próbek zawarte są również inne dane. Indeksowanie tych dodatkowych danych nie jest konieczne i można zastosować ogólny schemat kompresji. Możliwe jest połączenie indeksowania aproksymacji błędów i kompresji dodatkowych danych lub kompresji wszystkich danych zawartych w najmniej znaczących bitach, tj. aproksymacji błędów i dodatkowych danych. [00] W kolejnej postaci realizacji sposobu, wartości błędów wprowadzane są z zachowaniem z góry określonego przesunięcia. [0041] Z góry określone przesunięcie ma postać zdefiniowanego związku między aproksymacjami błędów a próbkami, których dotyczą aproksymacje błędów. [0042] W przypadku zapisywania aproksymacji błędów z wykorzystaniem indeksów, indeks jest dostosowywany do każdego z bloków, a dostosowany indeks zapisywany jest w każdym z bloków.

8 [0043] Jeżeli jest to możliwe, indeks może być wybierany w odniesieniu do zestawu danych cyfrowych lub może być stały i przechowywany w koderze i dekoderze, a nie przesyłany w strumieniu danych, co zmniejsza elastyczność rozwiązania. [0044] Jeżeli podwyższanie jakości wydzielanych sygnałów audio z wykorzystaniem aproksymacji błędów nie jest stosowane, przechowywanie aproksymacji błędów nie jest konieczne. Nie stanowi to przeszkody dla wprowadzania i kompresji innych danych w najmniej znaczących bitach zestawu danych cyfrowych. [004] W kolejnej postaci realizacji sposobu, wartości błędów wprowadzane są na pierwszej dostępnej pozycji, gdzie jest ona zmienna względem próbek, których dotyczą wartości błędów. [0046] Dzięki kompresji wartości błędów w próbkach możliwe jest zaoszczędzenie przestrzeni zajmowanej przez próbki, która może być następnie wykorzystana w celu zapewnienia możliwości rozszerzenia ograniczonego zestawu wartości błędów, co z kolei umożliwia dokładniejszą korekcję przyrównywanych próbek, a w rezultacie jeszcze lepsze odtwarzanie zestawu danych cyfrowych. [0047] Jest to możliwy do zastosowania sposób wykorzystania zalet zaoszczędzonej przestrzeni, lecz w korzystnym rozwiązaniu wykorzystywane jest inne podejście. [0048] Przestrzeń zaoszczędzona dzięki skompresowanym wartościom błędów i liście indeksów jest w rzeczywistości wykorzystywana do ograniczenia liczby próbek kolejnego bloku, które są miksowane ze sobą. Ponieważ liczba ta jest mniejsza niż w przypadku bloku bieżącego, zmienność błędów jest mniejsza, a zatem możliwa jest ich lepsza aproksymacja z wykorzystaniem takiej samej liczby wartości aproksymacji błędów. Wartości błędów i odnoszące się do nich indeksy również są kompresowane, a zaoszczędzona przestrzeń jest ponownie wykorzystywana do ograniczenia liczby miksowanych ze sobą próbek w następnym bloku. [0049] W kolejnej postaci realizacji sposobu, wszystkie najmniej znaczące bity próbek trzeciego zestawu danych cyfrowych, które nie są wykorzystywane do zapisywania aproksymacji błędów lub innych danych sterujących, przyjmują określoną wartość lub wartość zerową. [000] Zerowa wartość najmniej znaczących bitów może być zarówno ustawiana przed połączeniem zestawów danych cyfrowych lub po wprowadzeniu informacji takich jak wartości początkowe, wzory synchronizacyjne i wartości błędów. [001] Zastosowanie z góry określonej wartości lub wartości zerowej może ułatwić odróżnianie wprowadzonych danych, ponieważ wprowadzone dane nie są wtedy otoczone danymi, których wartości są pozornie losowe. [002] Umożliwia to dalsze uproszczenie procesu łączenia i rozplatania, ponieważ oczywiste jest, że bity te nie wymagają przetwarzania. [003] Należy zauważyć, że wybór zwalnianej liczby najmniej znaczących bitów może być przeprowadzany w sposób dynamiczny, czyli mówiąc innymi słowami, w zależności od chwilowej zawartości zestawów danych cyfrowych. Ciche fragmenty muzyki klasycznej mogą na przykład wymagać większej ilości bitów w celu zapewnienia odpowiedniej rozdzielczości sygnału, natomiast głośne fragmenty muzyki popowej mogą nie wymagać wykorzystywania tak dużej liczby bitów. [004] W jednej postaci realizacji wynalazku, wydzielany sygnał lub wprowadzone dane sterujące mogą być wykorzystywane do sterowania urządzeniami zewnętrznymi, które powinny być sterowane z zachowaniem synchronizacji z sygnałem audio, lub do sterowania odtwarzaniem wydzielonego sygnału audio, na przykład przez określanie amplitudy wydzielanego sygnału audio względem poziomu podstawowego, względem innych kanałów, które nie zostały wydzielone z połączonego sygnału, lub względem połączonego sygnału audio. [00] W niniejszym wynalazku opisano technikę miksowana (i zapisywania) ścieżek PCM sygnału audio (ścieżki PCM mają postać zestawów danych cyfrowych reprezentują-

9 cych cyfrowe kanały audio) - pochodzących zwykle z trójwymiarowych nagrań audio, lecz nie stanowi to ograniczenia wykorzystania wynalazku- w celu uzyskania liczby ścieżek, która jest mniejsza niż liczba ścieżek wykorzystana w pierwotnym nagraniu. To łączenie kanałów jest zwykle przeprowadzane przez miksowanie par ścieżek audio w celu uzyskania pojedynczych ścieżek w sposób umożliwiający przeprowadzenie operacji odwrotnej, tj. operacji dekodowania umożliwiającej rozplatanie połączonego sygnału w celu odtworzenia pierwotnych osobnych ścieżek audio, które są percepcyjnie identyczne jak pierwotne ścieżki audio pochodzące z nagrania bazowego, przy czym połączony sygnał ma jednocześnie postać ścieżki audio, która może być odtwarzana z wykorzystaniem zwykłych kanałów odtwarzania i podczas odtwarzania jest percepcyjnie identyczna jak mieszanina kanałów audio. W przypadku połączenia kanałów pochodzących z trójwymiarowego nagrania audio w celu uzyskania zestawu kanałów wykorzystywanych zwykle w dwuwymiarowych przestrzennych nagraniach audio oraz odtwarzania połączonych kanałów bez stosowania operacji odwrotnej, połączone, tj. poddane procesowi miksowania (w dół) nagranie audio nadal spełnia zatem wymagania związane z odtwarzaniem realistycznego, dwuwymiarowego przestrzennego nagrania audio, które ogólnie jest nazywane nagraniem stereofonicznym lub nagraniem w formacie dźwięku przestrzennego 4.0,.1 albo nawet 7.1, przy czym może być ono odtwarzane bez potrzeby wykorzystywania dodatkowego urządzenia, dekodera lub dokonywania modyfikacji urządzenia. Zagwarantowano w ten sposób wsteczną kompatybilność uzyskiwanych połączonych kanałów. [006] Rozszerzenie sposobu do liczby zestawów danych cyfrowych lub sygnałów audio większej niż 2 jest bardzo łatwe do wykonania. Technikę tę opisano w odniesieniu do 2 zestawów danych cyfrowych, lecz rozszerzenie jej do więcej niż dwóch zestawów może być przeprowadzone podobnie przez zmianę sposobu przeplatania tak, aby dla każdej próbki trzeciego zestawu danych cyfrowych tylko jeden zestaw danych cyfrowych był źródłem nieprzyrównanej próbki przeznaczonej do połączenia z przyrównanymi próbkami pozostałych zestawów danych cyfrowych, przy czym zestaw danych cyfrowych będący źródłem nieprzyrównanej próbki jest wybierany w naprzemienny sposób spośród zestawów danych cyfrowych, z których pochodzą próbki. [007] Jeżeli łączone są ze sobą więcej niż 2 zestawy danych cyfrowych, każda n-ta próbka każdego z zestawów danych cyfrowych wykorzystywana jest do przyrównywania próbek z pierwszego podzestawu zawierającego (n-1) na n (równych) próbek zestawu danych, natomiast drugi podzestaw zawiera 1 próbkę na n próbek zestawu danych. W każdym z zestawów danych pozycja przyrównywanych próbek jest przesunięta w dziedzinie czasu o 1 pozycję. [008] Stwierdzono, że przy szybkości przesyłania danych i rozdzielczości w obecnych standardach cyfrowych sygnałów audio szczególnie prawdopodobne jest miksowanie 3 cyfrowych kanałów audio w celu uzyskania 1 cyfrowego kanału audio (miks 3 do 1). W ten sam sposób możliwe jest również przeprowadzanie miksowania 4 do 1. [009] Takie miksowanie cyfrowych kanałów audio umożliwia wykorzystywanie do przechowywania i przesyłania pierwszego standardu cyfrowych sygnałów audio z pierwszą liczbą niezależnych cyfrowych kanałów audio, zaś podczas odtwarzania wykorzystywanie drugiego standardu cyfrowych sygnałów audio z drugą liczbą niezależnych cyfrowych kanałów audio, gdzie druga liczba cyfrowych kanałów audio jest większa niż pierwsza liczba cyfrowych kanałów audio. [0060] W niniejszym wynalazku osiągnięto to przez połączenie co najmniej dwóch cyfrowych kanałów audio w celu uzyskania pojedynczego cyfrowego kanału audio z wykorzystaniem sposobu według wynalazku lub kodera według wynalazku. Dzięki etapowi dodawania w sposobie według wynalazku uzyskiwany strumień cyfrowych danych audio stanowi reprezentację dwóch połączonych cyfrowych kanałów audio, która zapewnia komfortowy odsłuch. Przeprowadzenie łączenia wielu kanałów zapewnia zmniejszenie liczby kanałów, na przykład z konfiguracji 3D 9.1 do konfiguracji 2D.1. Można to uzyskać na

10 przykład przez połączenie dolnego lewego przedniego kanału i górnego lewego przedniego kanału w konfiguracji 9.1 w celu uzyskania jednego lewego przedniego kanału, który może być w zwykły sposób przechowywany, przesyłany i odtwarzany z wykorzystaniem lewego przedniego kanału systemu.1. [0061] Zatem, pomimo że sygnały utworzone z wykorzystaniem niniejszego wynalazku umożliwiają odtworzenie pierwotnej konfiguracji 9.1 kanałów przez rozplatanie połączonych sygnałów, połączone sygnały równie dobrze mogą być odtwarzane przez użytkowników mających jedynie systemy.1. W systemach przeprowadzających proces miksowania w dół do formatu.1 wymagane może być zastosowanie tłumienia obydwu kanałów przed ich miksowaniem lub kodowaniem, a więc podczas dekodowania wymagane są dane tłumienia (odwrotnego) dotyczące każdego z kanałów. [0062] Opracowane w niniejszym wynalazku techniki wykorzystywane są do tworzenia aurofonicznych nagrań audio (lecz nie stanowi to ograniczenia zastosowania wynalazku), które mogą być zapisane na istniejących lub nowych nośnikach, takich jak przykładowo płyty HD-DVD i BLU-RAY DVD, bez potrzeby wprowadzania żadnych dodatkowych formatów ani rozszerzania standardu nośnika, ponieważ standardy te obejmują już obsługę wielokanałowych danych audio w formacie PCM, na przykład 6 kanałów audio w formacie PCM 96 khz 24 bity (HD-DVD) lub 8 kanałów audio w formacie PCM 96 khz 24 bity (BLU-Ray DVD) lub 6 kanałów audio w formacie PCM 192 khz 24 bity (BLU-Ray DVD). [0063] W przypadku aurofonicznych nagrań audio wymagane jest zastosowanie większej liczby kanałów, niż dostępna na istniejących lub nowych nośnikach danych. Niniejszy wynalazek umożliwia wykorzystywanie tych nośników, jak również innych rozwiązań przesyłowych, w których występuje niedostateczna liczba kanałów, dzięki czemu możliwe jest wykorzystywanie systemu obejmującego niedostateczną liczbę kanałów do zapisywania lub przesyłania sygnałów audio 3D, przy czym jednocześnie zapewniono wstępną kompatybilność ze wszystkimi istniejącymi urządzeniami odtwarzającymi, w których dokonywane jest odtwarzanie kanałów audio 3D w konfiguracji 2D, tak jakby zapisane były kanały audio w konfiguracji 2D. Jeżeli dostępne jest odpowiednio przystosowane urządzenie odtwarzające, sposób dekodowania lub dekoder według niniejszego wynalazku umożliwia wydzielenie pełnego zestawu kanałów audio 3D, a więc po wydzieleniu oddzielnych cyfrowych kanałów audio i ich odtworzeniu zapewniony jest dźwięk w pełnej konfiguracji 3D. [0064] Określenie aurofonia dotyczy systemu odtwarzającego audio (lub audio + wideo), który umożliwia prawidłowe odwzorowanie trójwymiarowości pomieszczenia, w którym dokonano nagrania, przy czym trójwymiarowość definiowana jest za pomocą osi x, y i z. Stwierdzono, że odpowiednie nagranie dźwięku w połączeniu z określonym rozmieszczeniem głośników umożliwia odtwarzanie bardziej naturalnego dźwięku. [006] Rejestracja audio 3D, na przykład nagranie aurofoniczne, może również dotyczyć konfiguracji do odtwarzania dźwięku przestrzennego obejmującej głośniki zamontowane na określonej wysokości. Wprowadzenie głośników zamontowanych na wysokościach wymaga wykorzystywania większej liczby kanałów niż ma to obecnie miejsce w przypadku powszechnie wykorzystywanych systemach w konfiguracji 2D, gdzie wszystkie głośniki używane w pomieszczeniu znajdują się zasadniczo na tej samej wysokości. Jest to związane z pewnymi aspektami percepcji, ponieważ w nagraniach aurofonicznych łączone i mieszane są ze sobą właściwości tonalne dwóch przestrzeni. Zwiększona liczba kanałów i zmiana rozmieszczenia głośników umożliwiają odtwarzanie wszystkich nagrań dokonanych tą techniką z wykorzystaniem pełnego potencjału naturalnych aspektów trójwymiarowości dźwięku. Technologia wielokanałowa w połączeniu ze specyficznym rozmieszczeniem głośników zapewnia przeniesienie słuchaczy do centrum wydarzenia dźwiękowego do wirtualnej przestrzeni, w której doświadczają oni wirtualnych doznań przestrzennych. Szerokość, głębokość i wysokość tej przestrzeniu od pierwszej chwili odbierane są

11 zarówno na płaszczyźnie fizycznej, jak i emocjonalnej. [0066] W urządzeniach takich jak odtwarzacze HD-DVD i BLU-Ray DVD zaimplementowane są ponadto miksery audio przeznaczone do miksowania w wyjściowym sygnale audio zewnętrznych kanałów audio (nie odczytywanych z płyty) lub efektów audio wybieranych zwykle z wykorzystaniem panelu nawigacyjnego użytkownika, co ma na celu polepszenie wrażeń odbieranych podczas odtwarzania. Mają one jednak również tryb filmowy, w którym podczas odtwarzania efekty audio są wyłączane. Ten ostatni tryb jest w odtwarzaczach wykorzystywany do odtwarzania wielokanałowego miksu PCM z wykorzystaniem analogowo-cyfrowych przetworników audio lub do udostępniania dalszego przetwarzania wielokanałowego miksu PCM w postaci wielokanałowego miksu zawartego w danych zawierających na przykład sygnał wideo i przesyłanych za pośrednictwem interfejsu HDMI. We wszystkich urządzeniach odtwarzających lub zapisujących poddane procesowi miksowania w dół ścieżki wielokanałowego sygnału audio w formacie PCM wymagane jest spełnienie podczas odtwarzania/zapisywania warunku bezstratnej kompresji, na przykład identyczności binarnej danych audio w formacie PCM, niezależnie od tego, czy dekoder tak jak to opisano w niniejszym wynalazku wykorzystywany jest do odtwarzania trójwymiarowego nagrania audio, czy po prostu do uprzestrzenniania nagrania audio. [0067] Poza efektywnym lub skutecznym przechowywaniem sygnału audio w formacie PCM, połączenie w odwracalny sposób wielu kanałów w celu uzyskania pojedynczego kanału przeznaczone jest do zapisywania lub odtwarzania trójwymiarowego sygnału audio przy zachowaniu kompatybilności z formatami audio wykorzystywanymi w standardach DVD, HD-DVD i BLU-Ray DVD. Podczas realizacji przestrzennych nagrań audio lub tworzenia wielokanałowych sygnałów audio realizatorzy dźwięku wykorzystują obecnie wiele dostępnych ścieżek audio i stosują szablony umożliwiające tworzenie stereofonicznej (dwuwymiarowej) ścieżki przestrzennego sygnału audio, który może być zapisywany na przykład na płytach CD, SA-CD, DVD, BLU-Ray DVD lub HD-DVD albo po prostu przechowywany w cyfrowej postaci w urządzeniu rejestrującym (na przykład na twardym dysku). Źródła dźwięku, które w rzeczywistym świecie zawsze znajdują się w trójwymiarowej przestrzeni, dotychczas rejestrowane były najczęściej w postaci źródeł zdefiniowanych w przestrzeni dwuwymiarowej, mimo że informacje dotyczące trzeciego wymiaru były dostępne dla realizatorów nagrań lub mogły być w łatwy sposób wprowadzone (na przykład w postaci efektów dźwiękowych takich jak samoloty przelatujące nad widownią lub ptaki śpiewające na niebie) lub rejestrowane na żywo. [0068] Do chwili obecnej nie był dostępny ogólny format danych audio, poza systemami, w których dodatkowe serie wielu ścieżek audio przechowywane były niezależnie od siebie z wykorzystaniem systemu zapewniającego dostateczną liczbę przechowywanych ścieżek, na przykład do zastosowań kinowych. Te dodatkowe kanały nie mogą być jednak zapisywane na nośnikach takich jak płyty HD-DVD i BLU-Ray DVD, ponieważ systemy zapisu nie zapewniają dostatecznej liczby kanałów audio. Celem niniejszego wynalazku jest stworzenie dodatkowych wirtualnych ścieżek w sposób nie kolidujący (lub zakłócający) ze standardowymi wielokanałowymi i dwukanałowymi informacjami (2D), zapewniający realizatorom nagrań możliwość podstawowej oceny nagrania w czasie rzeczywistym przed końcowym nagraniem audio 3D i nie wymagający wykorzystywania zasobów innych niż standardowe ścieżki wielokanałowe na nowych nośnikach. [0069] Należy zauważyć, że pomimo opisania niniejszego wynalazku w kontekście zastosowań związanych z sygnałami audio, te same zasady mogą być wykorzystywane w zastosowaniach związanych z sygnałami wideo, na przykład do odtwarzania trójwymiarowych obrazów wideo z wykorzystaniem 2 równoczesnych strumieni wideo (kątów widzenia), z których każdy uzyskiwany jest za pomocą kamery ustawionej pod nieznacznie innym kątem, co ma na celu uzyskanie efektu 3D, przy czym dwa strumienie wideo są łączone ze sobą w sposób opisany szczegółowo w niniejszym wynalazku, dzięki czemu możliwe jest

12 11 przechowywanie i przesyłanie sygnału wideo 3D, który może być nadal odtwarzany z wykorzystaniem standardowego sprzętu wideo. Przykłady zastosowań 2 3 Miks stereofoniczny ( artystyczny ) zawarty w miksie przestrzennym. [0070] Podczas masteringu nagrań audio realizatorzy dźwięki tworzą lub wykorzystują schematy miksowania w celu utworzenia na podstawie wielu ścieżek audio rzeczywistego lub artystycznego miksu stereofonicznego, jak również miksu przestrzennego (na przykład 4.0,.1, ). Możliwe jest utworzenie macierzy miksowania w dół miksu przestrzennego w celu uzyskania miksu stereofonicznego, lecz można łatwo przedstawić wady technik opartych na takich macierzach miksowania w dół. Sygnał stereofoniczny utworzony z wykorzystaniem macierzy miksowania w dół zasadniczo różni się od artystycznego miksu stereofonicznego, ponieważ zawartość sygnałów stereofonicznych utworzonych z wykorzystaniem macierzy miksowania w dół zwykle zawarta jest w dziedzinie lewy-prawy L-P (sygnały różniące się w fazie), podczas gdy artystyczny miks stereofoniczny zawarty jest głównie w dziedzinie lewy+prawy L+P (sygnały zgodne w fazie) z niewielkim udziałem dziedziny L-P. Przykładowo, sygnał stereofoniczny utworzony z wykorzystaniem macierzy miksowania w dół jest podczas odtwarzania monofonicznego znacznie cichszy, co jest skutkiem dużego udziału sygnałów różniących się w fazie. W wyniku tego obecne przestrzenne nagrania audio zrealizowane i zakodowane z wykorzystaniem najnowszej dostępnej technologii kodowania/dekodowania sygnałów audio zwykle obejmują oddzielną rzeczywistą wersję stereofoniczną ( artystyczną ) nagrania, jeżeli oczywiście zwrócono uwagę na możliwość odtwarzania realistycznego sygnału stereofonicznego. [0071] W przypadku zastosowania technik ujawnionych w niniejszym wynalazku specjalista w tej dziedzinie może łatwo opracować system, w którym lewy (przedni) kanał audio i prawy (przedni) kanał audio przygotowywane są w celu uzyskania lewego i prawego kanału, zaś każdy z tych kanałów miksowany jest z (na przykład) kanałem audio delta (L - artystycznym L - przestrzennym) i (P - artystycznym P - przestrzennym) z tłumieniem 24 db. Podczas odtwarzania kanałów L/P wielokanałowego nagrania bez dekodera dominują kanały lewy/prawy miksu artystycznego, lecz w przypadku odtwarzania z wykorzystaniem dekodera opisanego w niniejszym wynalazku najpierw rozmiksowywane są zmiksowane kanały, następnie kanały (delta) są wzmacniane o (na przykład) 24 db i odejmowane od kanałów miksu artystycznego w celu uzyskania lewego i prawego kanału miksu przestrzennego, po czym odtwarzane są kanały dźwięku przestrzennego (L/P), jak również kanał centralny i kanał niskich częstotliwości. Miks trójwymiarowy ( aurofoniczny ) zawarty w miksie przestrzennym 4 0 [0072] W przypadku zastosowania technik ujawnionych w niniejszym wynalazku łatwo można zauważyć, że miksowanie informacji audio dotyczących trzeciego wymiaru może być przeprowadzone po prostu przez miksowanie każdego z kanałów dwuwymiarowego miksu przestrzennego lub miksu przestrzennego w konfiguracji 2.0, 4.0,.1, a nawet 7.1 z innym kanałem audio reprezentującym dźwięk nagrywany na pewnej wysokości nad głośnikami konfiguracji dwuwymiarowej. Podczas miksowania kanały audio trzeciego wymiaru mogą być tłumione w celu uniknięcia niepożądanych efektów dźwiękowych, gdy nagranie wielokanałowe nie jest odtwarzane z wykorzystaniem dekodera ujawnionego w niniejszym wynalazku. Podczas dekodowania kanały te są rozmiksowywane, w razie potrzeby wzmacniane, a następnie odtwarzane z wykorzystaniem górnych głośników. Miks stereofoniczny ( artystyczny ) i miks trójwymiarowy ( aurofoniczny ) zawarte w

13 12 miksie przestrzennym [0073] Jeżeli potrzebne jest utworzenie nagrania typu wszystko w jednym, na przykład 6 kanałów z próbkowaniem 96 khz (HD-DVD) lub 192 khz (BLU-Ray DVD), które może być używane do artystycznego odtwarzania stereofonicznego, odtwarzania dźwięku przestrzennego 2D lub odtwarzania dźwięku aurofonicznego 3D, możliwe jest wykorzystanie niniejszego wynalazku. Wynalazek może zostać zastosowany do miksowania 3 (lub większej liczby) kanałów w celu uzyskania pojedynczego kanału przez zmniejszenie początkowej częstotliwości próbkowania o współczynnik 3 (lub większy) i aproksymację błędów generowanych podczas tego zmniejszenia, co ma na celu jak najdokładniejsze odtworzenie sygnału pierwotnego. Może to być na przykład miksowanie lewego przedniego kanału artystycznego o częstotliwości próbkowania 96 khz z (tłumionym) lewym przednim kanałem delta (L - artystycznym L przestrzennym) o częstotliwości próbkowania 96 khz oraz (tłumionym) lewym przednim kanałem górnym o częstotliwości próbkowania 96 khz. Podobny schemat miksowania może być zastosowany do przetwarzania prawego przedniego kanału. Lewy kanał przestrzenny surround i prawy kanał przestrzenny surround mogą być przetwarzane z wykorzystaniem miksowania dwukanałowego. Nawet kanał centralny może zostać zmiksowany ze górnym kanałem centralnym. Automatyczne tworzenie dźwięku 3D na podstawie klasycznego nagrania 2D [0074] Większość istniejących produkcji audio i wideo obejmuje dwuwymiarowe ścieżki dźwiękowe (przestrzenne surround). Poza rzeczywistą lokalizacją źródła dźwięku w trójwymiarowej przestrzeni - co może być wykorzystywane podczas masteringu i miksowania z wykorzystaniem kodera opisanego w niniejszym wynalazku, dzięki czemu informacje dotyczące dodatkowych kanałów są wprowadzane do nagrania dwuwymiarowego przez zastosowanie procesu miksowania w dół - rozproszony dźwięk obecny w standardowych dwuwymiarowych nagraniach audio może być przesuwany i odtwarzany z wykorzystaniem górnych głośników trójwymiarowej konfiguracji audio. Możliwe jest zastosowanie zautomatyzowanych (autonomicznych - nie dokonywanych w czasie rzeczywistym) procesów przetwarzania audio, w których rozproszony dźwięk jest wydzielany z nagrań dwuwymiarowych, jak również wykorzystanie wydzielonego dźwięku do utworzenia kanałów miksowanych (zgodnie ze schematem według niniejszego wynalazku) ze zredukowanymi ścieżkami audio nagrań przestrzennych 2D, dzięki czemu uzyskiwane jest wielokanałowe nagranie przestrzenne, które może być dekodowane w postaci dźwięku 3D. W zależności od wymagań obliczeniowych, technika filtrowania w celu wydzielenia rozproszonego dźwięku z kanałów surround 2D może być stosowana w czasie rzeczywistym. [007] Wynalazek może być wykorzystywany w różnych urządzeniach, stanowiąc element trójwymiarowego systemu audiofonicznego. [0076] Koder aurofoniczny aplikacja komputerowa (oprogramowanie) w postaci wtyczki. Narzędzia do masteringu i miksowania dźwięku, powszechnie dostępne w branży rejestracji nagrań audio/wideo, umożliwiają tworzenie wtyczek programowych przez firmy zewnętrzne. Zwykle udostępniony jest wspólny interfejs przesyłania danych/poleceń, umożliwiający włączanie wtyczek w zestawie narzędzi używanych przez realizatorów zajmujących się miksowaniem i masteringiem nagrań. Ponieważ rdzeń kodera aurofonicznego ma postać prostego kodera obejmującego wiele wejść kanałów audio i jedno wyjście kanału audio oraz umożliwiającego wprowadzanie ustawień użytkownika w postaci dodatkowych parametrów takich jak jakość i tłumienie/położenie kanału, wtyczka programowa może zostać dodana do narzędzi do masteringu /miksowania dźwięku. [0077] Dekoder aurofoniczny aplikacja komputerowa (oprogramowanie) w postaci wtyczki. Programowy dekoder w postaci wtyczki stanowiącej narzędzie weryfikacyjne wchodzące w skład narzędzi do masteringu i miksowania dźwięku może zostać opracowa-

14 ny w podobny sposób jak wtyczka stanowiąca koder. Taki programowy dekoder w postaci wtyczki może zostać również zintegrowany z wykorzystywanymi przez klientów/użytkowników końcowych komputerowymi programami do odtwarzania plików multimedialnych (takimi jak program Windows Media Player, programowe odtwarzacze płyt DVD, a zwłaszcza programowe odtwarzacze płyt HD-DVD/Blu-Ray). [0078] Dekoder aurofoniczny dedykowany układ scalony/procesor sygnałowy (ASIC/DSP) wbudowany w odtwarzaczach BLU-Ray i HD-DVD. [0079] Kilka nowych formatów multimediów wysokiej rozdzielczości (HD) określa wiele strumieni audio PCM o wysokiej częstotliwości/wysokiej rozdzielczości bitowej, które są dostępne (w postaci cyfrowej) w odpowiadających im odtwarzaczach (należących do klientów). Podczas odtwarzania zawartości w trybie, w którym dane audio w formacie PCM nie są miksowane/scalane/tłumione w celu wprowadzenia ich do przetworników analogowo-cyfrowych sygnału audio, dane audio w formacie PCM (mogą to być zakodowane dane sygnału aurofonicznego) mogą być przechwytywane przez dedykowany układ scalony ASIC lub procesor sygnałowy DSP (załadowany razem z oprogramowaniem układowym dekodera aurofonicznego) w celu przeprowadzenia dekodowania wszystkich zmiksowanych kanałów audio i wygenerowania dodatkowego zestawu wyjściowych sygnałów audio, aby dostarczyć na przykład artystyczny lewy/prawy kanał audiofoniczny lub na przykład dodatkowy zestaw górnych lewych/prawych wyjść. [0080] Dekoder aurofoniczny zintegrowana część oprogramowania układowego odtwarzaczy BLU-Ray i HD-DVD. Jeżeli podczas odtwarzania płyty BLU-Ray lub HD-DVD zasadne jest przeprowadzenia procesu dekodowania sygnału aurofonicznego, konieczne jest włączenie w odtwarzaczu trybu filmowego, aby mikser sygnału audio odtwarzacza nie zniekształcał/modyfikował pierwotnych danych zawartych w strumieniach PCM zapisanych na płycie. W tym trybie nie jest wymagane wykorzystanie pełnej mocy przetwarzania zapewnianej przez jednostkę centralną CPU i procesor sygnałowy DSP odtwarzacza. Możliwe jest zatem zintegrowanie dekodera aurofonicznego w postaci dodatkowego procesu rozmiksowywania, który zaimplementowany jest w oprogramowaniu układowym jednostki centralnej CPU i procesora sygnałowego DSP odtwarzacza. [0081] Dekoder aurofoniczny dedykowany układ scalony ASIC /procesor sygnałowy DSP wbudowany w przełącznikach HDMI lub w urządzeniach audio z interfejsem USB lub FIREWIRE. [0082] Interfejs HDMI (High Definition Multimedia Interface multimedialny interfejs wysokiej rozdzielczości) umożliwia przesyłanie pełnego pasma strumieni wielokanałowego sygnału audio (8 kanałów, 192 khz, 24 bity). Przełączniki HDMI powtórnie generują dane audio/wideo, przeprowadzając najpierw deszyfrowanie, dzięki któremu dane audio przesyłane za pośrednictwem interfejsu HDMI są wewnętrznie dostępne w przełączniku. Kodowany aurofoniczny sygnał audio może być dekodowany z wykorzystaniem dodatkowego układu, w którym zaimplementowany jest dekoder aurofoniczny. Podobne dodatkowe układy (zawarte zwykle w narzędziach do rejestracji/odtwarzania sygnałów audio) mogą być wykorzystywane w wielokanałowych urządzeniach wejścia-wyjścia z interfejsem USB lub FIREWIRE. [0083] Opisany tu koder może zostać zintegrowany z większym urządzeniem, takim jak system do rejestracji dźwięku, lub może mieć postać osobnego kodera, który podłączany jest do systemu rejestracji dźwięku lub systemu miksowania dźwięku. Koder może być również zaimplementowany w postaci programu komputerowego, który po uruchomieniu za pomocą odpowiedniego systemu komputerowego może na przykład realizować sposoby kodowania według niniejszego wynalazku. [0084] Opisany tu dekoder może zostać zintegrowany z większym urządzeniem, takim jak moduł wyjściowy urządzenia do odtwarzania sygnałów audio albo moduł wejściowy urządzenia do wzmacniania sygnałów audio, lub może mieć postać osobnego dekodera, który za pośrednictwem jego wejścia podłączany jest do źródła zakodowanego strumienia połą-

15 czonych danych, a za pośrednictwem wyjścia podłączany jest do wzmacniacza. [008] Używane w tym dokumencie określenie urządzenie do przetwarzania sygnału cyfrowego należy rozumieć jako urządzenie stanowiące część sekcji rejestracji dźwięku w łańcuchu rejestracji/przesyłania/odtwarzania dźwięku, na przykład stół mikserski, urządzenie rejestrujące przeznaczone do nagrywania na nośnikach zapisu, takich jak dyski optyczne lub dyski twarde, urządzenie do przetwarzania sygnału lub urządzenie do przechwytywania sygnału. [0086] Używane w tej publikacji określenie urządzenie odtwarzające należy rozumieć jako urządzenie stanowiące część sekcji odtwarzania dźwięku w łańcuchu rejestracji/przesyłania/odtwarzania dźwięku, na przykład wzmacniacz sygnału audio lub urządzenie odtwarzające przeznaczone do odczytywania danych z nośnika. [0087] Urządzenie odtwarzające lub dekoder może być korzystnie zamontowane w pojeździe takim jak samochód lub autobus. W pojeździe pasażer zwykle jest otoczony kabiną pasażerską. [0088] Kabina pasażerska umożliwia łatwe rozmieszczenie głośników, za pośrednictwem których odtwarzany jest wielokanałowy sygnał audio. Projektant ma zatem możliwość dopasowania środowiska dźwiękowego do odtwarzania trójwymiarowego lub innego wielokanałowego sygnału audio w kabinie pasażerskiej. [0089] Inną zaletą jest możliwość łatwego ukrycia okablowania głośników, podobnie jak wszelkiego innego okablowania. Podobnie jak wiele obecnie montowanych głośników, dolny zestaw głośników stanowiący część trójwymiarowego systemu głośników umieszczony jest w dolnej części kabiny pasażerskiej, na przykład w panelach drzwiowych, w desce rozdzielczej lub w pobliżu podłogi. Górny zestaw głośników stanowiący część trójwymiarowego systemu głośników może być umieszczony w górnej części kabiny pasażerskiej, na przykład w pobliżu sufitu lub w innym miejscu znajdującym się powyżej zestawu wskaźników lub deski rozdzielczej, a co najmniej powyżej dolnego zestawu głośników. [0090] Korzystne jest również zapewnienie użytkownikowi możliwości przełączania urządzenia odtwarzającego pomiędzy pierwszym stanem, w którym dekoder przeprowadza rozplatanie kanałów audio i po przeprowadzeniu rozplatania przesyła je do wzmacniacza, a drugim stanem, w którym do wzmacniacza przesyłane są połączone kanały audio. Przełączenie między odtwarzaniem trójwymiarowym a odtwarzaniem dwuwymiarowym może być dokonywane przez pominięcie dekodera. [0091] W innej konfiguracji możliwe jest również zastosowanie przełączania między odtwarzaniem dwuwymiarowym a odtwarzaniem stereofonicznym. [0092] Wymagania odtwarzania dwuwymiarowego i trójwymiarowego sygnału audio, takie jak sposób rozmieszczenia głośników, nie stanowią części niniejszego wynalazku, a zatem nie zostaną szczegółowo omówione. Należy jednak pamiętać, że wynalazek może być przystosowany do dowolnej konfiguracji kanałów wybranej przez projektanta urządzenia do odtwarzania wielokanałowego sygnału audio, na przykład podczas projektowania samochodu pod kątem właściwego odtwarzania dźwięku wielokanałowego. Opis figur 4 0 [0093] Wynalazek zostanie poniżej opisany w odniesieniu do załączonych figur. Na fig. 1 przedstawiono koder według wynalazku przeznaczony do łączenia dwóch kanałów. Na fig. 2 przedstawiono pierwszy zestaw danych cyfrowych przekształcany przez przyrównywanie próbek. Na fig. 3 przedstawiono drugi zestaw cyfrowych danych przekształcany przez przyrównywanie próbek. Na fig. 4 przedstawiono kodowanie dwóch wynikowych zestawów danych cyfrowych w celu uzyskania trzeciego zestawu danych cyfrowych.

16 2 Na fig. przedstawiono dekodowanie trzeciego zestawu danych cyfrowych w celu ponownego uzyskania osobnych zestawów danych cyfrowych. Na fig. 6 przedstawiono ulepszone przekształcanie pierwszego zestawu danych cyfrowych. Na fig. 7 przedstawiono ulepszone przekształcanie drugiego zestawu danych cyfrowych. Na fig. 8 przedstawiono kodowanie dwóch wynikowych zestawów danych cyfrowych w celu uzyskania trzeciego zestawu danych cyfrowych. Na fig. 9 przedstawiono dekodowanie trzeciego zestawu danych cyfrowych w celu ponownego uzyskania osobnych zestawów danych cyfrowych. Na fig. przedstawiono przykład, w którym widoczne są próbki pierwszego strumienia A uzyskane z wykorzystaniem kodowania przedstawionego na fig. 6. Na fig. 11 przedstawiono przykład, w którym widoczne są próbki pierwszego strumienia B uzyskane z wykorzystaniem kodowania przedstawionego na fig. 7. Na fig. 12 przedstawiono próbki zmiksowanego strumienia C. Na fig. 13 przedstawiono błędy wprowadzane do strumienia PCM według wynalazku. Na fig. 14 przedstawiono format obszaru dodatkowych danych w najmniej znaczących bitach próbek połączonego zestawu danych cyfrowych. Na fig. przedstawiono bardziej szczegółowo obszar dodatkowych danych. Na fig. 16 przedstawiono sytuację, w której dostosowywanie prowadzi do uzyskania bloków danych sygnału aurofonicznego o zmiennej długości. Na fig. 17 przedstawiono przegląd etapów przetwarzania objaśnionych we wcześniejszych akapitach. Na fig. 18 przedstawiono koder aurofoniczny. Na fig. 19 przedstawiono dekoder aurofoniczny. Opis postaci wykonania [0094] Figura 1 przedstawia koder według wynalazku przeznaczony do łączenia dwóch kanałów. Koder zawiera pierwszy moduł przyrównujący 11a i drugi moduł przyrównujący 11b. Każdy z modułów przyrównujących 11a, 11b odbiera zestaw danych cyfrowych z odpowiadającego mu wejścia kodera. [009] Pierwszy moduł przyrównujący 11a wybiera pierwszy podzestaw próbek pierwszego zestawu danych cyfrowych i przyrównuje każdą próbkę z pierwszego podzestawu do sąsiednich próbek z drugiego podzestawu próbek pierwszego zestawu danych cyfrowych, przy czym pierwszy podzestaw próbek i drugi podzestaw próbek są przeplecione ze sobą, co zostanie szczegółowo opisane w odniesieniu do fig. 2. Uzyskiwany zestaw danych cyfrowych, zawierający próbki, o niezmienionej wartości, drugiego podzestawu oraz przyrównane próbki pierwszego podzestawu, może być przesyłany do pierwszego opcjonalnego modułu zmniejszającego rozmiar próbek 12a lub bezpośrednio do modułu łączącego 13. [0096] Drugi moduł przyrównujący 11b wybiera trzeci podzestaw próbek drugiego zestawu danych cyfrowych i przyrównuje każdą próbkę z trzeciego podzestawu do sąsiednich próbek z czwartego podzestawu próbek drugiego zestawu danych cyfrowych, przy czym trzeci podzestaw próbek i czwarty podzestaw próbek są przeplecione ze sobą, co zostanie szczegółowo opisane w odniesieniu do fig. 3. Uzyskiwany zestaw danych cyfrowych, zawierający próbki czwartego podzestawu oraz przyrównane próbki trzeciego podzestawu, może być przesyłany do drugiego opcjonalnego modułu zmniejszającego rozmiar próbek 12b lub bezpośrednio do modułu łączącego 13. [0097] Pierwszy i drugi moduł zmniejszający rozmiar próbek usuwają określoną liczbę mniej znaczących bitów z próbek odpowiadających im zestawów danych cyfrowych, na przykład zmniejszając rozmiar próbek z 24 bitów do bitów przez usunięcie czterech

17 najmniej znaczących bitów. [0098] Przyrównywanie próbek przeprowadzane przez moduły przyrównujące 11a, 11b powoduje wprowadzanie błędu. W rozwiązaniu opcjonalnym błąd ten jest aproksymowany z wykorzystaniem modułu aproksymującego błędy, co dokonywane jest przez porównanie wartości próbek przyrównanych z pierwotnymi wartościami próbek. Ta aproksymacja błędu może być wykorzystywana w dekoderze w celu dokładniejszego odtwarzania pierwotnych zestawów danych cyfrowych, co zostanie przedstawione w dalszej części opisu. Moduł łączący 13 dodaje wprowadzane do jego wejścia próbki pierwszego zestawu danych cyfrowych do odpowiadających im próbek drugiego zestawu danych cyfrowych, po czym przesyła za pośrednictwem wyjścia uzyskiwane próbki trzeciego zestawu danych cyfrowych do modułu formatującego 14, który wprowadza do najmniej znaczących bitów trzeciego zestawu danych cyfrowych dodatkowe dane, takie jak wartości początkowe pochodzące z dwóch zestawów danych cyfrowych i aproksymacje błędów przesyłane przez moduł aproksymujący błędy, a następnie uzyskiwany zestaw danych cyfrowych udostępniany jest na wyjściu kodera. [0099] W celu wyjaśnienia zasady działania przedstawionych postaci realizacji wykorzystano dwa strumienie wejściowe, lecz wynalazek może być równie dobrze wykorzystywany w przypadku trzech lub większej liczby strumieni wejściowych, które łączone są w jeden pojedynczy strumień wyjściowy. [00] Na fig. 2 przedstawiono pierwszy zestaw danych cyfrowych przekształcany przez przyrównywanie próbek. Pierwszy zestaw danych cyfrowych zawiera sekwencję wartości próbek A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9. Pierwszy zestaw danych cyfrowych podzielony jest na pierwszy podzestaw próbek A 1, A 3, A, A 7, A 9 oraz drugi podzestaw próbek A 0, A 2, A 4, A 6, A 8. [01] Następnie każda wartość każdej z próbek A 1, A 3, A, A 7, A 9 pierwszego podzestawu danych przyrównywana jest do wartości sąsiedniej próbki A 0, A 2, A 4, A 6, A 8 drugiego podzestawu danych, co oznaczono na fig. 2 strzałkami. Oznacza to w szczególności, że wartość próbki A 1 zastępowana jest przez wartość sąsiedniej próbki A 0, tj. wartość próbki A 1 przyrównywana jest do wartości próbki A 0. W ten sposób uzyskiwany jest przedstawiony na rysunku pierwszy pośredni zestaw 21 danych cyfrowych, który zawiera wartości próbek A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9, gdzie wartość A 0 jest równa wartości A 0, wartość A 1 jest równa wartości A 0 itd. Na fig. 6 przedstawiono postać realizacji, w której wartość A 0 nie jest równa wartości A na skutek zmniejszenia liczby bitów w próbce. [02] Na fig. 3 przedstawiono drugi zestaw danych cyfrowych przekształcany przez przyrównywanie próbek. [03] Drugi zestaw danych cyfrowych zawiera sekwencję wartości próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9. Drugi zestaw danych cyfrowych podzielony jest na trzeci podzestaw próbek B 0, B 2, B 4, B 6, B 8 oraz czwarty podzestaw próbek B 1, B 3, B, B 7, B 9. [04] Następnie każda wartość każdej z próbek B 0, B 2, B 4, B 6, B 8 trzeciego podzestawu danych przyrównywana jest do wartości sąsiedniej próbki B 1, B 3, B, B 7, B 9 czwartego podzestawu danych, co oznaczono na fig. 3 strzałkami. [0] Oznacza to w szczególności, że wartość próbki B 2 zastępowana jest przez wartość sąsiedniej próbki B 1, tj. wartość próbki B 2 przyrównywana jest do wartości próbki B 1. [06] W ten sposób uzyskiwany jest drugi pośredni zestaw 31 danych cyfrowych, który jak pokazano zawiera wartości próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9, gdzie wartość B 1 jest równa wartości B 1, wartość B 2 jest równa wartości B 1 itd. Na fig. 7 przedstawiono postać realizacji, w której wartość B 1 nie jest równa wartości B 1 na skutek zmniejszenia liczby bitów w próbce. [07] Na fig. 4 przedstawiono kodowanie dwóch uzyskiwanych zestawów danych cyfrowych w celu uzyskania trzeciego zestawu danych cyfrowych. [08] Pierwszy pośredni zestaw 21 danych cyfrowych i drugi pośredni zestaw 31 danych

18 cyfrowych są obecnie łączone przez dodanie do siebie odpowiadających sobie próbek. [09] Przykładowo, druga próbka A 1 pierwszego pośredniego zestawu 21 danych cyfrowych dodawana jest do drugiej próbki B 1 drugiego pośredniego zestawu 31 danych cyfrowych. Uzyskiwana pierwsza połączona próbka C 1 umieszczana jest na drugiej pozycji trzeciego zestawu danych cyfrowych i ma wartość A 1 +B 1. [01] Trzecia próbka A 2 pierwszego pośredniego zestawu 21 danych cyfrowych jest dodawana do trzeciej próbki B 2 drugiego pośredniego zestawu 31 danych cyfrowych. Uzyskiwana druga połączona próbka C 2 umieszczana jest na trzeciej pozycji trzeciego zestawu danych cyfrowych i ma wartość A 2 +B 2. [0111] Na fig. przedstawiono dekodowanie trzeciego zestawu danych cyfrowych w celu ponownego uzyskania dwóch osobnych zestawów danych cyfrowych. [0112] Trzeci zestaw danych cyfrowych przesyłany jest do dekodera w celu przeprowadzania procesu rozplatania dwóch zestawów 31, 32 danych cyfrowych zawartych w trzecim zestawie danych cyfrowych. [0113] Pierwsza pozycja trzeciego zestawu danych cyfrowych zawiera wartość A 0 stanowiącą wartość początkową, która jest wymagana w procesie dekodowania. Wartość początkowa może być przechowywana w dowolnej innej lokalizacji, lecz w celu łatwiejszego przedstawienia procesu została ona przedstawiona na pierwszej pozycji. Na drugiej pozycji znajduje się pierwsza połączona próbka o wartości A 0 +B 0. Ponieważ w dekoderze znana jest wartość początkowa A 0, która została odczytana z pierwszej pozycji, wartość próbki drugiego pośredniego zestawu danych cyfrowych może zostać ustalona przez przeprowadzenie odejmowania C 0 -A 0 = (A 0 +B 0 )-A 0 = B 0. [0114] Odtworzona wartość próbki B 0 wykorzystywana jest do odtworzenia drugiego pośredniego zestawu danych cyfrowych, jak również do odtworzenia próbki pierwszego pośredniego zestawu danych cyfrowych. Ponieważ znana jest wartość A 0, zaś sąsiednia próbka A 1 ma taką samą wartość, możliwe jest teraz obliczenie wartości próbki drugiego pośredniego zestawu danych cyfrowych: C 1 -A 1 = (A 1 +B 1 )-A 1 = B 1. [01] Odtworzona wartość próbki B 1 wykorzystywana jest do odtworzenia drugiego pośredniego zestawu danych cyfrowych, jak również do odtworzenia próbki pierwszego pośredniego zestawu danych cyfrowych. [0116] Ponieważ obecnie znana jest wartość B 1, zaś sąsiednia próbka B 2 ma taką samą wartość, możliwe jest teraz obliczenie wartości próbki pierwszego pośredniego zestawu danych cyfrowych: C 2 -B 2 = (A 2 +B 2 )-B 2 = A 2. [0117] Odtworzona wartość próbki A 2 wykorzystywana jest do odtworzenia pierwszego pośredniego zestawu danych cyfrowych, jak również do odtworzenia próbki drugiego pośredniego zestawu danych cyfrowych. [0118] Procedura ta może zostać powtórzona w odniesieniu do pozostałych próbek, tak jak to przedstawiono na fig.. [0119] W celu przeprowadzania aproksymacji pierwszego pierwotnego zestawu danych cyfrowych uzyskany pierwszy pośredni zestaw danych cyfrowych może być przetwarzany z wykorzystaniem informacji dotyczących sygnału, które są znane w systemie, na przykład odtwarzanie próbek sygnału audio utraconych podczas kodowania i dekodowania (przyrównanych próbek) przez interpolację lub z wykorzystaniem innych znanych sposobów rekonstrukcji sygnału. Tak jak to zostanie przedstawione w dalszej części opisu, możliwe jest również przechowywanie informacji dotyczących błędów wprowadzanych do sygnału w procesie przyrównywania, a następnie wykorzystywanie tych informacji dotyczących błędów podczas odtwarzania próbek, dzięki czemu ich wartości są zbliżone do wartości próbek przed przeprowadzeniem procesu przyrównywania, tj. zbliżone do wartości próbek zawartych w pierwotnym zestawie 21 danych cyfrowych.

19 [01] To samo można również wykonać dla każdego uzyskanego pośredniego zestawu danych cyfrowych w celu przywrócenia wartości wyrównanych próbek do wartości możliwie bliskiej do pierwotnej wartości próbek w pierwotnym zestawie danych cyfrowych. [0121] W przedstawionym poniżej opisie figur 6, 7 i 8 rozdzielczość bitowa dwóch kanałów pierwotnych jest zmniejszana, na przykład z 24 bitów na próbkę do 18 bitów na próbkę. Po zmniejszeniu rozdzielczości próbek częstotliwość próbkowania jest zmniejszana o połowę w porównaniu do pierwotnej częstotliwości próbkowania (w tym przykładzie dwa kanały audio mają na początku procesu takie same rozdzielczości bitowe i częstotliwości próbkowania). Możliwe jest również zastosowanie innych kombinacji, na przykład redukcji X bitów do Y bitów (gdzie X/Y wynosi na przykład 24/22, 24/, 24/16 itd. lub /18, /16 lub 16/, 16/14, ), biorąc pod uwagę wymagania specyfikacji sygnału audio o wysokiej jakości (HiFi), nie należy zmniejszać rozdzielczości bitowej próbek do wartości mniejszej niż 14 bitów... Jeżeli miksowana jest większa liczba kanałów, opisana tu podstawowa technika wymaga podzielenia częstotliwości próbkowania przez liczbę kanałów, które są miksowane ze sobą w celu uzyskania jednego kanału. Im większa jest liczba miksowanych ze sobą kanałów, tym niższa jest rzeczywista częstotliwość próbkowania kanałów (przed ich miksowaniem). W przypadku płyt HD-DVD i BLU-Ray DVD początkowa częstotliwość próbkowania może wynosić 96 khz lub nawet 192 khz (BLU-Ray). Rozpoczynając przetwarzanie od dwóch kanałów o częstotliwości próbkowania 96 khz każdy, po zmniejszeniu obydwu częstotliwości do 48 khz nadal uzyskiwana jest częstotliwość spełniająca wymagania specyfikacji sygnału audio o wysokiej jakości (HiFi). Nawet miksowanie trzech kanałów i zmniejszenie częstotliwości próbkowania do 32 khz jest akceptowalne z punktu widzenia standardu jakości dźwięku filmowego/telewizyjnego (jest to częstotliwość wykorzystywana do cyfrowego przesyłania sygnału audio w standardzie telewizyjnym NICAM). Rozpoczynając przetwarzanie od nagrań o rzeczywistej częstotliwości próbkowania wynoszącej 192 khz, możliwe jest miksowanie czterech kanałów przy zmniejszeniu częstotliwości próbkowania do 48 khz. [0122] Na fig. 6 przedstawiono ulepszone przekształcanie pierwszego zestawu danych cyfrowych. W ulepszonym przekształcaniu najmniej znaczące bity próbek nie reprezentują już wartości pierwotnych próbek, lecz wykorzystywane są do przechowywania dodatkowych informacji, takich jak wartości początkowe, wzory synchronizacyjne, informacje dotyczące błędów powodowanych przez przyrównywanie próbek lub inne informacje sterujące. [0123] Pierwszy zestaw danych cyfrowych zawiera sekwencję wartości próbek A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9. Wartość każdej z próbek A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9 jest obcinana, co prowadzi do uzyskania obciętych lub zaokrąglonych wartości próbek A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9. Biorąc pod uwagę najmniej znaczące bity, ten zestaw 60 obciętych wartości próbek A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9 nie zawiera już informacji dotyczących próbek i przetwarzany jest następnie w sposób opisany w odniesieniu do fig. 2. Zestaw 60 obciętych wartości próbek dzielony jest na pierwszy podzestaw próbek A 1, A 3, A, A 7, A 9 oraz drugi podzestaw próbek A 0, A 2, A 4, A 6, A 8. [0124] Następnie każda wartość każdej z próbek A 1, A 3, A, A 7, A 9 pierwszego podzestawu danych przyrównywana jest do wartości sąsiedniej próbki A 0, A 2, A 4, A 6, A 8 drugiego podzestawu danych, co oznaczono strzałkami na fig. 6. [012] Oznacza to w szczególności, że wartość próbki A 1 zastępowana jest przez wartość sąsiedniej próbki A 0, tj. wartość próbki A 1 przyrównywana jest do wartości próbki A 0. W ten sposób uzyskiwany jest przedstawiony na rysunku pierwszy pośredni zestaw 61 danych cyfrowych, który zawiera wartości próbek A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9, gdzie wartość A 0 jest równa wartości A 0, wartość A 1 jest równa wartości A 0 itd. [0126] Należy zauważyć, że w wyniku obcinania, tj. zaokrąglania wartości próbek, w pierwszym pośrednim zestawie 61 danych cyfrowych utworzono zarezerwowany obszar

20 [0127] Na fig. 7 przedstawiono ulepszone przekształcanie drugiego zestawu danych cyfrowych. [0128] Tak samo jak w przypadku pierwszego zestawu danych cyfrowych, przekształcanie może być ulepszone w taki sposób, że najmniej znaczące bity próbek nie reprezentują już wartości pierwotnych próbek, lecz wykorzystywane są do przechowywania dodatkowych informacji, takich jak wartości początkowe, wzory synchronizacyjne, informacje dotyczące błędów powodowanych przez przyrównywanie próbek lub inne informacje sterujące. Pierwszy zestaw danych cyfrowych zawiera sekwencję wartości próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9. Wartość każdej z próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9 jest obcinana, co prowadzi do uzyskania obciętych lub zaokrąglonych wartości próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9. Biorąc pod uwagę najmniej znaczące bity, ten zestaw 70 obciętych wartości próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9 nie zawiera już informacji dotyczących próbek i przetwarzany jest następnie w sposób opisany w odniesieniu do fig. 3. [0129] Zestaw 70 obciętych wartości próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9 dzielony jest na trzeci podzestaw próbek B 0, B 2, B 4, B 6, B 8 oraz czwarty podzestaw próbek B 1, B 3, B, B 7, B 9. [01] Następnie każda wartość każdej z próbek B 0, B 2, B 4, B 6, B 8 trzeciego podzestawu danych przyrównywana jest do wartości sąsiedniej próbki B 1, B 3, B, B 7, B 9 czwartego podzestawu danych, co oznaczono strzałkami na fig. 3. [0131] Oznacza to w szczególności, że wartość próbki B 2 zastępowana jest przez wartość sąsiedniej próbki B 1, tj. wartość próbki B 2 przyrównywana jest do wartości próbki B 1. W ten sposób uzyskiwany jest przedstawiony na rysunku drugi pośredni zestaw 71 danych cyfrowych, który zawiera wartości próbek B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9, gdzie wartość B 2 jest równa wartości B 1, wartość B 1 jest równa wartości B 1 itd. [0132] Należy zauważyć, że w wyniku obcinania, tj. zaokrąglania wartości próbek, w drugim pośrednim zestawie 71 danych cyfrowych utworzono zarezerwowany obszar 72. [0133] Zmniejszenie rozdzielczości wprowadzane przez zaokrąglanie opisane w odniesieniu do fig. 6 i 7 jest w zasadzie nieodwracalne, lecz możliwe jest zastosowanie technik mających na celu uzyskanie wrażenia większej częstotliwości próbkowania. Jeżeli wymagana jest większa rozdzielczość bitowa, wynalazek umożliwia zwiększenie wartości Y (liczby rzeczywiście używanych bitów) kosztem mniejszej ilości przestrzeni dostępnej na zakodowane dane lub wartości X bitów na próbkę. Błąd aproksymacji zapisany w bloku danych w obszarze dodatkowych danych umożliwia oczywiście znaczne zmniejszenie postrzeganego zmniejszenia rozdzielczości. [0134] W przypadku strumienia danych audio PCM o rozdzielczości 24 bitów w formacie 18/16 i miksowania dwóch kanałów, uzyskiwane są próbki audio składające się z 18 bitów i próbki danych składające się z 6 bitów, przy czym każdy z bloków danych rozpoczyna się od 6 synchronizujących próbek danych (z których każda zawiera 6 bitów), 2 próbki danych (czyli ogółem 12 bitów) wykorzystywane są do przechowywania długości bloku danych, a 2 x 3 próbki danych (2 x 18 bitów) wykorzystywane są do przechowywania zduplikowanych próbek audio. W przypadku innych formatów, struktura może być na przykład następująca: - 16/8: 8 synchronizujących próbek danych, 2 próbki danych (16 bitowe, używanych jest tylko 12 bitów) wykorzystywane do przechowywania długości bloku danych, 2 x 2 próbki danych (2 x 16 bitów) wykorzystywane do przechowywania zduplikowanych próbek audio; - /4: 4 synchronizujące próbki danych, 3 próbki danych (czyli ogółem 12 bitów) wykorzystywane do przechowywania długości bloku danych, 2 x próbek danych (2 x bitów) wykorzystywanych do przechowywania zduplikowanych próbek audio; - 22/2: 2 synchronizujące próbki danych, 6 próbek danych (czyli ogółem 12 bitów) wy-

21 korzystywanych do przechowywania długości bloku danych, 2 x 11 próbek danych (2 x 22 bitów) wykorzystywanych do przechowywania zduplikowanych próbek audio; [013] W przypadku innych formatów (na przykład sygnał audio PCM o rozdzielczości 16 bitów w formacie 14/2) możliwe jest określenie podobnych struktur. [0136] Na fig. 8 przedstawiono kodowanie dwóch uzyskiwanych zestawów danych cyfrowych w celu uzyskania trzeciego zestawu danych cyfrowych. [0137] Kodowanie przeprowadzane jest w taki sam sposób, jak to opisano w odniesieniu do fig. 4. [0138] Pierwszy pośredni zestaw 61 danych cyfrowych ma zarezerwowany obszar 62, a drugi pośredni zestaw 71 danych cyfrowych ma zarezerwowany obszar 72, więc dodanie do siebie obydwu zestawów danych cyfrowych prowadzi do uzyskania trzeciego zestawu 80 danych cyfrowych, który obejmuje obszar 81 dodatkowych danych. [0139] W tym obszarze 81 dodatkowych danych mogą być umieszczone dodatkowe dane. [01] W przypadku odtwarzania trzeciego zestawu 80 danych cyfrowych z wykorzystaniem urządzenia, które nie umożliwia wykrywania obecności obszaru 81 dodatkowych danych, dane znajdujące się w obszarze 81 dodatkowych danych traktowane są przez takie urządzenie jako najmniej znaczące bity odtwarzanych danych cyfrowych. [0141] Dane umieszczone w tym obszarze 81 dodatkowych danych wprowadzają zatem do sygnału niewielkie zakłócenia, które są niemal niemożliwe do usłyszenia. Stopień niesłyszalności jest oczywiście uzależniony od wybranej liczby najmniej znaczących bitów wykorzystywanych do zarezerwowania obszaru 81 dodatkowych danych, a specjaliści w tej dziedzinie łatwo wybiorą liczbę najmniej znaczących bitów, która jest właściwa z punktu widzenia równowagi między wymaganiami związanymi z przechowywaniem danych w obszarze 81 dodatkowych danych a powodowaną przez nie utratą jakości sygnału zawartego w zestawie danych cyfrowych. Oczywiste jest, że w przypadku systemu audio o rozdzielczości 24 bitów liczba najmniej znaczących bitów przeznaczonych na obszar 81 dodatkowych danych może być większa niż w przypadku systemu audio o rozdzielczości 16 bitów. [0142] W celu zapewnienia możliwości przeprowadzenia operacji odwrotnej (rozmiksowywania), przechowywane są zduplikowane kopie ograniczonej liczby próbek. [0143] Chociaż w powyższych przykładach wykorzystywana i przechowywana jest tylko jedna próbka stanowiąca wartość początkową, tj. zduplikowana kopia próbki, w korzystnym rozwiązaniu przechowywanych jest jednak wiele próbek stanowiących wartości początkowe, dzięki czemu zapewniono nadmiarowość. Nadmiarowość polega na powtarzalnym charakterze przechowywanych wartości początkowych, które umożliwiają wyeliminowanie błędów przez zapewnienie w strumieniu nowych punktów początkowych, jak również na możliwości przechowywania dwóch wartości początkowych dotyczących każdej z pozycji początkowych. Wartości początkowe A0 i B1 umożliwiają weryfikację pozycji początkowej, ponieważ obliczenia rozpoczynane z wykorzystaniem A0 prowadzą do uzyskania wartości B0, która w celu weryfikacji może następnie zostać porównana z przechowywaną wartością początkową. Kolejna zaleta polega na tym, że przechowywanie wartości A0 i B1 umożliwia wyszukiwanie prawidłowej pozycji początkowej, której dotyczą dwie wartości początkowe, co umożliwia samoczynną synchronizację wartości początkowych i zestawu danych cyfrowych C, ponieważ istnieje duże prawdopodobieństwo występowania jednej pozycji, w przypadku której proces dekodowania z wykorzystaniem wartości początkowej A0 prowadzi do uzyskania dokładnie wartości B1, która jest równa przechowywanej wartości początkowej B1. [0144] Przykładowo, w przypadku sygnału o częstotliwości próbkowania 96 khz i rozdzielczości 24 bitów (Z) przetwarzanego w celu uzyskania sygnału o częstotliwości próbkowania 48 khz i rozdzielczości 18 bitów (Y) oraz tworzenia duplikatu jednej próbki na jedną milisekundę, tj. jednej wartości początkowej na jedną milisekundę, w każdym z miksowanych kanałów otrzymywanych jest bitowych próbek, tj. wartości początko-

22 wych. Jeżeli miksowanie obejmuje 2 kanały, wymagane jest zapewnienie 2 x 00 x 18 bitów lub 36 kilobitów przestrzeni przeznaczonej do zapisywania duplikatów próbek na sekundę. W obszarze dodatkowych danych w najmniej znaczących bitach utworzono wcześniej dodatkową przestrzeń -6 bitów (X) na próbkę przy częstotliwości próbkowania 96 khz 6 x 96 = 76 kilobitów na sekundę, w której można łatwo przechowywać zduplikowane kopie wartości próbek. Jeżeli w obszarze dodatkowych danych nie są przechowywane żadne inne informacje, w rzeczywistości przestrzeń dostępna na przechowywanie tych kopii jest 16 razy większa, a więc możliwe jest przechowywanie zduplikowanych próbek 2 kanałów tworzonych 16 razy na milisekundę. W przypadku wybrania innych wartości Z/Y/X, na przykład 24//4 przy częstotliwości próbkowania 96 khz lub 16/14/2 przy częstotliwości próbkowania 44,1 khz, ilość wolnej przestrzeni w obszarze dodatkowych danych w najmniej znaczących bitach będzie inna. Poniższe przykłady przedstawiono jedynie przykładowo i nie stanowią one ograniczenia wynalazku: 2 kanały 24//4 przy częstotliwości próbkowania 96 khz i 4 x 96 = 392 kilobitów na sekundę, wymagana pamięć 2 x 00 x = kilobitów na zduplikowane próbki na jedną milisekundę, a więc możliwe jest gromadzenie zduplikowanych próbek z częstotliwością 9,6 razy na milisekundę; 2 kanały 16/14/2 przy częstotliwości próbkowania 44,1 khz i 2 x 44,1 = 88,2 kilobitów na sekundę, wymagana pamięć 2 x 00 x 14 = 28 kilobitów na zduplikowane próbki na jedną milisekundę, a więc możliwe jest gromadzenie zduplikowanych próbek z częstotliwością 3, razy na milisekundę. W przytoczonych tu przykładach obszar dodatkowych danych utworzony z wykorzystaniem najmniej znaczących bitów próbek używany jest wyłącznie do przechowywania zduplikowanych próbek pierwotnych strumieni audio (o zmniejszonej rozdzielczości i częstotliwości). Ze względu na charakter i właściwości wykorzystywanej techniki korzystne jest, by wolny obszar dodatkowych danych nie był używany wyłącznie do przechowywania zduplikowanych próbek, aczkolwiek duplikaty próbek stanowią istotne informacje wykorzystywane w procesie rozmiksowywania lub przez dekoder. [014] W przypadku podstawowej techniki opisanej w odniesieniu do fig. 2 8 najpierw zmniejszana jest rozdzielczość bitowa dwóch strumieni audio PCM A (A 0, A 1, A 2 ) i B (B 0, B 1, B 2 ) w celu uzyskania dwóch nowych strumieni audio A (A 0, A 1, A 2 ) i B (B 0, B 1, B 2 ). Następnie częstotliwość próbkowania tych strumieni zmniejszana jest do połowy pierwotnej częstotliwości próbkowania, dzięki czemu uzyskiwane są strumienie A (A 0, A 1, A 2 ) i B (B 0, B 1, B 2 ). Ta ostatnia operacja powoduje wprowadzenie błędów, gdzie A 2i = A 2i+1 = A 2i generuje błąd E 2i+1 = A 2i+1 A 2i oraz B 2i+1 = B 2i+2 = B 2i+1 (B 0 = B 0 ) generuje błąd E 2i+2 = B 2i+2 B 2i+1 (E 0 = 0). Ten szereg błędów (E 0, E 1, E 2, E 3, ) zawiera błędy o parzystych indeksach będące skutkiem zmniejszenia częstotliwości próbkowania strumienia B oraz błędy o nieparzystych indeksach będące skutkiem zmniejszenia częstotliwości próbkowania strumienia A. W zaawansowanym kodowaniu przeprowadzana jest aproksymacja tych błędów, a aproksymacje wykorzystywane są do zmniejszenia błędów przed procesem miksowania. Aproksymowane błędy (które przedstawiane są jako elementy odwrotne do błędów) E dodawane są w procesie miksowania jako oddzielny kanał zawarty w obszarze dodatkowych danych w najmniej znaczących bitach próbek jako część miksowania. Miksowany sygnał jest więc zdefiniowany jako Z = A + B + E i obejmuje próbki (Z i = A i + B i + E i ). Jeżeli możliwe jest dokładne aproksymowanie strumienia błędów, to E = E, gdzie Z 2i = A 2i + B 2i + E 2i = A 2i + B 2i-1 + B 2i B 2i-1 = A 2i + B 2i oraz Z 2i+1 = A 2i+1 + B 2i+1 + E 2i+1 = A 2i + B 2i+1 + A 2i+1 A 2i = A 2i+1 + B 2i+1. W takim przypadku w miksowanym strumieniu końcowym nie występują błędy spowodowane zmniejszeniem częstotliwości próbkowania. [0146] Na fig. 9 przedstawiono dekodowanie trzeciego zestawu danych cyfrowych w celu ponownego uzyskania osobnych dwóch zestawów danych cyfrowych. [0147] Dekodowanie zestawu 80 danych cyfrowych uzyskanego drogą ulepszonego kodowania, tj. przy wykorzystaniu najmniej znaczących bitów 81 do przechowywania dodat-

23 kowych danych, dokonywane jat tak samo jak zwykłe dekodowanie opisane w odniesieniu do fig., lecz dekoder udostępnia jedynie istotne bity każdej z próbek A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9, B 0, B 1, B 2, B 3, B 4, B, B 6, B 7, B 8, B 9, tj. nie są udostępniane najmniej znaczące bity. Dekoder umożliwia ponadto odtwarzanie dodatkowych danych, które zapisane są obszarze 81 dodatkowych danych w najmniej znaczących bitach. Te dodatkowe dane mogą być następnie przesyłane do docelowej lokalizacji dodatkowych danych, co zostanie opisane w odniesieniu do fig.. [0148] Jeżeli w dekoderze zostały już odtworzone zduplikowane próbki, wartości początkowe, to te zduplikowane próbki (wartości początkowe) są następnie wykorzystywane do rozmiksowywania zmiksowanego kanału. Zmiksowany kanał może mieć na przykład postać miksu strumieni danych PCM A i B, gdzie A 2i = A 2i+1 = A 2i oraz B 2i+1 = B 2i+2 = B 2i+1. A 0 i B 1 wykorzystywane są jako zduplikowane próbki i zakodowane są w bloku danych. [0149] W rozwiązaniu alternatywnym do opisanego w odniesieniu do fig., gdzie wykorzystywana była tylko jedna wartość początkowa, rozmiksowywanie (monofonicznych) sygnałów z A + B może być przeprowadzane w następujący sposób. Próbki A + B mają postać A 0 + B 0, A 1 + B 1, A 2 + B 2, A 3 + B 3, A 4 + B 4, A + B. Ponieważ dostępna jest kopia A 0 = A 0 i B 1 = B 1, możliwe jest odtworzenie strumieni A i B. 1. dzięki związkowi A 0 + B 0 (A 0 = A 0 ), otrzymywana jest wartość B 0, gdzie wartość A 0 pochodzi ze zduplikowanej próbki 2. dzięki związkowi A 1 + B 1 (B 1 = B 1 ), otrzymywana jest wartość A 1, gdzie wartość B pochodzi ze zduplikowanej próbki 3. dzięki związkowi A 2 + B 2 (B 2 = B 1 ), otrzymywana jest wartość A 2, zaś B 2 = B 1 4. dzięki związkowi A 3 + B 3 (A 3 = A 2 ), otrzymywana jest wartość B 3, zaś A 3 = A 2. dzięki związkowi A 4 + B 4 (B 4 = B 3 ), otrzymywana jest wartość A 4, zaś B 4 = B 3 6. dzięki związkowi A + B (A = A 4 ), otrzymywana jest wartość B, zaś A = A 4 7. [00] W przypadku formatów nośników takich jak płyty HD-DVD i BLU-Ray DVD wielokanałowy sygnał audio może być zapisywany w postaci multipleksu strumieni audio PCM. Zastosowanie przetwarzania każdego z tych kanałów z wykorzystaniem opisanej powyżej techniki miksowania/rozmiksowywania umożliwia łatwe podwojenie liczby kanałów (z 6 lub 8 do 12 lub 16). Zapewnia to możliwość zapisywania i tworzenia trzeciego wymiaru w nagraniach audio oraz odtwarzania z wykorzystaniem dodatkowych głośników górnych umieszczonych nad każdym z głośników podłogowych, przy czym odtwarzanie dwuwymiarowej wersji dźwięku nie wymaga posiadania przez użytkownika dekodera, ponieważ sygnał audio zapisany w ścieżkach wielokanałowego sygnału audio nadal ma postać sygnału PCM, który może być w 0% odtwarzany. W tym ostatnim trybie odtwarzania efekt trzeciego wymiaru nie jest tworzony, nie występuje również jednak możliwe do usłyszenia obniżenie jakości dwuwymiarowego nagrania audio. [01] Na fig. przedstawiono przykład, w którym widoczne są próbki pierwszego strumienia A uzyskane z wykorzystaniem kodowania przedstawionego na fig. 6. [02] Jako przykład przyjęto przetwarzanie 2 monofonicznych cyfrowych strumieni audio A i B o częstotliwości próbkowania 96 khz i rozdzielczości 24 bitów. [03] A = pierwotne próbki (24 bitowe), A = zaokrąglone próbki (18 bitów istotnych H i 6 bitów mniej znaczących L = 0), A = próbki o zmniejszonej częstotliwości próbkowania. [04] Na fig. pierwszy strumień audio A przedstawiony został na wykresie w postaci

24 linii ciemnoszarej. Próbkami strumienia A są A 0, A 1, A 2, A 3, A 4, A, Rozdzielczość każdej z próbek to 24 (Z) bity na próbkę reprezentowaną w postaci 24-bitowej wartości całkowitej ze znakiem, a ich wartości mieszczą się w przedziale od -2 (Z-1) do (2 (Z-1) -1). W tym szeregu próbek rozdzielczość zmniejszana jest do 18 (Y) bitów, co dokonywane jest przez wyzerowanie wartości 6 (X) najmniej znaczących bitów i ma na celu utworzenie przestrzeni na zakodowane dane. Zmniejszanie przeprowadzane jest przez zaokrąglenie wszystkich Z-bitowych próbek do najbliższej wartości wyrażonej z wykorzystaniem tylko Y najbardziej znaczących bitów z całkowitej liczby Z bitów. Wartość każdej z próbek zwiększana jest o (2 (X-1) -1), a całość jest ograniczana do (2 (Z-1) -1) lub reprezentowana w postaci [](2 (Z-1) -1). Następnie wartość 6 (X) najmniej znaczących bitów ustawiana jest na 0 przez przeprowadzaną na poziomie bitowym koniunkcję AND z ((2 (Y) -1) przesuniętym na poziomie bitowym o X bitów w lewo), dzięki czemu generowany jest nowy strumień A (kolor jasnoszary). Próbki A to A 0, A 1, A 2,, gdzie A i = [A i + (2 (x-1) (Z-1) -1)] (2-1) AND ((2 (Y) -1) << X) [0] Po zmniejszeniu rozdzielczości próbek zmniejszana jest również dwukrotnie częstotliwość próbkowania (w przypadku miksowania większej liczby kanałów niż 2 konieczne jest zmniejszenie częstotliwości próbkowania o współczynnik równy liczbie miksowanych kanałów). Następnie powtarzana jest każda parzysta próbka z pierwotnego strumienia A. Po zmniejszeniu częstotliwości próbkowania uzyskiwany jest nowy strumień A. Próbki A to A 0, A 1, A 2,, gdzie A 2i = A 2i+1 = A 2i [06] Wszystkie parzyste próbki A o indeksie 2i są identyczne jak pierwotne dane A o indeksie 2i, zaś wszystkie nieparzyste próbki A o indeksie 2i+1 stanowią duplikaty poprzednich próbek A o indeksie 2i. [07] Na fig. 11 przedstawiono przykład, w którym widoczne są próbki pierwszego strumienia B uzyskane z wykorzystaniem kodowania przedstawionego na fig. 7. [08] B = pierwotne próbki (24-bitowe), B = zaokrąglone próbki (18 bitów istotnych H i 6 bitów mniej znaczących L = 0), B = próbki o zmniejszonej częstotliwości próbkowania. [09] Na fig. 11 drugi strumień audio B przedstawiony został na wykresie w postaci linii ciemnoszarej. W przypadku tego strumienia przeprowadzane jest takie samo zmniejszenie rozdzielczości próbek. Próbkami B są B 0, B 1, B 2, B 3, B 4, B, Na podstawie tego szeregu próbek generowany jest strumień B (kolor jasnoszary). Próbkami B są B 0, B 1, B 2,, gdzie B i = [B i + (2 (X-1) -1)](2 (Z-1) -1) AND ((2 (Y) -1) << X) [0160] Po zmniejszeniu rozdzielczości próbek zmniejszana jest również dwukrotnie częstotliwość próbkowania, dzięki czemu otrzymywany jest nowy strumień B. Próbkami B są B 0, B 1, B 2,, gdzie B 2i+1 = B 2i+2 = B 2i+1 [0161] Wszystkie nieparzyste próbki B o indeksie 2i+1 są identyczne jak pierwotne dane B o indeksie 2i+1, zaś wszystkie parzyste próbki B o indeksie 2i+2 stanowią duplikaty poprzednich próbek B o indeksie 2i+1. [0162] Na fig. 12 przedstawiono próbki zmiksowanego strumienia C. [0163] A + B = pierwotne próbki (24-bitowe), A + B = zaokrąglone próbki (18 bitów istotnych H i 6 bitów mniej znaczących L = 0), A + B = próbki o zmniejszonej częstotliwości próbkowania. [0164] Obydwa strumienie A + B są miksowane (dodawane do siebie) w celu uzyskania nowego strumienia (kolor ciemnoszary). Strumienie A i B są miksowane (dodawane do siebie), co prowadzi do uzyskania kolejnego strumienia (kolor jasnoszary). Wszystkie próbki strumieni A + B różnią się od A + B i A + B, ponieważ próbki strumieni A i B mogą różnić się od pierwotnych próbek A i B na skutek zmniejszenia rozdzielczości (zaokrąglenia), i mogą różnić się od próbek o zmniejszonej rozdzielczości na skutek

25 zmniejszenia częstotliwości próbkowania, lecz ogólnie nadal dostępna jest poprawna percepcyjnie reprezentacja pierwotnego strumienia A + B (kolor ciemnoszary), co jest wynikiem dużej pierwotnej rozdzielczości bitowej i dużej pierwotnej częstotliwości próbkowania. [016] Na fig. 13 przedstawiono błędy wprowadzane do strumienia PCM przez wynalazek. [0166] Błąd = błędy spowodowane zaokrąglaniem próbek, Błąd = błędy spowodowane zaokrąglaniem próbek + zmniejszeniem częstotliwości próbkowania. [0167] Na fig. 14 przedstawiono format obszaru dodatkowych danych w najmniej znaczących bitach próbek połączonego zestawu danych cyfrowych. [0168] W celu umożliwienia rozmiksowywania w dekoderze zmiksowanych danych audio PCM wymagane jest przez dekodera posiadanie zduplikowanych próbek sygnału audio PCM PRZED odebraniem przez dekoder próbek audio PCM, dzięki czemu operacja rozmiksowywania może być przeprowadzana w czasie rzeczywistym z wykorzystaniem przesyłanego strumieniowo sygnału audio PCM. Należy więc wprowadzić te dane należące do bloku danych (zawierającego zduplikowane próbki audio, wzory synchronizacyjne, parametr dotyczący długości ) do próbek (Z bitowych), które zawierają również informacje dotyczące sygnału audio PCM związane z poprzednim blokiem danych. Aby zapewnić czas na dekodowanie przez dekoder tych bloków danych, mogą one nawet stanowić kilka końcowych próbek audio PCM znajdujących się przed próbkami audio PCM, które wykorzystane zostały do pobrania duplikatów. Liczba próbek audio PCM znajdujących się między końcem bloku danych a próbkami audio PCM wykorzystanymi jako duplikaty próbek stanowi przesunięcie, które jest kolejnym parametrem przechowywanym w bloku danych. Przesunięcie to może czasem być wartością ujemną, co oznacza, że zduplikowane próbki w strumieniu audio PCM znajdują się w obrębie próbek audio PCM wykorzystywanych do przesyłania tego bloku danych. Jako przesunięcie również wykorzystywana jest wartość 12-bitowa (wartość całkowita ze znakiem). [0169] Blok danych obejmuje: 1. Wzór synchronizacyjny 2. Długość bloku danych 3. Przesunięcie próbki audio PCM względem końca tego bloku danych 4. Duplikaty próbek audio PCM (po jednej dla każdego miksowanego kanału) [0170] Kolejną zaletę uzyskano przez wprowadzenie informacji korygujących, które umożliwiają (częściowe) zanegowanie błędu wprowadzonego na skutek przyrównywania próbek. [0171] Na fig. 14, w chwili 0 koder rozpoczyna odczytywanie 2 x U X-bitowych próbek, których rozmiar zmniejszany jest do Y bitów w celu utworzenia obszaru dodatkowych danych przeznaczonego do przechowywania bloków danych. Zmniejszenie częstotliwości próbkowania powoduje powstanie błędów, które są aproksymowane i zastępowane listą odnośników do tych aproksymacji. Poza tymi danymi - które są skutecznie kompresowane - generowane są nagłówki bloków danych (synchronizacja, długość, przesunięcie itp.), co skutkuje uzyskaniem długości bloku danych równej U próbek. Te próbki danych umieszczone są w sekcji danych pierwszych U próbek. W kolejnym etapie koder odczytuje U (< U) próbek, przez co (nieskompresowany) blok danych wymaga wykorzystania U próbek, ale po kompresji U. Ponownie ten blok danych dołączany jest do wcześniejszego bloku danych, a w przedstawionym przykładzie (nadal) wykorzystywane są niektóre próbki z początkowych U próbek (X-bitowych). Proces odczytywania przez koder U X-bitowych próbek i generowania odpowiadających im bloków danych trwa aż do momentu zakończenia przetwarzania wszystkich danych. [0172] Na fig. przedstawiono bardziej szczegółowo obszar dodatkowych danych. [0173] Format nośnika danych AUROFONICZNYCH ma następującą strukturę; [0174] Jest to strumień 0 audio/danych o dokładności bitowej, zwykle strumień PCM 0, w którym dane podzielone są na sekcje 8, 9 zawierające Z próbek. Każda z pró-

26 bek sekcji 8, 9 składa się z X bitów. (W przypadku danych sygnału audio CD/DVD wartość X zwykle wynosi 16 bitów, zaś w przypadku danych sygnału audio Blu- Ray/HDDVD są to 24 bity). Najbardziej znaczące bity (Y pierwszych bitów, na przykład w przypadku Blu-Ray jest to zwykle 18 lub bitów) wykorzystywane są do przechowywania danych sygnału audio (mogą to być dane audio PCM), zaś w najmniej znaczących bitach (Q ostatnich bitów, na przykład w przypadku Blu-Ray jest to zwykle 6 bitów lub 4 bity) przechowywane są dane dotyczące dekodowania dźwięku aurofonicznego AURO. [017] Dodatkowe dane aurofoniczne AURO wykorzystywane podczas dekodowania w każdym z bloków danych 6, 7 mają następującą strukturę; [0176] Zawierają one sekcję 1 synchronizacji, sekcję 4 danych ogólnego przeznaczenia dotyczących dekodowania, opcjonalnie listę indeksów 2 i tablicę błędów 3, a wreszcie wartość sumy kontrolnej CRC. [0177] Sekcja synchronizacji 1 jest wstępnie określona jako wzór przesuwnych bitów (jego rozmiar uzależniony jest od liczby Q bitów wykorzystywanych jak szerokość danych aurofonicznych AURO). Dane ogólnego przeznaczenia 4 zawierają informacje dotyczące długości bloku danych aurofonicznych AURO, dokładne przesunięcie (względem pozycji synchronizacji 1) pierwszych danych (PCM) 8, których dotyczą dane związane z dekodowaniem dźwięku aurofonicznego AURO 6, kopie pierwszej próbki danych audio (PCM) (po jednej dla każdego zakodowanego kanału), dane dotyczące tłumienia i inne dane. Dane związane z dekodowaniem dźwięku aurofonicznego 6, 7 opcjonalnie (w zależności od wyboru jakości dźwięku aurofonicznego AURO dokonanego podczas procesu kodowania) mogą również zawierać listę indeksów 2 i tablicę błędów 3, w której zawarte są aproksymacje wszystkich błędów powstałych podczas etapu kodowania. Lista indeksów 2 i tablica błędów 3 mogą (również opcjonalnie) być skompresowane. Sekcja 4 danych ogólnego przeznaczenia dotyczących dekodowania wskazuje, czy lista indeksów 2 i tablica błędów 3 są obecne, jak również zawiera informacje dotyczące zastosowanej kompresji. Wartość sumy kontrolnej CRC ma postać sumy kontrolnej CRC obliczonej z wykorzystaniem danych audio (PCM) (Y bitów) oraz danych dźwięku aurofonicznego AURO (Q bitów). [0178] Jedną z cech charakterystycznych dekodera dźwięku aurofonicznego AURO jest nadzwyczaj mały czas opóźnienia. Podczas dekodowania wymagane jest opóźnienie przetwarzania jedynie o 2 próbki sygnału aurofonicznego AURO (PCM). Informacje związane z blokiem danych aurofonicznych AURO 6, 7 muszą zostać przesłane i przetworzone (na przykład zdekompresowane) przed przesłaniem danych audio PCM 8, których dotyczą dane związane z dekodowaniem sygnału aurofonicznego AURO. W wyniku tego blok danych aurofonicznych AURO 6, 7 (najmniej znaczące bity) łączony jest z danymi audio PCM 9 (najbardziej znaczące bity), dzięki czemu ostatnie informacje związane z danymi aurofonicznymi AURO 4, z danego bloku nie są nigdy późniejsze niż pierwsza próbka danych audio (PCM), której dotyczą informacje związane z danymi aurofonicznymi AURO. [0179] Dekoder z zaimplementowaną operacją rozmiksowywania kanałów wykorzystuje wzory synchronizacyjne w celu lokalizacji położenia zduplikowanych próbek i powiązania ich z odpowiadającymi im próbkami pierwotnymi. Wzory synchronizacyjne mogą być umieszczane w 6 (X) bitach na próbkę i powinny zapewniać możliwość ich łatwego wykrywania przez dekoder. Wzór synchronizacyjny może mieć na przykład postać sekwencji kilku kluczy o długości 6 (X) bitów. Możliwe jest na przykład wykorzystanie pojedynczego bitu przesuwanego z najmniej znaczącej pozycji do najbardziej znaczącej pozycji, co w postaci binarnej reprezentowane jest jako: , 0000, 0000, 0000, 0000, Możliwe jest wybranie innych wzorów synchronizacyjnych w oparciu o właściwości próbek, co ma na celu wyeliminowanie możliwego do percepcji wpływu wzorów synchronizacyjnych na próbki lub możliwości zakłócania przez próbki wykrywania wzorów synchronizacyjnych. Ujednolicone wzory synchronizacyjne mogą zostać zdefiniowane

27 dla wszystkich różniących się od siebie kombinacji rozdzielczości próbek (24/22/2, 24//4, 24/18/6, 24/16/8, 16/4/2, ). Wzory te mogą również zostać zoptymalizowane w celu wyeliminowania zakłóceń generowanych przez najmniej znaczące bity próbek audio podczas ich odtwarzania z wykorzystaniem odtwarzacza DVD, w którym nie jest wykorzystywany dekoder dźwięku aurofonicznego AURO. [0180] Na fig. 16 przedstawiono sytuację, w której dostosowywanie prowadzi do uzyskania bloków danych AURO o zmiennej długości. Wymagane jest ponadto odbieranie przez dekoder informacji dotyczących bloków danych przed przetwarzaniem zmiksowanych próbek audio, ponieważ w celu przeprowadzenia procesu rozmiksowywania konieczne jest dekodowanie bloku danych (uwzględniając dekompresję) i uzyskanie dostępu do błędów (aproksymowanych). Próbki strumienia błędów (od drugiego bloku) są aproksymowane (z wykorzystaniem mediany K lub algorytmów wspomagających lokalizację) za pomocą tablicy zawierającej aproksymację oraz listy odnośników łączących każdą próbkę sekcji strumienia błędów z elementem należącym do tablicy aproksymacji. Lista odnośników stanowi strumień aproksymowanych błędów. Lista i tablica zawierająca wartości aproksymacji kompresowane są z wykorzystaniem modułu kompresującego, zaś pozostałe elementy struktury danych (takie jak wzór synchronizacyjny, długość bloku danych, przesunięcie, zduplikowane próbki audio, tłumienie itd.) definiowane są przez formater w taki sposób, że (najprawdopodobniej) uzyskiwana jest liczba próbek danych mniejsza niż wartość U, przy czym ta liczba próbek określana jest jako W (W <= U). Można oczekiwać, że wartość W jest zwykle o do 0% mniejsza niż wartość U. Następnie ten blok danych jest umieszczany przez formater w przestrzeni danych pierwszych U próbek. Dzięki temu zagwarantowano, że te próbki danych są dostępne w dekoderze przed odebraniem odpowiadających im próbek audio. Ponieważ można zaoszczędzić na próbkach danych (U W), na przyszły użytek, kolejna kodowana sekcja audio (czyli miks i aproksymacja błędów) powinna zawierać jedynie W próbek audio (<= U). Nawet jeżeli blok danych tej sekcji (W próbek audio) powinien wymagać U próbek danych, uzyskano pewność, że ten blok danych kończy się przed pierwszą próbką audio, której dotyczy. Ponadto, ze względu na mniejszą liczbę próbek audio (W <= U) można spodziewać się uzyskania lepszej aproksymacji błędu związanego ze zmniejszeniem częstotliwości próbkowania, ponieważ konieczne jest przeprowadzenie aproksymacji mniejszej liczby wartości błędów. Dzięki lepszej aproksymacji następnej sekcji próbek audio uzyskiwany jest więc wyższy współczynnik kompresji. Ostatnia sekcja bloku danych powinna ponownie mieć długość mniejszą niż U, na przykład W (<= U), a więc liczba kolejnych próbek audio przeznaczonych do zakodowania powinna być z kolei ograniczona do wartości W. [0181] Zrozumiałe jest ponadto, że rozmiar bloku danych zmienia się w zależności od jakości kompresji. W wyniku tego parametr określający przesunięcie (część struktury bloku danych) jest istotnym parametrem, który łączy rozmiar bloków danych o zmiennych rozmiarach z odpowiadającą im pierwszą próbką audio. Długość samego bloku danych jest zgodna z liczbą próbek audio wymaganych podczas procesu dekodowania, poczynając od pierwszej próbki audio połączonej z blokiem danych z wykorzystaniem parametru określającego przesunięcie. Jeżeli jest to wymagane, parametr określający przesunięcie może zostać zwiększony (a blok danych przesunięty do tyłu w czasie), gdy dekoder potrzebuje więcej czasu na rozpoczęcie dekodowania bloku danych w stosunku do momentu odebrania pierwszej zgodnej próbki audio. Zrozumiałe jest ponadto, że dekodowanie bloku danych powinno być przeprowadzane w dekoderze co najmniej w czasie rzeczywistym, ponieważ takie opóźnienia nie mogą się zwiększać. [0182] Inną cechą tego wynalazku jest możliwość łatwej synchronizacji dekodera z wykorzystaniem odnośników synchronizacyjnych a także automatycznego wykrywania formatu kodowania (wykrywanie liczby bitów próbki audio wykorzystywanej do przechowywania wzorów synchronizacyjnych/duplikatów próbek). Liczba próbek między pierwszymi słowami wzorów synchronizacyjnych stanowi zatem część zakodowanych danych. Wymaga-

28 ne jest również powtarzanie wzorów synchronizacyjnych co najmniej co 96 x 2 próbek (2 = liczba zmiksowanych kanałów). Powoduje to ograniczenie maksymalnej długości bloku danych (wzór synchronizacyjny + dane zduplikowanej próbki) do 96 x 2 próbek, a więc przechowywanie każdego bloku danych o takiej długości wymaga wykorzystania 12 bitów. Dzięki takim informacjom oraz określeniu różnych rozdzielczości kodowania na przykład dla 24-bitowych próbek PCM: 22/2, /4, 16/8 uzyskano możliwość łatwego automatycznego wykrywania przez dekoder formatu kodowania, wzorów synchronizacyjnych oraz ich powtórzeń. [0183] Zawarcie dodatkowych danych w obszarze danych utworzonym z wykorzystaniem najmniej znaczących bitów próbek może być stosowane niezależnie od mechanizmu łączenia/rozplatania. Ten obszar danych może być również utworzony w pojedynczym strumieniu audio, przy czym wprowadzenie dodatkowych danych nie powoduje możliwych do usłyszenia zmian sygnału. Wprowadzenie aproksymacji błędów dotyczących błędów związanych ze zmniejszeniem częstotliwości próbkowania (przyrównywaniem próbek) korzystne jest również w przypadku, gdy łączenie nie jest przeprowadzane, ponieważ umożliwia także zmniejszenie częstotliwości próbkowania (a zatem zaoszczędzenie przestrzeni, w której przechowywane są dane), zapewniając jednocześnie możliwość uzyskania dobrej rekonstrukcji pierwotnego sygnału z wykorzystaniem aproksymacji błędów, co objaśniono w odniesieniu do eliminowania skutków zmniejszania częstotliwości próbkowania. [0184] Na figurze 17 przedstawiono kodowanie zawierające wszystkie ulepszenia wprowadzone w postaciach wykonania. [018] Przedstawione bloki odpowiadają etapom sposobu, a równocześnie elementom sprzętowym dekodera i pokazują sposób przepływu danych między elementami sprzętowymi, jak również etapami sposobu. Etapy procesu kodowania [0186] W pierwszym etapie strumienie audio A, B są najpierw zmniejszane przez zaokrąglenie próbek audio (24 18/6) do A, B. [0187] W drugim etapie zmniejszone strumienie są wstępnie miksowane (z wykorzystaniem danych dotyczących tłumienia), co dokonywane jest przez zastosowanie do przetwarzania dynamicznej kompresji mającej na celu uniknięcie obcinania sygnału audio (A C, B C ). [0188] W trzecim etapie częstotliwość próbkowania zmniejszana jest o współczynnik równy liczbie zmiksowanych kanałów (A C, B C ), co powoduje wprowadzenie strumienia błędów E. W czwartym etapie strumień błędów E jest aproksymowany przez E : z wykorzystaniem 2 (z-1) centrów (na przykład aproksymacja z wykorzystaniem mediany K), i listy odnośników do tych centrów. [0189] W piątym etapie tablica i odnośniki są kompresowane, tłumienie jest próbkowane (początek próbek audio) i definiowane są nagłówki bloków (synchronizacja, długość,,, suma kontrolna). W szóstym etapie strumienie (A C, B C, E ) są miksowane, obejmując sprawdzenie, czy nie występuje obcinanie (przesterowanie dźwięku) - sprawdzenie to może spowodować niewielkie zmiany. W siódmym etapie sekcja bloku danych (próbki 6- bitowe) łączona jest z próbkami audio. [0190] Na fig. 17 przedstawiono przegląd etapów przetwarzania objaśnionych we wcześniejszych akapitach. Zrozumiałe jest, że proces kodowania może być najłatwiej przeprowadzany w przypadku przetwarzania autonomicznego, gdy dekoder cały czas ma dostęp do próbek odpowiednich sekcji należących do wszystkich przetwarzanych strumieni. Wymagane jest zatem co najmniej tymczasowe przechowywanie sekcji strumieni audio, na przykład na twardym dysku, dzięki czemu podczas procesu przeprowadzanego przez koder możliwe jest wyszukiwanie (do przodu i do tyłu) danych wymaganych do przetwarzania danej sekcji. Na fig. 17 przedstawiono przykład, w którym 24-bitowa próbka (X/Y/Z) =

29 /18/6 dzielona jest na 18-bitową wartość próbki oraz 6-bitową wartość danych, która stanowi część obszaru dodatkowych danych zawierającego dane sterujące i wartości początkowe. Długość bloku - dla zachowania spójności - oznaczono literą U. [0191] Pierwszy etap <1> procesu kodowania (objaśniony w akapicie dotyczącym techniki podstawowej) ma postać zmniejszania rozdzielczości próbkowania zarówno strumienia A 161a jak i strumienia B 161b z wykorzystaniem modułów zmniejszających rozmiar próbek, na przykład z 24 do 18 bitów, co dokonywane jest przez zaokrąglenie każdej z próbek do najbliższej reprezentacji 18-bitowej. Strumienie 163a, 163b stanowiące wynik zaokrąglania oznaczono jako strumień A 163a i strumień B 163b. Jednocześnie określane jest tłumienie, co dokonywane jest z wykorzystaniem modułu kontrolującego tłumienie, który odbiera z wejścia wartość pożądanego tłumienia 161c. [0192] Drugi etap <2> procesu ma postać symulacji miksowania strumieni 163a, 163b przeprowadzanej z wykorzystaniem modułu ustawiającego tłumienie, co ma na celu sprawdzenie, czy miksowanie nie spowoduje obcinania dźwięku. Jeżeli przed przeprowadzeniem miksowania wymagane jest tłumienie jednego strumienia 163b, w przypadku kodowania aurofonicznego jest to zwykle strumień odpowiadający trzeciemu wymiarowi, tłumienie to powinno zostać wzięte pod uwagę przez moduł ustawiający tłumienie przeprowadzający symulację miksowania. Jeżeli mimo zastosowania tłumienia, miksowanie obydwu strumieni 163a, 163b (96 khz) spowodowałoby obcinanie dźwięku, etap procesu kodowania przeprowadzany przez moduł ustawiający tłumienie obejmuje łagodną kompresję (stopniowe zwiększanie tłumienia próbek audio w miarę zbliżania się do miejsca obcinania dźwięku, a następnie stopniowe zmniejszanie tłumienia). Kompresja ta może być zastosowana przez moduł ustawiający tłumienie w obydwu strumieniach 163a, 163b, lecz nie jest to konieczne, ponieważ zastosowanie (większego) tłumienia jednego strumienia 163b również umożliwia wyeliminowanie obcinania dźwięku. Po zakończeniu przetwarzania strumienia A 163a i strumienia B 163b z wykorzystaniem modułu ustawiającego tłumienie uzyskiwany jest nowy strumień A C 16a i strumień B C 16b. Skutkiem zastosowania tłumienia jest uniknięcie występowania obcinania dźwięku w końcowym zmiksowanym strumieniu 169, jak również w strumieniach niezmiksowanych. Mówiąc innymi słowami, w dekoderze nie jest przeprowadzana kompensacja tego tłumienia w celu wygenerowania pierwotnego strumienia A 163a i pierwotnego strumienia B 163b, lecz celem jest wygenerowanie strumieni A C 16a i B C 16b. Podczas masteringu nagrań (aurofonicznych) realizator nagrania może określić - jeżeli jest to potrzebne - poziom tłumienia 161 i wprowadzić go do wejścia modułu kontrolującego tłumienie, co zapewnia sterowanie tłumieniem drugiego strumienia 163b (zwykle strumień odpowiadający trzeciemu wymiarowi), które pożądane jest w przypadku przeprowadzania procesu miksowania w dół podczas dwuwymiarowego odtwarzania dźwięku. [0193] W kolejnym etapie <3> częstotliwość próbkowania jest zmniejszana z wykorzystaniem modułu zmniejszającego częstotliwość o współczynnik równy liczbie miksowanych kanałów (A C, B C ), co powoduje wprowadzenie strumienia błędów E 167. Zmniejszenie częstotliwości może być przeprowadzane na przykład w sposób opisany w odniesieniu do figur 2 i 3 lub 6 i 7. [0194] W kolejnym etapie <4> strumień błędów E 167 jest aproksymowany z wykorzystaniem E 162 wygenerowanego z wykorzystaniem modułu aproksymującego błędy: wykorzystywane jest tu 2 (z-1) centrów (na przykład aproksymacja z wykorzystaniem mediany K) i lista odnośników do tych centrów. [019] Zgodnie z opisem, w sekcji zaawansowanego kodowania/dekodowania możliwe jest wyeliminowanie błędów 167 (będących skutkiem zmniejszenia częstotliwości próbkowania) podczas operacji miksowania i rozmiksowywania pod warunkiem, ze strumień błędów 167 aproksymowany jest bez błędów. W tym konkretnym przykładzie (X/Y/Z) = (24/18/6) i V = 32 (2 (z-1) ) aproksymacji, brak błędów jest najbardziej prawdopodobny (po-

30 za ograniczeniami wynikającymi z 12-bitowej reprezentacji błędów), jeżeli w bloku danych znajduje się jedynie V próbek, dzięki czemu odwzorowanie błędów do ich aproksymacji jest odwzorowaniem jeden do jednego. Z drugiej strony określona jest również maksymalna długość U bloku danych, która w każdych warunkach gwarantuje możliwość kodowania listy odnośników do błędów i tablicy aproksymacji w bloku danych. Dlatego etap kodowania wymaga początkowo U próbek obydwu strumieni A C 16a i B C 16b oraz strumienia błędów E 167. [0196] Najpierw wybierana jest szerokość próbki błędu (jest to liczba bitów używana jako reprezentacja informacji dotyczącej błędu). Ponieważ podstawowy strumień danych PCM pochodzi z nagrania audio można się spodziewać, że błędy lub różnice między dwoma sąsiednimi próbkami będą stosunkowo niewielkie w porównaniu do maksymalnej (lub minimalnej) wartości próbki. W przypadku (na przykład) sygnału audio o częstotliwości próbkowania 96 khz błąd ten będzie stosunkowo duży, jeżeli strumień audio zawiera sygnały o bardzo dużych częstotliwościach. Tak jak to objaśniono we wcześniejszej części tego opisu, wykorzystywany jest 24-bitowy strumień PCM, który jest zmniejszany do 18 bitów na próbki audio, dzięki czemu utworzono przestrzeń umożliwiającą przechowywanie 6 bitów danych na próbkę. Tak jak to opisano w odniesieniu do techniki podstawowej, te bity danych wykorzystywane są do przechowywania wzoru synchronizacyjnego, długości bloku danych, przesunięcia, możliwych do zdefiniowania parametrów, dwóch zduplikowanych próbek (w przypadku miksowania 2 kanałów), skompresowanej listy odnośników do błędów, skompresowanej tablicy błędów i sumy kontrolnej. Poniżej opisana zostanie lista odnośników do błędów i tablica błędów. W przykładowym formacie 24/18/6 6 bitów na próbkę dostępnych jest na obszar dodatkowych danych, zaś 6 bitów na próbkę umożliwia teoretycznie zdefiniowanie w razie potrzeby tablicy obejmującej 2 6 = 64 błędy. W przykładowym formacie 24/18/6 reprezentacje błędów ograniczone są do 2 x 6-bitowej liczby całkowitej ze znakiem. [0197] Część zawartości bloku danych znajdującego się w obszarze dodatkowych danych z 6-bitowymi próbkami (24/18/6 każdej próbce bloku danych odpowiada jedna (zmiksowana) próbka audio) ma postać tablicy zawierającej aproksymacje błędów będących skutkiem zmniejszenia częstotliwości próbkowania strumieni. Jak wspomniano powyżej, błąd jest aproksymowany z wykorzystaniem dwóch 6-bitowych próbek danych. Ponieważ nie jest dostępna przestrzeń wystarczająca do przechowywania aproksymacji każdego z błędów, konieczne jest określenie ograniczonej liczby wartości błędów, które powinny jak najlepiej odpowiadać wszystkim błędom. Następnie w bloku danych zawartym w obszarze dodatkowych danych tworzona jest lista zawierająca odnośniki do aproksymowanych błędów odpowiadające każdemu elementowi strumienia błędów. Poza wzorem synchronizacyjnym, długością bloku danych, przesunięciem, zduplikowanymi próbkami itd., w bloku danych wymagana jest przestrzeń umożliwiająca przechowywanie tablicy zawierającej tablicę aproksymowanych błędów. Tablica ta może być skompresowana w celu zmniejszenia objętości pamięci wykorzystywanej do przechowywania bloku danych, ponadto możliwe jest również skompresowanie listy odnośników. [0198] Najpierw opisany zostanie sposób aproksymacji elementów pochodzących ze strumienia błędów. Wymagane jest określenie K wartości w taki sposób, by każdy element strumienia (ale zwykle sekcji tego strumienia, której odpowiadają dane zawarte w bloku danych) mógł być powiązany z jedną z tych wartości, zaś całkowita suma błędów (jest to bezwzględna różnica między każdym z elementów pochodzących ze strumienia błędów a najlepszą (najbardziej zbliżoną) aproksymacją wartości błędu) była jak najmniejsza. Zamiast wartości bezwzględnej mogą być wykorzystywane inne współczynniki ważące, na przykład kwadrat wartości bezwzględnej lub definicja biorąca pod uwagę percepcyjne właściwości sygnału audio. Znalezienie takiej liczby K wartości pochodzących z szeregu wartości w tym przypadku określonych jako błędy wynikające ze zmniejszenia częstotliwości próbkowania dwóch miksowanych kanałów określane jest jako funkcja celu mediany

31 K. Grupy elementów pochodzących ze strumienia błędów muszą być grupowane ze sobą, konieczne jest również wyszukanie takich centrów K, by suma odległości między każdym z punktów a najbliższym centrum była jak najmniejsza. [0199] Podobne problemy i sposoby ich rozwiązania znane są w literaturze przedmiotu jako algorytmy wspomagające lokalizację. Ponadto w tym kontekście należy rozważyć wykorzystanie rozwiązań obejmujących transmisję strumieniową jak również nie obejmujących takiej transmisji. To pierwsze rozwiązanie oznacza, że koder ma tylko jednorazowy dostęp do generowanych na żywo (w czasie rzeczywistym) błędów będących skutkiem miksowania strumieni audio. Rozwiązanie drugie (nie obejmujące transmisji strumieniowej) oznacza, że koder ma rozłączny i ciągły dostęp do danych, które są wymagane podczas przetwarzania. Ze względu na strukturę wyjściowego strumienia danych cyfrowych (strumienia audio PCM zawierającego 18-bitowe próbki audio i 6-bitowe dane), blok danych pochodzący z obszaru dodatkowych danych wysyłany jest przed próbkami audio, których dotyczy, a więc w przypadku niewykorzystywania transmisji strumieniowej powstaje sytuacja umożliwiająca zastosowanie mediany K lub algorytmów wspomagających lokalizację. Celem niniejszego wynalazku nie jest zdefiniowanie nowego algorytmu grupowania danych, ponieważ w publicznie dostępnej literaturze znanych jest wiele takich algorytmów, które mogą zostać zaimplementowane w ujawnionym rozwiązaniu przez specjalistów w tej dziedzinie (zob. na przykład Clustering Data Streams: Theory and Practice, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, TOM, NR 3, MAJ/ CZERWIEC 03). [00] Po zdefiniowaniu K centrów lub aproksymacji błędów generowania jest lista, przy czym L elementów należących do strumienia błędów miksu zastępowane są L odnośnikami do elementów zawartych w tej tablicy, zawierających K aproksymacji (lub centrów). Ponieważ dla każdej próbki audio dostępnych jest 6 bitów danych, dla pewnej sekcji strumienia danych możliwe jest zdefiniowanie K = 64 różnych aproksymacji odpowiadających wszystkim różniącym się od siebie błędom w tej sekcji. Następnie możliwe jest wykorzystanie bezstratnej kompresji tej listy L elementów, dzięki czemu po zakończeniu kompresji uzyskiwanych jest M x 6-bitowych próbek danych oraz N wolnych 6-bitowych próbek danych, gdzie L = M + N. Wolna przestrzeń w obszarze dodatkowych danych może być wykorzystana do przechowywania aproksymacji błędów, jak również wzoru synchronizacyjnego, długości bloku danych itd. Jednak, ponieważ wartości zawarte na liście L odnośników mogą mieć postać szeregu czysto losowych wartości, nie należy opierać się na kompresji tej listy, lecz raczej uzyskiwana jest pewność, że lista ta może być kompresowana. A zatem w przypadku wartości X/Y/Z w tym przykładzie, gdzie X = 24, Y = 18, Z = 6, wykorzystywanych jest nie więcej niż 32 = 2 (Z-1) aproksymacji. Przechowywanie odnośników do tej tablicy wymaga zatem wykorzystania jedynie (Z-1) bitów i łatwo można udowodnić, że lista odnośników może być kompresowana: * 6-bitowych próbek danych może zawierać 6 odnośników do tej tablicy (z których każdy wymaga zastosowania bitów). Jak objaśniono w opisie techniki podstawowej, w przypadku formatu 24/18/6 przechowywanie wszystkich danych poza listą odnośników wymaga wykorzystywania co najmniej 86 próbek danych (6 (6-bitowych) próbek danych dotyczących synchronizacji, 2 (6-bitowe) próbki dotyczące długości bloku danych, 2 (6-bitowe) próbki dotyczące przesunięcia, 6 (6- bitowych) próbek zawierających 2 duplikaty próbek audio, z których każda obejmuje 18 bitów, 2 (6-bitowe) próbki dotyczące tłumienia, 2 (6-bitowe) próbki przeznaczone do zdefiniowania, najwyżej 64 (6-bitowe) próbki odpowiadające 32 aproksymacjom błędów (jeżeli nie mogą one zostać skompresowane), 2 (6-bitowe) próbki zawierające sumę kontrolną CRC). Przy danym współczynniku kompresji odpowiadającym co najmniej kompresji 6 próbek do (co powoduje uzyskanie jednej wolnej próbki danych), wymaganych jest co najmniej 6 x 86 = 16 próbek. Ta suma określa również maksymalną długość bloku danych w przypadku formatu 24/18/6. Ograniczenie liczby aproksymacji, na przykład do 16, prowadzi do zmniejszenia wartości całkowitej z 86 do 4, uzyskania minimalnego współ-

32 czynnika kompresji odpowiadającego co najmniej kompresji 6 próbek do 4 oraz zmniejszenia maksymalnej długości bloku danych do 3 x 4 = 162 próbek danych. Albo, zwiększenie szerokości błędów do 3 x 6 bitów powoduje utworzenie 118 próbek danych przeznaczonych do przechowywania wszystkich danych poza listą odnośników (wymagane jest 708 = 6 x 118 próbek). Jednakże, w większości przypadków realne jest skuteczniejsze skompresowanie tych danych, ponieważ powyżej rozważany był najgorszy scenariusz, może to być na przykład kompresja o 2% (4 bity do 3 bitów), co stanowi typowy współczynnik kompresji tablicy aproksymacji błędów. W przypadku aproksymacji obejmującej 32 aproksymacje błędów ten dodatkowy współczynnik powoduje zmniejszenie długości bloku danych o więcej niż 0%, zaś 64 próbki danych z (32) aproksymacją błędów zmniejszane są do 48 próbek danych, dzięki czemu całkowita liczba próbek (poza listą odnośników) zmniejszana jest do 70. Uzyskanie dodatkowej -2% kompresji listy odnośników zapewnia ponadto kompresję listy z 6 bitów do bitów, a następnie do 4 bitów, dzięki czemu całkowita długość bloku danych wynosi 3 x 70 = 2 próbek danych. W wyniku tego strumień błędów obejmujący 2 błędów będących skutkiem zmniejszania miksu strumieni audio może być aproksymowany z wykorzystaniem strumienia odnośników do 32 aproksymacji błędów. [01] W przypadku formatu 24/18/6 z jedynie 16 aproksymacjami błędów, biorąc pod uwagę porównywalne współczynniki kompresji, strumień błędów wymaga wykorzystywania 3 x 46 = 138 próbek danych. [02] Podsumowując w odniesieniu do powyższych przykładów, lecz nie ograniczając się do nich wprowadzony tu schemat kompresji umożliwia przeprowadzenie aproksymacji strumienia błędów w taki sposób, by aproksymacja ta była brana pod uwagę podczas miksowania strumieni audio o zmniejszonej częstotliwości próbkowania, co zapewnia znaczące zmniejszenie błędów spowodowanych przez wspomniane zmniejszanie częstotliwości próbkowania. Wykorzystanie skompresowanych aproksymacji błędów umożliwia odtwarzanie dwóch zmiksowanych strumieni PCM z zachowaniem stosunkowo wysokiej dokładności, dzięki czemu błędy wprowadzane na skutek łączenia i rozplatania dwóch strumieni PCM są w większości przypadków niemożliwe do usłyszenia. [03] Wymagane jest ponadto, by dekoder odbierał informacje zawarte w blokach danych przed przetwarzaniem zmiksowanych próbek audio, ponieważ do przeprowadzenia operacji rozmiksowywania konieczne jest przeprowadzenie dekodowania bloku danych (obejmującego dekompresję) oraz uzyskanie dostępu do błędów (aproksymowanych). W pierwszej fazie etapu kodowania wymagane jest również zatem wykorzystanie drugiego bloku U próbek (= sekcji a) należących do strumieni A C 16a i B C 16b oraz strumienia błędów E 167. Próbki strumienia błędów (z drugiego bloku) są aproksymowane (z wykorzystaniem mediany K lub algorytmów wspomagających lokalizację) za pomocą tablicy zawierającej V (= 32) 12-bitowych aproksymacji oraz listy odnośników łączących każdą z próbek tej sekcji strumienia błędów z elementem należącym do tablicy aproksymacji. Lista odnośników tworzy strumień aproksymowanych błędów E 162. [04] W etapie łączenia <6> strumienie (A C, B C, E ) miksowane są ze sobą z wykorzystaniem modułu łączącego/formatera. Moduł łączący/formater obejmuje kolejny moduł analizujący występowanie obcinania, który przeprowadza kolejne sprawdzenie, czy nie występuje obcinanie (przesterowanie dźwięku) - sprawdzenie to może spowodować niewielkie zmiany. Moduł łączący/formater wprowadza do obszaru dodatkowych danych odpowiedniego bloku danych w połączonym strumieniu danych utworzonym przez moduły zmniejszania rozmiaru próbek dodatkowe dane takie jak tłumienie, wartości początkowe i aproksymacje błędów, po czym przesyła do wyjścia kodera strumień wyjściowy 169 zawierający połączone strumienie oraz sekcję bloku danych połączoną z próbkami audio. Zmniejszanie błędów wprowadzanych przez obcinanie.

33 [0] Innym aspektem niniejszego wynalazku jest wstępne przetwarzanie strumieni audio przed ich rzeczywistym miksowaniem. Miksowanie ze sobą sygnałów należących do dwóch lub większej liczby strumieni może powodować obcinanie dźwięku. W takim przypadku etap wstępnego przetwarzania obejmuje wykorzystanie dynamicznego kompresora audio/ogranicznika do przetwarzania jednego lub obydwu miksowanych kanałów. Może to być dokonywane przez stopniowe zwiększanie tłumienia przed miejscami występowania obcinania dźwięku, a następnie stopniowe zmniejszanie tłumienia. Takie rozwiązanie stosowane jest głównie w przypadku, gdy procesor kodujący pracuje w trybie nie obejmującym transmisji strumieniowej, ponieważ wymagane jest tu (wcześniejsze) wykorzystanie wartości próbek powodujących przesterowanie dźwięku/obcinanie. Tłumienia te mogą być wykorzystywane do przetwarzania strumieni audio, a więc wyeliminowanie obcinania dźwięku powoduje, że po rozmiksowaniu efekty działania kompresora nadal będą stanowić część rozmiksowanych strumieni. Poza uniknięciem obcinania dźwięku w (zmiksowanym) sygnale audio, konieczne jest również zapewnienie możliwości wykorzystywania nagrania audio miksowanego w dół z 3D do 2D w przypadku, gdy dekoder (opisany w niniejszym wynalazku) nie jest dostępny. Z tego powodu podczas przetwarzania zmiksowanego strumienia stosowana jest dynamiczna kompresja (lub tłumienie) sygnału audio, co ma na celu zmniejszenie wpływu dodatkowego sygnału audio (odpowiadającego trzeciemu wymiarowi) na podstawowy dwuwymiarowy sygnał audio, lecz dzięki przechowywaniu parametrów tłumienia po rozmiksowaniu możliwe jest przeprowadzenie operacji odwrotnych, w wyniku czego odtwarzane są prawidłowe poziomy sygnału. Tak jak wspomniano powyżej struktura bloku danych przechowywanego w obszarze dodatkowych danych utworzonym w najmniej znaczących bitach próbek obejmuje sekcję zawierającą parametr dotyczący dynamicznej kompresji sygnału audio (tłumienia), który składa się z co najmniej 8 bitów. Ponadto, analiza (zob. korekcję błędów związanych ze zmniejszeniem częstotliwości próbkowania) wskazuje, że w typowym przypadku formatu 24/18/6 z tablicą błędów obejmującą 32 elementy i 12-bitową szerokość błędu maksymalna długość bloku danych wynosi około 00 próbek. W przypadku częstotliwości próbkowania wynoszącej 96 khz taka sekcja stanowi około milisekund sygnału audio, przy czym określa to szczegółowość taktowania parametrów dotyczących tłumienia. Sama wartość tłumienia reprezentowana jest za pomocą wartości 8-bitowej, gdzie wyrażone w db różne poziomy tłumienia przypisane są do każdej z wartości (na przykład 0 = 0 db, 1 = (-0,1) db, 2 = (-0,2) db, ).które to wartości i interwały mogą zostać wykorzystane do utworzenia gładkiej krzywej kompresji, która może być zastosowana podczas operacji dekodowania do odtworzenia prawidłowych względnych poziomów sygnału. [06] Przechowywanie wartości tłumienia z wykorzystaniem najmniej znaczących bitów strumienia audio może oczywiście być zastosowane również w przypadku pojedynczego strumienia, przy czym część bitów związanych z rozdzielczością jest wtedy poświęcana na rzecz zwiększenia całkowitego zakresu dynamiki sygnału zawartego w strumieniu. W rozwiązaniu alternatywnym wiele wartości dotyczących tłumienia zmiksowanego strumienia może być przechowywanych w bloku danych, dzięki czemu do każdego strumienia danych przypisana jest wartość tłumienia, co pozwala na indywidualne określenie poziomu odtwarzania każdego z sygnałów, przy zachowaniu odpowiedniej rozdzielczości nawet w przypadku niskich poziomów sygnałów. [07] Parametry dotyczące tłumienia mogą być ponadto wykorzystywane do miksowania informacji związanych z dźwiękiem trójwymiarowym w taki sposób, by użytkownik nie wykorzystujący informacji związanych z dźwiękiem trójwymiarowym nie słyszał dodatkowego sygnału dźwięku trójwymiarowego, ponieważ ten dodatkowy sygnał jest tłumiony względem głównego sygnału dwuwymiarowego, przy czym dostępność wartości tłumienia umożliwia przywrócenie pierwotnego poziomu składowej sygnału dźwięku trójwymiarowego z wykorzystaniem dekodera przeprowadzającego odtwarzanie sygnału dźwięku trójwymiarowego. Przed miksowaniem strumienia dźwięku trójwymiarowego w celu uzyska-

34 nia strumienia audio PCM dźwięku dwuwymiarowego wymagane jest zwykle jego tłumienie na przykład o 18 db, dzięki czemu możliwe jest wyeliminowanie dominowania tych informacji dotyczących sygnału audio w zwykłym strumieniu audio PCM. Wymaga to zastosowania dodatkowego parametru (8-bitowego) określającego tłumienie (dla każdej z sekcji strumienia zdefiniowanej przez długość bloku danych) strumienia dźwięku trójwymiarowego przed jego zmiksowaniem z innym strumieniem. 18-bitowe tłumienie może być po przeprowadzeniu dekodowania zanegowne przez wzmocnienie strumienia dźwięku trójwymiarowego. Na fig. 18 przedstawiono koder aurofoniczny. [08] Koder aurofoniczny 184 zawiera wiele koderów AURO 181, 182, 183, z których każdy przeprowadza miksowanie jednego lub większej liczby kanałów audio PCM z wykorzystaniem techniki opisanej w odniesieniu do fig Dla każdego z kanałów wyjściowych dźwięku aurofonicznego wykorzystywany jest jeden koder AURO 181, 182, 183. Jeżeli dostępny jest tylko jeden kanał, miksowanie nie jest potrzebne i żaden z koderów nie powinien być uruchamiany. [09] Do wejść kodera aurofonicznego 184 wprowadzanych jest wiele kanałów audio (PCM) (kanał audio 1 do kanału audio X). Do każdego z kanałów dołączone są informacje (położenie/tłumienie) dotyczące jego położenia w przestrzeni trójwymiarowej oraz jego tłumienia podczas miksowania w dół mającego na celu uzyskanie mniejszej liczby kanałów. Inne wejścia kodera aurofonicznego obejmują wybór macierzy audio 180 określającej, które kanały audio PCM są miksowane w dół w celu uzyskania kanałów wyjściowych dźwięku aurofonicznego oraz wskaźnik jakości kodera aurofonicznego, który przesyłany jest do każdego z koderów sygnału aurofonicznego 181, 182, 183. [02] Typowe kanały wejściowe kodera dźwięku trójwymiarowego to L (lewy przedni), Lc (centralny lewy przedni), C (centralny przedni), Rc (centralny prawy przedni), R (prawy przedni), LFE (efekty w paśmie niskich częstotliwości), Ls (lewy surround), Rs (prawy surround), UL (górny lewy przedni), UC (górny centralny przedni), UR (górny prawy przedni), ULs (górny lewy surround), URs (górny prawy surround), AL (lewy artystyczny), AR (prawy artystyczny). [0211] Typowe kanały wyjściowe udostępniane przez koder i zgodne z formatem odtwarzania dźwięku dwuwymiarowego to AURO-L (lewy) (kanał dźwięku aurofonicznego 1), AURO-C (centralny) (kanał dźwięku aurofonicznego 2), AURO-R (prawy) (kanał dźwięku aurofonicznego ), AURO-Ls (lewy surround) (kanał dźwięku aurofonicznego ), AU- RO-Rs (prawy surround) (kanał dźwięku aurofonicznego ), AURO-LFE (efekty w paśmie niskich częstotliwości) (kanał dźwięku aurofonicznego Y). [0212] Przykładowe zakodowane kanały AURO udostępniane na wyjściu kodera 184 to (AURO-L, AURO-R, AURO-Ls, AURO-Rs). [0213] Kanał AURO-L może zawierać pierwotne kanały audio PCM L (lewy przedni), UL (górny lewy przedni) i AL (lewy artystyczny), kanał AURO-R może mieć podobną strukturę, lecz zawierać prawe przednie kanały, kanał AURO-Ls może zawierać pierwotne kanały audio PCM Ls (lewy surround) i ULs (górny lewy surround), zaś kanał AURO-Rs może zawierać ich odpowiedniki dotyczące prawej strony. [0214] Na fig. 19 przedstawiono dekoder aurofoniczny. [02] Dekoder aurofoniczny 194 zawiera wiele dekoderów sygnału aurofonicznego 191, 192, 193, rozmiksowujących jeden lub większą liczbę kanałów audio PCM z wykorzystaniem techniki opisanej w odniesieniu do fig. i. Dla każdego z kanałów wejściowych AURO dźwięku aurofonicznego wykorzystywany jest jeden dekoder AURO 191, 192, 193. Jeżeli kanał AURO zawiera miks tylko jednego kanału audio, żaden z dekoderów nie powinien być uruchamiany. [0216] Do wejść dekodera aurofonicznego 194 wprowadzane są aurofoniczne kanały audio

35 (PCM) (kanał dźwięku aurofonicznego 1 kanał dźwięku aurofonicznego X). W odniesieniu do każdego z kanałów od kanału dźwięku aurofonicznego 1 do kanału dźwięku aurofonicznego X dekoder obszaru dodatkowych danych stanowiący część dekodera przeprowadza automatyczne wykrywanie obecności wzorów synchronizacyjnych bloku danych aurofonicznych kanałów audio PCM. W przypadku wykrycia spójności synchronizacji dekoder AURO 191, 192, 193 rozpoczyna rozmiksowywanie częściowych sygnałów audio należących do kanałów AURO dźwięku aurofonicznego (PCM), przeprowadzając jednocześnie dekompresję (jeżeli jest ona wymagana) listy indeksów i tablicy błędów, zaś uzyskane informacje korygujące wykorzystywane są do przetwarzania rozmiksowanych kanałów audio. Dane AURO sygnału aurofonicznego zawierają ponadto parametry takie jak tłumienie (kompensowane z wykorzystaniem dekodera) i położenie w przestrzeni trójwymiarowej. Położenie w przestrzeni trójwymiarowej wykorzystywane jest w sekcji wyboru wyjścia 190 do kierowania rozmiksowanego kanału audio do odpowiedniego wyjścia dekodera 194. Użytkownik dokonuje wyboru grupy wyjściowych kanałów audio. [0217] Na fig. przedstawiono dekoder według wynalazku. [0218] Po objaśnieniu wszystkich aspektów wynalazku można przystąpić do opisania dekodera, włącznie z jego korzystnymi postaciami wykonania. [0219] Dekoder 0 przeznaczony do dekodowania sygnału uzyskanego z wykorzystaniem wynalazku korzystnie powinien umożliwiać automatyczne wykrywanie, czy sygnał audio (na przykład o rozdzielczości 24 bitów) został zakodowany z wykorzystaniem technik opisanych w poprzednich akapitach. [02] Można to osiągnąć na przykład z wykorzystaniem modułu 1 wykrywającego synchronizację, który przeszukuje odebrany strumień danych w poszukiwaniu wzoru synchronizacyjnego zawartego w najmniej znaczących bitach. Moduł 1 wykrywający synchronizację ma możliwość synchronizowania się względem bloków danych zawartych w obszarze dodatkowych danych w najmniej znaczących bitach próbek przez wyszukiwanie wzorów synchronizacyjnych. Tak jak to opisano powyżej, stosowanie wzorów synchronizacyjnych jest opcjonalne, lecz korzystne. Wzory synchronizacyjne dotyczące próbek o rozmiarze 24 bitów mogą mieć na przykład szerokość 2, 4, 6 lub 8 bitów (Z bitów) i długość 2, 4, 6 lub 8 próbek (2 bity: LSB = 01, ; 4 bity: LSB = 0001, 00, 00, 00; 6 bitów: LSB = ,, 0000; 8 bitów: LSB = ,, ). Po wykryciu przez moduł 1 wykrywający synchronizację któregokolwiek z tych wzorów czeka on na wykrycie zgodnego z nim wzoru. Po wykryciu takiego wzoru moduł 1 wykrywający synchronizację przechodzi do stanu wstępnej synchronizacji. Moduł 1 wykrywający synchronizację umożliwia również określenie na podstawie wykrytego wzoru synchronizacyjnego, czy w obszarze dodatkowych danych wykorzystuje się 2, 4, 6, czy 8 bitów na próbkę. [0221] Po wykryciu drugiego wzoru synchronizacyjnego dekoder 0 przeszukuje blok danych w celu zdekodowania długości bloku i sprawdza za pomocą kolejnego wzoru synchronizacyjnego, czy długość bloku jest zgodna z początkiem następnego wzoru synchronizacyjnego. Jeżeli występuje zgodność, dekoder 0 przechodzi do stanu synchronizacji. Jeżeli wynik sprawdzenia jest negatywny, dekoder 0 ponownie rozpoczyna proces synchronizacji, zaczynając od początku. Podczas przeprowadzania operacji dekodowania dekoder 0 zawsze porównuje długość bloku danych z liczbą próbek znajdujących się między początkami kolejnych bloków synchronizacyjnych. Natychmiast po wykryciu niezgodności dekoder 0 wychodzi ze stanu synchronizacji, a proces synchronizacji musi być przeprowadzany od początku. [0222] Tak jak to objaśniono w odniesieniu do fig. i 16, możliwe jest zastosowanie ochrony danych przez wprowadzenie kodu korygującego błędy do bloków danych przechowywanych w obszarze dodatkowych danych. Jeżeli znany jest format bloku kodu korygującego błędy i położenie dodatkowych danych w blokach kodu korygującego błędy, wspomniany kod korygujący błędy może być również wykorzystywany do synchronizacji.

36 Dla wygody moduł wykrywający synchronizację i moduł wykrywający błędy zostały na fig. przedstawione w postaci połączonego bloku 1, lecz mogą one być również zaimplementowane oddzielnie od siebie. [0223] Moduł wykrywający błędy oblicza wartość sumy kontrolnej CRC (z wykorzystaniem wszystkich danych zawartych w tym bloku danych, poza danymi dotyczącymi synchronizacji) i porównuje tą wartość CRC z wartością znajdującą się na końcu bloku danych. W przypadku niezgodności dekoder przechodzi do stanu błędu sumy kontrolnej. [0224] Moduł wykrywający synchronizację przesyła informacje do modułu 2 odtwarzającego wartości początkowe, modułu 3 odtwarzającego aproksymacje błędów oraz pomocniczego modułu sterującego 4, dzięki czemu moduł 2 odtwarzający wartości początkowe, moduł 3 odtwarzający aproksymacje błędów oraz pomocniczy moduł sterujący 4 mogą uzyskać odpowiednie wartości na podstawie obszaru dodatkowych danych wprowadzonego do wejścia dekodera 0. [022] Po zakończeniu synchronizacji modułu wykrywającego synchronizację z nagłówkami synchronizacyjnymi bloku danych moduł odtwarzający wartości początkowe przeszukuje dane zawarte w bloku danych w celu ustalenia przesunięcia, tj. liczby próbek między końcem bloku danych a pierwszą zduplikowaną próbką audio (ta liczba może teoretycznie być ujemna) oraz odczytania wartości zduplikowanych próbek (audio). [0226] Moduł 2 odtwarzający wartości początkowe odczytuje jedną lub wiele wartości początkowych z obszaru dodatkowych danych należącego do odebranego zestawu danych cyfrowych, po czym przesyła odczytane wartości początkowe do modułu rozplatającego 6. Moduł rozplatający 6 przeprowadza podstawowe rozplatanie zestawów danych cyfrowych z wykorzystaniem wartości początkowej (początkowych), co objaśniono w odniesieniu do fig. i 9. Wynikiem tego rozplatania jest albo wiele zestawów danych cyfrowych albo pojedynczy zestaw danych cyfrowych uzyskany przez usunięcie jednego lub wielu zestawów danych cyfrowych z połączonego zestawu danych cyfrowych. Oznaczono to na fig. trzema strzałkami, które łączą moduł rozplatający 6 z wyjściami dekodera 0. [0227] Jak opisano powyżej, zastosowanie aproksymacji błędów jest opcjonalne, ponieważ sygnał audio rozplatany z wykorzystaniem modułu rozplatającego 6 jest już zupełnie akceptowalny, nawet bez wykorzystywania aproksymacji błędów do zmniejszania błędów wprowadzanych na skutek przeprowadzanego przez koder przyrównywania próbek. [0228] Jeżeli jest to wymagane, moduł odtwarzający 3 aproksymacje błędów przeprowadza dekompresję listy odnośników i tablicy aproksymacji. Jeżeli do polepszenia jakości rozplatanych zestawów danych cyfrowych powinny zostać wykorzystane aproksymacje błędów, moduł rozplatający 6 wykorzystuje aproksymacje błędów przesłane przez moduł 3 odtwarzający aproksymacje błędów podczas przetwarzania odpowiadających im zestawów danych cyfrowych, po czym przesyła uzyskane zestawy danych cyfrowych do wyjścia dekodera. [0229] Dopóki dekoder 0 pozostaje w stanie synchronizacji z nagłówkami bloków danych, moduł 3 odtwarzający aproksymacje błędów kontynuuje dekompresję list odnośników i tablic aproksymacji, przesyłając te dane do modułu rozplatającego 6 w celu przeprowadzenia procesu rozmiksowywania zmiksowanych próbek audio zgodnie ze wzorem C = A + B + E lub C E = A + B. Moduł rozplatający 6 wykorzystuje zduplikowane próbki audio w celu rozpoczęcia procesu rozmiksowywania prowadzącego do uzyskania próbek A i próbek B. W przypadku połączonego zestawu danych cyfrowych, w którym połączone są ze sobą dwa zestawy danych cyfrowych, próbki o indeksach parzystych A 2i są zgodne z próbkami A 2i, zaś próbki A 2i+1 są korygowane przez dodanie wartości E 2i+1. [02] Podobnie, próbki o indeksach nieparzystych B 2i+1 są zgodne z próbkami B 2i+1, zaś próbki B 2i+2 są korygowane przez dodanie wartości E 2i+2. Następnie przeprowadzane jest odwrotne tłumienie drugiego strumienia audio (B), po czym obydwie próbki (A i B ) przekształcane są do pierwotnej szerokości bitowej przez przesunięcie w tych próbkach Z

37 36 bitów w lewo i ustawienie zerowych wartości po stronie najmniej znaczących bitów. [0231] Odtworzone próbki wysyłane są w postaci niezależnych i nieskorelowanych strumieni audio. [0232] Innym opcjonalnym elementem dekodera 0 jest pomocniczy moduł sterujący 4. Pomocniczy moduł sterujący 4 odczytuje dodatkowe dane sterujące z obszaru dodatkowych danych, przetwarza odczytane dodatkowe dane sterujące i przesyła do dodatkowego wyjścia dekodera uzyskany wynik, który ma na przykład postać danych sterujących działaniem siłowników mechanicznych, instrumentów muzycznych lub oświetlenia. [0233] Jeżeli dekoder przeznaczony jest jedynie do udostępniania dodatkowych danych sterujących, na przykład zapewniających sterowanie działaniem siłowników mechanicznych w sposób odpowiadający strumieniowi audio zawartemu w połączonym zestawie danych cyfrowych, możliwe jest w rzeczywistości pozbawienie dekodera modułu rozplatającego 6, modułu 2 odtwarzającego wartości początkowe i modułu 3 odtwarzającego aproksymacje błędów. [0234] Użytkownik może określić zachowanie dekodera w przypadku jego przejścia do stanu błędu sumy kontrolnej, przy czym może to być na przykład łagodne wyciszenie drugiego wyjścia i łagodne ponowne zwiększenie jego głośności, gdy dekoder wyjdzie ze stanu błędu sumy kontrolnej. Innym możliwym zachowaniem jest zduplikowanie zmiksowanego sygnału i przesyłanie go do obydwu wyjść, lecz zmiany sygnału audio udostępnianego na wyjściach dekodera nie powinny nigdy powodować trzasków i pływania dźwięku. Zastrzeżenia patentowe Sposób zmniejszania rozmiaru zestawu () danych cyfrowych zawierającego próbki (A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9 ) o pierwszym rozmiarze w celu uzyskania zawierającego próbki (C 0, C 1, C 2, C 3, C 4 ) drugiego zestawu () danych cyfrowych o drugim rozmiarze, który jest mniejszy niż pierwszy rozmiar, zawierający następujące etapy: - przyrównanie każdej z próbek pierwszego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) pierwszego zestawu () danych cyfrowych do sąsiedniej próbki z drugiego podzestawu próbek (A 0, A 2, A 4, A 6, A 8 ) pierwszego zestawu () danych cyfrowych, gdzie pierwszy podzestaw próbek (A 1, A 3, A, A 7, A 9 ) i drugi podzestaw próbek (A 0, A 2, A 4, A 6, A 8 ) przeplatają się ze sobą, - aproksymowanie błędu dla każdej z przyrównanych próbek, gdzie błąd jest różnicą między próbką z pierwszego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) a odpowiadającą jej próbką, do której jest przyrównywana, - usunięcie przyrównanych próbek z zestawu danych cyfrowych zawierającego próbki (A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9 ), co prowadzi do uzyskania drugiego zestawu () danych cyfrowych, oraz - wstawienie aproksymowanych błędów do mniej znaczących bitach próbek. 2. Sposób według zastrzeżenia 1, w którym pierwszy zestaw () danych cyfrowych reprezentuje pierwszy sygnał audio, zaś drugi zestaw () danych cyfrowych reprezentuje drugi sygnał audio, który stanowi reprezentację pierwszego sygnału audio. 3. Sposób według zastrzeżenia 1 albo 2, w którym w mniej znaczących bitach próbek (C 0, C 1, C 2, C 3, C 4 ) zawarty jest wzór synchronizacyjny (SYNC). 4. Sposób według dowolnego z powyższych zastrzeżeń, w którym zestaw aproksymacji błędów jest indeksowany, zaś indeks reprezentujący aproksymację błędu zawarty jest w obszarze danych pomocniczych (81) utworzonym przez mniej znaczące bity próbek, którym odpowiada aproksymacja błędu.. Sposób odtworzenia pierwszego zestawu () danych cyfrowych zawierającego próbki (A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9 ) z drugiego zestawu () danych cyfrowych zawierającego próbki (C 0, C 1, C 2, C 3, C 4 ) uzyskane z wykorzystaniem spo-

38 sobu według dowolnego z powyższych zastrzeżeń, obejmujący następujące etapy: - odtworzenie aproksymacji błędu dla każdej z przyrównanych próbek na podstawie mniej znaczących bitów próbek (C 0, C 1, C 2, C 3, C 4 ) zawartych w drugim zestawie () danych cyfrowych, - odtworzenie pierwszego podzestawu próbek (A 0, A 2, A 4, A 6, A 8 ) pierwszego zestawu () danych cyfrowych, które są równe próbkom (C 0, C 1, C 2, C 3, C 4 ) zawartym w drugim zestawie () danych cyfrowych, oraz - obliczenie drugiego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) przez przyrównanie próbek do sąsiednich próbek pierwszego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) i zastosowanie do przyrównanej próbki odpowiadającej jej aproksymacji błędu. 6. Sposób według zastrzeżenia, w którym pierwszy zestaw () danych cyfrowych reprezentuje pierwszy sygnał audio, zaś drugi zestaw () danych cyfrowych reprezentuje drugi sygnał audio, który stanowi reprezentację pierwszego sygnału audio o zmniejszonej częstotliwości próbkowania. 7. Sposób według zastrzeżenia 6 w którym wydzielany jest trzeci zestaw (80) danych cyfrowych reprezentujący trzeci sygnał audio, gdzie trzeci zestaw (80) danych cyfrowych stanowi połączenie pierwszego zestawu () danych cyfrowych i drugiego zestawu () danych cyfrowych. 8. Sposób według zastrzeżenia 7, w którym z obszaru danych pomocniczych (81) utworzonego przez mniej znaczące bity próbek należących do trzeciego zestawu (80) danych cyfrowych odtwarzane są aproksymacje błędów, zaś do określenia pozycji pierwszej aproksymacji błędu względem wartości początkowej (A 0 ) jest wykorzystywany wzór synchronizacyjny (SYNC). 9. Sposób według dowolnego z zastrzeżeń od do 8, w którym po przeprowadzeniu etapu odtwarzania pierwszego zestawu () danych cyfrowych jest przeprowadzana kompensacja błędu wynikającego z przyrównywania próbek kodowania, gdzie kompensacja jest dokonywana przez dodanie odczytanej aproksymacji błędu.. Koder () przeznaczony do wykonywania sposobu według dowolnego z zastrzeżeń od 1 do 4, zawierający: - pierwszy moduł przyrównujący (11a) przeznaczony do przyrównywania każdej z próbek pierwszego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) pierwszego zestawu () danych cyfrowych do sąsiedniej próbki z drugiego podzestawu próbek (A 0, A 2, A 4, A 6, A 8 ) pierwszego zestawu () danych cyfrowych, gdzie pierwszy podzestaw próbek (A 1, A 3, A, A 7, A 9 ) i drugi podzestaw próbek (A 0, A 2, A 4, A 6, A 8 ) przeplatają się ze sobą, - moduł aproksymujący błędy przeznaczony do aproksymowania błędu dla każdej z przyrównanych próbek, gdzie błąd jest różnicą między próbką z pierwszego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) a odpowiadającą jej próbką, do której jest przyrównywana, - moduł przeznaczony do usuwania przyrównanych próbek pierwszego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) z zestawu danych cyfrowych zawierającego próbki (A 0, A 1, A 2, A 3, A 4, A, A 6, A 7, A 8, A 9 ), oraz - moduł przeznaczony do umieszczania aproksymowanych błędów w mniej znaczących bitach drugiego podzestawu próbek (A 0, A 2, A 4, A 6, A 8 ). 11. Dekoder przeznaczony do wykonywania sposobu według dowolnego z zastrzeżeń od do 9, zawierający: - procesor (6) przeznaczony do odtwarzania pierwszego zestawu () danych cyfrowych zawierającego pierwszy podzestaw próbek (A 1, A 3, A, A 7, A 9 ) i drugi podzestaw próbek (A 0, A 2, A 4, A 6, A 8 ), - moduł (3) odtwarzający aproksymacje błędów przeznaczony do odtwarzania aproksymacji błędu dla każdej z przyrównanych próbek na podstawie mniej znaczą-

39 38 cych bitów próbek (C 0, C 1, C 2, C 3, C 4 ) zawartych w drugim zestawie () danych cyfrowych, - moduł przeznaczony do odtwarzania drugiego podzestawu próbek (A 0, A 2, A 4, A 6, A 8 ) pierwszego zestawu () danych cyfrowych, które są równe próbkom (C 0, C 1, C 2, C 3, C 4 ) zawartym w drugim zestawie () danych cyfrowych, oraz - moduł (4) przeznaczony do obliczania pierwszego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) przez przyrównanie próbek do sąsiednich próbek drugiego podzestawu próbek (A 1, A 3, A, A 7, A 9 ) i stosowania do przyrównanej próbki odpowiadającej jej aproksymacji błędu. 12. Program komputerowy zawierający kod przeznaczony do wykonywania sposobu według dowolnego z zastrzeżeń od 1 do 9, gdy jest on uruchomiony z wykorzystaniem komputera zapewniającego środowisko odpowiednie do wykonywania programu komputerowego. 13. Zmniejszony zestaw () danych cyfrowych uzyskany z wykorzystaniem sposobu według dowolnego z zastrzeżeń od 1 do Nośnik do zapisywania, zawierający zmniejszony zestaw () danych cyfrowych według zastrzeżenia 13.. Urządzenie rejestrujące zawierające koder według zastrzeżenia. 16. Urządzenie odtwarzające zawierające dekoder według zastrzeżenia 11. Uprawniony: AURO TECHNOLOGIES Pełnomocnik: dr inż. Robert Teofilak Rzecznik patentowy

40 39

41

42 41

43 42

44 43

45 44

46 4