(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (51) T3 Int.Cl. G10L 19/14 ( ) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 2012/01 EP B1 (54) Tytuł wynalazku: Algorytm kodowania/dekodowania sygnału akustycznego z małą przepływnością i typowym przetwarzaniem wstępnym (30) Pierwszeństwo: US EP EP (43) Zgłoszenie ogłoszono: w Europejskim Biuletynie Patentowym nr 2011/16 (45) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 2012/06 (73) Uprawniony z patentu: Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.v., München, DE (72) Twórca(y) wynalazku: PL/EP T3 BERNHARD GRILL, Lauf, DE STEFAN BAYER, Nürnberg, DE GUILLAUME FUCHS, Erlangen, DE STEFAN GEYERSBERGER, Wuerzburg, DE RALF GEIGER, Nuernberg, DE JOHANNES HILPERT, Nuernberg, DE ULRICH KRAEMER, Stuttgart, DE JEREMIE LECOMTE, Nürnberg, DE MARKUS MULTRUS, Nue (74) Pełnomocnik: rzecz. pat. Sebastian Walkiewicz LDS ŁAZEWSKI DEPO I WSPÓLNICY SP.K. ul. Mysłowicka Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 1 EP B1 Z-9470/12 Algorytm kodowania/dekodowania sygnału akustycznego z małą przepływnością i 5 typowym przetwarzaniem wstępnym Opis Dziedzina wynalazku [0001] Niniejszy wynalazek dotyczy kodowania sygnału akustycznego oraz, w szczególności, sposobów kodowania sygnału akustycznego z małą przepływnością. Stan techniki [0002] W niniejszej dziedzinie znane są metody kodowania w domenie częstotliwości, takie jak MP3 lub AAC. Takie kodery domeny częstotliwości oparte są na konwersji z domeny czasu do domeny częstotliwości, po której następuje etap kwantyzacji, w którym kontrolowany jest błąd kwantyzacji przy użyciu informacji z modułu psychoakustycznego, oraz etap kodowania, w którym skwantyzowane współczynniki widmowe wraz z odpowiadającą im dodatkową informacją kodowane są entropijnie z użyciem tablic kodów. [0003] Z drugiej strony, istnieją kodery bardzo dobrze dopasowane do przetwarzania sygnałów mowy, takie jak koder AMRWB+ opisany w standardzie 3GPP TS Takie algorytmy kodowania wykonują liniowe filtrowanie predykcyjne (LP, Linear Prediction) sygnału w domenie czasu. Takie filtrowanie LP uzyskuje się z liniowej analizy predykcyjnej wejściowego sygnału w domenie czasu. Uzyskane współczynniki filtrowania LP kodowane są następnie i przesyłane, jako informacja dodatkowa. Algorytm ten jest znany pod nazwą liniowego kodowania predykcyjnego (LPC, Linear Prediction Coding). Na wyjściu filtru, sygnał pozostały po predykcji lub sygnał błędu predykcji, znany również, jako sygnał pobudzenia, kodowany jest z użyciem etapów analizy przez syntezę kodera ACELP, lub alternatywnie, kodowany jest z użyciem kodera transformatowego, stosującego transformację Fouriera z zakładkami. Wybór pomiędzy kodowaniem ACELP i kodowaniem transformatowym pobudzenia, nazywanym również kodowaniem TCX, odbywa się z użyciem algorytmu pętli zamkniętej lub algorytmu pętli otwartej. [0004] Algorytmy kodowania sygnału akustycznego w domenie częstotliwości, takie jak algorytm kodowania AAC o wysokiej wydajności, który łączy algorytm kodowania AAC z techniką replikacji pasm widmowych, mogą być również łączone w narzędziu łącznego kodowania stereo lub kodowania wielokanałowego, które znane jest pod nazwą MPEG surround.

3 [0005] Z drugiej strony, kodery sygnału mowy, takie jak AMR-WB+ zawierają również etap wzbogacania wysokich częstotliwości, oraz funkcję stereo. [0006] Algorytmy kodowania w domenie częstotliwości są korzystne przez to, że dla sygnałów muzycznych oferują wysoką jakość przy małej przepływności. Problematyczna jest jednak jakość sygnałów mowy przy małej przepływności. [0007] Algorytmy kodowania sygnałów mowy oferują wysoką jakość nawet przy małych przepływnościach, ale słabą jakość sygnałów muzycznych przy takich małych przepływnościach. Podsumowanie wynalazku [0008] Celem niniejszego wynalazku jest dostarczenie ulepszonej koncepcji kodowania. [0009] Cel ten jest osiągnięty przez koder zgodny z zastrzeżeniem 1, sposób zgodny z zastrzeżeniem 13, koder sygnału akustycznego zgodny z zastrzeżeniem 14, sposób dekodowania sygnału akustycznego zgodny z zastrzeżeniem 24, oraz przez program komputerowy zgodny z zastrzeżeniem 25. [0010] W jednym z aspektów niniejszego wynalazku zastosowany jest człon decyzji sterowania przełączaniem, do przesyłania wyników przetwarzania typowego przetwarzania wstępnego do jednej z dwóch ścieżek. Jedna z nich wskazywana jest głównie przez model źródła i/lub przez obiektywne pomiary, jak np. SNR, druga zaś przez model ujścia i/lub model psychoakustyczny, tj. przez maskowanie słuchowe. [0011] Przykładowo, jedna ścieżka zawiera koder w domenie częstotliwości, zaś druga ścieżka zawiera koder w domenie LPC, taki jak koder sygnału mowy. Modelem źródłowym zazwyczaj jest przetwarzanie sygnału mowy, dlatego też powszechnie używany jest algorytm LPC. Tak więc typowe człony przetwarzania, takie jak człon łącznego kodowania stereo lub kodowania wielokanałowego i/lub człon rozszerzania pasma, stosowane są powszechnie przy obu algorytmach kodowania, co pozwala zaoszczędzić znaczną ilość pamięci, powierzchni układów, zużytej mocy, itp. w porównaniu z sytuacją, w której w tych samych celach stosowany jest pełny koder sygnału akustycznego, oraz pełny koder sygnału mowy. [0012] W korzystnym wariancie niniejszego wynalazku, koder sygnału akustycznego zawiera typowy człon przetwarzania dla dwóch ścieżek, gdzie wybór pierwszej ścieżki uzasadniony jest głównie modelem ujścia i/lub modelem psychoakustycznym, tj. przez maskowanie słuchowe, oraz gdzie wybór drugiej ścieżki uzasadniony jest głównie modelem źródła i segmentowymi obliczeniami SNR. Koder sygnału akustycznego korzystnie posiada jeden lub dwa przełączniki do przełączania pomiędzy ścieżkami na ich wejściach lub na ich wyjściach, sterowane przez człon decyzji. W koderze sygnału akustycznego pierwsza ścieżka typowo zawiera koder oparty na modelu psychoakustycznym, zaś ścieżka druga zawiera analizator LPC lub SNR.

4 [0013] W korzystnym wariancie niniejszego wynalazku, dekoder sygnału akustycznego zawiera ścieżkę dekodowania opartą na ujściu informacji, taką jak ścieżka dekodowania w domenie częstotliwości, ścieżkę dekodowania opartą na źródle informacji, taką jak ścieżka dekodowania w domenie LPC, przełącznik do przełączania pomiędzy ścieżkami, oraz typowy człon przetwarzania końcowego, do przetwarzania końcowego sygnału akustycznego w domenie czasu, w celu uzyskania sygnału akustycznego po przetwarzaniu końcowym. Krótki opis rysunków [0014] Korzystne warianty niniejszego wynalazku są poniżej opisane w odniesieniu do załączonych rysunków, na których: Fig. 1a jest schematem blokowym metody kodowania zgodnej z pierwszym aspektem niniejszego wynalazku; Fig. 1b jest schematem blokowym metody dekodowania zgodnej z pierwszym aspektem niniejszego wynalazku; Fig. 2a jest schematem blokowym metody kodowania zgodnej z drugim aspektem niniejszego wynalazku; Fig. 2b jest schematem blokowym metody dekodowania zgodnej z drugim aspektem niniejszego wynalazku; Fig. 3a przedstawia schemat blokowy metody kodowania zgodnej z kolejnym aspektem niniejszego wynalazku; Fig. 3b przedstawia schemat blokowy metody dekodowania zgodnej z kolejnym aspektem niniejszego wynalazku; Fig. 4a przedstawia schemat blokowy z przełącznikiem umieszczonym przed ścieżkami kodowania; Fig. 4b przedstawia schemat blokowy metody kodowania z przełącznikiem umieszczonym bezpośrednio za ścieżkami kodowania; Fig. 4c przedstawia schemat blokowy korzystnego wariantu modułu łączącego; Fig. 5a przedstawia postać falową segmentu sygnału mowy w domenie czasu, jako segmentu sygnału quasi-okresowego lub segmentu sygnału typu impulsowego; Fig. 5b przedstawia widmo segmentu z Fig. 5a; Fig. 5c przedstawia segment sygnału mowy w domenie czasu dla mowy bezdźwięcznej, jako przykład segmentu stałego i segmentu typu szumu; Fig. 5d przedstawia widmo fali w domenie czasu z Fig. 5c; Fig. 6 przedstawia schemat blokowy analizy przez syntezę kodera CELP; Fig. od 7a do 7d przedstawiają dźwięczne i bezdźwięczne sygnały pobudzenia, jako przykłady sygnałów typu impulsowego i sygnałów typu stałego/typu szumu; Fig. 7e przedstawia człon LPC po stronie kodera dostarczający informację o predykcji krótkoterminowej i o sygnale błędu predykcji;

5 Fig. 8 przedstawia schemat blokowy łącznego wielokanałowego algorytmu zgodnego z wariantem niniejszego wynalazku; Fig. 9 przedstawia korzystny wariant algorytmu rozszerzania pasma; Fig. 10a przedstawia szczegółowy opis przełącznika przy podejmowaniu decyzji pętli otwartej; oraz Fig. 10b przedstawia wariant przełącznika działającego w trybie decyzji pętli zamkniętej. Szczegółowy opis korzystnych wariantów [0015] Sygnał monofoniczny, stereofoniczny, lub sygnał wielokanałowy wprowadzony jest do typowego członu przetwarzania wstępnego 100 na Fig. 1a. Typowy algorytm przetwarzania wstępnego może posiadać funkcję łącznego stereo, funkcję surround, i/lub funkcję rozszerzania pasma. Na wyjściu bloku 100 znajduje się kanał mono, kanał stereo, lub wiele kanałów, które doprowadzone są do przełącznika 200 lub przełączników wielotorowych typu 200. [0016] Przełącznik 200 może być umieszczony dla każdego wyjścia z członu 100, gdy człon 100 posiada więcej niż jedno wyjście, tj. gdy z członu 100 wyprowadzony jest sygnał stereo lub sygnał wielokanałowy. Przykładowo, pierwszy kanał sygnału stereo może być kanałem sygnału mowy, zaś drugi kanał sygnału stereo może być kanałem muzyki. W takiej sytuacji decyzja w tym samym momencie w członie decyzji może być inna dla obu kanałów. [0017] Przełącznik 200 sterowany jest przez człon decyzji 300. Człon decyzji odbiera na swoim wejściu sygnał wejściowy do bloku 100 lub sygnał wyjściowy z bloku 100. Alternatywnie, człon decyzji 300 może również odbierać informację dodatkową, która jest zawarta w sygnale mono, sygnale stereo, lub sygnale wielokanałowym, albo tam gdzie taka informacja - która na przykład została wygenerowana podczas oryginalnego wytwarzania sygnału mono, stereo lub wielokanałowego istnieje, jest przynajmniej powiązana z takimi sygnałami. [0018] W jednym z wariantów, człon decyzji nie steruje członem przetwarzania 100, a strzałka pomiędzy blokiem 300 i blokiem 100 nie istnieje. W kolejnym wariancie, blok przetwarzania 100 sterowany jest do pewnego stopnia przez człon decyzji 300 w celu ustawienia przynajmniej jednego z parametrów w bloku 100 w oparciu o decyzję. Nie wpływa to jednak na ogólny algorytm w bloku 100, tak że podstawowe funkcje w bloku 100 są aktywne niezależnie od decyzji w członie 300. [0019] Człon decyzji 300 uruchamia przełącznik 200 w celu przekazania rezultatów typowego członu przetwarzania wstępnego, albo do części 400 kodowania częstotliwości pokazanej w górnej ścieżce na Fig. 1a, albo do części 500 kodowania w domenie LPC pokazanej w dolnej ścieżce na Fig. 1a. [0020] W jednym z wariantów, przełącznik 200 przełącza pomiędzy dwoma ścieżkami kodowania 400, 500. W kolejnym wariancie istnieć mogą dodatkowe ścieżki kodowania, jak trzecia ścieżka kodowania lub nawet czwarta ścieżka kodowania, albo może istnieć jeszcze

6 więcej ścieżek kodowania. W wariacie z trzema ścieżkami kodowania, trzecia ścieżka kodowania może być podobna do drugiej ścieżki kodowania, ale może zawierać koder pobudzenia inny od kodera pobudzenia 520 w drugiej ścieżce 500. W wariancie tym, druga ścieżka zawiera człon 510 LPC, oraz koder pobudzenia oparty na książce kodowej, taki jak koder ACELP, zaś trzecia ścieżka zawiera człon LPC oraz koder pobudzenia działający na reprezentacji widmowej sygnału wyjściowego członu LPC. [0021] Podstawowym elementem ścieżki kodowania w domenie częstotliwości jest blok 410 konwersji widmowej, który przetwarza typowy sygnał wyjściowy z członu przetwarzania wstępnego na sygnał w domenie widmowej. Blok konwersji widmowej może zawierać algorytm MDCT, QMF, lub FFT, analizę falkową lub bank filtrów, taki jak bank filtrów próbkowany krytycznie posiadający pewną liczbę kanałów banku filtrów, gdzie sygnały podpasm w takim banku filtrów mogą być sygnałami wartości rzeczywistych lub sygnałami wartości zespolonych. Sygnał wyjściowy z bloku 410 konwersji widmowej jest kodowany z użyciem kodera widmowego 420 sygnału akustycznego, który może zawierać bloki przetwarzania znane z algorytmu kodowania AAC. [0022] Podstawowym elementem w dolnej ścieżce kodowania 500 jest analizator modelu źródła, taki jak LPC 510, który wytwarza dwa rodzaje sygnałów. Jednym sygnałem jest sygnał informacji LPC, który użyty jest do sterowania charakterystyką filtru syntezy LPC. Taka informacja LPC przesłana jest do dekodera. Innym sygnałem wyjściowym członu 510 LPC jest sygnał pobudzenia lub sygnał w domenie LPC, który wprowadzony jest do kodera pobudzenia 520. Koder pobudzenia 520 może być dowolnym koderem modelu filtrowania źródła, takim jak koder CELP, koder ACELP, lub dowolny inny koder przetwarzający sygnał w domenie LPC. [0023] Inną korzystną implementacją kodera pobudzenia jest kodowanie transformatowe sygnału pobudzenia. W wariancie tym, sygnał pobudzenia nie jest kodowany z użyciem mechanizmu książki kodowej ACELP, ale przekonwertowany jest na reprezentację widmową, a wartości reprezentacji widmowej, takie jak sygnały podpasm w przypadku banku filtrów lub współczynniki częstotliwości w przypadku transformacji takiej jak FFT, kodowane są w celu uzyskania kompresji danych. Implementacja takiego kodera pobudzenia jest trybem kodowania TCX, znanym z AMR-WB+. [0024] Decyzja w członie decyzji może być dopasowująca się do sygnału, tak że człon decyzji rozróżnia muzykę od mowy i steruje przełącznikiem 200 w taki sposób, że sygnały muzyczne wprowadzane są do górnej ścieżki 400, zaś sygnały mowy wprowadzane są do dolnej ścieżki 500. W jednym z wariantów, człon decyzji przekazuje informację o decyzji do wyjściowego strumienia bitów, tak że dekoder może użyć tej informacji w celu dokonania właściwej operacji dekodowania. [0025] Dekoder taki przedstawiony jest na Fig. 1b. Sygnał wyjściowy z widmowego kodera 420 sygnału akustycznego, po przesłaniu wprowadzony jest do widmowego dekodera

7 sygnału akustycznego. Sygnał wyjściowy z widmowego dekodera 430 sygnału akustycznego wprowadzony jest do przetwornika 440 domeny czasu. Analogicznie, sygnał wyjściowy kodera pobudzenia 520 z Fig. 1a wprowadzony jest do dekodera pobudzenia 530, który wytwarza wyjściowy sygnał w domenie LPC. Sygnał w domenie LPC wprowadzony jest do członu 540 syntezy LPC, który odbiera, na kolejnym wejściu, informację LPC generowaną przez odpowiedni człon 510 analizy LPC. Sygnały wyjściowe z przetwornika 440 domeny czasu i/lub z członu 540 syntezy LPC wprowadzone są do przełącznika 600. Przełącznik 600 sterowany jest sygnałem sterującym przełącznikiem, który został na przykład wygenerowany w członie decyzji 300, lub który został dostarczony z zewnątrz, na przykład przez podmiot tworzący oryginalne sygnały mono, stereo, lub sygnał wielokanałowy. [0026] Sygnał wyjściowy z przełącznika 600 jest kompletnym sygnałem mono, który jest następnie wprowadzony do typowego członu przetwarzania końcowego 700, w którym może się odbywać połączone przetwarzanie stereo, lub przetwarzanie rozszerzania pasma, itp. Alternatywnie, na wyjściu przełącznika może być sygnał stereo lub nawet sygnał wielokanałowy. Jest to sygnał stereo, gdy przetwarzanie wstępne obejmuje redukcję ilości kanałów do dwóch. Może to być nawet sygnał wielokanałowy, gdy wykonywana jest redukcja ilości kanałów do trzech, lub nie wykonuje się redukcji kanałów, a jedynie replikację pasm widmowych. [0027] W zależności od konkretnej funkcji typowego członu przetwarzania końcowego, w jego efekcie wytworzony jest sygnał mono, sygnał stereo lub sygnał wielokanałowy, który w przypadku, gdy człon przetwarzania końcowego 700 wykonuje operację rozszerzania pasma, posiada większą szerokość pasma niż sygnał wejściowy do bloku 700. [0028] W jednym z wariantów, przełącznik 600 przełącza pomiędzy dwoma ścieżkami dekodowania 430, 440 i 530, 540. W kolejnym wariancie, mogą istnieć dodatkowe ścieżki dekodowania, jak np. trzecia ścieżka dekodowania, a nawet czwarta ścieżka dekodowania, albo może istnieć jeszcze więcej ścieżek dekodowania. W wariancie z trzema ścieżkami dekodowania, trzecia ścieżka dekodowania może być podobna do drugiej ścieżki dekodowania, ale może zawierać inny dekoder pobudzenia niż dekoder pobudzenia 530 w drugiej ścieżce 530, 540. W wariancie tym, druga ścieżka zawiera człon LPC 540 oraz dekoder pobudzenia oparty na książce kodowej, taki jak ACELP, zaś trzecia ścieżka zawiera człon LPC oraz dekoder pobudzenia działający na reprezentacji widmowej sygnału wyjściowego członu 540 LPC. [0029] Jak stwierdzono wcześniej, Fig. 2 przedstawia korzystny algorytm kodowania zgodny z drugim aspektem niniejszego wynalazku. Typowy algorytm przetwarzania 100 na Fig. 1a zawiera teraz blok 101 surround/łączne stereo, który generuje na swoim wyjściu łączne parametry stereo i wyjściowy sygnał mono, który generowany jest przez operację downmixu sygnału wejściowego, który jest sygnałem posiadającym przynajmniej dwa kanały. Ogólnie, sygnał na wyjściu bloku 101 może być również sygnałem posiadającym więcej

8 kanałów, ale ze względu na funkcję downmixu bloku 101, liczba kanałów na wyjściu bloku 101 będzie mniejsza, niż liczba kanałów wprowadzonych do bloku 101. [0030] Wyjście bloku 101 doprowadzone jest na wejście bloku 102 rozszerzania pasma, który w koderze na Fig. 2a, na swoim wyjściu wytwarza sygnał o ograniczonym paśmie, taki jak sygnał w paśmie niskich częstotliwości, lub sygnał po filtrowaniu dolnoprzepustowym. Ponadto, dla pasma wysokich częstotliwości sygnału wprowadzonego do bloku 102, generowane są i przekazywane do multipleksera 800 strumienia bitów, parametry rozszerzania pasma, takie jak parametry obwiedni widmowej, parametry odwrotnego filtrowania, parametry tła szumu itp., znane z profilu HE-AAC standardu MPEG-4. [0031] Korzystnie, człon decyzji 300 odbiera sygnał wprowadzony do bloku 101 lub wprowadzony do bloku 102 w celu dokonania wyboru, na przykład, co do trybu muzyki lub trybu mowy. W trybie muzyki wybrana jest górna ścieżka kodowania 400, zaś w trybie mowy, dolna ścieżka kodowania 500. Korzystnie, człon decyzji dodatkowo steruje blokiem 101 łącznego stereo i/lub blokiem 102 rozszerzania pasma w celu dopasowania funkcji tych bloków do konkretnego sygnału. Tak więc, kiedy człon decyzji ustali, że pewien czasowy odcinek sygnału wejściowego jest typu pierwszego, jak typ muzyczny, to człon decyzji 300 może sterować konkretnymi cechami bloku 101 i/lub bloku 102. Alternatywnie, kiedy człon decyzji 300 ustali, że sygnał jest w trybie mowy, lub ogólnie w trybie kodowania w domenie LPC, to konkretne cechy bloków 101 i 102 mogą być sterowane zgodnie z wynikiem członu decyzji. [0032] W zależności od decyzji przełącznika, która może być uzyskana z sygnału wejściowego przełącznika 200 lub z dowolnego zewnętrznego źródła, jak np. wytwórca oryginalnego sygnału akustycznego będącego bazą sygnału wejściowego do członu 200, przełącznik przełącza pomiędzy ścieżką 400 kodowania częstotliwości a ścieżką 500 kodowania LPC. Ścieżka 400 kodowania częstotliwości zawiera człon 410 konwersji widmowej, oraz następny w kolejności człon 421 kwantyzacji/kodowania (jak widać na Fig. 2a). Człon kwantyzacji/kodowania może zawierać dowolne funkcje znane we współczesnych koderach domeny częstotliwości, takich jak koder AAC. Ponadto, operacja kwantyzacji w członie 421 kwantyzacji/kodowania może być sterowana za pomocą modelu psychoakustycznego, który generuje informację psychoakustyczną, taką jak psychoakustyczny próg maskowania w częstotliwości, która to informacja wprowadzona jest do członu 421. [0033] Korzystnie, konwersja widmowa wykonana jest z użyciem operacji MDCT, która, jeszcze korzystniej, jest operacją dopasowanej czasowo transformacji MDCT, gdzie moc, lub ogólnie, moc dopasowania może być regulowana od zerowej do wysokiej mocy dopasowania. Przy mocy dopasowania zerowej, operacja MDCT w bloku 411 jest zwykłą operacją MDCT, znaną w dziedzinie. Moc dopasowania czasowego, wraz z informacją dodatkową o dopasowaniu czasowym może być przesłana/wprowadzona do multipleksera 800 strumienia bitów, jako informacja dodatkowa. Dlatego też, jeśli użyta jest operacja TW-MDCT, informacja dodatkowa o dopasowaniu czasowym powinna być przesłana do strumienia bitów,

9 co oznaczono, jako 424 na Fig. 2a, oraz po stronie dekodera - informacja dodatkowa o dopasowaniu czasowym powinna być odebrana ze strumienia bitów, co oznaczono, jako 434 na Fig. 2b. [0034] W ścieżce kodowania LPC, koder w domenie LPC może zawierać rdzeń ACELP obliczający wzmocnienie tonu, opóźnienie tonu i/lub informację z książki kodowej, jak np. indeks książki kodowej i wzmocnienie kodu. [0035] W pierwszej ścieżce 400 kodowania, konwerter widmowy korzystnie obejmuje specjalnie dopasowaną operację MDCT, posiadającą pewne funkcje okien, po której następuje człon kwantyzacji/kodowania entropii, który może być członem kwantyzacji wektorowej, ale korzystnie jest kwantyzatorem/koderem w ścieżce kodowania domeny częstotliwości, np. pozycją 421 na Fig. 2a. [0036] Fig. 2b przedstawia schemat dekodowania odpowiadający schematowi kodowania z Fig. 2a. Strumień bitów wygenerowany przez multiplekser 800 strumienia bitów z Fig. 2a wprowadzony jest do demultipleksera 900 strumienia bitów. W zależności od informacji uzyskanej na przykład ze strumienia bitów przez blok 601 detekcji trybu, przełącznik 600 po stronie dekodera ustawiany jest do przesyłania do bloku 701 rozszerzania pasma, sygnałów z górnej ścieżki lub z dolnej ścieżki. Blok 701 rozszerzania pasma odbiera z demultipleksera 900 strumienia bitów informację dodatkową i w oparciu o tą informację dodatkową, oraz o wynik detekcji 601 trybu, odtwarza pasmo wysokich częstotliwości w oparciu o pasmo niskich częstotliwości przekazane przez przełącznik 600. [0037] Sygnał o pełnym paśmie generowany przez blok 701 wprowadzony jest do członu przetwarzania 702 łączne stereo/surround, który rekonstruuje dwa kanały stereo, lub kilka kanałów sygnału wielokanałowego. Ogólnie, blok 702 opuści więcej kanałów niż zostało do niego wprowadzonych. W zależności od zastosowania, na wejściu bloku 702 mogą znajdować się nawet dwa kanały, jak w trybie stereo, a nawet więcej kanałów, pod warunkiem, że na wyjściu tego bloku mamy więcej kanałów niż na jego wejściu. [0038] Ogólnie, istnieje dekoder pobudzenia 530. Algorytm zastosowany w bloku 530 dopasowany jest do odpowiadającego mu algorytmu użytego w bloku 520 po stronie kodera. Podczas gdy człon 431 wytwarza widmo uzyskane z sygnału w domenie czasu, który jest przekonwertowany do domeny czasu z użyciem konwertera 440 częstotliwość/czas, człon 530 wytwarza sygnał w domenie LPC. Dane wyjściowe z członu 530 przetwarzane są z powrotem do domeny czasu z użyciem członu 540 syntezy LPC, który sterowany jest przez informację LPC wygenerowaną i przesłaną po stronie kodera. Następnie, bezpośrednio za blokiem 540, obie ścieżki zawierają informację w domenie czasu, która przełączana jest zgodnie z sygnałem sterującym przełącznikiem, w celu ostatecznego uzyskania sygnału akustycznego, takiego jak sygnał mono, sygnał stereo, lub sygnał wielokanałowy. [0039] Przełącznik 200 pokazany został, jako przełączający pomiędzy obydwiema ścieżkami, tak że tylko jedna ze ścieżek odbiera sygnał do przetwarzania, zaś druga ścieżka

10 nie odbiera sygnału do przetwarzania. Jednak w wariancie alternatywnym, przełącznik może być również umieszczony bezpośrednio za, na przykład, koderem 420 sygnału akustycznego i koderem 520 pobudzenia, co oznacza, że obie ścieżki 400, 500 równolegle przetwarzają ten sam sygnał. Jednak w celu uniknięcia podwojenia przepływności, do wprowadzenia do wyjściowego strumienia bitów wybrany jest z tych dwóch ścieżek tylko jeden sygnał wyjściowy 400 lub 500. Człon decyzji działał będzie w taki sposób, aby sygnał wprowadzony do strumienia bitów minimalizował pewną funkcję kosztu, gdzie funkcją kosztu może być wygenerowana przepływność, lub wygenerowane zniekształcenie perceptualne, lub połączona funkcja kosztu przepływności/zniekształceń. Dlatego też, w tym trybie, bądź w trybie pokazanym na Figurach, człon decyzji może również działać w trybie pętli zamkniętej w celu zapewnienia, że ostatecznie do strumienia bitów wprowadzony zostanie efekt działania tylko tej ścieżki, która przy danym zniekształceniu oferuje najmniejszą przepływność, lub przy danej przepływności, zapewnia najmniejsze zniekształcenia perceptualne. [0040] Ogólnie, przetwarzanie w ścieżce 400 jest przetwarzaniem w modelu opartym na percepcji lub w modelu ujścia informacji. Tak więc ścieżka ta reprezentuje ludzki słuch odbierający dźwięk. W przeciwieństwie do tego, przetwarzanie w ścieżce 500 ma za zadanie generowanie sygnału w domenie pobudzenia, resztkowej, lub domenie LPC. Ogólnie, przetwarzanie w ścieżce 500 jest przetwarzaniem w modelu mowy, lub w modelu generowania informacji. Przy sygnałach mowy, model ten jest modelem generowania dźwięku przez ludzki system mowy/generowania dźwięku. Jeśli jednak do zakodowania mamy dźwięk z innego źródła, wymagający innego modelu generowania dźwięku, ścieżka 500 przetwarzania może wyglądać inaczej. [0041] Chociaż Figury od 1a do 2b przedstawiają schematy blokowe urządzenia, figury te ilustrują jednocześnie sposób, gdzie funkcje bloku odpowiadają etapom sposobu. [0042] Fig. 3a przedstawia koder sygnału akustycznego do wytwarzania zakodowanego sygnału akustycznego na wyjściu pierwszej ścieżki kodowania 400 i drugiej ścieżki kodowania 500. Ponadto, zakodowany sygnał akustyczny korzystnie zawiera informację dodatkową, taką jak parametry przetwarzania wstępnego z typowego członu przetwarzania wstępnego, lub jak omówiono to w odniesieniu do poprzednich Figur, informację sterującą przełącznikiem. [0043] Korzystnie, pierwsza ścieżka kodowania działa w celu kodowania pośredniego sygnału akustycznego 195 zgodnie z pierwszym algorytmem kodowania, przy czym pierwszy algorytm kodowania posiada model ujścia informacji. Pierwsza ścieżka kodowania 400 generuje sygnał wyjściowy pierwszego kodera, który jest zakodowaną reprezentacją informacji widmowej pośredniego sygnału akustycznego 195. [0044] Ponadto, druga ścieżka kodowania 500 przystosowana jest do kodowania pośredniego sygnału akustycznego 195 zgodnie z drugim algorytmem kodowania, przy czym drugi algorytm kodowania posiada model źródła informacji, oraz generuje w sygnale

11 wyjściowym pierwszego kodera zakodowane parametry dla modelu źródła informacji reprezentującego pośredni sygnał akustyczny. [0045] Koder sygnału akustycznego zawiera ponadto typowy człon przetwarzania wstępnego do przetwarzania wstępnego wejściowego sygnału akustycznego 99 w celu uzyskania pośredniego sygnału 195. W szczególności, typowy człon przetwarzania wstępnego użyty jest do przetwarzania wejściowego sygnału akustycznego 99 w taki sposób, aby pośredni sygnał akustyczny 195, tj. wynik działania algorytmu przetwarzania wstępnego, był skompresowaną wersją wejściowego sygnału akustycznego. [0046] Korzystny sposób kodowania sygnału akustycznego w celu generowania zakodowanego sygnału akustycznego obejmuje etap 400 kodowania pośredniego sygnału 195 zgodnie z pierwszym algorytmem kodowania, przy czym pierwszy algorytm kodowania posiada model ujścia informacji, oraz generuje w pierwszym sygnale wyjściowym zakodowaną informację widmową reprezentującą sygnał akustyczny; etap 500 kodowania pośredniego sygnału 195 zgodnie z drugim algorytmem kodowania, przy czym drugi algorytm kodowania posiada model źródła informacji oraz generuje w drugim sygnale wyjściowym zakodowane parametry dla modelu źródła informacji reprezentującego pośredni sygnał 195, oraz etap 100 typowego przetwarzania wstępnego wejściowego sygnału akustycznego 99 w celu uzyskania pośredniego sygnału akustycznego 195, przy czym w etapie typowego przetwarzania wstępnego, wejściowy sygnał akustyczny 99 jest przetwarzany w taki sposób, aby pośredni sygnał akustyczny 195 był wersją skompresowaną wejściowego sygnału akustycznego 99, przy czym zakodowany sygnał akustyczny zawiera, dla pewnej części sygnału akustycznego, albo pierwszy sygnał wyjściowy, albo drugi sygnał wyjściowy. Sposób korzystnie obejmuje kolejny etap kodowania pewnej części pośredniego sygnału akustycznego, albo z użyciem pierwszego algorytmu kodowania, albo z użyciem drugiego algorytmu kodowania, albo kodowania sygnału z użyciem obu algorytmów i wyprowadzania w zakodowanym sygnale, albo wyników pierwszego algorytmu kodowania, albo wyników drugiego algorytmu kodowania. [0047] Ogólnie, algorytm kodowania sygnału akustycznego użyty w pierwszej ścieżce kodowania 400 odzwierciedla i odwzorowuje sytuację w odbiorniku sygnału akustycznego. Odbiornikiem informacji akustycznej normalnie jest ludzkie ucho. Ludzkie ucho może być odwzorowane, jako analizator częstotliwości. Dlatego też, pierwsza ścieżka kodowania wytwarza zakodowaną informację widmową. Korzystnie, pierwsza ścieżka kodowania zawiera ponadto model psychoakustyczny do dodatkowego zastosowania psychoakustycznego progu maskowania. Próg maskowania psychoakustycznego użyty przy kwantyzacji wartości widmowych sygnału akustycznego, gdzie kwantyzacja przebiega w taki sposób, że w wyniku kwantyzacji wartości widmowych sygnału akustycznego ukrytych poniżej progu maskowania psychoakustycznego wprowadzony jest szum kwantyzacji.

12 [0048] Druga ścieżka kodowania reprezentuje model źródła informacji, który odzwierciedla generowanie sygnału akustycznego. Dlatego też model źródła informacji może obejmować model sygnału mowy, który odzwierciedlony jest przez człon LPC, tj. przez transformację sygnału w domenie czasu na sygnał w domenie LPC, a w następnej kolejności, przez przetwarzanie rezydualnego sygnału LPC, tj. sygnału pobudzenia. Alternatywnymi modelami źródła dźwięku są jednak modele reprezentujące pewne instrumenty lub inne dowolne generatory dźwięku, takie jak istniejące w świecie rzeczywistym poszczególne źródła dźwięku. Gdy dostępnych jest kilka modeli źródła dźwięku, wybór może być dokonany w oparciu o obliczenia SNR, tj. w oparciu o obliczenie, który z modeli źródła jest najwłaściwszym do kodowania pewnego czasowego odcinka i/lub częstotliwościowego odcinka sygnału akustycznego. Korzystnie jednak, przełączanie pomiędzy ścieżkami kodowania odbywa się w domenie czasu, czyli że pewien odcinek czasowy kodowany jest z użyciem jednego modelu, zaś inny odcinek czasowy sygnału pośredniego kodowany jest z użyciem drugiej ścieżki kodowania. [0049] Modele źródła informacji reprezentowane są przez pewne parametry. W przypadku modelu sygnału mowy, we współczesnych koderach sygnału mowy, takich jak AMR-WB+, parametrami są parametry LPC, oraz zakodowane parametry pobudzenia. Kodek AMR-WB+ zawiera koder ACELP, oraz koder TCX. W tym przypadku, zakodowanymi parametrami pobudzenia mogą być globalne wzmocnienie, tło szumu, oraz kody zmiennej długości. [0050] Ogólnie, wszystkie modele źródła informacji pozwalają na ustawienia zespołu parametrów odzwierciedlających oryginalny sygnał akustyczny w wydajny sposób. Dlatego też, na wyjściu drugiej ścieżki kodowania znajdą się zakodowane parametry dla modelu źródła informacji, reprezentującego pośredni sygnał akustyczny. [0051] Fig. 3b przedstawia dekoder odpowiadający koderowi przedstawionemu na Fig. 3a. Ogólnie, Fig. 3b przedstawia dekoder sygnału akustycznego do dekodowania zakodowanego sygnału akustycznego w celu uzyskania zdekodowanego sygnału akustycznego 799. Dekoder zawiera pierwszą ścieżkę dekodowania 450 do dekodowania zakodowanego sygnału akustycznego, który jest zakodowany zgodnie z pierwszym algorytmem kodowania posiadającym model ujścia informacji. Dekoder sygnału akustycznego zawiera ponadto drugą ścieżkę dekodowania 555, do dekodowania zakodowanego sygnału informacji, który jest zakodowany zgodnie z drugim algorytmem kodowania, posiadającym model źródła informacji. Dekoder sygnału akustycznego zawiera ponadto moduł łączący, do łączenia sygnałów wyjściowych z pierwszej ścieżki dekodowania 450 i drugiej ścieżki dekodowania 550, w celu uzyskania sygnału połączonego. Sygnał połączony, który przedstawiony jest na Fig. 3b, jako zdekodowany pośredni sygnał akustyczny 699, wprowadzony jest do typowego członu przetwarzania końcowego w celu dokonania przetwarzania końcowego zdekodowanego pośredniego sygnału akustycznego 699, który jest sygnałem połączonym, wytworzonym przez

13 moduł łączący 600, tak że sygnałem wyjściowym typowego członu przetwarzania końcowego jest rozszerzona wersja sygnału połączonego. Tak więc, zdekodowany sygnał akustyczny 799 posiada wzbogaconą zawartość informacji w porównaniu ze zdekodowanym pośrednim sygnałem akustycznym 699. To rozszerzenie informacji zapewnione jest przez typowy człon przetwarzania końcowego z pomocą parametrów przetwarzania wstępnego/końcowego, które mogą być przesłane od kodera do dekodera, albo które mogą być uzyskane z samego zdekodowanego pośredniego sygnału akustycznego. Korzystnie jednak, parametry przetwarzania wstępnego/końcowego przesłane są od kodera do dekodera, ponieważ procedura ta pozwala uzyskać lepszą jakość zdekodowanego sygnału akustycznego. [0052] Fig. 4a i 4b przedstawiają dwa różne warianty, które różnią się umieszczeniem przełącznika 200. Na fig. 4a przełącznik 200 umieszczony jest pomiędzy wyjściem typowego członu 100 przetwarzania wstępnego, a wejściem dwóch ścieżek kodowania 400, 500. Wariant z Fig. 4a zapewnia, że sygnał akustyczny wprowadzony jest tylko do jednej ścieżki kodowania, zaś druga ścieżka kodowania, która nie jest połączona z wyjściem typowego członu przetwarzania wstępnego, jest nieaktywna, więc jest wyłączona, lub znajduje się w trybie uśpionym. Wariant ten jest preferowany, ponieważ nieaktywna ścieżka kodowania nie zużywa energii i nie angażuje zasobów, co jest przydatne szczególnie w zastosowaniach przenośnych, które zasilane są bateryjnie i z tego powodu ograniczone są ich możliwości zużywania energii. [0053] Z drugiej strony jednak, wariant z Fig. 4b może być preferowany, gdy zużycie energii nie jest istotne. W wariancie tym ścieżki kodowania 400, 500 są aktywne przez cały czas, zaś przesyłany do modułu formowania strumienia bitów, który może być zaimplementowany, jako multiplekser 800 strumienia bitów, jest tylko wynik działania wybranej ścieżki kodowania dla pewnego odcinka czasowego i/lub odcinka częstotliwości. Dlatego też w wariancie z Fig. 4b obie ścieżki kodowania są aktywne przez cały czas, zaś sygnał wyjściowy ścieżki kodowania, która została wybrana przez człon decyzji 300, wprowadzony jest do wyjściowego strumienia bitów, podczas gdy sygnał wyjściowy ścieżki kodowania 400, która nie została wybrana, jest ignorowany, tzn. nie jest wprowadzany do wyjściowego strumienia bitów, czyli zakodowanego sygnału akustycznego. [0054] Fig. 4c przedstawia kolejny aspekt korzystnego wariantu dekodera. W celu uniknięcia słyszalnych artefaktów, zwłaszcza w sytuacji, w której pierwszy dekoder jest dekoderem generującym czasowy aliasing, lub mówiąc ogólnie, dekoderem w domenie częstotliwości, zaś drugi dekoder jest urządzeniem pracującym w domenie czasu, granice pomiędzy blokami ramek wytworzonymi przez pierwszy dekoder 450 i drugi dekoder 550 nie powinny być całkowicie ciągłe, zwłaszcza w sytuacji przełączania. Dlatego też, kiedy wyprowadzony jest pierwszy blok z pierwszego dekodera 450 i kiedy dla następnego odcinka czasowego, wyprowadzony jest blok z drugiego dekodera, preferuje się wykonanie operacji przenikania, przedstawionej, jako człon przenikania 607. W tym celu, blok przenikania 607

14 może być zaimplementowany tak, jak zilustrowano to na Fig. 4c członami 607a, 607b i 607c. Każda ścieżka może zawierać moduł ważenia o współczynniku ważenia m 1 pomiędzy 0 i 1 w znormalizowanej skali, przy czym współczynnik ważenia może się zmieniać, jak pokazano na wykresie 609, zaś tak określona reguła przenikania zapewnia, że zachodzi ciągłe i łagodne przenikanie, które dodatkowo zapewnia, że użytkownik nie odczuje jakichkolwiek wahań głośności. [0055] W pewnych przypadkach, ostatni blok pierwszego dekodera został wygenerowany z użyciem okna, które faktycznie dokonało wyciszenia tego bloku. W takim przypadku, współczynnik ważenia m 1 w bloku 607 równa się 1 i faktycznie dla ścieżki tej nie jest wymagane jakiekolwiek ważenie. [0056] Gdy zachodzi przełączenie z drugiego dekodera do pierwszego dekodera, oraz gdy drugi dekoder zawiera okno, które faktycznie wycisza sygnał wyjściowy na końcu bloku, to moduł ważenia oznaczony, jako m 2 nie jest wymagany, lub współczynnik ważenia może być ustawiony na 1 dla całego obszaru przenikania. [0057] Gdy pierwszy blok po przełączeniu został wygenerowany z użyciem operacji okna, a to okno faktycznie dokonało operacji narastania poziomu, to odpowiedni współczynnik ważenia może również być ustawiony na 1, tak że moduł ważenia nie jest faktycznie potrzebny. Dlatego też, gdy ostatni blok jest okienkowany w celu jego wyciszenia przez dekoder, oraz gdy pierwszy blok po przełączeniu jest okienkowany z użyciem dekodera w celu wprowadzenia narastania poziomu, moduły ważenia 607a, 607b w ogólne nie są potrzebne i wystarcza tylko operacja sumowania przez sumator 607c. [0058] W takim przypadku, część wyciszana ostatniej ramki, oraz część z narastającym poziomem następnej ramki, definiują obszar przenikania, oznaczony jako blok 609. Ponadto, w sytuacji takiej preferuje się, aby ostatni blok jednego dekodera w pewnym stopniu zachodził na pierwszy blok drugiego dekodera. [0059] Jeśli operacja przenikania nie jest wymagana, nie jest możliwa, lub nie jest pożądana, oraz jeśli istnieje tylko zwykły przełącznik z jednego dekodera na drugi dekoder, preferuje się, aby przełączenie miało miejsce w bezgłośnych fragmentach sygnału akustycznego, lub przynajmniej we fragmentach sygnału akustycznego o niskiej energii, tj. fragmentach, które odbierane są, jako bezgłośne lub prawie bezgłośne. Korzystnie, człon decyzji 300 zapewnia w takim wariancie, że przełącznik 200 aktywowany jest tylko w sytuacji, gdy odpowiedni odcinek czasowy po wydarzeniu przełączenia posiada energię, która na przykład jest mniejsza od średniej energii sygnału akustycznego, oraz, korzystnie, jest mniejsza od 50% średniej energii sygnału akustycznego odnoszącej się do, na przykład, dwóch a nawet większej liczby odcinków czasowych/ramek sygnału akustycznego. [0060] Korzystnie, druga reguła kodowania/dekodowania jest algorytmem opartym na technice LPC. W kodowaniu mowy opartej na technice LPC ma miejsce rozróżnienie

15 pomiędzy segmentami lub częściami sygnału pobudzenia quasi-okresowymi typu impulsowego, oraz segmentami lub częściami sygnału pobudzenia w typie szumu. [0061] Quasi-okresowe segmenty sygnału pobudzenia typu impulsowego, tj. segmenty sygnału o konkretnym tonie, kodowane są na innych zasadach niż sygnały pobudzenia w typie szumu. Podczas gdy quasi-okresowe segmenty sygnału pobudzenia typu impulsowego związane są z mową dźwięczną, sygnały w typie szumu powiązane są z mową bezdźwięczną. [0062] Przykładowo odniesiemy się do Fig. od 5a do 5d. Omówione są tutaj przykładowo quasi-okresowe segmenty lub części sygnału pobudzenia typu impulsowego, oraz segmenty lub części sygnału pobudzenia w typie szumu. Konkretnie, na Fig 5a przedstawiono sygnał mowy dźwięcznej w domenie czasu, na Fig. 5b ten sam sygnał w domenie częstotliwości, jako przykład quasi-okresowego segmentu sygnału pobudzenia typu impulsowego, zaś na Fig. 5c i 5d przedstawiono segment sygnału mowy bezdźwięcznej, jako przykład części sygnału pobudzenia w typie szumu. Mowa ogólnie może być klasyfikowana, jako dźwięczna, bezdźwięczna, albo mieszana. Wykresy próbkowanych segmentów dźwięcznych i bezdźwięcznych w domenie czasu i domenie częstotliwości pokazane są na Fig. od 5a do 5d. Mowa dźwięczna jest quasi-okresowa w domenie czasu, oraz posiada strukturę harmoniczną w domenie częstotliwości, podczas gdy mowa bezdźwięczna jest sygnałem losowym i szerokopasmowym. Dodatkowo, energia segmentów dźwięcznych jest ogólnie wyższa od energii segmentów bezdźwięcznych. Chwilowe widmo mowy dźwięcznej charakteryzuje się strukturą czystą i formantową. Czysta struktura harmoniczna jest rezultatem quasi-okresowości mowy i może być przypisana właściwościom wibrujących strun głosowych. Struktura formantowa (obwiednia widmowa) jest wynikiem interakcji źródła i traktu głosowego. Trakt głosowy składa się z gardła i jamy ustnej. Kształt obwiedni widmowej, który pasuje do chwilowego widma mowy dźwięcznej związany jest z właściwościami przesyłowymi traktu głosowego, oraz pochylenia widmowego (6 db/oktawę) wynikającego z drgań głośni. Obwiednia widmowa opisywana jest przez zespół szczytów, zwanych formantami. Formanty są trybami rezonansowymi traktu głosowego. W typowym aparacie głosowym istnieje od trzech do pięciu formant poniżej 5kHz. Amplitudy i lokalizacje pierwszych trzech formant, zwykle pojawiających się poniżej 3 khz, są bardzo istotne zarówno w syntezie mowy, jak i w jej odbiorze. Wyższe formanty są również istotne w reprezentacjach szerokopasmowych i reprezentacjach mowy bezdźwięcznej. Właściwości mowy powiązane są z fizycznym systemem wytwarzania mowy w następujący sposób. Mowa dźwięczna wytwarzana jest przez pobudzenie krtani quasi-okresowymi impulsami powietrznymi w głośni wytwarzanymi przez drgające struny głosowe. Częstotliwość okresowych impulsów nazywana jest częstotliwością podstawową lub tonem. Mowa bezdźwięczna wytwarzana jest przez wymuszanie przepływu powietrza przez przewężenia w krtani. Dźwięki nosowe są wynikiem

16 dźwiękowego połączenia przewodu nosowego z krtanią, zaś dźwięki wybuchowe wytwarzane są przez nagłe ujście ciśnienia powietrza wytworzonego za zamknięciem krtani. [0063] Tak więc część sygnału akustycznego w typie szumu nie przejawia impulsowej struktury w domenie czasu, ani struktury harmonicznej w domenie częstotliwości, jak pokazano na Fig. 5c i 5d, czym różni się od quasi-okresowej części impulsowej pokazanej na przykład na Fig. 5a i 5b. Jednak jak zostanie to naszkicowane później, różnice pomiędzy częściami w typie szumu, oraz częściami quasi-okresowymi mogą być również obserwowane w sygnale pobudzenia po przetwarzaniu LPC. Technika LPC jest metodą odwzorowania traktu głosowego i ekstrahuje z sygnału pobudzenie krtani. [0064] Ponadto, quasi-okresowe części typu impulsowego, oraz części sygnału w typie szumu mogą pojawiać się chronologicznie, co znaczy, że w pewnym odcinku czasu część sygnału akustycznego jest zaszumiona, zaś w innym odcinku sygnał akustyczny jest quasiokresowy, czyli tonalny. Alternatywnie lub dodatkowo, charakterystyka sygnału może być różna w różnych pasmach częstotliwości. Dlatego też określanie, czy sygnał akustyczny jest zaszumiony czy tonalny, może również być selektywne częstotliwościowo, tak że pewne pasmo częstotliwości, lub zespół pewnych pasm częstotliwości uznane są za zaszumione, zaś inne pasma częstotliwości uznane są za tonalne. W takim przypadku, pewna część sygnału akustycznego może zawierać składowe tonalne i składowe szumu. [0065] Fig. 7a przedstawia liniowy model systemu wytwarzania mowy. W systemie tym zakłada się dwustopniowe pobudzenie, tj. ciąg impulsów dla mowy dźwięcznej jak pokazano na Fig. 7c, oraz losowy szum dla mowy bezdźwięcznej jak pokazano na Fig. 7d. Trakt głosowy odwzorowany jest, jako filtr 70 typu all-pole, który przetwarza impulsy lub szum z Fig. 7c lub 7d, generowane przez model 72 głośni. Funkcja transferu all-pole utworzona jest przez kaskadę niewielkiej liczby dwubiegunowych rezonatorów reprezentujących formanty. Model głośni reprezentowany jest, jako dwubiegunowy dolnoprzepustowy filtr, zaś model 74 emisji warg reprezentowany jest przez L(z)=1-z -1. I w końcu, w modelu umieszczony jest współczynnik 76 korekcji widmowej do kompensacji efektów niskich częstotliwości wyższych biegunów. W reprezentacjach indywidualnej mowy, korekcja widmowa jest pominięta, zaś 0 funkcji transferu emisji warg jest zasadniczo skasowane przez jeden z biegunów głośni. Stąd, system z Fig. 7a może być zredukowany do modelu filtru all-pole z Fig. 7b zawierającego człon wzmocnienia 77, ścieżkę transferu 78, ścieżkę sprzężenia zwrotnego 79, oraz człon sumowania 80. W ścieżce sprzężenia zwrotnego 79 znajduje się filtr predykcyjny 81, zaś cały system syntezy modelu źródła pokazany na Fig. 7b może być reprezentowany z użyciem funkcji w domenie (z) w następujący sposób: 35

17 gdzie g oznacza wzmocnienie, A(z) jest filtrem predykcyjnym wyznaczonym przez analizę LPC, X(z) jest sygnałem pobudzenia, oraz S(z) wyjściem syntezy mowy. [0066] Fig. 7c i 7d przedstawiają graficzny opis w domenie czasu syntezy mowy bezdźwięcznej z użyciem liniowego modelu systemu źródła. System ten oraz parametry pobudzenia w powyższym równaniu nie są znane i muszą zostać określone na podstawie skończonego zbioru próbek sygnału mowy. Współczynniki A(z) uzyskane są z użyciem analizy liniowej predykcji sygnału wejściowego, oraz kwantyzacji współczynników filtru. W liniowej predykcji w przód stopnia p, bieżąca próbka sekwencji sygnału mowy predykowana jest na podstawie liniowej kombinacji p poprzednich próbek. Współczynniki predykcji mogą być ustalone przy pomocy ogólnie znanych algorytmów, takich jak algorytm Levinson-Dubrina, lub ogólnie metodą autokorelacji lub metodą odbicia. Kwantyzacja uzyskanych współczynników filtru zazwyczaj odbywa się z zastosowaniem wielostopniowej kwantyzacji wektorowej w domenie LSF lub w domenie ISP. [0067] Fig. 7e przedstawia bardziej szczegółową implementację bloku analizy LPC, takiego jak blok 510 z Fig. 1a. Sygnał akustyczny wprowadzony jest do bloku określania filtru, który określa informację filtru A(z). Informacja ta wyprowadzona jest, jako krótkookresowa informacja predykcji wymagana przez dekoder. W wariancie z Fig. 4a, krótkookresowa informacja predykcji może być wymagana przez sygnał wyjściowy kodera impulsowego. Kiedy jednak wymagany jest tylko sygnał błędu predykcji w linii 84, krótkookresowa informacja predykcji nie musi być wyprowadzana. Mimo to jednak, krótkookresowa informacja predykcji wymagana jest przez faktyczny filtr predykcyjny 85. W układzie odejmującym 86, wprowadzona jest bieżąca próbka sygnału akustycznego, od której odjęta jest predykowana wartość bieżącej próbki, tak że dla tej próbki sygnał błędu predykcji generowany jest w linii 84. Sekwencja takich próbek sygnału błędów predykcji została bardzo schematycznie przedstawiona na Fig. 7c lub 7d, przy czym ze względu na przejrzystość, pominięte zostały wszelkie zagadnienia dotyczące składowych AC/DC, itp. Tak więc można uznać, że Fig. 7c przedstawia oczyszczony sygnał typu impulsowego. [0068] W następnej kolejności, omówiony zostanie w odniesieniu do Fig. 6 koder CELP oparty na zasadzie analizy przez syntezę, w celu zilustrowania modyfikacji wprowadzonych do tego algorytmu, jak pokazano na Fig. od 10 do 13. Taki koder CELP omówiony jest szczegółowo w publikacji "Speech Coding: A Tutorial Review", Andreas Spaniels, Proceedings of the IEEE, Vol. 82, No. 10, październik 1994, strony Koder CELP przedstawiony na Fig. 6 zawiera element 60 predykcji długookresowej, oraz element 62 predykcji krótkookresowej. Ponadto, zastosowana jest książka kodowa, oznaczona odnośnikiem 64. Odnośnik 66 wskazuje na zastosowany filtr ważenia W(z), zaś odnośnik 68 wskazuje na zastosowany sterownik minimalizacji błędu. s(n) jest sygnałem wejściowym w domenie czasu. Po przejściu przez ważenie perceptualne, zważony sygnał wprowadzony jest do układu odejmującego 69, który oblicza odchyłkę pomiędzy zważonym sygnałem syntezy na

18 wyjściu bloku 66 i oryginalnym zważonym sygnałem s w (n). Ogólnie, obliczona zostaje predykcja krótkookresowa A(z) zaś jej współczynniki zostają skwantyzowane w członie analizy LPC, jak pokazano na Fig. 7e. Informacja predykcji długookresowej A L (z), łącznie ze wzmocnieniem g predykcji długookresowej, oraz indeksem wektora kwantyzacji, tj. odniesienia do książki kodowej, obliczana jest w sygnale błędu predykcji na wyjściu członu analizy LPC, oznaczonej 10a na Fig. 7e. Algorytm CELP koduje następnie sygnał rezydualny uzyskany po predykcji krótko i długookresowej z użyciem książki kodowej, na przykład sekwencji gaussowskich. Algorytm ACELP, gdzie A oznacza algebraiczny posiada specyficzną książkę kodową o budowie algebraicznej. [0069] Książka kodowa może zwierać więcej lub mniej wektorów, gdzie każdy z wektorów posiada długość pewnej liczby próbek. Współczynnik g wzmocnienia przeskalowuje wektor kodu, a wzmocniony kod filtrowany jest przez filtr syntezy predykcji długookresowej, oraz przez filtr syntezy predykcji krótkookresowej. Wybrany zostaje optymalny wektor kodu w taki sposób, że zminimalizowany zostaje perceptualnie zważony błąd średniokwadratowy na wyjściu układu odejmującego 69. Proces przeszukiwania w algorytmie CELP realizowany jest za pomocą analizy przez syntezę, jak pokazano na Fig. 6. [0070] W przypadkach specjalnych, gdy ramka jest mieszanką mowy dźwięcznej i bezdźwięcznej, lub gdy pojawia się mowa na tle muzyki, bardziej odpowiednie do kodowania pobudzenia w domenie LPC może być kodowanie TCX. Kodowanie TCX bezpośrednio przetwarza pobudzenie w domenie częstotliwości bez przyjmowania jakichkolwiek założeń na temat wytwarzania pobudzenia. Kodowanie TCX jest więc bardziej ogólne od kodowania CELP i nie jest ograniczone do modelu źródła pobudzenia dźwięcznego lub bezdźwięcznego. TCX jest wciąż kodowaniem opartym na modelu filtru źródła, stosującym filtr predykcji liniowej do modelowania formant sygnałów mowy. [0071] W kodowaniu typu AMR-WB+, wybór pomiędzy różnymi trybami TCX i ACELP odbywa się zgodnie z opisem kodeka AMR-WB+. Tryby TCX różnią się długością blokowej szybkiej transformacji Fouriera, a najlepszy tryb może być wybrany w analizie przez syntezę, lub trybie bezpośredniego sprzężenia wyprzedzającego. [0072] Jak omawiano to w odniesieniu do Fig. 2a i 2b, typowy człon 100 przetwarzania wstępnego korzystnie zawiera łączny człon 101 wielokanałowy (surround/łączne stereo) oraz dodatkowo człon 102 rozszerzania pasma. Odpowiednio do tego, dekoder zawiera człon 701 rozszerzania pasma i dołączony za nim łączny człon 702 wielokanałowy. Korzystnie, łączny człon 101 wielokanałowy, jeśli chodzi o koder, umieszczony jest przed członem 102 rozszerzania pasma, zaś po stronie dekodera, człon 701 rozszerzania pasma umieszczony jest przed łącznym członem 702 wielokanałowym, w odniesieniu do kierunku przetwarzania sygnału. Alternatywnie jednak, typowy człon przetwarzania wstępnego może zawierać łączny człon wielokanałowy bez dołączonego za nim członu rozszerzania pasma, lub człon rozszerzania pasma bez dołączonego łącznego członu wielokanałowego.

19 [0073] Korzystny przykład łącznego wielokanałowego członu 101a, 101b po stronie kodera, oraz 702a, 702b po stronie dekodera przedstawiony jest na Fig. 8. E oryginalnych kanałów wejściowych wprowadzonych jest do członu 101a downmixu, tak że człon downmixu generuje K przesyłanych kanałów, gdzie liczba K jest większa od jedności, lub równa jedności, oraz jest mniejsza od E. [0074] Korzystnie, E kanałów wejściowych wprowadzonych zostaje do łącznego wielokanałowego analizatora 101b, który generuje informację parametryczną. Ta informacja parametryczna korzystnie zakodowana jest entropijnie, na przykład przez inne kodowanie, po którym następuje kodowanie Huffmana, lub alternatywnie kodowanie arytmetyczne. Zakodowana informacja parametryczna wyprowadzona z bloku 101b przesyłana jest do dekodera parametrycznego 702b, który może być częścią pozycji 702 na Fig. 2b. Dekoder parametryczny 702b dekoduje przesłaną informację parametryczną i przekazuje tą zdekodowaną informację parametryczną do członu 702a upmixu. Człon 702a upmixu odbiera K przesyłanych kanałów i generuje L kanałów wyjściowych, gdzie liczba L jest większa od K i mniejsza od E, lub równa E. [0075] Informacja parametryczna może zawierać różnice poziomów międzykanałowych, różnice czasów międzykanałowych, różnice faz międzykanałowych, i/lub miary koherencji międzykanałowych, znane z techniki BCC, lub znane i szczegółowo opisane w standardzie MPEG surround. Liczba przesyłanych kanałów może być jednym kanałem mono dla aplikacji o skrajnie niskich przepływnościach, lub może obejmować kompatybilne aplikacje stereo, albo może obejmować kompatybilny sygnał stereo, tj. dwa kanały. Typowo, liczba E kanałów wejściowych może być równa 5, lub nawet większa od 5. Alternatywnie, liczba E kanałów wejściowych może również oznaczać E obiektów akustycznych, znanych w kontekście kodowania przestrzennych obiektów akustycznych (SAOC). [0076] W jednym z zastosowań, człon downmixu wykonuje ważone lub nieważone dodawanie oryginalnych E kanałów wejściowych, lub dodawanie E wejściowych obiektów akustycznych. W przypadku obiektów akustycznych, jako kanałów wejściowych, łączny wielokanałowy analizator 101b parametrów obliczy parametry obiektów akustycznych, takie jak macierz korelacji pomiędzy obiektami akustycznymi, korzystnie dla każdego odcinka czasu, a korzystniej dla każdego pasma częstotliwości. W tym celu, cały zakres częstotliwości może być podzielony na przynajmniej 10, a korzystnie 32 lub 64 pasma częstotliwości. [0077] Fig. 9 przedstawia korzystny wariant realizacji członu 102 rozszerzania pasma z Fig. 2a, oraz odpowiadający mu człon 701 rozszerzania pasma z Fig. 2b. Po stronie kodera, blok 102 rozszerzania pasma korzystnie zawiera blok 102b filtru dolnoprzepustowego, oraz analizator 102a pasma wysokich częstotliwości. Oryginalny sygnał akustyczny wprowadzony do bloku 102 rozszerzania pasma filtrowany jest dolnoprzepustowo w celu wygenerowania sygnału w paśmie niskich częstotliwości, który wprowadzany jest następnie do ścieżek kodowania i/lub do przełącznika. Filtr dolnoprzepustowy posiada częstotliwość odcięcia typowo

20 w zakresie od 3 khz do 10 khz. Przy użyciu techniki SBR zakres ten może być przekroczony. Ponadto, blok 102 rozszerzania pasma zawiera ponadto analizator pasma wysokich częstotliwości do obliczania parametrów rozszerzania pasma, takich jak informacja o parametrach obwiedni widmowej, informacja o parametrach tła szumu, informacja o parametrach odwróconego filtrowania, dodatkowa informacja parametryczna dotycząca pewnych linii harmonicznych w paśmie wysokich częstotliwości, oraz dodatkowe parametry, które omówione są szczegółowo w standardzie MPEG-4, w rozdziale odnoszącym się do replikacji pasm widmowych (ISO/IEC :2005, część 3, rozdział ). [0078] Po stronie dekodera, blok 701 zawiera moduł transpozycji 701a, moduł dopasowujący 701b, oraz moduł łączący 701c. Moduł łączący 701c łączy zdekodowany sygnał pasma niskich częstotliwości, oraz zrekonstruowany i dopasowany sygnał pasma wysokich częstotliwości wyprowadzony z modułu dopasowującego 701b. Sygnał wejściowy do modułu dopasowującego 701b dostarczony jest przez moduł transpozycji, który działa w celu uzyskania sygnału pasma wysokich częstotliwości z sygnału pasma niskich częstotliwości za pomocą techniki replikacji pasm widmowych, lub ogólnie za pomocą rozszerzania pasma. Transpozycja wykonywana w module transpozycji 701a może być transpozycją realizowaną harmonicznie lub nieharmonicznie. Sygnał generowany przez moduł transpozycji 701a dopasowywany jest następnie w module dopasowującym 701b z użyciem przesłanej informacji parametrycznej rozszerzania pasma. [0079] Jak pokazano na Fig. 8 i Fig. 9, opisane bloki mogą w korzystnym wariancie posiadać wejście sterowania trybem. Sygnał wejściowy sterowania trybem uzyskany jest z sygnału wyjściowego członu decyzji 300. W takim korzystnym wariancie, charakterystyka odpowiedniego bloku może być dopasowana do sygnału wyjściowego z członu decyzji, tj. do tego, czy dla danego odcinka czasowego sygnału akustycznego podjęta jest decyzja mowa, czy decyzja muzyka. Korzystnie, sterowanie trybem odnosi się tylko do przynajmniej jednej funkcji tych bloków, ale nie do wszystkich ich funkcji. Na przykład, decyzja może dotyczyć tylko modułu transpozycji 701a, ale może nie dotyczyć innych bloków na Fig. 9, lub może na przykład dotyczyć tylko łącznego wielokanałowego parametrycznego analizatora 101b na Fig. 8, ale nie innych bloków na Fig. 8. Implementacja ta korzystnie realizowana jest w taki sposób, że większa elastyczność i wyższa jakość, oraz mniejsza przepływność sygnału wyjściowego uzyskane są dzięki zapewnieniu elastyczności w członie typowego przetwarzania wstępnego. Z drugiej strony jednak, użycie algorytmów w członie typowego przetwarzania wstępnego dla obu rodzajów sygnału pozwala na zaimplementowanie wydajnego algorytmu kodowania/dekodowania. [0080] Fig. 10a i 10b przedstawiają dwie różne implementacje członu decyzji 300. Na Fig. 10a pokazana jest decyzja w otwartej pętli. Analizator 300a sygnału w członie decyzji posiada pewne reguły do podejmowania decyzji, czy dany odcinek czasowy lub odcinek częstotliwościowy sygnału wejściowego posiada charakterystykę wymagającą jego kodowania