(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (1) T3 Int.Cl. GL 19/00 (13.01) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 13/41 EP B1 (4) Tytuł wynalazku: Sposób i urządzenie do wydajnego ukrywania zamazania ramki w kodekach mowy () Pierwszeństwo: US P (43) Zgłoszenie ogłoszono:..08 w Europejskim Biuletynie Patentowym nr 08/42 (4) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 14/01 (73) Uprawniony z patentu: VoiceAge Corporation, Ville Mont-Royal, CA (72) Twórca(y) wynalazku: PL/EP T3 TOMMY VAILLANCOURT, Sherbrooke, CA PHILIPPE GOURNAY, Sherbrooke Québec, CA REDWAN SALAMI, St-Laurent, CA MILAN JELINEK, Sherbrooke, CA (74) Pełnomocnik: rzecz. pat. Robert Teofilak SULIMA GRABOWSKA SIERZPUTOWSKA BIURO PATENTÓW I ZNAKÓW TOWAROWYCH SP.J. Skr. poczt Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 SGS-43/VAL EP B1 Opis DZIEDZINA TECHNIKI [0001] Niniejszy wynalazek dotyczy techniki cyfrowego kodowania sygnału dźwiękowego, w szczególności, ale nie tylko sygnału mowy, pod względem transmisji i/lub syntezy tego sygnału dźwiękowego. Niniejszy wynalazek dotyczy zwłaszcza niezawodnego kodowania i dekodowania sygnałów dźwiękowych w celu zachowania dobrej wydajności w przypadku zamazanej ramki (zamazanych ramek), na przykład w wyniku błędów kanałowych w systemach bezprzewodowych lub utraconych pakietów w aplikacjach sieciowych pakietowego przesyłania głosu. TŁO WYNALAZKU [0002] Zapotrzebowanie na wydajne cyfrowe wąsko i szerokopasmowe techniki kodowania mowy, będące dobrym kompromisem pomiędzy subiektywną jakością a przepływnością, rośnie w rozmaitych obszarach zastosowań, takich jak na przykład telekonferencje, multimedia i komunikacja bezprzewodowa. Aż do niedawna pasmo telefoniczne ograniczone do 0 30 Hz było wykorzystywane głównie w aplikacjach kodowania mowy. Jednakże szerokopasmowe aplikacje mowy oferują większą zrozumiałość i naturalność komunikacji w porównaniu do szerokości konwencjonalnego pasma telefonicznego. Pasmo w zakresie Hz okazało się wystarczające dla oferowania dobrej jakości, dającej wrażenie komunikacji twarzą w twarz. Dla ogólnych sygnałów dźwiękowych, ta szerokość pasma zapewnia akceptowalną subiektywną jakość, ale wciąż jest ona niższa niż jakość radia FM czy CD, które operują na zakresach odpowiednio Hz i 000 Hz. [0003] Koder mowy dokonuje konwersji sygnału mowy na strumień cyfrowy, który jest transmitowany za pośrednictwem kanału komunikacyjnego albo magazynowany na nośniku pamięci. Sygnał mowy jest dygitalizowany, to znaczy próbkowany i kwantowany zazwyczaj z rozdzielczością 16 bitów na próbkę. Koder mowy ma za zadanie stworzenie reprezentacji tych próbek cyfrowych za pomocą mniejszej liczby bitów, wciąż zachowując dobrą subiektywną jakość mowy. Dekoder mowy lub syntezator pracuje na transmitowanym lub zapamiętanym strumieniu bitów i dokonuje jego konwersji na powrót do postaci sygnału dźwiękowego. [0004] Technika kodowania z liniową predykcją pobudzaną kodem (CELP, Code-Excited Linear Prediction) jest jedną z najlepszych dostępnych technik dla uzyskania dobrego kompromisu pomiędzy subiektywną jakością a przepływnością. Ta technika kodowania stanowi podstawę kilku standardów kodowania mowy zarówno w aplikacjach bezprzewodowych jak i przewodowych. W technice CELP próbkowany sygnał mowy poddawany jest obróbce w kolejnych blokach L próbek, nazywanych zazwyczaj ramkami, gdzie L jest założoną liczbą odpowiadającą zazwyczaj ms sygnału mowy. Filtr predykcji liniowej (LP) jest obliczany i transmitowany co każdą ramkę. Obliczanie filtra LP wymaga zazwyczaj wyprzedzenia (lookahead), ms segmentu mowy z następnej ramki. Ramka L-próbek dzielona jest na mniejsze bloki nazywane podramkami. Zazwyczaj liczba podramek wynosi trzy lub cztery, dając w rezultacie 4 ms podramki. W każdej podramce uzyskuje się zazwyczaj sygnał pobudzenia z dwóch komponentów, przeszłego pobudzenia oraz innowacyjnego ustalonego pobudzenia z książki kodów. Komponent uformowany z przeszłego pobudzenia określany jest często jako pobudzenie adaptacyjnej książki kodów lub pobudzenie tonowe. Parametry charakteryzujące sygnał pobudzenia są

3 kodowane i transmitowane do dekodera, gdzie zrekonstruowany sygnał pobudzenia jest wykorzystywany jako wejście filtra LP. [000] Ponieważ głównymi zastosowaniami kodowania mowy z małą przepływnością są bezprzewodowe mobilne systemy komunikacyjne oraz sieci pakietowego przesyłania głosu, to istotnego znaczenia nabiera zwiększenie niezawodności kodeków mowy na okoliczność zamazania ramek. W bezprzewodowych systemach komórkowych energia odbieranego sygnału może wykazywać częste poważne zaniki powodujące duże bitowe stopy błędów i staje się to coraz bardziej wyraźne na granicach komórek. W tym przypadku dekoder kanałowy nie jest w stanie naprawić błędów w odbieranej ramce i w konsekwencji detektor błędów stosowany zwykle za dekoderem kanałowym będzie deklarował ramkę jako zamazaną. W aplikacjach sieciowych pakietowego przesyłania głosu, sygnał mowy jest pakietowany, przy czym zazwyczaj każdy pakiet odpowiada ms sygnału dźwiękowego. W komunikacji komutowanej pakietowo opuszczenie pakietu może wystąpić w routerze, jeśli liczba pakietów staje się bardzo duża albo pakiet może dotrzeć do odbiornika po długim opóźnieniu i powinien zostać zadeklarowany jako utracony, jeśli jego opóźnienie jest większe niż długość bufora jitter po stronie odbiornika. W systemach tych kodek poddany jest stopie zamazania ramek wynoszącej zwykle od 3 do %. Ponadto zastosowanie szerokopasmowego kodowania mowy jest atutem tych systemów w celu umożliwienia im konkurowania z tradycyjną publiczną telefoniczną siecią komutowaną PSTN, która wykorzystuje dziedziczne wąskopasmowe sygnały mowy. [0006] Adaptacyjna książka kodów albo predyktor wysokości tonów w technice CELP pełni funkcję utrzymania wysokiej jakości mowy przy niskich przepływnościach. Jednakże ponieważ treść adaptacyjnej książki kodów oparta jest na sygnale z poprzednich ramek, sprawia to, iż model kodeka jest wrażliwy na utratę ramek. W przypadku zamazanych lub utraconych ramek treść adaptacyjnej książki kodów w dekoderze staje się różna od jej treści w koderze. W związku z tym, po ukryciu utraconej ramki i odebraniu następnych dobrych ramek, syntezowany sygnał w odebranych dobrych ramkach jest inny od zamierzonego sygnału syntezy, ponieważ udział adaptacyjnej książki kodów uległ zmianie. Wpływ utraconej ramki uzależniony jest od charakteru segmentu mowy, w którym wystąpiło zamazanie. Jeśli zamazanie występuje w segmencie stacjonarnym sygnału, to wówczas wykonane może zostać wydajne ukrycie zamazania ramki i wpływ na kolejne dobre ramki może zostać zminimalizowany. Z drugiej strony, jeśli zamazanie występuje na początku mowy albo przejściu, to wówczas efekt zamazania może rozprzestrzenić się na kilka ramek. Przykładowo, jeśli utracony zostanie początek segmentu głosowego, to wówczas będzie brakowało w adaptacyjnej książce kodów pierwszego okresu tonu. Będzie to miało poważny wpływ na predyktor wysokości tonów w kolejnych dobrych ramkach, wydłużając czas zanim sygnał syntezy zbiegnie się do zamierzonego sygnału w koderze. STRESZCZENIE WYNALAZKU [0007] W szczególności, według pierwszej postaci niniejszego wynalazku oferuje się sposób ukrywania zamazań ramek powodowanych przez ramki kodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji z kodera do dekodera, oraz odtwarzania dekodera po wystąpieniu zamazań ramek, według zastrzeżenia 1. [0008] Według drugiej postaci niniejszego wynalazku oferuje się alternatywny sposób ukrywania zamazań ramek powodowanych przez ramki kodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji od kodera do dekodera, oraz odtwarzania dekodera po wystąpieniu zamazań ramek, według zastrzeżenia 24. [0009] Według trzeciej postaci niniejszego wynalazku oferuje się urządzenie do ukrywania zamazań ramek powodowanych przez ramki kodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji od kodera do dekodera, oraz do odtwarzania dekodera po wystąpieniu zamazań ramek, według zastrzeżenia 34.

4 [00] Według czwartej postaci niniejszego wynalazku oferuje się alternatywne urządzenie do ukrywania zamazań ramek powodowanych przez ramki kodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji od kodera do dekodera, oraz do odtwarzania dekodera po wystąpieniu zamazań ramek, według zastrzeżenia 48. [0011] Powyższe a także inne cele, zalety i właściwości niniejszego wynalazku staną się bardziej zrozumiałe po przeczytaniu następującego dalej, nieograniczającego opisu jego ilustracyjnej postaci wykonania, podanego jedynie w charakterze przykładu w odniesieniu do załączonych figur rysunku. STRESZCZENIE WYNALAZKU [0012] Na załączonym rysunku: figura 1 przedstawia schemat blokowy systemu komunikacji mowy, ilustrujący przykład zastosowania urządzeń do kodowania i dekodowania mowy; figura 2 przedstawia schemat blokowy przykładu urządzenia kodującego w technice CELP; figura 3 przedstawia schemat blokowy przykładu urządzenia dekodującego w technice CELP; figura 4 przedstawia schemat blokowy wbudowanego kodera opartego o rdzeń G.729 (G.729 odnosi się do Rekomendacji ITU-T G.729); figura przedstawia schemat blokowy wbudowanego dekodera opartego o rdzeń G.729; figura 6 przedstawia uproszczony schemat blokowy urządzenia kodującego w technice CELP z figury 2, w którym moduł wyszukiwania tonu z zamkniętą pętlą, moduł kalkulatora odpowiedzi zerowejściowej, moduł generatora odpowiedzi impulsowej, moduł wyszukiwania innowacyjnego pobudzenia oraz moduł aktualizacji pamięci zgrupowano w pojedynczym module wyszukiwania tonu z zamkniętą pętlą oraz module wyszukiwania innowacyjnej książki kodów; figura 7 przedstawia rozszerzenie schematu blokowego z figury 4, w którym dodane zostały moduły związane z parametrami w celu udoskonalenia ukrywania/odtwarzania; figura 8 przedstawia schemat blokowy ukazujący przykład maszyny stanu klasyfikacji ramki dla ukrywania zamazania; figura 9 przedstawia sieć działań ukazującą procedurę ukrywania okresowej części pobudzenia według nieograniczającej ilustracyjnej postaci wykonania niniejszego wynalazku; figura przedstawia sieć działań ukazującą procedurę synchronizacji okresowej części pobudzenia według nieograniczającej ilustracyjnej postaci wykonania niniejszego wynalazku; figura 11 przedstawia typowe przykłady sygnału pobudzenia z oraz bez procedury synchronizacji; figura 12 przedstawia przykłady zrekonstruowanego sygnału mowy wykorzystującego sygnały pobudzenia przedstawione na figurze 11; a także figura 13 przedstawia schemat blokowy ilustrujący przykład przypadku, kiedy utracona jest ramka wejścia. SZCZEGÓŁOWY OPIS 0 [0013] Pomimo, iż ilustracyjna postać wykonania niniejszego wynalazku zostanie opisana w następującym dalej opisie w odniesieniu do sygnału mowy, to należy pamiętać, że koncepcje według niniejszego wynalazku w równej mierze odnoszą się do innych

5 rodzajów sygnałów, w szczególności, ale nie tylko, do innych rodzajów sygnałów dźwiękowych. [0014] Figura 1 ilustruje system 0 komunikacji mowy przedstawiający zastosowanie kodowania i dekodowania mowy w ilustrującym kontekście niniejszego wynalazku. System 0 komunikacji mowy z figury 1 wspiera transmisję sygnału mowy w kanale komunikacyjnym 1. Chociaż może on zawierać przykładowo łącze kablowe, łącze optyczne lub też łącze światłowodowe, to kanał komunikacyjny 1 zwykle zawiera co najmniej częściowo łącze radiowe. Tego rodzaju łącze radiowe często wspiera wiele jednoczesnych komunikacji mowy wymagających współdzielonych zasobów pasma, jak na przykład można to znaleźć w systemach telefonii komórkowej. Pomimo, iż tego nie pokazano, kanał komunikacyjny 1 może zostać zastąpiony przez urządzenie pamięciowe w jedno-urządzeniowej postaci wykonania systemu 0, dla rejestrowania i zapisywania zakodowanego sygnału mowy w celu późniejszego odtworzenia. [00] W systemie 0 komunikacji mowy z figury 1 mikrofon 2 wytwarza analogowy sygnał 3 mowy, który jest dostarczany do przetwornika analogowo-cyfrowego 4 (A/D) w celu dokonania jego konwersji do postaci cyfrowego sygnału mowy. Koder 6 mowy koduje cyfrowy sygnał mowy w celu wytworzenia zbioru parametrów 7 kodowania sygnału, które są kodowane do postaci binarnej i doprowadzane do kanałowego kodera 8. Opcjonalny kanałowy koder 8 dodaje redundancję do binarnej reprezentacji parametrów 7 kodowania sygnału, przed ich transmisją na kanale komunikacyjnym 1. [0016] W odbiorniku, kanałowy dekoder 9 wykorzystuje wspomnianą nadmiarową informację w odbieranym strumieniu 111 bitów do detekcji i korekcji błędów kanałowych, które wystąpiły w trakcie transmisji. Dekoder 1 mowy dokonuje wówczas konwersji strumienia 112 bitów odbieranego z kanałowego dekodera 9 z powrotem do zbioru parametru kodowania sygnału i tworzy z odzyskanych parametrów kodowania sygnału cyfrowy syntezowany sygnał 113 mowy. Cyfrowy syntezowany sygnał 113 mowy zrekonstruowany w dekoderze 1 mowy jest konwertowany do postaci analogowej 114 przez przetwornik 1 cyfrowo-analogowy (D/A) i odtwarzany na powrót poprzez jednostkę 116 głośników. [0017] Nieograniczająca ilustracyjna postać wykonania wydajnego sposobu ukrywania zamazania ramek ujawniona w niniejszym opisie może być wykorzystywana albo z wąskopasmowymi albo szerokopasmowymi kodekami opartymi na predykcji liniowej. Ponadto, ta ilustracyjna postać wykonania jest ujawniona w odniesieniu do wbudowanego kodeka opartego na Rekomendacji G.729 który został unormowany przez Międzynarodowy Związek Telekomunikacyjny (International Telecommunications Union, ITU) [ITU- T Recommendation G. 729 "Coding of speech at 8 kbit/s using conjugatestructure algebraic- code- excited linear- prediction (CS- ACELP)", Genewa, 1996]. [0018] Wbudowany kodek na bazie G.729 został unormowany przez ITU-T w 06 roku i znany jest jako Rekomendacja G [ITU-T Recommendation G "G.729 based Embedded Variable bit-rate coder: An 8-32 kbit/s scalable wideband coder bitstream interoperable with G.729" Genewa, 06]. Techniki ujawnione w niniejszym opisie zostały zaimplementowane w Rekomendacji ITU-T G [0019] Należy tutaj rozumieć, że ilustracyjna postać wykonania sposobu wydajnego ukrywania zamazania ramek może być wykorzystywana wobec innych rodzajów kodeków. Przykładowo ilustracyjna postać wykonania sposobu wydajnego ukrywania zamazania ramek przedstawiona w niniejszym opisie jest wykorzystywana w kandydackim algorytmie standaryzacji wbudowanego kodeka ze zmienną przepływnością przez ITU-T. W kandydackim algorytmie warstwa rdzeniowa opiera się na szerokopasmowej technice kodowania podobnej do AMR-WB (Rekomendacja ITU-T G.722.2). [00] W następnych sekcjach podany zostanie najpierw przegląd wbudowanego kodera i dekodera opartych na technice CELP i G.729. Następnie ujawniona zostanie ilustracyjna

6 postać wykonania nowatorskiego podejścia mającego na celu poprawę niezawodności kodeka. 2 Przegląd kodera ACELP [0021] Spróbkowany sygnał mowy kodowany jest w trybie blok za blokiem przez urządzenie kodujące 0 z figury 2, które jest podzielone na jedenaście modułów ponumerowanych od 1 do 211. [0022] Wejściowy sygnał 212 mowy jest więc przetwarzany w trybie blok za blokiem, to znaczy we wspomnianych wyżej L-próbkowych blokach nazywanych ramkami. [0023] Odwołując się do figury 2, spróbkowany wejściowy sygnał 212 mowy doprowadzany jest do opcjonalnego modułu 1 obróbki wstępnej. Moduł 1 obróbki wstępnej może składać się z filtra górno-przepustowego o częstotliwości odcięcia 0 Hz dla sygnałów wąskopasmowych i częstotliwości odcięcia 0 Hz dla sygnałów szerokopasmowych. [0024] Poddany wstępnej obróbce sygnał oznaczony jest jako s(n), n = 0, 1, 2,... L-1, gdzie L jest długością ramki, która wynosi zazwyczaj ms (160 próbek przy częstotliwości próbkowania 8 khz). [002] Sygnał s(n) wykorzystywany jest do wykonywania analizy LP w module 4. Analiza LP jest techniką dobrze znaną specjalistom w tej dziedzinie. W tej ilustracyjnej implementacji wykorzystuje się podejście autokorelacyjne. W podejściu autokorelacyjnym sygnał s(n) jest najpierw okienkowany z wykorzystaniem zazwyczaj okna Hamminga mającego długość rzędu ms. Autokorelacje obliczane są na podstawie okienkowanego sygnału, zaś rekurencja Levinsona-Durbina wykorzystywana jest do obliczania współczynników filtra LP a i, gdzie i = 1,..., p, zaś p jest rzędem LP, który wynosi zazwyczaj w kodowaniu wąskopasmowym i 16 w przypadku kodowania szerokopasmowego. Parametry a i są współczynnikami funkcji A(z) przenoszenia filtra LP, która jest określona przez następujące wyrażenie: 3 4 Uważa się, że analiza LP jest poza tym dobrze znana specjalistom w tej dziedzinie i w związku z tym, nie będzie dalej opisywana w niniejszym zgłoszeniu. [0026] Moduł 4 wykonuje także kwantyzację i interpolację współczynników filtra LP. Współczynniki filtra LP są najpierw przekształcane do innej równoważnej domeny bardziej odpowiedniej dla potrzeb kwantyzacji i interpolacji. Domeny liniowej pary widmowej (LSP, line spectral pair) oraz immitancyjnej pary widmowej (ISP, immitance spectral pair) są dwiema domenami, w których efektywnie wykonywana może być kwantyzacja i interpolacja. W przypadku kodowania wąskopasmowego, może zostać skwantowanych współczynników a i filtra LP w porządku od 18 do bitów z wykorzystaniem kwantyzacji rozdzielonej albo wielostopniowej albo ich kombinacji. Celem interpolacji jest umożliwienie zaktualizowania współczynników filtra LP co każdą podramkę, przy ich jednokrotnej transmisji co każdą ramkę, co poprawia wydajność kodera bez zwiększania przepływności. Kwantyzacja i interpolacja współczynników filtra LP uznawane są poza tym za znane specjalistom w tej dziedzinie, w związku z czym nie będą dalej opisywane w niniejszym opisie. [0027] Poniższe akapity opisują pozostałe operacje kodowania wykonywane na podramkach. W tej ilustracyjnej implementacji ms ramka wejściowa dzielona jest na 4 podramki o długości ms ( próbek z częstotliwością próbkowania 8 khz). W opisie poniżej filtr A(z) oznacza nieskwantowany interpolowany filtr LP podramki, natomiast filtr Â(z) oznacza skwantowany interpolowany filtr LP podramki. Filtr Â(z) jest dostarczany do

7 6 2 3 multipleksera 213 co każdą podramkę, w celu transmisji za pośrednictwem kanału komunikacyjnego (nie został pokazany). [0028] W koderach typu analiza-przez-syntezę, optymalne parametry tonu oraz parametry innowacyjne wyszukiwane są poprzez zminimalizowanie błędu średniokwadratowego pomiędzy wejściowym sygnałem 212 mowy, a syntezowanym sygnałem mowy w perceptualnie ważonej domenie. Ważony sygnał s w (n) jest obliczany w perceptualnie ważącym filtrze w odpowiedzi na sygnał s(n). Przykład funkcji przenoszenia dla perceptualnie ważącego filtra dany jest przez następujący związek: W(z) = A(z/γ 1 )/A(z/γ 2 ) Gdzie 0 < γ 2 <γ 1 1. [0029] W celu uproszczenia analizy tonu, dokonuje się najpierw estymacji opóźnienia T OL tonu z otwartą pętlą w module 6 wyszukiwania tonu z otwartą pętlą z ważonego sygnału mowy s w (n). Następnie analiza tonu z otwartą pętlą, która wykonywana jest na podramkach w module 7 wyszukiwania tonu z zamkniętą pętlą, ograniczana jest wokół opóźnienia T OL tonu z otwartą pętlą, co znacznie redukuje złożoność wyszukiwania parametrów LTP (predykcji długoterminowej, Long Term Prediction), T (opóźnienia tonu) i b (wzmocnienia tonu). Analiza tonu z otwartą pętlą jest zwykle wykonywana w module 6 co każde ms (dwie podramki) z zastosowaniem technik dobrze znanym specjalistom w tej dziedzinie. [00] Najpierw oblicza się docelowy wektor x dla predykcji długoterminowej LPT (Long Term Prediction). Jest to zazwyczaj wykonywane poprzez odjęcie zerowejściowej odpowiedzi s 0 filtra ważonego W(z)/Â(z) syntezy od ważonego sygnału mowy s w (n). Ta zerowejściowa odpowiedź s 0 obliczana jest przez kalkulator 8 zerowejściowej odpowiedzi w odpowiedzi na skwantowany interpolowany filtr LP Â(z) z analizy LP, moduł 4 kwantyzacji i interpolacji oraz w zakresie stanów początkowych przez filtr ważony W(z)/Â(z) syntezy zapisany w module 211 aktualizacji pamięci w odpowiedzi na filtry LP A(z) i Â(z), a także wektor pobudzenia u. Operacja ta jest dobrze znana specjalistom w tej dziedzinie i w związku z tym nie będzie dalej opisywana w niniejszym opisie. [0031] N-wymiarowy wektor h odpowiedzi impulsowej filtra ważonego W(z)/Â(z) syntezy jest obliczany w generatorze 9 odpowiedzi impulsowej z wykorzystaniem współczynników filtra LP A(z) i Â(z) z modułu 4. Ponownie, operacja ta jest dobrze znana specjalistom w tej dziedzinie, w związku z czym nie będzie dalej opisywana w niniejszym opisie. [0032] Parametry b i T tonu z zamkniętą pętlą obliczane są w module 7 wyszukiwania tonu z zamkniętą pętlą, który wykorzystuje jako wejścia docelowy wektor x, wektor h odpowiedzi impulsowej oraz opóźnienie T OL tonu z zamkniętą pętlą. [0033] Wyszukiwanie tonu obejmuje znalezienie najlepszego opóźnienia T tonu i wzmocnienia b, które minimalizują średniokwadratowy ważony błąd predykcji tonu, przykładowo: 4 pomiędzy docelowym wektorem x, a skalowaną filtrowaną wersją przeszłego pobudzenia. [0034] W szczególności, w niniejszej ilustracyjnej implementacji wyszukiwanie tonu (tonowa książka kodów albo adaptacyjna książka kodów) składa się z trzech (3) etapów. [003] W pierwszym etapie dokonuje się estymacji opóźnienia T OL tonu z otwartą pętlą w module 6 wyszukiwania tonu z otwartą pętlą w odpowiedzi na ważony sygnał mowy s w (n). Jak wskazano w powyższym opisie, ta analiza tonu z otwartą pętlą jest zazwyczaj wykonywana raz na każde ms (dwie podramki), z wykorzystaniem technik dobrze znanych specjalistom w tej dziedzinie.

8 7 [0036] W drugim etapie wyszukiwane jest w module 7 wyszukiwania tonu z otwartą pętlą kryterium C wyszukiwania dla całkowitych opóźnień tonów wokół estymowanego opóźnienia tonu T OL z otwartą pętlą (zazwyczaj ±), co znacznie upraszcza procedurę wyszukiwania. Przykład kryterium C wyszukiwania dany jest wyrażeniem: gdzie t oznacza transpozycję wektora. [0037] Po znalezieniu optymalnego całkowitego opóźnienia tonu w drugim etapie, trzeci etap wyszukiwania (moduł 7) bada, za pośrednictwem kryterium C wyszukiwania, ułamki wokół tego optymalnego całkowitego opóźnienia tonu. Przykładowo Rekomendacja ITU-T G.729 wykorzystuje rozdzielczość 1/3 podpróbki. [0038] Indeks T tonowej książki kodów jest kodowany i transmitowany do multipleksera 213 w celu transmisji za pośrednictwem kanału komunikacyjnego (nie został pokazany). Wzmocnienie b tonu jest kwantowane i transmitowane do multipleksera 213. [0039] Po wyznaczeniu parametrów b i T tonu lub LTP (predykcji długoterminowej, Long Term Prediction), następnym etapem jest wyszukanie optymalnego innowacyjnego pobudzenia za pośrednictwem modułu 2 wyszukiwania innowacyjnego pobudzenia z figury 2. Najpierw docelowy wektor x jest aktualizowany poprzez odjęcie udziału LTP: x = x - by T gdzie b jest wzmocnieniem tonu, a y T jest filtrowanym wektorem tonowej książki kodów (przeszłe pobudzenie przy opóźnieniu T splecione z impulsową odpowiedzią h). [00] Procedura wyszukiwania innowacyjnego pobudzenia w technice CELP wykonywana jest w innowacyjnej książce kodów w celu znalezienia optymalnego wektora c k kodów pobudzenia i wzmocnienia g, które minimalizują błąd średniokwadratowy E pomiędzy docelowym wektorem x a skalowaną, filtrowaną wersją wektora kodów c k, przykładowo: gdzie H jest dolną trójkątną macierzą splotową otrzymaną z wektora h odpowiedzi impulsowej. Indeks k innowacyjnej książki kodów odpowiadający znalezionemu optymalnemu wektorowi kodów c k i wzmocnienie g, są dostarczane do multipleksera 213 w celu transmisji za pośrednictwem kanału komunikacyjnego. [0041] W ilustracyjnej implementacji zastosowana innowacyjna książka kodów jest dynamiczną książką kodów zawierającą algebraiczną książkę kodów, za którą znajduje się adaptacyjny filtr wstępny F(z), który wzbogaca specjalne składniki widmowe w celu udoskonalenia jakości syntezy mowy, zgodnie z patentem amerykańskim US,444,816 na rzecz Adoul et al. z 22 sierpnia 199. W tej ilustracyjnej implementacji przeszukiwanie innowacyjnej książki kodów wykonywane jest w module 2 za pośrednictwem algebraicznej książki kodów, zgodnie z tym, co opisano w patentach amerykańskich o numerach US,444,816 (Adoul et al.) z 22 sierpnia 199; US,699,482 na rzecz Adoul et al z 17 grudnia 1997; US,74,976 na rzecz Adoul et al z 19 maja 1998; a także US,701,392 (Adoul et al.) z 23 grudnia Przegląd Dekodera ACELP [0042] Dekoder 0 mowy z figury 3 ilustruje rozmaite etapy, wykonywane pomiędzy cyfrowym wejściem 322 (wejściowy strumień bitów do demultipleksera 317), a wyjściowym spróbkowanym sygnałem s out mowy. [0043] Demultiplekser 317 dokonuje ekstrakcji parametrów modelu syntezy z informacji binarnej (wejściowy strumień 322 bitów) odbieranej z cyfrowego kanału wejściowego. Z każdej odebranej ramki binarnej wyekstrahowanymi parametrami są:

9 skwantowane, interpolowane współczynniki LP Â(z), zwane także parametrami predykcji krótkoterminowej (STP, short term prediction), wytwarzane jednokrotnie dla każdej ramki; - parametry T i b (dla każdej podramki) predykcji długoterminowej (LTP); a także - indeks k i wzmocnienie g innowacyjnej książki kodów (dla każdej podramki). [0044] Bieżący sygnał mowy jest syntezowany na podstawie tych parametrów, zgodnie z tym, co zostanie objaśnione poniżej. [004] Innowacyjna książka kodów 318 odpowiada na indeks k w celu wytworzenia innowacyjnego wektora kodów c k, który jest skalowany przez odkodowane wzmocnienie g poprzez wzmacniacz 324. W ilustracyjnej implementacji innowacyjna książka kodów opisana we wspomnianych wyżej patentach amerykańskich o numerach US,444,816; US,699,482;,74,976; a także US,701,392, jest stosowana do wytwarzania innowacyjnej książki kodów c k. [0046] Skalowany tonowy wektor kodów bv T jest wytwarzany poprzez zastosowanie opóźnienia T tonu do tonowej książki kodów 1 w celu wytworzenia tonowego wektora kodów. Wówczas tonowy wektor kodów v T jest wzmacniany o wielkość wzmocnienia b tonu we wzmacniaczu 326 w celu wytworzenia skalowanego tonowego wektora kodów bv T. [0047] Sygnał pobudzenia u jest obliczany przez sumator 3 jako: u = g c k + bv T [0048] Treść tonowej książki kodów 1 jest aktualizowana z wykorzystaniem przeszłej wartości sygnału u pobudzenia przechowywanej w pamięci 3, w celu zachowania synchronizacji pomiędzy koderem 0, a dekoderem 0. [0049] Syntezowany sygnał s jest obliczany poprzez filtrację sygnału u pobudzenia przez filtr 6 syntezy LP, który ma postać 1/Â(z), gdzie Â(z) jest skwantowanym interpolowanym filtrem LP bieżącej podramki. Jak można zauważyć na figurze 3, skwantowane interpolowane współczynniki LP Â(z) na linii 32 z demultipleksera 317 dostarczane są do filtra 6 syntezy LP w celu odpowiedniego dopasowania parametrów filtra 6 syntezy LP. [000] Wektor s jest filtrowany przez postprocesor 7 w celu otrzymania wyjściowego spróbkowanego sygnału s out mowy. Obróbka końcowa składa się zazwyczaj z krótkoterminowej filtracji końcowej, długoterminowej filtracji końcowej i skalowania wzmocnienia. Może się ona także składać z filtra górnoprzepustowego w celu usunięcia niepożądanych niskich częstotliwości. Filtracja końcowa jest poza tym dobrze znana specjalistom w tej dziedzinie. Przegląd wbudowanego kodowania opartego na G.729 [001] Kodek G.729 oparty jest na algebraicznym paradygmacie kodowania CELP (ACELP) wyjaśnionym powyżej. Alokacja bitów kodeka G.729 przy 8 kbit/s podana jest w tabeli 1. Tabela 1. Alokacja bitów w G.729 przy 8-kbit/s Parametr Bity/ ramka ms Parametry LP 18 Opóźnienie tonu 13 = 8 + Parzystość tonu 1 Wzmocnienia 14 = Algebraiczna książka kodów 34 = Suma 80 bitów/ ms = 8 kbit/s

10 [002] Rekomendacja ITU-T G.729 pracuje na ramkach ms (80 próbek przy szybkości próbkowania 8 khz). Parametry LP są kwantowane i transmitowane jednokrotnie na ramkę. Ramka G.729 jest dzielona na dwie ms podramki. Opóźnienie tonu (albo indeks adaptacyjnej książki kodów) jest kwantowane z 8 bitami w pierwszej podramce i bitami w drugiej podramce (względem opóźnienia pierwszej podramki). Wzmocnienia tonowej i algebraicznej książki kodów są wspólnie kwantowane z wykorzystaniem 7 bitów na podramkę. Do reprezentowania innowacyjnego lub ustalonego pobudzenia książki kodów wykorzystywana jest 17 bitowa algebraiczna książka kodów. [003] Wbudowany kodek jest zbudowany na podstawie kodeka z rdzeniem G.729. Wbudowane kodowanie albo kodowanie warstwowe składa się z warstwy rdzeniowej i dodatkowych warstw dla większej jakości lub większej kodowanej szerokości pasma. Strumień bitów odpowiadający górnym warstwom może zostać pominięty przez sieć, w miarę potrzeb (w przypadku zatoru albo sytuacji przesyłania grupowego, gdzie pewne łącza mają niższą dostępną przepływność). Dekoder może zrekonstruować sygnał na podstawie warstw, jakie odbiera. [004] W tej ilustracyjnej postaci wykonania warstwa rdzeniowa L1 składa się z G.729 przy szybkości 8 kbit/s. Druga warstwa (L2) oferuje dodatkowe 4 kbit/s dla udoskonalenia wąskopasmowej jakości (przy przepływności R2 = L1 + L2 = 12 kbit/s). Górnych warstw, każda o przepływności 2 kbit/s, wykorzystywane są do uzyskania szerokopasmowego zakodowanego sygnału. warstw L3 do L12 odpowiada przepływnościom 14, 16,... i 32 kbit/s. Wbudowany koder pracuje więc jako szerokopasmowy koder dla przepływności 14 kbit/s i więcej. [00] Przykładowo koder ten wykorzystuje kodowanie predykcyjne (CELP) w pierwszych dwóch warstwach (G.729 zmodyfikowane poprzez dodanie drugiej algebraicznej książki kodów), a następnie kwantuje w dziedzinie częstotliwości błąd kodowania pierwszych warstw. W celu odwzorowania sygnału do dziedziny częstotliwości wykorzystywana jest zmodyfikowana dyskretna transformata kosinusowa MDCT (Modified Discrete Cosine Transform). Współczynniki MDCT są kwantowane z wykorzystaniem skalowalnej algebraicznej kwantyzacji wektorowej. W celu zwiększenia szerokości pasma dźwiękowego, do wysokich częstotliwości stosowane jest kodowanie parametryczne. [006] Koder pracuje na ramkach ms i potrzebuje ms wyprzedzenia dla okna analizy LP. MDCT z zakładką 0% wymaga dodatkowych ms wyprzedzenia, które mogą być zastosowane albo po stronie kodera albo dekodera. Przykładowo wyprzedzenie MDCT jest stosowane po stronie dekodera, co daje udoskonalone ukrywanie zamazania ramki, jak zostanie to objaśnione poniżej. Koder tworzy wyjście o przepływności 32 kbps, co przekłada się na ms ramki zawierające 6 bitów każda. Bity w każdej ramce są rozmieszczone we wbudowanych warstwach. Warstwa 1 ma 160 bitów reprezentujących ms standardu G.729 z przepływnością 8 kbps (odpowiadającą dwóm ramkom G.729). Warstwa 2 ma 80 bitów reprezentujących dodatkowe 4 kbps. Następnie każda dodatkowa warstwa (warstwy od 3 do 12) dodaje 2 kbps, aż do przepływności 32 kbps. [007] Schemat blokowy przykładu wbudowanego kodera przedstawiono na figurze 4. [008] Oryginalny szerokopasmowy sygnał x (1), próbkowany z częstotliwoscią 16 khz, jest najpierw dzielony w module 2 na dwa pasma: 0-00 Hz i Hz. W przykładzie z figury 4 realizuje się dzielenie pasma z wykorzystaniem banku kwadraturowych filtrów lustrzanych QMF (Quadrature Mirror Filter) z 64 współczynnikami. Operacja ta jest dobrze znana specjalistom w tej dziedzinie. Po podziale pasma uzyskuje się dwa sygnały, jeden pokrywający pasmo 0 00 Hz (dolne pasmo) i drugi pokrywający pasmo (górne pasmo). Sygnały w każdym z tych dwóch pasm są próbkowane w dół ze współczynnikiem 2 w module 2. Daje to dwa sygnały o częstotliwości próbkowania 8 khz: x LF dla dolnego pasma (3) i x HF dla górnego pasma (4).

11 [009] Sygnał x LF dolnego pasma jest podawany do zmodyfikowanej wersji kodera G.729. Ta zmodyfikowana wersja wytwarza najpierw strumień bitów w standardzie G.729 o 8 kbps, który tworzy bity dla warstwy 1. Należy zauważyć, że koder pracuje na ramkach ms, dlatego bity warstwy 1 odpowiadają dwóm ramkom G.729. [0060] Następnie koder G.729 jest modyfikowany tak, aby zawierał drugą innowacyjną książkę kodów w celu wzbogacenia sygnału dolnego pasma. Ta druga książka kodów jest identyczna z innowacyjną książką kodów w G.729 i wymaga 17 bitów na ms podramkę do zakodowania impulsów książki kodów (68 bitów na ms ramkę). Wzmocnienia drugiej algebraicznej książki kodów są kwantowane względem pierwszej książki kodów z wykorzystaniem 3 bitów w podramkach pierwszej i trzeciej oraz 2 bitów w podramkach drugiej i czwartej ( bitów na ramkę). Dwa bity wykorzystywane są do wysłania informacji klasyfikacyjnej w celu udoskonalenia ukrycia w dekoderze. Daje to = 80 bitów dla warstwy 2. Docelowy sygnał wykorzystywany dla tej innowacyjnej książki kodów drugiego stopnia uzyskiwany jest poprzez odjęcie udziału innowacyjnej książki kodów G.729 w ważonej domenie mowy. [0061] Sygnał xˆ LF syntezy zmodyfikowanego kodera G.729 otrzymywany jest poprzez dodanie pobudzenia standardu G.729 (dodanie skalowanych innowacyjnych i adaptacyjnych wektorów kodu) oraz innowacyjnego pobudzenia dodatkowej innowacyjnej książki kodów i przepuszczenie tego wzbogaconego pobudzenia przez zwykły filtr syntezy G.729. Jest to sygnał syntezy, który zostanie utworzony przez dekoder, jeśli odbierze on tylko warstwę 1 i warstwę 2 ze strumienia bitów. Należy zauważyć, że treść adaptacyjnej (lub tonowej) książki kodów jest aktualizowana tylko z wykorzystaniem pobudzenia G.729. [0062] Warstwa 3 rozszerza pasmo od jakości wąskopasmowej do szerokopasmowej. Jest to czynione poprzez zastosowanie kodowania parametrycznego (moduł 7) do komponentu wysokoczęstotliwościowego x HF. Obliczane są tylko obwiednia widmowa i obwiednia z dziedziny czasu komponentu x HF i transmitowane dla tej warstwy. Rozszerzenie pasma wymaga 33 bitów. Pozostałych 7 bitów w tej warstwie wykorzystywane jest do transmisji informacji fazowej (położenie impulsu głośni) w celu udoskonalenia ukrywania zamazania ramek w dekoderze według niniejszego wynalazku. Zostanie to wyjaśnione bardziej szczegółowo w opisie poniżej. [0063] Następnie z figury 4 zarówno błąd kodowania z sumatora 6 (x LF - xˆ LF ) jak i wysokoczęstotliwościowy sygnał x HF odwzorowywane są do dziedziny częstotliwości w module 8. Do tego odwzorowywania w dziedzinie częstotliwości wykorzystywana jest transformacja MDCT z zakładką 0%. Można to wykonać poprzez zastosowanie dwóch transformat MDCT, po jednej dla każdego pasma. Sygnał z górnego pasma może być najpierw widmowo złożony przed transformacją MDCT przez operator (-1) n, tak iż współczynniki MDCT z obydwu transformat mogą być połączone w jeden wektor dla potrzeb kwantyzacji. Współczynniki MDCT są następnie kwantowane w module 9 z wykorzystaniem skalowalnej algebraicznej kwantyzacji wektorowej w sposób podobny do kwantyzacji współczynników FFT (szybka transformata Fouriera) w koderze dźwięku 3GPP AMRWB+ (3GPP TS ). Oczywiście zastosowane mogą być inne formy kwantyzacji. Całkowita przepływność dla tej kwantyzacji widmowej wynosi 18 kbps, co równe jest budżetowi bitowemu 360 bitów na ramkę ms. Po kwantyzacji, odpowiednie bity są uwarstwiane w krokach po 2 kbps w module 4 w celu utworzenia Warstw od 4 do 12. Każda warstwa 2 kbps zawiera więc bitów na ramkę ms. W jednej ilustracyjnej postaci wykonania, w warstwie 4 można zarezerwować bitów dla transmisji informacji o energii w celu udoskonalenia ukrycia w dekoderze i zbieżności w przypadku zamazań ramek. [0064] Algorytmiczne rozszerzenia, w porównaniu do kodera z rdzeniem G.729, można podsumować następująco: 1) innowacyjna książka kodów z G.729 jest powtarzana po raz drugi (warstwa 2); 2) do rozszerzenia pasma stosowane jest kodowanie parametryczne,

12 gdzie są obliczane i kwantowane (warstwa 3) tylko widmowa obwiednia i obwiednia w dziedzinie czasu (informacja o wzmocnieniu); 3) transformata MDCT jest obliczana co ms, zaś jej widmowe współczynniki są kwantowane w 8-wymiarowych blokach z wykorzystaniem skalowanej algebraicznej kwantyzacji wektorowej VQ (Vector Quantization); a także 4) procedura uwarstwienia bitów jest stosowana do uformowania strumienia 18 kbps z algebraicznej kwantyzacji wektorowej VQ w warstwy po 2 kpbs każda (warstwy od 4 do 12). W jednej postaci wykonania 14 bitów informacji o ukryciu i konwergencji może zostać transmitowanych w warstwie 2 (2 bity), warstwie 3 (7 bitów) i warstwie 4 ( bitów). [006] Figura przedstawia schemat blokowy przykładu wbudowanego dekodera 00. W każdej ms ramce dekoder 00 może odbierać każdą ze wspieranych przepływności, od 8 kbps do 32 kbps. Oznacza to, że działanie dekodera jest warunkowe wobec liczby bitów czy warstw odbieranych w każdej ramce. Na figurze zakłada się, że co najmniej warstwy 1, 2, 3 i 4 zostały odebrane w dekoderze. Przypadki niższych przepływności zostaną opisane poniżej. [0066] W dekoderze z figury odebrany strumień bitów 01 jest najpierw rozdzielany na warstwy bitowe wytworzone przez koder (moduł 02). Warstwy 1 i 2 tworzą wejście do zmodyfikowanego dekodera 03 G.729, który wytwarza sygnał syntezy xˆ LF dla dolnego pasma (0 00 Hz próbkowanego z szybkością 8 khz). Przypomnijmy, że warstwa 2 zasadniczo zawiera bity dla drugiej innowacyjnej książki kodów o takiej samej strukturze, co innowacyjna książka kodów G.729. [0067] Następnie bity z warstwy 3 tworzą wejście dla parametrycznego dekodera 06. Bity warstwy 3 dają parametryczny opis górnego pasma ( Hz, próbkowanego z szybkością 8 khz). W szczególności bity warstwy 3 opisują górno-pasmową obwiednię widmową ramki ms, wraz z obwiednią w dziedzinie czasu (albo informacją o wzmocnieniu). Wynikiem parametrycznego dekodowania jest parametryczne przybliżenie sygnału górnego pasma, oznaczonego x HF na figurze. [0068] Następnie bity z warstwy 4 i wyższych tworzą wejście kwantyzatora odwrotnego (inverse quantizer) 04 (Q -1 ). Wyjście kwantyzatora odwrotnego 04 jest zbiorem skwantowanych współczynników widmowych. Te współczynniki widmowe tworzą wejście modułu 0 transformaty odwrotnej (T -1 ), w szczególności odwrotnej transformaty MDCT z zakładką 0%. Wyjście odwrotnej transformaty MDCT jest sygnałem xˆ D. Ten sygnał xˆ D może być widziany jako skwantowany błąd kodowania zmodyfikowanego kodera G.729 w dolnym paśmie, wraz ze skwantowanym górnym pasmem, jeśli jakiekolwiek bity zostaną przydzielone do górnego pasma w danej ramce. Moduł 0 odwrotnej transformaty (T -1 ) jest implementowany jako dwie odwrotne transformaty MDCT, wówczas xˆ D będzie składał się z dwóch składników, x ˆ D 1, reprezentującego składnik niskoczęstotliwościowy oraz x ˆ D 2 reprezentującego składnik wysokoczęstotliwościowy. [0069] Składnik x ˆ D 1 tworzący skwantowany błąd kodowania zmodyfikowanego kodera G.729 jest następnie łączony z xˆ LF w kombinatorze 07 w celu utworzenia dolnopasmowej syntezy sˆ LT. W taki sam sposób składnik x ˆ D 2 tworzący skwantowane górne pasmo jest łączony z parametrycznym przybliżeniem górnego pasma x HF w kombinatorze 08 w celu utworzenia górnopasmowej syntezy sˆ HF. Sygnały sˆ LF i sˆ HF są przetwarzane przez bank filtrów syntezy QMF 09 w celu utworzenia całkowitego sygnału syntezy sˆ przy szybkości próbkowania 16 khz. [0070] W przypadku, kiedy warstwy 4 i wyższe nie są odbierane, wówczas xˆ D wynosi zero, zaś wyjścia kombinatorów 07 i 08 są równe ich wejściu, a mianowicie xˆ LF i x NF. Jeśli tylko warstwy 1 i 2 są odbierane, wówczas dekoder musi tylko zastosować

13 12 zmodyfikowany dekoder G.729 do wytworzenia sygnału xˆ LF. Składnik wysokoczęstotliwościowy wyniesie zero, a sygnał próbkowany w górę przy 16 khz (jeśli będzie to wymagane) będzie miał zawartość tylko w paśmie niskiej częstotliwości. Jeśli odbierana jest tylko warstwa 1, dekoder dotyczy tylko dekodera G.729 wytwarzającego sygnał xˆ LF. Niezawodne ukrywanie zamazania ramki [0071] Zamazanie ramek ma główny wpływ na jakość syntezowanej mowy w cyfrowych systemach komunikacji mowy, zwłaszcza podczas pracy w środowiskach bezprzewodowych i sieciach komutowanych pakietowo. W bezprzewodowych systemach komórkowych energia odbieranego sygnału może wykazywać częste poważne zaniki powodujące wysokie bitowe stopy błędów i staje się to bardziej wyraźne na granicach komórek. W tym przypadku dekoder kanałowy zawodzi pod względem korekcji błędów w odbieranej ramce i w konsekwencji dekoder błędów zazwyczaj stosowany za dekoderem kanałowym będzie deklarował ramkę jako zamazaną. W aplikacjach sieciowych pakietowego przesyłania głosu (voice over packet), takich jak na przykład przesyłanie głosu za pośrednictwem protokołu internetowego (Voice over Internet Protocol (VoIP)) sygnał mowy jest pakietowany, gdzie zazwyczaj w każdym pakiecie umieszczana jest ms ramka. W komunikacji komutowanej pakietowo opuszczenie pakietu może wystąpić w routerze, jeśli liczba pakietów staje się bardzo duża albo pakiet może przybyć do odbiornika po długim opóźnieniu i powinien zostać zadeklarowany jako stracony, jeśli jego opóźnienie jest dłuższe niż długość bufora jitter po stronie odbiornika. W tych systemach kodek powinien podlegać zazwyczaj stopom zamazania od 3 do %. [0072] Problem z przetwarzaniem zamazania ramek (FER) jest w zasadzie dwojaki. Po pierwsze, kiedy pojawia się wskaźnik zamazanej ramki, brakująca ramka musi zostać wygenerowana z wykorzystaniem informacji wysyłanej w poprzedniej ramce oraz poprzez estymację ewolucji sygnału w brakującej ramce. Sukces estymacji uzależniony jest nie tylko od strategii ukrywania, ale także od umiejscowienia w sygnale mowy, w którym nastąpiło zamazanie. Po drugie, zapewnione musi zostać płynne przejście przy odtworzeniu normalnego działania, to znaczy, kiedy przybywa pierwsza dobra ramka po bloku zamazanych ramek (jednej lub większej liczbie). Nie jest to trywialne zadanie, ponieważ prawdziwa synteza i estymowana synteza może rozwijać się odmiennie. Kiedy przybywa pierwsza dobra ramka, wówczas dekoder jest rozsynchronizowany względem kodera. Głównym powodem jest to, że kodery o małej przepływności bazują na predykcji tonu, a w trakcie zamazanych ramek pamięć predyktora tonu (albo adaptacyjna książka kodów) nie jest już taka sama, jak pamięć w koderze. Problem ten nawarstwia się wówczas, kiedy zamazanych jest wiele kolejnych ramek. Tak jak w przypadku ukrycia, trudność regeneracji normalnego przetwarzania uzależniona jest od typu sygnału, przykładowo sygnału mowy, gdzie nastąpiło zamazanie. [0073] Negatywny wpływ zamazania ramek może zostać znacznie zredukowany poprzez przystosowanie ukrywania i odtwarzanie normalnego przetwarzania (dalsze odtwarzanie) do typu sygnału mowy, gdzie nastąpiło zamazanie. W tym celu konieczne jest zaklasyfikowanie każdej ramki mowy. Klasyfikacja ta może zostać wykonana w koderze i transmitowana. Alternatywnie może ona zostać estymowana w dekoderze. [0074] Jest kilka krytycznych właściwości sygnału mowy, które muszą być starannie kontrolowane dla uzyskania najlepszego ukrycia i regeneracji. Tymi krytycznymi właściwościami są energia sygnału albo amplituda, wielkość okresowości, widmowa obwiednia okresu tonu. W przypadku odtwarzania mowy głosowej dalsze udoskonalenie można uzyskać poprzez kontrolę fazy. Wraz z niewielkim zwiększeniem przepływności w celu lepszej kontroli można skwantować i przesłać kilka dodatkowych parametrów. Jeśli nie jest dostępne dodatkowe pasmo, to parametry te mogą być estymowane w dekoderze.

14 Przy kontroli tych parametrów można znacznie udoskonalić ukrywanie zamazania ramek i odtwarzanie, zwłaszcza poprzez poprawienie zbieżności dekodowanego sygnału do faktycznego sygnału w koderze i łagodzenie efektu niedopasowania pomiędzy koderem a dekoderem, kiedy odtworzone zostaje normalne przetwarzanie. [007] Pomysły te ujawnione zostały w zgłoszeniu patentowym PCT w odnośniku [1]. Według nieograniczającej ilustracyjnej postaci wykonania niniejszego wynalazku ukrywanie i zbieżność są dodatkowo wzbogacane poprzez lepszą synchronizację impulsu głośni w tonowej książce kodów (albo adaptacyjnej książce kodów), zgodnie z tym, co zostanie ujawnione poniżej. Może to być wykonane z albo bez odebranej informacji fazowej, odpowiadającej przykładowo położeniu impulsu tonu albo impulsu głośni. [0076] W ilustracyjnej postaci wykonania niniejszego wynalazku ujawnione zostały sposoby wydajnego ukrywania zamazania ramek oraz sposoby udoskonalenia zbieżności w dekoderze w ramkach następujących za zamazaną ramką. [0077] Techniki ukrywania zamazanych ramek według ilustracyjnej postaci wykonania zostały zastosowane do opisanego wyżej wbudowanego kodeka opartego na G.729. Kodek ten będzie służył jako przykładowa rama dla implementacji sposobów ukrywania FER w następującym dalej opisie. [0078] Figura 6 przedstawia uproszczony schemat blokowy Warstw 1 i 2 wbudowanego kodera 600 opartego na modelu kodera CELP z figury 2. Na tym uproszczonym schemacie blokowym moduł 7 wyszukiwania tonu z zamkniętą pętlą, kalkulator 8 odpowiedzi zerowejściowej, kalkulator 9 odpowiedzi impulsowej, moduł 2 wyszukiwania innowacyjnego pobudzenia oraz moduł 211 aktualizacji pamięci pogrupowane są w modułach 602 wyszukiwania tonu z zamkniętą pętlą i innowacyjnej książki kodów. Ponadto wyszukiwanie książki kodów drugiego stopnia w warstwie 2 także jest zawarte w modułach 602. Pogrupowanie to wykonywane jest w celu uproszczenia wprowadzenia modułów związanych z ilustracyjną postacią wykonania według niniejszego wynalazku. [0079] Figura 7 jest przedłużeniem schematu blokowego z figury 6, gdzie dodane zostały moduły związane z nieograniczającą ilustracyjną postacią wykonania niniejszego wynalazku. W tych dodanych modułach od 702 do 707 dodatkowe parametry są obliczane, kwantowane i transmitowane w celu udoskonalenia ukrywania FER oraz zbieżności i odtwarzania dekodera po zamazanych ramkach. W tej ilustracyjnej postaci wykonania te parametry ukrywania/odtwarzania obejmują klasyfikację sygnału, energię oraz informację fazową (przykładowo estymowane położenie ostatniego impulsu głośni w poprzedniej ramce (poprzednich ramkach). [0080] W następującym dalej opisie zostanie szczegółowo przedstawione obliczanie i kwantyzacja tych dodatkowych parametrów ukrywania/odtwarzania i staną się one bardziej wyraźne w odniesieniu do figury 7. Z tymi parametrami klasyfikacja sygnału będzie traktowana bardziej szczegółowo. W kolejnych sekcjach objaśnione zostanie wydajne ukrywanie FER z wykorzystaniem tych dodatkowych parametrów ukrywania/odtwarzania w celu poprawienia zbieżności. Klasyfikacja sygnału dla ukrywania FER i odtwarzania 4 0 [0081] Podstawowa idea stojąca za zastosowaniem klasyfikacji mowy dla rekonstrukcji sygnału w obecności zamazanych ramek polega na fakcie, że idealna strategia ukrywania jest odmienna dla quasi-stacjonarnych segmentów mowy i dla segmentów mowy o szybko zmieniających się właściwościach. Pomimo, iż najlepsze przetwarzanie zamazanych ramek w niestacjonarnych segmentach mowy może zostać podsumowane jako szybka konwergencja parametrów kodowania mowy do charakterystyk szumu otoczenia, w przypadku quasi-stacjonarnego sygnału, parametry kodowania mowy nie zmieniają się dramatycznie i mogą być utrzymywane praktycznie w stanie niezmienionym w ciągu kilku kolejnych zamazanych ramek przed stłumieniem. Optymalny sposób w celu odtwarzania

15 sygnału następującego za zamazanym blokiem ramek zmienia się także wraz z klasyfikacją sygnału mowy. [0082] Sygnał mowy może być z grubsza zaklasyfikowany jako głosowy, niegłosowy i pauzy. [0083] Mowa głosowa zawiera pewną ilość okresowych komponentów i może być dodatkowo podzielona na następujące kategorie: wejścia głosowe (onset), segmenty głosowe, przejścia głosowe i wyłączenia głosowe (offsets). Wejście głosowe jest zdefiniowane jako rozpoczęcie segmentu sygnału mowy po pauzie albo segmencie niegłosowym. W trakcie segmentów głosowych parametry sygnału mowy (obwiednia widmowa, okres tonu głośni, stosunek komponentów okresowych do komponentów nieokresowych, energia) zmienia się powoli od ramki do ramki. Przejście głosowe charakteryzuje się szybkimi zmianami sygnału mowy, jak na przykład przejście pomiędzy samogłoskami. Wyłączenia głosowe charakteryzują się stopniowym spadkiem energii i barwy głosu na końcu segmentów głosowych. [0084] Niegłosowe części sygnału charakteryzują się brakiem okresowego komponentu i mogą być dodatkowo podzielone na niestabilne ramki, gdzie energia i widmo ulegają raptownym zmianom oraz ramki stabilne, gdzie te właściwości pozostają względnie stabilne. [008] Pozostałe ramki klasyfikowane są jako cisza. Ramki ciszy zawierają wszystkie ramki bez aktywnej mowy, to znaczy także ramki z samym szumem, jeśli szum tła jest obecny. [0086] Nie wszystkie powyższe klasy potrzebują odrębnej obróbki. Stąd też dla celów technik ukrywania błędów niektóre z klas sygnałów są grupowane razem. Klasyfikacja w koderze [0087] Kiedy jest dostępne pasmo w strumieniu bitów do zamieszczenia informacji klasyfikacyjnej, klasyfikacja może zostać wykonana w koderze. Ma to kilka zalet. Jedna polega na tym, że w koderach mowy często występuje wyprzedzenie. Wyprzedzenie pozwala na estymację ewolucji sygnału w kolejnej ramce i w konsekwencji klasyfikacja może być wykonana poprzez uwzględnienie przyszłego zachowania sygnału. Generalnie, im dłuższe jest wyprzedzenie, tym lepsza może być klasyfikacja. Dodatkową zaletą jest zmniejszenie złożoności, gdyż większość obróbki sygnału potrzebnej do ukrycia zamazania ramki i tak jest potrzebna do kodowania mowy. Ostateczna zaleta polega na pracy z oryginalnym sygnałem zamiast sygnałem syntezowanym. [0088] Klasyfikacja ramki wykonywana jest biorąc pod uwagę strategię ukrycia i odtwarzania. Innymi słowy, każda ramka klasyfikowana jest w taki sposób, że ukrywanie może być optymalne, jeśli brakuje kolejnej ramki albo, że odtwarzanie może być optymalne, jeśli utracona została poprzednia ramka. Pewne klasy zastosowane dla obróbki FER nie muszą być transmitowane, gdyż mogą one być dedukowane bez dwuznaczności w dekoderze. W niniejszej ilustracyjnej postaci wykonania stosuje się pięć () różnych klas, zdefiniowanych następująco: Klasa NIEGŁOSOWA zawiera wszystkie niegłosowe ramki mowy i wszystkie ramki bez aktywnej mowy. Ramka wyłączenia głosowego także może zostać zaklasyfikowana jako NIEGŁOSOWA, jeśli jej koniec zmierza do bycia niegłosowym i może być zastosowane ukrywanie zaprojektowane dla ramek niegłosowych dla kolejnej ramki w przypadku jej utraty. Klasa PRZEJŚCIOWA NIEGŁOSOWA zawiera niegłosowe ramki z możliwym wejściem głosowym na końcu. Wejście to jest jednak wciąż zbyt krótkie albo nie zbudowane wystarczająco dobrze do zastosowania ukrywania zaprojektowanego dla ramek głosowych. Klasa PRZEJŚCIOWA NIEGŁOSOWA może następować jedynie

16 po ramce zaklasyfikowanej jako NIEGŁOSOWA albo PRZEJŚCIOWA NIEGŁOSOWA. Klasa PRZEJŚCIOWA GŁOSOWA zawiera ramki głosowe o stosunkowo słabych właściwościach głosowych. Są to zazwyczaj ramki głosowe z raptownie zmieniającymi się właściwościami (przejścia pomiędzy samogłoskami) albo wyłączenia głosowe trwające przez całą ramkę. Klasa PRZEJŚCIOWA GŁOSOWA może następować tylko po ramce zaklasyfikowanej jako PRZEJŚCIOWA GŁOSOWA, GŁOSOWA lub WEJŚCIE. Klasa GŁOSOWA zawiera głosowe ramki o stabilnych właściwościach. Klasa ta może następować wyłącznie za ramką sklasyfikowaną jako PRZEJŚCIOWA GŁOSOWA, GŁOSOWA lub WEJŚCIE. Klasa WEJŚCIE zawiera wszystkie głosowe ramki o stabilnych właściwościach następujące za ramką zaklasyfikowaną jako NIEGŁOSOWA lub PRZEJŚCIOWA NIEGŁOSOWA. Ramki zaklasyfikowane jako WEJŚCIE odpowiadają głosowym ramkom wejścia, gdzie wejście jest już wystarczająco dobrze rozbudowane dla zastosowania ukrywania zaprojektowanego dla utraconych ramek głosowych. Techniki ukrywania zastosowane dla zamazania ramki postępującej za klasą WEJŚCIE są takie same, jak postępujące za klasą GŁOSOWE. Różnica leży w strategii odtwarzania. Jeśli ramka klasy WEJŚCIE jest utracona (to znaczy dobra ramka GŁOSOWA przybywa po zamazaniu, ale ostatnia dobra ramka przed zamazaniem była NIEGŁOSOWA), zastosowana może zostać specjalna technika do sztucznego zrekonstruowania utraconego wejścia. Scenariusz ten można zobaczyć na figurze 6. Sztuczne techniki rekonstrukcji zostaną opisane bardziej szczegółowo w opisie poniżej. Z drugiej strony, jeśli dobra ramka WEJŚCIA przybywa po zamazaniu, a ostatnia dobra ramka przed zamazaniem była NIEGŁOSOWA, to ta specjalna obróbka nie jest potrzebna, gdyż wejście nie zostało utracona (nie było go w utraconej ramce). [0089] Diagram stanu klasyfikacji nakreślony został na figurze 8. Jeśli dostępna szerokość pasma jest wystarczająca, to klasyfikacja jest wykonywana w koderze i transmitowana z wykorzystaniem 2 bitów. Jak można zauważyć na figurze 8, klasy PRZEJŚCIOWA NIEGŁOSOWA 804 i PRZEJŚCIOWA GŁOSOWA 806 mogą być pogrupowane razem, gdyż mogą być one jednoznacznie rozróżnione w dekoderze (ramki typu PRZEJŚCIOWA NIEGŁOSOWA 804 mogą następować tylko za ramkami typu NIEGŁOSOWA 802 lub PRZEJŚCIOWA NIEGŁOSOWA 804, ramki typu PRZEJŚCIOWA GŁOSOWA 806 mogą następować tylko za ramkami typu WEJŚCIA 8, GŁOSOWA 808 lub PRZEJŚCIOWA GŁOSOWA 806). W tej ilustracyjnej postaci wykonania klasyfikacja wykonywana jest w koderze i kwantowana z wykorzystaniem 2 bitów, które są transmitowane w warstwie 2. W związku z tym, jeśli odbierana jest co najmniej warstwa 2, wówczas w celu udoskonalonego ukrywania stosowana jest informacja klasyfikacyjna dekodera. Jeśli odbierana jest tylko rdzeniowa warstwa 1, wówczas klasyfikacja ta jest wykonywana w dekoderze. [0090] Na potrzeby klasyfikacji w koderze wykorzystywane są następujące parametry: znormalizowana korelacja r x, miara e t przekrzywienia widma, stosunek sygnału do szumu snr, licznik pc stabilności tonu, względna energia E s ramki sygnału na końcu bieżącej ramki, a także licznik przekroczeń zera, zc. [0091] Obliczanie tych parametrów, które są wykorzystywane do klasyfikowania sygnału, objaśnione jest poniżej. [0092] Znormalizowana korelacja r x obliczana jest jako część modułu 6 wyszukiwania tonu z otwartą pętlą z figury 7. Ten moduł 6 wyprowadza zazwyczaj na wyjście estymację tonu z otwartą pętlą co każde ms (dwukrotnie na ramkę). Tutaj jest on także stosowany do wyprowadzania na wyjście miar znormalizowanej korelacji. Te znormalizowane korelacje obliczane są na bieżącym ważonym sygnale mowy s w (n) i

17 16 przeszłym ważonym sygnale mowy przy opóźnieniu tonu z otwartą pętlą. Średnia znormalizowana korelacja r x jest zdefiniowana jako: r x = 0,(r x (0) + r x (1)) (1) gdzie r x (0), r x (1) są odpowiednio znormalizowaną korelacją pierwszej połówki ramki i drugiej połówki ramki. Znormalizowana korelacja r x (k) jest obliczana następująco: [0093] Korelacje r x (k) obliczane są z wykorzystaniem ważonego sygnału mowy s w (n) (jako x ). Przypadki t k odnoszone są do początku bieżącej połówki ramki i są równe, odpowiednio, 0 i 80 próbkom. Wartość T k jest opóźnieniem tonu w połówce ramki, które maksymalizuje korelację krzyżową. Długość obliczenia L autokorelacji wynosi 80 próbek. W innej postaci realizacji wyznaczania wartości T k w 2 połówce ramki oblicza się korelację krzyżową i znajduje się wartości r odpowiadające maksimom w trzech sekcjach opóźnienia 39, 79, Wówczas T k jest ustawiane na wartość τ, która maksymalizuje znormalizowaną korelację w równaniu (2). [0094] Parametr e t przekrzywienia widma zawiera informację o częstotliwościowym rozkładzie energii. W niniejszej ilustracyjnej postaci wykonania przekrzywienie widma jest estymowane w module 703, jako znormalizowane pierwsze współczynniki autokorelacji sygnału mowy (pierwszy współczynnik odbicia otrzymany w trakcie analizy LP). [009] Ponieważ analiza LP wykonywana jest dla ramki dwukrotnie (jeden raz co każde ms ramki G.729), to przekrzywienie widma obliczane jest jako średnia z pierwszego współczynnika odbicia z obydwu analiz LP. To znaczy e t = - 0, (k 1 (1) + k 1 (2) ) (3) gdzie k 1 (j) jest pierwszym współczynnikiem odbicia z analizy LP w j-tej połówce ramki. [0096] Miara stosunku sygnału do szumu (SNR) snr wykorzystuje fakt, że dla kodera ogólnego dopasowania przebiegu współczynnik SNR jest dużo wyższy dla dźwięków głosowych. Estymacja parametru snr musi zostać wykonana na zakończenie pętli podramki kodera i oblicza się go dla całej ramki w module 704 obliczania SNR z wykorzystaniem relacji: 3 (4) gdzie E sw jest energią sygnału mowy s(n) bieżącej ramki, a E e jest energią błędu pomiędzy sygnałem mowy a sygnałem syntezy bieżącej ramki. [0097] Licznik pc stabilności tonu ocenia zmianę okresu tonu. Jest on obliczany w module 70 klasyfikacji sygnału w odpowiedzi na estymaty tonu z otwartą pętlą, następująco: () Wartości p 1, p 2 i p 3 odpowiadają opóźnieniu tonu z zamkniętą pętlą z ostatnich 3 podramek. [0098] Względna energia ramki E e obliczana jest przez moduł 70 jako różnica pomiędzy energią bieżącej ramki w db oraz jej długoterminową średnią: E s = E f E lt (6)

18 gdzie energia ramki E f jako energia okienkowanego sygnału wejściowego w db: 17 (7) gdzie L = 160 jest długością ramki, a w Hanning (i) jest oknem Hanninga o długości L. Długoterminowo uśredniona energia jest aktualizowana na aktywnych ramkach mowy z wykorzystaniem następującej relacji: E lt = 0,99 E lt + 0,01 E f (8) Ostatni parametr jest parametrem zc przekroczenia zera obliczanym na jednej ramce sygnału mowy przez moduł 702 obliczania przekroczenia zera. W tej ilustracyjnej postaci wykonania licznik zc przekroczenia zera zlicza liczbę zdarzeń, kiedy znak sygnału zmienia się z dodatniego na ujemny w trakcie tego przedziału. [0099] W celu uczynienia klasyfikacji bardziej niezawodną, parametry klasyfikacji uwzględniane są w module 70 klasyfikacji sygnału tworząc razem funkcję jakości (merit function) f m. W tym celu parametry klasyfikacji są najpierw skalowane pomiędzy 0 a 1, tak że wartość każdego parametru typowa dla sygnału niegłosowego przekłada się na wartość 0, a wartość każdego parametru typowa dla sygnału głosowego przekłada się na 1. Pomiędzy nimi stosowana jest funkcja liniowa. Rozważmy parametr px, jego skalowana wersja otrzymywana jest z wykorzystaniem wyrażenia: p s = k p p x + c p (9) i spinana pomiędzy 0 a 1 (za wyjątkiem względnej energii, która jest spinana pomiędzy 0, a 1). Współczynniki funkcji k p i c p zostały znalezione doświadczalnie dla każdego z parametrów, tak iż zniekształcenie sygnału ze względu na techniki ukrywania i odtwarzania stosowane w obecności FER jest minimalne. Wartości zastosowane w tej ilustracyjnej implementacji są podsumowane w tabeli 2: Tabela 2: Parametry klasyfikacji sygnału i współczynniki ich odpowiednich funkcji skalowania Parametr Znaczenie k p c p r Znormalizowana korelacja 0, ,26606 x e Przekrzywienie widma 2, -1,2 t snr Stosunek sygnału do szumu 0,096-0,2 pc Licznik stabilności tonu -0,1176f 2,0 E s Względna energia ramki 0,0 0,4 zc Licznik przejść przez zero -0,067 2,613 2 [00] Funkcja jakości została zdefiniowana jako: 3 () gdzie indeks górny s wskazuje skalowaną wersję parametrów. [01] Funkcja jakości jest następnie skalowana przez 1,0, jeśli skalowana względna s energia E s równa jest 0,, i skalowana przez 1,2, jeśli E s s jest większa niż 0,7. Ponadto funkcja jakości jest także skalowana przez współczynnik f E otrzymywany na podstawie maszyny stanu, która sprawdza różnicę pomiędzy chwilową zmianą energii względnej, a długoterminową zmianą energii względnej. Jest to dodawane w celu poprawienia klasyfikacji sygnału w obecności szumu tła. [02] Parametr zmiany energii względnej E var jest aktualizowany jako: E var = 0,0(E s E prev ) + 0,9E var gdzie E prev jest wartością E s z poprzedniej ramki.

19 18 gdzie class old jest klasą poprzedniej ramki. [03] Klasyfikacja jest wówczas wykonywana z wykorzystaniem funkcji jakości f m i według reguł podsumowanych w tabeli 3: 2 Tabela 3. Reguły klasyfikacji sygnału w koderze Klasa poprzedniej ramki Reguła Klasa bieżącej ramki WEJŚCIE f m 0,68 GŁOSOWA GŁOSOWA PRZEJŚCIOWA GŁOSOWA. 0,6 f m < 0,68 PRZEJŚCIOWA GŁOSOWA. f m < 0,6 NIEGŁOSOWA PRZEJŚCIOWA f m > 0,64 WEJŚCIE NIEGŁOSOWA NIEGŁOSOWA. 0,64 f m > 0,8 PRZEJŚCIOWA NIEGŁOSOWA. f m 0,8 NIEGŁOSOWA [04] W przypadku obecności detekcji aktywności głosowej (VAD) w koderze, znacznik VAD może być zastosowany dla klasyfikacji, gdyż bezpośrednio wskazuje on, iż nie jest potrzebna żadna dodatkowa klasyfikacja, jeśli jego wartość wskazuje na nieaktywną mowę (to znaczy ramka jest bezpośrednio klasyfikowana jako NIEGŁOSOWA). W tej ilustracyjnej postaci wykonania ramka jest bezpośrednio klasyfikowana jako NIEGŁOSOWA, jeśli energia względna jest mniejsza niż db. Klasyfikacja w dekoderze [0] Jeśli aplikacja nie pozwala na transmisję informacji o klasie (nie mogą zostać przetransportowane dodatkowe bity), klasyfikacja wciąż może być wykonana w dekoderze. W tej ilustracyjnej postaci wykonania bity klasyfikacji są transmitowane w warstwie 2, dlatego klasyfikacja jest także wykonywana w dekoderze dla przypadku, kiedy odbierana jest tylko warstwa 1. [06] Na potrzeby klasyfikacji w dekoderze stosowane są następujące parametry: znormalizowana korelacja r x, miara e t przekrzywienia widma, licznik pc stabilności tonu, względna energia E s ramki sygnału na końcu bieżącej ramki, a także licznik przejścia przez zero, zc. [07] Obliczanie tych parametrów, które są stosowane do klasyfikowania sygnału, wyjaśnione jest poniżej. [08] Znormalizowana korelacja r x obliczana jest na końcu ramki na podstawie sygnału syntezy. Wykorzystuje się opóźnienie tonu ostatniej podramki. [09] Znormalizowana korelacja r x obliczana jest synchronicznie z tonem w sposób następujący:

20 19 (11) gdzie T jest opóźnieniem tonu ostatniej podramki, zaś t = L T, a L jest rozmiarem ramki. Jeśli opóźnienie tonu ostatniej podramki jest większe niż 3N/2 (N jest rozmiarem podramki), wówczas T jest ustawiane na średnie opóźnienie tonu ostatnich dwóch podramek. [01] Korelacja r x obliczana jest z wykorzystaniem syntezowanego sygnału mowy s out (n). Dla opóźnień tonów mniejszych niż rozmiar podramki ( próbek) znormalizowana korelacja obliczana jest dwukrotnie w chwilach t = L-T i t = L 2T i r x jest dane jako średnia z tych dwóch obliczeń. [0111] Parametr e t przekrzywienia widma zawiera informację o częstotliwościowym rozkładzie energii. W niniejszej ilustracyjnej postaci wykonania przekrzywienie widma w dekoderze jest estymowane jako pierwszy znormalizowany współczynnik autokorelacji sygnału syntezy. Jest on obliczany na podstawie ostatnich 3 podramek jako: (12) gdzie x(n) = s out (n) jest sygnałem syntezy, N jest rozmiarem podramki, natomiast L jest rozmiarem ramki (N = i L = 160 w tej ilustracyjnej postaci wykonania). [0112] Licznik pc stabilności tonu ocenia zmianę okresu tonu. Jest obliczany w dekoderze następująco: pc = p 1 + p 2 p 1 p 0 (13) Wartości p 0, p 1, p 2 i p 3 odpowiadają opóźnieniu tonu z zamkniętą pętlą z 4 podramek. [0113] Energia względna ramki E s obliczana jest jako różnica pomiędzy energią bieżącej ramki w db, a jej długoterminową energią średnią: (14) gdzie energia ramki E f jest energią sygnału syntezy w db obliczaną synchronicznie z tonem na końcu ramki jako: 2 () gdzie L = 160 jest długością ramki, a T jest średnim opóźnieniem tonu ostatnich dwóch podramek. Jeśli T jest mniejsze niż rozmiar podramki, wówczas T ustawiane jest na 2T (energia obliczana z wykorzystaniem dwóch okresów tonów dla krótkich opóźnień tonów). [0114] Energia uśredniona długoterminowo jest aktualizowana na aktywnych ramkach mowy z wykorzystaniem następującej relacji: E lt = 0,99E lt + 0,01E f (16) Ostatnim parametrem jest parametr zc przekroczenia zera obliczany na jednej ramce sygnału syntezy. W tej ilustracyjnej postaci wykonania licznik zc przekroczenia zera zlicza liczbę zdarzeń, kiedy znak sygnału zmienia się z dodatniego na ujemny w trakcie tego przedziału. [01] W celu uczynienia klasyfikacji bardziej niezawodną, parametry klasyfikacji są uwzględniane razem tworząc funkcję jakości f m. W tym celu parametry klasyfikacji są

21 najpierw skalowane funkcją liniową. Rozważmy parametr p x, jego skalowana wersja jest otrzymywana z wykorzystaniem wyrażenia: p s = k p p x + c p (17) Skalowany parametr koherencji tonu rozciąga się pomiędzy 0 a 1, skalowany parametr znormalizowanej korelacji jest podwojony, jeśli jest dodatni. Współczynniki funkcji k p i c p znalezione zostały doświadczalnie dla każdego z tych parametrów, tak iż zniekształcenie sygnału w wyniku zastosowania technik ukrycia i odtwarzania w obecności FER jest minimalne. Wartości zastosowane w tej ilustracyjnej implementacji podsumowane zostały w tabeli 4. Tabela 4: Parametry klasyfikacji sygnału w dekoderze i współczynniki ich odpowiednich funkcji skalowania Parametr Znaczenie k p c p r Znormalizowana korelacja 2,87-1,286 x e t Przekrzywienie widma 0,8333 0,2917 pc Licznik stabilności tonu -0,088 1,6468 E s Energia względna ramki 0,7143 0,8741 zc Licznik przejść przez zero -0,067 2,613 [0116] Funkcja jakości została zdefiniowana jako: (18) gdzie indeks górny s wskazuje skalowaną wersję parametrów. [0117] Klasyfikacja jest następnie wykonywana z wykorzystaniem funkcji jakości f m i według reguł podsumowanych w tabeli : Tabela. Reguły klasyfikacji sygnału w dekoderze Klasa poprzedniej ramki Reguła Klasa bieżącej ramki WEJŚCIE f m 0,63 GŁOSOWA GŁOSOWA PRZEJŚCIOWA GŁOSOWA WEJŚCIE SZTUCZNE 0,39 f m < 0,63 PRZEJŚCIOWA GŁOSOWA f m < 0,39 NIEGŁOSOWA PRZEJŚCIOWA NIEGŁOSOWA f m > 0,6 WEJŚCIE NIEGŁOSOWA 0,6 f m > 0,4 PRZEJŚCIOWA NIEGŁOSOWA f m 0,4 NIEGŁOSOWA 2 Parametry mowy dla obróbki FER [0118] Jest kilka parametrów, które są starannie kontrolowane w celu uniknięcia dokuczliwych zjawisk ubocznych przy występowaniu FER. Jeśli może być transmitowanych kilka dodatkowych bitów, wówczas parametry te mogą być estymowane, kwantowane i transmitowane po stronie kodera. W przeciwnym wypadku niektóre z nich mogą być estymowane po stronie dekodera. Parametry te mogą obejmować klasyfikację sygnału, informację energetyczną, informację fazową i informację o głosie. [0119] Ważność kontroli energii manifestuje się sama głównie, kiedy odtwarzaniu ulega normalne działanie po zamazanym bloku ramek. Ponieważ większość koderów mowy wykorzystuje predykcję, to prawidłowa energia nie może być prawidłowo estymowana w

22 dekoderze. W głosowych segmentach mowy nieprawidłowa energia może trwać przez kilka kolejnych ramek, co jest bardzo dokuczliwe, zwłaszcza kiedy nieprawidłowa energia narasta. [01] Energia jest kontrolowana nie tylko dla mowy głosowej ze względu na predykcję długoterminową (predykcja tonu), jest ona także kontrolowana dla mowy niegłosowej. Powodem tutaj jest predykcja innowacyjnego kwantyzera wzmocnienia często stosowanego w koderach typu CELP. Błędna energia w trakcie segmentów niegłosowych może powodować dokuczliwą fluktuację wysokoczęstotliwościową. [0121] Kontrola fazy także jest elementem do rozważenia. Przykładowo informacja fazowa wysyłana jest w odniesieniu do położenia impulsu głośni. W zgłoszeniu patentowym PCT w [1] informacja fazowa jest transmitowana jako położenie pierwszego impulsu głośni w ramce i wykorzystywana do zrekonstruowania utraconych wejść głosowych. Dodatkowym zastosowaniem informacji fazowej jest resynchronizacja treści adaptacyjnej książki kodów. Poprawia to konwergencję dekodera w ukrytej ramce i następnych ramkach i znacząco poprawia jakość mowy. Procedura resynchronizacji adaptacyjnej książki kodów (albo przeszłego pobudzenia) może być wykonana na kilka sposobów, w zależności od odbieranej informacji fazowej (odebrana lub nie) oraz od dostępnego opóźnienia w dekoderze. Informacja energetyczna [0122] Informacja energetyczna może być estymowana i wysyłana albo w resztkowej dziedzinie LP albo w dziedzinie sygnału mowy. Wysyłanie tej informacji w dziedzinie resztkowej ma wadę polegającą na nie uwzględnieniu wpływu filtra syntezy LP. Może być to szczególnie podstępne w przypadku odtwarzania głosowego po kilku utraconych ramkach głosowych (kiedy występuje FER w trakcie głosowego segmentu mowy). Kiedy FER występuje po ramce głosowej, pobudzenie ostatniej dobrej ramki jest zazwyczaj stosowane w trakcie ukrywania z pewną strategią tłumienia. Kiedy przybywa nowy filtr syntezy LP po zamazaniu, może występować niedopasowanie pomiędzy energią pobudzenia a wzmocnieniem filtra syntezy LP. Nowy filtr syntezy może wytworzyć sygnał syntezy, którego energia jest wysoce odmienna od energii ostatniej syntezowanej zamazanej ramki, a także od energii oryginalnego sygnału. Z tego powodu energia ta jest obliczana i kwantowana w dziedzinie sygnału. [0123] Energia E q obliczana jest i kwantowana w module 706 estymacji i kwantyzacji energii z figury 7. W tej nieograniczającej ilustracyjnej postaci wykonania stosuje się bitowy jednorodny kwantyzer w zakresie od 0 db do 96 db z krokiem 3,1 db. Indeks kwantyzacji dany jest przez całkowitą część wyrażenia: (19) gdzie indeks ograniczony jest do 0 i 31. [0124] E jest maksymalną próbką energii dla próbek zaklasyfikowanych jako GŁOSOWE lub WEJŚCIE albo średnią energią na próbkę dla innych ramek. Dla ramek GŁOSOWYCH lub WEJŚCIE maksymalna energia próbki obliczana jest synchronicznie z tonem na końcu ramki następująco: 4 () gdzie L jest długością ramki, a sygnał s(i) oznacza sygnał mowy. Jeśli opóźnienie tonu jest większe niż rozmiar podramki ( próbek w tej ilustracyjnej postaci wykonania), t E równe jest zaokrąglonemu opóźnieniu tonu z zamkniętą pętlą ostatniej podramki. Jeśli opóźnienie tonu jest krótsze niż próbek, wówczas t E jest ustawione na dwukrotność zaokrąglonego opóźnienia tonu z zamkniętą pętlą ostatniej podramki.

23 22 [012] Dla innych klas E jest średnią energią na próbkę drugiej połowy bieżącej ramki, to znaczy t E jest ustawione na wartość L/2 zaś E jest obliczane jako: (21) W tej ilustracyjnej postaci wykonania lokalny sygnał syntezy w koderze jest stosowany do obliczenia informacji energetycznej. [0126] W tej ilustracyjnej postaci wykonania informacja energetyczna jest transmitowana w warstwie 4. W związku z tym, jeśli odbierana jest warstwa 4, informacja ta może być wykorzystywana do poprawienia ukrywania zamazania ramki. W przeciwnym przypadku energia jest estymowana po stronie dekodera. Informacja kontroli fazy [0127] Kontrola fazy jest stosowana przy odtwarzaniu po utraconym segmencie głosowej mowy z podobnych powodów, co opisano w poprzedniej sekcji. Po bloku zamazanych ramek, pamięci dekodera ulegają desynchronizacji z pamięciami kodera. W celu dokonania ponownej synchronizacji dekodera musi zostać przesłana pewna informacja fazowa. W charakterze nieograniczającego przykładu, jako informacja fazowa może zostać wysłane położenie i znak ostatniego impulsu głośni z poprzedniej ramki. W celu odtwarzania ta informacja fazowa jest następnie wykorzystywana po utraconych wejściach głosowych, zgodnie z tym, co zostanie opisane później. Podobnie, jak zostanie to ujawnione później, informacja ta jest także wykorzystywana do resynchronizacji sygnału pobudzenia zamazanych ramek w celu poprawienia konwergencji w prawidłowo odebranych kolejnych ramkach (redukcja propagowanego błędu). [0128] Informacja fazowa może odpowiadać albo pierwszemu impulsowi głośni w ramce albo ostatniemu impulsowi głośni w poprzedniej ramce. Wybór będzie zależał od tego, czy dostępne jest dodatkowe opóźnienie w dekoderze czy nie. W tej ilustracyjnej postaci wykonania przy rekonstrukcji MDCT w dekoderze dostępne jest jedno opóźnienie ramki dla operacji nakładania i dodania. W związku z tym, kiedy pojedyncza ramka jest zamazana, dostępne są parametry przyszłej ramki (ze względu na dodatkowe opóźnienie ramki). W tym przypadku dostępne są z przyszłej ramki położenie i znak maksymalnego impulsu na końcu zamazanej ramki. Dlatego pobudzenie tonu może zostać ukryte w taki sposób, że ostatni maksymalny impuls jest wyrównany z położeniem odebranym w przyszłej ramce. Zostanie to ujawnione bardziej szczegółowo poniżej. [0129] W dekoderze może nie być dostępnego dodatkowego opóźnienia. W takim przypadku informacja fazowa nie jest wykorzystywana, kiedy zamazana ramka jest ukrywana. Jednakże w dobrej odebranej ramce po zamazanej ramce, informacja fazowa jest stosowana do wykonania synchronizacji impulsu głośni w pamięci adaptacyjnej książki kodów. Spowoduje to poprawę pracy pod względem redukcji błędu propagacji. [01] Niech T 0 będzie zaokrąglonym opóźnieniem tonu zamkniętej pętli dla ostatniej podramki. Wyszukiwanie maksymalnego impulsu jest wykonywane na reszcie przefiltrowanej filtrem dolnoprzepustowym LP. Przefiltrowana dolnoprzepustowo reszta określona jest wyrażeniem: r LP (n) = 0,2r(n-1) + 0,r(n) + 0,2r(n+1) (22) Moduł 707 wyszukiwania impulsu głośni i kwantyzacji wyszukuje położenie ostatniego impulsu τ głośni pośród T 0 ostatnich próbek przefiltrowanej dolnoprzepustowo reszty w ramce poprzez poszukiwanie próbki o maksymalnej bezwzględnej amplitudzie (τ jest położeniem względem końca ramki).

24 [0131] Położenie ostatniego impulsu głośni jest kodowane z wykorzystaniem 6 bitów w następujący sposób. Precyzja zastosowana do zakodowania położenia pierwszego impulsu głośni zależy od wartości tonu z zamkniętą pętlą dla ostatniej podramki T 0. Jest to możliwe ponieważ wartość ta znana jest zarówno przez koder jak i dekoder i nie jest poddana błędowi propagacji po utracie jednej czy kilku ramek. Gdy T 0 jest mniejsze niż 64, wówczas położenie ostatniego impulsu głośni względem końca ramki jest kodowane bezpośrednio z precyzją jednej próbki. Kiedy 64 T 0 < 128, wówczas położenie ostatniego impulsu głośni względem końca ramki jest kodowane z precyzją dwóch próbek poprzez zastosowanie prostego dzielenia całkowitego, to znaczy τ/2. Kiedy T 0 128, wówczas położenie ostatniego impulsu głośni względem końca ramki jest kodowane z precyzją czterech próbek poprzez kolejne dzielenie τ przez 2. Procedura odwrotna wykonywana jest w dekoderze. Jeśli T 0 < 64, wówczas odebrane skwantowane położenie jest wykorzystywane w takim stanie w jakim się znajduje. Jeśli 64 T 0 < 128, wówczas odebrane skwantowane położenie jest mnożone przez 2 i inkrementowane o 1. Jeśli T 0 128, wówczas odbierane skwantowane położenie jest mnożone przez 4 oraz inkrementowane o 2 (inkrementacja o 2 daje równomiernie rozłożony błąd kwantyzacji). [0132] Znak maksymalnej bezwzględnej amplitudy impulsu jest także skwantowany. Daje to w sumie 7 bitów dla informacji fazowej. Znak ten jest stosowany dla resynchronizacji fazy, ponieważ kształt impulsu głośni często zawiera dwa duże impulsy o przeciwnych znakach. Ignorowanie znaku może powodować niewielki dryft położenia i obniżenie wydajności procedury resynchronizacji. [0133] Należy zauważyć, że zastosowane mogą być wydajne sposoby kwantowania informacji fazowej. Przykładowo położenie ostatniego impulsu w poprzedniej ramce może być skwantowane względem położenia estymowanego z opóźnienia tonu pierwszej podramki w bieżącej ramce (położenie to może być łatwo estymowane z pierwszego impulsu w ramce opóźnionej przez opóźnienie tonu). [0134] W przypadku, gdy dostępna jest większa liczba bitów, wówczas kształt impulsu głośni może być zakodowany. W tym przypadku położenie pierwszego impulsu głośni może być wyznaczone przez analizę korelacji pomiędzy sygnałem resztkowym, a możliwymi kształtami impulsów, znakami (dodatni lub ujemny) i położeniami. Kształt impulsu może być pobrany z książki kodów kształtów impulsów znanych zarówno po stronie kodera jak i dekodera, przy czym sposób ten znany jest specjalistom w tej dziedzinie jako kwantyzacja wektorowa. Kształt, znak i amplituda pierwszego impulsu głośni są następnie kodowane i transmitowane do kodera. Obróbka zamazanych ramek 4 0 [013] Techniki ukrywania FER w tej ilustracyjnej postaci wykonania zademonstrowane zostały na kodekach typu ACELP. Jednakże mogą one być z łatwością zastosowane do dowolnego kodeka mowy, gdzie sygnał syntezy jest generowany poprzez filtrowanie sygnału pobudzenia poprzez filtr syntezy LP. Strategia ukrycia może zostać podsumowana jako konwergencja energii sygnału i obwiedni widmowej do estymowanych parametrów szumu tła. Okresowość sygnału jest konwergowana do zera. Prędkość konwergencji jest uzależniona od parametrów klasy ostatniej odebranej dobrej ramki i liczby kolejnych zamazanych ramek i jest kontrolowana przez współczynnik tłumienia α. Współczynnik α jest ponadto zależny od stabilności filtra LP dla ramek NIEGŁOSOWYCH. W ogólności konwergencja jest powolna, jeśli ostatnia odebrana dobra ramka jest w stabilnym segmencie i szybka, jeśli ramka znajduje się w segmencie przejścia. Wartości α są podsumowane w tabeli 6.

25 24 Tabela 6. Wartości współczynnika tłumienia α techniki ukrywania FER Ostatnia odebrana dobra ramka Liczba kolejnych zamazanych ramek α GŁOSOWA, WEJŚCIE, WEJŚCIE 1 β SZTUCZNE > 1 g p PRZEJŚCIOWA GŁOSOWA 2 0,8 > 2 0,2 PRZEJŚCIOWA NIEGŁOSOWA 0,88 NIEGŁOSOWA = 1 0,9 > 1 0, θ + 0,4 [0136] W tabeli 6 g p jest średnim wzmocnieniem tonu na ramkę określonym przez wyrażenie: (i) gdzie g p jest wzmocnieniem tonu w podramce i. [0137] Wartość β określona jest wyrażeniem (23) ograniczonym przez 0,8 β 0,98 (24) [0138] Wartość θ jest współczynnikiem stabilności obliczonym na podstawie miary odległości pomiędzy sąsiednimi filtrami LP. Tutaj współczynnik θ jest odniesiony do miary odległości liniowej pary widmowej LSP (Line Spectral Pair,) i jest ograniczony przez 0 θ 1, z większymi wartościami θ odpowiadającymi bardziej stabilnym sygnałom. Powoduje to zmniejszenie fluktuacji energii i obwiedni widmowej, kiedy wystąpi zamazanie izolowanej ramki wewnątrz stabilnego segmentu niegłosowego. W tej ilustracyjnej postaci wykonania współczynnik stabilności θ określony jest wyrażeniem: 2 3 ograniczony przez 0 θ 1 (2) gdzie LSP i są obecnymi wartościami LSP natomiast LSPold i są wartościami LSP przeszłej ramki. Należy zauważyć, że wartości LSP mieszczą się w dziedzinie kosinusowej (od 1 do 1). [0139] W przypadku, kiedy informacja klasyfikacyjna przyszłej ramki nie jest dostępna, wówczas klasa ta jest ustawiana tak, aby była taka sama, jak w ostatniej odebranej dobrej ramce. Jeśli informacja klasyfikacyjna jest dostępna w przyszłej ramce, wówczas klasa utraconej ramki jest estymowana na podstawie klasy w przyszłej ramce i klasy w ostatniej dobrej ramce. W tej ilustracyjnej postaci wykonania klasa przyszłej ramki może być dostępna, jeśli odbierana jest warstwa 2 przyszłej ramki (przepływność przyszłej ramki powyżej 8 kbit/s i nie utracona). Jeśli koder pracuje z maksymalną przepływnością 12 kbit/s, wówczas dodatkowe opóźnienie ramki po stronie dekodera zastosowane dla MDCT nałóż-i-dodaj nie jest potrzebne i układ implementujący może wybrać zmniejszenie opóźnienia dekodera. W tym przypadku ukrycie będzie wykonane tylko na przeszłej informacji. Będzie to określane jako tryb dekodera z małym opóźnieniem. [01] Niech class old oznacza klasę ostatniej dobrej ramki, zaś class new oznacza klasę przyszłej ramki, a class lost klasę utraconej ramki, która ma być estymowana. [0141] Początkowo class lost jest przyrównana do class old. Jeśli dostępna jest przyszła ramka, wówczas jej informacja klasyfikacyjna jest dekodowana do class new. Następnie wartość class lost jest aktualizowana następująco: - jeśli class new jest GŁOSOWA i class old jest typu WEJŚCIE, wówczas class lost jest ustawiana na wartość GŁOSOWA.

26 2 - jeśli class new jest GŁOSOWA i klasa ramki przed ostatnią dobrą ramką jest typu WEJŚCIE lub GŁOSOWA, wówczas class lost jest ustawiana na wartość GŁOSOWA. - jeśli class new jest NIEGŁOSOWA i class old jest GŁOSOWA, to wówczas class lost jest ustawiana na wartość PRZEJŚCIOWA NIEGŁOSOWA. - jeśli class new jest GŁOSOWA lub WEJŚCIE i class old jest NIEGŁOSOWA, to wówczas class lost jest ustawiana na WEJŚCIE SIN (odtwarzanie wejścia). Konstrukcja okresowej części pobudzenia [0142] Dla ukrycia zamazanych ramek, których klasa jest ustawiona na NIEGŁOSOWA lub PRZEJŚCIOWA NIEGŁOSOWA, nie jest generowana żadna okresowa część sygnału pobudzenia. Dla innych klas okresowa część sygnału pobudzenia jest konstruowana w następujący sposób. [0143] Po pierwsze, ostatni cykl tonowy poprzedniej ramki jest wielokrotnie kopiowany. Jeśli jest to przypadek pierwszej zamazanej ramki po dobrej ramce, to ten cykl tonowy jest najpierw filtrowany dolnoprzepustowo. Zastosowany filtr jest prostym 3-członowym liniowym filtrem fazowym FIR (o skończonej odpowiedzi impulsowej, Finite Impulse Response), którego współczynniki są równe 0,18, 0,64 i 0,18. [0144] Okres T C tonu zastosowany do wyboru ostatniego cyklu tonowego, a zatem zastosowany w trakcie ukrywania, jest zdefiniowany tak, że można uniknąć lub zredukować wielokrotności lub podwielokrotności tonu. Do wyznaczenia okresu T C tonu stosowana jest następująca zależność logiczna. Tutaj T 3 jest zaokrąglonym okresem tonu 4-ej podramki ostatniej odebranej dobrej ramki, zaś T s jest zaokrąglonym przewidywanym okresem tonu 4-ej podramki ostatniej dobrej stabilnej ramki głosowej z koherentnymi estymatami tonu. Stabilna ramka głosowa jest zdefiniowana tutaj jako ramka GŁOSOWA poprzedzona przez ramkę typu głosowego (PRZEJŚCIOWA GŁOSOWA, GŁOSOWA, WEJŚCIE). Koherencja tonu jest weryfikowana w tej implementacji poprzez zbadanie, czy estymaty tonu z zamkniętą pętlą są rozsądnie blisko, to znaczy czy stosunki pomiędzy tonem ostatniej podramki, tonem drugiej podramki oraz tonem ostatniej podramki z poprzedniej ramki mieszczą się w przedziale (0,7;1,4). Alternatywnie, jeśli jest wiele utraconych ramek, to wówczas T 3 jest zaokrąglonym estymowanym okresem tonu 4-ej podramki ostatniej ukrytej ramki. [014] To wyznaczenie okresu T C tonu oznacza, że jeśli ton na końcu ostatniej dobrej ramki oraz ton ostatniej stabilnej ramki są bliskie siebie, to wówczas zastosowany zostanie ton ostatniej dobrej ramki. W przeciwnym przypadku ton ten jest uznany za niewiarygodny i w zamian zostanie zastosowany ton ostatniej stabilnej ramki w celu uniknięcia wpływu błędnych estymat tonów w wejściach głosowych. Logika ta ma jednak sens tylko, jeśli ostatni stabilny segment nie jest zbyt odległy w przeszłości. Stąd też zdefiniowany jest licznik T cnt, który ogranicza zasięg wpływu ostatniego stabilnego segmentu. Jeśli T cnt jest większy lub równy, to znaczy jeśli jest co najmniej ramek od ostatniej aktualizacji T s, to systematycznie stosowany jest ton ostatniej dobrej ramki. T cnt jest ustawiany na 0 za każdym razem, kiedy wykrywany jest stabilny segment i gdy T s jest aktualizowany. Okres T C jest następnie utrzymywany na stałym poziomie w trakcie ukrywania dla całego zamazanego bloku. [0146] Dla zamazanych ramek następujących za prawidłowo odebraną ramką, inną niż ramka NIEGŁOSOWA, bufor pobudzenia jest aktualizowany tylko z tą okresową częścią pobudzenia. Ta aktualizacja będzie zastosowana do skonstruowania tonowej książki kodów pobudzenia w następnej ramce. [0147] Opisana powyżej procedura może powodować dryft w położeniu impulsu głośni, ponieważ okres tonu zastosowany do zbudowania pobudzenia może być różny od prawdziwego okresu tonu w koderze. Spowoduje to, że bufor adaptacyjnej książki kodów

27 26 (albo przeszły bufor pobudzenia) zostaną zdesynchronizowane względem faktycznego bufora pobudzenia. W związku z tym, w przypadku, kiedy odebrana zostaje dobra ramka po zamazanej ramce, pobudzenie tonowe (albo pobudzenie adaptacyjnej książki kodów) będzie miało błąd, który może trwać przez kilka ramek i może wpływać na działanie prawidłowo odebranych ramek. [0148] Figura 9 przedstawia sieć działań ukazującą procedurę 900 ukrywania okresowej części pobudzenia opisaną w ilustracyjnej postaci wykonania, natomiast figura przedstawia sieć działań ukazującą procedurę 00 pobudzenia okresowej części pobudzenia. [0149] W celu przezwyciężenia tego problemu i udoskonalenia konwergencji w dekoderze, ujawnia się sposób resynchronizacji (900 na figurze 9), który reguluje położenie ostatniego impulsu głośni w ukrytej ramce do synchronizacji z faktycznym położeniem impulsu głośni. W pierwszej implementacji ta procedura resynchronizacji może być wykonywana na podstawie informacji fazowej odnoszącej się do prawdziwego położenia ostatniego impulsu głośni w ukrytej ramce, która jest transmitowana w przyszłej ramce. W drugiej implementacji położenie ostatniego impulsu głośni jest estymowane po stronie dekodera, kiedy informacja z przyszłej ramki nie jest dostępna. [00] Zgodnie z tym, co opisano powyżej, pobudzenie tonowe całej utraconej ramki jest budowane poprzez powtarzanie ostatniego cyklu tonowego T C poprzedniej ramki (operacja 906 na figurze 9), gdzie T C jest zdefiniowane powyżej. Dla pierwszej zamazanej ramki (wykrywanej w trakcie operacji 902 z figury 9) cykl tonowy jest najpierw filtrowany dolnoprzepustowo (operacja 904 z figury 9) z wykorzystaniem filtra ze współczynnikami 0,18, 0,64 i 0,18. Jest to wykonywane następująco: 2 3 (26) gdzie u(n) jest sygnałem pobudzenia, L jest rozmiarem ramki, zaś N jest rozmiarem podramki. Jeśli nie jest to pierwsza zamazana ramka, ukryte pobudzenie jest po prostu budowane jako: (27) Należy zauważyć, że ukryte pobudzenie jest także obliczane dla dodatkowej podramki w celu wspomożenia resynchronizacji, zgodnie z tym, co będzie pokazane poniżej. [01] Po znalezieniu ukrytego pobudzenia, procedura resynchronizacji wykonywana jest następująco. Jeśli przyszła ramka jest dostępna (operacja 908 na figurze 9) i zawiera informację o impulsie głośni, wówczas informacja ta jest dekodowana (operacja 9 na figurze 9). Zgodnie z tym, co opisano powyżej, informacja ta składa się z położenia bezwzględnego maksymalnego impulsu od końca ramki i jego znaku. Niech to odkodowane położenie będzie oznaczone jako P 0, wówczas faktyczne położenie bezwzględnego maksymalnego impulsu dane jest przez: P last = L P 0 Następnie wyznaczane jest położenie maksymalnego impulsu w ukrytym pobudzeniu od początku ramki ze znakiem podobnym do dekodowanej informacji o znaku wyznaczonej na podstawie filtrowanego dolnoprzepustowo pobudzenia (operacja 912 z figury 9). To znaczy, jeśli odkodowane maksymalne położenie impulsu jest dodatnie, wówczas wyznaczany jest maksymalny dodatni impuls w ukrytym pobudzeniu od początku ramki, w przeciwnym przypadku wyznaczany jest ujemny maksymalny impuls. Niech pierwszy maksymalny impuls w ukrytym pobudzeniu oznaczony będzie jako T(0). Położenia innych maksymalnych impulsów dane są przez (operacja 914 na figurze 9): (28) gdzie N p jest liczbą impulsów (wliczając w to pierwszy impuls w przyszłej ramce).

28 27 [02] Poprzez poszukiwanie impulsu T(i) najbliższego faktycznemu impulsowi P last jest znajdywany błąd w położeniu impulsu ostatniego ukrytego impulsu w ramce (operacja 916 na figurze 9). Jeśli błąd określony jest przez: 2 3 gdzie k jest indeksem impulsu najbliższego P last. Jeśli T e = 0, wówczas nie jest wymagana resynchronizacja (operacja 918 na figurze 9). Jeśli wartość T e jest dodatnia (T(k)< P last ), wówczas muszą być wstawione próbki T e (operacja 02 na figurze ). Jeśli T e jest ujemne (T(k)> P last ), wówczas muszą być usunięte próbki T e (operacja 02 na figurze ). Ponadto resynchronizacja wykonywana jest tylko wówczas, jeśli T e < N i T e < N p x T diff, gdzie N jest rozmiarem podramki, a T diff jest bezwzględną różnicą pomiędzy T C a opóźnieniem tonu pierwszej podramki w przyszłej ramce (operacja 918 na figurze 9). [03] Próbki, które muszą zostać dodane albo skasowane, są rozmieszczone na cyklach tonowych w ramce. Wyznaczane są obszary o minimalnej energii w różnych cyklach tonowych i w tych obszarach wykonywane jest kasowanie albo umieszczenie próbki. Liczba impulsów tonowych w ramce wynosi N p w odpowiednich położeniach T(i), i = 0,..., N p -1. Liczba regionów o minimalnej energii wynosi Np-1. Obszary o minimalnej energii są wyznaczane poprzez obliczenie energii z wykorzystaniem przesuwnego - próbkowego okna (operacja 02 na figurze ). Położenie o minimalnej energii jest ustawiane w środku okna, w którym energia jest minimalna (operacja 04 na figurze ). Wyszukiwanie wykonywane pomiędzy dwoma impulsami tonowymi w położeniu T(i) oraz T(i+1) jest ograniczone pomiędzy T(i) + T C /4 oraz T(i+1)-T C /4. [04] Niech minimalne położenia wyznaczone zgodnie z tym, co opisano powyżej, będą oznaczone jako T min (i), i = 0,..., N min -1, gdzie N min = N p -1 jest liczbą obszarów minimalnej energii. Kasowanie lub umieszczanie próbek wykonywane jest wokół T min (i). Próbki do dodania lub skasowania są rozmieszczone w różnych cyklach tonowych, zgodnie z tym, co zostanie ujawnione następująco. [0] Jeśli N min =1, to wówczas jest tylko jeden obszar minimalnej energii i wszystkie impulsy T e są umieszczane lub kasowane w T min (0). [06] Dla N min >1 stosowany jest prosty algorytm do wyznaczenia liczby próbek do dodania albo usunięcia w każdym cyklu tonowym, dzięki czemu mniej próbek jest dodawanych/usuwanych na początku i bardziej w stronę końca ramki (operacja 06 na figurze ). W tej ilustracyjnej postaci wykonania dla wartości całkowitej liczby impulsów T e do usunięcia/dodania oraz liczby obszarów N min o minimalnej energii, liczba próbek R(i), i = 0,..., N min -1, do usunięcia/dodania przypadająca na cykl tonowy, jest określana z wykorzystaniem następującej relacji rekurencyjnej (operacja 06 na figurze ): gdzie (29) [07] Należy zauważyć, że w każdym etapie sprawdzany jest warunek R(i) < R(i-1) i jeśli jest spełniony, to wówczas wartości R(i) i R(i-1) są zamieniane. [08] Wartości R(i) odpowiadają cyklom tonowym zaczynającym się od początku ramki. R(0) odpowiadają T min (0), R(1) odpowiadają T min (1),..., R(N min -1) odpowiadają T min (N min - 1). Ze względu na to, że wartości R(i) są w porządku rosnącym, to wówczas więcej próbek jest dodawanych/usuwanych w kierunku cykli na końcu ramki. [09] Jako przykład obliczania R(i) dla T e = 11 lub 11 N min =4 (dodawane/usuwane 11 próbek i 4 cykle tonowe w ramce), znajdywane są następujące wartości R(i):

29 [0160] W związku z powyższym dodawana/usuwana jest 1 próbka wokół położenia minimalnej energii T min (0), 2 próbki są dodawane/usuwane wokół położenia minimalnej energii T min (1), 3 próbki są dodawane/usuwane wokół położenia minimalnej energii T min (2) oraz próbek jest dodawanych/usuwanych wokół położenia minimalnej energii T min (3) (operacja 08 na figurze ). [0161] Usuwanie próbek jest proste. Dodawanie próbek (operacja 08 na figurze ) wykonywane jest w tej ilustracyjnej postaci wykonania poprzez kopiowanie ostatnich R(i) próbek po podzieleniu przez i przez odwrócenie znaku. W powyższym przykładzie, gdzie próbek musi zostać umieszczonych w położeniu T min (3) wykonuje się co następuje: () Z wykorzystaniem ujawnionej powyżej procedury, ostatni maksymalny impuls w ukrywanym pobudzeniu zmuszany jest do wyrównania się z faktycznym położeniem maksymalnego impulsu na końcu ramki, która jest transmitowana w przyszłej ramce (operacja 9 z figury 9 i operacja z figury ). [0162] Jeśli nie jest dostępna informacja o fazie impulsu, ale dostępna jest przyszła ramka, wartość tonu przyszłej ramki może zostać interpolowana wartością przeszłego tonu w celu znalezienia estymowanych opóźnień tonu na podramkę. Jeśli przyszła podramka nie jest dostępna, wartość tonu brakującej ramki może być estymowana, następnie interpolowana z przeszłą wartością tonu w celu znalezienia estymowanych opóźnień tonów na podramkę. Następnie obliczane jest całkowite opóźnienie wszystkich cykli tonowych w ukrywanej ramce zarówno dla ostatniego tonu zastosowanego przy ukrywaniu jak i estymowanych opóźnień tonów na podramkę. Różnica pomiędzy tymi dwoma całkowitymi opóźnieniami określa estymację różnicy pomiędzy ostatnim ukrytym maksymalnym impulsem w ramce i estymowanym impulsem. Impulsy mogą być wówczas resynchronizowane zgodnie z tym, co opisano powyżej (operacja 9 na figurze 9 i operacja na figurze ). [0163] Jeśli dekoder nie ma dodatkowego opóźnienia, wówczas informacja o fazie impulsu obecna w przyszłej ramce może być zastosowana w pierwszej odebranej dobrej ramce w celu resynchronizacji pamięci adaptacyjnej książki kodów (przeszłe pobudzenie) i uzyskania ostatniego maksymalnego impulsu głośni wyrównanego z położeniem transmitowanym w bieżącej ramce przed skonstruowaniem pobudzenia bieżącej ramki. W tym przypadku synchronizacja będzie wykonana dokładnie zgodnie z tym, co opisano powyżej, ale w pamięci pobudzenia, zamiast wykonania w bieżącym pobudzeniu. W tym przypadku konstrukcja bieżącego pobudzenia rozpocznie się ze zsynchronizowaną pamięcią. [0164] Kiedy nie jest dostępne dodatkowe opóźnienie, możliwe jest także wysłanie położenia pierwszego maksymalnego impulsu bieżącej ramki zamiast położenia ostatniego maksymalnego impulsu głośni ostatniej ramki. Jeśli to właśnie ma miejsce, wówczas synchronizacja jest także osiągana w pamięci pobudzenia przed skonstruowaniem bieżącego pobudzenia. Przy takiej konfiguracji faktyczne położenie bezwzględnego maksymalnego impulsu w pamięci pobudzenia dane jest wyrażeniem: P last = L + P 0 - T new

30 gdzie T new jest pierwszym cyklem tonowym nowej ramki, natomiast P 0 jest odkodowanym położeniem pierwszego maksymalnego impulsu głośni bieżącej ramki. [016] Ponieważ ostatni impuls pobudzenia poprzedniej ramki jest używany do zbudowania części okresowej, jego wzmocnienie jest w przybliżeniu prawidłowe na początku ukrywanej ramki i może być ustawione na wartość 1 (operacja 922 na figurze 9). Wzmocnienie to jest następnie tłumione liniowo w ramce w kolejnych próbkach w celu uzyskania wartości α na końcu ramki (operacja 924 na figurze 9). [0166] Wartości α (operacja 922 na figurze 9) odpowiadają wartościom z tabeli 6, które uwzględniają ewolucję energii segmentów głosowych. Ewolucja ta może być ekstrapolowana do pewnego stopnia poprzez zastosowanie wartości wzmocnienia pobudzenia tonowego każdej podramki z ostatniej dobrej ramki. Generalnie, jeśli wzmocnienia te są większe niż 1, to energia sygnału rośnie, jeśli są one mniejsze niż 1, wówczas energia maleje. α jest więc ustawiane na β = g zgodnie z tym, co opisano powyżej. Wartość β rozciąga się pomiędzy 0,98 a 0,8 w celu uniknięcia silnych przyrostów i spadków energii. [0167] Dla zamazanych ramek następujących po prawidłowo odebranej ramce innej niż NIEGŁOSOWA, bufor pobudzenia jest aktualizowany tylko okresową częścią pobudzenia (po resynchronizacji i skalowaniu wzmocnienia). Aktualizacja ta będzie użyta do skonstruowania tonowej książki kodów pobudzenia w następnej ramce (operacja 926 na figurze 9). [0168] Figura 11 przedstawia typowe przykłady sygnału pobudzenia z i bez procedury synchronizacji. Oryginalny sygnał pobudzenia bez zamazania ramki przedstawiony jest na figurze 11b. Figura 11c przedstawia ukryty sygnał pobudzenia, kiedy ramka przedstawiona na figurze 11a jest zamazana, bez stosowania procedury synchronizacji. Można wyraźnie zauważyć, że ostatni impuls głośni w ukrywanej ramce nie jest wyrównany z prawdziwym położeniem impulsu przedstawionym na figurze 11b. Ponadto można zauważyć, że istnieje wpływ ukrycia zamazania ramki na następne prawidłowo odebrane ramki które nie zostały wymazane. Figura 11d przedstawia ukryty sygnał pobudzenia gdy została użyta procedura synchronizacji według przedstawionej powyżej ilustracyjnej postaci wykonania wynalazku. Można wyraźnie zaobserwować, że ostatni impuls głośni w ukrytej ramce jest właściwie wyrównany z prawidłowym położeniem impulsu przedstawionym na figurze 11b. Ponadto można zauważyć, że wpływ ukrycia zamazania ramki na następujące prawidłowo odebrane ramki jest mniej problematyczny niż przypadek z figury 11c. Obserwacja ta jest potwierdzona na figurach 11e i 11f. Figura 11e przedstawia błąd pomiędzy oryginalnym pobudzeniem a ukrytym pobudzeniem bez synchronizacji. Figura 11f przedstawia błąd pomiędzy oryginalnym pobudzeniem a ukrytym pobudzeniem, kiedy stosowana jest procedura synchronizacji. [0169] Figura 12 przedstawia przykłady zrekonstruowanego sygnału mowy z wykorzystaniem sygnałów pobudzenia przedstawionych na figurze 11. Zrekonstruowany sygnał bez zamazania ramki jest przedstawiony na figurze 12b. Figura 12c przedstawia zrekonstruowany sygnał mowy, kiedy ramka przedstawiona na figurze 12a jest zamazana, bez stosowania procedury synchronizacji. Figura 12d przedstawia zrekonstruowany sygnał mowy, kiedy ramka przedstawiona na figurze 12a jest zamazana, przy zastosowaniu procedury synchronizacji, zgodnie z tym, co ujawniono w powyższej ilustracyjnej postaci wykonania niniejszego wynalazku. Figura 12e przedstawia stosunek sygnału do szumu (SNR) na podramkę pomiędzy oryginalnym sygnałem a sygnałem z figury 12c. Na figurze 12e można zauważyć, że stosunek SNR pozostaje bardzo mały nawet, kiedy odbierane są dobre ramki (pozostaje on poniżej 0 db dla następnych dwóch dobrych ramek i pozostaje poniżej 8 db aż do 7-ej dobrej ramki). Figura 12f przedstawia stosunek sygnału do szumu (SNR) na podramkę pomiędzy oryginalnym sygnałem a sygnałem z figury 12d. Na figurze 12d można zauważyć, że sygnał ulega szybkiej konwergencji do prawdziwego p

31 zrekonstruowanego sygnału. Stosunek SNR rośnie szybko powyżej db po dwóch dobrych ramkach Konstrukcja losowej części pobudzenia [0170] Innowacyjna (nie okresowa) część sygnału pobudzenia jest generowana losowo. Może być ona generowana jako szum losowy albo poprzez zastosowanie innowacyjnej książki kodów CELP z indeksami wektorów generowanymi losowo. W niniejszej ilustracyjnej postaci wykonania zastosowany został prosty generator losowy o w przybliżeniu jednorodnym rozkładzie. Przed dostosowaniem innowacyjnego wzmocnienia, losowo wygenerowana innowacja jest skalowana do pewnej wartości referencyjnej, związanej tutaj z jednostkową energią na próbkę. [0171] Na początku zamazanego bloku inicjowane jest innowacyjne wzmocnienie g s poprzez zastosowanie innowacyjnych wzmocnień pobudzeń każdej podramki w ostatniej dobrej ramce: g s = 0,1g(0) + 0,2g(1) + 0,3g(2) + 0,4g(3) (31) gdzie g(0), g(1), g(2) i g(3) są ustalonymi książkami kodów albo innowacją, wzmocnieniami czterech (4) podramek ostatniej prawidłowo odebranej ramki. Strategia tłumienia losowej części pobudzenia jest nieco odmienna od tłumienia pobudzenia tonowego. Powodem jest to, że pobudzenie tonowe (a tym samym okresowość pobudzenia) jest zbieżne do 0, podczas gdy pobudzenie losowe jest zbieżne do energii pobudzenia generowania komfortowego szumu (CNG). Innowacyjne tłumienie wzmocnienia wykonywane jest jako: g s 1 = α g s 0 + (1 - α) g n (32) gdzie g 1 s jest innowacyjnym wzmocnieniem na początku następnej ramki, g 0 s jest innowacyjnym wzmocnieniem na przedniej obwodowej części bieżącej ramki, g n jest wzmocnieniem pobudzenia zastosowanym w trakcie generowania komfortowego szumu, natomiast α jest zdefiniowane w tabeli. Podobnie do tłumienia okresowego pobudzenia, wzmocnienie jest więc tłumione liniowo w całej ramce w trybie próbka za próbką, zaczynając od g 0 s i przechodząc do wartości g 1 s, która byłaby osiągnięta na początku następnej ramki. [0172] Ostatecznie, jeśli ostatnia dobra ramka (prawidłowo odebrana albo nie zamazana) jest inna niż NIEGŁOSOWA, to wówczas innowacyjne pobudzenie jest filtrowane przez liniowy górnoprzepustowy filtr fazowy FIR o współczynnikach 0,012; -0,9; 0,7813; - 0,9; -0,012. W celu zmniejszenia ilości zaszumionych komponentów w trakcie segmentów głosowych, te współczynniki filtra są mnożone przez współczynnik adaptacyjny równy (0,7-0,2 r v ), przy czym r v jest współczynnikiem głosowym przyjmującym wartość w zakresie od -1 do 1. Losowa część pobudzenia jest następnie dodawana do pobudzenia adaptacyjnego w celu uformowania całkowitego sygnału pobudzenia. [0173] Jeśli ostatnia dobra ramka jest NIEGŁOSOWA, to wówczas stosowane jest tylko pobudzenie innowacyjne i jest ono dalej tłumione przez współczynnik 0,8. W tym przypadku przeszły bufor pobudzenia jest aktualizowany pobudzeniem innowacyjnym, gdyż nie jest dostępna okresowa część pobudzenia. Ukrywanie widmowej obwiedni, Synteza i aktualizacje [0174] W celu syntezowania odkodowanej mowy, uzyskane muszą zostać parametry filtra LP.

32 31 2 [017] W przypadku, gdy nie jest dostępna przyszła ramka, widmowa obwiednia jest stopniowo przesuwana w kierunku estymowanej obwiedni szumu otoczenia. Zastosowana jest tutaj reprezentacja LSF parametrów LP: I 1 (j) = α I 0 (j) + (1-α)I n (j), j = 0,..., p-1 (33) W równaniu (33) I 1 (j) jest wartością j-tej LSF bieżącej ramki, I 0 (j) jest wartością j-tej LSF poprzedniej ramki, I n (j) jest wartością j-tej LSF estymowanej obwiedni komfortowego szumu, natomiast p jest rzędem filtra LP (należy zauważyć, że wartości LSF są w dziedzinie częstotliwości). Alternatywnie parametry LSF zamazanej ramki mogą być po prostu ustawione na równo z parametrami z ostatniej ramki (I 1 (j) = I 0 (j)). [0176] Syntezowana mowa jest otrzymywana poprzez filtrowanie sygnału pobudzenia poprzez filtr syntezy LP. Współczynniki filtra są obliczane na podstawie reprezentacji LSF i są interpolowane dla każdej podramki (cztery (4) razy na ramkę), jak w trakcie normalnej pracy kodera. [0177] W przypadku, kiedy dostępna jest przyszła ramka, parametry filtra LP dla podramki są otrzymywane poprzez interpolację wartości LSP w ramkach przyszłej i poprzedniej. W celu znalezienia interpolowanych parametrów można wykorzystać kilka sposobów. Według jednego sposobu parametry LCP dla całej ramki są znajdywane z wykorzystaniem związku: LSP (1) = 0,4LSP (0) + 0,6LSF (2) (34) gdzie LSP (1) są estymowanymi wartościami LSP zamazanej ramki, LSP (0) są wartościami LSP w przeszłej ramce, natomiast LSP (2) są wartościami LSP w przyszłej ramce. [0178] Tak jak w nieograniczającym przykładzie, parametry LSP są transmitowane dwukrotnie na ramkę ms (wyśrodkowane w drugiej i czwartej podramce). Tak więc LSP (0) jest wyśrodkowana w czwartej podramce przeszłej ramki, zaś LSP (2) jest wyśrodkowana w drugiej podramce przyszłej ramki. W związku z tym, interpolowane parametry LSP mogą zostać znalezione dla każdej podramki w zamazanej ramce zgodnie z: LSP (1,i) = ((-i) LSP (0) + (i+1)lsf (2) )/6, i = 0,..., 3, (3) gdzie i jest indeksem podramki. Wartości LSP leżą w dziedzinie kosinusowej (od -1 do 1). [0179] Ponieważ zarówno kwantyzer innowacyjnego wzmocnienia, jak i kwantyzer LSF korzystają z predykcji, to ich pamięć nie będzie aktualna po wznowieniu normalnej pracy. W celu zredukowania tego efektu, pamięci kwantyzera są estymowane i aktualizowane na końcu każdej zamazanej ramki. Odtwarzanie normalnego działania po zamazaniu 3 [0180] Problem odtwarzania po zamazanym bloku ramek wynika zasadniczo z silnej predykcji stosowanej praktycznie we wszystkich nowoczesnych koderach mowy. W szczególności kodery mowy typu CELP osiągają swój wysoki stosunek sygnału do szumu dla mowy głosowej ze względu na fakt, że wykorzystują one przeszły sygnał pobudzenia do zakodowania pobudzenia bieżącej ramki (predykcja długoterminowa lub tonowa). Podobnie, większość kwantyzerów (kwantyzery LP, kwantyzery wzmocnienia, i inne) wykorzystują predykcję. Konstrukcja sztucznego wejścia 4 [0181] Najbardziej skomplikowana sytuacja związana z użyciem długoterminowej predykcji w koderach CELP występuje wówczas, kiedy utracone zostaje wejście głosowe. Utrata wejścia oznacza, że wejście głosowej mowy nastąpiło gdzieś w trakcie zamazanego bloku. W tym przypadku ostatnia odebrana dobra ramka była niegłosowa, a tym samym w

33 buforze pobudzenia nie zostało znalezione okresowe pobudzenie. Pierwsza dobra ramka po zamazanym bloku jest jednak głosowa, bufor pobudzenia w koderze jest wysoce okresowy, a adaptacyjne pobudzenie zostało zakodowane z wykorzystaniem tego okresowego przeszłego pobudzenia. Ponieważ po stronie dekodera kompletnie brakuje tej okresowej części pobudzenia, to odtworzenie tej straty może trwać aż przez kilka ramek. [0182] Jeśli utracona jest ramka WEJŚCIE (to znaczy GŁOSOWA dobra ramka przybywa po zamazaniu, ale ostatnia dobra ramka przed zamazaniem była NIEGŁOSOWA, zgodnie z tym, co pokazano na figurze 13, to wówczas stosuje się specjalną technikę do sztucznego zrekonstruowania utraconego wejścia i wyzwolenia syntezy głosu. W tej ilustracyjnej postaci wykonania, położenie ostatniego impulsu głośni w ukrytej ramce może być dostępne z przyszłej ramki (przyszła ramka nie jest utracona i informacja fazowa związana z poprzednią ramką jest odebrana w przyszłej ramce). W tym przypadku ukrywanie zamazanej ramki wykonywane jest jak zwykle. Jednakże ostatni impuls głośni zamazanej ramki jest sztucznie rekonstruowany na podstawie informacji o położeniu i o znaku dostępnej z przyszłej ramki. Informacja ta składa się z położenia maksymalnego impulsu od końca ramki i z jego znaku. Ostatni impuls głośni w zamazanej ramce jest więc konstruowany sztucznie, jako impuls filtrowany dolnoprzepustowo. W tej ilustracyjnej postaci wykonania, jeśli znak impulsu jest dodatni, to wówczas zastosowany filtr dolnoprzepustowy jest prostym liniowym filtrem fazowym FIR o odpowiedzi impulsowej h low = {-0,012; 0,9; 0,7813; 0,9; -0,012}. Jeśli znak impulsu jest ujemny, wówczas zastosowany filtr dolnoprzepustowy jest liniowym filtrem fazowym FIR o odpowiedzi impulsowej h low = {0,012; -0,9; -0,7813; -0,9; 0,012}. [0183] Rozważany okres tonu jest ostatnią podramką ukrytej ramki. Przefiltrowany dolnoprzepustowo impuls jest realizowany poprzez umieszczenie impulsowej odpowiedzi filtra dolnoprzepustowego w pamięci adaptacyjnego bufora pobudzenia (poprzednio zainicjowanego na wartość zera). Przefiltrowany dolnoprzepustowo impuls głośni (odpowiedź impulsowa filtra dolnoprzepustowego) będzie wyśrodkowana w odkodowanym położeniu P last (transmitowanym wewnątrz strumienia bitów przyszłej ramki). Przy dekodowaniu następnej dobrej ramki wznawiane jest normalne dekodowanie CELP. Umieszczenie przefiltrowanego dolnoprzepustowo impulsu głośni w prawidłowym położeniu na końcu ukrywanej ramki znacząco poprawia działanie kolejnych dobrych ramek i przyspiesza konwergencję dekodera do faktycznych stanów dekodera. [0184] Energia okresowej części pobudzenia sztucznego wejścia jest następnie skalowana przez wzmocnienie odpowiadające kwantowanej i transmitowanej energii dla ukrywania FER i dzielona przez wzmocnienie filtra syntezy LP. Wzmocnienie filtra syntezy LP jest obliczane jako: (36) gdzie h(i) jest impulsową odpowiedzią filtra syntezy LP. Ostatecznie, wzmocnienie sztucznego wejścia jest redukowane poprzez pomnożenie okresowej części przez 0,96. [018] Filtr LP dla wyjściowej syntezy mowy nie jest interpolowany w przypadku konstrukcji sztucznego wejścia. Przeciwnie, odebrane parametry LP są wykorzystywane do syntezy całej ramki. Kontrola energii 4 [0186] Jednym zadaniem przy odtwarzaniu po zamazanym bloku ramek jest prawidłowa kontrola energii syntezowanego sygnału mowy. Kontrola energii syntezy jest potrzebna ze względu na silną predykcję wykorzystywaną zazwyczaj w nowoczesnych koderach mowy. Kontrola energii jest także wykonywana, kiedy blok zamazanych ramek występuje w trakcie segmentu głosowego. Kiedy zamazanie ramki pojawia się po ramce głosowej, to

34 33 2 wówczas w trakcie ukrywania wykorzystywane jest zazwyczaj pobudzenie ostatniej dobrej ramki z pewną strategią tłumienia. Kiedy pojawia się nowy filtr LP z pierwszą dobrą ramką po zamazaniu, może wystąpić niedopasowanie pomiędzy energią pobudzenia a wzmocnieniem nowego filtra syntezy LP. Nowy filtr syntezy może wytworzyć sygnał syntezy z energią znacznie różniącą się od energii ostatniej syntezowanej zamazanej ramki, a także od oryginalnej energii sygnału. [0187] Kontrola energii w trakcie pierwszej dobrej ramki po zamazanej ramce może zostać podsumowana następująco. Syntezowany sygnał jest skalowany, tak iż jego energia jest podobna do energii syntezowanego sygnału mowy na końcu ostatniej zamazanej ramki na początku pierwszej dobrej ramki i ulega konwergencji do transmitowanej energii w kierunku końca ramki w celu zapobieżenia zbyt dużemu wzrostowi energii. [0188] Kontrola energii wykonywana jest w dziedzinie syntezowanego sygnału mowy. Nawet, jeśli energia jest kontrolowana w dziedzinie mowy, to sygnał pobudzenia musi być skalowany, gdyż służy jako długoterminowa pamięć predykcji dla następnych ramek. Synteza jest wówczas ponawiana w celu wygładzenia przejść. Niech g0 oznacza wzmocnienie zastosowane do skalowania pierwszej próbki w bieżącej ramce, zaś g 1 wzmocnienie zastosowane na końcu ramki. Sygnał pobudzenia jest następnie skalowany następująco: u s (i) = g AGC (i) u(i), i = 0,..., L-1 (37) gdzie u s (i) jest skalowanym pobudzeniem, u(i) jest pobudzeniem przed skalowaniem, L jest długością ramki, zaś g AGC (i) jest wzmocnieniem zaczynającym się od g0 i zbiegającym wykładniczo do g 1 : g AGC (i) = f AGC g AGC (i-1) + (1-f AGC )g 1 (38) i=0,...,l-1 z inicjalizacją g AGC (-1) = g 0, gdzie f AGC jest współczynnikiem tłumienia ustalonym w tej implementacji na wartość 0,98. Wartość ta znaleziona została doświadczalnie jako kompromis, z jednej strony gładkiego przejścia od poprzedniej (zamazanej) ramki, a z drugiej strony skalowania ostatniego okresu tonu bieżącej ramki, w tak dużym stopniu jak to możliwe, do prawidłowej (transmitowanej) wartości. Jest to robione ponieważ wartość transmitowanej energii jest estymowana synchronicznie z tonem na końcu ramki. Wzmocnienia g 0 i g 1 są zdefiniowane jako: (39) 3 gdzie E -1 jest energią obliczoną na końcu poprzedniej (zamazanej) ramki, E 0 jest energią na początku bieżącej (odtworzonej) ramki, E 1 jest energią na końcu bieżącej ramki, zaś E q jest informacją o skwantowanej transmitowanej energii na końcu bieżącej ramki, obliczoną po stronie kodera na podstawie równań (; 21). Energie E -1 i E 1 są obliczane podobnie za wyjątkiem tego, że są one obliczane na syntezowanym sygnale mowy s. Energia E -1 jest obliczana synchronicznie z tonem z wykorzystaniem okresu T C tonu ukrywania, zaś E 1 wykorzystuje zaokrąglony ton T 3 ostatniej podramki. Energia E 0 jest obliczana podobnie z wykorzystaniem zaokrąglonej wartości tonu T 0 pierwszej podramki, przy czym równania (; 21) są modyfikowane do: dla ramek GŁOSOWYCH i WEJŚCIA. t E równa się zaokrąglonemu opóźnieniu tonu albo dwukrotności tej długości, jeśli ton jest krótszy niż 64 próbki. Dla innych ramek,

35 34 z t E równym połowie długości ramki. Wzmocnienia g 0 i g 1 są ponadto ograniczone do maksymalnej dozwolonej wartości, w celu zapobieżenia wystąpieniu silnej energii. Wartość ta w niniejszej ilustracyjnej implementacji ustalona została na 1,2. [0189] Przeprowadzenie ukrycia zamazania ramek i odtwarzania przez dekoder obejmuje, gdy wzmocnienie filtra LP pierwszej niezamazanej ramki odebranej po zamazaniu ramek jest większe niż wzmocnienie filtra LP ostatniej ramki zamazane w trakcie wspomnianego zamazania ramek, regulację energii sygnału pobudzenia filtra LP wytwarzanego w dekoderze w trakcie odebranej pierwszej niezamazanej ramki do wzmocnienia filtra LP wspomnianej odebranej pierwszej niezamazanej ramki z wykorzystaniem następującego związku: [0190] Jeśli E q nie może być transmitowane, E q jest ustawiane na wartość E 1. Jeśli jednak zamazanie zdarzy się w trakcie głosowego segmentu mowy (to znaczy ostatnia dobra ramka przed zamazaniem i pierwsza dobra ramka po zamazaniu są zaklasyfikowane jako PRZEJŚCIOWA GŁOSOWA, GŁOSOWA lub WEJŚCIE), podjęte muszą jednak zostać dalsze środki ostrożności wymienione powyżej, ze względu na możliwe niedopasowanie pomiędzy energią sygnału pobudzenia, a wzmocnieniem filtra LP. Szczególnie niebezpieczna sytuacja powstaje wtedy, kiedy wzmocnienie filtra LP pierwszej niezamazanej ramki odebranej po zamazaniu ramek jest większe niż wzmocnienie filtra LP ostatniej ramki zamazanej w trakcie tego zamazania ramek. W tym szczególnym przypadku energia sygnału pobudzenia filtra LP wytworzonego w dekoderze w trakcie odebranej pierwszej niezamazanej ramki jest dopasowywana do wzmocnienia filtra LP odebranej pierwszej niezamazanej ramki z wykorzystaniem następującej relacji: gdzie E LP0 jest energią odpowiedzi impulsowej filtra LP ostatniej dobrej ramki przed zamazaniem, zaś E LP1 jest energią filtra LP pierwszej dobrej ramki po zamazaniu. W tej implementacji wykorzystywane są filtry LP ostatnich podramek w ramce. Ostatecznie wartość E q jest ograniczona w tym przypadku do wartości E -1 (zamazanie segmentu głosowego bez transmisji informacji E q ). [0191] Następujące wyjątki, wszystkie dotyczące przejść w sygnale mowy, dodatkowo nadpisują obliczanie g 0. Jeśli w bieżącej ramce stosowane jest sztuczne wejście, g 0 jest ustawiane na 0, g 1 w celu stopniowego zwiększania energii wejścia. [0192] W przypadku zaklasyfikowania pierwszej dobrej ramki po zamazaniu jako WEJŚCIE, zapobiega się przekroczeniu przez wzmocnienie g 0 wartości większej niż g 1. Środek ten ma na celu zapobieganie temu, aby regulacja dodatniego wzmocnienia na początku ramki (która jest prawdopodobnie wciąż co najmniej częściowo niegłosowa) wzmacniała głosowe wejście (na końcu ramki). [0193] Ostatecznie, w trakcie przejścia od głosowej do niegłosowej (to znaczy że ostatnia dobra ramka jest zaklasyfikowana jako PRZEJŚCIOWA GŁOSOWA, GŁOSOWA lub WEJŚCIE, a bieżąca ramka jest zaklasyfikowana jako NIEGŁOSOWA) albo w trakcie przejścia od okresu mowy nieaktywnej do okresu mowy aktywnej (ostatnia odebrana dobra ramka jest zakodowana jako komfortowy szum, a bieżąca ramka jest zakodowana jako mowa aktywna), g 0 jest ustawiane na wartość g 1. [0194] W przypadku zamazania segmentu głosowego problem błędnej energii może manifestować się także w ramkach następujących za pierwszą dobrą ramką po zamazaniu. Może to wystąpić nawet wtedy, gdy energia pierwszej dobrej ramki została dopasowana, zgodnie z tym, co opisano powyżej. W celu złagodzenia tego problemu kontrola energii może być kontynuowana aż do zakończenia segmentu głosowego. Zastosowanie ujawnionego ukrywania we wbudowanym kodeku z szerokopasmową warstwą rdzeniową

36 3 2 3 [019] Zgodnie z tym, co powiedziano powyżej, ujawniona wyżej ilustracyjna postać wykonania niniejszego wynalazku była także zastosowana w kandydackim algorytmie na potrzeby standaryzacji wbudowanego kodeka o zmiennej przepływności przez ITU-T. W kandydackim algorytmie warstwa rdzeniowa oparta jest na technice kodowania szerokopasmowego, podobnego do AMR-WB (Rekomendacja ITU-T G.722.2). Warstwa rdzeniowa pracuje przy 8 kbit/s i koduje pasmo do 60 Hz z częstotliwością próbkowania wewnętrznego wynoszącą 12,8 khz (podobną do AMR-WB). Stosowana jest druga warstwa CELP o 4 kbit/s zwiększając przepływność do 12 kbit/s. Wówczas stosowana jest MDCT do uzyskania górnych warstw od 16 do 32 kbit/s. [0196] Ukrywanie podobne jest do sposobu opisanego powyżej z kilkoma różnicami wynikającymi głównie z różnej szybkości próbkowania warstwy rdzeniowej. Ramka o rozmiarze 26 jest próbkowana z szybkością próbkowania 12,8 khz natomiast rozmiar podramki wynosi 64 próbki. [0197] Informacja fazowa jest kodowana z użyciem 8 bitów, przy czym znak jest kodowany z wykorzystaniem 1 bitu a położenie jest kodowane z użyciem 7 bitów, jak poniżej. [0198] Precyzja zastosowana do kodowania położenia pierwszego impulsu głośni zależy od wartości T 0 tonu z zamkniętą pętlą dla pierwszej podramki w przyszłej ramce. Gdy T 0 jest mniejsza niż 128, wówczas położenie ostatniego impulsu głośni względem końca ramki jest kodowane bezpośrednio z precyzją wynoszącą jedną próbkę. Kiedy T 0 128, wówczas położenie ostatniego impulsu głośni względem końca ramki jest kodowane z precyzją dwóch ramek poprzez zastosowanie prostego dzielenia całkowitego, to znaczy τ/2. Procedura odwrotna wykonywana jest w dekoderze. Jeśli T 0 <128, to wówczas odebrane skwantowane położenie jest wykorzystywane takie, jakie jest. Jeśli T 0 128, to wówczas odbierane skwantowane położenie jest mnożone przez 2 i inkrementowane o 1. [0199] Parametry odtwarzania ukrycia składają się z 8-bitowej informacji fazowej, 2- bitowej informacji klasyfikacyjnej oraz 6-bitowej informacji o energii. Parametry te są transmitowane w trzeciej warstwie z przepływnością 16 kbit/s. [00] Pomimo, iż niniejszy wynalazek został opisany w powyższym opisie w odniesieniu do nieograniczającej ilustracyjnej postaci wykonania, to ta postać wykonania może być modyfikowana w zakresie załączonych zastrzeżeń patentowych bez odchodzenia od zakresu przedmiotowego wynalazku. Odwołania [01] [1] Milan Jelinek i Philippe Gournay. Zgłoszenie patentowe PCT WO032921A1, "A method and device for efficient frame erasure concealment in linear predictive based speech codecs". Zastrzeżenia patentowe 4 1. Sposób ukrywania zamazań ramek powodowanych przez ramki kodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji od kodera (700) do dekodera (0) i odtwarzania dekodera (0) po zamazaniach ramek, który to sposób zawiera etapy: w koderze (700), wyznaczenia (707) parametrów ukrywania/odtwarzania, obejmujących co najmniej informację fazową, dotyczącą ramek kodowanego sygnału dźwiękowego, gdzie informacja fazowa zawiera położenie impulsu (τ q ) głośni, w każdej ramce kodowanego sygnału dźwiękowego, wyznaczone poprzez zmierzenie (707) impulsu (τ q ) głośni jako impulsu o maksymalnej amplitudzie w określonym cyklu tonowym ramki kodowanego sygnału dźwiękowego oraz poprzez wyznaczenie (707) położenia impulsu o maksymalnej amplitudzie;

37 transmitowania (213) do dekodera (0) parametrów ukrywania/odtwarzania wyznaczonych w koderze (700); oraz w dekoderze (0), przeprowadzenia ukrycia zamazania ramki w odpowiedzi na odebrane parametry ukrywania/odtwarzania, gdzie ukrywanie zamazania ramki obejmuje resynchronizację (900), w odpowiedzi na odebraną informację fazową, ramek z ukrytym zamazaniem z odpowiednimi ramkami sygnału dźwiękowego zakodowanego w koderze (700); znamienny tym, że resynchronizacja ramki z ukrytym zamazaniem z odpowiednią ramką zakodowanego sygnału dźwiękowego zawiera etapy: dekodowania (9) położenia impulsu (τ q ) głośni wspomnianej odpowiedniej ramki zakodowanego sygnału dźwiękowego; wyznaczenia (912), w ramce z ukrytym zamazaniem, położenia impulsu o maksymalnej amplitudzie najbliższego położeniu wspomnianego impulsu (τ q ) głośni wspomnianej odpowiedniej ramki wspomnianego zakodowanego sygnału dźwiękowego; i wyrównania (9) położenia impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z położeniem impulsu (τ q ) głośni odpowiedniej ramki kodowanego sygnału dźwiękowego. 2. Sposób według zastrzeżenia 1, w którym wyznaczenie parametrów ukrywania/odtwarzania zawiera etap wyznaczenia (707), jako informacji fazowej, położenia i znaku ostatniego impulsu (τ q ) głośni w każdej ramce kodowanego sygnału dźwiękowego. 3. Sposób według zastrzeżenia 1, zawierający ponadto kwantowanie położenia impulsu głośni przed transmitowaniem położenia impulsu głośni do dekodera. 4. Sposób według zastrzeżenia 2, zawierający ponadto etap kwantowania (707) położenia i znaku ostatniego impulsu (τ q ) głośni przed transmitowaniem (213) położenia i znaku ostatniego impulsu głośni do dekodera (0).. Sposób według zastrzeżenia 1, zawierający ponadto etap kodowania (707) kwantowanego położenia impulsu głośni do przyszłej ramki zakodowanego sygnału dźwiękowego. 6. Sposób według zastrzeżenia 1, zawierający ponadto etap wyznaczenia (707), jako informacji fazowej, znaku impulsu (τ q ) głośni poprzez zmierzenie znaku impulsu o maksymalnej amplitudzie. 7. Sposób według zastrzeżenia 2, w którym wyznaczenie położenia ostatniego impulsu głośni zawiera etapy: pomiaru (707) ostatniego impulsu (τ q ) głośni jako impulsu o maksymalnej amplitudzie w każdej ramce zakodowanego sygnału dźwiękowego; a także wyznaczenia (707) położenia impulsu o maksymalnej amplitudzie. 8. Sposób według zastrzeżenia 7, w którym etap wyznaczenia znaku ostatniego impulsu głośni (τ q ) zawiera etap: pomiaru (707) znaku impulsu o maksymalnej amplitudzie. 9. Sposób według zastrzeżenia 8, w którym etap resynchronizacji (900) ramki z ukrytym zamazaniem z odpowiednią ramką zakodowanego sygnału dźwiękowego zawiera etapy: dekodowania (9) położenia i znaku ostatniego impulsu (τ q ) głośni wspomnianej odpowiedniej ramki zakodowanego sygnału dźwiękowego; wyznaczenia (912), w ramce z ukrytym zamazaniem, położenia impulsu o maksymalnej amplitudzie mającego znak podobny do znaku ostatniego impulsu (τ q ) głośni odpowiedniej ramki zakodowanego sygnału dźwiękowego, najbliższego położeniu wspomnianego ostatniego impulsu (τ q ) głośni wspomnianej odpowiedniej ramki wspomnianego zakodowanego sygnału dźwiękowego; a także

38 37 wyrównania (9) położenia impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z położeniem ostatniego impulsu (τ q ) głośni odpowiedniej ramki zakodowanego sygnału dźwiękowego.. Sposób według zastrzeżenia 1, w którym etap wyrównania położenia impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z położeniem impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego zawiera etapy: wyznaczenia (916) przesunięcia pomiędzy położeniem impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem a położeniem impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego; i umieszczenia/usunięcia (08) w ramce z ukrytym zamazaniem pewnej liczby próbek odpowiadającej wyznaczonemu przesunięciu. 11. Sposób według zastrzeżenia, w którym etap umieszczenia/usunięcia liczby próbek zawiera etapy: wyznaczenia (02; 04) co najmniej jednego obszaru o minimalnej energii w ramce z ukrytym zamazaniem; i rozmieszczenia (06) liczby próbek do umieszczenia/usunięcia wokół ostatniego obszaru o minimalnej energii. 12. Sposób według zastrzeżenia 11, w którym etap rozmieszczenia liczby próbek do umieszczenia/usunięcia wokół co najmniej jednego obszaru o minimalnej energii zawiera rozmieszczenie (06) tej liczby próbek wokół co najmniej jednego obszaru o minimalnej energii z wykorzystaniem następującego wyrażenia: dla i = 0,..., N min -1 oraz k = 0,... i-1 oraz N min > gdzie, N min jest liczbą obszarów o minimalnej energii, zaś T e jest przesunięciem pomiędzy położeniem impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem a położeniem impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego. 13. Sposób według zastrzeżenia 12, w którym R(i) jest w rosnącym porządku, tak iż próbki są w większości umieszczane/usuwane (08) przy końcu ramki z ukrytym zamazaniem. 14. Sposób według zastrzeżenia 1, w którym przeprowadzenie ukrycia zamazania ramki w odpowiedzi na odebrane parametry ukrywania/odtwarzania zawiera, dla zamazanych ramek głosowych, etapy: skonstruowania okresowej części sygnału pobudzenia w ramce z ukrytym zamazaniem w odpowiedzi na odebrane parametry ukrywania/odtwarzania; i skonstruowania losowej innowacyjnej części sygnału pobudzenia poprzez losowe wygenerowanie nieokresowego, innowacyjnego sygnału.. Sposób według zastrzeżenia 1, w którym przeprowadzenie ukrywania zamazania ramki w odpowiedzi na odebrane parametry ukrywania/odtwarzania zawiera etap, dla niegłosowych zamazanych ramek, konstruowania losowej innowacyjnej części sygnału pobudzenia poprzez losowe wygenerowanie nieokresowego, innowacyjnego sygnału. 16. Sposób według zastrzeżenia 1, w którym parametry ukrywania/odtwarzania obejmują ponadto klasyfikację (70) sygnału. 17. Sposób według zastrzeżenia 16, w którym klasyfikacja sygnału zawiera etap klasyfikowania (70) kolejnych ramek zakodowanego sygnału dźwiękowego jako niegłosowe, przejściowe niegłosowe, przejściowe głosowe, głosowe albo wejścia. 18. Sposób według zastrzeżenia 17, w którym klasyfikacja utraconej ramki jest

39 estymowana na podstawie klasyfikacji przyszłej ramki oraz ostatniej odebranej dobrej ramki. 19. Sposób według zastrzeżenia 18, w którym klasyfikacja utraconej ramki jest ustalana na głosową, jeśli przyszła ramka jest głosowa, zaś ostatnia odebrana dobra ramka jest wejściem.. Sposób według zastrzeżenia 19, w którym klasyfikacja utraconej ramki jest ustalana na przejściową niegłosową, jeśli przyszła ramka jest niegłosowa, a ostatnia odebrana dobra ramka jest głosowa. 21. Sposób według zastrzeżenia 1, w którym: sygnał dźwiękowy jest sygnałem mowy; wyznaczenie, w koderze (700), parametrów ukrywania/odtwarzania zawiera etapy wyznaczenia (70; 707) informacji fazowej i klasyfikacji sygnału kolejnych ramek zakodowanego sygnału dźwiękowego; przeprowadzenie ukrywania zamazania ramek w odpowiedzi na parametry ukrywania/odtwarzania obejmuje, kiedy tracona jest ramka wejścia, co jest wskazywane przez obecność głosowej ramki następującej po zamazaniu ramek i niegłosowej ramki przed zamazaniem ramki, sztuczne zrekonstruowanie utraconej ramki wejścia; oraz resynchronizację (900) utraconej ramki wejścia z ukrytym zamazaniem w odpowiedzi na informację fazową, z odpowiednią ramką wejścia zakodowanego sygnału dźwiękowego. 22. Sposób według zastrzeżenia 21, w którym sztuczne zrekonstruowanie utraconej ramki wejścia obejmuje sztuczne zrekonstruowanie ostatniego impulsu (τ q ) głośni w utraconej ramce wejścia jako impulsu przefiltrowanego dolnoprzepustowo. 23. Sposób według zastrzeżenia 21, zawierający ponadto przeskalowanie zrekonstruowanej utraconej ramki wejścia przez wzmocnienie. 24. Sposób ukrywania zamazań ramek powodowanych przez ramki zakodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji od kodera (700) do dekodera (0) i odtwarzania dekodera (0) po zamazaniach ramek, który to sposób zawiera, w dekoderze (0): estymowanie informacji fazowej każdej ramki zakodowanego sygnału dźwiękowego, który został zamazany w trakcie transmisji od kodera (700) do dekodera (0); a także przeprowadzenie ukrywania zamazania ramki w odpowiedzi na estymowaną informację fazową, przy czym ukrywanie zamazania ramki obejmuje resynchronizowanie (900), w odpowiedzi na estymowaną informację fazową, każdej ramki z ukrytym zamazaniem z odpowiednią ramką sygnału dźwiękowego zakodowanego w koderze (700); znamienny tym, że : estymowana informacja fazowa jest estymowanym położeniem impulsu (τ q ) głośni każdej ramki zakodowanego sygnału dźwiękowego, która została zamazana; estymowanie położenia impulsu głośni każdej ramki zakodowanego sygnału dźwiękowego, która została zamazana zawiera etap estymowania impulsu (τ q ) głośni na podstawie wartości przeszłego tonu; resynchronizowanie ramki z ukrytym zamazaniem z odpowiednią ramką zakodowanego sygnału dźwiękowego zawiera etapy wyznaczenia (912) impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem, i wyrównania (9) impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z estymowanym impulsem (τ q ) głośni. 2. Sposób według zastrzeżenia 24, w którym estymowanie położenia impulsu głośni każdej ramki zakodowanego sygnału dźwiękowego, która została zamazana, zawiera

40 39 etap: interpolowania estymowanego impulsu głośni z przeszłą wartością tonu, tak aby wyznaczyć estymowane opóźnienia tonu. 26. Sposób według zastrzeżenia 2, w którym wyrównanie położenia impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z estymowanym położeniem impulsu (τ q ) głośni zawiera etapy: obliczenia cykli tonowych w ramce z ukrytym zamazaniem; wyznaczenia przesunięcia pomiędzy estymowanymi opóźnieniami tonów a cyklami tonowymi w ramce z ukrytym zamazaniem; i umieszczenia/usunięcia (08) pewnej liczby próbek odpowiadającej wyznaczonemu przesunięciu w ramce z ukrytym zamazaniem. 27. Sposób według zastrzeżenia 26, w którym etap umieszczenia/usunięcia liczby próbek zawiera etapy: wyznaczenia (02; 04) co najmniej jednego obszaru o minimalnej energii w ramce z ukrytym zamazaniem; oraz rozłożenia (06) tej liczby próbek do umieszczenia/usunięcia wokół tego co najmniej jednego obszaru o minimalnej energii. 28. Sposób według zastrzeżenia 27, w którym rozmieszczenie tej liczby próbek do umieszczenia/usunięcia wokół tego co najmniej jednego obszaru o minimalnej energii obejmuje rozmieszczenie (06) tej liczby próbek wokół tego co najmniej jednego obszaru o minimalnej energii z wykorzystaniem następującego wyrażenia: dla i = 0,..., N min -1 oraz k = 0,... i-1 oraz N min > gdzie, N min jest liczbą obszarów o minimalnej energii, zaś T e jest przesunięciem pomiędzy estymowanymi opóźnieniami tonów, a cyklami tonowymi w ramce z ukrytym zamazaniem. 29. Sposób według zastrzeżenia 28, w którym R(i) jest w porządku rosnącym, tak iż próbki są w większości umieszczane/usuwane (08) przy końcu ramki z ukrytym zamazaniem.. Sposób według zastrzeżenia 24, zawierający etap tłumienia (924) wzmocnienia każdej ramki z ukrytym zamazaniem, w liniowy sposób, od początku do końca ramki z ukrytym zamazaniem. 31. Sposób według zastrzeżenia, w którym wzmocnienie każdej ramki z ukrytym zamazaniem jest tłumione (924) aż do osiągnięcia α, przy czym α jest współczynnikiem kontrolowania odtwarzania prędkości konwergencji dekodera (0) po zamazaniu ramki. 32. Sposób według zastrzeżenia 31, w którym współczynnik α jest zależy od stabilności filtra LP dla ramek niegłosowych. 33. Sposób według zastrzeżenia 32, w którym współczynnik α uwzględnia dodatkowo ewolucję energii segmentów głosowych. 34. Urządzenie do ukrywania zamazań ramek powodowanych przez ramki zakodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji od kodera (700) do dekodera (0), oraz do odtwarzania dekodera (0) po zamazaniach ramek, które to urządzenie zawiera: w koderze (700), środki (707) do wyznaczania parametrów ukrywania/odtwarzania obejmujących co najmniej informację fazową dotyczącą ramek zakodowanego sygnału dźwiękowego, gdzie informacja fazowa zawiera położenie impulsu (τ q ) głośni w każdej ramce zakodowanego sygnału dźwiękowego, wyznaczone za

41 pośrednictwem pomiaru (707) impulsu (τ q ) głośni jako impulsu o maksymalnej amplitudzie w założonym cyklu tonowym ramki zakodowanego sygnału dźwiękowego, oraz za pośrednictwem wyznaczenia (707) położenia impulsu o maksymalnej amplitudzie; środki (213) do transmitowania do dekodera (0) parametrów ukrywania/odtwarzania wyznaczonych w koderze (700); oraz w dekoderze (0), środki do przeprowadzenia ukrywania zamazania w odpowiedzi na odebrane parametry ukrywania/odtwarzania, przy czym środki do przeprowadzenia ukrywania zamazania ramek zawierają środki (900) do resynchronizowania, w odpowiedzi na odebraną informację fazową, ramek z ukrytym zamazaniem z odpowiednimi ramkami sygnału dźwiękowego zakodowanego w koderze (700); znamienne tym, że środki (900) do resynchronizowania ramek z ukrytym zamazaniem z odpowiednimi ramkami sygnału dźwiękowego zakodowanego w koderze (700) zawierają: środki (912) do wyznaczania w każdej ramce z ukrytym zamazaniem położenia impulsu o maksymalnej amplitudzie najbliższego położeniu impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego; i środki (9) do wyrównywania położenia impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z położeniem impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego. 3. Urządzenie według zastrzeżenia 34, w którym środki do wyznaczania parametrów ukrywania/odtwarzania zawierają ponadto środki (707) do wyznaczania jako informacji fazowej położenia i znaku ostatniego impulsu (τ q ) głośni w każdej ramce zakodowanego sygnału dźwiękowego. 36. Urządzenie według zastrzeżenia 34, zawierające ponadto środki (707) do kwantowania położenia impulsu głośni przed transmisją położenia impulsu głośni do dekodera za pośrednictwem środków transmitujących (213). 37. Urządzenie według zastrzeżenia 3, zawierające ponadto środki (707) do kwantowania położenia i znaku ostatniego impulsu (τ q ) głośni przed transmisją położenia i znaku ostatniego impulsu (τ q ) głośni do dekodera (0) za pośrednictwem środków transmitujących (213). 38. Urządzenie według zastrzeżenia 36, zawierające ponadto koder kwantowanego położenia impulsu głośni w przyszłej ramce zakodowanego sygnału dźwiękowego. 39. Urządzenie według zastrzeżenia 3, w którym środki (707) do wyznaczania położenia i znaku ostatniego impulsu głośni wyznaczają, jako położenie i znak ostatniego impulsu (τ q ) głośni, położenie i znak impulsu o maksymalnej amplitudzie w każdej ramce zakodowanego sygnału dźwiękowego.. Urządzenie według zastrzeżenia 34, w którym środki (707) do wyznaczania położenia impulsu głośni wyznaczają jako informację fazową znak impulsu (τ q ) głośni jako znak impulsu o maksymalnej amplitudzie. 41. Urządzenie według zastrzeżenia 34, w którym środki (900) resynchronizacyjne zawierają: środki do wyznaczania (916) przesunięcia pomiędzy położeniem impulsu o maksymalnej amplitudzie w każdej ramce z ukrytym zamazaniem, a położeniem impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego; i gdzie środki do wyrównywania położenia impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem umieszczają/usuwają (08) pewną liczbę próbek odpowiadającą wyznaczonemu przesunięciu w każdej ramce z ukrytym zamazaniem. 42. Urządzenie według zastrzeżenia 3, w którym środki (900) do resynchronizacji:

42 41 wyznaczają (912) w każdej ramce z ukrytym zamazaniem położenie impulsu o maksymalnej amplitudzie, mającego znak podobny do znaku ostatniego impulsu (τ q ) głośni, najbliższe położeniu ostatniego impulsu głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego; wyznaczają (916) przesunięcie pomiędzy położeniem impulsu o maksymalnej amplitudzie w każdej ramce z ukrytym zamazaniem, a położeniem ostatniego impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego; i umieszczają/usuwają (08) pewną liczbę próbek odpowiadającą wyznaczonemu przesunięciu w każdej ramce z ukrytym zamazaniem tak, aby wyrównać położenie impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z położeniem ostatniego impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego. 43. Urządzenie według zastrzeżenia 41, w którym środki (900) do resynchronizacji ponadto: wyznaczają (02; 04) co najmniej jeden obszar o minimalnej energii w każdej ramce z ukrytym zamazaniem poprzez zastosowanie przesuwnego okna; oraz rozkładają (06) tę liczbę próbek do umieszczenia/usunięcia wokół co najmniej jednego obszaru o minimalnej energii. 44. Urządzenie według zastrzeżenia 43, w którym środki (900) do resynchronizacji wykorzystują następującą relację dla rozkładu (06) tej liczby próbek do umieszczenia/usunięcia wokół tegoż co najmniej jednego obszaru o minimalnej energii: dla i = 0,..., N min -1 oraz k = 0,... i-1 oraz N min > gdzie, N min jest liczbą obszarów o minimalnej energii, zaś T e jest przesunięciem pomiędzy położeniem impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem a położeniem impulsu (τ q ) głośni w odpowiedniej ramce zakodowanego sygnału dźwiękowego. 4. Urządzenie według zastrzeżenia 44, w którym R(i) jest w porządku rosnącym, tak iż próbki są w większości umieszczane/usuwane (08) przy końcu ramki z ukrytym zamazaniem. 46. Urządzenie według zastrzeżenia 34, w którym środki do prowadzenia ukrywania zamazania ramek zaopatrzone w odebrane parametry ukrywania/odtwarzania zawierają, dla głosowych zamazanych ramek: środki do konstruowania okresowej części sygnału pobudzenia w każdej ramce z ukrytym zamazaniem w odpowiedzi na odebrane parametry ukrywania/odtwarzania; oraz środki do konstruowania losowej, nieokresowej innowacyjnej części sygnału pobudzenia. 47. Urządzenie według zastrzeżenia 34, w którym środki do prowadzenia ukrywania zamazania zaopatrzone w odebrane parametry ukrywania/odtwarzania zawierają środki do konstruowania, dla niegłosowych zamazanych ramek, losową, nieokresową innowacyjną część sygnału pobudzenia. 48. Urządzenie do ukrywania zamazań ramek powodowanych przez ramki zakodowanego sygnału dźwiękowego, które zostały zamazane w trakcie transmisji z kodera (700) do dekodera (0) i do odtwarzania dekodera (0) po zamazaniach ramek, które to urządzenie zawiera: środki do estymowania, po stronie dekodera (0), informacji fazowej każdej ramki zakodowanego sygnału dźwiękowego, która została zamazana w trakcie transmisji

43 od kodera (700) do dekodera (0); oraz środki do prowadzenia ukrywania zamazania ramek w odpowiedzi na estymowaną informację fazową, przy czym środki do prowadzenia ukrywania zamazania ramek zawierają środki do resynchronizacji (900), w odpowiedzi na estymowaną informację fazową, każdej ramki z ukrytym zamazaniem z odpowiednią ramką sygnału dźwiękowego zakodowanego w koderze (700); znamienne tym, że: środki do estymowania informacji fazowej zawierają środki do estymowania położenia impulsu (τ q ) głośni w każdej ramce zakodowanego sygnału dźwiękowego; środki do estymowania położenia impulsu głośni estymują impuls głośni na podstawie przeszłej wartości tonu; oraz środki resynchronizacyjne zawierają środki do wyznaczania impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem, i środki do wyrównywania impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z estymowanym impulsem głośni. 49. Urządzenie według zastrzeżenia 48, w którym środki do estymowania informacji fazowej estymują, na podstawie przeszłej wartości tonu, położenie i znak ostatniego impulsu głośni w każdej ramce zakodowanego sygnału dźwiękowego, oraz interpolują estymowany impuls głośni z przeszłą wartością tonu, tak aby wyznaczyć estymowane opóźnienia tonów. 0. Urządzenie według zastrzeżenia 49, w którym środki resynchronizacyjne zawierają: środki do wyznaczania cykli tonowych w każdej ramce z ukrytym zamazaniem; środki do wyznaczania przesunięcia pomiędzy cyklami tonowymi w każdej ramce z ukrytym zamazaniem i estymowanych opóźnień tonów w odpowiedniej ramce zakodowanego sygnału dźwiękowego; i gdzie środki do wyrównywania położenia impulsu o maksymalnej amplitudzie w ramce z ukrytym zamazaniem umieszczają/usuwają (08) pewną liczbę próbek odpowiadającą wyznaczonemu przesunięciu w każdej ramce z ukrytym zamazaniem, tak aby wyrównać impuls o maksymalnej amplitudzie w ramce z ukrytym zamazaniem z estymowanym ostatnim impulsem głośni. 1. Urządzenie według zastrzeżenia 0, w którym środki resynchronizacyjne ponadto: wyznaczają (02; 04) co najmniej jeden obszar o minimalnej energii poprzez zastosowanie przesuwnego okna; a także rozkładają (06) tę liczbę próbek wokół co najmniej jednego obszaru o minimalnej energii. 2. Urządzenie według zastrzeżenia 1, w którym środki resynchronizacyjne wykorzystują następującą relację do rozkładania (06) tej liczby próbek wokół co najmniej jednego obszaru o minimalnej energii: dla i = 0,..., N min -1 oraz k = 0,... i-1 oraz N min > 1 4 gdzie, N min jest liczbą obszarów o minimalnej energii, zaś T e jest przesunięciem pomiędzy cyklami tonowymi w każdej ramce z ukrytym zamazaniem a estymowanymi opóźnieniami tonów w odpowiedniej ramce zakodowanego sygnału dźwiękowego. 3. Urządzenie według zastrzeżenia 2, w którym R(i) jest w porządku rosnącym, tak iż próbki są w większości umieszczone/usuwane (08) przy końcu ramki z ukrytym zamazaniem. 4. Urządzenie według zastrzeżenia 49, zawierające ponadto środki (924) do tłumienia

44 43 wzmocnienia każdej ramki z ukrytym zamazaniem w liniowy sposób od początku do końca ramki z ukrytym zamazaniem.. Urządzenie według zastrzeżenia 4, w którym środki tłumiące (924) dokonują tłumienia wzmocnienia każdej ramki z ukrytym zamazaniem aż do α, przy czym α jest współczynnikiem kontrolowania odtwarzania prędkości konwergencji dekodera po zamazaniu ramki. 6. Urządzenie według zastrzeżenia, w którym współczynnik α jest zależny od stabilności filtra LP dla ramek niegłosowych. 7. Urządzenie według zastrzeżenia 6, w którym współczynnik α uwzględnia ewolucję energii segmentów głosowych. 8. Sposób według zastrzeżenia 1, zawierający, kiedy informacja fazowa nie jest dostępna w czasie ukrywania zamazanej ramki, etap aktualizowania treści adaptacyjnej książki kodów dekodera o informację fazową, kiedy jest dostępna, przed dekodowaniem następnej odebranej, niezamazanej ramki. 9. Sposób według zastrzeżenia 8, w którym: etap aktualizowania adaptacyjnej książki kodów zawiera etap resynchronizacji impulsu głośni w adaptacyjnej książce kodów. 60. Urządzenie według zastrzeżenia 34, w którym dekoder (0) dokonuje aktualizacji, kiedy informacja fazowa nie jest dostępna w czasie ukrywania zamazanej ramki, treści adaptacyjnej książki kodów dekodera o informację fazową, kiedy jest ona dostępna, przed dekodowaniem następnej odebranej niezamazanej ramki. 61. Urządzenie według zastrzeżenia 60, w którym: dekoder, do aktualizowania adaptacyjnej książki kodów, resynchronizuje impuls głośni w adaptacyjnej książce kodów. Uprawniony: VoiceAge Corporation Pełnomocnik: dr inż. Robert Teofilak Rzecznik patentowy

45 44

46 4

47 46

48 47

49 48

50 49

51 0

52 1

53 2

54 3

55 Figura 11 4

56 Figura 12