Test wydajności współczynników percepcyjnych w kontekscie rozpoznawania emocji

Transkrypt

1 Tomasz Sapiński, Dorota Kamińska Politechnika Łódzka Test wydajności współczynników percepcyjnych w kontekscie rozpoznawania emocji Wprowadzenie Komunikacja interpersonalna to nieodzowny element ludzkiego życia. Rozmowa dostarcza słuchaczowi zarówno informacji lingwistycznych, jak i określa charakterystykę biologiczno-psychologiczną mówcy. Wydobycie obu rodzajów informacji poprawia jakość komunikacji. Dlatego też powstają nowoczesne technologie rozpoznawania ludzkiej mowy. Ważnym elementem konwersacji jest ocena stanu emocjonalnego rozmówcy. System, który dodatkowo rozpoznawałyby stany emocjonalne użytkownika, mógłby wspomagać procesy logistyczne (obsługa klienta), czyniąc pracę operatora sprawną i efektywną, tak aby w lepszym stopniu zaspokajać wymagania klienta. Odczucia wyrażane są zarówno poprzez procesy werbalne jak i niewerbalne. Sygnały takie jak mowa [1] mimika twarzy [] kontakt wzrokowy, gesty [3] oraz stan fizjologiczny organizmu (elektroencefalografia EEG, elektromiografia EMG, reakcja skórno-galwaniczna GSR, temperatura skóry, rytm i długości wydechów czy ciśnienie tętnicze) [4] stanowią wejście systemów rozpoznawania emocji. Ludzki głos jako najłatwiej dostępny z wyżej wymienionych sygnałów, jest również szeroko stosowany, jako źródło informacji na temat stanu emocjonalnego mówcy. Celem niniejszych rozważań jest porównanie wydajności współczynników percepcyjnych w kontekście klasyfikacji stanów emocjonalnych wyrażanych głosem. Skupiono się głównie na mowie spontanicznej, dotychczas szeroko zastępowanej mową odegraną. Na potrzeby zrealizowanych badań zgromadzone zostały nagrania audio z nośnikiem emocjonalnym, stanowiące kompleksową bazę wejściową. Dodatkowo, w celach porównawczych wykorzystano korpus emocji spontanicznych. Weryfikację wydajności podzbiorów cech przeprowadzono przy pomocy klasyfikatora k-nn z użyciem 10-krotnej walidacji krzyżowej. Proponowane badania mają charakter aplikacyjny, szczególnie w celach biznesowych. Jednym z możliwych zastosowań jest wykrywanie stanu emocjonalnego mówcy w usługach typu call center (nagrywane wiadomości, rozmowa między operatorem i klientem). Stan emocjonalny klienta stanowi informację zwrotną dla operatora/opiekuna np. na temat poziomu frustracji czy zdenerwowania. Na podstawie takich informacji można dokonywać ustalania priorytetów, bądź przypisania właściwego operatora dla danego klienta. Bazy mowy emocjonalnej Próbki mowy można podzielić na trzy kategorie biorąc pod uwagę ich źródło: mowa naturalna (emocje spontaniczne), emocje wywoływane oraz odegrane (symulowane). Bazy mowy spontanicznej zawierają bardzo cenny materiał: zbiór sygnału mowy wiernie odzwierciedlający naturalne reakcje emocjonalne mówcy. Tego typu próbki można uzyskać nagrywając mówców w naturalnych sytuacjach lub korzystając z programów telewizyjnych, takich jak: talk-show, reality-show, różnego rodzaju relacje na żywo. Naturalne wypowiedzi zawierają jednak zwykle wąski zbiór stanów emocjonalnych, ponadto dane te nie zawsze są dobrej jakości (szum otoczenia, artefakty, nakładające się głosy itp.), co prowadzi do trudności w określeniu dokładnego charakteru emocji. Należy jeszcze zaznaczyć, że zbiory mowy spontanicznej muszą być poddane ocenie przez ekspertów. 1 Sapiński Tomasz, Politechnika Łódzka, Instytut Informatyki i Systemów Informatycznych, sapinski.tomasz@gmail.com Dorota Kamińska, Politechnika Łódzka, Instytut Informatyki i Systemów Informatycznych, dorota.kaminska@p.lodz.pl 970

2 Inną metodą akwizycji próbek emocjonalnych jest prowokowanie odpowiednich reakcji przy użyciu środków psychoaktywnych lub odpowiednich scenariuszy. Odpowiednie stany emocjonalne indukowane są przy użyciu metod obrazowania (filmy, obrazy), opowieści, wyobrażenia czy też gry komputerowej. Tego typu nagrania są preferowane wśród psychologów, aczkolwiek metoda ta nie może zapewnić uzyskania pożądanych efektów, gdyż reakcja na tę samą stymulacje nie zawsze musi być taka sama. Podobnie jak w przypadku nagrań mowy spontanicznej, próbki powinny zostać poddane procesowi oceny przez niezależnych słuchaczy. Trzecim źródłem mowy emocjonalnej są próbki symulowane. Mogą być one wypowiadane przez profesjonalnych aktorów, poproszonych o odegranie predefiniowanych stanów, ale również przez zwyczajnych ludzi. Nagrania te są zwykle starannie wykonane, w dobrej jakości. Dodatkowo z łatwością uzyskuje się nagrania, w których jeden mówca, a nawet ta sama wypowiedź występuje w różnych kontekstach emocjonalnych. Problemem w tego typu próbkach jest fakt, iż odegrane stany są o wiele bardziej intensywne, kontrolowane, prototypowe. W ten sposób oczywiste cechy akustyczne mogą być przerysowane, zaś te bardziej subtelne, zupełnie zignorowane. Na potrzeby niniejszych badań stworzono bazę spontanicznych emocji. Pierwszym krokiem było zgromadzenie próbek mowy w siedmiu podstawowych (według Plutchika a [5]) stanach emocjonalnych: gniew, wyczekiwanie, radość, strach, zaskoczenie, smutek oraz odraza. Przy wyborze źródeł kierowano się głównie autentycznością, a zatem bazowano na materiałach prezentowanych na żywo oraz programach typu reality show. Prezentowane tam uczucia wydają się być spontaniczne, prowokowane wydarzeniami oraz dyskusją. Przykładowo do prezentacji złości wybrano programy prezentujące problemy polityczne i społeczne (np. Państwo w Państwie telewizji Polsat). Wszystkie próbki zostały oceniona manualnie przez określoną grupę ekspertów i zaetykietowane w wyżej wspomniane stany (klasy). Ostateczny zbiór składa się z ponad 700 próbek audio (około 100 próbek na emocję). Na potrzeby niniejszych badań wykorzystano również korpus odegranej mowy emocjonalnej udostępniany przez Zakład Elektroniki Medycznej Politechniki Łódzkiej. Został on skonstruowany na wzór powszechnie eksploatowanej niemieckiej bazy mowy emocjonalnej tzw. Berlin Database. Stanowi go zbiór 40 nagrań wypowiedzi ośmiu aktorów (4 kobiety, 4 mężczyzn). Zawartość słowną korpusu tworzy pięć różnych zdań. Współczynniki percepcyjne podstawowe informacje Wykorzystywanie współczynników percepcyjnych w zagadnieniach rozpoznawania mowy znajduje swoje uzasadnienie w silnym związku z właściwościami aparatu słuchowego. Według prawa Webbera- Fechnera reakcja układu biologicznego jest proporcjonalna do logarytmu pobudzającego go bodźca. Można zatem stwierdzić, że subiektywne wrażenie człowieka nie zależy w prosty sposób od obiektywnie mierzalnego pobudzenia. Oznacza to, że ludzkie ucho nie odpowiada liniowo na zwiększającą się częstotliwość. Dlatego też w oparciu o pomiary natężenia słyszenia dźwięków o różnych częstotliwościach opracowano skale percepcyjne, z których najważniejsze to skale wyrażone w melach oraz barkach. Skalę mel skonstruowano w oparciu o subiektywne odczuwanie tonów różnej wysokości, poszukując dla danej harmonicznej takiej wysokości tonu, który byłby słyszalny jako o połowę niższy. Badania przeprowadzono w całym zakresie słyszalności, a otrzymana skala odpowiada subiektywnemu wrażeniu wysokości dźwięku [6]. Wzór 1 prezentuje transformację skali (wg Beranka) w Hz do skali mel, a zależność między skalami rysunek 1. mel f f 117 ln(1 ) 959 log10 (1 ) (1) 9703

3 Rys. 1. Zależność pomiędzy liniową skalą częstotliwości, a skalą melową Beranka Źródło: W przypadku skali barkowej, rozłożono równomiernie te zakresy częstotliwości, które ucho odbiera jako pojedynczy ton, a zatem odpowiada szerokości pasma krytycznego (pojęcie podparte anatomią narządu Cortiego, teoriami słyszenia i doświadczeniami). Skala zdefiniowana jest w zakresie od 1 do 4 i odpowiada pasmom krytycznym ludzkiego słuchu. Transformację (wg Zwickera) ze skali Hz do bark opisuje wzór i rysunek. f bark 13 arctan(0,00076 f ) 3,5 arctan[( ) ] () 7500 Rys.. Zależność pomiędzy liniową skalą częstotliwości a skalą barkową Zwickera Źródło: Ideą przedstawienia sygnału za pomocą skal percepcyjnych jest zastosowanie zestawu filtrów pasmowoprzepustowych i rozmieszczenie przefiltrowanego sygnału zgodnie ze skalą krzywej percepcyjnej. Bazując na wyżej omówionych skalach stworzono parametry szeroko stosowane w badaniach nad rozpoznawaniem mowy. Podstawę stanowią współczynniki mel-cepstralne (MFCC), powstające z cepstrum sygnału przedstawionego w skali melowej, dodatkowo, pochodne współczynników MFCC jak np.: BFCC (Bark Frequency Cepstral Coefficient), HFCC (Human Factor Cepstral Coefficient), PLP (Perceptual Linear Predictive). Współczynniki Mel Frequency Cepstral Coefficients (MFCC) znajdują szerokie zastosowane w dziedzinie analizy mowy (systemy rozpoznawania mówcy, mowy czy emocji). Spowodowane jest to zastosowaniem podejścia perceptualnego, odwzorowującego percepcję przez ludzki narząd słuchu. 9704

4 Wstępną obróbkę sygnału stanowi proces preemfazy w efekcie, którego wzmacniane są wysokie częstotliwości sygnału, co skutkuje dużą odpornością na zakłócenia otoczenia. Następnie dokonywana jest segmentacja sygnału na ramki o długości 5ms z przesunięciem wynoszącym 50% szerokości ramki. Podzielony w ten sposób sygnał poddawany jest operacji iloczynu z oknem Hamminga (wzór 3). n w ( n) 0, , 46164cos( ) (3) gdzie N - określa rozmiar okna. N 1 Następnie dla każdej ramki wykonywane jest obliczenie mocy widma przy użyciu szybkiej transformaty Fouriera FFT. Kolejnym krokiem jest nałożenie na otrzymany wynik trójkątnych filtrów z banku filtrów w skali mel (MFB). Ostatnim krokiem algorytmu jest logarytmizacja otrzymanego wyniku, a następnie obliczenie dyskretnej transformaty kosinusowej (równanie 4) [7]. c k L L 1 l 0 ` ~ k ln S( l) cos( ( L L 1 )) (4) gdzie: k = 0, 1,..., q 1, q liczba wyznaczanych współczynników mel-cepstralnych, L liczba zastosowanych funkcji wagowych. Na podstawie współczynników MFCC można wyznaczyć parametry dynamiczne. Są one pochodną współczynników po czasie, wskazują na prędkość zmian sygnału i definiowane są wzorem 5. MFCC imfcc ni i n ( c) (5) i i ( c) Parametry będące pochodną parametrów $\Delta MFCC$ opisują przyspieszenie zmian sygnału i definiowane są wzorem 6. MFCC imfcc ni i n ( c) (6) i i ( c) gdzie: współczynniki α (w przypadku ΔMFCC) i β (w przypadku ΔΔMFCC) decydują jak szerokie spektrum ramek używane jest podczas liczenia pochodnych. Rysunek 3 prezentuje algorytm generacji innych, wykorzystanych w niniejszej pracy, współczynników percepcyjnych, powszechnie stosowanych w zagadnieniach rozpoznawania mowy. Ponieważ kolejne kroki algorytmu są bardzo podobne do wyżej opisanych współczynników MFCC, bądź stanowią je metody powszechnie znane, zostały jedynie skrótowo opisane. 9705

5 Rys. 3. Algorytm wyznaczania współczynników percepcyjnych Źródło: zasoby własne Analiza zaproponowana przez Marka Skowronskiego i Johna Harrisa [8], wykazuje większe niż MFCC podobieństwo do percepcji mowy, dzięki czemu pozwala na uzyskanie lepszych rezultatów rozpoznawania [9]. Poprzez wprowadzenie niewielkiej modyfikacji algorytmu generacji parametrów MFCC, wyznaczane są współczynniki HFCC. Zmieniany jest jedynie banku filtrów melowych (MFB) na nowy zestaw filtrów HFFB (ang. Human Factor Filter Bank), w którym filtry są szersze oraz w większym stopniu nachodzą na siebie. Modyfikacja tej części algorytmu nie wpływa na jego wydajność. Metodę generacji banku filtrów HFCC szerzej opisano w [9]. Perceptualna predykcja liniowa PLP (ang. Perceptual Linear Prediction) to technika zaprezentowana przez Hynek Hermanskyego w [10], która przy wyznaczaniu estymaty spektrum wykorzystuje trzy koncepcje psychofizyki słuchu: rozdzielczość częstotliwościowa układu słuchowego - spektrum oryginalnego sygnału jest transformowane do skali bark na podstawie równania 7, opracowanego przez Schroedera [11], gdzie dokonywana jest jego konwolucja z krzywą (audiogramem) maskowania, ( ) 6ln[ ( ) 1] (7) preemfaza krzywą izofoniczną - dokonywana jest filtracja sygnału krzywą izofoniczną, która odwzorowuje czułość ludzkiego ucha dla różnych częstotliwości, potęgowe prawo Stevensa dla słuchu - amplituda sygnału jest kompresowana za pomocą pierwiastka sześciennego, aby odwzorować nieliniową zależność między natężeniem dźwięku, a percepcją głośności. Analiza PLP zbliżona jest do analizy mel-cepstralnej z wyjątkiem użycia skali bark zamiast skali mel w procesie filtracji oraz zastosowania modelu autoregresyjnego zamiast dyskretnej transformacji kosinusowej podczas ekstrakcji współczynników. Obecnie współczynniki PLP są obok MFCC najczęściej stosowaną metodą parametryzacji mowy. Zmodyfikowaną wersję współczynników PLP stanowią współczynniki RASTA-PLP, zaproponowane i szerzej opisane w [1]. Współczynniki BFCC (ang. Bark Frequency Cepstral Coefficient) wyznaczane są niemal identycznie jak współczynniki PLP za wyjątkiem modelowania autoregresyjnego, które zastąpiono transformatą kosinusową (jak w przypadku MFCC i HFCC). 9706

6 Współczynniki RPLP (ang. Revised Perceptual Linear Prediction) zostały zaproponowane przez Pawan Kumara w [13] na potrzeby identyfikacji języka mówionego. Współczynniki te wyznaczane są podobnie jak MFCC, różnica polega na eliminacji dyskretnej transformacji kosinusowej i zastąpieniu jej modelowaniem autoregresyjnym. Podobnie jak BFCC, współczynniki RPLP ze względu na połączenie dwóch algorytmów (PLP i MFCC) nazywane są współczynnikami hybrydowymi. Wydajność cech testy Weryfikację wydajności podzbiorów cech przeprowadzono przy pomocy klasyfikatora k-nn z użyciem 10-krotnej walidacji krzyżowej (ang. cross-validation) na dwóch niezależnych korpusach mowy. Metoda walidacji krzyżowej pozwala właściwie ocenić wydajność deskryptorów. Polega ona na losowym podziale całego zbioru wypowiedzi 10 podzbiorów równej wielkości. Następnie pojedynczy zbiór jest używany jako zbiór testowy, a pozostałych dziewięć jako zbiory treningowe. Proces ten jest powtarzany dziesięciokrotnie, a każdy z podzbiorów zostaje użyty jako zbiór testowy. Ostateczne wyniki zostają uśredniane. Wartość k została dobrana doświadczalnie, jako dająca najwyższe rezultaty klasyfikacji dla danej grupy. W wyniku parametryzacji dla każdej ramki sygnału wyznaczono odpowiednie współczynniki, a na ich podstawie szereg cech statystycznych. W ramach badań zweryfikowano wpływ ilości współczynników na jakość rozpoznawania. W ten sposób ustalono optymalny rozmiar wektora cech. Wyniki przestawiono w tabelach 1 i. Tabela 1. Wpływ liczby współczynników na jakość rozpoznawania emocji dla bazy mowy odegranej Współczynniki MFCC 53, 54,4 56,5 54,9 54 HFCC 5,7 48,9 49,4 51,1 49,8 BFCC 55,7 57,8 55,7 51,1 51,1 PLP 51, ,8 5,3 5,7 RPLP 55,3 5,3 5,7 55,7 54,4 RASTAPLP 43 4, 43 4,6 4, Źródło: badania własne Tabela. Wpływ liczby współczynników na jakość rozpoznawania emocji dla bazy mowy spontanicznej Współczynniki MFCC 71, 69,9 71,9 70,6 70,7 HFCC 70 70,4 69,9 70, 70, BFCC 75,9 76,6 76,7 76,7 74,5 PLP 69, 69,9 71,3 71,4 71,3 RPLP 68,7 68,1 68,5 69,6 70 RASTAPLP 5, 5 51,1 50,1 48,5 Źródło: badania własne Dodatkowo w trakcie badań zauważono wpływ liczby k na wyniki w poszczególnych grupach. Zależność wyników rozpoznawania od liczby k przedstawiono na rysunkach 4 i

7 Rys. 4. Średnie wyniki rozpoznawania emocji w oparciu o współczynniki percepcyjne w funkcji liczby k baza mowy odegranej Źródło: zasoby własne Rys. 5. Średnie wyniki rozpoznawania emocji w oparciu o współczynniki percepcyjne w funkcji liczby k baza mowy spontanicznej Źródło: zasoby własne Następnie zestawy wyżej wymienionych współczynników poszerzono o ich parametry dynamiczne. Skuteczność klasyfikacji z różnymi zestawieniami tych parametrów przedstawia tabela

8 Tabela 3. Wpływ parametrów dynamicznych na jakość rozpoznawania emocji dla obu korpusów: bazy emocji odegranych oraz bazy emocji spontanicznych Źródło:badania własne Wspołczynniki: Baza mowy odegranej Baza mowy spontanicznej MFCC 56,5 71,7 MFCC + MFCC 5,7 68,7 MFCC + MFCC 53, 66,9 MFCC + MFCC + MFCC 51,1 65,1 HFCC 5,7 70,6 HFCC + HFCC 47,7 67,8 HFCC + HFCC 46 66,9 HFCC + HFCC + HFCC 43,9 64,6 BFCC 57,8 74,5 BFCC + BFCC 56,5 70,5 BFCC + BFCC 53,6 73,4 BFCC + BFCC + BFCC 53,6 69,9 PLP 54 71,4 PLP+ PLP 5,7 66,9 PLP + PLP 53,6 66,9 PLP + PLP + PLP 50, 64,7 RPLP 55,7 70 RPLP+ RPLP 54,4 69,3 RPLP + RPLP 5,3 68,4 RPLP + RPLP + RPLP 5,3 68 RASTA PLP 43 5, RASTA PLP+ RASTA PLP 40,1 51,8 RASTA PLP + RASTA PLP 40,9 48,5 RASTA PLP + RASTA PLP + RASTA PLP Podsumowanie 39, 48,1 Proces wyznaczania odpowiednich atrybutów, które trafnie opisują przedmiot analizy, ma ogromne znaczenie w zadaniach rozpoznawania wzorców. A zatem algorytm klasyfikacji musi być poprzedzony procesem doboru wydajnych zestawów cech oraz procesem ich ewentualnej selekcji. Do ilościowego opisu problemu posłużono się grupami deskryptorów mowy powszechnie stosowanymi w badaniach nad rozpoznawaniem emocji tj. współczynnikami MFCC. Dodatkowo zaproponowano użycie deskryptorów, które mimo istotnego wkładu w rozpoznawanie mowy, pomijane są w zadaniach rozpoznawania emocji: współczynniki BFCC, HFCC, RPLP oraz RASTA PLP. Wstępne badania przeprowadzone na konkretnych podzbiorach cech wskazują, że w przypadku obu korpusów najwyższe wyniki rozpoznawania osiągana są właśnie przy użyciu zaproponowanych współczynników. I tak dla bazy mowy odegranej najlepsze rozpoznawanie uzyskano na zbiorze współczynników BFCC (57,8 %), nieco niżej, aczkolwiek także wysoko plasują się współczynniki RPLP (55,7 %). Dla bazy mowy naturalnej najlepsze wyniki otrzymano również przy użyciu współczynników BFCC (76,7 %), tuż za nimi plasują się współczynniki HFCC. Badania te potwierdzają zasadność stosowania tych deskryptorów do opisu stanów emocjonalnych. Zastosowanie współczynników dynamicznych zarówno w przypadku korpusu mowy odegranej jak i spontanicznej nie doprowadziło do zwiększenia jakości rozpoznawania, a wyniki przedstawiono po to, aby poddać pod wątpliwość używanie tego typu deskryptorów do opisu niniejszego problemu. 9709

9 Streszczenie W artykule przedstawiono wyniki doświadczeń rozpoznawania emocji na podstawie sygnału mowy z wykorzystaniem współczynników percepcyjnych. Badania rozpoczęła analiza współczynników MFCC, następnie pulę tę poszerzono o współczynniki, takie jak BFCC, HFCC, PLP, RPLP oraz RASTA PLP, szeroko stosowane w badaniach nad rozpoznawaniem mowy, natomiast pomijane w rozpoznawaniu emocji. Analizę przeprowadzono dla dwóch różnych korpusów: bazy mowy spontanicznej i odegranej. Przy użyciu klasyfikatora k-nn, wybrano grupę współczynników najlepiej reprezentujących stany emocjonalne. Słowa kluczowe: rozpoznawanie emocji, sygnał mowy, wspomaganie operatora, interakcja człowiekmaszyna PERCEPTUAL FEATURES EFFICIENCY FOR AUTOMATIC IDENTIFICATION OF EMO- TIONAL STATES Abstract The following paper presents parameterization of emotional speech using perceptual coefficients as well as a comparison of Mel Frequency Cepstral Coefficients (MFCC), Bark Frequency Cepstral Coefficients (BFCC), Perceptual Linear Prediction Coefficients (PLP) and Revised Perceptual Linear Prediction Coefficients (RPLP). Analysis was performed on two different Polish databases: acted out and spontaneous speech corpora. Emotion classification was performed using k-nn algorithm Keywords: emotion recognition, speech signal, operator s support, man-machine interaction Literatura [1] Kamińska D., Pelikant A.: Recognition of Human Emotion from a Speech Signal Based on Plutchik s Model, International Journal of Electronics and Telecommunications, 58()/01, s [] Kaliouby R., Robinson P.: Mind Reading Machines Automated Inference of Cognitive Mental States from Video, IEEE International Conference on Systems, Man and Cybernetics, 004, s [3] Silva P.R., Madurapperuma A.P., Marasinghe A., Osano M.: A multi-agent based interactive system towards childs emotion performances quantified through affective body gestures, International Conference on Pattern Recognition, 006, s [4] Garay N., Cearreta I., López J.M., Fajardo I.: Assistive Technology and Affective Mediation, An Interdisciplinary Journal on Humans in ICT Environments, (1)/ 006 s [5] Plutchik R.: Emotion A Psychoevolutionary Synthesis, New York Harper and Row, [6] Kaminska D., Sapiński T., Niewiadomy D., Pelikant A.: Porównanie wydajnosci współczynników perceptualnych na potrzeby automatycznego rozpoznawania emocji w sygnale mowy, Studia Informatica, 34/013, s [7] Zielinski T.: Cyfrowe przetwarzanie sygnałów, Wydawnictwa Komunikacji i Łączności WKŁ, 013. [8] Skowronski M., Harris J.: Increased MFCC filter bandwidth for noise robust phoneme recognition, IEEE International Conference on Acoustics, Speech, and Signal Processing, 00, s

10 [9] Niewiadomy D.: Detekcja izolowanych słów w nagraniach dla potrzeb wdrożenia mechanizmu automatycznych wyzwalaczy audio w systemach baz danych, Politechnika Łódzka, 01. [10] Hermansky H. Perceptual Linear Predictive (PLP) Analysis of Speech Journal Acoustical Society of America, 87(4): , [11] Schroeder M.R.: Recognition of Complex Acoustic Signals, Life Sciences Research Report, 5/1977. [1] Hermansky H., Morgan N.: RASTA processing of speech, IEEE Transactions on Speech and Audio Processing, (4)/ 1990, s [13] Kumar P., Biswas A., Mishra A.N., Chandra M.: Spoken Language Identification Using Hybrid Feature Extraction Methods, Journal of Telecommunications, 1()/010, s