RZECZPOSPOLITA POLSKA Urząd Patentowy Rzeczypospolitej Polskiej (12) OPIS PATENTOWY (19) PL (11) 184102 (13) B1 (21 ) Numer zgłoszenia: 321411 (22) Data zgłoszenia: 29.07.1997 (51) IntCl7: G09B 9/00 G10L 15/06 G09B 5/04 G09B 19/04 G09B 19/06 (54) Układ aktywnego stymulatora ośrodków mowy, zwłaszcza niemowląt i dzieci (43) Zgłoszenie ogłoszono: 01.02.1999 BUP 03/99 (73) Uprawniony z patentu: Duch Włodzisław, Toruń, PL (72) Twórcy wynalazku: Włodzisław Duch, Toruń, PL (45) O udzieleniu patentu ogłoszono: 30.08.2002 WUP 08/02 Pełnomocnik: Kowalski Piotr, Kancelaria Patentowa, INVENTIX Sp. z o.o. PL 184102 B1 (57) 1. Układ aktywnego stymulatora ośrodków mowy, zwłaszcza niemowląt i dzieci, znamienny tym, że posiada co najmniej urządzenie (F) wprowadzające sygnały głosowe, konwerter analogowo-cyfrowy (A-D/W), pamięć wzorców fonemów (PWF), komparator (K) wzorców fonemów wprowadzonych i zapamiętanych, układ decyzyjny (D), układ (D/A) syntezujący i odtwarzający dźwięki fonemów oraz urządzenie (G) wytwarzające dźwięki, przy czym urządzenie (F) wprowadzające sygnały głosowe połączone jest z wyjściem konwertera analogowo-cyfrowego (A-D/W), którego wyjście połączone jest z jednym z wejść komparatora (K), a drugie jego wejście z pamięcią wzorców fonemów (PWF), natomiast wyjście komparatora (K) z układem decyzyjnym (D), którego jedno z wyjść połączone jest z urządzeniem (G) wytwarzającym dźwięki poprzez układ (D/A) syntetyzujący i odtwarzający dźwięki fonemów.
Układ aktywnego stymulatora ośrodków mowy, zwłaszcza niemowląt i dzieci Zastrzeżenia patentowe 1. Układ aktywnego stymulatora ośrodków mowy, zwłaszcza niemowląt i dzieci, znamienny tym, że posiada co najmniej urządzenie (F) wprowadzające sygnały głosowe, konwerter analogowo-cyfrowy (A-D/W), pamięć wzorców fonemów (PWF), komparator (K) wzorców fonemów wprowadzonych i zapamiętanych, układ decyzyjny (D), układ (D/A) syntezujący i odtwarzający dźwięki fonemów oraz urządzenie (G) wytwarzające dźwięki, przy czym urządzenie (F) wprowadzające sygnały głosowe połączone jest z wyjściem konwertera analogowo-cyfrowego (A-D/W), którego wyjście połączone jest z jednym z wejść komparatora (K), a drugie jego wejście z pamięcią wzorców fonemów (PWF), natomiast wyjście komparatora (K) z układem decyzyjnym (D), którego jedno z wyjść połączone jest z urządzeniem (G) wytwarzającym dźwięki poprzez układ (D/A) syntetyzujący i odtwarzający dźwięki fonemów. 2. Układ według zastrz. 1, znamienny tym, że drugie wyjście układu decyzyjnego (D) połączone jest z układem (DA) syntetyzującym i odtwarzającym dźwięki fonemów oraz z urządzeniem (AV) wytwarzającym sygnały informacyjne o zgodności fonemu wypowiadanego z fonemami wzorcowymi. 3. Układ według zastrz. 1, znamienny tym, że układ decyzyjny (D) zawiera układ zliczania (Z) wprowadzonych fonemów i układ zapamiętywania (PF) statystyki wprowadzanych fonemów. 4. Układ według zastrz. 1, znamienny tym, że układ (D/A) syntezujący i odtwarzający dźwięki fonemów połączony jest z pamięcią wzorców fonemów (PWF). * * * Przedmiotem wynalazku jest układ aktywnego stymulatora ośrodków mowy, zwłaszcza niemowląt i dzieci. Trudności, na jakie napotykają ludzie przy uczeniu się języków obcych w starszym wieku, a nawet powyżej 10 roku życia są w znacznej mierze związane z rozwojem ośrodków słuchowych w okresie niemowlęcym i wczesnym dzieciństwie. Dzieci wychowujące się w rodzinach dwujęzycznych, w których matka i ojciec posługują się różnymi językami, nie mają żadnych trudności w nauczeniu się kilku języków jednocześnie. Ostatnie badania psycholingwi styczne przedstawione w publikacji P. W. Jusczyk The discovery o f spoken language, Cambridge, MA, MIT Press 1997, dowodzą, że już w okresie niemowlęcym na skutek stymulacji mózgu przez dochodzące do dziecka dźwięki mowy, rozwijają się detektory fonemów danego języka. Kluczowym krokiem do nauczenia się właściwej wymowy i rozumienia wyrazów jest ich wyraźne odróżnienie od innych wyrazów i identyfikacja dźwięków poszczególnych fonemów składających się na dany wyraz. Chociaż niemowlęta mają wrodzone zdolności do nauczenia się dowolnego języka, są to jedynie potencjalne możliwości, to ich realizacja wymaga odpowiedniej stymulacji ośrodków słuchu oraz innych funkcji mózgu. Stymulacja ośrodków mowy w okresie niemowlęcym przyczynia się do utworzenia w mózgu bardziej subtelnej mapy fonemów. Mapy te różnicują się w zależności od języka, który niemowlęta słyszą już w pierwszych miesiącach życia. Po ukończeniu pierwszego roku życia dzieci wykazują zmniejszone zdolności do rozróżniania tych fonemów, które nie są istotne w ich języku ojczystym, ale nadal mogą się tego rozróżniania dość szybko nauczyć. Zbytnia specjalizacja ośrodków mowy wywołana słyszeniem tylko mowy ojczystej ogranicza możliwości nauczenia się języka obcego, dlatego dzieciom starszym i dorosłym nauka języka przychodzi z większą trudnością. Utrwalanie się wzorców fonologicznych dla języka polskiego
184 102 3 utrudnia naukę języków obcych, im bardziej są one fonetycznie odległe tym trudniej się ich nauczyć. Z tego powodu w USA i innych krajach powstały firmy specjalizujące się w sprzedaży nagrań zawierających piosenki i wypowiedzi w różnych językach, mające przez samo słuchanie wpływać na rozwój ośrodków mowy. Wśród pracowników naukowych zajmujących się problematyką rozwoju zdolności językowych panuje obecnie przekonanie, poparte wynikami badań naukowych, iż stymulacja dzieci we wczesnym okresie rozwoju przyczynia się do zwiększenia gęstości połączeń neuronów w ich mózgu, umożliwiając bardziej precyzyjną analizę bodźców zmysłowych i przyczyniając się do podniesienia ogólnego poziomu inteligencji dziecka. Chociaż procesy powstawania nowych połączeń w mózgu zachodzą w ciągu całego życia, to plastyczność mózgu jest największa w pierwszych dwóch latach życia. Pierwsze pojedyncze słowa wypowiadane są zazwyczaj pomiędzy 9-12 miesiącem, a kombinacje dwóch słów około 18-24 miesiąca. Już w momencie narodzin u większości ludzi na dźwięk mowy reagują ośrodki leżące w lewym płacie skroniowym. Kilkudniowe niemowlęta przerywają ssanie palca na okres pięć razy dłuższy, gdy dźwięki mowy docierają do ich prawego ucha niż gdy do lewego. Wynika to z faktu, że informacja z prawego ucha dociera przede wszystkim do lewej półkuli. Studia prowadzone nad nauką drugiego języka wykazują silną korelację sprawności językowej z okresem rozpoczęcia nauki. Jeśli pierwszy kontakt z nauczanym językiem wypada po rozpoczęciu okresu dojrzewania prawie nigdy nie dochodzi do opanowania tego języka w stopniu zbliżonym do języka ojczystego. Nie chodzi tu jedynie o subtelne kwestie akcentu czy prozodii, lecz również możliwości przyswojenia sobie nowych struktur gramatycznych. Również badania nad uszkodzeniami mózgu wykazują ze całkowite odzyskanie sprawności językowej możliwe jest jedynie w przypadku uszkodzenia lewego płata skroniowego do piątego roku życia, odzyskanie w znacznym stopniu do okresu dojrzewania, podczas gdy uszkodzenia po tym okresie pozostawiają trwałe zmiany. Silne argumenty naukowe przemawiają za niezależnością reprezentacji fonologicznej wyrazów wykorzystywanej przy rozumieniu i produkcji mowy od reprezentacji ortograficznej wykorzystywanej przy pisaniu i czytaniu. Dwa najważniejsze obszary w lewej półkuli mózgu odpowiedzialne za percepcję i produkcję mowy to ośrodek Wernickiego mieszczący się w środkowej części płatu skroniowego i ośrodek Brocka mieszczący się w tylnej części płatu czołowego. Obszary te połączone są grubą wiązką nerwów. Uszkodzenie któregoś z tych obszarów prowadzi do trudności w posługiwaniu się mową, znanych jako afazje Wernickiego obejmujące problemy ze zrozumieniem słów i błędy w produkcji słów oraz afazje Brocka polegające na zaburzeniu rytmu i płynności wypowiedzi. Trudności z rozróżnieniem wyrazów na poziomie fonologicznym prowadzą do niezdolności do prawidłowego rozumienia mowy. W przypadku hałasu lub dźwięków docierających z różnych źródeł nawet niewielkie trudności w recepcji fonologicznej przyczynić się mogą do znacznych problemów w segmentacji słów i rozumienia mowy. Reprezentacja fonemów w korze słuchowej ma strukturę tonotopiczną. Oznacza to, że podobnie brzmiące fonemy pobudzają grupy neuronów leżące stosunkowo blisko siebie, a odmiennie brzmiące leżące daleko od siebie. Języki różnią się fonemami, które uczymy się rozróżniać we wczesnym dzieciństwie. Większość fonemów w różnych językach jest do siebie dość podobna, ale jest wiele fonemów specyficznych dla każdego języka. Kiedy dziecko słyszy wielokrotnie fonem w mowie docierającej do jego uszu, w korze skroniowej wytwarzają się "detektory fonemów". Rozróżnienie niektórych fonemów stwarza dzieciom sporo trudności i tak na przykład wymawianie "r" początkowo zastępowane jest przez "1". Dzieci japońskie nie mają okazji słyszeć różnicy pomiędzy tymi dwoma dźwiękami, gdyż w ich języku nie są one rozróżnialne. Stąd w późniejszym okresie swojego życia nie postrzegają różnicy pomiędzy tymi i wieloma innymi dźwiękami, co prowadzi do poważnych trudności z nauką języków obcych. Europejczycy mają poważne trudności z uczeniem się języków tonalnych takich jak chiński, wietnamski czy tajski. Prawidłowa wymowa w języku tajskim trenowana jest nie tylko w najmłodszych latach lecz również w szkole. Są to najbardziej drastyczne przykłady zniekształceń wynikających z braku odpowiednich detektorów fonemów utworzonych w dzieciństwie. Eksperymenty psycholingwistyczne prowadzone w ostatnich latach wykazują wyraźnie, iż braki na poziomie dyskryminacji fonemów powodują nie tylko
4 184 102 trudności w rozróżnieniu słów w obcych językach, lecz wywołują również iluzje obecności fonemów tam, gdzie ich wcale nie ma. I tak Hiszpanie nie potrafią wymawiać "s" na początku wyrazu, dodając przed nim "e", czyli wymawiając "es". Znana jest stymulacja ośrodków mowy za pomocą taśm i płyt zawierających nagrania rymowanek, kołysanek, piosenek ludowych, alfabetu, liczb i różnych fraz w językach francuskim, hebrajskim, hiszpańskim, japońskim, niemieckim i rosyjskim. Znane są również rozwiązania z wykorzystaniem komputerów multimedialnych. Na monitorze komputera pojawiają się obrazki i słowa, które odczytywane są przez uczącego. Wypowiadane słowa analizowane są przez komputer, a następnie są podawane informacje wizualne i foniczne pozwalające ocenić prawidłowość wymowy. Niedogodnością pierwszych ze znanych rozwiązań jest brak zwrotnej informacji o prawidłowości odtwarzanych słów, natomiast wykorzystanie komputerów multimedialnych do analizy wypowiadanych słów i podawanie informacji zwrotnej na pierwszym etapie nauki języków u niemowląt i dzieci jest nieprzydatne. Celem wynalazku jest usunięcie powyższych wad i niedogodności, a zagadnieniem technicznym wymagającym rozwiązania dla osiągnięcia tego celu jest opracowanie układu aktywnego stymulowania ośrodków mowy na poziomie dyskryminacji fonemów przydatnej w późniejszym okresie życia do nauki języków obcych. Cel ten został osiągnięty w układzie według wynalazku, który zawiera co najmniej urządzenie wprowadzające sygnały głosowe, konwerter analogowo-cyfrowy, pamięć wzorców fonemów, komparator wzorców wprowadzonych i zapamiętanych, układ decyzyjny, układ syntazujący i odtwarzający dźwięki fonemów oraz urządzenie wytwarzające dźwięki. Urządzenie wprowadzające sygnały głosowe połączone jest z wejściem konwertera analogowocyfrowego, którego wyjście połączone jest z jednym z wejść komparatora, a drugie jego wejście z pamięcią wzorców fonemów. Natomiast wyjście komparatora połączone jest z układem decyzyjnym, którego jedno z wyjść połączone jest z urządzeniem wytwarzającym dźwięki poprzez układ syntazujący i odtwarzającym dźwięki fonemów. Drugie wyjście układu decyzyjnego połączone jest z układem syntezującym i odtwarzającym dźwięki fonemów oraz urządzeniem wytwarzającym sygnały informacyjne o zgodności fonemu wypowiadanego z fonemami wzorcowymi. Układ decyzyjny zawiera układ zliczania wprowadzanych fonemów i układ zapamiętywania statystyki wprowadzanych fonemów. Układ syntezujący i odtwarzający dźwięki fonemów połączony jest z pamięcią wzorców fonemów. Układ według wynalazku daje się łatwo zmontować przy pomocy uniwersalnych układów Digital Signal Processing w połączeniu z układami logiki programowanej FPGA. Można go również zrealizować wykorzystując komputer osobisty PC klasy Pentium 133 MHz z kartą dźwiękową Gravis Ultrasound, z którą połączony jest mikrofon i głośnik znajdujący się w zabawce o rozmiarach typowej grzechotki dla niemowląt. W początkowym okresie stymulowania ośrodków mowy stosuje się fonemy, później difonemy, a następnie całe słowa. Wzorce fonemów uzyskuje się za pomocą prostego edytora graficznego z fragmentów nagrań radiowych w różnych językach. Fonemy zapisuje się z częstotliwością próbkowania 22 khz oraz 8 khz. Niższe częstotliwości są wystarczające do celów porównywania fonemów i znacznie przyspieszają obliczenia, a wyższe do odtwarzania wysokiej jakości fonemów. Fonemy zapisywane są w standartowym formacie WAV. Do rozpoznawania podobieństwa fonemów stosuje się prosty program sczytujący sygnał z karty dźwiękowej i obliczający podobieństwo do przechowywanych fonemów. Program ten można napisać korzystając z pakietu "Signal Processing Toolbox 4" dla systemu Matlab firmy Mathworks. Dla rozpoznania początku wypowiadanego fonemu stosuje się prosty filtr progowy. Pojawienie się niezerowego sygnału powoduje jego chwilowe zapamiętanie przez program z częstotliwością próbkowania 8 khz, a po zakończeniu zapisu obliczenie miary podobieństwa z fonemami w bazie danych. Miarą podobieństwa fonemów jest zwykła odległość Euklidesowa. Lepsze rezultaty może dać przeprowadzenie szybkiej transformaty Fouriera i porównywanie fonemów w tej formie. Rezultatem porównania jest numer fonemu o największym podobieństwie. Algorytm zawsze wybiera jakiś fonem, chociaż może on być mało podobny do wypowiedzianego gdy ba-
184 102 5 za fonemów jest zbyt uboga. Pomiędzy zapisem fonemu przez mikrofon, a odtworzeniem podobnego fonemu przez głośnik upływa około 1 sekundy. Jednocześnie zwiększany jest licznik użycia fonemu w danej sesji. Po przekroczeniu ustalonej wartości fonem usuwany jest z listy dostępnych do porównania i odtwarzania fonemów. Zapobiega to powtarzaniu się ciągle tego samego fonemu. Liczba fonemów w językach zachodnioeuropejskich wynosi 35-50, większość z nich jest w różnych językach podobna, a więc wymagania pamięciowe są bardzo skromne. Można również wykorzystać kombinację dwóch fonemów, czyli difonemy, a w późniejszym okresie stymulacji uczyć całych wyrazów. Najbardziej istotny z punktu widzenia korzystnych zmian zachodzących w ośrodkach mowy mózgu jest jednak okres początkowy, w którym dziecko uczy się dyskryminacji i powtarzania fonemów. Układ według wynalazku stanowi nową formę biosprzężenia zwrotnego w aktywnej stymulacji ośrodków mowy. Korzystne zmiany tych ośrodków spowodowane ich stymulacją we wczesnym okresie dzieciństwa pozostają na zawsze. Układ ma zastosowanie zwłaszcza w produkcji stymulatorów ośrodków mowy o niewielkich gabarytach nie przekraczających wymiarami zabawek. Wynalazek został bliżej zilustrowany w przykładowym jego wykonaniu przedstawiającym schemat blokowy. Jak uwidoczniono na schemacie blokowym układ składa się z urządzenia F wprowadzającego sygnały głosowe, konwertera analogowo-cyfrowego A-D/W, pamięci wzorców fonemów PWF, komparatora K wzorców fonemów wprowadzonych i zapamiętanych, układu decyzyjnego D, układu D/A syntezującego i odtwarzającego dźwięki fonemów, urządzenia AV wytwarzającego sygnały informacyjne o zgodności fonemu wypowiadanego z fonemami wzorcowymi oraz urządzenia G wytwarzającego dźwięki. Układ decyzyjny D zawiera układ zliczania Z wprowadzanych fonemów i układ zapamiętywania PF statystyki wprowadzanych fonemów. Urządzenie F wprowadzające sygnały głosowe połączone jest z wejściem konwertera analogowo-cyfrowego A-D/W, którego wyjście połączone jest z układem decyzyjnym D poprzez komparator K wzorców fonemów wprowadzanych i zapamiętanych. Jedno z wyjść układu decyzyjnego D połączone jest poprzez układ D/A syntezujący i odtwarzający dźwięki fonemów z urządzeniem G wytwarzającym dźwięki, natomiast dru gie wyjście połączone jest z układem D/A i urządzeniem AV wytwarzającym sygnały informacyjne o zgodności fonemu wypowiadanego z fonemami wzorcowymi. Pamięć wzorcowa fonemów PWF połączona jest z komparatorem K i układem D/A. Zasada działania układu polega na tym, że wypowiedziany przez dziecko tonem F kierowany jest do urządzenia F skąd przetworzony na sygnał dochodzi do konwertera analogowo-cyfrowego A-D/W. Zadaniem konwertera analogowo-cyfrowego A-D/W jest filtrowanie szumów otoczenia, wstępna segmentacja sygnału, określająca początek i koniec fonemu oraz przetworzenie sygnału do postaci zgodnej z postacią wzorców fonemów zapisanych w pamięci wzorców fonemów PWF. W szczególności konwerter analogowo-cyfrowy A-D/W może dokonać analizy fourierowskiej sygnału, ułatwiającej porównywanie fonemów wypowiedzianych i wzorcowych. Tak przetworzony sygnał wysyłany jest do komparatora K. W pamięci wzorców fonemów PWF przechowywane są wzorce fonemów i difonemów dla różnych języków. Wzorce te pobierane są przez komparator K w momencie otrzymania przez niego sygnału z konwertera analogowo-cyfrowego A-D/W. Komparator K porównuje przetworzony przez konwerter analogowo-cyfrowy A-D/W wypowiedziany przez dziecko fonem F z zapisanymi w pamięci wzorcami fonemów PWF, określając stopień ich podobieństwa i porządkując fonemy według tego stopnia podobieństwa. Informacja o kolejności i stopniu podobieństwa fonemów przesyłana jest do układu decyzyjnego D. Układ decyzyjny D zlicza i zapamiętuje, ile razy fonem F1 najbardziej podobny do wypowiedzianego fonemu F został wybrany. Jeżeli stopień podobieństwa fonemu wypowiedzianego F i fonemu wzorcowego F1 jest dostatecznie duży, układ decyzyjny D wysyła sygnał aktywacji do urządzenia AV, np. układu audiowizualnego dostarczającego nagrody za prawidłową wymowę w postaci mrugających światełek i przyjemnej melodyjki. Następnie układ decyzyjny D wybiera spośród fonemów najbardziej podobny do F fonem F2 o najniższej czę-
6 184 102 stości użycia i przesyła jego numer do układu D/A syntazującego lub odtwarzającego dźwięki fonemów - ma to na celu rozszerzenie repertuaru wypowiadanych i rozróżnianych fonemów. Aktywna stymulacja wymaga, ażeby nowe fonemy pojawiły się częściej niż fonemy już dobrze rozróżniane i prawidłowo powtarzane. Jeżeli natomiast stopień podobieństwa wypowiedzianego fonemu F i najbliższego mu wzorca F 1 jest niedostateczny, układ decyzyjny D przesyła do układu D/A syntezującego lub odtwarzającego dźwięki fonemów fonem F1. Ma to na celu naukę wymowy i dyskryminacji słuchowej fonemu F 1. Układ D/A syntezujący lub odtwarzający dźwięki fonemów otrzymuje informację o numerach fonemów, które ma zsyntetyzować lub odtworzyć korzystając z pamięci przechowywanych wzorców fonemów. Dochodzące do niego numery fonemów powinny być zgodne z numerami fonemów, których reprezentacja przechowywana jest w pamięci wzorców fonemów PWF. W szczególności układ D/A może być konwerterem cyfrowo-analogowym połączonym z pamięcią wzorców fonemów PW F dostarczającą mu wzorcowych fonemów, albo układem pamięci przechowującym wzorce fonemów gotowe do przesłania do urządzenia G wytwarzającego fonemy. Po wykonaniu całego cyklu działań układ wraca do stanu wyjściowego. Oprócz stymulacji rozwoju ośrodków mowy na poziomie dyskryminacji fonemów układ według wynalazku ma zastosowanie do korekcji wad wymowy we wczesnym etapie rozwoju dziecka, poprawiania dykcji i słuchu muzycznego. Departament Wydawnictw UP RP. Nakład 50 egz. Cena 2,00 zł.