Postać informacji zewnętrznej turbo-dekodera a jakość podejmowanych decyzji Katarzyna Andrzejewska Maciej Krasicki Streszczenie W pracy przedstawiono wyniki badań nad problemem kwantowania informacji zewnętrznej wytwarzanej przez dekodery składowe turbodekodera. Rozpatrzono optymalny i uproszczony algorytm dekodowania oraz dwie długości ramki. Prezentacja wyników poprzedzona jest przypomnieniem najważniejszych wiadomości o turbokodowaniu. Słowa kluczowe modulacja; przetwarzanie iteracyjne; turbokodowanie I. WPROWADZENIE roku 1974 Bahl Cocke Jelinek i Raviv zaproponowali W optymalny algorytm dekodowania nazwany od ich nazwisk algorytmem BCJR. W algorytmie tym decyzje podejmowane są wg reguły maksymalizującej prawdopodobieństwo a posteriori (MAP Maximum A Posteriori). W przeciwieństwie do rozpowszechnionego już wówczas algorytmu Viterbiego którego rezultatem była estymata ciągu danych algorytm BCJR dostarczał informacji o wiarygodności poszczególnych estymowanych bitów. Informacja ta była jednak bezużyteczna toteż algorytm BCJR jako znacznie bardziej złożony obliczeniowo od algorytmu Viterbiego nie znajdywał początkowo praktycznego zastosowania. Sytuacja uległa zmianie wraz z odkryciem turbokodów przez Berrou i in. [1] w roku 1993. W turbodekoderze pomiędzy dwoma dekoderami składowymi wymieniana jest informacja wspomagająca podejmowanie decyzji. Turbodekoder działa w sposób iteracyjny a w każdej iteracji wiarygodność informacji wspomagającej rośnie o ile proces dekodowania jest zbieżny co ma miejsce w przypadku odpowiednio dużej wartości stosunku sygnału do szumu. Informacja wspomagająca może przyjmować różną postać zależnie od przyjętego sposobu reprezentacji danych. Może być wyrażona np. poprzez prawdopodobieństwa nadania poszczególnych wartości binarnych dla kolejnych bitów ciągu K. Andrzejewska jest absolwentką studiów magisterskich na kierunku elektronika i telekomunikacja prowadzonym przez Wydział Elektroniki i Telekomunikacji Politechniki Poznańskiej (e-mail: katarzyna_andrzejewska@outlook.com). M. Krasicki jest adiunktem w Katedrze Radiokomunikacji Politechniki Poznańskiej ul. Polanka 3 61-131 Poznań (e-mail: mkrasic@et.put.poznan.pl). Niniejszy artykuł prezentuje wyniki badań wykonanych w ramach pracy dyplomowej magisterskiej K. Andrzejewskiej pt. Badanie zależności pomiędzy informacją wspomagającą turbodekodera a jakością podejmowanych przez niego decyzji obronionej w roku 2014 na Wydziale Elektroniki i Telekomunikacji Politechniki Poznańskiej. Praca finansowana ze środków na działalność statutową. danych lub też poprzez logarytmiczne wskaźniki wiarygodności. Każdy ze sposobów reprezentacji ma jednak swoje ograniczenia wynikające ze sposobu reprezentacji liczb w postaci cyfrowej. W niniejszej pracy autorzy podejmują problem zależności pomiędzy liczbą poziomów na jakich kwantowana jest informacja zewnętrzna dekoderów składowych dana w postaci logarytmicznych wskaźników wiarygodności a jakością decyzji podejmowanych przez turbodekoder. Dalsza część referatu jest zorganizowana następująco. W punkcie II przedstawione są najważniejsze wiadomości o algorytmie BCJR realizującym regułę decyzyjną MAP i jego uproszczonej wersji tj. max-log-map. Punkt III dotyczy istoty turbokodowania. W punkcie IV opisane są parametry symulacji i wyniki badań. Wreszcie punkt V stanowi podsumowanie pracy. II. ALGORYTM MAP A. Podstawy matematyczne [2] Funkcjonowanie algorytmu MAP (Maximum A Posteriori probability) wygodnie jest opisać w oparciu o fragment kraty kodu splotowego pokazany na rys. 1. Zadaniem algorytmu dekodowania jest wybór takiej wartości będącej estymatą -tego bitu ciągu danych (w formacie bipolarnym) że (1) gdzie jest obserwowaną na wyjściu kanału sekwencją symboli BPSK zniekształconych białym szumem gaussowskim. Prawdopodobieństwo ze wzoru (1) jest sumą prawdopodobieństw wystąpienia na kracie jednego z przejść związanych w -tym takcie z bitem o wartości w ciągu danych:. (2) W powyższym wzorze pojedyncze przejście jest jednoznacznie identyfikowane poprzez parę stanów przypadających odpowiednio na takt -szy i -ty. Rys. 1. Fragment kraty przykładowego kodera splotowego 26 XVIII Poznańskie Warsztaty Telekomunikacyjne - Poznań 12 grudnia 2014
Prawdopodobieństwo obserwacji sekwencji na wyjściu kanału jest równoznaczne z obserwacją sekwencji w (8) taktach poprzedzających rozpatrywany takt -ty sygnału w takcie -tym oraz sekwencji przypadającej na pozostałe takty: Koszt przejścia po krawędzi kraty ma postać: (9) (3) gdzie jest czynnikiem korygującym o takiej samej wartości dla dowolnej pary to wartość bitu ciągu danych przypisana do rozpatrywanej krawędzi a Korzystając zaś z reguły Bayesa otrzymuje się (10) (4) Przekształcenie w ostatniej linii wynika z obserwacji że wystąpienie konkretnej sekwencji na wyjściu kanału zależy tylko od stanu w takcie -tym nie zależy zaś od tranzycji na kracie kodu występujących przed -tym taktem. Podobne przekształcenia można przeprowadzić dla czynnika ze wzoru (4): (5) Podstawą do takiego przekształcenia jest obserwacja że prawdopodobieństwo przejścia na kracie w takcie -tym ze stanu do stanu nie zależy od trajektorii po której dekoder osiągnie stan. Podstawiwszy (5) do (4) i następnie (4) do (3) otrzymuje się stanowi logarytmiczny wskaźnik wiarygodności a priori dla tego bitu. Drugi z eksponencjalnych czynników w (9) reprezentuje informację otrzymaną z kanału dotyczącą bitów ciągu które przypadają na rozpatrywany -ty fragment kraty: pełni funkcję skalującą ( to energia przypadająca na jeden bit ciągu danych a wyraża wariancję szumu gaussowskiego) reprezentuje wartość -tego bitu przyporządkowanego danej krawędzi kraty; wreszcie to sygnał otrzymany z kanału dotyczący -tego bitu ciągu kodowego przypadającego na -ty fragment kraty. Wyrażenie (9) można przekształcić tak aby ujawnić w nim czynnik związany z bitami systematycznymi czyli bitami ciągu danych które są transmitowane w sposób jawny w systemie z turbokodowaniem oraz czynnik związany z tzw. bitami kontroli parzystości: (11) Wykorzystując powyższe zależności można podać finalną postać na prawdopodobieństwo a posteriori które jest rezultatem działania algorytmu MAP. Tutaj występuje ono w postaci logarytmicznego wskaźnika wiarygodności: (6) Należy zauważyć że powyższe czynniki odnoszą się do pojedynczej krawędzi kraty: jest prawdopodobieństwem osiągnięcia stanu z którego dana krawędź wychodzi stanowi prawdopodobieństwo tego że trajektoria dekodowania od bieżącego taktu do końca kraty wybiega ze stanu. Wreszcie ma interpretację kosztu przejścia po rozpatrywanej krawędzi kraty łączącej stany i. Pierwsze dwa czynniki oblicza się następująco w sposób rekurencyjny: (7) (12) W powyższym wzorze widać że wskaźnik wiarygodności dla bitu ciągu danych zgodnie z regułą MAP składa się z trzech składników: prawdopodobieństwa a priori metryki związanej z sygnałem odebranym z kanału dotyczącym bitu systematycznego oraz tzw. informacji zewnętrznej dekodera (extrinsic information) która wynika z zależności związanych z pamięcią kodera i dekodera. XVIII Poznańskie Warsztaty Telekomunikacyjne - Poznań 12 grudnia 2014 27
B. Uwaga dotycząca informacji a priori Zgodnie z (12) odbiornik powinien dysponować prawdopodobieństwami a priori nadania poszczególnych bitów ciągu kodowego. Muszą one pochodzić z niezależnego źródła względem kanału z którego odbierane są sygnały i sygnały odpowiadające bitom kontroli parzystości. Najczęściej odbiornikowi takie prawdopodobieństwa nie są znane. Wówczas działaniem z wyboru jest przyjęcie co w dziedzinie wskaźników wiarygodności daje. Jak zostanie pokazane w następnym punkcie uzyskanie informacji a priori jest możliwe dzięki realizacji turbokodowania. C. Uproszczony algorytm max-log-map Obliczanie informacji zewnętrznej w sposób pokazany w (12) jest procesem złożonym obliczeniowo. Wzór ten ma bowiem w istocie postać logarytmu z ilorazu sum wyrażeń eksponencjalnych. Inaczej można wyrazić jako różnica logarytmów z sum wyrażeń eksponencjalnych. Tymczasem wyrażenia typu są znane jako logarytmy Jakobiego. Można pokazać że (13) co ma swoje zastosowanie w uproszczonym algorytmie dekodowania operującym wg reguły max-log-map [3]. Aby przedstawić jego działanie wprowadza się nowe zmienne: i będące logarytmami naturalnymi odpowiednio z i. Z ich użyciem rekurencyjne obliczenia takie jak w (7) i (8) odbywają się następująco: (14). (15) Bity danych podawane są na wejście jednego z nich są najpierw przepuszczane przez układ przeplotu i (opcjonalnie) linię opóźniającą. W ten sposób konkretny bit ciągu danych przypada na inny fragment kraty kodu w obu koderach. Bity kontroli parzystości generowane przez poszczególne kodery transmitowane są w różnych warunkach stanu kanału co ma zasadnicze znaczenie w przypadku kanałów z zanikami. Bity systematyczne dolnego kodera nie są transmitowane. B. Odbiornik W odbiorniku pokazanym na rys. 2b stosuje się dwa dekodery składowe. Każdy z nich otrzymuje z kanału informację dotyczącą transmitowanych bitów systematycznych oraz odpowiednich bitów kontroli parzystości a także informację a priori o bitach danych. Tę ostatnią stanowi w turbodekoderze informacja zewnętrzna (extrinsic information) drugiego dekodera. Górny dekoder generuje informację o prawdopodobieństwie a posteriori na którą składają się ww. trzy elementy. Odejmując od niej informację a priori oraz informację otrzymaną z kanału nt. bitu systematycznego otrzymuje się informację zewnętrzną górnego dekodera która po przeplocie służy jako informacja a priori dekodera dolnego. Należy zauważyć że informacja ta jest wyznaczona wyłącznie na podstawie danych którymi dekoder dolny nie dysponuje. Istotnie uwzględnia tylko zależności wynikające dla bitów kontroli parzystości z kraty górnego dekodera (nie przypadkiem odejmowana jest informacja a priori wygenerowana przez dekoder dolny oraz informacja nt. bitów systematycznych którą dekoder dolny również posiada). Dekoder dolny poza informacją a priori dysponuje także wiedzą nt. bitów systematycznych odebraną z kanału a także nt. bitów kontroli parzystości wygenerowanymi na podstawie przeplecionego ciągu danych. Wygenerowana przez dolny dekoder informacja a posteriori pozbawiona składników zależnych od wcześniejszych decyzji dekodera Natomiast. (16) Pierwszy ze składników w (16) nie ma wpływu na ostateczny wynik (można go pominąć) a sumę w ostatnim składniku podobnie jak w (12) można rozdzielić na część związaną z informacją nt. bitu ciągu danych odebraną z kanału i na informację zewnętrzną. Z wykorzystaniem powyższych zmiennych wskaźnik wiarygodności a posteriori przyjmuje postać (17) III. TURBOKODOWANIE A. Nadajnik Istotą turbokodowania równoległego (tylko o takim traktuje niniejszy artykuł) jest zastosowanie po stronie nadajnika dwóch koderów systematycznych jak pokazano na rys. 2a. 28 Rys. 2. Modele: kodera i dekodera turbodekodera (na podstawie [2]) XVIII Poznańskie Warsztaty Telekomunikacyjne - Poznań 12 grudnia 2014
górnego (informacja a priori) i takich które dekoder górny otrzymuje wprost z kanału stanowi (po przeplocie) zaktualizowaną informację a priori dekodera górnego. Następnie aktualizowana jest informacja zewnętrzna dekodera górnego itd. Po wielu takich interakcjach pomiędzy dekoderami składowymi informacja a posteriori jednego z nich stanowi ostateczną decyzję dotyczącą transmitowanych bitów danych. IV. ZREALIZOWANE BADANIA A. Problem badawczy Poza fundamentalnymi przeszkodami dla zbieżności procesu iteracyjnego dekodowania związanymi z panującym w kanale stosunku mocy sygnału do mocy szumu istnieją także ograniczenia wynikające ze sposobu reprezentacji informacji zewnętrznej. W zdecydowanej większości publikacji naukowych na temat turbokodów zakłada się że informacja zewnętrzna jest reprezentowana przez liczby zmiennoprzecinkowe o dużej precyzji. Tymczasem w trakcie wstępnych badań nawet w przypadku reprezentacji 64-bitowej typu zmiennoprzecinkowego autorzy obserwowali nieprawidłowe działanie dekoderów składowych skutkujące niemożnością podjęcia poprawnej decyzji. Dotyczyło to szczególnie przypadków użycia optymalnych dekoderów MAP w sytuacji gdy stosunek sygnału do szumu przyjmował duże wartości. Wówczas w liczniku i mianowniku wyrażenia z (12) występowały bardzo duże wartości przekraczające zakres reprezentacji liczb jako skutek potęgowania liczby. Rezultatem dzielenia tych liczb reprezentowanych jako nieskończoność była wartość nieoznaczona. Powyższa obserwacja stanowi tylko przyczynek do zrozumienia problemów związanych z ograniczeniami w reprezentacji informacji zewnętrznej. Reprezentacja informacji zewnętrznej z dużą precyzją wiąże się z przesyłaniem pomiędzy dekoderami składowymi ogromnej liczby bitów tym bardziej że dla poprawnego funkcjonowania turbodekodera niezbędne jest przyjęcie ramek o dostatecznie dużej długości (z doświadczenia autorów wynika że jest to co najmniej kilkaset bitów). Przesyłanie takiej ilości danych może spowodować poważny wzrost opóźnienia w działaniu odbiornika a należy jeszcze uwzględnić konieczność przeprowadzenia kilku-kilkunastu iteracji. W praktycznych realizacjach turbo dekoderów opartych o proste i tanie podzespoły nierealne może być w ogóle użycie reprezentacji zmiennoprzecinkowej nie wspominając nawet o dużej precyzji. Z powyższych uwag wynika potrzeba zbadania jak przebiega turbodekodowanie w razie użycia skwantowanej informacji zewnętrznej. B. Założenia W pracy rozważono następujące liczby poziomów kwantyzacji: 2 16 32 i 64. Progi kwantyzacji rozmieszczono równomiernie biorąc pod uwagę zakres dynamiczny nieskwantowanej informacji zewnętrznej. Zastosowano ramki danych liczące 500 i 5000 bitów a w trakcie każdej symulacji transmitowano bitów dla zachowania statystycznej wiarygodności wyników. Transmisja odbywała się w kanale AWGN. Jako elementy turbodekodera zastosowano identyczne 8-stanowe kodery systematyczne opisane wielomianami generującymi [13 15] 8. Symulacje wykonano w pakiecie Matlab z wykorzystaniem biblioteki The Iterative Solutions Coded Modulation Library (ISCML) [4]. Jest to biblioteka na licencji pozwalającej na użycie i modyfikowanie oprogramowania w zależności od potrzeb. C. Wyniki 1) Odbiornik realizujący optymalną regułę MAP a) transmisja ramek o długości 5000 bitów Na rys. 3 przedstawiono wyniki referencyjne dla przypadku bez kwantowania informacji zewnętrznej dekoderów. Widoczne jest opadanie kolejnych krzywych (SNR) w kolejnych iteracjach co świadczy o zbieżności procesu iteracyjnego. Wyniki badania skutków kwantyzacji przy dwóch poziomach kwantyzacji dały negatywny rezultat: wartość bitowej stopy błędu w rozpatrywanym przedziale SNR=[0 4.5] db nie opadała w kolejnych iteracjach poniżej. Proces iteracyjny nie był więc zbieżny. Dla innych wartości liczby poziomów kwantyzacji tj. 16 32 i 64 kolejne krzywe (SNR) w badanym przedziale SNR opadają co można stwierdzić obserwując pary przebiegów o tych samych oznaczeniach z rys. 4a i 4b. Na rysunkach widać że liczba poziomów kwantyzacji ma istotny wpływ na wiarygodność zdekodowanych danych. Przykładowo w ósmej iteracji strata SNR na poziomie = w przypadku zastosowania 16 poziomów kwantyzacji względem systemu referencyjnego wynosi 3 db. b) transmisja ramek o długości 500 bitów W rozpatrywanym przypadku wyniki uzyskane bez kwantyzacji informacji zewnętrznej (rys. 5) są nieco gorsze niż wówczas gdy transmitowano ramki o długości 5000 bitów (rys. 3). Naturalnie jest to związane z ograniczeniem głębokości przeplotu. Związki pomiędzy liczbą poziomów kwantyza- 1 iteracja 2 iteracje 3 iteracje 4 iteracje 8 iteracji 10-8 Rys. 3. Wyniki (SNR) dla odbiornika optymalnego (bez kwantowania) w kolejnych iteracjach (długość ramki: 5000) XVIII Poznańskie Warsztaty Telekomunikacyjne - Poznań 12 grudnia 2014 29
1 iteracja 2 iteracje 3 iteracje 4 iteracje 8 iteracji 5 Rys. 5. Wyniki (SNR) dla odbiornika optymalnego (bez kwantowania) w kolejnych iteracjach (długość ramki: 500) 10-8 0 0.5 1 1.5 2 2.5 3 3.5 4 Rys. 4. Wyniki (SNR) dla różnej liczby poziomów kwantyzacji: 16 poziomów 32 poziomy 64 poziomy odbiornik bez kwantyzacji (długość ramki: 5000 bitów) cji a wynikami (SNR) w iteracjach 1. i 8. są analogiczne jak w przypadku transmisji 5000-bitowych ramek czego dowodzą rysunki 6a i 6b. W ósmej iteracji strata SNR na poziomie = w przypadku zastosowania kwantyzacji 16- poziomowej względem odbiornika referencyjnego wynosi znów ok. 3 db. Dla przypadku dwóch poziomów kwantyzacji (nieuwzględnionego na rysunkach dla ich lepszej czytelności) nie obserwowano poprawy bitowej stopy błędu w kolejnych iteracjach. 2) Odbiornik realizujący regułę max-log-map Wnioski dotyczące odbiornika wykorzystującego algorytm optymalny MAP są ważne także w przypadku odbiornika w którym dekodery składowe pracują wg reguły max-log-map. Prezentowane są tylko wyniki dla przypadku transmisji ramek o długości 5000 bitów: dla systemu referencyjnego tzn. bez kwantowania informacji zewnętrznej (rys. 7) oraz dla systemu z kwantowaniem informacji zewnętrznej w pierwszej i ósmej iteracji (odpowiednio rys. 8a i 8b). Rys. 6. Wyniki (SNR) dla różnej liczby poziomów kwantyzacji: 16 poziomów 32 poziomy 64 poziomy odbiornik bez kwantyzacji (długość ramki: 500 bitów) 30 XVIII Poznańskie Warsztaty Telekomunikacyjne - Poznań 12 grudnia 2014
Rys. 7. Wyniki (SNR) dla odbiornika bez kwantowania informacji zewnętrznej w kolejnych iteracjach (długość ramki: 5000 dekoder max-log-map) 1 iteracja 2 iteracje 3 iteracje 4 iteracje 8 iteracji 0 0.5 1 1.5 2 2.5 3 Rys. 8. Wyniki (SNR) dla różnej liczby poziomów kwantyzacji: 16 poziomów 32 poziomy 64 poziomy odbiornik bez kwantyzacji (długość ramki: 5000 bitów dekoder max-log-map) Porównując wyniki systemów referencyjnych: realizującego algorytm MAP (rys. 3) oraz tego w którym wykorzystywany jest algorytm uproszczony max-log-map (rys. 7) zauważa się gorsze wyniki w tym drugim przypadku. Przykładowo w ósmej iteracji = obserwuje się dla SNR 08 db dla odbiornika MAP i dla SNR 18 db w przypadku odbiornika max-log-map. Skutki kwantyzacji informacji zewnętrznej dekoderów operujących według reguły max-log-map są podobne jak dla odbiornika realizującego regułę MAP: użycie dwóch poziomów kwantyzacji powoduje że nie obserwuje się poprawy wiarygodności estymat wygenerowanych w kolejnych iteracjach. Dla pozostałych analizowanych wartości liczby poziomów kwantyzacji poprawa w kolejnych iteracjach występuje przy czym strata w stosunku do odbiornika bez kwantyzacji informacji zewnętrznej jest znacznie mniejsza (jedynie ok. 1 db w przypadku kwantyzacji 16-poziomowej na poziomie = ) niż w przypadku podobnego porównania dla odbiornika realizującego optymalny algorytm MAP. V. PODSUMOWANIE Uzyskane rezultaty pokazały że kwantowanie informacji zewnętrznej dekoderów składowych turbodekodera ma bardzo duży wpływ na wiarygodność generowanych estymat danych. W szczególności bezużyteczne okazało się rozwiązanie z dwoma poziomami kwantowania oznaczające w istocie przekazywanie twardej decyzji pomiędzy dekoderami. Wraz ze zwiększaniem liczby poziomów kwantyzacji uzyskiwano wyniki coraz bardziej zbliżone do tych dla systemu referencyjnego tj. bez kwantowania. Rozpatrzono dwie reguły decyzyjne dekoderów: MAP i max-log-map. W przypadku drugiego z nich (uproszczonego) strata SNR związana z kwantyzacją była mniejsza jednak należy pamiętać że samo uproszczenie algorytmu dekodowania prowadzi do degradacji uzyskanych wyników. BIBLIOGRAFIA [1] C. Berrou A. Glavieux and P. Thitimajshima Near Shannon limit error-correcting coding and decoding: turbo-codes in Proc. IEEE International Conference on Communications 1993. [2] L. Hanzo T. Liew B. Yeap i S. Ng Turbo Coding Turbo Equalisation and Space-Time Coding wyd. 2 Chichester: John Wiley & Sons Ltd. 2011. [3] P. Robertson E. Villebrun and P. Hoer A Comparison of Optimal and Sub-Optimal MAP Decoding Algorithms Operating in the Log Domain in Proc. IEEE International Conference on Communications 1995. [4] http://www.iterativesolutions.com/matlab.htm. [Data uzyskania dostępu: 15 09 2014]. XVIII Poznańskie Warsztaty Telekomunikacyjne - Poznań 12 grudnia 2014 31