Algorytmy odszumiania

Transkrypt

1 Algorytmy odszumiania Odszumianie widm Ramana Mierzony sygnał jest nawet 10 8 razy mniejszy niż energia promieniowania lasera pobudzającego. Poza szumem obserwujemy silną fluorescencję. Metody odszumiania możemy podzielić na wykorzystujące sprzęt lub oprogramowanie. 181

2 Algorytmy odszumiania Odszumianie widm Ramana Poziom zakłóceń może być różny przy różnych przesunięciach Ramana (inaczej długościach fali). Główną przyczyną zakłóceń jest prąd ciemny (prąd płynący w detektorze gdy nie jest oświetlony promieniowaniem) 182

3 Algorytmy odszumiania Odszumianie widm Ramana Prąd ciemny zależy od temperatury detektora najprostszy sposób to chłodzenie (niestety oznacza wydatek energetyczny) Inne, tańsze rozwiązanie to zastosowanie algorytmu przetwarzającego zmierzone widmo i usuwające składową losową. 183

4 Algorytmy odszumiania Odszumianie widm Ramana Powszechnie stosowanym algorytmem jest filtr Savitzky-Golay 184

5 Algorytmy odszumiania Odszumianie widm Ramana Algorytm Savitzky-Golay to aproksymacja lokalnie odcinków analizowanego wektora za pomocą wielomianu określonego rzędu. Takie podejście zachowuje kształt i amplitudę linii spektralnych. W aproksymowanym odcinku tylko środkowa próbka jest zastępowana obliczoną aproksymacją. Następnie przesuwamy aproksymowane próbki na analizowanym przebiegu i dokonujemy kolejnej aproksymacji. 4 2 mtlb load mtlb % Load data smtlb = sgolayfilt(mtlb,3,41); % Apply 3rd-order filter subplot(2,1,1) plot([1:2000],mtlb(1:2000)); axis([ ]); title('mtlb'); grid; subplot(2,1,2) plot([1:2000],smtlb(1:2000)); axis([ ]); title('smtlb'); grid; smtlb

6 Transmisja video przez sieć Internet Można wyróżnić trzy główne obszary zastosowań transmisji video przez sieć Internet: E-Surveillance wykorzystanie istniejących systemów monitoringu CCTV z systemami IT przetwarzania i detekcji niebezpieczeństw. Web attractions prezentacja i aktualizacja w sieci obrazów w czasie rzeczywistym. Remote monitoring monitorowanie parametrów lub środowiska (procesy technologiczne, prace konstrukcyjne, domy inteligentne, itp.) podczas pracy w biurze lub domu. 186

7 Transmisja video przez sieć Internet Wykorzystuje się istniejące standardy kodowania sygnału video aby zredukować strumień przesyłanych danych. Następnie wykorzystuje się protokół transmisji dla sieci Internet aby zapisać dane w formie pakietów IP. Standardowy format pakietów jest stosowany do przesyłania strumienia video: Real-time Transport Protocol (RTP). Dodatkowo stosuje się RTP Control Protocol do oceny statystyki i kontroli przesyłu danych dla protokołu RTP. TCP/IP Network 187

8 Transmisja video przez sieć Internet Takie rozwiązanie wymaga sieci kamer z układami do kompresji danych oraz komputera obsługującego protokół transmisji TCP/IP. Kompuer posiadający adres IP można podłączyć bezpośrednio do sieci Internet, zapewniając transmisję video. Protokół RTP wymaga otwarcia sesji Session Description Protocol (SDP) która pozwala na przesył danych video (inicjalizacja parametrów, parametry techniczne strumienia video). Parametry dla protokołu RTP określane są nazwą media profile. 188

9 Transmisja video przez sieć Internet Ponad 60 różnych media profiles jest obecnie stosowanych: PCMU, GSM, G723, PCMA, L16, DVI4, CN, MPA (audio) JPEG, MPEG-2, MPEG-4, NV, H261, H264 (video) Group of Pictures (GoP) Video Sequence Slice Macroblock Picture (Frame) Block (8x8 pixels) Intra (I) frames, Predicted (P) Frames or Bidirectional (B) Frames. MPEG-2 używa typowo jedną I-ramkę po której następuje15 P/B ramek tworząc GoP. 189

10 Transmisja video przez sieć Internet Typowa struktura strumienia danych video/audio: PES Packetized Elementary Stream, SPH Stream Packet Header 190

11 Transmisja video przez sieć Internet Transport Stream (TS) strumień danych zawiera wszystkie typy danych: 191

12 Transmisja video przez sieć Internet Tak utworzony strumień danych oznacza: utrata pakietu oznacza wpływ na zawartość innych prawidłowo przesłanych pakietów propagacja błędów dla kolejnych pakietów może być bardzo znacząca dla ich jakości błędy w pakiecie oznaczają utratę ramki lub jej fragmentu utrata całego pakietu oznacza znaczącą degradację obrazu Single B-frame IP packet loss (1 frame affected) Single I-frame IP packet loss (14 frames affected) 192

13 Transmisja video przez sieć Internet Problemy podczas transmisji video są powodowane przez: kompresję (duża zmienność szybkości przesyłu informacji; wyztępowanie zależności między ramkami; niektóre ramki są bardziej istotne niż inne) czułość na utratę danych i opóźnienia transmisji (efekty powodowane utratą danych zależą od zawartości przesyłanych obrazów; można zastosować algorytmy ukrywania - concealment - błędów) Bez ukrywania błędów transmisji Ukrywanie błędów przez uśrednianie po sąsiednich blokach wartości utraconych pikseli 193

14 Transmisja video przez sieć Internet Problemy wynikające z transmisji bezprzewodowej: zakłócenia, utrata sygnału ograniczona liczba kanałów w pasmach ogólnodostępnych charakterystyka kanałów zmienia się dynamicznie dostęp do transmisji nie jest zdeterminowany (standard był oryginalnie przeznaczony dla danych) poruszanie się stacji odbiorczej synchronizacja danych między wykorzystywanymi strumieniami między audio odtwarzanym przez oddalone głośniki i sygnałem video między jednym strumieniem video i wieloma strumieniami audio 194

15 Modem DSL DSL to transceiver stosowany do połączenia komputera lub routera do sieci telefonicznej skonfigurowanej do obsługi transmisji cyfrowej. Urządzenie moduluje tony w.cz. celem uzyskania transmisji danych przez sieć telefoniczną. Transmisja jest razy szybsza niż w przypadku modemu pracującego w paśmie akustycznym; ADSL2+: 12 Mbits/s downstream, 3,5 Mbits/s upstream. 195

16 Modem DSL W modemie ADSL stosujemy pasmo ,825 khz dla transmisji upstream, a pasmo khz dla transmisji downstream. Każde z tych pasm jest dzielone na kanały transmisji o szerokości pasma 4,3125 khz. Podczas inicjalizacji modemu ADSL w każdym z takich kanałów określa się aktualną wartość signal-to-noise aby optymalizować jakość i szybkość transmisji. Kanały o gorszej wartości signal-to-noise są używane przy niższych prędkościach transmisji lub całkiem nie są używane; Takie podejście redukuje maksymalną szybkość transmisji ale utrzymuje wysoką jakość połączenia. 196

17 Modem DSL Różna wartość SNR w poszczególnych kanałach oznacza przyjęcie różnego marginesu SNR zapewniającego bezbłędną transmisję. W pierwszej fazie połączenia można ustalić wartości SNR dla transmisji modemem DSL, determinując rozkład transmisji danych w poszczególnych kanałach. Duża przyjęta wartość marginesu SNR oznacza redukcję maksymalnej prędkości transmisji, dzięki czemu transmisja i połączenie jest bardziej stabilne. Mała wartość marginesu SNR oznacza większą szybkość transmisji, zakładając że poziom szumu nie wzrośnie istotnie podczas transmisji powodując jej przerwanie i konieczność ponownej inicjacji. 197

18 Modem DSL Discrete Multitone Modulation (DMT) ten rodzaj modulacji jest używany do transmisji danych. Duża liczba blisko położonych ale ortogonalnych względem siebie sygnałów jest używana do przesyłu danych. Dane przesyłane są w kanałach równolegle. Każdy sygnał nośny w poszczególnym kanale jest modulowany według powszechnie stosowanych rodzajów modulacji (np. quadrature amplitude modulation, phase-shift keying) z niewysoką szybkością, utrzymując prędkość transmisji podobnie jak dla innych kanałów o tej samej szerokości pasma. 198

19 Modem DSL Dane wejściowe Framer CRC Scrambler FEC Encoder Interleaver Constellation Encoder Dane wyjściowe Interpolator Cyclic Prefix Insertion Gain Adjustment IFFT DMT Modulator Modulator wykorzystujący algorytm odwrotnej szybkiej transformaty Fouriera. Można użyć do transmisji maks. 127 nośnych (o częstotliwościach n f, n = 0 do 127, f = 4,3125 khz). Zwykle używa się ok. 97 nośnych/kanałów. Pomiary w kanale przed transmisją określają wartość n jak obowiązuje podczas przesyłania danych. 199

20 Algorytmy kodowania video Kodowanie video oznacza wzrost dostępności telewizji wysokiej rozdzielczości DVB-H standard transmisji video dla urządzeń przenośnych. Jeden 8-MHz kanał może dostarczyć kanałów video dla urządzeń o relatywnie małych ekranach. 200

21 Algorytmy kodowania video STANDARD APLIKACJA TRANSMISJA JPEG Kompresja obrazów zmienna H.261 ISDN telefon VOiP p x 64 kb/s MPEG-1 Video na nośnikach cyfrowych (CD-ROM) 1.5 Mb/s MPEG-2 Telewizja cyfrowa > 2 Mb/s H.263 Video-telefon PSTN < 33.6 kb/s MPEG-4 Kodowanie obiektów, elementy interaktywności zmienna H.264 Kodowanie telewizji standardu HD, HD-DVD, monitoring, video konferencje. zmienna 201

22 Algorytmy kodowania video Aplikacja Szybkość transmisji Bez kompresji Po kompresji Video konferencja 352 x 15 fps 30.4 Mbps kbps CD-ROM, Video 352 x 30 fps 60.8 Mbps Mbps Broadcast Video 720 x 30 fps Mbps 3-8 Mbps HDTV 1280 x 60 fps 1.33 Gbps 20 Mbps 202

23 Algorytmy kodowania video Historia powstawania standardów transmisji video 203

24 Algorytmy kodowania video Problemy kompresji obrazów Entropia miara informacji związana z losowym charakterem danych. Oczekiwana zawartość informacji w wiadomości (teoria Shanon a). 204

25 Algorytmy kodowania video Prawie bezstratne (Nearlossless): Słuchacz lub widz nie jest w stanie zidentyfikować niewielkich zmian w sygnale w wyniku kodowania. Kodowanie percepcyjne (Perceptual coding): Błędy kodowania są takiego typu aby wpływały jak najmniej na odbiór danych przez człowieka. Im większy stopień kompresji, to tym bardziej kodek musi naśladować sposób odbioru danych przez człowieka. 205

26 Algorytmy kodowania video Kodowanie redukuje nadmiarowość oraz zapis nieistotnej informacji Źródła nadmiarowości: czasowe sąsiednie ramki są podobne (skorelowane). przestrzenne przyległe piksele są podobne (skorelowane). przestrzeń kolorów komponenty RGB są ze sobą skorelowane. Przyczyny zapisu nieistotnej informacji: zapis informacji nieistotnej ze względu na sposób postrzegania obrazów przez człowieka. 206

27 Algorytmy kodowania video Standard kodowania określa: składnię strumienia danych, sposób dekodowania Takie podejście oznacza, że nowe algorytmy kodowania mogą być łatwo wprowadzane 207

28 Algorytmy kodowania video Struktura dla standardu MPEG 208

29 Algorytmy kodowania video Sposób podziału obrazu i kodowania DCT Zig-zag Quantize Run-length Code Huffman Code 209

30 Algorytmy kodowania video Sposób podziału obrazu i kodowania Oryginalny obraz DCT komponenty AC kodowanie Run-length Kod Huffman a komponent DC zigzag Kwantyzacja zakodowany strumień < 10 bits (0.55 bits/pixel) 210

31 Algorytmy kodowania video Utrata informacji o obrazie podczas kompresji bez kompresji (262 KB) po kompresji (22 KB, 12:1) po kompresji (6 KB, 43:1) 211

32 Algorytmy kodowania video Główne różnice w stosunku do kodowania obrazów: wykorzystanie nadmiarowości informacji w dziedzinie czasu przewiduje bieżącą ramkę na podstawie poprzednich wartości Typy kodowanych ramek: I-frame Intra-coded frame, kodowana niezależnie od wszystkich innych ramek P-frame Predictively coded frame, kodowana na podstawie poprzednio zakodowanych ramek B-frame Bi-directionally predicted frame, kodowana zarówno na podstawie poprzednich jak i przyszłych ramek 212

33 Algorytmy kodowania video Motion compensated prediction przewiduje bieżącą ramkę na podstawie ramki odniesienia z uwzględnieniem ruchu wybranych obiektów. Przykłady przewidywania treści ramek z uwzględnieniem kompensacji ruchu obiektów na obrazach dla ramek typu P oraz B. 213

34 Algorytmy kodowania video Schemat blokowy algorytmu kodowania sygnału video YUV color space 214

35 Algorytmy kodowania video Dekodowanie sygnału video 215

36 Algorytmy kodowania audio MP3 to opatentowany sposób stratnego kodowania sygnału audio. MP3 format audio zaproponowany przez grupę MPEG jako część standardu MPEG-1. Uzyskuje się kompresję powyżej 1:10 przy transmisji 128kbit/s Algorytm kompresji MPEG wykorzystuje właściwości słuchu ludzkiego podczas kodowania dźwięku (perceptual coding algorithm) Zakres częstotliwości dźwięku to 20 Hz - 20 khz, z uwzględnieniem najbardziej czułego zakresu 2-4 khz. Dynamika sygnału (stosunek najcichszego do najgłośniejszego sygnału) wynosi około 96 db Głos zajmuje pasmo typowo 500 Hz - 2 khz. Niskie częstotliwości -> samogłoski, basy, wysokie częstotliwości -> spółgłoski 216

37 Algorytmy kodowania audio Czułość ludzkiego słuchu (próg słyszalności) Maskowanie częstotliwości przez słuch ludzki 217

38 Algorytmy kodowania audio Czasowe maskowanie tonów. Po usłyszeniu głośnego tonu, dopiero po pewnej chwili od jego zaniku słyszymy bliskie tony. 218

39 Algorytmy kodowania audio Używamy filtry dzielący pasmo dźwięku na podpasma (np. 32 podpasma). Stosuje się bufor FIFO tworzący 512 próbek. Określamy próg maskowania sygnału dla poszczególnych podpasm używając modelu psychoakustycznego słuchu człowieka. Jeśli moc w zadanym paśmie jest poniżej progu, to tego podpasma nie koduje się. W przeciwnym przypadku określa się liczbę bitów niezbędną, aby zapisać współczynniki z dokładnością aby intensywność szumu kwantowania była poniżej progu detekcji. Format strumienia danych pokazano poniżej: 219

40 Algorytmy kodowania audio Po analizie, poziom dźwięku w pierwszych 16 z 32 podpasm wynoszą: Pasmo Poziom (db) Jeśli poziom 8-go pasma wynosi 60 db, to zgodnie z modelem słuchu dla 7-go pasma próg maskowania wynosi 12 db, a dla 9-go pasma 15 db. Poziom w paśmie 7 wynosi 10 db ( < 12 db ), dlatego nie kodujemy tego pasma. W paśmie 9 poziom wynosi 35 db (>15dB ), czyli kodujemy to pasmo. Ze względu na maskowanie zamiast 6 bitów możemy użyć 4 bitów, oszczędzając 2 bity. 220

41 Algorytmy kodowania audio Warstwa 1 filtracja według transformaty DCT dla pojedynczej ramki równe znaczenie składowych w poszczególnych pasmach model psychoakustyczny stosowany tylko do maskowania pasm. Warstwa 2 stosuje podczas filtracji trzy ramki jednocześnie poprzednia, aktualna i następna, razem 1152 próbek określa liczbę bitów do kodowania na podstawie wyników progowania Warstwa 3 (mp3) stosuje filtry różnicujące znaczenie składowych częstotliwościowych w paśmie (non-equal frequencies) model psychoakustyczny uwzględnia efekty czasowego maskowania dźwięków oraz nadmiarowość w zapisie sygnału stereo stosuje się kodowanie Huffman a 221

42 Algorytmy kodowania audio MPEG 2 wspiera kodowanie sygnału audio w standardzie wielokanałowym (5.1) wpłynął na sprzedaż odtwarzaczy DVD MPEG-4 bardziej efektywny, stosuje zmienny opis syntezowanej muzyki Uwzględnianie praw autorskich w plikach audio Przetwarzanie mowy wykorzystuje podobne techniki jak opisane wcześniej 222

43 CPS w aplikacjach multimedialnych Android system operacyjny na przenośne urządzenia; wspierany przez Google; jądro systemu bazuje na systemie Linux. Producent zapewnia bazowe oprogramowanie w postaci portów, które uniezależniają pracę programisty od sprzętu, co ogranicza konieczność testowania oprogramowania. Kilka reguł pozwala na efektywne przygotowywanie oprogramowania. 223

44 CPS w aplikacjach multimedialnych OpenMAX Integration Layer Aplikacje multimedialne w systemie Android wykorzystują komponent OpenMAX IL podczas tworzenia programów. Ten element określa warstwę integracyjną w formie abstrakcyjnego interfejsu dla kodeków implementowanych w formie programu lub wykorzystującego możliwości sprzętowe. OpenMAX IL ma zdolność "tunelowania" komunikacji między tymi komponentami. Systemy posiadające więcej niż jeden hardware owy element do przetwarzania (n.p. :DSP, FPGA), może być udoskonalany przez dystrybucję komponentów OpenMAX IL na innym sprzęcie, eliminując kosztowne zaangażowanie głównego procesora w obsługę buforów pomiędzy elementami dostępnego hardware u 224

45 CPS w aplikacjach multimedialnych OpenMAX Integration Layer; tunelowanie zawiera potencjał do redukcji wykorzystania zasobów CPU oraz redukcji ewentualnych opóźnień w realizacji zadań, co jest kluczowe np. podczas videokonferencji 225

46 CPS w aplikacjach multimedialnych Niektóre systemy mają poza procesorem DSP akcelerator przetwarzania video, co może znacząco zwiększyć możliwości CPU, szczególnie dla przetwarzania liczb zespolonych lub w bardziej złożonych algorytmach. Zadaniem jest takie przygotowanie aplikacji pisanej np. w języku JAVA bez szczegółowej wiedzy o układzie DSP. Dlatego określa się zasady Inter-Processor Communication do komunikacji między układami obliczeniowymi, stosując zależności typu master-slave pomiędzy DSP a głównym procesorem. Stosujemy strukturę nazywaną Remote Procedure Calls (RPC). 226

47 CPS w aplikacjach multimedialnych Obydwie części oprogramowania podzielono tak, aby zapewnić możliwie jak najbardziej niezakłócony przepływ danych 227

48 CPS w aplikacjach multimedialnych Przykład programowania w systemie Android dla ARM Core zawierającego DSP aby zredukować jego obciążenie, n.p. podczas kodowania według kodeka H

49 CPS w aplikacjach multimedialnych System Android wykorzystuje jądro systemu Linux, który dokonuje podziału pamięci na strony o wielkości 4,096-byte s na procesorze ARM. Taki podział zapobiega istotnie ograniczeniom w dostępie do pamięci przez DSP. Możliwości czasu Real-time capabilities Android bazuje na systemie Linux i dlatego, podobnie jak Linux nie jest systemem czasu rzeczywistego (Real-Time Operating System - RTOS). Zastosowanie Java virtual machine nie pomaga zbyt wiele. 229

50 CPS w aplikacjach multimedialnych W aplikacjach czasu rzeczywistego warto stosować User Interface (UI) lub główną aplikację uruchamianą na procesorze CPU i oddzielną aplikację wykonującą funkcje czasu rzeczywistego na oddzielnym module wykonawczym pracującym w środowisku typu RTOS. Dane mogą być przechowywane w czasie rzeczywistym przez odrębny moduł do obliczeń, przetwarzane tam, a następnie przesyłane do aplikacji pod systemem Android aby wyświetlić wyniki na UI lub zachować w inny sposób. Boot times System Android może startować niezależnie, rozpoczynając wcześniej komunikację z resztą urządzenia, nie stawiającą takich wymagań czasowych przy współpracy z interfejsem UI (n.p.: system monitorowania pracy silnika, pokazujący zużycie paliwa oraz warunki pracy silnika). 230

51 CPS w aplikacjach multimedialnych Power saving W urządzeniach z systemem Android, główny procesor, wyświetlacz oraz inne układy mogą być usypiane, pozostawiając włączone tylko krytyczne dla systemu procesy w trybie oszczędnym low-power CPU, np.: dla modułu ARM Cortex-M3. Taki stan pozwala na zachowanie krytycznej dla systemu komunikacji między elementami urządzenia, a jednocześnie urządzenie wydaje się praktycznie wyłączone. 231

52 Podsumowanie - kolokwium Główne tematy prezentowane podczas wykładu: próbkowanie nierównomierne analiza widmowa (parametryczna i nieparametryczna, wg. metod; ARMA, ME, Welch method) polispektra (n.p. bispectrum) rezonans stochastyczny i jego zastosowanie liniowa filtracja optymalne (wg. Wiener a, Kalman a) algorytmy filtracji adaptacyjnej metody redukcji zakłóceń w słuchawkach zasady działania modemu DSL kodowanie plików mp3, wykorzystanie modelu ludzkiego słuchu metody analizy czasowo-częstotliwościowej (rozdzielczość czas-częstotliwość, filtracja zmienna w czasie) metody odszumiania obrazów (falki, fraktale, wygładzanie wg. Savitzky-Golay, filtr medianowy, redukcja harmonicznych) algorytmy kodowania sygnału video (DCT, Quantization, Run-Length coding, Huffman coding) Protokół transmisji video przez sieć Internet metody przygotowywania aplikacji multimedialnych z algorytmami CPS (OpenMAX IL core, Remote Procedure Calls) 232