Podstawy kompresji stratnej+kwantyzacja

Podstawy kompresji stratnej + Kwantyzacja Kodowanie i kompresja informacji - Wykład 6 29 III 2010

Wprowadzenie Dla każdych danych istnieje wartość której nie można przekroczyć w trakcie kompresji. Im dane bardziej przypominaja ciag losowy tym trudniej je skompresować.

Wprowadzenie Dla każdych danych istnieje wartość której nie można przekroczyć w trakcie kompresji. Im dane bardziej przypominaja ciag losowy tym trudniej je skompresować. W kompresji stratnej oprócz średniej długości kodu musimy uwzględnić także miarę straty informacji zniekształcenie.

Wprowadzenie Dla każdych danych istnieje wartość której nie można przekroczyć w trakcie kompresji. Im dane bardziej przypominaja ciag losowy tym trudniej je skompresować. W kompresji stratnej oprócz średniej długości kodu musimy uwzględnić także miarę straty informacji zniekształcenie. Chcemy znaleźć algorytmy które maksymalnie kompresuja przy minimalnym zniekształceniu.

Kryteria oceny zniekształceń Czynnik ludzki czy można łatwo rozróżnić oryginał od zniekształconej kopii (ale ludzie maja różne zakresy postrzegania).

Kryteria oceny zniekształceń Czynnik ludzki czy można łatwo rozróżnić oryginał od zniekształconej kopii (ale ludzie maja różne zakresy postrzegania). Kwadratowa miara błędu. Niech {x n } oznacza ciag oryginalny a {y n } powstały w wyniku rekonstrukcji. d(x, y) = n (x n y n ) 2

Kryteria oceny zniekształceń Czynnik ludzki czy można łatwo rozróżnić oryginał od zniekształconej kopii (ale ludzie maja różne zakresy postrzegania). Kwadratowa miara błędu. Niech {x n } oznacza ciag oryginalny a {y n } powstały w wyniku rekonstrukcji. d(x, y) = n (x n y n ) 2 Bezwzględna miara błędu. d(x, y) = n x n y n

Kryteria oceny zniekształceń podstawowe pojęcia Bład średniokwadratowy (mean squared error - mse). σ 2 = 1 N N (x n y n ) 2 ) n=1

Kryteria oceny zniekształceń podstawowe pojęcia Bład średniokwadratowy (mean squared error - mse). σ 2 = 1 N N (x n y n ) 2 ) n=1 Stosunek sygnału do szumu (signal-to-noise ratio) SNR = 1 N N n=1 x 2 n mse

Kryteria oceny zniekształceń podstawowe pojęcia Bład średniokwadratowy (mean squared error - mse). σ 2 = 1 N N (x n y n ) 2 ) n=1 Stosunek sygnału do szumu (signal-to-noise ratio) SNR = 1 N N n=1 x 2 n mse Wartości SNR wyraża się często w skali logarytmicznej (decybelach) SNR(dB) = 10 log 10 SNR

Percepcja wzrokowa

Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce.

Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów:

Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów: pręciki - moc światła, około 120 mln, rozłożone w miarę równomiernie na całej siatkówce, przy silnym świetle częściowo uśpione,

Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów: pręciki - moc światła, około 120 mln, rozłożone w miarę równomiernie na całej siatkówce, przy silnym świetle częściowo uśpione, czopki - kolor światła, około 6,4 mln, skupione głównie w centrum, do aktywacji potrzeba setek fotonów, trzy rodzaje ze względu na kolory światła (czerwony R, zielony G, niebieski B).

Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów: pręciki - moc światła, około 120 mln, rozłożone w miarę równomiernie na całej siatkówce, przy silnym świetle częściowo uśpione, czopki - kolor światła, około 6,4 mln, skupione głównie w centrum, do aktywacji potrzeba setek fotonów, trzy rodzaje ze względu na kolory światła (czerwony R, zielony G, niebieski B). Obraz składany dopiero w mózgu (oko jako rodzaj filtra).

Absorpcja światła przez poszczególne typy czopków

Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej:

Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy),

Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony),

Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony), M 534nm (zielony).

Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony), M 534nm (zielony). Człowiek zauważa nawet bardzo niewielkie zmiany luminancji (natężenia światła) w aktywnym zakresie.

Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony), M 534nm (zielony). Człowiek zauważa nawet bardzo niewielkie zmiany luminancji (natężenia światła) w aktywnym zakresie. Duża rozdzielczość kolorów w zielonym, niewielka zmiana wrażenia koloru w niebieskim, czerwony to kolor alarmowy.

Kolory i luminancja (2) Percepcja Jeżeli dana scena jest oświetlona światłem o natężeniu I, a zapalimy punkt o innej intensywności, to różnica zostanie dostrzeżona dopiero wtedy, gdy: I I > 0, 02 (tzn. frakcja Webera). Możemy założyć, że wrażenie intensywności światła jest funkcja logarytmiczna.

Kolory i luminancja (3) Zakres natężenia światła Stosunek największego (bezpiecznego) do najmniejszego (dostrzeganego) natężenia światła to nawet 10 10 i choć w danej chwili oko przystosowuje się do pewnego, stosunkowo małego, podzakresu, to i tak jest to zwykle zdecydowanie więcej niż oferuja obecnie dostępne kamery (np. żeby zrobić zdjęcie obejmujace część zacieniona i niebo z widocznymi chmurami, zwykle potrzebujemy zastosować filtry połówkowe ).

Kolory i luminancja wnioski Do reprezentacji koloru potrzeba co najmniej trzech wartości. Ze względu na różnicę w percepcji kolorów oszczędniej zapamiętywać wartość luminancji (Y) oraz dwie składowe chrominancji (Cb/Cr) obliczone jako ważone kombinacje liniowe składowych RGB: Y = 77 R + 150G + 29 B, 256 256 256 Cb = 44 R 87 G + 131B + 128, 256 256 256 Cr = 131R 110G 21 B + 128. 256 256 256 R = Y + 1, 371(Cr 128), G = Y 0, 698(Cr 128) 0, 336(Cb 128), B = Y + 1, 732(Cb 128).

Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega:

Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego,

Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego, zmian o wysokiej częstotliwości i niewielkim natężeniu (rodzaj szumu),

Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego, zmian o wysokiej częstotliwości i niewielkim natężeniu (rodzaj szumu), dokładnej informacji o kolorze każdego piksela (np. wspólna informacja dla czterech),

Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego, zmian o wysokiej częstotliwości i niewielkim natężeniu (rodzaj szumu), dokładnej informacji o kolorze każdego piksela (np. wspólna informacja dla czterech),...

Percepcja słuchowa

Percepcja słuchowa Wibracje powietrza przetwarzane sa przez ucho na sygnały nerwowe.

Percepcja słuchowa Wibracje powietrza przetwarzane sa przez ucho na sygnały nerwowe. Subiektywna głośność dźwięku zależy również od częstotliwość (nie tylko od intensywności).

Percepcja słuchowa Wibracje powietrza przetwarzane sa przez ucho na sygnały nerwowe. Subiektywna głośność dźwięku zależy również od częstotliwość (nie tylko od intensywności). Dźwięki moga się nawzajem zagłuszać (maskować).

Narzad słuchu Człowiek słyszy dźwięki w zakresie od około 20Hz do około 20kHz (z wiekiem górna granica się obniża).

Narzad słuchu Człowiek słyszy dźwięki w zakresie od około 20Hz do około 20kHz (z wiekiem górna granica się obniża). Wrażliwość na dźwięk nie jest stała (wraz ze zmiana częstotliwości zmienia się próg słyszalności).

Efekt maskowania Aby zagłuszyć dany dźwięk, należy użyć szumu o zbliżonej częstotliwości (efekt maskowania), działa to oczywiście także w druga stronę (nie słyszymy słabych dźwięków, o zbliżonej częstotliwości).

Efekt maskowania Aby zagłuszyć dany dźwięk, należy użyć szumu o zbliżonej częstotliwości (efekt maskowania), działa to oczywiście także w druga stronę (nie słyszymy słabych dźwięków, o zbliżonej częstotliwości). Skoro ich nie można usłyszeć, to po co je kodować...

Efekt maskowania Aby zagłuszyć dany dźwięk, należy użyć szumu o zbliżonej częstotliwości (efekt maskowania), działa to oczywiście także w druga stronę (nie słyszymy słabych dźwięków, o zbliżonej częstotliwości). Skoro ich nie można usłyszeć, to po co je kodować... Pomysł: dzielimy dźwięk na pasma, wyrzucamy to, czego nie da się usłyszeć i kodujemy pasma oddzielnie.

Efekt maskowania (2) Definition (Bark) Na potrzeby określenia szerokości pasma krytycznego zdefiniowana została nowa jednostka: 1Bark = { f 100 9 + 4 log 2 f 1000 dla f < 500Hz dla f 500Hz

Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }.

Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }.

Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }. Entropię warunkowa dla alfabetu wejściowego określamy wzorem N 1 H(X Y ) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(x i y j )

Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }. Entropię warunkowa dla alfabetu wejściowego określamy wzorem N 1 H(X Y ) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(x i y j ) Entropię warunkowa dla alfabetu rekonstrukcji określamy wzorem N 1 H(Y X) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(y j x i )

Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }. Entropię warunkowa dla alfabetu wejściowego określamy wzorem N 1 H(X Y ) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(x i y j ) Entropię warunkowa dla alfabetu rekonstrukcji określamy wzorem N 1 H(Y X) = i=0 M 1 j=0 Można pokazać, że H(X Y ) H(X). P(x i y j )P(y j ) log P(y j x i )

Przykład Niech alfabetem źródłowym będa liczby czterobitowe.

Przykład Niech alfabetem źródłowym będa liczby czterobitowe. Koder usuwa najmniej znaczacy bit, stad alfabetem rekonstrukcji sa tylko parzyste liczby czterobitowe.

Przykład Niech alfabetem źródłowym będa liczby czterobitowe. Koder usuwa najmniej znaczacy bit, stad alfabetem rekonstrukcji sa tylko parzyste liczby czterobitowe. Jeśli wszystkie wartości alfabetu źródłowego sa jednakowo prawdopodobne to H(X) = 4.

Przykład Niech alfabetem źródłowym będa liczby czterobitowe. Koder usuwa najmniej znaczacy bit, stad alfabetem rekonstrukcji sa tylko parzyste liczby czterobitowe. Jeśli wszystkie wartości alfabetu źródłowego sa jednakowo prawdopodobne to H(X) = 4. Prawdopodobieństwa znaków alfabetu rekonstrukcji wynosza P(Y = j) = P(X = j) + P(X = j + 1) = 0.125.

Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p.

Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p. Stad mamy, że H(X Y ) = 1.

Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p. Stad mamy, że H(X Y ) = 1. Prawdopodobieństwo warunkowe P(y j x i ) na podstawie działania kodera możemy określić jako { 1 gdy i = j lub i = j + 1 P(Y = j X = i) = 0 w p.p.

Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p. Stad mamy, że H(X Y ) = 1. Prawdopodobieństwo warunkowe P(y j x i ) na podstawie działania kodera możemy określić jako { 1 gdy i = j lub i = j + 1 P(Y = j X = i) = 0 w p.p. Stad H(Y X) = 0.

Średnia informacja wzajemna Średnia informację wzajemna określimy wzorem N 1 I(X; Y ) = i=0 M 1 j=0 P(x i y i )P(y i ) log [ ] P(xi y j ) P(x i )

Średnia informacja wzajemna Średnia informację wzajemna określimy wzorem N 1 I(X; Y ) = i=0 M 1 j=0 P(x i y i )P(y i ) log Po przekształceniach możemy uzyskać I(X; Y ) = H(X) H(X Y ) [ ] P(xi y j ) P(x i )

Średnia informacja wzajemna Średnia informację wzajemna określimy wzorem N 1 I(X; Y ) = i=0 M 1 j=0 P(x i y i )P(y i ) log Po przekształceniach możemy uzyskać I(X; Y ) = H(X) H(X Y ) [ ] P(xi y j ) P(x i ) Dla poprzedniego przykładu mamy więc I(X; Y ) = 3.

Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu.

Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe?

Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0.

Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0. Weźmy ciagł a zmienna losowa X o funkcji gęstości rozkładu f X (x).

Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0. Weźmy ciagł a zmienna losowa X o funkcji gęstości rozkładu f X (x). Dzielimy zakres wartości X na podprzedziały o rozmiarze.

Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0. Weźmy ciagł a zmienna losowa X o funkcji gęstości rozkładu f X (x). Dzielimy zakres wartości X na podprzedziały o rozmiarze. Dla każdego przedziału [(i 1), i ) istnieje liczba x i taka, że f X (x i ) = i (i 1) f X (x) dx

Entropia różniczkowa Definiujemy dyskretna zmienna losowa X d o rozkładzie P(X d = x i ) = f X (x i ).

Entropia różniczkowa Definiujemy dyskretna zmienna losowa X d o rozkładzie P(X d = x i ) = f X (x i ). Entropia tej zmiennej jest równa H(X d ) = P(x i ) log P(x i ) = i= [f X (x i ) log f X (x i )] log i=

Entropia różniczkowa Definiujemy dyskretna zmienna losowa X d o rozkładzie P(X d = x i ) = f X (x i ). Entropia tej zmiennej jest równa H(X d ) = P(x i ) log P(x i ) = i= [f X (x i ) log f X (x i )] log i= Entropia różniczkowa nazywamy h(x) = lim [f X (x i ) log f X (x i )] = 0 i= f X (x) log f X (x) dx

Przykład Niech X będzie zmienna losowa o rozkładzie jednostajnym na przedziale [a, b).

Przykład Niech X będzie zmienna losowa o rozkładzie jednostajnym na przedziale [a, b). Wtedy h(x) = = b a f X (x) log f X (x) dx 1 b a log 1 dx = log(b a) b a

Przykład Niech X będzie zmienna losowa o rozkładzie jednostajnym na przedziale [a, b). Wtedy h(x) = = b a f X (x) log f X (x) dx 1 b a log 1 dx = log(b a) b a Entropia różniczkowa może być ujemna, np. gdy b a < 1.

Modele probabilistyczne Ogólna charakterystyka źródła danych. Szukamy ładnego rozkładu prawdopodobieństwa który jest najbliższy rozkładowi danych.

Modele probabilistyczne Ogólna charakterystyka źródła danych. Szukamy ładnego rozkładu prawdopodobieństwa który jest najbliższy rozkładowi danych. Rozkład jednostajny na przedziale [a, b]. f X (x) = { 1 b a dla a x b 0 w przeciwnym przypadku

Modele probabilistyczne Ogólna charakterystyka źródła danych. Szukamy ładnego rozkładu prawdopodobieństwa który jest najbliższy rozkładowi danych. Rozkład jednostajny na przedziale [a, b]. f X (x) = { 1 b a dla a x b 0 w przeciwnym przypadku Rozkład Gaussa o wartości oczekiwanej µ i wariancji σ 2 1 (x µ) 2 f X (x) = e 2σ 2 2πσ 2

Modele probabilistyczne Rozkład Laplace a o wartości oczekiwanej 0 i wariancji σ 2 (duże wzniesienie w zerze) f X (x) = 1 2x 2σ 2 e σ

Modele probabilistyczne Rozkład Laplace a o wartości oczekiwanej 0 i wariancji σ 2 (duże wzniesienie w zerze) f X (x) = 1 2x 2σ 2 e σ Rozkład Gamma o wartości oczekiwanej 0 i wariancji σ 2 (jeszcze większe wzniesienie w zerze) f X (x) = 4 3 e 3 x 2σ 8πσ x

Modele probabilistyczne

Modele liniowe i fizyczne Model liniowy jest opisany równaniem x n = N a i x n i + i 1 M b j ɛ n j + ɛ n j=1 gdzie ɛ n - ciag wartości białego szumu.

Modele liniowe i fizyczne Model liniowy jest opisany równaniem x n = N a i x n i + i 1 M b j ɛ n j + ɛ n j=1 gdzie ɛ n - ciag wartości białego szumu. Modele fizyczne opieraja się na mechanizmach powstawania danych.

Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego.

Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania:

Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania: kodujace dzieli zbiór wartości na pewna liczbę podprzedziałów, każdy przedział reprezentowany przez inne słowo kodowe (proces nieodwracalny).

Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania: kodujace dzieli zbiór wartości na pewna liczbę podprzedziałów, każdy przedział reprezentowany przez inne słowo kodowe (proces nieodwracalny). dekodujace na podstawie słowa kodowego zwraca wartość najlepiej reprezentujac a kodowany przedział.

Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania: kodujace dzieli zbiór wartości na pewna liczbę podprzedziałów, każdy przedział reprezentowany przez inne słowo kodowe (proces nieodwracalny). dekodujace na podstawie słowa kodowego zwraca wartość najlepiej reprezentujac a kodowany przedział. Strata dokładności danych ale ułatwione kompresowanie.

Przykład Dla źródła generujacego liczby rzeczywiste z przedziału od -10 do 10 zastępujemy każda liczbę jej zaokragleniem do liczby całkowitej.

Przykład Dla źródła generujacego liczby rzeczywiste z przedziału od -10 do 10 zastępujemy każda liczbę jej zaokragleniem do liczby całkowitej. Redukcja nieskończonego alfabetu do 21 elementowego.

Przykład Dla źródła generujacego liczby rzeczywiste z przedziału od -10 do 10 zastępujemy każda liczbę jej zaokragleniem do liczby całkowitej. Redukcja nieskończonego alfabetu do 21 elementowego. Kwantyzacja jednostajna każdy przedział (poza dwoma skrajnymi) ma taka sama długość.

Przykład

Przykład

Kwantyzacja skalarna Kwantyzacja musi uwzględniać rodzaj danych - ich rozkład.

Kwantyzacja skalarna Kwantyzacja musi uwzględniać rodzaj danych - ich rozkład. Konstruujac kwantyzację musimy uwzględnić rozkład danych tak aby przedstawiciele danych obejmowali mniej więcej równe zakresy danych.

Kwantyzacja skalarna Kwantyzacja musi uwzględniać rodzaj danych - ich rozkład. Konstruujac kwantyzację musimy uwzględnić rozkład danych tak aby przedstawiciele danych obejmowali mniej więcej równe zakresy danych. Szukamy optymalnych wartości granicznych przedziałów i poziomu rekonstrukcji (ilości przedziałów).

Przykład Jeśli w jednym z poprzednich przykładów 90% wartości pojawiałoby się w przedziale od -1 do 1 to zaokraglenie do najbliższej liczby całkowitej nie byłoby właściwe.

Przykład Jeśli w jednym z poprzednich przykładów 90% wartości pojawiałoby się w przedziale od -1 do 1 to zaokraglenie do najbliższej liczby całkowitej nie byłoby właściwe. Dla przedziału od -1 do 1 lepiej by było zaokraglać z dokładnościa do 1/10 (o wiele mniejsza strata informacji).

Przykład Jeśli w jednym z poprzednich przykładów 90% wartości pojawiałoby się w przedziale od -1 do 1 to zaokraglenie do najbliższej liczby całkowitej nie byłoby właściwe. Dla przedziału od -1 do 1 lepiej by było zaokraglać z dokładnościa do 1/10 (o wiele mniejsza strata informacji). Dostajemy kwantyzację niejednostajna różne długości przedziałów.

Miary kwantyzacji Średniokwadratowy bład kwantyzacji Średnia z kwadratów różnic między wejściem kodera a wyjściem dekodera. Jeśli Q operacja kwantyzacji i Q(x) = y i b i 1 < x b i to σ 2 q = = i bi (x Q(x)) 2 f X (x) dx b i 1 (x y i ) 2 f X (x) dx

Miary kwantyzacji Średniokwadratowy bład kwantyzacji Średnia z kwadratów różnic między wejściem kodera a wyjściem dekodera. Jeśli Q operacja kwantyzacji i Q(x) = y i b i 1 < x b i to σ 2 q = = i bi (x Q(x)) 2 f X (x) dx b i 1 (x y i ) 2 f X (x) dx Średnia bitowa kwantyzatora Średnia liczba bitów potrzebna do reprezentowania jednej danej wynikowej kwantyzatora.

Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny

Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość.

Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie.

Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie. Stosowany najczęściej do rozkładów jednostajnych oraz obrazów (redukcja barw przez obcięcie najmniej znaczacych bitów).

Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie. Stosowany najczęściej do rozkładów jednostajnych oraz obrazów (redukcja barw przez obcięcie najmniej znaczacych bitów). Kwantyzacja nierównomierna

Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie. Stosowany najczęściej do rozkładów jednostajnych oraz obrazów (redukcja barw przez obcięcie najmniej znaczacych bitów). Kwantyzacja nierównomierna Podział na przedziały w taki sposób aby każdy przedział miał podobne prawdopodobieństwo wystapienia (przedziały maja różna długość).

Kwantyzator ze skokiem w zerze (midrise quantizer)

Kwantyzator stały w zerze (midtread quantizer)

Kwantyzator równomierny, rozkład jednostajny Dla kwantyzatora równomiernego i źródła jednostajnego bład kwantyzacji możemy określić w następujacy sposób: gdzie = 2Xmax jest wielkościa kroku kwantyzacji, a M M liczba przedziałów kwantyzacji.

Kwantyzator równomierny, rozkład jednostajny (2) Bład kwantyzacji możemy obliczyć w następujacy sposób (wykorzystujac symetrię): σ 2 q = 2 M 2 i=1 i (i 1) ( x 2i 1 ) 1 dx. 2 2X max Możemy także policzyć bład badajac różnicę q = x Q(x) (gdzie Q(x) jest wartościa rekonstrukcji dla x), wtedy: σ 2 q = 1 (obliczenia jako zadanie) 2 2 q 2 dq = 2 12.

Kwantyzator równomierny, rozkład jednostajny (3) Jak wyglada SNR przy = 2Xmax M (M = 2 n )? SNR(dB) = σs 2 10 log 10 σq 2 = 10 log 10 M 2 i wariancji σ2 = 2Xmax 12 = 20 log 10 2 n 6, 02ndB. Zatem dla każdego dodatkowego bitu kwantyzatora mamy wzrost SNR o 6, 02dB.

Kwantyzator równomierny, rozkład niejednostajny

Kwantyzator równomierny, rozkład niejednostajny (2) W przypadku kwantyzacji równomiernej dla danych o rozkładzie innym niż jednostajny można policzyć optymalna liczbę przedziałów kwantyzacji M oraz wielkość parametru. Zalety: proste obliczenia (wystarczy wariancja), proste przetwarzanie (nie trzeba nawet pamiętać granic decyzyjnych).

Kwantyzator równomierny, rozkład niejednostajny (2) W przypadku kwantyzacji równomiernej dla danych o rozkładzie innym niż jednostajny można policzyć optymalna liczbę przedziałów kwantyzacji M oraz wielkość parametru. Zalety: proste obliczenia (wystarczy wariancja), proste przetwarzanie (nie trzeba nawet pamiętać granic decyzyjnych). Wady: stosunkowo duży bład kwantyzacji przy zadanej średniej bitowej, w sytuacji zmieniajacego się (lub nieznanego) rozkładu dodatkowe problemy.

Kwantyzator równomierny, rozkład niejednostajny (2) W przypadku kwantyzacji równomiernej dla danych o rozkładzie innym niż jednostajny można policzyć optymalna liczbę przedziałów kwantyzacji M oraz wielkość parametru. Zalety: proste obliczenia (wystarczy wariancja), proste przetwarzanie (nie trzeba nawet pamiętać granic decyzyjnych). Wady: stosunkowo duży bład kwantyzacji przy zadanej średniej bitowej, w sytuacji zmieniajacego się (lub nieznanego) rozkładu dodatkowe problemy. Rozwiazania problemu: kwantyzacja nierównomierna, kwantyzacja z kompanderem (szczególnie wtedy, kiedy znamy rozkład), kwantyzacja adaptacyjna (jeżeli rozkład się zmienia).

Kwantyzator równomierny, rozkład niejednostajny (3) Jak wyznaczyć parametr? Badamy extremum funkcji (f X to funkcja gęstości rozkładu): σ 2 = 2 M 2 1 i +2 i=1 (i 1) ( M 2 1) ( ( x 2i 1 2 ) f X (x)dx 2 x M 1 2 ) f X (x)dx. 2 Łatwo zauważyć, że jeden z członów odpowiada za bład ziarnisty, a drugi za bład nadmiaru. Co się stanie jak wariancja nie będzie dobrze określona?

Kwantyzator równomierny, rozkład niejednostajny (4)

Kwantyzator nierównomierny

Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna

Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna Dostosowanie kwantyzatora do statystyk danych wejściowych.

Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna Dostosowanie kwantyzatora do statystyk danych wejściowych. Kwantyzacja adaptacyjna w przód dane dzielone na bloki, bloki analizowane i kwantyzowane osobno, przesyłamy dodatkowe informacje o rodzaju kwantyzacji.

Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna Dostosowanie kwantyzatora do statystyk danych wejściowych. Kwantyzacja adaptacyjna w przód dane dzielone na bloki, bloki analizowane i kwantyzowane osobno, przesyłamy dodatkowe informacje o rodzaju kwantyzacji. Kwantyzacja adaptacyjna wstecz dostosowujemy kwantyzację w oparciu o wyniki kwantyzatora (zmieniamy ilość i wielkość przedziałów kwantyzacji kwantyzator Jayanta).

Kwantyzacja adaptacyjna w przód Zakładamy, że wartość średnia wejścia jest równa zero.

Kwantyzacja adaptacyjna w przód Zakładamy, że wartość średnia wejścia jest równa zero. Na podstawie bloku N kolejnych próbek (w chwili t) szacujemy wariancję źródła: ˆσ 2 q = 1 N N 1 xt+i 2. i=0

Kwantyzacja adaptacyjna w przód Zakładamy, że wartość średnia wejścia jest równa zero. Na podstawie bloku N kolejnych próbek (w chwili t) szacujemy wariancję źródła: ˆσ 2 q = 1 N N 1 xt+i 2. i=0 Przesyłamy (skwantyzowana) informację o wariancji do dekodera.

Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej).

Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ).

Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ). Mnożniki przedziałów wewnętrznych < 1 a zewnętrznych > 1.

Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ). Mnożniki przedziałów wewnętrznych < 1 a zewnętrznych > 1. Jeżeli w kroku n 1 próbka wpadła do przedziału l(n a) to parametr dla następnego kroku obliczamy jako: n = M l(n 1) n 1.

Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ). Mnożniki przedziałów wewnętrznych < 1 a zewnętrznych > 1. Jeżeli w kroku n 1 próbka wpadła do przedziału l(n a) to parametr dla następnego kroku obliczamy jako: n = M l(n 1) n 1. Jeżeli wejście jest dobrze dopasowane, to iloczyn kolejnych współczynników powinien być równy zero.

Poziomy wyjściowe kwantyzatora Jayanta

Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny)

Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny) Rozwiazanie:

Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny) Rozwiazanie: Przed kwantyzacja przekształcamy dane wejściowe za pomoca pewnej funkcji.

Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny) Rozwiazanie: Przed kwantyzacja przekształcamy dane wejściowe za pomoca pewnej funkcji. Po rekonstrukcji przekształcamy wartości zrekonstruowane za pomoca funkcji odwrotnej.

Kompresor, kwantyzator jednorodny i expander