Podstawy kompresji stratnej+kwantyzacja

Transkrypt

1 Podstawy kompresji stratnej + Kwantyzacja Kodowanie i kompresja informacji - Wykład 6 29 III 2010

2 Wprowadzenie Dla każdych danych istnieje wartość której nie można przekroczyć w trakcie kompresji. Im dane bardziej przypominaja ciag losowy tym trudniej je skompresować.

3 Wprowadzenie Dla każdych danych istnieje wartość której nie można przekroczyć w trakcie kompresji. Im dane bardziej przypominaja ciag losowy tym trudniej je skompresować. W kompresji stratnej oprócz średniej długości kodu musimy uwzględnić także miarę straty informacji zniekształcenie.

4 Wprowadzenie Dla każdych danych istnieje wartość której nie można przekroczyć w trakcie kompresji. Im dane bardziej przypominaja ciag losowy tym trudniej je skompresować. W kompresji stratnej oprócz średniej długości kodu musimy uwzględnić także miarę straty informacji zniekształcenie. Chcemy znaleźć algorytmy które maksymalnie kompresuja przy minimalnym zniekształceniu.

5 Kryteria oceny zniekształceń Czynnik ludzki czy można łatwo rozróżnić oryginał od zniekształconej kopii (ale ludzie maja różne zakresy postrzegania).

6 Kryteria oceny zniekształceń Czynnik ludzki czy można łatwo rozróżnić oryginał od zniekształconej kopii (ale ludzie maja różne zakresy postrzegania). Kwadratowa miara błędu. Niech {x n } oznacza ciag oryginalny a {y n } powstały w wyniku rekonstrukcji. d(x, y) = n (x n y n ) 2

7 Kryteria oceny zniekształceń Czynnik ludzki czy można łatwo rozróżnić oryginał od zniekształconej kopii (ale ludzie maja różne zakresy postrzegania). Kwadratowa miara błędu. Niech {x n } oznacza ciag oryginalny a {y n } powstały w wyniku rekonstrukcji. d(x, y) = n (x n y n ) 2 Bezwzględna miara błędu. d(x, y) = n x n y n

8 Kryteria oceny zniekształceń podstawowe pojęcia Bład średniokwadratowy (mean squared error - mse). σ 2 = 1 N N (x n y n ) 2 ) n=1

9 Kryteria oceny zniekształceń podstawowe pojęcia Bład średniokwadratowy (mean squared error - mse). σ 2 = 1 N N (x n y n ) 2 ) n=1 Stosunek sygnału do szumu (signal-to-noise ratio) SNR = 1 N N n=1 x 2 n mse

10 Kryteria oceny zniekształceń podstawowe pojęcia Bład średniokwadratowy (mean squared error - mse). σ 2 = 1 N N (x n y n ) 2 ) n=1 Stosunek sygnału do szumu (signal-to-noise ratio) SNR = 1 N N n=1 x 2 n mse Wartości SNR wyraża się często w skali logarytmicznej (decybelach) SNR(dB) = 10 log 10 SNR

11 Percepcja wzrokowa

12 Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce.

13 Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów:

14 Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów: pręciki - moc światła, około 120 mln, rozłożone w miarę równomiernie na całej siatkówce, przy silnym świetle częściowo uśpione,

15 Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów: pręciki - moc światła, około 120 mln, rozłożone w miarę równomiernie na całej siatkówce, przy silnym świetle częściowo uśpione, czopki - kolor światła, około 6,4 mln, skupione głównie w centrum, do aktywacji potrzeba setek fotonów, trzy rodzaje ze względu na kolory światła (czerwony R, zielony G, niebieski B).

16 Percepcja wzrokowa Oko ludzkie: zespół soczewek i receptorów umieszczonych na siatkówce. Dwa typy receptorów: pręciki - moc światła, około 120 mln, rozłożone w miarę równomiernie na całej siatkówce, przy silnym świetle częściowo uśpione, czopki - kolor światła, około 6,4 mln, skupione głównie w centrum, do aktywacji potrzeba setek fotonów, trzy rodzaje ze względu na kolory światła (czerwony R, zielony G, niebieski B). Obraz składany dopiero w mózgu (oko jako rodzaj filtra).

17 Absorpcja światła przez poszczególne typy czopków

18 Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej:

19 Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy),

20 Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony),

21 Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony), M 534nm (zielony).

22 Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony), M 534nm (zielony). Człowiek zauważa nawet bardzo niewielkie zmiany luminancji (natężenia światła) w aktywnym zakresie.

23 Kolory i luminancja Wrażenie intensywności koloru zależy nie tylko od rzeczywistego natężenia promieniowania, ale także od różnicy pomiędzy rzeczywista długościa fali, a długościa charakterystyczna do komórki światłoczułej: S 420nm (fioletowy), L 564nm (żółtawo-zielony), M 534nm (zielony). Człowiek zauważa nawet bardzo niewielkie zmiany luminancji (natężenia światła) w aktywnym zakresie. Duża rozdzielczość kolorów w zielonym, niewielka zmiana wrażenia koloru w niebieskim, czerwony to kolor alarmowy.

24 Kolory i luminancja (2) Percepcja Jeżeli dana scena jest oświetlona światłem o natężeniu I, a zapalimy punkt o innej intensywności, to różnica zostanie dostrzeżona dopiero wtedy, gdy: I I > 0, 02 (tzn. frakcja Webera). Możemy założyć, że wrażenie intensywności światła jest funkcja logarytmiczna.

25 Kolory i luminancja (3) Zakres natężenia światła Stosunek największego (bezpiecznego) do najmniejszego (dostrzeganego) natężenia światła to nawet i choć w danej chwili oko przystosowuje się do pewnego, stosunkowo małego, podzakresu, to i tak jest to zwykle zdecydowanie więcej niż oferuja obecnie dostępne kamery (np. żeby zrobić zdjęcie obejmujace część zacieniona i niebo z widocznymi chmurami, zwykle potrzebujemy zastosować filtry połówkowe ).

26 Kolory i luminancja wnioski Do reprezentacji koloru potrzeba co najmniej trzech wartości. Ze względu na różnicę w percepcji kolorów oszczędniej zapamiętywać wartość luminancji (Y) oraz dwie składowe chrominancji (Cb/Cr) obliczone jako ważone kombinacje liniowe składowych RGB: Y = 77 R + 150G + 29 B, Cb = 44 R 87 G + 131B + 128, Cr = 131R 110G 21 B R = Y + 1, 371(Cr 128), G = Y 0, 698(Cr 128) 0, 336(Cb 128), B = Y + 1, 732(Cb 128).

27 Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega:

28 Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego,

29 Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego, zmian o wysokiej częstotliwości i niewielkim natężeniu (rodzaj szumu),

30 Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego, zmian o wysokiej częstotliwości i niewielkim natężeniu (rodzaj szumu), dokładnej informacji o kolorze każdego piksela (np. wspólna informacja dla czterech),

31 Reprezentacja kolorów wnioski Colors are only symbols. Reality is to be found in luminance alone. (Pablo Picasso) Nie warto dokładnie pamiętać zmian, których człowiek nie dostrzega: niewielkich zmian w kolorze niebieskim czy w odcieniach czerwonego, zmian o wysokiej częstotliwości i niewielkim natężeniu (rodzaj szumu), dokładnej informacji o kolorze każdego piksela (np. wspólna informacja dla czterech),...

32 Percepcja słuchowa

33 Percepcja słuchowa Wibracje powietrza przetwarzane sa przez ucho na sygnały nerwowe.

34 Percepcja słuchowa Wibracje powietrza przetwarzane sa przez ucho na sygnały nerwowe. Subiektywna głośność dźwięku zależy również od częstotliwość (nie tylko od intensywności).

35 Percepcja słuchowa Wibracje powietrza przetwarzane sa przez ucho na sygnały nerwowe. Subiektywna głośność dźwięku zależy również od częstotliwość (nie tylko od intensywności). Dźwięki moga się nawzajem zagłuszać (maskować).

36 Narzad słuchu Człowiek słyszy dźwięki w zakresie od około 20Hz do około 20kHz (z wiekiem górna granica się obniża).

37 Narzad słuchu Człowiek słyszy dźwięki w zakresie od około 20Hz do około 20kHz (z wiekiem górna granica się obniża). Wrażliwość na dźwięk nie jest stała (wraz ze zmiana częstotliwości zmienia się próg słyszalności).

38 Efekt maskowania Aby zagłuszyć dany dźwięk, należy użyć szumu o zbliżonej częstotliwości (efekt maskowania), działa to oczywiście także w druga stronę (nie słyszymy słabych dźwięków, o zbliżonej częstotliwości).

39 Efekt maskowania Aby zagłuszyć dany dźwięk, należy użyć szumu o zbliżonej częstotliwości (efekt maskowania), działa to oczywiście także w druga stronę (nie słyszymy słabych dźwięków, o zbliżonej częstotliwości). Skoro ich nie można usłyszeć, to po co je kodować...

40 Efekt maskowania Aby zagłuszyć dany dźwięk, należy użyć szumu o zbliżonej częstotliwości (efekt maskowania), działa to oczywiście także w druga stronę (nie słyszymy słabych dźwięków, o zbliżonej częstotliwości). Skoro ich nie można usłyszeć, to po co je kodować... Pomysł: dzielimy dźwięk na pasma, wyrzucamy to, czego nie da się usłyszeć i kodujemy pasma oddzielnie.

41 Efekt maskowania (2) Definition (Bark) Na potrzeby określenia szerokości pasma krytycznego zdefiniowana została nowa jednostka: 1Bark = { f log 2 f 1000 dla f < 500Hz dla f 500Hz

42 Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }.

43 Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }.

44 Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }. Entropię warunkowa dla alfabetu wejściowego określamy wzorem N 1 H(X Y ) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(x i y j )

45 Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }. Entropię warunkowa dla alfabetu wejściowego określamy wzorem N 1 H(X Y ) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(x i y j ) Entropię warunkowa dla alfabetu rekonstrukcji określamy wzorem N 1 H(Y X) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(y j x i )

46 Entropia warunkowa X - zmienna losowa przyjmujaca wartości z alfabetu źródłowego {x 0, x 1,..., x N 1 }. Y - zmienna losowa przyjmujaca wartości z alfabetu rekonstrukcji {y 0, y 1,..., y M 1 }. Entropię warunkowa dla alfabetu wejściowego określamy wzorem N 1 H(X Y ) = i=0 M 1 j=0 P(x i y j )P(y j ) log P(x i y j ) Entropię warunkowa dla alfabetu rekonstrukcji określamy wzorem N 1 H(Y X) = i=0 M 1 j=0 Można pokazać, że H(X Y ) H(X). P(x i y j )P(y j ) log P(y j x i )

47 Przykład Niech alfabetem źródłowym będa liczby czterobitowe.

48 Przykład Niech alfabetem źródłowym będa liczby czterobitowe. Koder usuwa najmniej znaczacy bit, stad alfabetem rekonstrukcji sa tylko parzyste liczby czterobitowe.

49 Przykład Niech alfabetem źródłowym będa liczby czterobitowe. Koder usuwa najmniej znaczacy bit, stad alfabetem rekonstrukcji sa tylko parzyste liczby czterobitowe. Jeśli wszystkie wartości alfabetu źródłowego sa jednakowo prawdopodobne to H(X) = 4.

50 Przykład Niech alfabetem źródłowym będa liczby czterobitowe. Koder usuwa najmniej znaczacy bit, stad alfabetem rekonstrukcji sa tylko parzyste liczby czterobitowe. Jeśli wszystkie wartości alfabetu źródłowego sa jednakowo prawdopodobne to H(X) = 4. Prawdopodobieństwa znaków alfabetu rekonstrukcji wynosza P(Y = j) = P(X = j) + P(X = j + 1) =

51 Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p.

52 Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p. Stad mamy, że H(X Y ) = 1.

53 Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p. Stad mamy, że H(X Y ) = 1. Prawdopodobieństwo warunkowe P(y j x i ) na podstawie działania kodera możemy określić jako { 1 gdy i = j lub i = j + 1 P(Y = j X = i) = 0 w p.p.

54 Przykład cd. Prawdopodobieństwo warunkowe P(x i y j ) na podstawie działania kodera możemy określić jako { 1/2 gdy i = j lub i = j + 1 P(X = i Y = j) = 0 w p.p. Stad mamy, że H(X Y ) = 1. Prawdopodobieństwo warunkowe P(y j x i ) na podstawie działania kodera możemy określić jako { 1 gdy i = j lub i = j + 1 P(Y = j X = i) = 0 w p.p. Stad H(Y X) = 0.

55 Średnia informacja wzajemna Średnia informację wzajemna określimy wzorem N 1 I(X; Y ) = i=0 M 1 j=0 P(x i y i )P(y i ) log [ ] P(xi y j ) P(x i )

56 Średnia informacja wzajemna Średnia informację wzajemna określimy wzorem N 1 I(X; Y ) = i=0 M 1 j=0 P(x i y i )P(y i ) log Po przekształceniach możemy uzyskać I(X; Y ) = H(X) H(X Y ) [ ] P(xi y j ) P(x i )

57 Średnia informacja wzajemna Średnia informację wzajemna określimy wzorem N 1 I(X; Y ) = i=0 M 1 j=0 P(x i y i )P(y i ) log Po przekształceniach możemy uzyskać I(X; Y ) = H(X) H(X Y ) [ ] P(xi y j ) P(x i ) Dla poprzedniego przykładu mamy więc I(X; Y ) = 3.

58 Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu.

59 Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe?

60 Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0.

61 Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0. Weźmy ciagł a zmienna losowa X o funkcji gęstości rozkładu f X (x).

62 Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0. Weźmy ciagł a zmienna losowa X o funkcji gęstości rozkładu f X (x). Dzielimy zakres wartości X na podprzedziały o rozmiarze.

63 Entropia różniczkowa Dotychczas źródło danych generowało sygnały z dyskretnego alfabetu. Co się zmieni jak dyskretne zmienne losowe zmienimy na ciagłe? Dla zdarzenia A i(a) = log P(A) ale dla ciagłych zmiennych losowych P(A) = 0. Weźmy ciagł a zmienna losowa X o funkcji gęstości rozkładu f X (x). Dzielimy zakres wartości X na podprzedziały o rozmiarze. Dla każdego przedziału [(i 1), i ) istnieje liczba x i taka, że f X (x i ) = i (i 1) f X (x) dx

64 Entropia różniczkowa Definiujemy dyskretna zmienna losowa X d o rozkładzie P(X d = x i ) = f X (x i ).

65 Entropia różniczkowa Definiujemy dyskretna zmienna losowa X d o rozkładzie P(X d = x i ) = f X (x i ). Entropia tej zmiennej jest równa H(X d ) = P(x i ) log P(x i ) = i= [f X (x i ) log f X (x i )] log i=

66 Entropia różniczkowa Definiujemy dyskretna zmienna losowa X d o rozkładzie P(X d = x i ) = f X (x i ). Entropia tej zmiennej jest równa H(X d ) = P(x i ) log P(x i ) = i= [f X (x i ) log f X (x i )] log i= Entropia różniczkowa nazywamy h(x) = lim [f X (x i ) log f X (x i )] = 0 i= f X (x) log f X (x) dx

67 Przykład Niech X będzie zmienna losowa o rozkładzie jednostajnym na przedziale [a, b).

68 Przykład Niech X będzie zmienna losowa o rozkładzie jednostajnym na przedziale [a, b). Wtedy h(x) = = b a f X (x) log f X (x) dx 1 b a log 1 dx = log(b a) b a

69 Przykład Niech X będzie zmienna losowa o rozkładzie jednostajnym na przedziale [a, b). Wtedy h(x) = = b a f X (x) log f X (x) dx 1 b a log 1 dx = log(b a) b a Entropia różniczkowa może być ujemna, np. gdy b a < 1.

70 Modele probabilistyczne Ogólna charakterystyka źródła danych. Szukamy ładnego rozkładu prawdopodobieństwa który jest najbliższy rozkładowi danych.

71 Modele probabilistyczne Ogólna charakterystyka źródła danych. Szukamy ładnego rozkładu prawdopodobieństwa który jest najbliższy rozkładowi danych. Rozkład jednostajny na przedziale [a, b]. f X (x) = { 1 b a dla a x b 0 w przeciwnym przypadku

72 Modele probabilistyczne Ogólna charakterystyka źródła danych. Szukamy ładnego rozkładu prawdopodobieństwa który jest najbliższy rozkładowi danych. Rozkład jednostajny na przedziale [a, b]. f X (x) = { 1 b a dla a x b 0 w przeciwnym przypadku Rozkład Gaussa o wartości oczekiwanej µ i wariancji σ 2 1 (x µ) 2 f X (x) = e 2σ 2 2πσ 2

73 Modele probabilistyczne Rozkład Laplace a o wartości oczekiwanej 0 i wariancji σ 2 (duże wzniesienie w zerze) f X (x) = 1 2x 2σ 2 e σ

74 Modele probabilistyczne Rozkład Laplace a o wartości oczekiwanej 0 i wariancji σ 2 (duże wzniesienie w zerze) f X (x) = 1 2x 2σ 2 e σ Rozkład Gamma o wartości oczekiwanej 0 i wariancji σ 2 (jeszcze większe wzniesienie w zerze) f X (x) = 4 3 e 3 x 2σ 8πσ x

75 Modele probabilistyczne

76 Modele liniowe i fizyczne Model liniowy jest opisany równaniem x n = N a i x n i + i 1 M b j ɛ n j + ɛ n j=1 gdzie ɛ n - ciag wartości białego szumu.

77 Modele liniowe i fizyczne Model liniowy jest opisany równaniem x n = N a i x n i + i 1 M b j ɛ n j + ɛ n j=1 gdzie ɛ n - ciag wartości białego szumu. Modele fizyczne opieraja się na mechanizmach powstawania danych.

78 Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego.

79 Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania:

80 Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania: kodujace dzieli zbiór wartości na pewna liczbę podprzedziałów, każdy przedział reprezentowany przez inne słowo kodowe (proces nieodwracalny).

81 Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania: kodujace dzieli zbiór wartości na pewna liczbę podprzedziałów, każdy przedział reprezentowany przez inne słowo kodowe (proces nieodwracalny). dekodujace na podstawie słowa kodowego zwraca wartość najlepiej reprezentujac a kodowany przedział.

82 Kwantyzacja Proces zastapienia dużego zbioru wartości za pomoca znacznie mniejszego. Dwa odwzorowania: kodujace dzieli zbiór wartości na pewna liczbę podprzedziałów, każdy przedział reprezentowany przez inne słowo kodowe (proces nieodwracalny). dekodujace na podstawie słowa kodowego zwraca wartość najlepiej reprezentujac a kodowany przedział. Strata dokładności danych ale ułatwione kompresowanie.

83 Przykład Dla źródła generujacego liczby rzeczywiste z przedziału od -10 do 10 zastępujemy każda liczbę jej zaokragleniem do liczby całkowitej.

84 Przykład Dla źródła generujacego liczby rzeczywiste z przedziału od -10 do 10 zastępujemy każda liczbę jej zaokragleniem do liczby całkowitej. Redukcja nieskończonego alfabetu do 21 elementowego.

85 Przykład Dla źródła generujacego liczby rzeczywiste z przedziału od -10 do 10 zastępujemy każda liczbę jej zaokragleniem do liczby całkowitej. Redukcja nieskończonego alfabetu do 21 elementowego. Kwantyzacja jednostajna każdy przedział (poza dwoma skrajnymi) ma taka sama długość.

86 Przykład

87 Przykład

88 Kwantyzacja skalarna Kwantyzacja musi uwzględniać rodzaj danych - ich rozkład.

89 Kwantyzacja skalarna Kwantyzacja musi uwzględniać rodzaj danych - ich rozkład. Konstruujac kwantyzację musimy uwzględnić rozkład danych tak aby przedstawiciele danych obejmowali mniej więcej równe zakresy danych.

90 Kwantyzacja skalarna Kwantyzacja musi uwzględniać rodzaj danych - ich rozkład. Konstruujac kwantyzację musimy uwzględnić rozkład danych tak aby przedstawiciele danych obejmowali mniej więcej równe zakresy danych. Szukamy optymalnych wartości granicznych przedziałów i poziomu rekonstrukcji (ilości przedziałów).

91 Przykład Jeśli w jednym z poprzednich przykładów 90% wartości pojawiałoby się w przedziale od -1 do 1 to zaokraglenie do najbliższej liczby całkowitej nie byłoby właściwe.

92 Przykład Jeśli w jednym z poprzednich przykładów 90% wartości pojawiałoby się w przedziale od -1 do 1 to zaokraglenie do najbliższej liczby całkowitej nie byłoby właściwe. Dla przedziału od -1 do 1 lepiej by było zaokraglać z dokładnościa do 1/10 (o wiele mniejsza strata informacji).

93 Przykład Jeśli w jednym z poprzednich przykładów 90% wartości pojawiałoby się w przedziale od -1 do 1 to zaokraglenie do najbliższej liczby całkowitej nie byłoby właściwe. Dla przedziału od -1 do 1 lepiej by było zaokraglać z dokładnościa do 1/10 (o wiele mniejsza strata informacji). Dostajemy kwantyzację niejednostajna różne długości przedziałów.

94 Miary kwantyzacji Średniokwadratowy bład kwantyzacji Średnia z kwadratów różnic między wejściem kodera a wyjściem dekodera. Jeśli Q operacja kwantyzacji i Q(x) = y i b i 1 < x b i to σ 2 q = = i bi (x Q(x)) 2 f X (x) dx b i 1 (x y i ) 2 f X (x) dx

95 Miary kwantyzacji Średniokwadratowy bład kwantyzacji Średnia z kwadratów różnic między wejściem kodera a wyjściem dekodera. Jeśli Q operacja kwantyzacji i Q(x) = y i b i 1 < x b i to σ 2 q = = i bi (x Q(x)) 2 f X (x) dx b i 1 (x y i ) 2 f X (x) dx Średnia bitowa kwantyzatora Średnia liczba bitów potrzebna do reprezentowania jednej danej wynikowej kwantyzatora.

96 Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny

97 Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość.

98 Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie.

99 Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie. Stosowany najczęściej do rozkładów jednostajnych oraz obrazów (redukcja barw przez obcięcie najmniej znaczacych bitów).

100 Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie. Stosowany najczęściej do rozkładów jednostajnych oraz obrazów (redukcja barw przez obcięcie najmniej znaczacych bitów). Kwantyzacja nierównomierna

101 Rodzaje kwantyzatorów skalarnych Kwantyzator równomierny Wszystkie przedziały (poza ewentualnie skrajnymi) maja taka sama długość. Również rekonstruowane wartości sa rozmieszczone równomiernie. Stosowany najczęściej do rozkładów jednostajnych oraz obrazów (redukcja barw przez obcięcie najmniej znaczacych bitów). Kwantyzacja nierównomierna Podział na przedziały w taki sposób aby każdy przedział miał podobne prawdopodobieństwo wystapienia (przedziały maja różna długość).

102 Kwantyzator ze skokiem w zerze (midrise quantizer)

103 Kwantyzator stały w zerze (midtread quantizer)

104 Kwantyzator równomierny, rozkład jednostajny Dla kwantyzatora równomiernego i źródła jednostajnego bład kwantyzacji możemy określić w następujacy sposób: gdzie = 2Xmax jest wielkościa kroku kwantyzacji, a M M liczba przedziałów kwantyzacji.

105 Kwantyzator równomierny, rozkład jednostajny (2) Bład kwantyzacji możemy obliczyć w następujacy sposób (wykorzystujac symetrię): σ 2 q = 2 M 2 i=1 i (i 1) ( x 2i 1 ) 1 dx. 2 2X max Możemy także policzyć bład badajac różnicę q = x Q(x) (gdzie Q(x) jest wartościa rekonstrukcji dla x), wtedy: σ 2 q = 1 (obliczenia jako zadanie) 2 2 q 2 dq = 2 12.

106 Kwantyzator równomierny, rozkład jednostajny (3) Jak wyglada SNR przy = 2Xmax M (M = 2 n )? SNR(dB) = σs 2 10 log 10 σq 2 = 10 log 10 M 2 i wariancji σ2 = 2Xmax 12 = 20 log 10 2 n 6, 02ndB. Zatem dla każdego dodatkowego bitu kwantyzatora mamy wzrost SNR o 6, 02dB.

107 Kwantyzator równomierny, rozkład niejednostajny

108 Kwantyzator równomierny, rozkład niejednostajny (2) W przypadku kwantyzacji równomiernej dla danych o rozkładzie innym niż jednostajny można policzyć optymalna liczbę przedziałów kwantyzacji M oraz wielkość parametru. Zalety: proste obliczenia (wystarczy wariancja), proste przetwarzanie (nie trzeba nawet pamiętać granic decyzyjnych).

109 Kwantyzator równomierny, rozkład niejednostajny (2) W przypadku kwantyzacji równomiernej dla danych o rozkładzie innym niż jednostajny można policzyć optymalna liczbę przedziałów kwantyzacji M oraz wielkość parametru. Zalety: proste obliczenia (wystarczy wariancja), proste przetwarzanie (nie trzeba nawet pamiętać granic decyzyjnych). Wady: stosunkowo duży bład kwantyzacji przy zadanej średniej bitowej, w sytuacji zmieniajacego się (lub nieznanego) rozkładu dodatkowe problemy.

110 Kwantyzator równomierny, rozkład niejednostajny (2) W przypadku kwantyzacji równomiernej dla danych o rozkładzie innym niż jednostajny można policzyć optymalna liczbę przedziałów kwantyzacji M oraz wielkość parametru. Zalety: proste obliczenia (wystarczy wariancja), proste przetwarzanie (nie trzeba nawet pamiętać granic decyzyjnych). Wady: stosunkowo duży bład kwantyzacji przy zadanej średniej bitowej, w sytuacji zmieniajacego się (lub nieznanego) rozkładu dodatkowe problemy. Rozwiazania problemu: kwantyzacja nierównomierna, kwantyzacja z kompanderem (szczególnie wtedy, kiedy znamy rozkład), kwantyzacja adaptacyjna (jeżeli rozkład się zmienia).

111 Kwantyzator równomierny, rozkład niejednostajny (3) Jak wyznaczyć parametr? Badamy extremum funkcji (f X to funkcja gęstości rozkładu): σ 2 = 2 M 2 1 i +2 i=1 (i 1) ( M 2 1) ( ( x 2i 1 2 ) f X (x)dx 2 x M 1 2 ) f X (x)dx. 2 Łatwo zauważyć, że jeden z członów odpowiada za bład ziarnisty, a drugi za bład nadmiaru. Co się stanie jak wariancja nie będzie dobrze określona?

112 Kwantyzator równomierny, rozkład niejednostajny (4)

113 Kwantyzator nierównomierny

114 Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna

115 Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna Dostosowanie kwantyzatora do statystyk danych wejściowych.

116 Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna Dostosowanie kwantyzatora do statystyk danych wejściowych. Kwantyzacja adaptacyjna w przód dane dzielone na bloki, bloki analizowane i kwantyzowane osobno, przesyłamy dodatkowe informacje o rodzaju kwantyzacji.

117 Rodzaje kwantyzatorów skalarnych Kwantyzacja adaptacyjna Dostosowanie kwantyzatora do statystyk danych wejściowych. Kwantyzacja adaptacyjna w przód dane dzielone na bloki, bloki analizowane i kwantyzowane osobno, przesyłamy dodatkowe informacje o rodzaju kwantyzacji. Kwantyzacja adaptacyjna wstecz dostosowujemy kwantyzację w oparciu o wyniki kwantyzatora (zmieniamy ilość i wielkość przedziałów kwantyzacji kwantyzator Jayanta).

118 Kwantyzacja adaptacyjna w przód Zakładamy, że wartość średnia wejścia jest równa zero.

119 Kwantyzacja adaptacyjna w przód Zakładamy, że wartość średnia wejścia jest równa zero. Na podstawie bloku N kolejnych próbek (w chwili t) szacujemy wariancję źródła: ˆσ 2 q = 1 N N 1 xt+i 2. i=0

120 Kwantyzacja adaptacyjna w przód Zakładamy, że wartość średnia wejścia jest równa zero. Na podstawie bloku N kolejnych próbek (w chwili t) szacujemy wariancję źródła: ˆσ 2 q = 1 N N 1 xt+i 2. i=0 Przesyłamy (skwantyzowana) informację o wariancji do dekodera.

121 Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej).

122 Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ).

123 Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ). Mnożniki przedziałów wewnętrznych < 1 a zewnętrznych > 1.

124 Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ). Mnożniki przedziałów wewnętrznych < 1 a zewnętrznych > 1. Jeżeli w kroku n 1 próbka wpadła do przedziału l(n a) to parametr dla następnego kroku obliczamy jako: n = M l(n 1) n 1.

125 Kwantyzacja adaptacyjna wstecz kwantyzator Jayanta Do zmiany kwantyzatora wykorzystujemy wcześniejsze dane (w postaci skwantyzowanej). Każdy przedział ma przypisany mnożnik (M k ). Mnożniki przedziałów wewnętrznych < 1 a zewnętrznych > 1. Jeżeli w kroku n 1 próbka wpadła do przedziału l(n a) to parametr dla następnego kroku obliczamy jako: n = M l(n 1) n 1. Jeżeli wejście jest dobrze dopasowane, to iloczyn kolejnych współczynników powinien być równy zero.

126 Poziomy wyjściowe kwantyzatora Jayanta

127 Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny)

128 Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny) Rozwiazanie:

129 Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny) Rozwiazanie: Przed kwantyzacja przekształcamy dane wejściowe za pomoca pewnej funkcji.

130 Kwantyzacja z kompanderem Problem: znamy rozkład, ale chcemy uprościć proces kwantyzacji (kwantyzator jednostajny) Rozwiazanie: Przed kwantyzacja przekształcamy dane wejściowe za pomoca pewnej funkcji. Po rekonstrukcji przekształcamy wartości zrekonstruowane za pomoca funkcji odwrotnej.

131 Kompresor, kwantyzator jednorodny i expander