Metody reprezentacji danych w podprzestrzeniach liniowych oraz ich zastosowanie w zadaniach rozpoznawania obrazów cyfrowych

Metody reprezentacji danych w podprzestrzeniach liniowych oraz ich zastosowanie w zadaniach rozpoznawania obrazów cyfrowych Paweł Forczmański Katedra Systemów Multimedialnych, Wydział Informatyki ZUT 1 / 73

Plan wykładu 1.1.Redukcja Redukcjawymiarowości... wymiarowości... 2.2.Przedstawienie Przedstawieniewybranych wybranychmetod metod oraz orazich ichzastosowań zastosowań 3.3.PCA PCA//KLT, KLT,1D, 1D,2D 2D 4.4.LDA, LDA,1D, 1D,2D 2D 2 / 73

Wprowadzenie Powszechny dostęp do wysokowydajnych źródeł danych multimedialnych i względnie tanich systemów baz danych powoduje, iż ilość przetwarzanych i przechowywanych danych jest ogromna i ciągle rośnie. 3 / 73

Wprowadzenie Przetwarzane dane często charakteryzują się dużą wymiarowością (ang. high-dimensional data sets). W praktyce często okazuje się jednak, że wiele z atrybutów (cech) danych jest ze sobą dosyć silnie skorelowanych i do otrzymania pełnego obrazu opisywanego zjawiska wystarczy uwzględnić jedynie niewielki ich podzbiór. 4 / 73

Wprowadzenie Wymiarowość danych w przetwarzaniu i rozpoznawaniu obrazów definiowana jest przez złożoność macierzy reprezentujących obrazy cyfrowe. Celem metod redukcji wymiarowości jest zmniejszenie złożoności danych (np. zmniejszenie stopnia macierzy) co pozwala na sprawniejsze realizowanie zadań takich jak porównywanie macierzy (rozpoznawanie obrazów), ich składowanie (kompresja) i inne. 5 / 73

Wprowadzenie Celem metod projekcji do podprzestrzeni (subspace) jest zmniejszenie zależności pomiędzy danymi (np. wybó najbardziej znaczących wymiarów) co pozwala na efektywniejsze realizowanie zadań wymienionych wcześniej. Tak więc projekcja jest zwykle wstępem do rekucji wymiarowości. 6 / 73

Wprowadzenie Metody projekcji i redukcji wymiarowości w zastosowaniu do: rozpoznawania i klasyfikacji obrazów; kompresji obrazów statycznych i video; osadzania informacji w obrazach: steganografii / watermarkingu; szyfrowania/scramblingu. 7 / 73

Rys historyczny metod bazujących na PCA 1936 (Hoteling) 1987 (Kirby, Sirowich) 1902 (Pearson) jednowymiarowe dwuwymiarowe Systematyzacja wiedzy, pierwszy opis algorytmu przetwarzania obrazów 1991 (Turk, Pentland) PCA 1998 (Principal Component Analysis) 2000, 2001, 2004 (Kukharev G., Forczmanski P.), Sesja WI 2000, PRIP'2001, MG&V 2004 1998 (Tsapatsoulis N., Alexopoulos V. Kollias S.) 8 / 73

Wybrane elementy dorobku naukowego ICA TPCA 2DPCA/ 2DKLT 2DPCA/ 2DKLT Jądro 2DLDA/ 2DKLT 2DPCA/ 2DKLT Metoda projekcji kpca 2DCCA/ 2DKLT 2DPCA/ 2DKLT DCT 2DPLS/ 2DKLT 2DPCA/ 2DKLT 9 / 73

Wybrane elementy dorobku naukowego Uporządkowanie dużych zbiorów danych (zdj. sat., dane pomiarowe ze zdalnego obrazowania) Znakowanie wodne (watermarking) Jądro Szyfrowanie (scrambling) Wybrana metoda projekcji Opracowanie metodyki doboru odpowiednich metod do określonych zadań (organizacja danych, przygotowanie danych, wybór kryteriów, metody doboru parametrów Kompresja Rozpoznawanie 10 / 73

Reprezentacja danych (1) Typowy rastrowy obraz cyfrowy reprezentowany jest przez macierz opisaną za pomocą pikseli ułożonych w: M kolumnach N wierszach i K warstwach:.. Przykładowy obraz kolorowy o strukturze MxNx3 (przestrzeń YUV). M... K N 11 / 73

Reprezentacja danych (2)... X Mk N k K M... x1,1, k x M,1, k x1, N, k x M, N, k K N 12 / 73

Reprezentacja danych (3) W wielu zadaniach występuje problem przetwarzania/rozpoznawania wielu obrazów (lub fragmentów obrazów), co pozwala na dołączenie kolejnego wymiaru: L odpowiadającego za numer obrazu L L 13 / 73

Klasyfikacja metod Metody Metodyredukcji redukcjiwymiarowości wymiarowości Niezależne Niezależne od oddanych danych Zależne Zależne od oddanych danych Transformacje Transformacjeortogonalne ortogonalne (DCT, (DCT,DFT, DFT,FFT) FFT) Transformacje Transformacjeortogonalne ortogonalne (PCA, (PCA,LDA, LDA,CCA) CCA) Konwersje Konwersjepomiędzy pomiędzy przestrzeniami przestrzeniamibarwnymi barwnymi Próbkowanie Próbkowanie (deterministyczne (deterministycznei istochastyczne) stochastyczne) 14 / 73

Transformacje ortogonalne 1.1.SVD SVD Singular SingularValue ValueDecomposition Decomposition 2.2.DCT, DCT,DFT DFT Discrete DiscreteCosine/Fourier Cosine/FourierTransform Transform 3.PCA/KLT 3.PCA/KLT Principal PrincipalComponent ComponentAnalysis Analysis 4.4.LDA LDA Linear LinearDiscriminant DiscriminantAnalysis Analysis 5.5.CCA CCA Canonical CanonicalCorrelation CorrelationAnalysis Analysis 15 / 73

SVD Rozkład według wartości osobliwych (SVD - z ang. Singular Value Decomposition) Metoda realizuje rozkład macierzy na iloczyn trzech macierzy. Każdą macierz rzeczywistą A można przedstawić w postaci rozkładu SVD: U i V - macierze ortonormalne (ortogonalne; długość każdego wektora w macierzy jest równa 1), Σ - macierz diagonalna, taka że Σ = diag(σi), gdzie σi - nieujemne wartości szczególne (osobliwe) macierzy A, zwyczajowo uporządkowane nierosnąco. SVD jest podstawą wszystkich pokazanych dalej transformacji... 16 / 73

PCA Karhunen-Loève Transform Principal Component Analysis = Transformata Hotelinga = Analiza Głównych Składowych Metoda: Dekorelacja danych Cel: Redukcja wymiarowości Wiele zastosowań... 17 / 73

PCA:problem organizacji danych 2D/3D Większość metod redukcji wymiarowości bazujących na SVD używanych w zadaniach przetwarzania i rozpoznawania obrazów wymaga reprezentacji 1D, tzn. macierz 2D/3D wektor 1D Co zrobić w przypadku, gdy dane przechowywane są w strukturach 2D lub 3D a wymagane jest zachowanie zależnosci przestrzennych pomiedzy nimi i jednoczesne wykonanie PCA? Jak dotychczas nie ma ustandaryzowaych podejść do problemu reorganizacji 3D 2D 1D Proponowane podejście działa w 3 krokach: Usunięcie jednego lub dwóch wymiarów; Dekompozycja macierzy, Modyfikacja procedury transformacji 18 / 73

Algorithm: 2DKLT/ PCArc Na wejściu dane jest L obrazów X w odcieniach szarości o wymiarach M N pikseli. 1. X M N = Obraz może być traktowany jako macierz lub rozwinięty w wektor Średnia może być skalarem lub wektorem L 1 X (Ml) N L k =1 ( l) (l ) 2. X M N = X M N X M N l=1,2,, L L L 3. R M = 1 1 X (Ml ) N [ X (Ml ) N ] T ; C N = X (Ml ) N L l=1 L l =1 [ ] T X (Mk ) N ; L 1 X M N = X lm N L k =1 Następnie obliczamy macierz wartości własnych i macierz l l wektorów własnych X M N =X M N X M N l=1,2,, L na bazie macierzy kowariancji RM i CN : L 1 T Ml N [ X l RM = X ; M N ] L l =1 L 1 l ] T X k ; C N= [ X M N M N L l =1 Transformacja obrazów odbywa się w sposób następujący: l l Y p q =[ V MR p ] T X M N V C N q G. Kukharev, P. Forczmański, Data dimensionality reduction for face recognition, Machine Graphics & Vision, vol. 13, no. 1/2, 2005, s. 99-122 19 / 73

Przykład zastosowania: 2DKLT/ PCArc X G. Kukharev, P. Forczmański, Data dimensionality reduction for face recognition, Machine Graphics & Vision, vol. 13, no. 1/2, 2005, s. 99-122 20 / 73

Porównanie PCA i PCArc Przestrzeń zredukowanych cech G. Kukharev, P. Forczmański, Data dimensionality reduction for face recognition, Machine Graphics & Vision, vol. 13, no. 1/2, 2005, s. 99-122 21 / 73

DCT/DFT Dyskretna transformata cosinusowa (DCT) Dyskretna transformata fourierowska (DFT) Pozwalają na przekształcenie obrazu do dziedziny częstotliwości, co znacząco redukuje ilość współczynników potrzebnych do dalszej analizy. Georgy Kukharev, Andrzej Tujaka, Paweł Forczmański, Face Recognition using Two-dimensional CCA and PLS, International Journal of Biometics (przyjety do druku) 22 / 73

DCT/DFT W zadaniach rozpoznawania obrazów redukcja wymiarowości odbywa się na etapie selekcji współczynników widma DCT/DFT Redukcja wymiarowości Obraz DCT Okienkowanie Deskryptor (15x15) 23 / 73

DCT/DFT : zastosowanie w zadaniach rozpoznawania twarzy Wizualna reprezentacja wybranych współczynników DCT dla przykładowych obrazów twarzy (obok) oraz ocena skuteczności rozpoznawania dla różnych wielkości okna w DFT (poniżej) Forczmański P., Kukharev G. - Comparative analysis of simple facial features extractors Journal of RealTime Image Processing (1), No. 4, July 2007, pp. 239255. 24 / 73

DFT / Baza FERET DCT / Baza ORL DCT/DFT : zastosowanie w zadaniach rozpoznawania twarzy Forczmański P., Kukharev G. - Comparative analysis of simple facial features extractors Journal of RealTime Image Processing (1), No. 4, July 2007, pp. 23925 / 73 255.

DCT/DFT : zastosowanie w zadaniach CBIR CBIR Content-based Image Retrieval (wyszukiwanie obrazów na podstawie zawartości) P. Forczmański Unified JPEG and JPEG-2000 color descriptor for content-based image retrieval, Metody Informatyki Stosowanej, nr 4, 2008, s. 53-62 P. Forczmański, A. Bania, Content-Based Image Retrieval in Compressed Domain, 15th International Multi-Conference on Advanced Computer Systems, ed. by Imed El Fray, Jerzy Pejaś, Olsztyn: HARD, 2008, s. 428-432 (Polish Journal of Environmental Studies, vol. 7, no. 4c) 26 / 73

DCT/DFT : zastosowanie w zadaniach CBIR CBIR Content-based Image Retrieval (wyszukiwanie obrazów na podstawie zawartości) Obraz Zapytanie (query image) Deskryptor (DCT) Porównanie Obraz Wynik (resulting image(s)) Deskrpytor DB Obrazy + Deskrpytory P. Forczmański, S. Wojcieszak Web system for perceptive evaluation of CBIR algorithms Information systems architecture and technology: advances in Web-Age Information Systems, eds. Leszek Borzemski [i in.], Wrocław: Oficyna Wydawnicza Politechniki Wrocławskiej, 2009, s. 113-122 27 / 73

DCT/DFT : zastosowanie w zadaniach CBIR Redukcja wymiarowości Plik JPEG Wybór składowych w blokach DCT Histogram składowych Deskryptor P. Forczmański Unified JPEG and JPEG-2000 color descriptor for content-based image retrieval, Metody Informatyki Stosowanej, nr 4, 2008, s. 53-62 P. Forczmański, A. Bania, Content-Based Image Retrieval in Compressed Domain, 15th International Multi-Conference on Advanced Computer Systems, ed. by Imed El Fray, Jerzy Pejaś, Olsztyn: HARD, 2008, s. 428-432 (Polish Journal of Environmental Studies, vol. 7, no. 4c) 28 / 73

DCT/DFT : zastosowanie w zadaniach CBIR Zadanie CBIR zrealizowane dla plików JPEG i JPEG2000 w dziedzinie częstotliwościowej (wprost, bez pełnej dekompresji plików) 29 / 73

Strategia dla danych 3D Przykładowe zadanie redukcji i rekonstrukcji obrazu kolorowego opisanego strukturą MxNxK przypadek A: dla K=1 jednowymiarowy wektor jako wynik konkatenacji wierszy lub kolumn obrazu[1] (o wymiarach 1xMN lub Mnx1) przypadek B: dwa wektory two vectors being a results of row or column decomposition (of size 1xM and Nx1) [2] przypadek C: for K 2, połączenie (konkatenacja) wszystkich elementów w wierszach i kolumnach oraz warstwach tworzące wektor o wymiarach MNKx1. przypadek D: zestaw 3 macierzy o wymiarach NxMK, MxNK oraz KxMN [1] Turk M., Pentland A.: Eigenfaces for Recognition. Journal of Cognitive Neuroscience Vol. 3 No.1, pp. 71-86, 1991. [2 ]Kukharev G., Forczmański P.: Data Dimensionality Reduction for Face Recognition Machine Graphics & Vision, vol.13, no. 1 /2, pp.99-122, 2004. 30 / 73

Dekompozycja: Przypadek A X Mk N k K x1,1, k x M,1, k x1, N, k x M, N, k T k ˆ X MN 1 x1,1,k,, x1, N,k,, xm,1,k,, xm, N,k lub T k ˆ X MN 1 x1,1,k,, xm,1,k,, x1, N,k,, xm, N,k średni wektor: X k K k MN 1 1 L ˆk Xl L l 31 / 73

Dekompozycja: Przypadek B X Mk N k K x1,1, k x M,1, k Xˆ N( k,mr ) x1, N, k x M, N, k x1,1,k x1, N,k x M,1,k x M, N,k oraz Xˆ M( k,cn) x1,1,k xm,1,k x1, N,k xm, N,k średnie macierze : X k K ( k,r ) N M 1 L ˆ ( k,r ) Xl L l oraz X M( k,cn) 1 L ˆ ( k,c ) Xl L l 32 / 73

Dekompozycja: Przypadek C X Mk N k K x1,1, k x M,1, k x1, N, k x M, N, k T Xˆ MNK 1 x1,1,1,, x M,1,1,, x M, N,1,, x M, N,k lub T ˆ X MNK 1 x1,1,1,, x1, N,1,, x M, N,1,, x M, N,k średni wektor: 1 L ˆ X MNK 1 X l L l 33 / 73

Dekompozycja: Przypadek D X Mk N k K Xˆ N( r )MK Xˆ M( c ) NK Xˆ K( b )MN x1,1, k x M,1, k x1,1,1 x1, N,1 x1,1,1 xm,1,1 x1,1,1 x1,1, K x1, N, k x M, N, k xm, N,1 xm, N,1 x1, N,1 xm, N,1 x1, N,1 x1, N, K xm, N, K xm, N,K xm, N, K xm, N,K x M, N,1 x M, N, K Macierze średnie: L 1 X N( r )MK Xˆ l( r ) L l L 1 X M( c ) NK Xˆ l( c ) L l 1 L ˆ (b) (b) X K MN X l L l 34 / 73

Obliczanie macierzy kowariancji przypadek A przypadek B przypadek D T L 1 ( k, r ) Cov( Xˆ ) Xˆ N( k,mr ) X N( k,mr ) Xˆ N( k,mr ) X N( k,mr ) ; L l Cov( Xˆ przypadek C T 1 L ˆk k k k ˆ ˆk Cov( X ) X MN 1 X MN 1 X MN 1 X MN 1 ; L l ( k,c ) 1 L ˆ ( k,c ) ( k,c ) ( k,c ) ( k,c ) T ˆ ) X M N X M N X M N X M N ; L l T 1 L ˆ ˆ Cov( X ) X MNK 1 X MNK 1 Xˆ MNK 1 X MNK 1 ; L l 1 L (r ) ˆ Cov( X ) L l 1 L (c) ˆ Cov ( X ) L l L 1 ( b ) Cov( Xˆ ) L l Xˆ (r ) N MK X N( r )MK Xˆ N( r )MK X N( r )MK ; Xˆ (c) M NK X Xˆ (b) K MN (c) M NK Xˆ T ; T (c) M NK X (c) M NK T X K(b )MN Xˆ K( b )MN X K(b )MN ; 35 / 73

Rozkład na wartości/wektory własne przypadek A przypadek B k K D ( k,r ) D ( k,c ) k K k K przypadek C k T k )V k Cov( Xˆ V Cov( Xˆ ( k,r ) T V ( k,c ) T ( k,r ) ( k,c ) ) V ( k,r ) )V ( k,c ) D V Cov( Xˆ ) V T (r ) T D V (c) (c) D V (b ) (b ) D V (r ) przypadek D Cov( Xˆ D V k (r ) (r ) ˆ Cov( X ) V ; T (c) (c) ˆ Cov( X ) V ; T (b ) (b ) ˆ Cov( X ) V ; 36 / 73

Macierze transformacji przypadek A przypadek B V k K V k K przypadek C przypadek D ( k,r ) N N ( k,c ) M M V k K k MN MN obcięcie truncate F k MN p obcięcie truncate FN( k,pr ) obcięcie truncate FM( k,qc ) obcięcie truncate VMNK MNK FMNK p (r ) N N (c ) M M V V (b) K K V obcięcie truncate F obcięcie truncate F obcięcie truncate (r ) N p (c) M q F (b ) K s 37 / 73

Transformacja przypadek A przypadek B przypadek C przypadek D Y k K k p 1 Y k K Y k p q F Xˆ MN 1 X MN 1 Xˆ k M N X Mk N FN( k,qr ) T k MN p F ( k,c ) T M p Y (r ) p MK Xˆ F Xˆ Y (r ) p MK (r ) ˆ YM pk k p 1 T k MNK p F Y ( r,c ) p qk (r ) T N p Y ( r,c,b ) s pq X MNK 1 X N( r )MK (r ) N MK reorganize reorganizacja F ( r,c ) q pk Y MNK 1 Yˆ (c ) T M q (r ) M pk ( r,c ) ˆ YK pq reorganize reorganizacja F Yˆ (b ) T K s ( r,c,b ) K pq 38 / 73

Przykładowy eksperyment: rekonstrukcja Przykładowy obraz kolorowy (RGB) o wymiarach 512 x 512 x 3, stąd M=N=8 oraz K=3, co daje 4096 trójwymiarowych bloków. Rozmiary macierzy kowariancji (jak również macierzy wektorów własnych i wartości własnych) podano poniżej Przypadek Dim(Cov) A 3* 64 x 64 B 3* 8 x 8 C 192 x 192 D 3x3 + 8x8 + 8x8 P. Forczmański, Strategies of covariance matrix calculation in the PCA method applied for three-dimensional data, Pomiary, Automatyka, Kontrola 10/2010, s. 1162-1165 39 / 73

Jakość rekonstrukcji A C B D 40 / 73

Ogólny schemat zastosowań 2DPCA/2DKLT w przetwarzaniu message embedding (1) input image Output file/stream block decomposition embedding message transformed blocks Eigenvectors Quantization inverse 2DKLT rearrangement Coding blocks blocks 2DKLT composition P. Forczmański 2DKLT-Based image compression and scrambling, Congress of Young IT Scientists, 2007, s. 86-89 (Polish Journal of Environmental Studies, vol. 16, no. 4a) P. Forczmański Information Embedding in Remotely sensed images by means of two-two-dimensional Karhunen-Loeve Transform, Advanced Computer Systems: 14th International Conference: ACS 2007, Olsztyn: HARD, 2007, s. 275-279 (Polish Journal of Environmental Studies, vol. 16, no. 5B) 41 / 73

Kompresja obrazu : istniejące rozwiązania Stratna kompresja obrazu: wybrane widmo (FFT, DFT, DCT, Falki). Dopasowanie funkcji bazowych do charakteru obrazu? DCT jako aproksymacja KLT/2DKLT standard JPEG(DCT), Kompresja blokowa (DCT/KLT) a kompresja ramkowa (Falki)... 42 / 73

dekompozycja Obraz wyjściowy inv 2DKLT 2DKLT kwantyzacja/kodowanie Dekodowanie/ dekwantyzacja (De)kompozycja rekonstrukcja kompresja Obraz wejściowy Funkcje bazowe Kompresja obrazu : Ogólny schemat Plik (skompresowany) 43 / 73

Kompresja obrazu : artefakty oryginał 2DKLT JPEG JPEG 2000 44 / 73

Kompresja : DCT vs 2DKLT DCT (JPEG) 2DKLT 45 / 73

Video : Kompresja i Indeksowanie Analiza klatek Podział na sceny Budowa bazy dla sceny (2DKLT) Transformacja klatek w ramach sceny (2DKLT) Kwantyzacja + kodowanie Zapis współczynników i bazy 46 / 73

Osadzanie informacji:wprowadzenie osadzanie znaków wodnych i informacji o prawach autorskich w multimediach (digital rights management DRM), ukrywanie sekretnych informacji w celu bezpiecznego przesyłania, zabezpieczenie danych przed zmianami, itd... 47 / 73

Osadzanie : istniejące rozwiązania Wszystkie metody działają bądź w dziedzinie przestrzennej bądź w dziedzinie widma (FFT, DFT, DCT, Wavelets). Najpopularniejsza, jednak najmniej wyrafinowana jest metoda least significant bit (LSB) insertion, Podstawowy problem z LSB to niska odporność na typowe manipulacje dot. obrazu 48 / 73

dekompozycja 2DKLT Modyfikacja współczynników Wiadomość Ekstrakcja współczynników (inv) 2DKLT (De)kompozycja Wiadomość klucz klucz ekstrakcja osadzanie Nośnik Funkcje bazowe Osadzanie : Schemat Zmodyfikowany nośnik 49 / 73

Osadzanie: Operacja na bloku Modyfikacja bloków obrazu uzyskanych z 2DKLT Blok zmodyfikowany 4, 1, 2, 3,... } Oryginał (nosnik) kl uc z: { Wiadomość 00010101000101010001... Rozwinięcie 50 / 73

Osadzanie : Przykład #1 Nośnik Obraz z osadzoną wiadomością Jakakolwiek modyfikacja jest łatwa do zauważenia! P. Forczmański, M. Węgrzyn, Virtual Steganographic Laboratory for Digital Images, Information systems architecture and technology, Polska 2008, s. 163-173 P. Forczmański, M. Węgrzyn, Open Virtual Steganographic Laboratory Elektronika, nr 11, 2009, s. 60-65 51 / 73

Osadzanie : Przykład #2 Nośnik Obraz z osadzoną wiadomością Ten typ obrazu utrudnia zauważenie modyfikacji P. Forczmański, M. Węgrzyn, Virtual Steganographic Laboratory for Digital Images, Information systems architecture and technology, Polska 2008, s. 163-173 P. Forczmański, M. Węgrzyn, Open Virtual Steganographic Laboratory Elektronika, nr 11, 2009, s. 60-65 52 / 73

Osadzanie : eksperymenty (1) Długość wiadomości: 128 bajtów Brightness JPEG Compression 35 100% 30 Inform ation [%] 80% 25 20 60% 15 40% PSNR 30 35 100% PSNR [db] 120% 40 120% 40 80% 25 20 60% 15 40% 10 10 20% 5 20% 5 92 80 68 56 44 32 0% 20 8 Inform ation [%] -4-52 -64-76 -88 10 16 22 28 34 40 46 52 58 64 70 76 82 88 94 100 Quality -100 PSNR [db] 0% -16 PSNR Obraz testowy: barbara rozmiar: 640 x 480 px poziomy: 8bit -28 Kompresja JPEG, Dodawanie szumu, Zmiany jasności, Zmiany kontrastu. -40 Brightness Coefficient P. Forczmański Information Embedding in Remotely sensed images by means of twodimensional Karhunen-Loeve Transform, Advanced Computer Systems: 14th International Conference: ACS 2007, Olsztyn: HARD, 2007, s. 275-279 (Polish Journal of Environmental Studies, vol. 16, no. 5B) 53 / 73

Osadzanie : eksperymenty (2) Obraz testowy: barbara rozmiar: 640 x 480 px poziomy: 8bit Długość wiadomości: 128 bajtów Additive noise 40 Contrast 120% 35 40 30 PSNR [db] Inform ation 100% [%] 30 80% 25 20 60% 15 40% 10 5 120% 35 100% PSNR [db] 20% Information [%] PSNR Kompresja JPEG, Dodawanie szumu, Zmiany jasności, Zmiany kontrastu. PSNR 80% 25 20 60% 15 40% 10 20% 5 0% 0,0 2,0 4,0 6,0 8,0 10,0 12,0 14,0 16,0 18,0 20,0 22,0 24,0 26,0 28,0 30,0 32,0 34,0 36,0 38,0 40,0 42,0 44,0 46,0 48,0 50,0 0,05 0,25 0,45 0,65 0,85 1,05 1,25 1,45 1,65 1,85 2,05 2,25 2,45 2,65 2,85 3,05 3,25 3,45 3,65 3,85 0% Noise Amplitude Contrast Coefficient P. Forczmański Information Embedding in Remotely sensed images by means of twodimensional Karhunen-Loeve Transform, Advanced Computer Systems: 14th International Conference: ACS 2007, Olsztyn: HARD, 2007, s. 275-279 (Polish Journal of Environmental Studies, vol. 16, no. 5B) 54 / 73

Osadzanie : podsumowanie Przeprowadzone eksperymenty pokazują, że możliwe jest efektywne osadzanie informacji w obrazach statycznych szczególnie w dziedzinie danych z obserwacji zdalnej, Wysoka odporność na typowe ataki dzięki optymalnej reprezentacji w dziedzinie wektorów własnych, Kierunki badań: zwiększenie odporności na kadrowanie (framing), obroty; zwiększenie pojemności nośnika; watermarking 55 / 73

Scrambling: Istniejące podejścia Scrambling modyfikacja obrazu (video) w taki sposób, aby był bezużyteczny dla nieupoważnionego użytkownika Wiele istniejących podejść wykorzystuje klasyczne metody kryptograficzne (DES, IDEA) wysoki koszt obliczeniowy! Wiele metod jest ukierunkowana na specyfikę algorytmu kompresji (JPEG, JPEG2000, MPEG) 56 / 73

Scrambling: Schemat dekompozycja 2DKLT kompozycja 2DKLT Reorganizacja funkcji bazowych (inv) 2DKLT Klucz (De)kompozycja Przetworzony obraz (nieczytelny) descrambling scrambling Obraz wejściowy Obraz wynikowy (czytelny) 57 / 73

Scrambling: Przykłady Obraz odzyskany #1 oryginał? Obraz zaszyfrowany Obraz odzyskany #2? 58 / 73

Scrambling: podsumowanie Efektywne i szybkie mieszanie (?) - ang. scrambling obrazów statycznych (oraz video) dzięki naturalnym cechom KLT/2DKLT Kierunki badań: zwiększenie bezpieczeństwa poprzez użycie bardziej zaawansowanych algorytmów kodowania macierzy wektorów własnych 59 / 73

LDA / Analiza Fisherowska Liniowa analiza dyskryminacyjna (ang. Linear discriminant analysis, LDA) i związany z nią liniowy dyskryminator Fisher'a (ang. Fisher's linear discriminant, FLD) są używanie do poszukiwania liniowej kombinacji cech, które najlepiej rozróżniają dwie lub więcej klas obiektów. Wynikowe kombinacje służą redukcji wymiarów i klasteryryzacji danych w celu późniejszej ich klasyfikacji. G. Kukharev, P. Forczmański, Data dimensionality reduction for face recognition, Machine Graphics & Vision, vol. 13, no. 1/2, 2005, s. 99-122 60 / 73

LDA : Algorytm (1) Załóżmy, że obrazy w odcieniach szarości (macierze prostokątne) X zorganizowane są w K klasach, każda licząca L obrazów są wstępnie zredukowane za pomocą PCA/PCArc. Na wstępie obliczane są średnie: globalna i wewnątrz-klasowa: W kolejnym kroku obliczane są macierze kowariancji: 61 / 73

LDA : Algorytm (2) Następnie obliczana jest wspólna macierz kowariancji: dla której dokonywany jest rozkład (podobny do PCA): gdzie Ω diagonalna macierz wartości własnych i U ortogonalna macierz zawierająca wektory własne (w kolumnach) Macierz transformacji LDA tworzona jest z macierzy U za pomocą obcięcia i pozostawienia s kolumn odpowiadających największym wartościom własnym w Ω. Ω pxp F sxs 62 / 73

LDA : Algorytm (3) Redukcja wymiarowości odbywa się zwykle dwuetapowo: 1. wstępna redukcja (próbkowanie, DCT/DFT, PCA) 2. finalna transformacja LDA: 63 / 73

LDA : ograniczenia Klasyczna metod LDA wymaga przeprowadzania wstępnej redukcji wymiarowości danych, np. za pomocą próbkowania (down-sampling) lub PCA/PCArc. Wymagane jest spełnienie warunku: gdzie K liczba klas obrazów, L-liczba obrazów w klasie, DIM wymiarowośc przestrzeni cech. G. Kukharev, P. Forczmański, Two-Dimensional LDA Approach to Image Compression and Recognition, Computing, Multimedia and Intelligent Techniques, vol.2, no. 1, 2006, s.87-98 G. Kukharev, P. Forczmański, Face Recognition by Means of Two-Dimensional Direct Linear, Discriminant Analysis Pattern recognition and information processing: PRIP 2005: Proceedings of the Eighth International Conference, 18-20 Maj, Mińsk, Białoruś 2005, s.280-283 64 / 73

2DLDA/LDArc (1) Rozwiązaniem tego problemu jest zastosowanie metody 2DLDA (LDArc), która zakłada dekompozycję obrazu na zestaw wierszy i kolumn i obliczanie 2 zestawów macierzy kowariancji: 65 / 73

2DLDA/LDArc (2) Dla każdego zestawu obliczane są macierze kowariancji (podobnie do LDA): celem LDA jest maksymalizacja rozrzutu (scatter) międzyklasowego w stosunku do rozrzutu wewnątrzklasowego, co sprowadza się w maksymalizacji wyrażenia: 66 / 73

2DLDA/LDArc (3) W tym celu obliczane są rozkłady macierzy H: Dające zestawy macierzy wektorów własnych V i wartości własnych Λ dla odpowiednich reprezentacji (wierszowych R i kolumnowych C). 67 / 73

2DLDA/LDArc (5) Przekształcenie LDArc można przedstawić w następujący sposób: Przykładowe wyniki redukcji przedstawiono poniżej: 68 / 73

2DLDA/LDArc: przykłady G. Kukharev, P. Forczmański, Facial images dimensionality reduction and recognition by means of 2DKLT, Machine Graphics & Vision, vol. 16, no. 3/4, 2007, s. 401-425 69 / 73

LDA: Rozpoznawanie i klasyfikacja Klasyfikacja tekstur w obecności typowych zniekształceń w powiązaniu z obiektywną oceną jakości obrazu Oryginał, Filtracja medianowa (maska 3 3 and 5 5), filtr dolnoprzepustowy (maska 3 3 and 5 5), zaszumienie: szum impulsowy (5%, 10% i 20% pikseli) oraz kompresja JPEG (jakość: 60%, 40%, 20% oraz 10%) K. Okarma, P. Forczmański, 2DLDA-based texture recognition in the aspect of objective image quality assessment Annales Universitatis Mariae Curie-Skłodowska. Sectio AI Informatica, vol. 8, no. 1, 2008, s. 99-110 70 / 73

LDA: Rozpoznawanie i klasyfikacja Distortion Recognition accuracy Nearest element Centers of classes Median 3x3 81.33 % 71.59 % Median 5x5 62.18 % 57.79 % Low-pass 3x3 71.47 % 63.37 % Low-pass 5x5 46.83 % 47.32 % 5% impulse noise 64.29 % 60.88 % 10% impulse noise 47.24 % 47.89 % 15% impulse noise 38.47 % 38.80 % 20% impulse noise 30.03 % 31.33 % JPEG 60% 89.77 % 78.08 % JPEG 40% 90.10 % 77.11 % JPEG 20% 89.95 % 76.82 % JPEG 10% 88.96 % 76.14 % K. Okarma, P. Forczmański, 2DLDA-based texture recognition in the aspect of objective image quality assessment Annales Universitatis Mariae Curie-Skłodowska. Sectio AI Informatica, vol. 8, no. 1, 2008, s. 99-110 71 / 73

Podsumowanie scrambling Klasyfikacja tekstur Kompresja obrazów Metody redukcji wymiarowości Bazujące na transformatach DCT, PCA, KLT,CCA CBIR Steganografia watermarking Rozpoznawanie twarzy 72 / 73

Kwestie otwarte... (kierunki badań) Otwarte pozostają kwestie dotyczące: Redukcji wymiarowości dla obrazów wielospektralnych, Opracowanie skutecznych metod kwantyzacji współczynników transformat, Opracowanie algorytmu kompresji danych video, który będzie uwzględniał problem propagacji błędów (patrz MPEG) 73 / 73