MODELOWANIE OBRAZÓW METODAMI ANALIZY FUNKCJONALNEJ (WIELU SKAL)

Transkrypt

1 MODELOWANIE OBRAZÓW METODAMI ANALIZY FUNKCJONALNEJ (WIELU SKAL) Materiały KWOD, A.Przelaskowski Analiza funkcjonalna i harmoniczna Falki Dekompozycja falkowa Falki W

2 Podsumowanie Wprowadzenie: technika, rys historyczny Cyfrowa radiologia, doskonalenie technik obrazowania, integracja środowiska wspomagania Ograniczenia diagnostyki obrazowej poziom i przyczyny błędów Przegląd metod przetwarzania i analizy obrazów Koncepcja CAD vs ACD podstawowe idee wspomagania Rozumienie i interpretacja obrazów Przykłady CAD (rak płuc, rak sutka) Problem indeksowania (CAD-CBIR) Modele obrazów Funkcjonalna analiza obrazów

3 Analiza funkcjonalna Cechy obrazów: skalowalność w rosnącej dziedzinie, co prowadzi do koncepcji uciąglenia sygnałów Funkcja opisem informacji: dobieramy funkcje przybliżające z sieci aproksymacji danego rozwiązania (możliwie małolicznej względem błędu aproksymacji) Teoria: analiza funkcjonalna (harmoniczna) i teoria aproksymacji Praktyka: hierarchiczne bazy wielu skal opisujące zarazem właściwości lokalne i globalne, przestrzenne i częstotliwościowe obrazów

4 Interpolacja oraz aproksymacja istoty sygnału Sygnały o skończonej energii ciągły s( t) L ( R), czyli s( t) dt dyskretny s l (Z), czyli n s n Analiza funkcjonalna Interpolacja sygnału za pomocą bazy funkcji s( t) a ( t n), gdzie a s, s( t) ( t); ( t) ( t n) n n n n n n Aproksymacja istoty sygnału s M n1 a n n s n A M a n n liniowa nieliniowa (A M jest zbiorem M największych współczynników)

5 Efektywne modele aproksymacji nieliniowej Model z 15 % współczynników uporządkowanych nierosnąco sygnał oryginalny transformaty Fouriera (D=45,5) transformaty DCT (D=37,4) transformaty falkowej (D=0,008)

6 Potęga Fouriera Częstotliwościowa analiza sygnałów Dla każdej funkcji f(x) okresowej () mamy szereg: f a x a a cos kxb kx 0 a k b k 1 k1 0 k k sin f f f xdx xcoskxdx xsinkxdx Zespolone szeregi Fouriera f x a k k e j x k, a R k

7 Transformacja Fouriera (analiza i synteza) Zakładamy, że f, czyli energia f jest skończona: f = Iloczyn skalarny (metryka): operator TF: ciągła: dyskretna: fˆ( ) 1 1 fˆ k f n e N 1 n0 f ( t) e it dt π i kn N

8

9 Falki Shannona Shannonowska funkcja przesłony: Shannon ( x) sinc (x) sinc ( x) { Shannon ( x) : j, k Z} jest orthonormalną bazą przestrzeni L j,k (R)

10 Falki Shannona Widmo shannon ( x) sinc (x) sinc ( x) widmo sinc (x) widmo sinc ( x) Reprezentacja sygnałów: ograniczonych do pasma, ) można opisać za pomocą sinc(xn) ograniczonych do (, ), ), za pomocą ( x n) ograniczonych do (4, ), 4), za pomocą, n... 1 (x n) 1,n 1 x ( n) 4

11 Podział przestrzeni czas-częstotliwość (położenie-skala) Zasada nieoznaczoności Heisenberga, czyli atomy położenieczęstotliwość: x t Dobór atomów zależnie od charakteru sygnału sinc(4x-k) częstotliwość frequency sinc(x-m) sinc(x-n) czas time

12 FALKI

13 Falki czyli natura Falki odzwierciedlają naturalny charakter informacji (treści) obrazowej Yves Meyer: Falki, gdziekolwiek one są, nie pomagają nam wyjaśnić faktów naukowych, ale pozwalają opisać rzeczywistość wokół nas, bez względu na to jak bardzo jest naukowa Falkowe korzyści: Naturalny opis obrazu w wielu skalach Hierarchia i zależność informacji Selektywność informacji Upakowanie informacji Łatwiejsza identyfikacja informacji użytecznej Składanie (synteza) informacji w różnej postaci Klasyfikacja jakościowa i ilościowa

14 Poszukujemy reprezentacji!!! - nie interpretacji Benoit Mandelbrot: Świat wokół nas jest bardzo złożony. Narzędzia opisu świata, jakimi dysponujemy, są bardzo słabe. Pitagoras: nie wyrażaj małej rzeczy w wielu słowach, lecz rzecz wielką w niewielu Pitagoras: liczba jest istotą wszystkich rzeczy Stefan Kisielewski: wszak istotą jest zasada, nie zaś elementy, poprzez które się ona realizuje Ważna jest relacja: opis (reprentacja-model) uwarunkowania fizyczne interpretacja (semantyka)

15 Definicja falki Falka to funkcja f o następujących właściwościach: a) f, czyli energia f jest skończona: b) wartość średnia f wynosi zero, tj. Warunki te wymuszają co najmniej kilka oscylacji c) alternatywnie do a) i b): Warunki a) i b) oraz c) są równoważne, jeśli f zanika szybciej niż dla Cechy: silnie wyróżniona jest lokalizacja w czasie, tj. funkcja jest lokalna nośnik (zbiór niezerowych wartości) jest zwarty (czyli domknięty i ograniczony) i niepusty nośnik jest prawie zwarty (widmo częstotliwościowe ma zwarty nośnik) kształt przypomina gasnące pobudzenie ośrodka, tj. falę z gasnącymi amplitudami kolejnych oscylacji oddalających się od zaburzenia centralnego

16 Transformacja falkowa Baza przekształcenia liniowego: rodzina falek Transformacja falkowa (ciągła)

17 Przykład: kapelusz meksykański: Ciągła transformacja falkowa

18 Ciągła transformacja falkowa - synteza rekonstrukcja: warunek na falki: warunek uproszczony: Problemy z dokładną rekonstrukcją rozwiązanie: transformacja dyskretna

19 Problem doboru bazy przekształcenia przykładowe falki: baza falkowa: translacja skalowanie s, x ( t) 1 t x, s s s 0 Baza funkcji dopasowanych do cech sygnału (obrazu?) falka Meyera wraz z funkcją skalującą

20 APROKSYMACJA WIELOROZDZIELCZA

21 Analiza (aproksymacja) wielorozdzielcza Teoria nawiązująca do piramid wieloskalowych (Gaussa, Laplace a) Efekt: praktyczny schemat liczenia dyskretnej transformacji falkowej Istnieją algorytmy alternatywne Wielorozdzielczość - jednoczesne występowanie wielu skal w reprezentacji sygnału Zasadnicza idea: dekompozycja funkcji na centralną reprezentację zgrubną (niskorozdzielczą) oraz sekwencję reprezentacji szczegółowych (wysokorozdzielczych) procedura dekompozycji zakłada kolejne aproksymacje sygnału z malejącą rozdzielczością (rosnącą skalą)

22 Hierarchiczna piramida - = - = =

23 Definicja MRA (multiresolution analysis/approximation) (niezmiennicza względem przesunięcia, skalowanie z dwójką) (skalowanie) (skalowanie przez ) (zerowanie reprezentacji zgrubnej wytracenie całej energii w reprezentacjach szczegółowych) (rozpinanie przestrzeni do L (R)) (istnienie centralnej podprzestrzeni z bazą Riesza)

24 Bezpośrednie konsekwencje MRA Dwie kluczowe operacje: skalowanie i przesuwanie Zupełność przestrzeni opisu sygnału w L (R) (przypadek p. Hilberta) Znaczy to, że energia każdego sygnału w jest ograniczona i rozwinięcia funkcji w bazie tej podprzestrzeni są ograniczane dodatkowymi warunkami Każdą funkcję f L ( R) można aproksymować z dowolną dokładnością - za pomocą rzutów na : V m lim m PV m lub też z utratą wszystkich szczegółów: f f lim f 0 m PV m

25 Baza centralnej podprzestrzeni V 0 Baza Riesza jest uogólnieniem pojęcia bazy ortonormalnej - w centralnej podprzestrzeni V 0 określa skrajne warunki na postać transformacji realizujących analizę wielorozdzielczą sygnałów jest bazą przestrzeni V 0 ( ), której funkcje są liniowo niezależne współczynniki istnieją dwie dodatnie stałe A i B ( ) takie, że zachodzi warunek: znaczy to, że rozwinięcia dowolnej funkcji przestrzeni L (R) są numerycznie stabilne w danej bazie Wśród różnych postaci bazy numerycznie stabilnej szczególnie użyteczną jest baza ortonormalna, dla której A=B=1, czyli dla dowolnej f V 0 o reprezentacji f an( t n) zachodzi n f n a n

26 Baza ortonormalna Jeśli jest bazą Riesza, to można znaleźć postać taką postać, by była to baza ortonormalna (uprasza się ostatni warunek MRA do baz ortonormalnych) Najbardziej naturalną jest rodzina funkcji postaci m/ m m, n( t) ( t n) o skali m i współczynnikach skalujących a m, n f,m, n Jest to baza funkcji skalujących (aproksymujących) ze skalującą funkcją podstawową falka

27 Równanie skalujące Podstawowa funkcja skalująca dla V 0 to ( t) V 0,0 0 Z MRA mamy V0 V1, co oznacza że również ( t) V 1, czyli można ją rozwinąć w V 1 za pomocą funkcji bazowych m/ m ( ) ( ) (t ) m, n t t n 1, n n otrzymujemy wtedy równanie skalujące: h n ( t ) h (t n) n n gdzie to współczynniki rozwinięcia w bazie (interpretowane jako współczynniki dyskretnego filtru h skojarzonego z bazą funkcji skalujących), przy czym h n ( t) (t n) dt V 1

28 Filtry skalujące (dolnoprzepustowe) Z warunku ortonormalności w dziedzinie częstotliwości wynika zależność ( k k R 1 co w połączeniu z interpretacją równania skalującego w dziedzinie jn częstotliwości daje warunek na filtry ( H() h n e ) H( ) H( ) Dyskretne filtry spełniające ten warunek nazywane są sprzężonymi filtrami lustrzanymi (conjugate mirror filters) Ortogonalność jest kontrolowana przez liczbę zer w π co jest często wykorzystywane przy projektowaniu bazy funkcji skalujących - to rozwiniemy później n

29 Falkowa przestrzeń uzupełniająca dopełnienie informacji o szczegółach w danej skali szczegóły potrzebne do zwiększania rozdzielczości aproksymacji V m funkcji f zawarte są w uzupełniających podprzestrzeniach takich, że W m V m1 Jeśli Wm jest ortogonalne do m, to jest jego dopełnieniem do uzupełniającym energię sygnału: m1 oraz w odniesieniu do kolejnych skal aproksymacji: Wm W m' dla m m' oraz przy co daje dla kolejnych przestrzeni ortogonalnych W m V V W m1 m' Podprzestrzenie są rozpinane przez ortogonalne bazy falkowe W m V V m 1 V V m m W W mm V m i0 m m W mi m' m

30 Baza falkowa Ortogonalny rzut funkcji f na podprzestrzeń szczegółów W m jest rozwinięciem w ortonormalnej bazie falkowej tej podprzestrzeni: PW m f f, m, n m, n nz zachodzi też: P W m f P V m f P V m1 f P V m f oraz f P W m m f m, nz f, m, n m, n cm, n ( f ) m, nz m, n gdzie c m, n f, m, n to współczynniki falkowe Zbiór funkcji { } m, n nz jest falkową bazą ortonormalną podprzestrzeni Wm m / m m, n ( t) ( t n)

31 Równanie falkowe Związek pomiędzy bazą falkową i bazą funkcji skalujących, wynikający z MRA oraz koncepcji uzupełnienia, ma postać równania falkowego: współczynniki górnoprzepustowego filtru lustrzanego g: Zależności pomiędzy współczynnikami skalującymi i falkowymi kolejnych skal aproksymacji w dekompozycji (analizie) f są następujące: są to filtrowe odpowiedniki równania skalującego i falkowego Przy rekonstrukcji: 1n ( t) gn(t n) ( 1) h1 n g n 1 ( t), (t n) m, n ( f ) hk nam1, k ( f m, n ( f ) g knam1, k k k a ) n n (t n) c ( f )

32 Filtry falkowe Na podstawie MRA i dopełnień podprzestrzeni istnieje związek: przy Konstrukcje filtrów (baz) falkowych są bardzo różnorodne. / / ) ( 1/ H G ) ( ) ( * H e G i

33 KONSEKWENCJE PRAKTYCZNE

34 Przykładowe realizacje skalowania i filtrowej reprezentacji bazy falkowej Filtry sprzężone z funkcjami skalującymi falkami: ( t) hn (t n) n ( t) ~ gn(t n) n (t) ( t 1) ( t 1) (t) 1 ( t ) 0 1 h 1, h 0 h (t ) 1 ( t ) 0 1 g 1, g 0 g (t )

35 Aproksymacja sygnału w różnych skalach funkcje skalujące

36 Detale i przybliżenia Sygnał Współczynniki falkowe Aproksymacja z pozostałych skal

37 Dokładność w przybliżeniu Lokalna charakterystyka sygnału (nieciągłości, osobliwości) upakowanie energii w określonych miejscach przestrzeni falkowej

38 Falka Haara i baza ortogonalna konstruowanie funkcji skalującej baza ortogonalna w skali diadycznej falki nie są wzajemnie ortogonalne w innej skali konstruowanie falki skala diadyczna

39 Falka Daubechies funkcja skalująca falka baza falkowa (różne skale, przesunięcia)

40 Inne falki falka Lemarie-Battle falka Meyera wraz z funkcją skalującą

41 Rozkład podpasm dekompozycji skala oryginał

42 Falkowa dziedzina Dzielą przestrzeń czas-częstotliwość na różne atomy

43 Alternatywy d e t g x g x t i t S x ) ( ) (, ), (, F d e t R f t S f j x x ), ( ), ( ) ( ) ( ), ( * t x t x E t R i x d e t x t x h f t S f j x * ) ( ) ( ) ( ), ( dv e f X f X f t S d e t x t x f t S t j W X f j W x * * ) ( ) ( ), ( ) ( ) ( ), ( Transformacje "krótkoczasowe : gdzie estymata lokalnej funkcji autokorelacji sygnału x(t) w otoczeniu chwili czasowej t: W najprostszym przypadku można napisać: Przykładowo, klasyczna transformata Wignera: Okienkowa transformacja Fouriera:

44

45 Efekty analiz czas-częstotliwość Zaszumiony sygnał z liniową modulacją częstotliwości» Transformata Wignera-Ville a (prezentacja konturowa) Widmo częstotliwościowe

46 Syntetyczne podsumowanie dekompozycja falkowa Baza powstaje z falki matki: s, x 1 t x ( t), s 0 s s ( t) dt 0 1 s, x 1 dyskretyzacja f c m, nz m, n ( f ) m, n ( t) Postać transformaty falkowej przy dyskretyzacji dziedziny przesunięcia x i skali s: m m s s0, x nx0s0, gdzie m, nz, m/ m m, n( t) s0 ( s0 t nx0 ) dla funkcji (sygnału) f, co daje kładąc s 0, x 0 1 tworzymy rozwinięcia w bazach ortonormalnych..

47 Podsumowanie aproksymacja wieloskalowa sygnałów (t) ) ( ) ( /, n t t m m n m ) (, ) (, ) (, ) (,,,,,,,, t f t m t f t f n k m n k n k m n n m n m n m n n m Z Z Z k k m n k n m f a h f a ) ( ) (, 1, k k m n k n m f a g f c ) ( ) (, 1, - funkcja skalująca, analogicznie mamy Dekompozycja f: Sposób obliczania współczynników transformaty jest następujący: współczynniki skalujące współczynniki falkowe )] ( ) ( [ ) (,,, 1 f c g f a h f a k m k n k m k k n n m Rekonstrukcja:

48 Dekompozycja (analiza) sygnału oryginał szczegóły przybliżenia

49 Rozkład pasm w dekompozycji skala oryginał

50 Analiza i synteza sygnału (falki Haara) oryginał rekonstrukcja

51 Falkowe liczenie Wektor danych wejściowych: [1,0,-3,,1,0,1,] Filtry Haara: Wektor współczynników: 1, 1 Haar h 1, 1 g Haar 1, 1, 5, 1 1,,1,,

52 PROSTE ZASTOSOWANIA

53 Przykład docierania do sygnału (dopplerowskiego) sygnał widmo z szumem widmo sygnału dopplerowskiego odszumianie: wydobywanie sygnału zagnieżdżonego w szumie informacyjnym, czyli estymacja sygnału użytecznego ważne są lokalne zmiany, szczegóły metoda: masymalne rozdzielenie sygnału i szumu (zwykle w nowej dziedzinie) + selekcja (najprościej progowanie)

54 Rekonstrukcja z progowaniem odtwarzanie sygnału na podstawie zerowanych współczynników falkowych i skalujących

55 sygnał Odszumianie sygnału sygnał z szumem współczynniki bazy Różne metody progowania twarde prog. () miękkie prog. () rekonstrukcja twarde prog. (4) miękkie prog. (4) rekonstrukcja

56 Gubienie szczegółów sygnał odszumiony sygnał proste uśrednianie odsz. falkowe

57 Odszumianie dopplera spektrogram sygnału oryginalnego po odszumieniu (falka rzędu 8) po odszumieniu (falka rzędu 4)

58 FALKOWA DEKOMPOZYCJA OBRAZÓW

59 sekwencyjna filtracja z podpróbkowaniem Falkowa dekompozycja obrazów (jądro separowalne)

60 Dekompozycja falkowa (schemat diadyczny, z separowanym jądrem)

61 Falkowa dekompozycja obrazów

62 Korzyść ze stosowania transformacji falkowej

63 Pakiety falek

64 Falki bez decymacji

65 Falkowe mikrozwapnienia bez decymacji

66 Modele

67 Modele

68 Rodzina falek w reprezentacji obrazów doskonalenie reprezentacji Falki tensorowe Złożenie przekształceń 1W po wierszach i kolumnach Pakiety falek Bazy nadmiarowe Falki geometryczne Wedgelety, czyli kliniki Beamlety, czyli beleczki Falki kierunkowe Ridgelety, czyli grzbieciki Curvelety, czyli krzywki Contourlety, czyli konturki

69 FALKI DOBRZE OPISUJĄ KRAWĘDZIE??? f L ( R ) Przy transformacji W z separowalnym jądrem (1W1W) dobrze reprezentowane są jedynie punkty osobliwe, a nie linie czy krzywe (czyli kontury)

70 OGRANICZENIA FALEK 1W1W Nie można określić gładkości krawędzi Lepsze wpasowanie w krawędź, charakterystyka gładkości falki 1W1W (tensorowe) falki W (contourlety, curvelety) Oprócz położenia i skali dochodzi argument: orientacja

71 Aproksymacja wedgeletowa

72 PROSTA OBSERWACJA Ludzki system widzenia (HVS): bardzo efektywny, szybki, a receptory dostarczają informacji o położeniu, skali i orientacji Upakowane (sparse) składniki obrazów naturalnych (Olshausen, Field, 1996) imagelets poszukiwanie upakowanej reprezentacji bloki danych źródłowych

73 Curvelety

74 Curvelety II

75 Dziedzina krzywek

76 Obrazki krzywkowe

77 Countourlets: filtry kierunkowe kierunkowe filtry Haara (niebieski to 1, żółty to -1)

78 Contourlets: dekompozycja pasma kierunkowe obraz

79 Contourlets: rozkłady współczynników 3 poziom banku 8 filtrów kierunkowych

80 Contourlets: dekompozycja obrazu

81 Obraz w dziedzinie konturków

82 Aproksymacje 13,6% współczynników falkowa wedgeletowa curveletowa DFT