Elektronika medyczna Wstęp do diagnostyki obrazowej

Prezentacja multimedialna współfinansowana przez Unię Europejską w ramach Europejskiego Funduszu Społecznego w projekcie Andrzej Materka Elektronika medyczna Wstęp do diagnostyki obrazowej Innowacyjna dydaktyka bez ograniczeń zintegrowany rozwój Politechniki Łódzkiej zarządzanie Uczelnią, nowoczesna oferta edukacyjna i wzmacniania zdolności do zatrudniania osób niepełnosprawnych Zadanie nr 13 Studia podyplomowe Przetwarzanie i analiza obrazów biomedycznych 90-924 Łódź, ul. Żeromskiego 116, tel. 042 631 28 83 www.kapitalludzki.p.lodz.pl

Biologia i medycyna Badanie życia - organizmy (ustroje) żywe (wymiana materii i energii, replikacja), gatunki, oddziaływanie ze środowiskiem naturalnym. Sztuka lekarska, Zdrowie i choroby, zapobieganie chorobom i ich leczenie. Współcześnie: Medycyna oparta na faktach (ang. evidence-based medicine) - postępowanie o dowiedzionej naukowo skuteczności, efektywności i bezpieczeństwie. Hipokrates, 460-370 pne, Paracelsus, 1453-1541, metody racjonalne, zasada doświadczenia, primum non nocere całościowe ujęcie spraw A. Materka, Wstęp do komputerowej analizy obrazów (1) 2

Wprowadzenie do diagnostyki obrazowej Dział medycyny zajmujący się metodami rozpoznawania chorób na podstawie wywiadu lekarskiego, badania fizykalnego oraz wyników badań laboratoryjnych (Encyklopedia PWN). Badanie i określanie stanu technicznego urządzenia oraz lokalizacja ewentualnych nieprawidłowości bez rozbierania zespołów urządzenia (WIEM Fogra). Obiekt fizyczny Obraz obiektu Opis liczbowy Opis słowny A. Materka, Wstęp do komputerowej analizy obrazów (1) 3

Trudności w opisie stanu organizmu http://www.sci.utah.edu/stories/2007/ Gerig_NeuroimageAnalysis.html niewidoczne narządy wewnętrzne niedostępne tkanki złożona struktura i skomplikowane wzajemne oddziaływania szybkie zmiany w czasie i przestrzeni tradycyjna metodyka (obserwacje wnikliwe i uważne, ale opisowe) http://www.censsis.neu.edu/public_docs/ 13c-02.pdf A. Materka, Wstęp do komputerowej analizy obrazów (1) 4

Przejście do diagnozy ilościowej Ostatnia dekada XX wieku: Zasadnicza zmiana - przejście od diagnozy jakościowej do ilościowej Po wypełnieniu ubytku 2 lata po zabiegu Monitorowanie leczenia materiałem kościozastępczym A. Materka, Wstęp do komputerowej analizy obrazów (1) 5

Postęp w technice zobrazowania wnętrza organizmu zaawansowane teorie fizyki kwantowej (np. NMR) bardzo szybki rozwój mikroelektroniki (wzrost szybkości działania i pojemności układów scalonych) rewolucja w technikach przetwarzania informacji (Internet, techniki multimedialne, programowanie obiektowe) znaczenie zapisu informacji w postaci obrazów (wzrok jest podstawowym zmysłem człowieka) http://www.medical.philips.com Postęp technologiczny przyczynia się do rozwoju wszystkich działów medycyny, nie tylko diagnostyki. A. Materka, Wstęp do komputerowej analizy obrazów (1) 6

Przykład: ilościowa analiza przekroju aksonów Numer przekroju Pole pow. A [µm 2 ] Dług. obw. P [µm] Wsp. Fereta F x [µm] Wsp. Fereta F y [µm] 1 858 117 38 36 2 2063 179 61 51 3 649 110 23 45 4 1034 133 37 46 5 405 81 24 29 6 1353 144 45 47 7 928 118 34 39 8 938 139 37 49 9 497 102 19 42 10 951 119 38 36 11 1298 148 38 51 12 1215 142 36 51 13 195 57 16 20 14 1489 227 66 58 15 974 127 41 37 A. Materka, Wstęp do komputerowej analizy obrazów (1) 7

Schemat blokowy systemu analizy obrazów Źródło promieniowania Badany obiekt Układ akwizycji obrazu Komputer Wyświetlacz Skaner A. Materka, Wstęp do komputerowej analizy obrazów (1) 8

Przykład: endoskop, laparoskop Wrzód żołądka Ciało obce http://www.endoscopy.com A. Materka, Wstęp do komputerowej analizy obrazów (1) 9

Przykład: radiowa kapsuła endoskopowa C. McCaffrey i inni, Swallowable-capsule technology, Pervasive Computing,, 2008 J. Silva Cunha i inni, Automated Topographic Segmentation in Endoscopic Exams, IEEE Trans. Med.. Imaging, 2008 A. Materka, Wstęp do komputerowej analizy obrazów (1) 10

Przykład: radiowa kapsuła endoskopowa C. McCaffrey i inni, Swallowable-capsule technology, Pervasive Computing,, 2008 J. Silva Cunha i inni, Automated Topographic Segmentation in Endoscopic Exams, IEEE Trans. Med.. Imaging, 2008 A. Materka, Wstęp do komputerowej analizy obrazów (1) 11

Przykład: radiowa kapsuła endoskopowa (wizja artysty) C. McCaffrey i inni, Swallowable-capsule technology, Pervasive Computing,, 2008 J. Silva Cunha i inni, Automated Topographic Segmentation in Endoscopic Exams, IEEE Trans. Med.. Imaging, 2008 A. Materka, Wstęp do komputerowej analizy obrazów (1) 12

Przykład: urządzenia rentgenowskie radiologia flouroskopia mammografia radiologia naczyń inwazyjność badania zła jakość obrazów niski koszt aparatury http://www.medical.philips.com fotografie na kliszach kamery CCD A. Materka, Wstęp do komputerowej analizy obrazów (1) 13

Układ formowania obrazów: aparat rentgenowski N out = N inp e λw Ciało pacjenta Źródło promieniowania rentgenowskiego Kość Film lub detektor Ekran fluorescencyjny A. Materka, Wstęp do komputerowej analizy obrazów (3) 14

Przykład: tomograf rentgenowski (CT) Lata 1970: odwzorowanie przekrojów (a nie rzutu na płaszczyznę), kości, mózgu, kręgosłupa, jamy brzusznej. duża rozdzielczość inwazyjność wysoki koszt złe odwzorowanie tkanek miękkich http://www.medical.philips.com A. Materka, Wstęp do komputerowej analizy obrazów (1) 15

Układ formowania obrazów: tomograf komputerowy N out = N inp e λw Źródło promieniowania rentgenowskiego Ciało pacjenta Obrót Detektory Rekonstrukcja obrazu A. Materka, Wstęp do komputerowej analizy obrazów (3) 16

Przykład: tomograf rezonansu magnetycznego (NMR, MRI) Lata 1980: nieinwazyjna technika odwzorowania w trzech wymiarach tkanek miękkich (zawierających wodę - mięśnie, mózg, naczynia). http://www.medical.philips.com A. Materka, Wstęp do komputerowej analizy obrazów (1) 17

Przykład: przenośny tomograf rezonansu magnetycznego NMR mouse http://www.nmr-mouse.de/ A. Materka, Wstęp do komputerowej analizy obrazów (1) 18

Przykład: urządzenia medycyny nuklearnej Wprowadzanie substancji radioaktywnych do krwi, które gromadzą się w badanych narządach i emitują promieniowanie. Odwzorowanie procesów fizjologicznych. wykrywanie raka badanie przepływów ocena wydolności nerek inwazyjność PET (positron emission tomography), badanie metabolizmu (zmiany funkcjonalne są zapowiedzią zmian strukturalnych) http://www.medical.philips.com A. Materka, Wstęp do komputerowej analizy obrazów (1) 19

Przykład: ultrasonografia Odbicie fal dźwiękowych od granic tkanek Obraz 2½W ( 3D ) serce jama brzuszna naczynia krwionośne płód http://www.toshiba.com nieinwazyjność niski koszt trudna interpretacja Zjawisko Dopplera A. Materka, Wstęp do komputerowej analizy obrazów (1) 20

Urządzenia diagnostyki obrazowej w Internecie http://www.bruker.de/medical/ http://www.conductus.com/ http://phase.pki.uib.no/~costb11/ http://www.ge.com/medical/ http://www.brookes.ac.uk/~p0054865/ http://www.medical.philips.com/ http://www.siemens.de/med/ http://www.toshiba.com/ http://www.nlm.nih.gov/research/visible/ http://visiblehuman.epfl.ch/ http://www.eletel.p.lodz.pl/~med/ A. Materka, Wstęp do komputerowej analizy obrazów (1) 21

Teoria i technologie diagnostyki obrazowej Fizjologia badanego organu Zjawisko fizyczne obrazowania Zastosowanie (diagnostyka, leczenie) Aparatura akwizycji obrazu (skaner) Przetwarzanie, analiza i modelowanie numeryczne Konieczność współpracy specjalistów różnych dyscyplin naukowych!! A. Materka, Wstęp do komputerowej analizy obrazów (1) 22

Obraz analogowy/obraz dyskretny Przetwarzanie i analiza obrazów technikami cyfrowymi daje możliwości nieosiągalne metodami analogowymi. Obrazy są bardzo dużymi zbiorami danych ( Panorama Racławicka ok. 1 TB, Słoneczniki ok. 600MB). Przetwarzanie obrazów wymaga szybkich komputerów (pierwsze prace w latach 50. XX wieku). Archiwizacja obrazów wymaga pamięci o dużej pojemności i krótkim czasie dostępu. Aby cyfrowa analiza była możliwa, obraz musi zostać przekształcony do postaci cyfrowej. A. Materka, Wstęp do komputerowej analizy obrazów (2) 23

Obraz analogowy 2W (2D) O a = f ( x, y), x y y y 1 x x2, 1 2 Barwny Monochromatyczny f ( x, y) = ( IR, IG, IB) f(x,y) przyjmuje wartości rzeczywiste f ( x, = Y y) I Y 0,30I R + 0,59IG 0,11I B I = + ) A. Materka, Wstęp do komputerowej analizy obrazów (2) 24

Obraz dyskretny 2W (2D) O d = f d ( i, j), N x1 i N x2, N y1 j N y2 i = 0 1 2 3 4 5 j = 0 j = 1 j = 2 j = 3 j = 4 x y piksel Obraz barwny f d ( i, j) = ( IR, IG, I B) f d (i,j) przyjmuje wartości rzeczywiste Obraz monochromatyczny f ( i, j) = I + d I Y Y = 0,30I R + 0,59IG 0,11I B ) A. Materka, Wstęp do komputerowej analizy obrazów (2) 25

Dyskretyzacja 700x1000 175x250 A. Materka, Wstęp do komputerowej analizy obrazów (2) 26

Dyskretyzacja 700x1000 43x63 A. Materka, Wstęp do komputerowej analizy obrazów (2) 27

Obraz cyfrowy 2W (2D) O c = f c( i, j), N x1 i N x2, N y1 j N y2 i = 0 1 2 3 4 5 j = 0 j = 1 j = 2 j = 3 j = 4 x y piksel Obraz barwny f c( i, j) = ( I R, IG, I B) f c (i,j) przyjmuje wartości całkowite Obraz monochromatyczny f ( i, j) = I + c I Y Y = 0,30I R + 0,59IG 0,11I B ) A. Materka, Wstęp do komputerowej analizy obrazów (2) 28

Kwantyzacja (5 bitów/piksel) A. Materka, Wstęp do komputerowej analizy obrazów (2) 29

Kwantyzacja (2 bity/piksel) A. Materka, Wstęp do komputerowej analizy obrazów (2) 30

Kwantyzacja (1 bit/piksel) A. Materka, Wstęp do komputerowej analizy obrazów (2) 31

Obraz cyfrowy trójwymiarowy 3W (3D) O c = f c( i, j, k), N x1 i N x2, N y1 j N y2, N z1 k N z2 woksel i=0 1 2 3 x j=0 j=1 j=2 z j=3 k=0 y 1 2 3 f c (i,j,k) przyjmuje wartości całkowite A. Materka, Wstęp do komputerowej analizy obrazów (2) 32

Obraz 2½W (2½ D) Obraz 2W Obraz 2½W Rzuty aksonometryczne obrazu 2½W A. Materka, Wstęp do komputerowej analizy obrazów (2) 33

Obraz 2½W (2½ D) Stereowizja Kamery aktywne (np. czas przelotu, ToF) A. Materka, Wstęp do komputerowej analizy obrazów (2) 34

Obraz 2½W - stereowizja Punkt w 3W (X,Y,Z) B (baza) y Obraz 1 Y x y Z (x Obraz 2 1,y 1 ) x x X = 1 f y = 1 f fb = f x 2 x 1 ( f Z) ( f Z ) prof. P. Strumiłło f długość ogniskowa (x 2,y 2 ) A. Materka, Wstęp do komputerowej analizy obrazów (2) 35

Obraz 2½W - stereowizja prof. P. Strumiłło A. Materka, Wstęp do komputerowej analizy obrazów (2) 36

Wideo (2W+t, 3W+t) T obr t, czas A. Materka, Wstęp do komputerowej analizy obrazów (2) 37

Obrazy typu MIP Projekcja największej (najmniejszej) intensywności mgr inż. M. Kociński A. Materka, Wstęp do komputerowej analizy obrazów (2) 38

Schemat blokowy systemu analizy obrazów Źródło promieniowania Badany obiekt Układ akwizycji obrazu Komputer Wyświetlacz Skaner A. Materka, Wstęp do komputerowej analizy obrazów (3) 39

Promieniowanie elektromagnetyczne zakresy λ oraz f A. Materka, Wstęp do komputerowej analizy obrazów (3) 40

Przykłady metod akwizycji obrazów Źródło energii Zewnętrzne Wewnętrzne Zewnętrzne i wewnętrzne Radiografia Metoda akwizycji Pobudzenie Promieniowanie rentgenowskie Mammografia J.w. J. w. Tomografia komputerowa J.w. J. w. Nośnik obrazowanej wielkości Promieniowanie rentgenowskie Ultrasonografia Fala akustyczna Fala akustyczna Obrazowanie optyczne Światło widzialne Światło widzialne Scyntygrafia, Promieniowanie gamma tomografia SPECT znacznika izotopowego Pozytonowa emisyjna Fotony gamma przy anihilacji tomografia komputerowa pozytonów z rozpadu (PET) znacznika izotopowego Termografia Zobrazowanie rezonansu magnetycznego (NMR, MRI) Mikroskopia fluorescencyjna Światło lasera Promieniowanie podczerwone Impuls promieniowania Promieniowanie radiowe radiowego lub pola magnetycznego Promieniowanie świetlne (fluorescencyjne) A. Materka, Wstęp do komputerowej analizy obrazów (3) 41

Statystyczny aspekt analizy obrazów Niepewność pomiaru à błędy Zmienność biologiczna (tkanki, organy, pacjenci, choroby, norma, patologia) Technika akwizycji obrazu (zdolność rozdzielcza, dyskretyzacja obrazu, projekcja obiektu, kwantowanie intensywności, zniekształcenia geometryczne, ruch pacjenta w trakcie pomiaru, zakłócenia szumowe detektora) Metody przetwarzania obrazu (parametry filtru przetwarzania wstępnego, próg binaryzacji, stopień kompresji obrazu) A. Materka, Wstęp do komputerowej analizy obrazów (3) 42

Ocena techniki akwizycji obrazów Tabela wyników testu diagnostycznego Osoba uznana za zdrową Osoba uznana za chorą Osoba zdrowa TN FP Osoba chora FN TP Przykład n = 300 osób, n1 = 100 osób chorych, n2 = 200 osób zdrowych C = 0,97, S = 0,88 TP = 97 osób, FN = 3 osoby TN = 176 osób FP = 24 osoby Analiza obrazu zawsze zawiera element losowy. TN: true negative, FP: false positive FN: false negative TP: true positive Czułość TP C =, TP + FN Specyficzność S TN = TN + FP A. Materka, Wstęp do komputerowej analizy obrazów (3) 43

Projektowanie systemu diagnostycznego Czułość TP C =, TP + FN Specyficzność S = TN TN + FP Jak największa czułość (test występowania choroby jest dodatni gdy osoba jest naprawdę chora) Jak największa specyficzność (test nie daje wyniku dodatniego gdy osoba jest zdrowa) A. Materka, Wstęp do komputerowej analizy obrazów (3) 44

Projektowanie systemu diagnostycznego Własności obrazowanych obiektów (zjawiska fizjologiczne, statyka/ruch, gęstość materii, anatomia/funkcje) Zjawiska fizyczne formowania obrazu (źródło energii pobudzenia, sygnał mierzony) Własności aparatury (stosunek sygnału do szumu, liniowość i wydajność detektorów, artefakty) Metoda formowania obrazu (trajektoria skanowania, protokół sekwencji MRI, kompromis między rozdzielczością w czasie i przestrzeni, metoda rekonstrukcji) Metody przetwarzania i analizy obrazów Aplikacja (diagnoza, leczenie) Fizjologia Przetwarzanie, analiza, modelowanie Fizyka obrazowania Aparatura A. Materka, Wstęp do komputerowej analizy obrazów (3) 45

Projektowanie systemu diagnostycznego Aplikacja (diagnoza, leczenie) Fizjologia Fizyka obrazowania Aparatura Optymalizacja techniki akwizycji i analizy obrazu jest bardzo złożona. Nie istnieje jedna uniwersalna metoda maksymalizacji czułości i specyficzności. Istnieją jednak pewne wspólne cechy systemu akwizycji obrazów (model pomocny w opisie własności i ocenie jakości systemu). Przetwarzanie, analiza, modelowanie A. Materka, Wstęp do komputerowej analizy obrazów (3) 46

Model systemu akwizycji obrazów Układ formowania obrazu Obraz cyfrowy (2W, 2½W, 3W, wideo) Badany przedmiot A. Materka, Wstęp do komputerowej analizy obrazów (3) 47

Układ formowania obrazów: cyfrowy aparat fotograficzny Źródło światła Płaszczyzna obrazu Obiektyw Powierzchnia przedmiotu A. Materka, Wstęp do komputerowej analizy obrazów (3) 48

Korekcja zniekształceń geometrycznych Obraz skorygowany x = xˆ νˆ( x, y) y = yˆ ˆ( µ x, y) νˆ µˆ Obraz zniekształcony Gładkie funkcje (x,y) 1) Identyfikacja funkcji (x,y) oraz (x,y) na podstawie wzorca. 2) Przesunięcie każdego punktu obrazu do nowego położenia (z interpolacją jasności). A. Materka, Wstęp do komputerowej analizy obrazów (3) 49

Korekcja zniekształceń geometrycznych Obraz zniekształcony Obraz skorygowany Różnica Przesunięcia obiektów wzorca ẑ Interpolacja jasności piksela po korekcji położenia (przykład) zˆ 4 = z1αβ + z2(1 α) β + z3(1 α)(1 β) + z α(1 β) A. Materka, Wstęp do komputerowej analizy obrazów (3) 50

Nieostrość obrazu v ( x, y) = f ( ξ, η) h( x ξ, y η) dξdη f (x,y) jasność sceny rzutowana na płaszczyznę obrazu analogowego v (x,y) jasność obrazu analogowego h (x,y) odpowiedź impulsowa układu akwizycji obrazu (funkcja rozmycia punktu ) Obraz ostry Obraz nieostry A. Materka, Wstęp do komputerowej analizy obrazów (3) 51

Nieostrość obrazu: zdolność rozdzielcza u Soczewka Przedmiot Obraz Aberracje, dyspersja 1 f 1 = u 1 + w f długość ogniskowa w 2 1 x + y h G ( x, y) = exp( 2 2 2πσ 2σ A. Materka, Wstęp do komputerowej analizy obrazów (3) 2 ) 52

Nieostrość obrazu: zdolność rozdzielcza u s Przedmiot r Obraz Przetwornik optoelektroniczny Soczewka w 2R Głębia ostrości 1 1 1 R = Krs( ) f s u f długość ogniskowa h R ( x, y) = 1 πr 0, 2, x 2 x + 2 y + 2 y > 2 <= R 2 R 2 A. Materka, Wstęp do komputerowej analizy obrazów (3) 53

Nieostrość obrazu: zdolność rozdzielcza Głębia ostrości A. Materka, Wstęp do komputerowej analizy obrazów (3) 54

Aparat cyfrowy: przetwornik optoelektroniczny Tradycyjna matryca światłoczuła MOS Matryca typu Foveon 25% R 50% G 25% B 100% R 100% G 100% B http://www.dpreview.com/news/0202/02021101foveonx3.asp A. Materka, Wstęp do komputerowej analizy obrazów (3) 55

Cele i etapy analizy obrazów Pomiar parametrów sceny z wykorzystaniem segmentacji Pomiar parametrów sceny przez dopasowanie modelu Automatyczna interpretacja obrazu A. Materka, Wstęp do komputerowej analizy obrazów (4) 56

Pomiar parametrów sceny z wykorzystaniem segmentacji Scena 3W Akwizycja obrazu Przetwarzanie wstępne Progowanie Postprocessing Segmentacja obrazu Ekstrakcja cech Parametry sceny 3W A. Materka, Wstęp do komputerowej analizy obrazów (4) 57

Przykład: analiza przekrojów włókien nerwowych http://pl.wikipedia.org/wiki/kolimator Akwizycja obrazu - preparat tkankowy, - oświetlenie, - mikroskop, - cyfrowy aparat fotograficzny, - identyfikacja zniekształceń geometrycznych, - kalibracja. A. Materka, Wstęp do komputerowej analizy obrazów (4) 58

Przykład: analiza przekrojów włókien nerwowych Wstępne przetwarzanie - korekcja zniekształceń geometrycznych, - wyrównanie średniej jasności. Progowanie A. Materka, Wstęp do komputerowej analizy obrazów (4) 59

Przykład: analiza przekrojów włókien nerwowych Postprocessing - usuwanie obszarów stykających się z brzegiem obrazu, - wypełnianie dziur, - wygładzanie konturów, - usuwanie obszarów zbyt małych. A. Materka, Wstęp do komputerowej analizy obrazów (4) 60

Numer A [µm 2 ] P [µm] F x [µm] F y [µm] Przykład: analiza przekrojów włókien nerwowych 1 858 117 38 36 2 2063 179 61 51 3 649 110 23 45 4 1034 133 37 46 5 405 81 24 29 6 1353 144 45 47 7 928 118 34 39 8 938 139 37 49 9 497 102 19 42 10 951 119 38 36 11 1298 148 38 51 12 1215 142 36 51 13 195 57 16 20 14 1489 227 66 58 15 974 127 41 37 Ekstrakcja cech - identyfikacja obiektów w obrazie, etykietowanie, - wyznaczanie linii brzegowej (konturu), - obliczanie parametrów geometrycznych (cech), - dopasowanie modeli. A. Materka, Wstęp do komputerowej analizy obrazów (4) 61

Dopasowanie modelu: aktywny kontur (snake) s=s m -1 s=0 s=1 aktywny kontur punkt węzłowy v(s) analizowany obiekt dr P. Szczypiński S m [ E ( v( s) ) + E ( v( s) ) E ( v( s) )]ds ES = i e + 0 - wewnętrzne naprężenia krzywej konturu - składowa oddziaływania obrazu, - składowa oddziaływań zewnętrznych, p A. Materka, Wstęp do komputerowej analizy obrazów (4) 62

Dopasowanie modelu: deformowalna siatka 0,0 0,1 1,0 obiekt wzorcowy i,j-1 i,j i+1,j i,j+1 punkt węzłowy 0,0 obiekt, przedmiot analizy I m -1,J m -1 dr P. Szczypiński I m -1,J m -1 A. Materka, Wstęp do komputerowej analizy obrazów (4) 63

Dopasowanie siatki oraz aktywnego konturu dr P. Szczypiński A. Materka, Wstęp do komputerowej analizy obrazów (4) 64

Model trójwymiarowy mięśnia sercowego do wizualizacji Ewolucja serca Przekroje MRI Przepływ krwi dr P. Makowski A. Materka, Wstęp do komputerowej analizy obrazów (4) 65

Model trójwymiarowy mięśnia sercowego do wizualizacji Triangulacja przekrojów Holobench 3D visualization workstation Model siatkowy 3W dr P. Makowski Zrekonstruowane serce A. Materka, Wstęp do komputerowej analizy obrazów (4) 66

Model trójwymiarowy mięśnia sercowego do wizualizacji dr P. Makowski A. Materka, Wstęp do komputerowej analizy obrazów (4) 67

Automatyczna interpretacja obrazu Scena 3W Akwizycja obrazu Przetwarzanie wstępne rozumienie obrazów (ang. image understanding) widzenie komuterowe (ang. computer vision) Segmentacja Ekstrakcja cech Dopasowanie modelu Opis sceny 3W Rozpoznawanie obrazów metody nadzorowane (ang. supervised) metody nienadzorowane (ang. unsupervised) A. Materka, Wstęp do komputerowej analizy obrazów (4) 68

Przykład: automatyczna segmentacja tekstury obrazu Mozaika Obraz po segmentacji http://www-dbv.informatik.uni-bonn.de/image A. Materka, Wstęp do komputerowej analizy obrazów (4) 69

Rozpoznawanie obrazów Trawa, klasa ω 1 Kora, klasa ω 2 A. Materka, Wstęp do komputerowej analizy obrazów (4) 70

Rozpoznawanie obrazów Trawa, klasa ω 1 Kora, klasa ω 2 próbka Cechy próbek y1=s(2,0)sumentrp y2=s(1,1)sumentrp 64 wektory cech: 32 klasy ω 1 + 32 klasy ω 2 A. Materka, Wstęp do komputerowej analizy obrazów (4) 71

Rozpoznawanie obrazów D(Y) 64 punkty w przestrzeni cech: 32 klasy ω 1 + 32 klasy ω 2 A. Materka, Wstęp do komputerowej analizy obrazów (4) 72

Rozpoznawanie obrazów (ang. pattern recognition) Obraz (wzorzec, ang. pattern): Y ω ω Ω, Ω={ω 1, ω 2,, ω K } Wektor cech (obserwacji) Indykator klasy Zbiór K klas [y 1, y 2,...y p ] 1 ω 1 [y 1, y 2,...y p ] 2 ω 1 [y 1, y 2,...y p ] N/2+1 ω 2 [y 1, y 2,...y p ] N/2+2 ω 2 [y 1, y 2,...y p ] N/2 ω 1 [y 1, y 2,...y p ] N ω 2 ω 1 ω 2 Klasyfikator ω k A. Materka, Wstęp do komputerowej analizy obrazów (4) 73

Rozpoznawanie obrazów Funkcje dyskryminacyjne: D k (Y), k=1,2,,k Jeśli Y~ω j, to D j ( Y) > D ( Y), k = 1,2,..., K k j k Granica między klasami ω j oraz ω k : D j (Y)-D k (Y) = 0 (hiperpowierzchnia) Przykład: D(Y)=D 1 (Y)-D 2 (Y) = 0 (prosta) D(Y) A. Materka, Wstęp do komputerowej analizy obrazów (4) 74

Nadzorowane uczenie klasyfikatora Dostrajanie wag - zbiór uczący - przeuczenie - zbiór testowy Obserwacja Y Klasyfikator Algorytm uczenia ω j Przewidywana klasa Znana klasa ω j Obliczanie błędu Przykład: Klasyfikator liniowy p Dk ( Y) = wk 0 + wki yi, k = 1,2,..., K i= 1 A. Materka, Wstęp do komputerowej analizy obrazów (4) 75

Modelowanie, analiza i wizualizacja naczyń krwionośnych Segmentacja, modelowanie 3W MRI (MIP) Model wektorowy Symulacja przepływu krwi, rozpływu leków, Marek Kocinski A. Materka, Wstęp do komputerowej analizy obrazów (6) 76

Modelowanie, analiza i wizualizacja naczyń krwionośnych Obraz MRA SWI (żyły) Obraz MRA ToF (tętnice) Andreas Deistung, Juergen Reichenbach A. Materka, Wstęp do komputerowej analizy obrazów (6) 77

Modelowanie, analiza i wizualizacja naczyń krwionośnych Zatkane naczynia Obszar dotknięty skutkami udaru mózgu Andreas Deistung, Juergen Reichenbach A. Materka, Wstęp do komputerowej analizy obrazów (6) 78

Parametry drzew naczyń krwionośnych Keener, Snyder, Mathematical Physiology II: System Physiology, Springer 2009 Naczynie krwionośne D [mm] A [cm 2 ] P [mm Hg] v [cm/s] Aorta 25 2,5 100 33 Małe tętnice 5 20 100 30 Tętniczki 0,3 40 85 15 Naczynia włosowate 0,06 2500 30 0,03 Żyłki 0,2 250 10 0,5 Małe żyły 5 80 2 Żyły główne 30 8 2 20 A. Materka, Wstęp do komputerowej analizy obrazów (6) 79

Analiza grubych naczyń: modelowanie A. Materka, Wstęp do komputerowej analizy obrazów (6) 80

Modelowanie naczyń krwionośnych ToF, arterie SWI, żyły MRI (przekroje) Time-of-Flight (ToF) MRA 1.5T, voxel size: 0.43x0.43x0.7mm 3 Susceptibility Weighted MRI (SWI) 3T, voxel size: 0.57x0.57x1.25 mm 3 Funkcja unaczynnienia (przekroje) Funkcja unaczynnienia (MIP) A. Materka, Wstęp do komputerowej analizy obrazów (6) 81

Modelowanie i wizualizacja naczyń krwionośnych ToF, arterie SWI, żyły Etapy przetwarzania: 1) funkcja unaczynnienia, 2) progowanie, 3) segmentacja, 4) rekonstrukcja powierzchni, 5) wizualizacja A. Materka, Wstęp do komputerowej analizy obrazów (6) 82

Wizualizacja Modelowanie obiektów 3W Aranżacja sceny Modelowanie światła, kolorów i cieni Wyświetlanie obrazu A. Materka, Wstęp do komputerowej analizy obrazów (6) 83

Walidacja Fantom numeryczny Fizyczne obiekty testowe Przekrój MRI ø 1mm ø 2mm A. Materka, Wstęp do komputerowej analizy obrazów (6) 84

Analiza cieńszych naczyń: tekstura A. Materka, Wstęp do komputerowej analizy obrazów (6) 85

Analiza cieńszych naczyń: tekstura 4 klasy lepkości krwi (1,0 cp; 3,6 cp; 5 cp; 10 cp) A. Materka, Wstęp do komputerowej analizy obrazów (6) 86

Analiza cieńszych naczyń: tekstura http://webzoom.freewebs.com/ crittercity/newest%20backgrounds/ white_rat_big.gif 6 klas tkanek nowotworowych (mikroskop konfokalny) Maria Cheknya, Arvid Lundervold, Marek Kociński A. Materka, Wstęp do komputerowej analizy obrazów (6) 87

Analiza naczyń włosowatych: modele przedziałowe Arvid Lundervold: Blood perfusion First-pass bolus tracking with gadolinium (Gd) tracer (MRI) From Tofts (ed), Chap. 11, 2003 Mikrocyrkulacja Gyenge et al., AJP Heart, 1999) BOLUS injection Vessel Membrane Tissue Marek Kociński A. Materka, Wstęp do komputerowej analizy obrazów (6) 88

Podsumowanie Istnieje wiele różnych modalności zobrazowania wewnętrznych organów człowieka. Technika rezonansu magnetycznego jest rewolucyjną nieinwazyjną metodą obrazowania. Przetwarzanie i analiza obrazów wspierają diagnozę medyczną danymi ilościowymi. Komputerowa analiza obrazów może się przyczynić do wzrostu obiektywności i dokładności badań medycznych. http://www.censsis.neu.edu/public_docs/13c-02.pdf http://www.medical.philips.com A. Materka, Wstęp do komputerowej analizy obrazów (6) 89

Prognoza Zwiększona rozdzielczość, redukcja szumów, nowe techniki (np. funkcjonalne badania RM). Cyfrowa transmisja i przechowywanie obrazów. Większe wykorzystanie technik rzeczywistości wirtualnych (np. w chirurgii, szkolnictwie). Większe znaczenie metod ilościowych dokładność, powtarzalność, obiektywność. Szybsza diagnoza (wydajniejsze komputery, programowanie obiektowe, sztuczna inteligencja) Szerokie wykorzystanie sieci komputerowych w telemedycynie (Internet przewodowy i radiowy, kompresja obrazów) http://www.sci.utah.edu/stories/2007/gerig_neuroimageanalysis.html A. Materka, Wstęp do komputerowej analizy obrazów (6) 90

Literatura R.A. Gonzalez, R.E. Woods, Digital Image Processing. Second Edition. Prentice Hall 2002. R.A. Gonzalez, R.E. Woods, S.L. Eddins, Digital Image Processing Using Matlab. Prentice Hall 2004. J.S. Suri, S.K. Setarehdan, S. Singh (Eds.) Advanced Algorithmic Approaches to Medical Image Segmentation. State-of-the-Art Applications in Cardiology, Neurology, Mammography and Pathology. Springer 2002. M. Hajek, M. Dezortova, A. Materka, R. Lerski (Eds.), Texture Analysis for Magnetic Resonance Imaging, COST B21, Med4Publishing, Prague, 2006. J.K. Udupa, G.T. Herman, 3D Imaging in Medicine. CRC Press 2000. R.O. Duda, P.E. Hart, D.G. Stork, Pattern Classification. Second Edition. Wiley 2001. A. Materka, Wstęp do komputerowej analizy obrazów (6) 91

Niekomercyjne programy komputerowe http://www.imagemagick.org/script/index.php (ponad 100 formatów). http://rsb.info.nih.gov/ij/index.html (ImageJ - Image Processing and Analysis in Java). http://schmidt.devlib.org/jiu/index.html (JIU The Java Imaging Utilities An image processing library). http://www.sim.hcuge.ch/osiris/01_osiris_presentation_en.htm (Osisris - medical image processing and analysis program). http://www.sph.sc.edu/comd/rorden/mricro.html (MRIcro medical image viewer). http://www.eletel.p.lodz.pl/merchant/mazda/order1_en.epl (MaZda - texture analysis, segmentation and classification package) http://www.itk.org/ (medical image segmentation, registration and visualization package) A. Materka, Wstęp do komputerowej analizy obrazów (6) 92