Metody diagnostyki obrazowej w medycynie i technice

Transkrypt

1 Plan prezentacji Przetwarzanie obrazów w medycynie i biologii dr inż. Marcin Kociołek Zakład Elektroniki Medycznej 1. Obraz 2. Techniki otrzymywania obrazu 3. Przetwarzanie obrazu 4. Analiza obrazów z endoskopu bezprzewodowego 5. Badanie aktywności genu odpowiedzialnego za produkcję białka o właściwościach fluorescencyjnych w żywej kulturze komórek 6. Identyfikacja komórek na podstawie ich kształtu 7. Ilościowy opis cytoszkieletu komórek Łódź Listopad Metody diagnostyki obrazowej w medycynie i technice Diagnostyka: Dział medycyny zajmujący się metodami rozpoznawania chorób na podstawie wywiadu lekarskiego, badania fizykalnego oraz wyników badań laboratoryjnych (Encyklopedia PWN). Badanie i określanie stanu technicznego urządzenia oraz lokalizacja ewentualnych nieprawidłowości bez rozbierania zespołów urządzenia (WIEM Fogra). sygnał 2d rzadziej 3d lub 4d 2d reprezentacja sceny 3d rzeczywisty i wirtualny Obraz Obiekt fizyczny Obraz obiektu Opis liczbowy Opis słowny 3 4 Obraz cyfrowy (rastrowy) i analogowy 0 1 y 0 Obraz: 2D lub 3D macierz punktów skojarzonych z pikselami lub wokselami x Obrazy mogą zmieniać się w czasie. 1 2 x f(x,y,z) y z Każdemu punktowi przyporządkowana jest jasność f(x,y,z) 5 6 1

2 Widmo fal elektromagnetycznych Obraz monochromatyczny Jasność f(x,y,z) jest najczęściej proporcjonalna do energii promieniowania elektromagnetycznego w określonym przedziale częstotliwości. 7 8 Obraz kolorowy Obraz kolorowy R H G B S V 9 Pseudokolor 10 Obraz wielomodowy 11 Dr. Nicholas M. Short, Sr. źródło: NASA pobrano z :

3 Obraz wielomodowy Tekstura obrazu Źródła obrazu Tekstura obrazu modele MRF sztuczna piana mózg (MRI) kość (RTG) komórki tuczne skóra i naskórek szkliwo tworzywo sztuczne ziemniak (MRI) jabłko (MRI) ser miękki (MRI) André Karwath aka Aka Luke Launderville Prosty (ale użyteczny) system akwizycji i przetwarzania obrazów Endoskopia frame grabber TV Kamera camera TV/IR Wrzód żołądka Ciało obce programy Mikroskopowy obraz przekroju aksonów Kolonie bakterii wyhodowanych na płytce Petriego Lateksowy model naczyń krwionośnych 17 Laparoskop: endoskop instrumenty chirurgiczne

4 Urządzenia rentgenowskie (X-ray) Tomograf rentgenowski (CT) Lata 1970: odwzorowanie przekrojów (kości, mózgu, kręgosłupa, jamy brzusznej), a nie rzutu na płaszczyznę. Angiografia inwazyjność badania zła jakość obrazów niski koszt aparatury radiologia flouroskopia mammografia radiologia naczyń duża rozdzielczość inwazyjność wysoki koszt złe odwzorowanie tkanek miękkich (np. płuc) fotografie na kliszach kamery CCD Urządzenia medycyny nuklearnej Tomograf NMR (MRI) Wprowadzanie do krwi substancji radioaktywnych (o krótkim czasie rozpadu), które gromadzą się w badanych narządach i emitują promieniowanie. Odwzorowanie procesów fizjologicznych. Lata 1980: nieinwazyjna technika odwzorowania przekrojów tkanek miękkich (zawierających wodę - mięśnie, mózg, naczynia). wykrywanie raka badanie przepływów ocena wydolności nerek 21 Ultrasonografia (USG) PET (positron emission tomography) - badanie metabolizmu (zmiany funkcjonalne są często zapowiedzią zmian strukturalnych) 22 Tomografia impedancyjna Odbicie fal dźwiękowych od granic tkanek System Sheffield Mark 1 (Brown and Seagar, 1987) serce jama brzuszna naczynia krwionośne płód nieinwazyjność niski koszt trudna interpretacja - niski koszt duża szybkość akwizycji obrazów brak promieniowania jonizującego zastosowania medyczne (układ pokarmowy, płuca) zastosowania techniczne (tomografia procesowa) Wykorzystanie zjawiska Dopplera

5 Przykładowe adresy witryn internetowych poświęconych diagnostyce obrazowej Tomografia impedancyjna / sible/ frame grabber TV camera programy 25 The Visible Human Project 26 Komputerowe przetwarzanie obrazów Akwizycja obrazu Modelowanie obiektów 3D Przetwarzanie wstępne Komponowanie sceny Segmentacja Rekonstrukcja Ekstrakcja cech Modelowanie oświetlenia, koloru i cieni Dopasowanie Wyświetlanie obrazu Rozpoznawanie Analiza obrazu Head slice CT 27 Schemat komputerowego systemu przetwarzania obrazów Przetwarzanie wstępne Segmentacja Synteza obrazu MRI 28 Deformable grid for object tracking Detekcja cech Akwizycja obrazu cechy geometryczne, topologiczne Komputer programy baza wiedzy Analiza obrazu Deformable grid : (rozpoznawanie) Motion analysis applications Implementation of formula for tension computation based on affine transformation Real time analysis

6 Center-point model of 3D deformable surface Model of Deformable Rings Video data MDR processing [Given Imaging] Model of Deformable Rings : Center-point model : Analysis of 3D shapes in CT or MRI images Reduction of 3D problem to 1D problem Nonlinear formula for tension computations Several times faster then standard model 31 Model of Deformable Rings Processing of capsule endoscope video Computation of 2D representation of intestine surface Capsules egomotion analysis Aiding in medical interpretation 32 Quantitative analysis of cellular images Live cell: - segmentation - tracking - parameter estimation Stained cell: - segmentation - parameter estimation - recognition Example pathologies visible within the MDR maps: diffuse ulcer due to Crohn s disease, area of active bleeding, focal hemorrhagic erosion and area of capsule retention 33 Annotation of Gastrointestinal Images 34 Analiza obrazów Ręczna, oczna, manualna Półautomatyczna Automatyczna Software for automatic retrieval of images from a database. When an abnormality that cannot be recognized is discovered, the physician marks this region as a potential lesion and uses it as a query to the database. The database contains different images of GI tract problems along with the corresponding diagnosis. The system returns images representing similar-looking lesions

7 Filtracja filtr medianowy usuwanie szumu typu pieprz i sól Przetwarzanie wstępne Maskowanie obszarów nie podlegających analizie Filtracja Operacje na przestrzeni kolorów Segmentacja Progowanie Podział obrazu na spójne obszary posiadające podobne cechy wizualne. Każdy taki obszar powinien reprezentować jeden obiekt lub jego cześć Metody pomiaru wybranych cech geometrycznych obrazu Cechy parametry obrazu Pole powierzchni obiektów Aˆ = N x y Długość obwodu obiektów pˆ = π (1 2) π NB NW ,948 N B 0, 278 N W Geometria Kolor Jasność Histogram Tekstura NB - liczba boków, NW - liczba wierzchołków

8 Wskaźnik biologiczny (biomarker) Klasyfikacja Za Wikipedią:.. obiektywnie mierzona lub oszacowana cecha będąca wskaźnikiem normalnego procesu biologicznego, patologicznego procesu biologicznego lub farmakologicznej odpowiedzi na interwencję terapeutyczną. wart. min max Leukocyty 5,5 Erytrocyty 4,85 3,80 4,80 Hemoglobina 12 11,5 16,5 Hematokryt 37, MCH 24, MCHC 32,3 32,5 37,5.. Ciśnienie krwi Puls Temperatura ciała Wzrost Waga Semantyka w obrazach Rozpoznawanie Semantyka - dyscyplina badająca relacje pomiędzy znakami a przedmiotami, do których się one odnoszą. Semantyka zajmuje się badaniem znaczenia słów, czyli interpretacją znaków oraz interpretacją zdań i wyrażeń języka National Institute of Standards and Technology Założona w 1901 roku nieregulacyjna agencja rządowa podlegająca pod ministerstwo handlu. Misją instytutu jest promowanie innowacyjności i przemysłowej konkurencyjności Stanów Zjednoczonych. budżet 2008r $931.5 mln stali pracownicy ok współpracownicy ok współpracownicy zewnętrzni ok lokalizacje: Gaithersburg, Md 234 ha Boulder, Co 84 ha NIST Robert Rathe 47 Geoffrey Wheeler 48 8

9 NIST Laboratorium budownictwa i badań nad pożarami Centrum nauki i technologii w skali nano Laboratorium nauki i technologii chemicznej Laboratorium elektroniki i elektrotechniki Laboratorium technologii informatycznych/informacyjnych Laboratorium inżynierii produkcji Centrum badań neutronowych Laboratorium fizyki Analiza obrazów z endoskopu bezprzewodowego 49 Endoskop bezprzewodowy WCE ang. Wireless Capsule Endoscopy Obrazy z WCE Kapsuła: - waga 3.7 g - średnica 11mm - długość 26 mm Podstawowe składniki : - sferyczna przeźroczysta kopuła - soczewka - białe diody LED - przetwornik obrazu CMOS - bateria - procesor kompresji obrazu - nadajnik - antena Trudności przy automatycznej analizie obrazów z WCE niska rozdzielczość Trudności przy automatycznej analizie obrazów z WCE głębia obrazu

10 Trudności przy automatycznej analizie obrazów z WCE ciała obce Definicja problemu Interpretacja zapisu wideo polega na przeglądaniu tego zapisu i poszukiwaniu zmienionych chorobowo tkanek. Duża liczba obrazów do przejrzenia (ok. 60k). Zaawansowane stany chorobowe dają duże zmiany patologiczne tkanek występujące na wielu kolejnych klatkach zapisu wideo. We wczesnym stanie choroby widzialna zmiana patologiczna tkanki może występować na kilku lub nawet na pojedynczej klatce Proponowane systemy wspomagania diagnozy Wykrywanie zmian patologicznych (ang. Lesion Discovery) Wspomaganie diagnozy (ang. Diagnosis Aid) Automatyczne wspomaganie diagnozy (ang. Automatic Diagnosis Aid) Od obrazu do diagnozy poprzez ontologie choroby (ang. Disease Ontology) Obraz Wejściowy Segmentacja Wyznaczenie wektora cech Klasyfikacja przypisanie wektora cech do ontologii chorób przewodu pokarmowego Wyróżnienie obszaru patologicznego Patologia Zdrowe Zdrowe Sugestia diagnozy 57 Sugerowana diagnoza: erozja 58 Oprogramowanie półautomatyczna segmentacja pojedynczej ramki zapisu wideo Oprogramowanie automatyczna segmentacja pojedynczej ramki zapisu wideo

11 Obliczanie wektorów cech oraz ich analiza (MaZda) Weryfikacja Zadania Oprogramowanie do segmentacji obrazów z endoskopu bezprzewodowego Oprogramowanie do wyznaczania wektorów cech (MaZda moje procedury) System do pozyskiwania danych odniesienia (pary: obszar i diagnoza) Zbieranie dużej ilości diagnoz dla obszarów odniesienia Usprawnienia algorytmu automatycznej segmentacji obrazów Wybór optymalnego zestawu cech do klasyfikacji tkanek na obrazach z endoskopu bezprzewodowego Testy systemu w instytucjach medycznych Badanie aktywności genu odpowiedzialnego za produkcję białka o właściwościach fluorescencyjnych w żywej kulturze komórek 63 Definicja problemu Etapy analizy obrazów Do linii komórek wprowadzono gen odpowiedzialny za produkcję białka o właściwościach fluorescencyjnych Aktywność tego genu zmienia się w trakcie życia komórki Nie wszystkie komórki mają aktywny gen Zadanie: opisać ilościowo aktywność tego genu Phase Contrast Green Flourescent Proteine 65 Segmentacja obrazów z kanału PC Śledzenie komórek w kanale PC Identyfikacja poprawnych śladów komórek Ilościowy opis aktywności białka dla prawidłowych śladów komórek 66 11

12 Pierwszy obraz w serii Pierwszy obraz w serii Segmentacja przy użyciu zrekonstruowanego tła Ostatni obraz w serii Śledzenie komórek (ang. cell tracking) Gradientowa metoda segmentacji

13 Weryfikacja Zaawansowanie prac Eksperyment: 12 płytek mikroskopowych ok. 250 obrazów w serii dla każdej płytki kilkunastu studentów pół roku pracy Opracowano dwie skuteczne metody segmentacji obrazów typu Phase Contrast Trwają końcowe prace nad śledzeniem komórek Na ukończeniu jest oprogramowanie do obliczania żądanych parametrów na podstawie poprawnych śladów otrzymanych ze śledzenia Do wykonania weryfikacja Definicja problemu Identyfikacja komórek na podstawie ich kształtu 76 Dokładna segmentacja obrazów mikroskopowych z komórkami sztucznie barwionym Weryfikacja Eksperyment: 2 linie komórek 50 obszarów dla każdej komórki 5 ustawień mikroskopu 3 powtórzenia 40 obrazów z ręcznie zaznaczonymi konturami komórek

14 Zadania: Znalezienie jak najlepszej metody segmentacji tego typu obrazów minimalnie angażującej operatora Przebadanie znanych metod automatycznej segmentacji pod względem ich skuteczności i wrażliwości Wybór wektora cech związanych z kształtem przydatnego do klasyfikacji komórek Ilościowy opis cytoszkieletu komórek 79 Ilościowy opis cytoszkieletu komórek 81 14