Metody wspomagania detekcji zmian patologicznych w mammografii

Transkrypt

1 Metody wspomagania detekcji zmian patologicznych w mammografii Doktorat: Anna Wróblewska Promotor: Artur Przelaskowski Zakład Elektroniki Jądrowej i Medycznej Instytut Radioelektroniki Politechnika Warszawska

2 Tezy Komputerowa analiza i przetwarzanie cyfrowych obrazów mammograficznych umożliwia zwiększenie efektywności diagnozy mammograficznej poprzez: wygodną manipulację danymi obrazowymi (w tym dobór warunków prezentacji) poprawę percepcji zmian patologicznych automatyczne wskazanie potencjalnych zmian i regionów zagrożonych patologią klasyfikację podejrzanych zmian w tkance (wspieranie ontologii mmg oraz indeksowania w referencyjnej bazie badań mmg) Opracowany system wspomagania diagnostyki mammograficznej (CADD) jest przydatny w praktyce klinicznej.

3 Plan Badania mammograficznych i podstawowe patologie Koncepcja systemu wspomagania diagnostyki obrazowej cel, zastosowania, ogólny schemat System wspomagania diagnostyki mammograficznej - MammoViewer Proste operacje na obrazach dobór warunków prezentacji Wielorozdzielcza analiza obrazów Poprawa percepcji zmian Detekcja mikrozwapnień Diagnoza Inne zastosowania Eksperymenty Dane testowe Wyniki i analiza Podsumowanie

4 Badania mammograficzne - mała efektywność (duża zawodność) diagnozy duże zróżnicowanie właściwości obrazowanej informacji Poziom przekłamań w diagnozie ~30-40% decyzji FP ~10% decyzji FN

5 Mikrozwapnienia Drobne jasne plamki (średnica od 0.05 do 3 mm średnio 0.3 mm) ŁAGODNE większe, jednolite (kształt, tekstura) ZŁOŚLIWE drobne, niejednorodne, w skupiskach

6 Guzy ŁAGODNE jednolite (tekstura), regularny kształt (koliste lub owalne), dobrze odgraniczone, gładkie zarysy ZŁOŚLIWE duża gęstość, zarysy nieostre, spikule, zaburzenie architektury

7

8 Systemy wspomagania diagnostyki obrazowej cele i zastosowania Zmniejszenie liczby błędów detekcji Redukcja niewłaściwych interpretacji Obiektywizacja diagnozy Poprawa jakości obrazu Lepsza prezentacja zawartej informacji diagnostycznej Detekcja zmian potencjalnie patologicznych Klasyfikacja oszacowanie złośliwości

9 System wspomagania detekcji i diagnozy - schemat Cyfrowy obraz mammograficzny Segmentacja granicy piersi Wstępne przetwarzanie Ekstrakcja patologii Poprawa percepcji Usunięcie lub redukcja szumu i artefaktów Usunięcie informacji diagnostycznie nieistotnej Uwypuklenie cech istotnych dla diagnozy (tekstura, kształt, relacja do tła) Wzmocnienie lokalnego kontrastu Selekcja ROI Region growing Segmentacja zmiany patologicznej Ekstrakcja cech Klasyfikacja Wynik wspomagania Deskryptory matematyczne Guzy: kształt, spiculation, asymetria, gęstość Zwapnienia: rozmiar, kontrast, cechy klastrów Analiza dyskryminacyjna Sieci neuronowe Hybrydowe klasyfikatory Lokalizacja zmiany Prawdopodobieństwo złośliwości

10 Rozwiązanie własne - MammoViewer System wspomagania diagnostyki mammograficznej Proste operacje na obrazach dobór warunków prezentacji Wielorozdzielcza analiza obrazów Poprawa percepcji zmian Detekcja mikrozwapnień Diagnoza Rozszerzenie obszaru zastosowań

11 System CAD schemat algorytmiczny (narzędziowy) MammoViewer Operacje na mapach bitowych Kolorowanie map Wybór okna Zmiana głębi koloru Zmiana bajtów Podgląd Zmiana skali obrazu Operacje pikselowe Korekcja histogramu (jasność, kontrast, wyrównywanie) Selekcja ROI Okno na wartościach (definicja okna) Operacje geometryczne Aproksymacja histogramu funkcjami różnych rozkładów Linijka wymiarowanie struktur, profile Przetwarzanie w dziedzinie obrazu Filtracja przestrzenna (splot w przestrzeni obrazu) Operatory morfologiczne Ekstrakcja regionów, Cechy tekstury i kształtu Progowanie Operacje na 2 obrazach (dodawanie, odejmowanie, suma i różnica regionów) Przetwarzanie w dziedzinie wielorozdzielczej Transformacja falkowa (wybór jądra) Metody dekompozycji (z decymacją i bez) Wycinanie współczynników i podpasm Nieliniowe przekształcenia współczynników (kształtowane manualnie krzywe, wyrównywanie rozkładów, adaptacyjne progowanie) Rekonstrukcja, obraz różnicowy Wizualizacja współczynników falkowych Skalowalna filtracja LoG

12 System CAD schemat funkcjonalny MammoViewer Operacje na obrazach Wizualizacja obrazu Detekcja Klasyfikacja Obrazy w różnych formatach Obrazy mammograficzne, USG, CT Guzki w mammografii Mikrozwapnienia w mammografii Mikrozwapnienia w mammografii Poprawa percepcji Archiwizacja i indeksowanie Ontologia mammografii Mózg w CT Referencyjne bazy obrazów Mikrozwapnienia w mammografii Guzki w mammografii

13 System CAD detekcja mikrozwapnień Wejście: mammogram Klaster mikrozwapnień Wstępne przetwarzanie Lokalizacja: centra jasnych plam Klasteryzacja: DBSCAN Rekonstrukcja kształtów Znajdowanie konturu klastrów Wynik wspomagania detekcji

14 Poprawa percepcji zmian przetwarzanie w dziedzinie falkowej Odszumianie 6 poziomów dekompozycji, falka: Taswell Biortogonal Symmetric Most-Regular (10) Poprawa kontrastu kontrast6 kontrast7

15 Lokalizacja: centra potencjalnych mikrozwapnień Wielorozdzielczy detektor jasnych plam filtry LoG o różnych skalach Przybliżanie lokalnego kontrastu plam maksymalna odpowiedź na ścieżce filtrów LoG Plama jest mikrozwapnieniem, jeśli lokalny kontrast > progu Mikrozwapnienie na obrazie Współczynniki filtru LoG (Netsch T, Peitgen HO. IEEE Trans (c) Anna Medical Wróblewska Imag 1999; 18(8): )

16 Standardowa klasteryzacja Kryterium zaliczenia obiektów do klastra: Co najmniej 3 (lub 5) obiektów w oknie 1 cm 2

17 Klasteryzacja: DBSCAN (Density-Based Spatial Clustering of Applications with Noise) Grupowanie w klastry oparte na przestrzennym rozłożeniu i gęstości obiektów Klaster Punkt brzegowy Definicja klastra: punkty połączone z zadaną gęstością; punkty osiągalne z zadaną gęstością z ziarna ( seed ) Punkt wewnątrz klastra Eps sąsiedztwo zawierające co najmniej N punktów (Ester M, Kriegel HP, et all. Proc 2nd Conf (c) Anna on Wróblewska Knowl. Discovery and Data Mining 1996)

18 Klasteryzacja: DBSCAN Równomierne rozłożenie obiektów w klastrach Artefakty nieco oddalone od centrum klastra nie są grupowane Kształty klastrów są dokładniejsze Mniejsza złożoność obliczeniowa niż standardowych algorytmów 2 klastry wzdłuż włókien

19 Obraz źródłowy: po filtracji LoG w wielu skalach Obraz źródłowy: white top-hat Obraz źródłowy: oryginalny Segmentacja kształtu różne metody Maksymalny spadek Lokalne minimum Lokalne statystyki + dylacja konturu

20 Segmentacja kształtu Dane wejściowe: Punkty, ziarna w przybliżeniu centra obiektów (lokalnych maksimów) Przybliżone średnice obiektów (skala w filtracji LoG dobrana w algorytmie lokalizacji) Obraz wejściowy: Dla każdego ziarna i w jego otoczeniu obraz jest przefiltrowany odpowiednim filtrem LoG. Algorytm maksymalnego spadku ( hill climbing ) Wartość spadku (w kilku kierunkach wokół punktu centrum): s( x, y) f ( x 0, y d( x 0 0 ), y 0 f ( x, y), x, y) (x 0,y 0 ) - punkt wejściowy (lokalne maksimum), d(x 0,y 0,x,y) - odległość Euklidesowa pomiędzy punktami, f(x,y) - wartość funkcji jasności w punkcie (x,y) w dziedzinie obrazu lub w dziedzinie wielorozdzielczej (np. po filtracji LoG w wielu skalach). Otoczka wypukła obiektów w klastrze

21 Poprawa percepcji - wyniki testu subiektywnego Średnia ocena lekarza Zestaw parametrów Średnia ocena lekarza Zestaw parametrów Ogólnie Mikrozwapnienia Guzy spikularne k (?) k (?) Subtelność (widoczność) zmiany k6 +2 (?) +2 (?) k7 +2 (?) +2 (?) Baza testowa: 16 obrazów z bazy DDSM o rozdzielczości 43.5 mikronów/piksel z 12-bitową głębią koloru - Współpraca dwóch radiologów Guzy dobrze odgraniczone Skala Opis słowny ocen charakteryzujący jakość obrazu 3 Zdecydowanie lepsza 2 Lepsza 1 Nieznacznie lepsza 0 Porównywalna z oryginałem -1 Nieznacznie gorsza -2 Gorsza -3 Zdecydowanie gorsza

22 Przykład poprawy percepcji guz spikularny

23 Poprawa percepcji guz spikularny + mikrozwapnienia

24 Testy detekcji (ad hoc) Testowa baza DDSM i własne obrazy zbiór 20 zdiagnozowanych obrazów o rozdzielczości 43.5 i 45.5 mikronów/piksel z 12-bitową głębią koloru Współpraca 2 radiologów dobór parametrów rekonstrukcji kształtu

25 Wyniki wydajność detekcji Patologia dobrze wykryta Czułość: około 83% Średnia liczba fałszywych wskazań na obraz to 2 Fałszywe wskazania Systemy komercyjne (R2 ImageChecker, icad Secondlook): Czułość: około 98% FP na obraz: 0.5-1

26 TP/(TP+FP+1) Wydajność detekcji na kompresowanych obrazach Mniej fałszywych wskazań na kompresowanych mammogramach przy takiej samej czułości 0,3 TP/(TP+FP+1) 0,25 12bpp 0.3bpp 0,2 0,15 0,1 0.05b pp 0,05 0 0,01 0,05 0,1 0,2 0,3 1,0,4 0,5 0,8 0,9 1 Oryginały średnia bitow a

27 Nie wykryte patologie i fałszywe wskazania Fałszywie negatywne: Fałszywe wskazania:

28 Ekstrakcja cech i klasyfikacja Cechy pojedynczych mikrozwapnień Powierzchnia, zwartość, momenty kształtu, wyrazistość krawędzi, średni poziom jasności obiektu i sąsiedztwa (tła), lokalny kontrast, momenty geometryczne, niezmiennicze Statystyczne cechy tekstury Macierz powinowactwa (zdarzeń) (Wielorozdzielcze cechy tekstury) Cechy falkowe, filtry Gabora Cechy klastrów mikrozwapnień Powierzchnia, liczba mikrozwapnień, średni poziom jasności Klasyfikator - sztuczna sieć neuronowa: trójwarstwowa sieć jednokierunkowa z algorytmem uczącym propagacji wstecznej

29 Weryfikacja detekcji i diagnoza pojedynczych mikrozwapnień

30 Wyniki klasyfikacji Uczenie i testowanie sieci - 35 mammogramów (ok. 500 obiektów) Zbiory uczący i testujący - rozłączne Rodzaj sieci PRAWDA / FAŁSZ ŁAGODNE / ZŁOŚLIWE ŁAGODNE / ZŁOŚLIWE / FAŁSZYWE Wyniki klasyfikacji dla zbioru testowego 84% - 93% średnio 90% 66% - 83% średnio 74% 65% -70% średnio 68%

31 Rozszerzenie obszaru zastosowań Wspieranie systemu ontologii Doskonalenie metod indeksowania po zawartości (referencyjna baza danych)

32 CAD i ontologia mammografii Opis Semantyczny Opis Numeryczny Subiektywny, względny, niestandardowy, niejednoznaczny Nieprecyzyjne, nieformalne reguły diagnozy Skupisko mikrozwapnień: Kształty mikrozwapnień okrągłe, ziarniste Kształt skupiska figura kanciasta Wysycenie średnie Zmienność wysycenia znaczna Zmienność wielkości znaczna Ilość N (zmienność kształtu) Diagnoza duże prawdopodobieństwo złośliwości BI-RADS 5 ROI: Brak uwzględnienia semantyki, Niejawne, silnie statystyczne reguły diagnozy Żaden z tych opisów nie jest naprawdę satysfakcjonujący, są nieprzystające, nie uzupełniają się nawzajem

33 Semantyczna analiza obrazu wykorzystanie wiedzy medycznej (ontologia mmg) i ontologii obrazu mmg Ontologia mammografii: formalna reprezentacja wiedzy medycznej używanej do semantycznego opisu i przede wszystkim interpretacji zmian mammograficznych w kategoriach diagnozy

34

35 MammoViewer - element systemu indeksacji zawartością MammoViewer jako narzędzie ekstrakcji cech semantycznych do indeksowania Ilość klastrów, ilość mikrozwapnień w klastrze, powierzchnia, [diagnoza] MV generuje gotowe do użycia binarne pliki cech dla serwera indeksującego

36 MammoViewer - klient systemu wyszukiwania po zawartości Indeksowanie zawartością jako wsparcie diagnozy Możliwość podłączenia do wielu referencyjnych baz danych poprzez usługę sieciową MammoViewer Internet (inne referencyjne bazy danych) Usługa sieciowa Baza danych CBIR

37 Zintegrowany interfejs wspomagania do stacji diagnostycznej Ontologia CAD Referencyjne bazy danych Stacja diagnostyczna

38

39 Efekty prac badawczych Framework do tworzenia i testowania algorytmów detekcji i klasyfikacji (System przystosowany do integracji z innymi rozwiązaniami i pracami badawczymi) Zaawansowane narzędzie do analizy wielorozdzielczej Algorytm detekcji mikrozwapnień = falkowe wstępne przetwarzanie + lokalizacja oparta na filtracji LoG + DBSCAN + rekonstrukcja kształtu Możliwe jest zwiększenie czułości i trafności decyzji radiologów poprzez poprawę diagnostycznie istotnych cech obrazów oraz zasugerowanie lokalizacji i kształtu zmian - Testy i konsultacje przeprowadzone z lekarzami Koncepcja integracji CAD z ontologią mammografii oraz referencyjną bazą obrazów

40 Metody wspomagania detekcji zmian patologicznych w mammografii Praca naukowa finansowana ze środków budżetowych na naukę w latach jako projekt badawczy 3 T11E Autorka była stypendystką Fundacji Na Rzecz Nauki Polskiej w roku 2005/2006 Program wykorzystywany w pracy: Kontakt: awroble@ire.pw.edu.pl