Metody wspomagania detekcji zmian patologicznych w mammografii Doktorat: Anna Wróblewska Promotor: Artur Przelaskowski Zakład Elektroniki Jądrowej i Medycznej Instytut Radioelektroniki Politechnika Warszawska
Tezy Komputerowa analiza i przetwarzanie cyfrowych obrazów mammograficznych umożliwia zwiększenie efektywności diagnozy mammograficznej poprzez: wygodną manipulację danymi obrazowymi (w tym dobór warunków prezentacji) poprawę percepcji zmian patologicznych automatyczne wskazanie potencjalnych zmian i regionów zagrożonych patologią klasyfikację podejrzanych zmian w tkance (wspieranie ontologii mmg oraz indeksowania w referencyjnej bazie badań mmg) Opracowany system wspomagania diagnostyki mammograficznej (CADD) jest przydatny w praktyce klinicznej.
Plan Badania mammograficznych i podstawowe patologie Koncepcja systemu wspomagania diagnostyki obrazowej cel, zastosowania, ogólny schemat System wspomagania diagnostyki mammograficznej - MammoViewer Proste operacje na obrazach dobór warunków prezentacji Wielorozdzielcza analiza obrazów Poprawa percepcji zmian Detekcja mikrozwapnień Diagnoza Inne zastosowania Eksperymenty Dane testowe Wyniki i analiza Podsumowanie
Badania mammograficzne - mała efektywność (duża zawodność) diagnozy duże zróżnicowanie właściwości obrazowanej informacji Poziom przekłamań w diagnozie ~30-40% decyzji FP ~10% decyzji FN
Mikrozwapnienia Drobne jasne plamki (średnica od 0.05 do 3 mm średnio 0.3 mm) ŁAGODNE większe, jednolite (kształt, tekstura) ZŁOŚLIWE drobne, niejednorodne, w skupiskach
Guzy ŁAGODNE jednolite (tekstura), regularny kształt (koliste lub owalne), dobrze odgraniczone, gładkie zarysy ZŁOŚLIWE duża gęstość, zarysy nieostre, spikule, zaburzenie architektury
Systemy wspomagania diagnostyki obrazowej cele i zastosowania Zmniejszenie liczby błędów detekcji Redukcja niewłaściwych interpretacji Obiektywizacja diagnozy Poprawa jakości obrazu Lepsza prezentacja zawartej informacji diagnostycznej Detekcja zmian potencjalnie patologicznych Klasyfikacja oszacowanie złośliwości
System wspomagania detekcji i diagnozy - schemat Cyfrowy obraz mammograficzny Segmentacja granicy piersi Wstępne przetwarzanie Ekstrakcja patologii Poprawa percepcji Usunięcie lub redukcja szumu i artefaktów Usunięcie informacji diagnostycznie nieistotnej Uwypuklenie cech istotnych dla diagnozy (tekstura, kształt, relacja do tła) Wzmocnienie lokalnego kontrastu Selekcja ROI Region growing Segmentacja zmiany patologicznej Ekstrakcja cech Klasyfikacja Wynik wspomagania Deskryptory matematyczne Guzy: kształt, spiculation, asymetria, gęstość Zwapnienia: rozmiar, kontrast, cechy klastrów Analiza dyskryminacyjna Sieci neuronowe Hybrydowe klasyfikatory Lokalizacja zmiany Prawdopodobieństwo złośliwości
Rozwiązanie własne - MammoViewer System wspomagania diagnostyki mammograficznej Proste operacje na obrazach dobór warunków prezentacji Wielorozdzielcza analiza obrazów Poprawa percepcji zmian Detekcja mikrozwapnień Diagnoza Rozszerzenie obszaru zastosowań
System CAD schemat algorytmiczny (narzędziowy) MammoViewer Operacje na mapach bitowych Kolorowanie map Wybór okna Zmiana głębi koloru Zmiana bajtów Podgląd Zmiana skali obrazu Operacje pikselowe Korekcja histogramu (jasność, kontrast, wyrównywanie) Selekcja ROI Okno na wartościach (definicja okna) Operacje geometryczne Aproksymacja histogramu funkcjami różnych rozkładów Linijka wymiarowanie struktur, profile Przetwarzanie w dziedzinie obrazu Filtracja przestrzenna (splot w przestrzeni obrazu) Operatory morfologiczne Ekstrakcja regionów, Cechy tekstury i kształtu Progowanie Operacje na 2 obrazach (dodawanie, odejmowanie, suma i różnica regionów) Przetwarzanie w dziedzinie wielorozdzielczej Transformacja falkowa (wybór jądra) Metody dekompozycji (z decymacją i bez) Wycinanie współczynników i podpasm Nieliniowe przekształcenia współczynników (kształtowane manualnie krzywe, wyrównywanie rozkładów, adaptacyjne progowanie) Rekonstrukcja, obraz różnicowy Wizualizacja współczynników falkowych Skalowalna filtracja LoG
System CAD schemat funkcjonalny MammoViewer Operacje na obrazach Wizualizacja obrazu Detekcja Klasyfikacja Obrazy w różnych formatach Obrazy mammograficzne, USG, CT Guzki w mammografii Mikrozwapnienia w mammografii Mikrozwapnienia w mammografii Poprawa percepcji Archiwizacja i indeksowanie Ontologia mammografii Mózg w CT Referencyjne bazy obrazów Mikrozwapnienia w mammografii Guzki w mammografii
System CAD detekcja mikrozwapnień Wejście: mammogram Klaster mikrozwapnień Wstępne przetwarzanie Lokalizacja: centra jasnych plam Klasteryzacja: DBSCAN Rekonstrukcja kształtów Znajdowanie konturu klastrów Wynik wspomagania detekcji
Poprawa percepcji zmian przetwarzanie w dziedzinie falkowej Odszumianie 6 poziomów dekompozycji, falka: Taswell Biortogonal Symmetric Most-Regular (10) Poprawa kontrastu kontrast6 kontrast7
Lokalizacja: centra potencjalnych mikrozwapnień Wielorozdzielczy detektor jasnych plam filtry LoG o różnych skalach Przybliżanie lokalnego kontrastu plam maksymalna odpowiedź na ścieżce filtrów LoG Plama jest mikrozwapnieniem, jeśli lokalny kontrast > progu 0.08 150 0.06 0.04 100 0.02 50 0 0 0 5 10 15 5 10 15 20 Mikrozwapnienie 25 25 na obrazie 20 0-0.02 30 20 10 0 0 Współczynniki filtru LoG7 5 20 15 10 25 (Netsch T, Peitgen HO. IEEE Trans (c) Anna Medical Wróblewska Imag 1999; 18(8): 774-786)
Standardowa klasteryzacja Kryterium zaliczenia obiektów do klastra: Co najmniej 3 (lub 5) obiektów w oknie 1 cm 2
Klasteryzacja: DBSCAN (Density-Based Spatial Clustering of Applications with Noise) Grupowanie w klastry oparte na przestrzennym rozłożeniu i gęstości obiektów Klaster Punkt brzegowy Definicja klastra: punkty połączone z zadaną gęstością; punkty osiągalne z zadaną gęstością z ziarna ( seed ) Punkt wewnątrz klastra Eps sąsiedztwo zawierające co najmniej N punktów (Ester M, Kriegel HP, et all. Proc 2nd Conf (c) Anna on Wróblewska Knowl. Discovery and Data Mining 1996)
Klasteryzacja: DBSCAN Równomierne rozłożenie obiektów w klastrach Artefakty nieco oddalone od centrum klastra nie są grupowane Kształty klastrów są dokładniejsze Mniejsza złożoność obliczeniowa niż standardowych algorytmów 2 klastry wzdłuż włókien
Obraz źródłowy: po filtracji LoG w wielu skalach Obraz źródłowy: white top-hat Obraz źródłowy: oryginalny Segmentacja kształtu różne metody Maksymalny spadek Lokalne minimum Lokalne statystyki + dylacja konturu
Segmentacja kształtu Dane wejściowe: Punkty, ziarna w przybliżeniu centra obiektów (lokalnych maksimów) Przybliżone średnice obiektów (skala w filtracji LoG dobrana w algorytmie lokalizacji) Obraz wejściowy: Dla każdego ziarna i w jego otoczeniu obraz jest przefiltrowany odpowiednim filtrem LoG. Algorytm maksymalnego spadku ( hill climbing ) Wartość spadku (w kilku kierunkach wokół punktu centrum): s( x, y) f ( x 0, y d( x 0 0 ), y 0 f ( x, y), x, y) (x 0,y 0 ) - punkt wejściowy (lokalne maksimum), d(x 0,y 0,x,y) - odległość Euklidesowa pomiędzy punktami, f(x,y) - wartość funkcji jasności w punkcie (x,y) w dziedzinie obrazu lub w dziedzinie wielorozdzielczej (np. po filtracji LoG w wielu skalach). Otoczka wypukła obiektów w klastrze
Poprawa percepcji - wyniki testu subiektywnego Średnia ocena lekarza Zestaw parametrów Średnia ocena lekarza Zestaw parametrów Ogólnie Mikrozwapnienia Guzy spikularne k6 +2.5 +3 (?) +2.58 +2.25 k7 +1.19 +1 (?) +1.58 0 Subtelność (widoczność) zmiany 1 2 3 5 k6 +2 (?) +2 (?) +2.62 +2.5 k7 +2 (?) +2 (?) +1.34 +0.67 - Baza testowa: 16 obrazów z bazy DDSM o rozdzielczości 43.5 mikronów/piksel z 12-bitową głębią koloru - Współpraca dwóch radiologów Guzy dobrze odgraniczone Skala Opis słowny ocen charakteryzujący jakość obrazu 3 Zdecydowanie lepsza 2 Lepsza 1 Nieznacznie lepsza 0 Porównywalna z oryginałem -1 Nieznacznie gorsza -2 Gorsza -3 Zdecydowanie gorsza
Przykład poprawy percepcji guz spikularny
Poprawa percepcji guz spikularny + mikrozwapnienia
Testy detekcji (ad hoc) Testowa baza DDSM i własne obrazy zbiór 20 zdiagnozowanych obrazów o rozdzielczości 43.5 i 45.5 mikronów/piksel z 12-bitową głębią koloru Współpraca 2 radiologów dobór parametrów rekonstrukcji kształtu
Wyniki wydajność detekcji Patologia dobrze wykryta Czułość: około 83% Średnia liczba fałszywych wskazań na obraz to 2 Fałszywe wskazania Systemy komercyjne (R2 ImageChecker, icad Secondlook): Czułość: około 98% FP na obraz: 0.5-1
TP/(TP+FP+1) Wydajność detekcji na kompresowanych obrazach Mniej fałszywych wskazań na kompresowanych mammogramach przy takiej samej czułości 0,3 TP/(TP+FP+1) 0,25 12bpp 0.3bpp 0,2 0,15 0,1 0.05b pp 0,05 0 0,01 0,05 0,1 0,2 0,3 1,0,4 0,5 0,8 0,9 1 Oryginały średnia bitow a
Nie wykryte patologie i fałszywe wskazania Fałszywie negatywne: Fałszywe wskazania:
Ekstrakcja cech i klasyfikacja Cechy pojedynczych mikrozwapnień Powierzchnia, zwartość, momenty kształtu, wyrazistość krawędzi, średni poziom jasności obiektu i sąsiedztwa (tła), lokalny kontrast, momenty geometryczne, niezmiennicze Statystyczne cechy tekstury Macierz powinowactwa (zdarzeń) (Wielorozdzielcze cechy tekstury) Cechy falkowe, filtry Gabora Cechy klastrów mikrozwapnień Powierzchnia, liczba mikrozwapnień, średni poziom jasności Klasyfikator - sztuczna sieć neuronowa: trójwarstwowa sieć jednokierunkowa z algorytmem uczącym propagacji wstecznej
Weryfikacja detekcji i diagnoza pojedynczych mikrozwapnień
Wyniki klasyfikacji Uczenie i testowanie sieci - 35 mammogramów (ok. 500 obiektów) Zbiory uczący i testujący - rozłączne Rodzaj sieci PRAWDA / FAŁSZ ŁAGODNE / ZŁOŚLIWE ŁAGODNE / ZŁOŚLIWE / FAŁSZYWE Wyniki klasyfikacji dla zbioru testowego 84% - 93% średnio 90% 66% - 83% średnio 74% 65% -70% średnio 68%
Rozszerzenie obszaru zastosowań Wspieranie systemu ontologii Doskonalenie metod indeksowania po zawartości (referencyjna baza danych)
CAD i ontologia mammografii Opis Semantyczny Opis Numeryczny Subiektywny, względny, niestandardowy, niejednoznaczny Nieprecyzyjne, nieformalne reguły diagnozy Skupisko mikrozwapnień: Kształty mikrozwapnień okrągłe, ziarniste Kształt skupiska figura kanciasta Wysycenie średnie Zmienność wysycenia znaczna Zmienność wielkości znaczna Ilość N (zmienność kształtu) Diagnoza duże prawdopodobieństwo złośliwości BI-RADS 5 ROI: Brak uwzględnienia semantyki, Niejawne, silnie statystyczne reguły diagnozy Żaden z tych opisów nie jest naprawdę satysfakcjonujący, są nieprzystające, nie uzupełniają się nawzajem
Semantyczna analiza obrazu wykorzystanie wiedzy medycznej (ontologia mmg) i ontologii obrazu mmg Ontologia mammografii: formalna reprezentacja wiedzy medycznej używanej do semantycznego opisu i przede wszystkim interpretacji zmian mammograficznych w kategoriach diagnozy
MammoViewer - element systemu indeksacji zawartością MammoViewer jako narzędzie ekstrakcji cech semantycznych do indeksowania Ilość klastrów, ilość mikrozwapnień w klastrze, powierzchnia, [diagnoza] MV generuje gotowe do użycia binarne pliki cech dla serwera indeksującego 2011-01-12 35
MammoViewer - klient systemu wyszukiwania po zawartości Indeksowanie zawartością jako wsparcie diagnozy Możliwość podłączenia do wielu referencyjnych baz danych poprzez usługę sieciową MammoViewer Internet (inne referencyjne bazy danych) Usługa sieciowa Baza danych CBIR 2011-01-12 36
Zintegrowany interfejs wspomagania do stacji diagnostycznej Ontologia CAD Referencyjne bazy danych Stacja diagnostyczna
Efekty prac badawczych Framework do tworzenia i testowania algorytmów detekcji i klasyfikacji (System przystosowany do integracji z innymi rozwiązaniami i pracami badawczymi) Zaawansowane narzędzie do analizy wielorozdzielczej Algorytm detekcji mikrozwapnień = falkowe wstępne przetwarzanie + lokalizacja oparta na filtracji LoG + DBSCAN + rekonstrukcja kształtu Możliwe jest zwiększenie czułości i trafności decyzji radiologów poprzez poprawę diagnostycznie istotnych cech obrazów oraz zasugerowanie lokalizacji i kształtu zmian - Testy i konsultacje przeprowadzone z lekarzami Koncepcja integracji CAD z ontologią mammografii oraz referencyjną bazą obrazów
Metody wspomagania detekcji zmian patologicznych w mammografii Praca naukowa finansowana ze środków budżetowych na naukę w latach 2005-2006 jako projekt badawczy 3 T11E 014 28 Autorka była stypendystką Fundacji Na Rzecz Nauki Polskiej w roku 2005/2006 Program wykorzystywany w pracy: http://www.ire.pw.edu.pl/mammoviewer Kontakt: awroble@ire.pw.edu.pl http://www.ire.pw.edu.pl/~awroble/