Œledzenie obszarów zainteresowania w sekwencjach obrazów bronchoskopowych za pomoc¹ metody SIFT***

Transkrypt

1 AUTOMATYKA 2009 Tom 13 Zeszyt 3 Piotr Pawlik*, Zbigniew Bubliñski*, Mariusz Duplaga** Œledzenie obszarów zainteresowania w sekwencjach obrazów bronchoskopowych za pomoc¹ metody SIFT*** 1. Wprowadzenie Celem badañ by³a weryfikacja przydatnoœci metody SIFT (Scale-Invariant Feature Transform) [2] do œledzenia wybranych obszarów w sekwencjach obrazów (filmach) bronchoskopowych. Sekwencje obrazów w badaniu bronchoskopowym charakteryzuj¹ siê nieci¹g³oœciami spowodowanymi odruchem wymiotnym badanego lub nag³ymi wyst¹pieniami du ej iloœci œliny b¹dÿ œluzu, w efekcie czego obraz ulega czêœciowej lub ca³kowitej zmianie. System wspomagaj¹cy lekarza podczas badania bronchoskopowego powinien umo liwiæ zachowanie ci¹g³oœci sekwencji oraz wskazaæ kierunek ewentualnego przemieszczenia bronchoskopu podczas okresu zaburzenia obrazu. Tak¹ funkcjonalnoœæ powinna zapewniæ metoda SIFT. Niniejszy artyku³ przedstawia weryfikacjê tej tezy. 2. Zarys metody SIFT Metoda SIFT, zaproponowana przez Davida Lowe, znajduje stabilne cechy lokalne (punkty charakterystyczne), bazuj¹c na stworzeniu piramidy obrazów o coraz mniejszej rozdzielczoœci. Obrazy tworz¹ce piramidê s¹ obrazami gradientowymi. S¹ one uzyskiwane w wyniku odjêcia dwóch obrazów powsta³ych przez przefiltrowanie obrazu pocz¹tkowego filtrami Gaussa o ró nych parametrach σ. Piramida jest podzielona na tzw. oktawy. Obrazy sk³adaj¹ce siê na jedn¹ oktawê posiadaj¹ t¹ sam¹ rozdzielczoœæ, a ró ni¹ siê wielkoœci¹ zastosowanego filtru Gaussa (jak na rys. 1). W kolejnej oktawie znajduj¹ siê obrazy o zmniejszonej rozdzielczoœci przefiltrowane tymi samymi filtrami. * Katedra Automatyki, Akademia Górniczo-Hutnicza w Krakowie ** II Katedra Chorób Wewnêtrznych, Collegium Medicum UJ, Kraków *** Badania zrealizowane w ramach grantu MNiSW umowa nr R

2 942 Piotr Pawlik, Zbigniew Bubliñski, Mariusz Duplaga Rys. 1. Otrzymanie pojedynczej oktawy DoG (Difference of Gaussian) Poszukiwanymi cechami lokalnymi s¹ otoczenia minimów i maksimów wystêpuj¹ce w obrazach piramidy DoG. Ekstrema nie s¹ wyszukiwane w pierwszym i ostatnim obrazie ka dej z oktaw. Ka dy punkt (z wyj¹tkiem punktów le ¹cych na brzegach obrazu) porównuje siê z jego oœmioma s¹siadami le ¹cymi w tej samej skali i z dziewiêcioma s¹siednimi punktami z obrazów o skali ni szej i wy szej. Je eli wartoœæ testowanego punktu jest wiêksza lub mniejsza od wartoœci wszystkich dwudziestu szeœciu s¹siadów, wtedy zostaje on zanotowany jako kandydat na punkt charakterystyczny. Koszt obliczeniowy tej operacji jest niedu y, poniewa w wiêkszoœci przypadków po paru porównaniach punkt zostaje odrzucony. Spoœród wstêpnie wyznaczonych kandydatów na punkty charakterystyczne usuwa siê: punkty o jasnoœci poni ej zadanego minimum (progu detekcji), punkty le ¹ce na prostych krawêdziach. Dla wyznaczonych punktów oblicza siê wektor cech, bêd¹cy rodzajem histogramu gradientów liczonych w ich otoczeniu. Takie cechy s¹ w du ej mierze niewra liwe na natê enie oœwietlenia (ze wzglêdu na u ycie gradientów), obrót (kierunek gradientów zapisuje siê wzglêdem kierunku gradientu punktu charakterystycznego) i skalê (dziêki stosowaniu piramidy). 3. Zastosowana modyfikacja metody SIFT Klasycznie metoda SIFT jest wykorzystywana do dopasowywania obrazów (g³ównie zdjêæ) [3] oraz do wyszukiwania obrazów podobnych do obrazu wzorcowego [1]. Niniejsze badania mia³y na celu sprawdzenie, czy mo na wykorzystaæ tê metodê do œledzenia wybranego fragmentu obrazu (zwanego dalej obszarem zainteresowania) w sekwencji zdjêæ

3 Œledzenie obszarów zainteresowania w sekwencjach obrazów bronchoskopowych pozyskanych w trakcie badania bronchoskopowego. W odró nieniu od klasycznego podejœcia, w którym dla danego obszaru znajduje siê wszystkie wystêpuj¹ce na nim punkty charakterystyczne, jako obszar zainteresowania zdecydowano siê uznaæ fragment obrazu, na podstawie którego wylicza siê deskryptor SIFT pojedynczego punktu charakterystycznego. Taki wybór by³ motywowany koniecznoœci¹ redukcji czasu obliczeñ ze wzglêdu na planowane u ycie tej metody w czasie rzeczywistym (lub prawie rzeczywistym). Zawê enie siê do jednego punktu charakterystycznego pozwala na osi¹gniêcie tego celu w dwójnasób: ze wzglêdu na rozmiar u ytecznego obszaru zainteresowania nie trzeba wyszukiwaæ punktów charakterystycznych w ca³ej piramidzie mo na ograniczyæ siê jedynie do obrazów o ni szych rozdzielczoœciach, ograniczenie siê do jednego punktu charakterystycznego znacz¹co przyspiesza fazê wyszukiwania punktów podobnych. Konsekwencj¹ powy szego wyboru by³o zaaprobowanie jego negatywnych aspektów: obszar zainteresowania nie mo e byæ dowolny musi zostaæ wybrany jako otoczenie jednego spoœród znalezionych punktów charakterystycznych; tylko punkty charakterystyczne posiadaj¹ wysok¹ stabilnoœæ wyznaczania na kolejnych klatkach; metoda nie gwarantuje wyznaczenia na kolejnej klatce punktu charakterystycznego odpowiadaj¹cego obszarowi zainteresowania (nawet po znacz¹cym zwiêkszeniu czu- ³oœci wyznaczania punktów charakterystycznych). Aby zminimalizowaæ skutki wymienionych negatywnych aspektów, nale a³o tak zmodyfikowaæ dzia³anie metody SIFT, aby wykrywana by³a jak najwiêksza liczba punktów charakterystycznych. W tym celu maksymalnie zmniejszono próg detekcji punktu charakterystycznego (do wartoœci 0,0001). Ponadto przy wyznaczaniu ekstremów pomijano wartoœci pierwszych obrazów DoG ka dej oktawy. Dziêki temu zabiegowi wzros³a liczba punktów charakterystycznych wykrywanych na przejœciach pomiêdzy oktawami. Nale y przyznaæ, e powy sze modyfikacje jedynie zwiêkszaj¹ liczbê wykrywanych punktów, nie daj¹c gwarancji ca³kowitego pokrycia obszaru interesuj¹cego lekarza przez jeden punkt charakterystyczny. Przeprowadzone testy pokaza³y, e taka sytuacja wystêpuje rzadko i zawsze mo na pos³u yæ siê punktem pokrywaj¹cym znacz¹cy fragment interesuj¹cego obszaru. Ponadto dalsze prace id¹ce w kierunku wykorzystania kilku punktów pokrywaj¹cych interesuj¹cy obszar (zamiast jednego) powinny ca³kowicie rozwi¹zaæ omówione negatywne aspekty wyboru. Musi im jednak towarzyszyæ analiza wzrostu kosztów obliczeniowych oraz ewentualna próba zrównoleglenia obliczeñ. 4. Testowane sekwencje obrazów pozyskanych w trakcie badania bronchoskopowego W celu weryfikacji sprawdzanej tezy pos³u ono siê dwuminutowymi sekwencjami wyselekcjonowanymi z badañ bronchoskopowych. Œrodkowa klatka ka dej sekwencji by³a

4 944 Piotr Pawlik, Zbigniew Bubliñski, Mariusz Duplaga klatk¹ wybran¹ przez lekarza jako obraz zawieraj¹cy zmianê chorobow¹, na której zaznaczany by³ obszar zmian chorobowych. Na tej podstawie wybierano punkt charakterystyczny zawieraj¹cy zaznaczon¹ zmianê i sprawdzano, czy taki obszar zainteresowania zostanie wskazany przez metodê SIFT na poprzedzaj¹cych i kolejnych klatkach. Przeprowadzone testy wykaza³y poprawne zachowanie metody w wiêkszoœci przypadków zaniku widocznoœci obszaru zainteresowania na skutek wyst¹pienia artefaktów. W przedstawionej (fragmentarycznie) na rysunku 2 sekwencji pokazany jest zanik u ytecznego obrazu pomiêdzy klatkami 18 i 37. Pomimo d³ugiego zaniku metoda SIFT wychwyci³a i zlokalizowa³a obszar zainteresowania. Na uwagê zas³uguje fakt, i stosowana metoda potrafi wyznaczyæ obszar zainteresowania nawet pomimo czêœciowego zniekszta³cenia obrazu przez artefakty (co ma miejsce na klatkach 18 i 37). Na zamieszczonych w niniejszej pracy rysunkach punkty charakterystyczne zosta³y zobrazowane poprzez okrêgi reprezentuj¹ce obszar, z którego wyznaczany jest wektor deskryptora cechy zwi¹zanej z danym punktem (zaznaczone promienie tych okrêgów wskazuj¹ g³ówn¹ orientacjê deskryptorów). Rys. 2. Fragment sekwencji obrazów. Na górze klatki 11, 18, 19, 20, na dole 27, 36, 37, 41. Obszar zainteresowania jest oznaczony jako okr¹g z promieniem (na klatkach, na których zosta³ wykryty) Kolejn¹ zalet¹ metody SIFT jest du a niewra liwoœæ na na obroty i przesuniêcia. Rysunek 3 obrazuje utrzymywanie obszaru zainteresowania w sekwencji obrazów, na której bronchoskop przemieszcza siê (w tej sekwencji wyst¹pi³y tak e klatki z artefaktami od 38 do 48 w³¹cznie które zosta³y prawid³owo pominiête w trakcie œledzenia).

5 Œledzenie obszarów zainteresowania w sekwencjach obrazów bronchoskopowych Rys. 3. Fragment sekwencji obrazów. Kolejno obrazy z klatek 36, 50, 53, 54 Oczywiœcie metoda SIFT wykazuje siê tak e niewra liwoœci¹ na zmianê rozmiaru obszaru zainteresowania. Rysunek 4 przedstawia przyk³ad sekwencji, na której obszar ten zwiêksza siê ponad dwukrotnie w wyniku zbli enia bronchoskopu. Mimo to w ca³ej sekwencji wykrycie obszaru zainteresowania jest utrzymane. Rys. 4. Sekwencja obrazów z ponaddwukrotnym powiêkszeniem obszaru zainteresowania 5. Dyskusja wyników W testach sprawdzono dzia³anie metody dla 31 sekwencji (po 99 klatek ka da) prezentuj¹cych wewn¹trzoskrzelow¹ masê guza. Pewn¹ trudnoœæ w ocenie stosowanej metody sprawia brak obiektywnego sposobu oceny dzia³ania. Zasadniczo w sekwencji obrazów mog¹ zajœæ dwa przypadki kolejna klatka jest poprawna i dobrze uwidacznia obszar zain-

6 946 Piotr Pawlik, Zbigniew Bubliñski, Mariusz Duplaga teresowania lub klatka jest niepoprawna (zawiera artefakty lub nie zawiera obszaru zainteresowania). Z tymi dwoma klasami zwi¹zane s¹ mo liwe b³êdy: niewyznaczenie istniej¹cego obszaru zainteresowania lub wyznaczenie niepoprawnego obszaru. Brak jest kryteriów pozwalaj¹cych na jednoznaczn¹ klasyfikacjê poprawnoœci klatek. Klatki mog¹ bowiem zawieraæ np. tylko niewielkie artefakty lub obszar zainteresowania mo e zostaæ czêœciowo przes³oniêty, co powoduje, e ocena poprawnoœci klatki musi opieraæ siê na subiektywnym wra eniu oceniaj¹cego. Uwzglêdniaj¹c powy sze zastrze enia w analizowanych sekwencjach, sklasyfikowano 1439 klatek (na 3069 mo liwych) jako klatki zawieraj¹ce poszukiwane obszary zainteresowania. Na pozosta³ych klatkach poszukiwany obszar w ogóle nie wystêpowa³, albo by³ zniekszta³cony przez artefakty b¹dÿ znaczne przes³oniêcia. Przy dopasowywaniu punktów charakterystycznych w metodzie SIFT wprowadzono modyfikacje maj¹ce na celu minimalizacjê liczby b³êdów wyznaczania niew³aœciwego obszaru (czyli dopasowania do niew³aœciwego punktu charakterystycznego). Ograniczono bowiem mo liwoœæ dopasowania siê do punktu o znacz¹cej ró nicy g³ównej orientacji (powy ej 900) oraz znacz¹cej ró nicy po³o enia (powy ej 100 pikseli), gdy tak du e translacje i obroty nie powinny zachodziæ w sekwencjach testowanych obrazów. W efekcie w przeanalizowanym materiale nie stwierdzono ani jednego przypadku wyst¹pienia b³êdu niew³aœciwego dopasowania. Jedynymi stwierdzonymi b³êdami by³y pominiêcia istniej¹cych obszarów zainteresowania. W tej kategorii b³êdów dla ca³ego analizowanego materia- ³u iloœæ poprawnych rozpoznañ wynios³a 70%. Po odrzuceniu przypadków zerwania ci¹g³oœci sekwencji na skutek wyst¹pienia artefaktów procent poprawnych rozpoznañ wzrós³ do 80%. Je eli dodatkowo uwzglêdniæ (pomin¹æ) zniekszta³cenia obszaru zainteresowania przez jego nadmierne przemieszczenie siê do krawêdzi obrazu oraz pomin¹æ przypadki, kiedy klatka pocz¹tkowa nie zawiera³a punktu charakterystycznego obejmuj¹cego ca³y obszar zainteresowania, procent poprawnych rozpoznañ osi¹ga 87%. Powy sze zestawienie wykreœla kierunki dalszego ulepszania metody poprzez zwiêkszenie wykrywalnoœci obszaru zainteresowania po wyst¹pieniu artefaktów. 6. Wnioski Przeprowadzone eksperymenty pozwoli³y na sformu³owanie nastêpuj¹cych wniosków: metoda SIFT pozwala na œledzenie wstêpnie wyznaczonych obszarów zainteresowania bêd¹c niewra liw¹ na du e zmiany ich wielkoœci, oœwietlenia, po³o enia i orientacji; zastosowanie metody SIFT pozwala na pomijanie klatek z artefaktami, œledzenie obszaru mo e byæ automatycznie kontynuowane po ust¹pieniu zak³óceñ. Do problemów wymagaj¹cych dalszego dopracowania mo na zaliczyæ: brak wyst¹pienia punktu charakterystycznego obejmuj¹cego swoim otoczeniem ca³y poszukiwany obszar zainteresowania, niektóre sekwencje klatek z artefaktami powoduj¹ zerwanie ci¹g³oœci œledzenia obszaru zainteresowania.

7 Œledzenie obszarów zainteresowania w sekwencjach obrazów bronchoskopowych Obydwa problemy mog³oby rozwi¹zaæ zastosowanie kilku (zamiast jednego) punktów pokrywaj¹cych ca³y interesuj¹cy obszar. Poniewa taka zmiana zwiêkszy czas obliczeñ nale y dodatkowo skupiæ siê na zrównolegleniu algorytmu SIFT. Literatura [1] Ledwich L.,Williams S., Reduced SIFT features for image retrieval and indoor localisation. Proceedings of Australasian Conference on Robotics and Automation (ACRA), [2] Lowe D.G., Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60, 2, 2004, [3] Pawlik P., Mikrut S., Wyszukiwanie punktów charakterystycznych na potrzeby ³¹czenia zdjêæ lotniczych. Automatyka (pó³rocznik AGH), t. 10, z. 3, 2006,