Streszczenie rozprawy doktorskiej

Transkrypt

1 Uniwersytet Mikołaja Kopernika w Toruniu Wydział Fizyki, Astronomii i Informatyki Stosowanej Marcin Sylwestrzak Streszczenie rozprawy doktorskiej ANALIZA DANYCH SPEKTRALNEJ TOMOGRAFII OPTYCZNEJ OCT Z WYKORZYSTANIEM WIELORDZENIOWYCH KART GRAFICZNYCH Praca doktorska napisana pod kierunkiem prof. dr. hab. Piotra Targowskiego Toruń 2013

2 Wstęp Tomografia optyczna z użyciem światła częściowo spójnego (ang. Optical Coherence Tomgraphy) to nieinwazyjna technika pozwalająca na obrazowanie struktury wewnętrznej obiektów częściowo przeźroczystych dla światła. W wyniku pomiaru w sposób bezkontaktowy otrzymywane są dwuwymiarowe przekroje w głąb obiektu wzdłuż linii skanowania wiązką analizującą. Tak uzyskane tomogramy obrazują wszystkie nieciągłości struktury, które wiązka napotkała na swojej drodze. Dzięki nieinwazyjności metody tomografia optyczna jest obecnie powszechnie wykorzystywana w diagnostyce medycznej jako narzędzie do obrazowania struktur wewnętrznych tkanek i organów przede wszystkim w okulistyce [1, 2], ale także w dermatologii [3, 4], gastrologii [5, 6] i innych [7, 8]. Poza zastosowaniami medycznymi tomografia optyczna wykorzystywana jest w badaniach materiałowych [9], w szczególności obiektów zabytkowych, takich jak obrazy olejne [10, 11] czy szkła witrażowe [12], w których ze względu na wartość zabytkową badanych obiektów metody inwazyjne są niedopuszczalne. Badania te pozwalają właściwie ocenić stan zachowania zabytków oraz zaplanować, a także monitorować w czasie rzeczywistym niektóre zabiegi konserwatorskie [13, 14]. Jednym z ograniczeń tomografii OCT jest czasochłonna analiza numeryczna danych, która wraz z wizualizacją przekrojów na ekranie zwykle zajmuje więcej czasu niż akwizycja. Obrazowanie w czasie rzeczywistym jest niezbędną funkcją oprogramowania sterującego tomografem. Pozwala ono na właściwe ustawienie pacjenta i przygotowanie go do pomiaru, a w przypadku badań materiałowych odpowiednie umieszczenie badanego obiektu. Realizacja tego zadania wymaga przede wszystkim szybkiego obrazowania badanego obszaru. W chwili obecnej na dobrze zoptymalizowanym oprogramowaniu pracującym wielowątkowo na procesorze głównym (CPU) uzyskuje się wydajność obrazowania wynoszącą ok. 10 klatek na sekundę dla dwóch przekrojów w rozdzielczości piksele. Jakość takiego podglądu ze względu na liczbę zarejestrowanych i przetwarzanych widm nie jest zbyt wysoka i pozwala jedynie na przybliżone ustawienie pacjenta przed wykonaniem właściwego pomiaru. W tej sytuacji uzyskanie obrazu drobnych zmian, 2

3 istotnych dla diagnozowania, wymaga wykonania wielu pomiarów i jest w pewnym stopniu kwestią przypadku. Od kilku lat bardzo dynamicznie rozwija się technologia przetwarzania danych na procesorach graficznych. Już w 2010 roku NVIDIA deklarowała wydajność wykonywania obliczeń zmiennoprzecinkowych wyższą o rząd wielkości niż osiągalna przez najszybsze procesory główne [15]. Zastosowanie równoległego przetwarzania danych na wielordzeniowych procesorach graficznych otwiera wiele nowych możliwości w technice spektralnej tomografii optycznej, przede wszystkim zaś usuwa główne ograniczenie blokujące obrazowanie w czasie rzeczywistym czasochłonną analizę danych. Rozprawa liczy 152 strony i podzielona została na sześć rozdziałów. W pierwszym rozdziale przedstawiona została ogólnie metoda spektralnej tomografii optycznej wraz z jej opisem matematycznym i fizycznym. Opisane zostały również metody analizy danych oraz ich wpływ na jakość otrzymywanego tomogramu. W drugim rozdziale została omówiona budowa tomografu, opisane podstawowe elementy i podzespoły wchodzące w jego skład oraz połączenia i zależności pomiędzy nimi. Rozdział ten zawiera również zwięzły opis całego oprogramowania przygotowanego przez autora w celu realizacji tego projektu w języku C/C++ oraz C#. W rozdziale trzecim znajduje się opis wykorzystywanej architektury sprzętowej i technologii równoległego przetwarzania danych na procesorach graficznych. Czwarty rozdział, objętościowo największy i jednocześnie najistotniejszy, przedstawia opis zastosowanych rozwiązań implementacyjnych oraz optymalizacyjnych wprowadzonych w rozwijanych algorytmach przetwarzania danych spektralnej tomografii optycznej. W piątym rozdziale przedstawiono rezultaty bazujące na szybkim przetwarzaniu danych za pomocą zaimplementowanych metod, a więc szybkie obrazowanie tomogramów dwuwymiarowych, wizualizacje trójwymiarowe uzyskane w czasie rzeczywistym oraz algorytmy automatycznej adaptacji protokołów skanowania. Szósty rozdział stanowi podsumowanie rozprawy. Cele projektu i teza rozprawy Zamiarem podjętego projektu reformułowania algorytmów obliczeniowych spektralnej tomografii OCT w celu równoległego przetwarzania danych na wielordzeniowych procesorach graficznych było: 1. umożliwienie wysokojakościowego obrazowania w czasie rzeczywistym, tak aby uzyskiwane przekroje wyświetlane były na ekranie jak najszybciej, bez zbędnych opóźnień, które bardzo utrudniają ustawienie pacjenta bądź obiektu w badaniach materiałowych, 2. obrazowanie bez żadnych ustępstw dotyczących jakości (w celu przyśpieszenia obliczeń) prezentowanego na ekranie przekroju prezentowany w czasie 3

4 rzeczywistym tomogram ma być wyświetlony w najlepszej możliwej do osiągnięcia dla tej metody jakości, 3. trójwymiarowe obrazowanie w czasie rzeczywistym, dotychczas (w przypadku obliczeń na procesorze głównym) w ogóle nie osiągalne, 4. implementacja dodatkowych trybów obrazowania rozszerzających standardowe obrazowanie strukturalne w OCT o metodę dopplerowską (pozwalającą na obrazowanie przepływów naczyniach krwionośnych) oraz metodę redukcji szumu plamkowego, 5. implementacja algorytmów automatycznego dostosowywania protokołów skanowania w metodzie: dopplerowskiej w celu samoczynnego dostosowania protokołu do mierzonego przepływu, tak aby wykorzystywał on cały dostępny zakres dynamiczny mierzonych prędkości, redukcji szumu plamkowego w celu rejestracji danych w taki sposób, aby uśrednianie pozwalało na zminimalizowanie szumu plamkowego, jednocześnie nie pogarszając zbytnio rozdzielczości poprzecznej obrazowania. Wyżej przedstawione cele pozwoliły na sformułowanie następującej tezy niniejszej rozprawy: optymalne wykorzystanie typów pamięci i reformułowanie algorytmów w celu równoległego przetwarzania danych spektralnej tomografii optycznej na kartach graficznych pozwala na przyśpieszenie obliczeń, umożliwiające trójwymiarowe obrazowanie strukturalne oraz czynnościowe w czasie rzeczywistym z jednoczesnym adaptacyjnym modyfikowaniem protokołów skanowania. 1. Spektralna tomografia optyczna Metoda tomografii optycznej dzieli się na dwie podstawowe odmiany: pierwsza, tzw. czasowa (ang. Time domain OCT, TdOCT), została zaprezentowana już w 1991 roku [16], natomiast druga fourierowska (ang. Fourier domain OCT, FdOCT) pięć lat później [17]. Tą z kolei dzieli się na bardziej popularną spektralną tomografię optyczną (ang. Spectral domain OCT, SdOCT, albo: SOCT) oraz tomografię optyczną z użyciem laserów strojonych (ang. Swept Source OCT, SSOCT) [18]. Systemy pracujące w pierwszej odmianie (czasowej) wymagają skanowania w głąb obiektu poprzez zastosowanie mechanicznie przesuwanego zwierciadła w ramieniu interferometru. Natężenie odbitego światła mierzone jest podczas ruchu zwierciadła za pomocą fotodiody. W ten sposób otrzymywane są kolejne A-skany. Badanie tą metodą trwa stosunkowo długo, na tyle, że mimowolne ruchy pacjenta podczas 4

5 badania oka wpływają negatywnie na jakość otrzymywanego tomogramu. W układach spektralnych zwierciadło referencyjne utrzymywane jest w stałym położeniu, a rejestracja światła zamiast na fotodiodzie odbywa się za pośrednictwem spektrometru. Z uzyskanego w ten sposób widma interferencyjnego generowany jest jeden A-skan przez zastosowanie transformacji Fouriera. Usunięcie ruchomych elementów z interferometru i rejestracja widm na liniowej kamerze o bardzo szybkim transferze danych ze spektrometru pozwoliły na około stukrotne przyśpieszenie akwizycji i zwiększenie osiowej rozdzielczości obrazowania z 10 µm do ok. 3 µm [19, 20]. Mimo istotnej niedogodności, jaką stanowi ograniczony zakres obrazowania (zwykle 2-3 mm), metoda ta niemal całkowicie wyparła odmianę czasową TdOCT, oferując nieporównywalnie wyższą jakość i szybkość obrazowania. Przetwarzanie danych w SOCT W przypadku detekcji fourierowskiej, z jaką mamy do czynienia w spektralnej tomografii optycznej, sygnał interferencyjny rejestrowany jest na liniowej kamerze w spektrometrze. Każde zebrane w ten sposób widmo wymaga wykonania szeregu procedur numerycznych, aby uzyskać z każdego z nich jeden A-skan. W wyniku rozwijania metody od ponad dziesięciu lat zarówno przez nasz zespół, jak i inne grupy badawcze na świecie, ustalił się standardowy zestaw procedur numerycznych wymaganych do uzyskania dobrej jakości obrazu tomograficznego. Składa się on z sześciu podstawowych kroków: 1. odjęcie tła, 2. transformacja, 3. numeryczna kompensacja dyspersji, 4. kształtowanie widma, 5. transformacja Fouriera, 6. prezentacja w skali logarytmicznej. Wykonanie wszystkich tych kroków jest niezbędne w celu uzyskania tomogramów w najwyższej jakości. Metoda dopplerowska w SOCT Metoda dopplerowska pozwala na wyznaczanie składowej równoległej wektora prędkości cząstki rozpraszającej promieniowanie sondujące. Podstawą jej działania jest fakt, że zmiana częstotliwości promieniowania sondującego po odbiciu od poruszającej się cząstki (efekt Dopplera) powoduje niewielkie zmiany częstotliwości sygnału interferencyjnego, które wyznaczyć można za pomocą pomiaru zmiany fazy sygnału. Metoda ta polega na wykonaniu dwóch następujących po sobie pomiarów OCT w tym samym miejscu, a następnie wyznaczeniu różnicy w położeniu obserwowanego elementu 5

6 struktury obiektu poprzez pomiar różnic fazowych pomiędzy składowymi częstotliwościowymi zarejestrowanych widm. Pozwala to na znalezienie przemieszczeń centrów rozpraszających wewnątrz badanego obiektu w czasie, który upłynął pomiędzy tymi pomiarami. Dostosowywanie zakresu mierzonych prędkości odbywa się poprzez zmianę czasu pomiędzy kolejnymi pomiarami. Metoda uśredniania szumu plamkowego Metoda ta zaproponowana została przez M. Szkulmowskiego [21] z naszego zespołu, z punktu widzenia oprogramowania wykorzystuje najprostsze uśrednianie ze sobą sąsiednich A-skanów. Podstawą efektywności jej działania jest specyficzny sposób rejestracji danych. Aby była skuteczna, niezbędne jest rejestrowanie widm w taki sposób, aby były wzajemnie ze sobą jak najmniej skorelowane i jednocześnie pochodziły z możliwie bliskich fizycznie miejsc. Efekt taki uzyskuje się, rejestrując kolejne widma podczas skanowania specjalnym protokołem z nałożoną dodatkową oscylacją. Powoduje ona nieznaczny spadek poprzecznej rozdzielczości obrazowania poszczególnych przekrojów, podnosi natomiast w wysokim stopniu jakość tomogramu wynikowego, zwłaszcza jeśli analizowany obiekt nie posiada gwałtownych zmian w strukturze poprzecznej. 2. Budowa tomografu i architektura oprogramowania Zadaniem oprogramowania współpracującego z tomografem OCT jest nie tylko analiza numeryczna danych i ich wyświetlenie, ale również zarządzanie szeregiem czynności związanych ze sterowaniem kamerą spektrometru, skanerami galwanometrycznymi oraz synchronizacją pomiędzy podzespołami urządzenia. Przygotowanie oprogramowania do tego zadania jest więc nierozłącznie powiązane z opracowaniem procedur sterowania dodatkowymi urządzeniami zewnętrznymi. W rozdziale drugim zaprezentowany został ogólny schemat połączeń i zależności pomiędzy komputerem a podzespołami tomografu. Przedstawiona została także architektura aplikacji, która ze względu na wielozadaniowość została podzielona na oddzielnie kompilowane projekty (moduły) współpracujące ze sobą. Oprogramowanie do sterowania tomografem OCT i równoległego przetwarzania danych zostało przygotowane pod kontrolą systemu operacyjnego Microsoft Windows 7 Professional w wersji 64 bitowej w programie Microsoft Visual Studio 2010 Ultimate na licencji MSDNAA (ang. Microsoft Developer Network Academic Alliance). W celu optymalizacji przetwarzania danych na CPU oraz ich buforowania w pamięci operacyjnej 6

7 RAM wykorzystano biblioteki Intel Integrated Performance Primitives zakupione do tego projektu przez autora. Do wizualizacji danych wykorzystano interfejs API OpenGL (dostępny bezpłatnie) a w celu uproszczenia niektórych partii kodu dodatkowo użyto biblioteki pomocniczej Freeglut, stanowiącej nowszą i dystrybuowaną na licencji Open Source alternatywę dla nakładki GLUT (ang. OpenGL Utility Toolkit). Rejestrację klatek generowanych na ekranie podczas obrazowania na żywo umożliwia biblioteka FreeImage (Open Source), pozwalająca na zapis ramki prezentowanej w OpenGL do plików w formacie JPG. Oddzielny zestaw stanowią biblioteki DLL dostarczane przez producenta kart rozszerzeń National Instruments w ramach środowiska LabView. Proces rejestracji danych poprzez kartę akwizycji realizowany jest za pomocą modułu NI Vision Acquisition Software, w skład którego wchodzi NI IMAQ zestaw bibliotek pozwalających na pobieranie danych z kamery. Z kolei do sterowania wyjściami analogowymi wykorzystywana jest biblioteka NI DAQmx. Aplikacja sterowana jest zdarzeniami, w większości przypadków są to przeróżne zmiany trybów jej pracy. Przejście do trybu obrazowania w czasie rzeczywistym wymaga skonfigurowania wszystkich modułów domyślnymi parametrami, zainicjowania karty akwizycji, kamery oraz wygenerowania trajektorii dla skanerów i przesłania ich do karty sterującej. Ponadto rozpoczęcie obrazowania na żywo wymaga uruchomienia zadań powtarzanych w sposób ciągły: odbierania danych, ich przetwarzania i wizualizacji. Nad tymi czynnościami nadzór sprawują dwa główne wątki aplikacji uruchomione na procesorze głównym CPU. Pierwszy z nich, wątek akwizycyjny, odpowiedzialny jest za odbieranie danych ze spektrometru. Drugi główny wątek aplikacji uruchomiony na procesorze głównym to wątek obliczeniowo wizualizacyjny. Jego podstawowym zadaniem jest pobieranie danych z kolejki buforów, przesłanie ich do pamięci karty graficznej, a następnie zarządzanie wielowątkowym procesem przetwarzania danych na procesorze graficznym oraz wizualizacja wyników na ekranie. 3. Równoległe przetwarzanie danych procesorach graficznych Procesory graficzne są układami przetwarzającymi dane w sposób równoległy, więc nie wszystkie algorytmy dobrze nadają się do implementacji i uruchamiania na GPU. Jeżeli w ogóle istnieje możliwość zrównoleglenia danej analizy numerycznej, to wydajność przetwarzania wzrasta z ilością danych poddawanych obliczeniom równoległym. W kontekście przedstawionych powyżej kwestii analiza danych spektralnej tomografii optycznej 7

8 dobrze nadaje się do zrównoleglenia z wykorzystaniem wielordzeniowych procesorów graficznych obliczenia wykonywane na kolejnych widmach są niezależne od siebie, a złożoność związana jest przede wszystkim z ilością danych poddawanych przetworzeniu. Producenci procesorów graficznych, wychodząc naprzeciw zapotrzebowaniu rynku na szybkie układy generujące realistyczne obrazy w grach komputerowych, przygotowali urządzenia o ogromnej wydajności obliczeń. Kluczowym krokiem było uogólnienie specjalizowanych układów cieniowania na programowalne jednostki arytmetyczno-logiczne i zmiennoprzecinkowe ogólnego przeznaczenia oraz przygotowanie interfejsu API umożliwiającego wykorzystanie ich przez programistów. Dzięki temu procesory o mocy obliczeniowej osiągalnej do niedawna jedynie przez superkomputery stały się dostępne dla wszystkich. Tworzenie kodu dla procesorów graficznych nie jest tak intuicyjne, jak programowanie strukturalne aplikacji na procesory główne komputerów osobistych, które znalazło swoje stałe miejsce w ścieżkach edukacji uczelni technicznych i do którego absolwenci takich uczelni są przyzwyczajeni. Rosnąca popularność wykorzystania procesorów GPU do obliczeń ogólnych wprowadziła również to zagadnienie jako przedmiot wykładowy do wielu uczelni na świecie. Oczywiście nie każdy problem numeryczny nadaje się do implementacji na procesor graficzny i nie można przedstawiać układów GPU jako jedynych i najlepszych platform do obliczeń. Obecne wykorzystanie sugeruje, że dalszego kierunku rozwoju tej technologii można oczekiwać w ścisłej współpracy nowoczesnych procesorów CPU z wydajnymi wielordzeniowymi procesorami graficznymi. Najbardziej pozytywnym aspektem tak szybkiego rozwoju procesorów graficznych i udostępnienia go szerokiej rzeszy odbiorców jest fakt, że ogromna moc obliczeniowa tych układów pozwoliła na przyspieszenie rozwiązań wielu problemów naukowych i ciągle służy ludziom, wspomagając działanie aparatury biomedycznej. W trzecim rozdziale rozprawy krótko zarysowano historię rozwoju komputerów oraz przyczyny pojawienia się architektur wielordzeniowych. Przedstawiona została architektura procesorów graficznych na przykładzie procesorów rodziny Fermi (w kontekście programowania wielowątkowego w CUDA C), ze szczególnym uwzględnieniem dostępnych typów pamięci. 8

9 4. Implementacja algorytmów przetwarzania danych OCT na GPU Bardzo istotną różnicą pomiędzy procesorami głównymi stacji roboczych (CPU) a procesorami graficznymi (GPU) jest przydział tworzących je tranzystorów do pełnienia poszczególnych funkcji. W układach CPU większość tranzystorów wchodzi w skład pamięci podręcznej oraz układów sterowania przepływem danych, natomiast właściwym wykonywaniem obliczeń zajmuje się mniej więcej ich czwarta część. W procesorach graficznych tranzystory wchodzą przede wszystkim w skład jednostek arytmetyczno logicznych oraz zmiennoprzecinkowych, natomiast znacznie mniejsza ich część zajmuje się sterowaniem przepływem danych. Z tego właśnie powodu pewne zadania związane z uruchamianiem wątków, podziałem zadań i przepływem danych muszą być ręcznie zaprogramowane przez użytkownika, aby przetwarzanie w procesorze graficznym było efektywne. Pierwszą stabilną wersję programu przetwarzającego dane spektralnej tomografii optycznej w procesorze graficznym autor uzyskał na początku 2010 roku a wyniki jego wydajności opublikował we wrześniu [22]. Uzyskano wtedy szybkość przetwarzania danych w obrazowaniu strukturalnym około sześciokrotnie wyższą (Rys. 4.1 b) niż w Rys Wpływ zastosowanych i zaimplementowanych w rozwijanym oprogramowaniu rozwiązań przyczyniających się do zwiększenia wydajności obliczeń, a) wydajność obliczeń równoległych na procesorze CPU, b i) kolejne rozwiązania opisane w tekście 9

10 przypadku zastosowania zoptymalizowanych obliczeń równoległych na procesorze głównym (Rys. 4.1 a) [23]. Wówczas autor rozwijał oprogramowanie na karcie graficznej wyposażonej w procesor GTX 280 (240 rdzeni CUDA) i 2GB globalnej pamięci. Wymiana karty graficznej na nowszy model (GeForce CUDA GTX 580 MSI 3072MB) wyposażony w 512 rdzeni CUDA, pozwoliła na uzyskanie wydajności obliczeń wynoszącej 430 tys. A- skanów na sekundę (Rys. 4.1 c). Następnie wprowadzono optymalizacje wyznaczania indeksów niezbędnych do pobierania danych, w obliczeniach w których istniała taka możliwość przeformułowano operacje matematyczne na operacje bitowe oraz zminimalizowano wykorzystanie rejestrów. W konsekwencji zmniejszono liczbę operacji mnożenia i dodawania dzięki temu uzyskano wydajność przetwarzania na poziomie 515 tys. A-skanów na sekundę (Rys. 4.1 d). Wykorzystanie jednostek funkcji specjalnych (SFU) pozwoliło na zwiększenie wydajności do 600 tysięcy widm na sekundę (Rys. 4.1 e). W dalszej kolejności zmodyfikowano implementację procedury transformacji k. W obecnej wersji wykorzystuje ona o 4 rejestry więcej. Pomimo większego zapotrzebowania na zasoby sprzętowe, zgodnie z arkuszem CUDA Occupancy Calculator, zmiana ta nie spowodowała zmniejszenia liczby aktywnych wątków na multiprocesorze, a dzięki dodatkowym rejestrom świadome podzielono i uporządkowano operacje numeryczne i w konsekwencji osiągnięto wydajność przewyższającą 740 tys. A-skanów na sekundę (Rys. 4.1 f). Zastosowanie funkcji pojedynczej precyzji (w celu zaokrąglania do wartości całkowitych, logarytmowania i pierwiastkowania) w funkcjach jądra wykonujących obliczenia zarówno przed jak i po transformacji Fouriera pozwoliło na osiągnięcie wydajności przetwarzania na poziomie 877 tysięcy A-skanów na sekundę (Rys. 4.1 g). Reorganizacja rozmieszczenia bloków wątków w siatce bloków poprzez wprowadzenie dwuwymiarowego indeksowania odpowiadającego numerom A-skanów i B-skanów, pozwoliło na całkowitą rezygnację z konieczności wyznaczania reszty z dzielenia całkowitego i pozwoliło na znaczne uproszczenie obliczeń wskaźników do danych wydajność obliczeń osiągnęła 980 tys. A-skanów na sekundę (Rys. 4.1 h). Ostatecznie, kompletu optymalizacji dopełnia właściwe umieszczenie polecenia syncthreads() pozwalając na przetworzenie powyżej miliona widm na sekundę (Rys. 4.1 i). Przedstawione powyżej zestawienie dotyczy przetwarzania danych w obrazowaniu strukturalnym, w pozostałych metodach stosowano analogiczne rozwiązania. We wszystkich przypadkach przetwarzano widma złożone z 2048 pikseli. Zależność wydajności obliczeń od liczby przetwarzanych A-skanów przedstawiono na wykresie (Błąd! Nie można odnaleźć źródła odwołania.) i jest ona około dwudziestokrotne wyższa niż w przypadku do dobrze zoptymalizowanej, wielowątkowej aplikacji pracującej na wielordzeniowym procesorze głównym [23]). W rozdziale czwartym rozprawy przedstawiono krótki przegląd literatury przedmiotu wraz z wkładem autora. Zaprezentowano opracowaną podczas realizacji projektu implementację procedur równoległego przetwarzania danych SOCT na procesor graficzny (w 10

11 architekturze Fermi ) oraz omówiono wpływ poszczególnych rozwiązań na wydajność całego procesu obliczeń. 5. Wykorzystanie uzyskanej szybkości przetwarzania danych Wykorzystanie kart graficznych w celu efektywniejszej analizy danych spektralnej tomografii optycznej pozwala na wprowadzenie nowej jakości do tej znanej od wielu lat metody. Dzięki uzyskanej szybkości przetwarzania wynoszącej powyżej miliona widm na sekundę możliwe jest zrealizowanie wysokojakościowego obrazowania dwu- oraz trójwymiarowego w czasie rzeczywistym, które nie było możliwe do uzyskania w przypadku przetwarzania danych na procesorze głównym. Warunkiem koniecznym do uzyskania obrazowania OCT w czasie rzeczywistym jest oczywiście odpowiednio szybkie przetwarzanie danych. Dzięki zastosowaniu procesorów graficznych oraz odpowiednio zoptymalizowanych algorytmów uzyskano bardzo wysoką wydajność obliczeń, przewyższającą milion A-skanów na sekundę. Drugim, równie ważnym warunkiem, jest możliwość odpowiednio szybkiego wyświetlenia przetworzonych danych. Połączenie przedstawionego w rozdziale czwartym rozprawy modułu do przetwarzania danych z opracowanym przez autora i szczegółowo opisanym w piątym rozdziale sposobem wizualizacji danych bezpośrednio z pamięci karty graficznej pozwala na wydajne obrazowanie w czasie rzeczywistym. Wydajność obrazowania techniką OCT z wykorzystaniem rozwijanego oprogramowania przedstawiono w tabeli (Tabela 5.1). Całkowita wydajność obrazowania zależy od czasu wykonania trzech kroków: akwizycji (zależnie od protokołu), transferu Tabela 5.1. Rzeczywista szybkość odświeżania strukturalnych obrazów OCT z zastosowaniem oprogramowania przygotowanego w trakcie realizacji projektu dla wybranych protokołów Protokół Całkowita liczba A-skanów Czas transferu danych do GPU Przetwarzanie i wizualizacja Czas Wydajność Wydajność z uwzględnieniem czasu transferu do GPU Krzyż 2x ms 8,2 ms 120 Hz* 76 Hz Krzyż 2x ms 9,5 ms 105 Hz 52 Hz Cztery przekroje 4x ms 11 ms 93 Hz 31 Hz Cztery przekroje 4x ms 24 ms 42 Hz 15 Hz Podgląd 3D 100x ms 63 ms 16 Hz 11 Hz Podgląd 3D 140x ms 110 ms 9 Hz 6,5 Hz *ograniczone przez częstotliwość odświeżania monitora LCD 11

12 surowych widm do pamięci karty graficznej (Tabela 5.1, kol. 3.) oraz czasu przetwarzania i wizualizacji (Tabela 5.1, kol. 4.). Gdyby czas rejestracji danych był równy czasowi wszystkich czynności związanych z przetworzeniem i wyświetleniem danych, każda wyświetlana na ekranie klatka zawierałaby tomogram uzyskany w wyniku przetworzenia za każdym razem nowego zestawu widm. W takiej sytuacji szybkość wyświetlanych na ekranie klatek zależałaby od dwóch czynników: czasu transferu danych (Tabela 5.1, kol. 3.) oraz przetwarzania i wizualizacji (Tabela 5.1, kol. 4.) i osiągałaby wartości przedstawione w ostatniej kolumnie tabeli (Tabela 5.1, kol. 6.). W obecnym stanie rozwoju technologii rejestracja danych wymaga jednak więcej czasu niż przetworzenie ich na procesorze graficznym, dlatego nowe zestawy widm dostępne są rzadziej niż co każdą klatkę wyświetlaną na ekranie. Z tego względu ten sam zestaw danych jest przetwarzany kilka razy, aż zakończy się proces rejestracji nowego tomogramu. Wielokrotne przetwarzanie tych samych danych pozwala na natychmiastowe uwzględnienie zmieniających się parametrów obliczeniowych (np. współczynnika kompensacji dyspersji) czy wizualizacyjnych (kątów obrotu), co zwiększa interaktywność aplikacji. Tak więc w trakcie obrazowania średnie szybkości odświeżania prezentowanych przekrojów uzyskują wartości zawierające się w zakresach ograniczonych przez liczby w kolumnach 5. i 6. (Tabela 5.1). Jedną z bardziej kłopotliwych czynności dla użytkownika tomografu OCT podczas pomiarów dopplerowskich jest dostosowanie protokołu skanowania tak, aby obrazowana prędkość przepływu optymalnie wykorzystywała zakres dynamiczny. Podobne problemy może sprawiać dostosowywanie amplitudy oscylacji dodatkowego skanera w metodzie redukcji szumu plamkowego. W obu metodach użytkownik obsługujący tomograf dobiera subiektywnie parametry protokołu na podstawie B-skanu wyświetlanego podczas podglądu na żywo. W przypadku obliczeń na procesorze głównym jakość tego tomogramu jest stosunkowo niska ze względu na stosunkowo małą liczbę wyświetlanych A-skanów. Korzystając z takiego przekroju oraz własnej wiedzy i doświadczenia użytkownik zmienia wybrany parametr protokołu, a następnie ponownie uruchamia akwizycję i ocenia, czy korekta, którą wprowadził, jest wystarczająca. Odpowiednie ustawienie parametrów wymaga zwykle kilku takich iteracji. Dostosowywanie protokołu na zasadzie prób i błędów jest bardzo uciążliwe, wymaga przede wszystkim skupienia i wielokrotnej modyfikacji parametrów oraz sprawdzania na wynikowym tomogramie, czy nie pojawiają się artefakty. Oczywistym jest, że podejście takie zawodzi w przypadku dynamicznie zmieniających się własności obiektu. Wykorzystanie szybkiej analizy numerycznej na procesorach graficznych pozwoliło uzyskać w czasie rzeczywistym wysokiej jakości przekroje oraz oceniać ich jakość w zależności od parametrów protokołu. W realizowanym projekcie autor przygotował dwa typy adaptacyjnych metod optymalizacji obrazów OCT. W przypadku analiz dopplerowskich w ciągu około pięciu sekund algorytm sam dostosowuje protokół do analizowanego przepływu 12

13 dobierając właściwy dla występującego w obiekcie przedziału prędkości przepływów. W metodzie redukcji szumu plamkowego efekt uzyskuje się poprzez dobranie parametrów skanowania zadanie to wymaga kilkunastu sekund głównie ze względu na czas akwizycji dużych zbiorów danych oraz konieczność uzyskania odpowiedniej statystyki. 6. Podsumowanie rozprawy Przygotowane w trakcie realizacji projektu oprogramowanie, ze szczególnym uwzględnieniem wysoce zoptymalizowanych metod przetwarzania danych w procesorze graficznym i wizualizacji wyników bezpośrednio z pamięci karty graficznej, pozwoliło na osiągnięcie oczekiwanych rezultatów. Dzięki równoległej analizie danych w GPU uzyskano wysokojakościowe obrazowanie w czasie rzeczywistym w trybie dwuwymiarowym. Wyświetlane przekroje tworzone z kilku tysięcy rejestrowanych widm na każdy B-skan i uśrednianie sąsiadujących A-skanów pozwoliło na wyświetlanie z częstotliwością kilkudziesięciu ramek na sekundę tomogramów o jakości, którą dotychczas uzyskać można było jedynie w trybie post-processingu. Zastosowane rozwiązania pozwalają również na obrazowanie trójwymiarowe w czasie rzeczywistym, które dotychczas nie było w ogóle możliwe. Ten sposób obrazowania może być przydatny jako dodatkowe narzędzie np. podczas operacji na żywym oku (przeszczep rogówki, soczewki). Na tak duże przyspieszenie obliczeń dzięki wykorzystaniu GPU można spojrzeć jak na pewnego rodzaju zaoszczędzenie czasu w wykonywaniu pewnego zadania, który z kolei przeznaczyć można na zastosowanie dodatkowych analiz, np. szybką ocenę uzyskiwanego tomogramu i dostosowanie protokołu skanowania. W realizowanym projekcie autor przygotował dwa typy adaptacyjnych metod dostosowywania protokołów rejestracji danych OCT: w analizach dopplerowskich oraz w metodzie redukcji szumu plamkowego. Reasumując, zdaniem autora, uzyskane szybkości przetwarzania danych są w pełni wystarczające dla celów SOCT i o ile nie pojawią się zupełnie nowe pomysły w zakresie procedur obróbki danych, wysiłki w kierunku dalszego przyspieszania obliczeń nie mają uzasadnienia. Głównym ograniczeniem jest obecnie wymagany czas akwizycji danych, niezbędny dla uzyskania odpowiedniego stosunku sygnału do szumu wynikający z natury procesów fizycznych zachodzących w detektorach. Jedynie jakościowo nowe rozwiązania w tym zakresie jak dotąd nie znane i nie możliwe do przewidzenia mogłyby na nowo postawić problem optymalizacji wydajności obrazowania OCT na drodze dalszej poprawy szybkości obliczeń. 13

14 Literatura [1] M. Wojtkowski, R. Leitgeb, A. Kowalczyk et al., In vivo human retinal imaging by Fourier domain optical coherence tomography, Journal of Biomedical Optics, 7 (3), (2002). [2] W. Drexler, and J. G. Fujimoto, State-of-the-art retinal optical coherence tomography, Prog Retin Eye Res, 27 (1), (2008). [3] J. Welzel, Optical coherence tomography in dermatology: a review, Skin Research and Technology, 7 (1), 1-9 (2001). [4] J. K. Barton, K. W. Gossage, W. Xu et al., Investigating sun-damaged skin and actinic keratosis with optical coherence tomography: A pilot study, Technology in Cancer Research & Treatment, 2 (6), (2003). [5] B. E. Bouma, G. J. Tearney, C. C. Compton et al., High-resolution imaging of the human esophagus and stomach in vivo using optical coherence tomography, Gastrointestinal endoscopy, 51(4) Pt (2000). [6] M. Suter, B. J. Vakoc, N. S. Nishioka et al., Comprehensive three-dimensional microscopy of the porcine and human esophagus in vivo using optical frequency domain imaging, Gastroenterology, 130 (4), A103-A103 (2006). [7] A. H. Huang, Y. K. Chen, L. M. Lin et al., Isolation and characterization of dental pulp stem cells from a supernumerary tooth, J Oral Pathol Med, (2008). [8] G. J. Tearney, S. Waxman, M. Shishkov et al., Three-Dimensional Coronary Artery Microscopy by Intracoronary Optical Frequency Domain Imaging, JACC: Cardiovascular Imaging, 1 (6), (2008). [9] D. Stifter, Beyond biomedicine: a review of alternative applications and developments for optical coherence tomography, Applied Physics B Lasers and Optics, 88 (3), (2007). [10] P. Targowski, M. Iwanicka, L. Tyminska-Widmer et al., Structural examination of easel paintings with optical coherence tomography, Acc Chem Res, 43 (6), (2010). [11] P. Targowski, B. J. Rouba, P. Karaszkiewicz et al., Optyczna Koherentna Tomografia OCT nowe narzędzie do działań konserwatorskich i inwentaryzacyjnych / Optical Coherence Tomography OCT a novel tool for art conservation and cataloguing, Wiadomości konserwatorskie, (2009). 14

15 [12] J. Kunicki-Goldfinger, P. Targowski, M. Góra et al., Characterization of glass surface morphology by optical coherence tomography, Studies in Conservation, (2009). [13] P. Targowski, J. Marczak, K. E.A. et al., Optical coherence tomography for highresolution real time varnish ablation monitoring, [14] M. Iwanicka, E. A. Kwiatkowska, M. Sylwestrzak et al., Application of optical coherence tomography (OCT) for real time monitoring of consolidation of the paint layer in Hinterglasmalerei objects, Proc. SPIE, G (2011). [15] NVIDIA, NVIDIA CUDA C Programming Guide v. 5.0, (2012). [16] D. Huang, E. A. Swanson, C. P. Lin et al., Optical coherence tomography, Science, 254 (5035), (1991). [17] A. F. Fercher, Optical coherence tomography, Journal of Biomedical Optics, 1 (2), (1996). [18] S. R. Chinn, E. A. Swanson, and J. G. Fujimoto, Optical coherence tomography using a frequency-tunable optical source, Opt Lett, 22 (5), (1997). [19] M. Wojtkowski, High-speed optical coherence tomography: basics and applications, Appl. Opt., 49 (16), D30-D61 (2010). [20] R. Leitgeb, C. K. Hitzenberger, and A. F. Fercher, Performance of Fourier domain vs. time domain optical coherence tomography, Optics Express, 11 (8), (2003). [21] M. Szkulmowski, I. Gorczynska, D. Szlag et al., Efficient reduction of speckle noise in Optical Coherence Tomography, Opt Express, 20 (2), (2012). [22] M. Sylwestrzak, M. Szkulmowski, D. Szlag et al., Real-time imaging for Spectral Optical Coherence Tomography with massively parallel data processing, Photonics Letters of Poland, 2 (3), (2010). [23] G. Liu, J. Zhang, L. Yu et al., Real-time polarization-sensitive optical coherence tomography data processing with parallel computing, Appl. Opt., 48 (32), (2009). 15