Zbigniew Sołtys - Komputerowa Analiza Obrazu Mikroskopowego 2015 część 1

Transkrypt

1 1.1 WPROWADZENIE - program ImageJ ImageJ jest programem opracowanym przez Wayne Rasbanda z Narodowych Instytutów Zdrowia (National Institutes of Health) i stanowi kontynuację programu znanego jako NIH Image pracującego w systemie Mac OS. W przeciwieństwie do swojego poprzednika ImageJ może być używany na komputerach z dowolnym systemem operacyjnym. Jest to program darmowy (public domain software), napisany w języku Java, jego kolejne wersje, uzupełnienia, dokumentacja, jak również kody źródłowe dostępne są pod adresem: Program pracuje z 8-, 16- lub 32-bitowymi obrazami monochromatycznymi (greyscale), jak również z 24-bitowymi obrazami barwnymi. 1-bitowe obrazy binarne są przy otwieraniu automatycznie przekształcane w obrazy 8-bitowe. Używamy zwykle plików w formacie TIFF lub BMP, choć program może wykorzystywać także obrazy zapisane w innych formatach. Program może pracować także z wielostronicowymi obrazami (stosami obrazów, image stacks) w formacie TIFF lub LSM (z mikroskopu konfokalnego Zeiss). Program wykonuje większość standardowych operacji związanych z przetwarzaniem obrazów, jak również przeprowadza podstawowe pomiary i analizy. Dodatkowo możliwości programu mogą być zwiększane przez coraz większą ilość wtyczek (plugins), które również dostępne są na stronie internetowej ImageJ INSTALACJA Program jest opracowany dla Windowsa, Linuksa i Mac OS X, przy ściąganiu można wybrać wersje z Javą lub bez, 32- lub 64-bitową. Wersja 64-bitowa wymaga oczywiści 64-bitowego Windowsa. Jej zaletą jest możliwość wykorzystania znacznie większej pojemności RAM niż jest to możliwe przy wersji 32-bitowej. ImageJ może wykorzystywać 75% rzeczywistej wielkości RAM, ale w wersji 32- bitowej nie więcej niż 1,5 GB. Wersja 64-bitowa nie ma tego ograniczenia. Nowe wersje ImageJ pojawiają się co kilka tygodni. Najrostszym sposobem aktualizacji jest wykorzystanie polecenia Update ImageJ z menu Help. Oprócz podstawowej wersji ImageJ można korzystać z programu FIJI (Fiji Is Just ImageJ). Jest to wersja ImageJ z preinstalowanymi pluginami przydatnymi do pracy z obrazami z mikroskopu konfokalnego. Fiji jest do ściągnięcia ze strony: Trwają prace nad projektem nowej, doskonalszej i bardziej uniwersalnej wersji programu (ImageJ2). Wersja beta jest dostępna na stronie:

2 1.3. INTERFEJS Okno programu ma standardowe menu, narzędziownik i pasek stanu Pasek stanu (status bar) zawiera aktualne informacje o wykonywanych czynnościach. Na rysunku powyżej podaje współrzędne x i y punktu położenia kursora na obrazie (x,y) oraz poziom szarości w każdym z kanałów RGB (value) w tym punkcie i kod koloru w systemie heksagonalnym. Podobnie jak we wszystkich programach do analizy obrazu za początek układu współrzędnych x=0, y=0, przyjmuje się lewy górny róg obrazu. Przy bardziej czasochłonnych procedurach (> 1 s) po prawej stronie paska stanu pojawia się pasek postępu (progress bar) Narzędziownik (toolbar) Narzędzia do selekcji obszarów (ROI region of interest). Pozwalają na wyznaczenie obszaru o kształcie prostokąta, elipsy, wielokąta i o kształcie nieregularnym. Prostokąt. Po jego narysowaniu współrzędne początku prostokąta, oraz jego wysokość i szerokość wyświetlone są w pasku stanu. Użycie klawisza Shift przy zaznaczaniu pozwala na uzyskanie kwadratu. Obszar selekcji może być przesuwany przy pomocy kursora (należy umieścić kursor w obrębie prostokąta i nacisnąć lewy klawisz). Małe kwadraciki na brzegach prostokąta pozwalają na zmianę jego rozmiarów. Przy pomocy klawiszy możemy przesuwać prostokąt z dokładnością 1 piksela, a w kombinacji z klawiszem Alt zmieniać jego rozmiary. Rozwijane menu (prawy klawisz myszy) pozwala na wybór prostokąta o zaokrąglonych brzegach. Kliknięcie na lewo od zaznaczonego obszaru likwiduje zaznaczenie. Elipsa. Użycie klawisza Shift pozwala na uzyskanie okręgu. Rozwijane menu (po naciśnięciu prawego klawisza myszy) daje dodatkowe narzędzie do selekcji przy pomocy narzędzia którego działanie przypomina malowanie pędzlem. Wielkość pędzla ustawiamy przy pomocy menu wywoływanego dwukrotnym kliknięciem ikonki.

3 Złożone obszary ROI Trzymając wciśnięty Shift podczas wybierania ROI można dołączać nowy ROI do już istniejącego. Klawisz Alt pozwala na odselekcjonowanie fragmentu obszaru wewnątrz zaznaczonego ROI Różne kształty ROI: kwadrat, kwadrat z zaokrąglonymi rogami, okrąg, elipsa, ROI wyznaczony przy pomocy pędzla, wielokąt i rysunek odręczny (freehand). ImageJ zaznacza wybrane obszary na żółto - kolor zaznaczenia można zmienić przy pomocy menu: Edit Options Colors Selection. Linia zaznaczenia nie jest częścią obrazu tylko nakładką na obraz - jeśli chcemy aby zaznaczony kontur stał się składnikiem obrazu musimy skorzystać z opcji Edit Draw. (Więcej informacji na temat selekcji w rozdziale 2.6). Linia Rozwijane menu pozwala na wybór między narzędziami do rysowania linii prostej, segmentowanej, nieregularnej, lub na włączenie narzędzia do rysowania strzałek. Linie wyrysowane tym narzędziem służą do celów pomiarowych i podobnie jak obszary ROI nie wchodzą w skład obrazu. Aby narysowana linia stała się częścią obraz trzeba skorzystać z polecenia Draw z menu Edit. Kąty Narzędzie do mierzenia kątów. Wynik pomiaru pojawia się w pasku stanu w trakcie mierzenia, a potem znika. Polecenie Measure lub Ctrl-M powoduje wyświetlenie wyniku pomiaru w oknie Results. Punktak (point tool) Klikając na obiekty możemy je zliczać. W oknie Results program wyświetli współrzędne zaznaczonego punktu oraz jego poziom szarości (ewentualnie średni poziom szarości z trzech kanałów w przypadku obrazów RGB). Wyniki są wyświetlane automatycznie po zaznaczeniu opcji Auto-measure (po dwukrotnym kliknięciu ikonki).

4 Powyżej: menu narzędzia Point Tool, fragment obrazu z zaznaczonymi punktami i lista wyników - średnie poziomy szarości i współrzędne zaznaczonych punktów. Narzędzie Multi-point tool z rozwijanego menu narzędzia Point Tool pozwala na zaznaczenie i ponumerowanie wielu punktów. Polecenie Measure (Ctrl-M) powoduje wyświetlenie wyników w oknie Results Różdżka (wand) Służy głównie do zaznaczania obiektów zbinaryzowanych. Kliknięcie na lewo od obiektu powoduje powstanie obrysu zewnętrznego Na obrazach barwnych służy do zaznaczania obszarów o takim samym lub podobnym poziomie szarości, jak punkt kliknięty. Zakres podobieństwa określa się w menu wywoływanym przez dwuklik na ikonie - opcja Tolerance. Narzędzia do pisania, przesuwania obrazu w oknie i powiększania Ikona ze szkłem powiększającym pozwala na powiększenie obrazu do 3200%. Do pomniejszania służy prawy klawisz myszy, lub kombinacja Alt-click. Dwuklik na ikonie - powrót do oryginalnych rozmiarów obrazu.

5 Dev i Stk Dev to rozwijane menu z linkami do stron dotyczących ImageJ, natomiast Stk to kopia menu do obsługi stosów. Narzędzie wyboru koloru (color picker) Pozwala na wybór koloru z obrazu. Wybrany kolor może być wykorzystany przez wszystkie narzędzia do rysowania, do wypełniania ROI etc. Dwuklik na ikonie otwiera paletę z kolorami. Kolory można wybierać z palety, albo, bardziej precyzyjnie, ustalając odpowiednie wartości poziomów szarości w kanałach R, G i B w panelu pojawiającym się po podwójnym kliknięciu w jednym z dwóch prostokątów na dole palety. Bardziej powierzchniowy prostokąt to kolor pierwszego planu (foreground), ten kolor będzie wykorzystywany przez pędzel, narzędzie do wypełniania kształtów albo przez polecenia Draw i Fill, natomiast drugi prostokąt służy do wyboru barwy tła - z tego koloru będą korzystały funkcje Clear i Clear Outside.

6 Narzędzia do rysowania Dwuklik na ikonach otwiera panele z opcjami dla narzędzi. Opcje pędzla. Można wybrać szerokość pędzla oraz kolor z listy podstawowych kolorów. Większy wybór kolorów można uzyskać przy pomocy narzędzia Color Picker. Opcje narzędzia do rysowania strzałek Alternatywne narzędziowniki Zestaw ikon w prawej części narzędziownika może zostać zastąpiony przez inne zestawy narządzi, ostatnia ikona na liście służy do rozwijania listy dostępnych narzędzi. Można instalować całe zestawy albo pojedyncze narzędzia. Narzędzia do pracy ze stosami obrazów.

7 1.4 MENU FILE Menu File (plik) zawiera standardowe komendy związane z otwieraniem i zamykaniem obrazu. Najbardziej przydatne opcje to: New Pozwala na utworzenie nowego obrazu (Ctrl + N), okna tekstowego (Ctrl + Shift + N), wewnętrznego (internal clipboard) lub systemowego schowka (Ctrl + Shift + V). Okno New Image pozwala na określenie głębi bitowej, rozmiarów i tła nowego obrazu. Wpisując w oknie Slices wartość większą niż 1 można utworzyć stos (stack) z wielu obrazów. Open Służy do otwierania obrazów. Aby otworzyć wiele obrazów jednocześnie trzeba w Edit - Options - Input/Output zaznaczyć Use JFileChooser to Open/Save. Open Recent Pozwala na szybkie otwieranie ostatnio otwieranych obrazów Import Szczególnie przydatna jest opcja Image Sequence. Otwiera wszystkie obrazy w folderze jako jeden stos. Obrazy muszą być tego samego typu i mieć takie same rozmiary. Close i Close All Służą do zamykania obrazów i innych otwartych okien programu (z wyjątkiem okna Results) Save i Save As Służy do zapamiętywania obrazów. Standardowo program zapamiętuje obrazy w formacie TIF, przez Save As można wybrać innych format. Polecenie Image Sequence pozwala na zapamiętanie obrazów ze stosu jako serii oddzielnych obrazów.opcja: Selection - pozwala na zapamiętanie parametrów ROI Revert Przywraca ostatnią zapamiętaną wersję przetwarzanego obrazu.

8 1.5 MENU EDIT Undo Cofanie ostaniej operacji. Nie działa przy stosach i przy wielu pluginach, dlatego dobrze jest zapamiętywać często efekty pracy i korzystać z polecenia Revert w razie potrzeby. Cut, Copy, Paste Wycinanie, kopiowanie i wklejanie. Aby skopiowany element był dostępny dla innych programów trzeba skorzystać z polecenia Copy to System. Paste Control Określa sposób wklejanie. Pozwala na takie same operacje artytmetyczne, co Image Calculator, z tym, że działa także na fragmentach obrazu. Clear Wypełnia wnętrze ROI kolorem tła. Clear outside Wypełnie obszar na zewnątrz ROI kolorem tła. Fill Wypełnia ROI kolorem wybranym przez Color Picker. Draw Obrysowuje ROI linią o barwie wybranej przez Color Picker, i grubości określonej przez menu narzędzia do rysowania linii. W przypadku stosów funkcja może wykonać rysunek na wszystkich obrazach stosu. Invert Wykonuje negatyw obrazu Selection Szereg opcji do modyfikowania i zarządzaniem wybranymi obszarami (ROI). Szczególnie przydatna jest opcja Convex Hull - zmieniająca obszar selekcji na wielokąt wypukły. Polecenie Specify pozwala na stworzenie ROI przez podanie współrzędnych jego początku i wymiarów. Polecenie: Restore Selection (Ctrl + Shift + E) pozwala na przywrócenie ostatniego ROI, a także na skopiowanie ROI do innego obrazu.

9 Options Pozwala na ustawienie rozmaitych parametrów programu i jego narzędzi. Szczególnie przydatne: w Input/Output należy wybrać Use JFileChooser... co pozwala na jednoczesne otwieranie wielu obrazów, a w Memory należy wpisać wartość odpowiadającą 75% RAM (zamiast początkowych 640 MB, które mogą nie wystarczać przy bardziej skomplikowanych procesach). Line width - określa grubość linii wykorzystywanej do zaznaczania ROI, a Fonts wielkość i krój czcionki na obrazie. Część opcji w tym menu to te same opcje, które można wywołać podwójnym kliknięciem na ikony w narzędziowniku. Polecenie Profile Plot Options wywołuje panel, w którym można ustawić cechy wykresów, tworzonych przez funkcję Plot Profile (rozdział 2.4). Standardowo program skaluje wykres do zakresu wyznaczonego przez poziomy szarości pikseli na obrazie (górny wykres), wpisując odpowiednie wartości minimum i maximum Y możemy rozszerzyć oś Y do pełnego zakresu poziomów szarości możliwych na obrazie (od 0 do 255 w przypadku obrazów 8-bitowych).

10 1.6. MENU IMAGE Type Opcja służy do konwersji między różnymi typami obrazów. Z naszego punktu widzenia interesujące są następujące formaty: 8-bit grayscale. Obraz o 256 poziomach szarości (w skrócie obraz szary albo monochromatyczny). RGB Color Obraz z trzema kanałami (warstwami), R,G i B, każdy z nich to 8-bitowy obraz monochromatyczny z 256 poziomami szarości. Różnica w poziomach szarości odpowiadających sobie pikseli w każdym kanale jest odpowiedzialna za powstanie barwy. W tym formacie mamy ponad 16 milionów kolorów. Większość urządzeń zbierających obrazy z mikroskopów wytwarza właśnie tego typu obrazy. RGB stack Kolorowy obraz RGB może być przekształcony w stos w którym poszczególne kanały R,G i B będą wyświetlane jako oddzielne monochromatyczne obrazy (warstwy, slices),. Są one wyświetlane w jednym oknie suwak na dole obrazu pozwala na przechodzenie między warstwami. HSB stack stos w którym poszczególne warstwy odpowiadają barwie, wysyceniu i jasności obrazu (hue, saturation, brightness). Adjust Submenu zawiera szereg fundamentalnych funkcji. Brightness & Contrast Służy do regulacji jasności i kontrastu. Okienko w górze panelu wyświetla aktualny histogram obrazu oraz linię LUT (Look-Up Table). Suwaki Minimum i Maksimum służą do wyboru zakresu poziomów szarości oryginalnego obrazu, który zostanie rozciągnięty do zakresu na zmienionym obrazie (patrz rozdział 2). Auto - program sam ustawia optymalne parametry, Reset - przywraca oryginalne wartości, Set - robi to samo co suwaki, z tym że wartości Minimum i Maksimum wpisuje się ręcznie. Apply - wprowadza zmiany do obrazu. Manipulacje jasnością i kontrastem określają sposób wyświetlania obrazu bez zmieniania jego oryginalnych wartości. Dopiero polecenie Apply rzeczywiście zmienia poziomy szarości pikseli w obrazie.

11 Threshold - podstawowa funkcja służąca do binaryzacji obrazu. Przy pomocy suwaków zaznaczamy, jaki zakres poziomów szarości odpowiada obiektom, a jaki tłu obrazu. Binaryzacja jest podstawą procedurą pozwalającą na wskazanie programowi obiektów, co jest warunkiem ich ewentualnego policzenia i pomierzenia. W czasie binaryzacji program nakłada na piksele o wybranym zakresie czerwowną maskę, która może może służyć też jako ROI. Jeżeli każemy programowi np. pomierzyć poziom szarości obrazu to pomiar dotyczyć będzie tylko pikseli pod maską (przy zaznaczonej w Set Measurement opcji Limit to threshold, rozdział 10.3 ). Polecenie Apply tworzy rzeczywisty obraz binarny. W starszych wersjach programu obiekty, zaznaczone na czarno, miały przypisany poziom szarości równy 0 a tło poziom szarości równy 255. W nowszych wersjach program przy binaryzacji nakłada na obraz inwertowany LUT, co powoduje odwrotne przypisanie wartości poziomów szarości pikselom obiektów i tła. Ponieważ nie wszystkie makra i pluginy dobrze pracują przy takim ustawieniu niekiedy trzeba zmienić to przypisanie. W tym celu najpierw wykorzystujemy Images - Lookup Tables - Invert LUT i następnie Edit - Invert. Dodatkowe, bardziej skomplikowane metody binaryzacji są dostępne po wgraniu do folderu Plugins pluginu auto_threshold.jar. W tym także metody pozwalająca na binaryzację obrazów barwnych i na tzw. lokalną binaryzację Size - pozwala na zwiększenie lub zmniejszenie obrazu. Canvas size - pozwala na dodanie dodatkowych pikseli do obrazu (na jego brzegach). Color - szereg opcji pozwalających np. na rozkład obrazu RGB na oddzielne kanały, albo na tworzenie obrazów barwnych z kilku obrazów monochromatycznych Stack - zestaw narzędzi do manipulacji stosami obrazów Crop - przycinanie obrazu do prostokątnego ROI Duplicate - tworzenie kopii obrazu

12 Rename - zmiana nazwy obrazu Lookup Tables - duży zestaw LUT-ów (tablic korekcji, tablic przypisań) - efektownych, ale poza Invert LUT mało użytecznych (w przypadku pracy z obrazami mikroskopowymi). 7. MENU PROCESS Zestaw procedur do przetwarzania obrazów (procedury te zostaną omówione bardziej szczegółowo w kolejnych rozdziałach). Smooth Filtr uśredniający o masce 3 x 3. Sharpen Filtr wystrzający o masce 3 x 3. Find Edges Filtr Sobela do wyszukiwania krawędzi. Enhance contrast Wzmacnia kontrast w opraciu o procedure wyrównywania (equalisation). Noise Służy do dodawania (co jest raczej mało użyteczne) lub usuwania szumu. Despectle to filtr medianowy o masce 3 x 3. Remove outliers - bardziej złożony filtr medianowy. Zastępuje wartość centralnego piksela w masce o zadanym promieniu (radius) przez wartość medianową, jeśli jego wartość przekracza medianę o ustaloną wielkość (threshold). Szczególnie przydatne w przypadku, gdy urządzenie zbierające obraz (kamera) ma defekty w matrycy CCD. Shadows - dodaje cienie do obrazu. Binary - zestaw filtrów do obróbki obrazów binarnych. Math - zestaw funkcji przeprowadzających operacje matematyczne na obrazach. Szczególnie często jest stosowana funkcja Gamma. FFT (Fast Fourier Transform) - zestaw funkcji przeprowadzających transformację Fouriera na obrazie.

13 Filters - zestaw liniowych i nieliniowych filtrów, w których można regulować wielkość maski filtru i ew. inne parametry. Image Calculator - narzędzie pozwalające na dodawanie obrazów, mnożenie i wiele innych operacji matematycznych i logicznych na obrazach. Subtract Background - narzędzie do wygładzania tła. 8. MENU ANALYZE Zestaw funkcji pomiarowych (dokładniej omówionych w rozdziale 10). Measure (Ctrl + M) polecenie wykonania pomiarów. Analyze particles zlicza i mierzy obiekty na obrazach binarnych. Summarize Podsumowanie wyników pomiarów. Distribution Wyświetla histogram wyników z analizy cząsteczek. Set Mesurements Narzędzie pozwalające na wybór parametrów do pomiaru. Set Scale Pozwala na zamianę pikseli na określone jednostki miar. Histogram Wyświetla histogram poziomów szarości obrazu lub ROI. Gdy przesuwamy kursor w oknie histogramu program wyświetla liczbę pikseli o danym poziomie szarości. Możemy też skorzystać z polecenia List, aby otrzymać te dane w odpowiednim oknie. Plot Profile Wyświetla wykres pokazujący rozkład poziomów szarości wzdłuż liniowego ROI. Przy prostokątnym ROI wyświetla uśrednioną wartość dla kolumny. Tools Kilka dodatkowych narzędzi, w tym proste narzędzie do szacowania wymiaru fraktalnego metodą pudełkową (Fractal Box Count) 9. MENU PLUGINS Siła ImageJ opiera się na makrach i pluginach. Makra są plikami tekstowymi, łatwymi do pisania i poprawiania. Wadą makr jest to, że trzeba je każdorazowo instalować - instalacja nowego makra wyłącza poprzednio zainstalowane makro. Pluginy są

14 pisane w Javie i kompilowane do plików *.class. Pluginy wgrane do folderu plugins stają się widoczne na ogół w menu PLUGINS. Macros Zestaw narzędzi od obsługi makr. Install - pozwala na zainstalowanie wybranego makra. Edit - otwiera plik z makrem (co można zrobić też przez File - Open). Record - zapisuje do makra kolejno wykonywane czynności, co jest najprostszym sposobem na tworzenie makr. Przy starcie programu włączana jest grupa tzw. makra startowych. Przykładem są narzędzia do rysowania w narzędziowniku. Ikonka na końcu paska z ikonami pozwala na przełączanie między zestawami makr startowych Shortcuts Pozwala na tworzenie skrótów klawiszowych. Utilities Kilka różnych funkcji. Control Panel - tworzy menu w stylu hierarchicznego drzewka, Monitor Memory - pokazuje aktualne wykorzystanie RAM 10. MENU WINDOW Służy mniej więcej do tego samego, co menu Window we wszystkich innych programach 11. MENU HELP Zawiera linki do dokumentów opisujących pracę ImageJ (w tym do ImageJ Wiki). Polecenie Update ImageJ pozwala na ściągnięcie najnowszej wersji programu. Polecenie Refresh Menus pozwala na uwidocznienie pluginów wgranych w trakcie pracy programu. LITERATURA Burger, W. and M. J. Burge (2009). Principles of Digital Image Processing. Core Algorithms. Springer. Burger, W. and M. J. Burge (2013). Principles of Digital Image Processing. Advanced Methods. Springer. Russ, J. C. (2011). The image processing handbook. Boca Raton, Taylor & Francis. Dokumentacja ImageJ: ImageJ wiki: Image Processing Learning Rasources (HIPR2):