Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych

Politechnika Łódzka Instytut Elektroniki Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych ROZPRAWA DOKTORSKA STRESZCZENIE Promotor: Prof. dr hab. inż. Bogusław Więcek Łódź, 2017

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE Spis treści 1. Wprowadzenie......................................... 3 1.1. Stan wiedzy........................................ 3 1.2. Charakterystyka problemu................................ 5 1.3. Teza pracy........................................ 9 1.4. Cele pracy........................................ 9 2. Kamera mikrobolometryczna z detektorem VOx...................... 10 3. Uproszczony radiacyjny model bolometrycznej kamery termowizyjnej.......... 11 4. Metoda korekcji dryftu temperaturowego.......................... 12 5. Wyniki działania opracowanej metody korekcji dryftu................... 16 6. Podsumowanie......................................... 19 Literatura.............................................. 21 2

1. Wprowadzenie Współczesne kamery termowizyjne można podzielić na dwie główne grupy z uwagi na rodzaj detektora podczerwieni - detektory bolometryczne i fotonowe (kwantowe). Jest to powiązane z zakresem widmowym, w jakim pracuje kamera [25]. Pomimo znaczącego postępu technologicznego i zwiększaniu rozdzielczości oraz czułości termicznej detektorów i kamer bolometrycznych (NET D 20 mk, ang. Noise Equivalent Temperature Difference), nie rozwiązano do tej pory głównego problemu użytkowania kamer niechłodzonych - występowania efektu dryftu temperaturowego. Duża czułość współczesnych bolometrycznych kamer termowizyjnych powoduje, że efekt dryftu termicznego wywołany oddziaływaniem cieplnym otoczenia, przede wszystkim elementów konstrukcyjnych kamery, jest na tyle znaczący, że może istotnie zakłócić pomiar temperatury. Konieczne staje się więc zastosowanie nowych metod korekcji sygnału kamery termowizyjnej tak, by przy dużej czułości osiągnąć także jednorodność odpowiedzi detektorów matrycy i zminimalizować błąd pomiaru temperatury w czasie. Problem ten jest szczególnie istotny w kamerach metrologicznych. 1.1. Stan wiedzy Obecnie we wszystkich dostępnych na rynku konstrukcjach mikrobolometrycznych, metrologicznych kamer termowizyjnych korekcja dryftu temperaturowego wykonywana jest poprzez zastosowanie mechanicznej przesłony znajdującej się pomiędzy obudową matrycy detektorów, a obiektywem. Korekcja dryftu termicznego detektorów matrycy wykonywana jest w połączeniu z korekcją ich niejednorodności, a metoda ta nosi nazwę korekcji dwupunktowej 2pN U C (ang. Two Point Non-Uniformity Correction) [14, 18, 25]. Metoda korekcji zakłada aproksymację charakterystyk przejściowych detektorów funkcją liniową w pewnym ustalonym zakresie temperatury detektora i mocy promieniowania podczerwonego padającego na detektor. Z uwagi na ograniczenia w użyciu kamery bolometrycznej wynikające z zastosowania mechanicznej przesłony, cały czas prowadzone są prace nad nowymi metodami korekcji dryftu temperaturowego. Istnieje wiele publikacji na temat metod korekcji sygnału z detektora bolometrycznego, które nie wymagają użycia przesłony. Celem większości z nich jest przede wszystkim zapewnienie jednorodności odpowiedzi detektorów na tę samą moc padającego promieniowania podczerwonego [1, 2, 3, 4, 9, 10, 8, 19]. Głównym elementem powyższych metod korekcji jest estymacja przesunięć charakterystyk przejściowych detektorów. Wartości 3

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE przesunięć estymowane są zawsze dla każdego piksela osobno, a więc każdy piksel posiada inny zestaw współczynników opracowanego modelu korekcji. Co najważniejsze, wszystkie wymienione powyżej publikacje dotyczą wyznaczenia korekcji matrycy dla statycznego stanu kamery, najczęściej podczas stabilizacji wartości temperatury pracy w komorze klimatycznej. Tylko w jednej publikacji testy były przeprowadzane dla stanu dynamicznego przy uwzględnieniu czasu pracy kamery od momentu jej włączenia [19]. W powyższych publikacjach nie jest natomiast przedstawiony wpływ opisywanych metod korekcji na wartość mierzonej temperatury sceny. Rozwiązania te mogą być więc niestety zastosowane tylko w kamerach obserwacyjnych. Producenci detektorów bolometrycznych również wprowadzają rozwiązania technologiczne umożliwiające częściowe ograniczenie wpływu dryftu temperaturowego na sygnał z matrycy detektorów [17, 24, 12]. Ponadto możliwa i zalecana jest stabilizacja wartości temperatury matrycy detektorów poprzez umieszczenie wewnątrz obudowy detektora ogniwa Peltiera [11]. W ostatnich latach pojawiły się również prace na temat próby opracowania metod korekcji dryftu temperaturowego dla kamery metrologicznej. W Instytucie Elektroniki Politechniki Łódzkiej opracowana została metoda częściowo rozwiązująca problem przerywania akwizycji obserwowanej sceny [16, 15]. Zaproponowano i opracowano innowacyjny system z przesłoną częściowo przepuszczalną dla promieniowania podczerwonego. Istnieją również udokumentowane próby opracowania metody korekcji mające prowadzić do ograniczenia użycia przesłony, a nawet jej wyeliminowania. W pierwszym rozwiązaniu założono, że wartość temperatury przesłony jest równa wartości temperatury wewnątrz urządzenia (obudowy) [6]. Inne rozwiązanie bazuje również na odczycie wartości parametrów pracy kamery z jednego czujnika [13]. Opracowano liniowy model zmian wartości wzmocnień i przesunięć detektorów matrycy w funkcji zmian temperatury matrycy. Podobne rozwiązanie przedstawiono w dwóch kolejnych publikacjach [27, 26] tych samych autorów. W obu metodach założono stałą wartość wzmocnień bolometrów matrycy, a przesunięcia detektorów wyznaczano przy pomocy czujnika wartości temperatury matrycy. Kolejni autorzy zakładają użycie kilku stykowych czujników temperatury rozmieszczonych w różnych miejscach wewnątrz urządzenia oraz dostępnego w detektorze czujnika temperatury matrycy [22, 23]. We wszystkich przedstawionych pracach nie zbadano jednak wpływu dryftu temperaturowego podczas procesu stabilizacji kamery wywołanego jej włączeniem i nagrzewaniem się detektora oraz układów elektronicznych urządzenia lub gdy proces ten zachodzi wraz ze zmianą wartości temperatury otoczenia [6, 13, 23, 26]. Ponadto wszystkie metody rozpatrują z osobna zmiany parametrów każdego piksela matrycy, co wymaga indywidualnego (dla każdego detektora matrycy) wyznaczenia wartości przesunięć. W przypadku najnowszych matryc o dużej liczbie sensorów prowadzi to do dużego zapotrzebowania na moc obliczeniową ukła- 4

1 1.2 Wprowadzenie Charakterystyka problemu dów cyfrowych oraz ilos ci pami eci do przechowywania danych. Podsumowujac, proponowane w przytoczonej literaturze metody korekcji dryftu temperaturowego z detektorów bolometrycznych charakteryzuja si e wieloma wadami i ograniczeniami. 1.2. Charakterystyka problemu Dryft temperaturowy w niechłodzonych kamerach termowizyjnych jest to zjawisko polegajace na zmianie wartos ci sygnału odczytywanego z poszczególnych detektorów matrycy w wyniku zmiany wartos ci temperatury detektora wywołanej innymi zjawiskami niz promieniowanie podczerwone badanego obiektu. Co wi ecej, zjawisko to ma charakter nierównomierny, co oznacza, z e kaz dy z mikrobolometrów matrycy zmienia swoja temperatur e o inna wartos c [25, 21, 20]. Wpływ efektu dryftu temperaturowego na odczyt sygnału z matrycy detektorów przedstawia rysunek 1. Przykładowe termogramy pomieszczenia laboratoryjnego z widocznym ciałem czarnym zarejestrowano zaraz po wykonaniu korekcji jednopunktowej (rysunek 1a) i po czasie t1pn U C = 90 min. bez wykonywania korekcji (rysunek 1b). Przykładowa sekwencj e zarejestrowano podczas stabilizacji termicznej kamery zaraz po jej właczeniu, w pomieszczeniu w którym temperatura była stabilna przez cały czas trwania pomiaru ( Tpomieszczenia = ±1 C). (a) t1pn U C = 0 min. (b) t1pn U C = 90 min. Rysunek 1: Wpływ efektu dryftu temperaturowego na sygnał detektora IR dla a) chwili korekcji jednopunktowej i b) po czasie 90 min. od korekcji W kamerach metrologicznych dryft temperaturowy wpływa bezpos rednio na moz liwos c ciagłego pomiaru temperatury. Rysunek 2 przedstawia zmian e wartos ci temperatury mierzonej w s rodku obszaru ciała czarnego (CC) widocznego na rysunku 1. 5

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE Rysunek 2: Wpływ efektu dryftu temperaturowego na pomiar temperatury obiektu w czasie, przykład dla pomiaru środka CC z rysunku 1, gdzie T CC = 45 C, czas t = 0 min. odpowiada chwili wykonania korekcji jednopunktowej z użyciem przesłony W idealnym przypadku, temperatura wszystkich detektorów matrycy bolometrycznej zależałaby tylko od mocy promieniowania podczerwonego skupionego na niej poprzez układ optyczny kamery. W rzeczywistej sytuacji uwzględnić należy inne źródła, które oddziałują termicznie na matrycę, co przedstawia rysunek 3. Rysunek 3: Schemat przedstawiający źródła oddziaływania termicznego na matrycę detektorów bolometrycznych, gdzie: 0 to promieniowanie obiektu, 1 to promieniowanie elementów kamery znajdujących za przesłoną, 2 to promieniowanie obudowy matrycy detektorów i elementów kamery przed przesłoną, a 3 to oddziaływanie termiczne elektroniki, układu ROIC detektora. Na rysunku wyróżniono 3 główne źródła, których oddziaływanie termiczne na detektor powoduje powstawanie efektu dryftu temperaturowego matrycy. 6

1 Wprowadzenie 1.2 Charakterystyka problemu 1. Promieniowanie termiczne elementów kamery znajdujacych się za przesłona Jako pierwsze przedstawiono promieniowanie termiczne elementów kamery znajdujących się za przesłoną (od detektora w stronę obiektywu), przy użyciu której wykonywana jest standardowa procedura korekcji dryftu temperaturowego. Do źródła tego promieniowania zaliczyć możemy obudowę kamery (ścianki boczne i czołowa) oraz sam obiektyw. Warto zauważyć, że promieniowanie to nie jest uwzględniane w chwili wyznaczania wartości przesunięć detektorów podczas standardowej korekcji jednopunktowej. W czasie normalnej pracy kamery jest ono składnikiem pasożytniczym, nie związanym z promieniowaniem obserwowanej sceny. Następstwem jest niejednorodność odpowiedzi matrycy detektorów wywołana wspomnianym promieniowaniem nadmiarowym. Niejednorodność ta nie jest standardowo korygowana przez metody stosowane obecnie w kamerach termowizyjnych, dlatego też można określić ją mianem niejednorodności resztkowej RNU (ang. Residual Non-Uniformity) [12]. 2. Oddziaływanie termiczne elementów obudowy matrycy detektorów Kolejnym źródłem oddziaływania termicznego na sygnał bolometrów są elementy obudowy matrycy detektorów. Z uwagi na bezpośrednie sąsiedztwo źródła pasożytniczego promieniowania podczerwonego jego wpływ na sygnał detektorów jest największy. Na rysunku 4 przedstawiono termogram z rysunku 1b, dla którego wyizolowano wpływ obudowy matrycy. Charakter i rozkład niejednorodności odpowiedzi bolometrów odpowiada tym z rysunku 1b. Porównując obrazy można stwierdzić, że wpływ obudowy jest główną przyczyną powstawania przesunięć charakterystyk przejściowych detektorów. Rysunek 4: Wizualizacja błędu pomiarowego wywołanego tylko przez oddziaływanie termiczne obudowy matrycy detektorów po czasie t 1pNUC = 90 min. od ostatniej aktywacji przesłony 7

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE 3. Oddziaływanie termiczne parametrów układów zasilajacych matrycę Ostatnim źródłem oddziaływania termicznego na sygnał matrycy jest dryft parametrów układów zasilających matrycę, który wywołany jest zmianą ich temperatury. Zmianie ulega przede wszystkim prąd zasilający wzmacniacze poszczególnych wierszy i kolumn matrycy. W rezultacie tego zjawiska powstaje szum nazywany szumem ustalonym (przestrzennym) F P N. W zastosowanym detektorze układy zasilające wierszy i kolumn połączone są naprzemiennie [5], w związku z czym szum F P N przyjmuje rozkład szachownicy, co pokazano na rysunku 5. Rysunek 5: Wpływ szumu ustalonego F P N na niejednorodność odpowiedzi detektorów matrycy bolometrycznej, wyizolowany składnik F P N dryftu dla wycinka termogramu z rysunku 1b W efekcie oddziaływania termicznego na sygnał detektora bolometrycznego wszystkich trzech wymienionych powyżej źródeł, w pracy zaproponowano podział dryftu temperaturowego matrycy detektorów na 3 składniki. 1. RNU - niejednorodność resztkowa, niezależna od korekcji jednopunktowej, wywołana promieniowaniem pasożytniczym elementów kamery. 2. DriftMain - główny składnik dryftu temperaturowego (ze względu na amplitudę zmian sygnału matrycy), korygowany podczas korekcji jednopunktowej, wywołany wpływem elementów obudowy matrycy. 3. FPN - szum ustalony o charakterze przestrzennym, korygowany podczas korekcji jednopunktowej, wywołany dryftem termicznym parametrów układów zasilających matrycę. Zagadnienie korekcji efektu dryftu temperaturowego i niejednorodności sygnału z matrycy detektorów jest zatem zagadnieniem złożonym i nie może być rozwiązane przy zastosowaniu prostego jednowymiarowego modelu. Ciągły wzrost skali integracji współczesnych układów cyfrowych i ich mocy obliczeniowej umożliwia zastosowanie nowych, dokładniejszych metod obliczeniowych w systemach czasu rzeczywistego, gdzie obecnie używane są 8

1 Wprowadzenie 1.3 Teza pracy proste modele matematyczne. W celu próby rozwiązania problemu korekcji efektu dryftu temperaturowego i niejednorodności sygnału konieczne jest uwzględnienie wszystkich czynników składowych tego niepożądanego zjawiska. 1.3. Teza pracy W pracy sformułowano jedną tezę, której udowodnienie umożliwia budowę metrologicznych kamer termowizyjnych o dużej czułości i dużej dokładności pomiaru temperatury oraz możliwością pracy z ciągłą rejestracją obrazów, bez konieczności częstego przesłaniania detektora. Korekcja dryftu temperaturowego uwzględniajaca wpływ promieniowania elementów konstrukcyjnych kamery, niejednorodności resztkowej oraz szumu ustalonego umożliwia pracę metrologicznej, bolometrycznej kamery termowizyjnej z wydłużonym czasem ciagłej rejestracji termogramów. 1.4. Cele pracy Udowodnienie tezy prowadzi do sformułowania głównego celu pracy, jakim jest opracowanie nowej metody korekcji niejednorodności sygnału matrycy detektorów w kamerze bolometrycznej. Wiąże się to bezpośrednio z opracowaniem nowych rozwiązań programowych, w tym nieliniowych, wielowymiarowych metod korekcji sygnału z matrycy detektorów do zastosowania w niechłodzonej, metrologicznej kamerze termowizyjnej. Nowa metoda ma aktualizować współczynniki korekcji matrycy detektorów w czasie rzeczywistym, ograniczając przesłanianie detektora migawką i zamrażanie obserwowanej sceny. Umożliwi to ciągłą rejestrację sekwencji termogramów pomiarowych obserwowanego obiektu. Aktywacja przesłony będzie odbywała się standardowo przy starcie systemu w celu określenia początkowych wartości sygnału przesunięcia (offset) detektorów matrycy lub przy zmianie warunków środowiskowych pracy kamery (temperatury otoczenia). Ponadto przyjęto, że użytkownik kamery ma posiadać pełną kontrolę nad aktywacją przesłony w celu wykonania korekcji jednopunktowej. Przykładowo, przesłona może zostać aktywowana zaraz przed planowanym ciągłym pomiarem temperatury obiektu, podczas którego zostanie ona zablokowana. Istotnym aspektem badań jest uwzględnienie wszystkich wyżej wymienionych metod korekcyjnych zarówno w warunkach statycznych, jak i dynamicznych pracy kamery. Jest to szczególnie istotne po włączeniu kamery, kiedy wymagany jest czas oczekiwania na stan goto- 9

wości kamery do prowadzenia metrologicznie wiarygodnych pomiarów oraz przy zmiennych warunkach otoczenia. Z uwagi na możliwe aplikacje systemu termowizyjnego wykorzystującego opracowaną metodę, tj. badania nieniszczące i aplikacje medyczne, które zwykle wykonywane są w warunkach laboratoryjnych, gdzie dostępne jest zasilanie sieciowe, podczas prac nie istnieje potrzeba ograniczenia poboru mocy urządzenia. Dlatego też przyjęto, że zastosowany zostanie detektor z wbudowanym ogniwem Peltiera. Umożliwi to stabilizację temperatury podłoża matrycy. W konsekwencji nie będzie konieczna korekcja zmian wzmocnień poszczególnych sensorów matrycy, a jedynie wartości przesunięć w 3. składnikowym modelu korekcji. 2. Kamera mikrobolometryczna z detektorem VOx W celu opracowania nowej metody korekcji dryftu temperaturowego zaprojektowano, skonstruowano i oprogramowano mikrobolometryczną kamerę termowizyjną przedstawioną na rysunku 6a. Jednym z założeń przyjętych podczas powstawania projektu kamery, było umożliwienie monitorowania wartości temperatury obudowy, detektora, przestrzeni między detektorem a obiektywem oraz wnętrza detektora i kamery w różnych punktach, za pomocą sensorów stykowych o dużej dokładności. Jednym z głównych powodów opracowania przedstawionej kamery termowizyjnej było przeprowadzenie badań charakterystyk pomiarowych i analiza wpływu dryftu temperaturowego na sygnał matrycy bolometrycznej. W tym celu podczas projektu uwzględniono montaż systemu czujników do monitorowania parametrów pracy kamery. Zastosowane układy pomiarowe zostały rozmieszczone w różnych miejscach wewnątrz urządzenia, co przedstawia rysunek 6b. (a) zdjęcie opracowanej kamery VOx384 (b) położenie czujników pomiarowych Rysunek 6: Kamera bolometryczna zaprojektowana w ramach przeprowadzonych prac 10

Ze względu na możliwości monitorowania parametrów pracy detektora, proponowane w ramach pracy rozwiązania zostały opracowane i przetestowane dla kamery z detektorem wykonanym z tlenku wanadu (VOx) - Bird384. Detektory te posiadają możliwość pomiaru wartości temperatury matrycy i elementów obudowy detektora. Temperatura matrycy może być mierzona za pomocą dwóch czujników (diody i termistora) oraz za pomocą tzw. ślepych (blind) bolometrów, których sygnał przesyłany jest wraz rejestrowanym obrazem. Ponadto, dostępne są boczne piksele referencyjne mierzące promieniowanie wnętrza obudowy. Istnieje również zewnętrzny, niezależny termistorowy czujnik temperatury obudowy. 3. Uproszczony radiacyjny model bolometrycznej kamery termowizyjnej Kamera bolometryczna działa na zasadzie radiacyjnego przepływu energii promieniowania pomiędzy detektorem a obiektem poprzez układ optyczny. W przypadku temperatury detektora o wartości większej od temperatury obiektu, promieniowanie obiektu ogrzewa sensor bolometryczny i jego temperatura rośnie. W przypadku przeciwnym, detektor jest chłodzony w wyniku przepływu energii promieniowania z detektora do obiektu. Dzięki temu bolometryczna kamera termowizyjna może mierzyć temperaturę obiektu zarówno o wartości większej, jak i mniejszej od temperatury detektora [7, 25]. W tej części pracy przedstawiono uproszczony model radiacyjny kamery bolometrycznej uwzględniający promieniowanie elementów konstrukcyjnych kamery. Porównano dwa rozwiązania konstrukcyjne kamery: bez i z radiacyjnym ekranem o temperaturze równej temperaturze detektora. Przykładową konstrukcję mechaniczną kamery z obiektywem dwusoczewkowym przedstawiono na rysunku 7. Na detektor kamery pada promieniowanie nie tylko z obiektu. Niestety, w zakresie promieniowania podczerwonego obiekty o temperaturze pokojowej promieniują znaczną energię [25], co w istotny zakłóca pomiar termowizyjny. Celem tego fragmentu pracy jest oszacowanie poziomu mocy promieniowania elementów konstrukcyjnych kamery, który wpływa na całkowity bilans energii radiacyjnej docierającej lub emitowanej z detektora bolometrycznego. Można wykazać, że promieniowanie bocznych i czołowych elementów kamery powoduje powstanie zarówno dryftu termicznego, jak i niejednorodności resztkowej RN U. W opracowanym modelu nie uwzględniono podłoża detektora i przekazywania energii cieplnej otoczenia poprzez przewodzenie do radiatora, na którym umieszczona jest matryca detektorów F P A. 11

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE Rysunek 7: Schemat kamery w części czołowej 4. Metoda korekcji dryftu temperaturowego Analiza wpływu radiacyjnej wymiany ciepła pomiędzy elementami konstrukcyjnymi kamery termowizyjnej a matrycą detektorów mikrobolometrycznych, opisana w rozdziale 3, doprowadziła do opracowania nowej metody korekcji dryftu temperaturowego. Schemat blokowy nowego algorytmu korekcji sygnału przedstawia rysunek 8. Nowa metoda zakłada możliwość użycia przesłony do korekcji niejednorodności i dryftu temperaturowego matrycy detektorów. Wykonanie tej operacji może natomiast być częściowo kontrolowane przez operatora kamery. Założono, że przesłona nie działa całkowicie automatycznie jak dotychczas. Dryft temperaturowy matrycy bolometrów w czasie przeprowadzania pomiaru (podczas zablokowania możliwości aktywacji przesłony) korygowany jest w czasie rzeczywistym, dla każdej ramki generowanej przez detektor podczerwieni, za pomocą opracowanej metody. Umożliwia to ciągłą rejestrację sekwencji termogramów. Estymacja nowych wartości sygnału przesunięć (offset) detektorów matrycy ma zapewnić: jednorodność odpowiedzi detektorów matrycy, stałą, średnią wartość odpowiedzi matrycy na tę samą moc promieniowania podczerwonego. Przyjęto założenie, że zmiana sygnału matrycy detektorów wywołana zmianą wartości temperatury matrycy (nie związanej z promieniowaniem obserwowanego obiektu) jest 12

4 Metoda korekcji dryftu temperaturowego Rysunek 8: Uproszczony schemat blokowy działania opracowanej metody korekcji dryftu temperaturowego dla matrycy detektorów miklobolometrycznych w kamerze metrologicznej korygowana tak, aby termogram stałej, nieruchomej sceny odpowiadał temu, który jest generowany w kamerze zaraz po wykonaniu korekcji jednopunktowej. Takie podejście umożliwia wykorzystanie zapisanych podczas procesu korekcji jednopunktowej 1pN U C wartości referencyjnych paramentów korekcji i kalibracji kamery: wartości temperatury przesłony T przesłony @1pNUC oraz wartości średniej sygnału promieniowania przesłony U przesłony @1pNUC, dla której wyznaczone są wartości przesunięcia dla wszystkich detektorów matrycy). W efekcie prowadzi to do kalibracji kamery termowizyjnej. W przedstawionym na rysunku 8 algorytmie korekcji wyróżniono dwa bloki: klasyczną oraz nową metodę korekcji. Klasyczna korekcja sygnału matrycy Operacje wykonywane w bloku klasycznej korekcji dryftu temperaturowego odnoszą się do: stosowanej powszechnie dwupunktowej korekcji niejednorodności matrycy detektorów 2pN U C oraz operacji aktualizacji macierzy przesunięć offset podczas operacji korekcji jednopunktowej 1pNUC. Operacje te zostały omówione w rozdziale 1.1. W proponowanym algorytmie rozdzielono operacje wykonywane jednocześnie w klasycznej metodzie za pomocą równania funkcji liniowej. Część odpowiedzialna za korekcję nachylenia charakterystyk przejściowych poszczególnych detektorów matrycy jest wykonywana niezależnie, na podstawie wyznaczonych wcześniej wartości wzmocnień (gain) dla każdego 13

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE detektora matrycy F P A. Wartości te nie ulegają zmianie z uwagi na stabilizację temperatury podłoża matrycy. Wobec tego, w dalszej części pracy wspomniana korekcja zostanie pominięta w rozważaniach, a każdy rozpatrywany termogram to dane obrazowe po wykonanej korekcji wzmocnienia. Wyznaczone podczas aktywacji przesłony aktualne wartości przesunięć (oznaczone w dalszej części pracy jako macierz 1pN U C) są jednym ze składników ostatecznego równania korekcji dryftu temperaturowego. Nowa metoda korekcji sygnału W opracowanej, nowej metodzie korekcji dryftu temperaturowego wyznaczanie wartości przesunięć detektorów matrycy zostało podzielone na trzy niezależne operacje. Każda z nich estymuje błąd odczytu związany ze zmianą temperatury własnej bolometru, która zostaje wywołana przez inne czynniki, opisane w rozdziale 1.2. Dodatkowo wprowadzono podział tych operacji na dwa typy: zależne i niezależne od momentu ostatniej aktywacji przesłony (wyznaczenia nowej macierzy przesunięć 1pN U C). Przynależność poszczególnych operacji do danego typu na rysunku 8 oznaczono poprzez różne kolory bloków. Operacja wyznaczania wartości przesunięć głównego składnika dryftu DriftMain Proces ten estymuje przesunięcia charakterystyk przejściowych detektorów matrycy, które nastąpiły od ostatniej korekcji jednopunktowej. Dla ramek bezpośrednio po aktywacji przesłony wartości offset są więc bliskie zeru. Wyznaczanie przesunięć odbywa się na podstawie modelu korekcji oraz odczytu z czujników wewnątrz kamery, głównie zmian ich wartości od ostatniej korekcji jednopunktowej. Przyczyną dryftu termicznego korygowanego przez operację są wszystkie elementy kamery znajdujące się pomiędzy samym detektorem, a przesłoną oraz zintegrowane z obudową matrycy i wykorzystywane do stabilizacji temperatury podłoża matrycy ogniwo Peltier. Całkowicie nowym podejściem jest wyznaczanie wartości przesunięć detektorów w funkcji ich współrzędnych na matrycy of f set = f(x, y). Wielomian definiujący funkcję f(x, y) określany jest jako model korekcji składnika Drif tm ain, a jego współczynniki określane są jako współczynniki modelu korekcji Drif tm ain. Podczas działania kamery współczynniki te ulegają cały czas zmianie tak, aby model korekcji opisywał aktualne zmiany przesunięć detektorów matrycy. Wartości współczynników modelu estymowane są w czasie rzeczywistym. Jako estymatora użyto sztucznych sieci neuronowych (SSN). Danymi wejściowymi sieci są wartości odczytywane z wewnętrznych czujników urządzenia, które określają termiczny stan pracy kamery. 14

4 Metoda korekcji dryftu temperaturowego Operacja wyznaczania wartości przesunięć wywołanych szumem ustalonym F P N Operacja ta w sposób analogiczny do poprzedniego (Drif tm ain) estymuje przesunięcia, których wartość jest zależna od chwili czasowej ostatniej aktywacji przesłony. Przyczyną błędu sygnału detektorów jest w tym przypadku dryft parametrów wyjściowych układów zasilania matrycy, wywołany zmianą ich temperatury. W rezultacie, na termogramie sceny widoczny jest rosnący z czasem szum przestrzenny o charakterze losowym, wywołany przesunięciami charakterystyk detektorów. Wartości przesunięć F P N obliczane są za pomocą funkcji liniowej, której współczynnik wyznaczono dla każdego detektora matrycy. Operacja wyznaczania wartości przesunięć dla niejednorodności resztkowej RNU Proces ten estymuje wartości przesunięć charakterystyk detektorów wywołane przez promieniowanie pasożytnicze elementów mechanicznych kamery, które położone są za przesłoną, głównie ścian bocznych obudowy i obiektywu. Dlatego też operacja ta, jako jedyna w opracowanej metodzie, działa niezależnie od przeprowadzanej korekcji jednopunktowej. Tak jak w przypadku składnika Drif tm ain, zastosowano tu nowe podejście opisujące rozkład przesunięć detektorów na całej matrycy bolometrycznej w zależności od ich położenia offset = f(x, y). Zmienne w czasie, zależne od stanu pracy kamery wartości współczynników modelu RN U estymowane są również za pomocą sztucznych sieci neuronowych i danych z czujników wewnętrznych kamery. Ostateczna korekcja dryftu temperaturowego matrycy odbywa się po uwzględnieniu (zsumowaniu) wszystkich wyznaczonych macierzy przesunięć według równania Offset F INAL = 1pNUC + RNU + DriftMain + F P N (1) Nową metodę korekcji opracowano wykonując kolejno przedstawione działania. 1. Dokonano badań charakterystyk pomiarowych skonstruowanej kamery. Badania zostały przeprowadzone dla różnych wartości temperatury otoczenia pracy kamery oraz różnego typu stanów przejściowych (pomiary dynamiczne). 2. Na podstawie zebranych danych opracowano model korekcji poszczególnych składowych dryftu termicznego (DriftMain, F P N, RNU) dla dowolnej ramki sekwencji. 3. Wyznaczono wartości współczynników opracowanych modeli korekcji RN U i DriftMain dla każdej ramki wszystkich zarejestrowanych sekwencji pomiarowych 4. Na podstawie wyznaczonych w pkt. 3. wartości opracowano działające w czasie rzeczywistym estymatory współczynników modeli korekcji RNU i DriftMain. 15

5. Z wykorzystaniem określonego wcześniej ilościowego wpływu składników Drif tm ain i RNU wyizolowano składową szumu ustalonego F P N i opracowano metodę jej korekcji. 5. Wyniki działania opracowanej metody korekcji dryftu Opracowaną metodę korekcji dryftu temperaturowego, przedstawioną w rozdziale 4, przetestowano dla zmiennych warunków pracy kamery. Przeprowadzono analizę zmienności sygnału matrycy bez i z zastosowaniem opracowanej metody korekcji dla sekwencji termogramów zarejestrowanej przez kamerę znajdującą się w komorze klimatycznej. Testy przeprowadzono dla sekwencji/warunków, które nie występowały w zbiorze uczącym sieci neuronowych. Wyniki korekcji przedstawiono na rysunkach od 9 do 11. Na każdym rysunku wykreślono wartości parametrów przy zastosowaniu kolejnych operacji wchodzących w skład opracowanej metody korekcji. Operacje te wyznaczają wartości przesunięć detektorów matrycy ze względu na wpływ poszczególnych składowych dryftu temperaturowego. Przebiegi czasowe przedstawione na wykresach to: 1pNUC, który oznacza korekcję tylko za pomocą przesunięć obliczonych przez standardową metodę 1pNUC z aktywacją przesłony w chwili t 1pNUC, +RNU = 1pN U C + RN U,który oznacza dodatkowo zastosowanie w czasie rzeczywistym, operacji korygującej wpływ składnika niejednorodności resztkowej, +DriftMain = 1pNUC +RNU +DriftMain, który oznacza zastosowanie dodatkowo operacji korygującej w czasie rzeczywistym wpływ głównego składnika dryftu DriftMain, +FPN = 1pNUC + RNU + DriftMain + F P N, który oznacza pełne zastosowanie opracowanej, nowej metody korekcji (wraz z metodą kompensacji wpływu szumu ustalonego). Na rysunku 9 obserwować można pomiar temperatury powierzchni CC przy zastosowaniu nowej metody korekcji dryftu temperaturowego. Dla porównania zamieszono pomiar dla którego używane są tylko wartości offset obliczone podczas aktywacji przesłony (1pN U C). Wyniki potwierdzają, że możliwy jest ciągły pomiar temperatury obiektu przy aktywacji przesłony co 40 minut. Co więcej, przedstawione dane dotyczą przypadku zmiany kilku czynników mających wpływ efekt dryftu termicznego. Przeprowadzono pomiary procesu włączenia kamery z jednoczesną zmianą temperatury otoczenia. Kluczowym rezultatem działania nowej metody korekcji jest niezmienny w czasie pomiar temperatury powierzchni CC. Pomiędzy kolejnymi aktywacjami przesłony (uaktualnieniem macierzy przesunięć 1pN U C) sygnał matrycy detektorów jest stały. Wpływ efektu dryftu temperaturowego jest więc korygowany dla każdej ramki zarejestrowanej sekwencji. 16

5 Wyniki działania opracowanej metody korekcji dryftu Rysunek 9: Zmiana w czasie średniej wartości sygnału z centrum matrycy wyrażona w C, dla testowej sekwencji termogramów, z uwzględnieniem zastosowania kolejnych składowych opracowanej metody korekcji dryftu temperaturowego Na rysunkach 10 i 11 przedstawiono parametry określające jednorodność odpowiedzi detektorów matrycy. Widoczny jest efekt działania poszczególnych operacji opracowanej metody korekcji dryftu temperaturowego. Na każdym z przebiegów zauważyć można spadek wartości parametru określającego niejednorodność po uwzględnieniu korekcji kolejnych składników dryftu. Największy wpływ na niejednorodność odpowiedzi detektorów matrycy ma główny składnik dryftu Drif tm ain. Analizując przedstawione wykresy należy zwrócić również szczególną uwagę na chwile czasowe, w których wykonywana jest korekcja 1pN U C. W większości przypadków wartość parametru przebiegu +F P N na chwilę przed korekcją 1pNUC (dla t 1pNUC = 40 min.) jest niższa niż wartość parametru dla przebiegu 1pNUC w chwili wyznaczenia nowej macierzy przesunięć detektorów matrycy. Przedstawione w tym rozdziale wyniki działania nowej metody korekcji potwierdzają osiągnięcie wszystkich celów, jakie spełniać musi nowa metoda korekcji dryftu temperaturowego, opisanych w rozdziale 1.4. Przedstawione wyniki potwierdzają słuszność założenia o podziale dryftu temperaturowego na poszczególne jego składniki, związane ze źródłem ich powstawania. Zastosowano operacje estymacji wartości przesunięć sygnału detektorów, które określają wpływ poszczególnych składników dryftu na sygnał matrycy. Umożliwia to korekcję każdej rejestrowanej w 17

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE Rysunek 10: Zmiana w czasie maksymalnego rozrzutu wartości sygnału matrycy wyrażona w C, dla testowej sekwencji termogramów, z uwzględnieniem zastosowania kolejnych składowych opracowanej metody korekcji dryftu termicznego Rysunek 11: Zmiana w czasie odchylenia standardowego wartości sygnału matrycy wyrażona w C, dla testowej sekwencji termogramów, z uwzględnieniem zastosowania kolejnych składowych opracowanej metody korekcji dryftu termicznego 18

podczerwieni ramki w czasie rzeczywistym, bez użycia przesłony, z jednoczesnym zachowaniem możliwości pomiarowych kamery. Podsumowując, przedstawione wyniki ilościowe działania opracowanej nowej metody korekcji dryftu temperaturowego w bolometrycznej, pomiarowej kamerze termowizyjnej, stanowią dowód postawionej w pracy tezy. 6. Podsumowanie W pracy przedstawiono nową metodę korekcji dryftu temperaturowego opracowaną do zastosowania w bolometrycznych, metrologicznych kamerach termowizyjnych. W rozdziale 1 przedstawiono opracowane wcześniej metody korekcji dryftu termicznego z uwzględnieniem ich ograniczeń i wad. Scharakteryzowano przyczyny i skutki istnienia zjawiska dryftu temperaturowego, co pozwoliło na opracowanie założeń nowej metody korekcji. W celu weryfikacji opracowanej metody skonstruowano bolometryczną kamerę termowizyjną z systemem czujników do monitorowania parametrów jej pracy. W rozdziale 2 przedstawiono zaprojektowaną kamerę termowizyjną wykorzystywaną podczas badań naukowych. Opisano użyty detektor V Ox384 oraz system monitorowania parametrów pracy kamery. W rozdziale 3 przedstawiono uproszczony model radiacyjny kamery bolometrycznej uwzględniający promieniowanie elementów konstrukcyjnych kamery. Porównano dwa rozwiązania konstrukcyjne kamery - bez i z radiacyjnym ekranem o temperaturze równej temperaturze detektora. Przeprowadzone symulacje, których wyniki zostały potwierdzone eksperymentami, pozwoliły na sformułowanie wniosków, które zostały wykorzystane przy opracowaniu nowego modelu korekcji promieniowania pasożytniczego. Wykazano, że wpływ promieniowania obudowy kamery jest najbardziej znaczącą składową dryftu termicznego w kamerach bolometrycznych. W rozdziale 4 omówiono nową metodę korekcji dryftu temperaturowego. Opisano proces wyznaczenia charakterystyk pomiarowych kamery termowizyjnej, na podstawie których opracowano modele korekcji składowych dryftu termicznego: niejednorodności resztkowej RNU i głównego składnika dryftu DriftMain. Nowe podejście zakłada obliczenie wartości przesunięć (offset) charakterystyk przejściowych detektorów matrycy z uwzględnieniem ich położenia na matrycy F P A. Współczynniki równań opracowanych modeli korekcji, zależne od warunków pracy kamery, wyznaczane są w czasie rzeczywistym za pomocą opracowanego 19

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE estymatora wykorzystującego sztuczne sieci neuronowe. Ponadto, opracowane modele pozwoliły na określenie i wyznaczenie wartości współczynników korekcji tzw. szumu ustalonego detektorów (F P N), który ma duży wpływ na szum przestrzenny sygnału matrycy. W rozdziale 5 przedstawiono wyniki działania opracowanej metody korekcji dryftu temperaturowego. Przeprowadzono testy skuteczności działania korekcji dla sekwencji termogramów zarejestrowanej w zmiennych warunkach pracy kamery, tj. podczas nagrzewania się urządzenia po jego włączeniu z jednoczesną zmianą temperatury otoczenia. Przedstawione wyniki potwierdzają, że zastosowanie metody umożliwia ciągły pomiar temperatury obiektu z dużo mniejszym błędem wynikającym z efektu dryftu temperaturowego. Końcowy efekt korekcji uzyskano po wyznaczeniu wartości przesunięć sygnału detektorów uwzględniając wpływ wszystkich składowych dryftu termicznego, tj. wpływu elementów konstrukcyjnych kamery, niejednorodności resztkowej i szumu ustalonego. Przedstawione wyniki dowodzą postawionej w pracy tezy. Do najważniejszych osiągnięć przedstawionych w pracy należą: opracowanie metody korekcji dryftu temperaturowego matrycy bolometrycznej dla kamer metrologicznych, która pozwala na wydłużenie czasu pomiaru temperatury obiektu bez konieczności wykonania korekcji jednopunktowej do kilkudziesięciu minut, opracowanie modelu niejednorodności resztkowej i dryftu temperaturowego za pomocą którego możliwe jest wyznaczenie wartości przesunięć charakterystyk przejściowych detektorów w funkcji ich położenia na matrycy, opracowanie algorytmu z zastosowaniem sztucznych sieci neuronowych do estymacji w czasie rzeczywistym współczynników opracowanych modeli składników dryftu termicznego, opracowanie uproszczonego radiacyjnego modelu zaprojektowanej kamery bolometrycznej i wykonanie symulacji wpływu promieniowania pasożytniczego na wartość sygnału matrycy, opracowanie metodologi wyznaczania składników dryftu temperaturowego w bolometrycznych kamerach termowizyjnych z przesłoną, opracowanie projektu oraz wykonanie i oprogramowanie metrologicznej kamery bolometrycznej z detektorem V Ox z wbudowanym systemem czujników monitorujących parametry pracy urządzenia. Autor opublikował 3 publikacje związane bezpośrednio z tematyką doktoratu i jest współautorem jednego przyznanego patentu oraz 3 zgłoszeń patentowych z tematyki związanej z rozprawą. Ponadto, w trakcie trwania prac nad doktoratem opublikowano 20 prac 20

Literatura Literatura i 4 rozdziały w książkach z dziedziny termowizji w podczerwieni i jej zastosowań w przemyśle i medycynie. Literatura [1] G. Bieszczad, T. Orżanowski, T. Sosnowski, and M. Kastek. Method of detectors offset correction in thermovision camera with uncooled microbolometric focal plane array. In Electro-Optical and Infrared Systems: Technology and Applications VI, volume 7481, 2009. [2] Y. Cao and C.-L. Tisse. Shutterless solution for simultaneous focal plane array temperature estimation and nonuniformity correction in uncooled long-wave infrared camera. Applied Optics, 52(25), September 2013. [3] Y. Cao and C.-L. Tisse. Solid-state temperature-dependent nuc (non-uniformity correction) in uncooled lwir (long-wave infra-red) imaging system. In Infrared Technology and Applications XXXIX,, volume 8704,. Proc. of SPIE, 2013. [4] J. Dasa, D. de Gasparia, P. Corneta, P. Derooa, J. Vermeirena, and P. Merkenab. Implementation and performance of shutterless uncooled micro-bolometer cameras. In Infrared Technology and Applications XLI,. Proceedings of SPIE, 2015. [5] A. Fraenkel, U. M. and. L. Bykov, A. Adin, E. Malkinson, Y. Zabar, D. S. Y. Gebil, and Z. Kopolovich. Advanced features of scd s uncooled detectors. Opto-Electronics Review, 14(1):46 53, March 2006. [6] S. King, M. Rekow, and P. Carlson. Shutterless infrared imager algorithm with drift correction. US Patent, 2010. US Patent 7,683,321 B2. [7] E. Kostkowski. Promieniowanie cieplne. Wydawnictwo Politechniki Śląskiej, Gliwice, 2009. [8] M. Krupiński, G. Bieszczad, S. Gogler, and H. Madura. Non-uniformity correction with temperature influence compensation in microbolometer detector. In Image Sensing Technologies: Materials, Devices, Systems, and Applications II, volume 9481. Proc. SPIE 9481, 13 May 2015. [9] M. Krupiński, G. Bieszczad, T. Sosnowski, H. Madura, and S. Gogler. Non-uniformity correction in miocrobolometer array with temperature influence compensation. Metrology and Measurement Systems, XXI(4):709 718, 2015. [10] M. Krupiński, T. Sosnowski, H. Madura, and S. Gogler. Temperature influence compensation in microbolometer detector for image quality enhancement. QIRT Journal, May 2016. [11] U. Mizrahi, A. Fraenkel, L. Bykov, A. Giladi, A. Adin, E. Ilan, N. Shiloah, E. Malkinson, Y. Zabar, D. Seter, R. Nakash, and Z. Kopolovich. Uncooled detector development program at scd. In The International Society for Optical Engineering. SPIE Proceedings, May 2005. [12] U. Mizrahi, A. Fraenkel, Z. Kopolovich, A. Adin, and L. Bikov. Method and system for measuring and compensating for the case temperature variations in a bolometer based system. US Patent, 2010. US Patent 7,807,968 B2. 21

Robert Strąkowski Analiza dryftu temperaturowego w bolometrycznych kamerach termowizyjnych STRESZCZENIE [13] P. Nugent, J. Shaw, and N. Pust. Correcting for focal-plane-array temperature dependence in microbolometer infrared cameras lacking thermal stabilization. Optical Engineering, 52(6), June 2013. [14] R. Olbrycht. Korekcja niejednorodności matryc mikrobolometrycznych. Phd, Politechnika Łódzka, 2012. [15] R. Olbrycht and B. Więcek. New approach to thermal drift correction in microbolometer thermal cameras. Quantitative InfraRed Thermography Journa, 12(2):184 195, 2015. [16] R. Olbrycht, B. Więcek, and G. D. Mey. Thermal drift compensation method for microbolometer thermal cameras. Applied Optics, 51:1788 1794, 2012. [17] T. Orżanowski, H. Madura, E. Powiada, and J. Pasierbiński. Analiza układu odczytu do matrycy detektorów mikrobolometrycznych. Pomiary Automatyka Kontrola, 9:16 20, 2006. [18] T. Orżanowski, T. Sosnowski, and M. Kastek. Implementacja algorytmu korekcji niejednorodności odpowiedzi matrycy mikrobolometrycznej w układzie programowalnym. Pomiary Automatyka Kontrola, 54:526 528, 2008. [19] X. Sui, Q. Chen, and G. Gu. Nonuniformity correction of infrared images based on infrared radiation and working time of thermal imager. Optik, 124:352 356, 2013. [20] A. Tempelhahn, H. Budzier, V. Krause, and G. Gerlach. Modeling signal-determining radiation components of microbolometer-based infrared measurement systems. In AMA Conferences 2013, pages 100 104, Nuremberg, May 2013. [21] A. Tempelhahn, H. Budzier, V. Krause, and G. Gerlach. Modeling transient thermal behavior of shutter-less microbolometer-based thermal cameras. In Electro-Optical and Infrared Systems: Technology and Applications XI, volume 9249, 2014. [22] A. Tempelhahn, H. Budzier, V. Krause, and G. Gerlach. Improving the shutter-less compensation method for tec-less microbolometer-based infrared cameras. In Infrared Technology and Applications XLI, June 2015. [23] A. Tempelhahn, H. Budzier, V. Krause, and G. Gerlach. Shutter-less calibration of uncooled infrared cameras. Journal of Sensors and Sensor Systems, 5:9 16, January 216. [24] J. Tissot. Uncooled infrared detectors: State of art. In VII Krajowa Konferencja Termografia i Termometria w Podczerwieni TTP2006, Łódź, 2006. Politechnika Łódzka. [25] B. Więcek and G. D. Mey. Termowizja w podczerwieni, podstawy i zastosowania. Wydawnictwo PAK, 2011. [26] A. Wolf, J. Pezoa, and M. Figueroa. Modeling and compensating temperature-dependent non-uniformity noise in ir microbolometer cameras. Sensors, 16, July 2016. [27] A. Wolf, R. Redlich, M. Figueroa, and J. E. Pezoa. On-line nonuniformity and temperature compensation of uncooled irfpas using embedded digital hardware. In Infrared Sensors, Devices, and Applications III, volume 8868. SPIE Proceedings, 19 September 2013. doi: 10.1117/12.2024241. 22