Sławomir Michalak Politechnika Poznaska Instytut Elektroniki i Telekomunikacji Zakład Elektronicznych Systemów Pomiarowych michalak@et.put.poznan.pl 2005 Poznańskie Warsztaty Telekomunikacyjne Poznań 8-9 grudnia 2005 ZASTOSOWANIE FUNKCJI PAKIETU IMAQ W PROGRAMIE DO OBSERWACJI SZUMÓW I PRDU CIEMNEGO PRZETWORNIKÓW OBRAZU Streszczenie: IMAQ (Image Acquisition) jest elementem graficznego rodowiska programowania systemów pomiarowych LabView (National Instruments). Pakiet rozszerza podstawowe moliwoci rodowiska o specjalizowane funkcje umoliwiajce pozyskiwanie i obróbk danych z przetworników obrazu (np. kamer wizyjnych analogowych lub cyfrowych). W referacie przedstawiono przykładowy program do obserwacji efektów szumów i prdu ciemnego przetworników obrazu. 1. WSTP W systemach pomiarowych jako ródło danych pomiarowych coraz czciej wykorzystywane s miniaturowe przetworniki obrazu (wizyjne) oparte na matrycach CCD lub CMOS. Przetworniki te charakteryzuj si coraz lepszymi parametrami technicznymi (czuło, rozdzielczo), niewielkimi wymiarami i dostpnoci. Przykład prostego systemu pomiarowego z przetwornikiem obrazu przedstawiono na rysunku 1. Rys. 1. Tor pomiarowy z przetwornikiem wizyjnym i kart akwizycji obrazów Kamera z przetwornikiem CCD moe posiada wyjcie analogowe (najczciej CVBS lub S-video) lub cyfrowe (IEEE-1394, USB). Stosujc kamer z wyjciem analogowym konieczne jest zastosowanie karty przetwarzajcej sygnał analogowy na posta cyfrow (karta akwizycji obrazu). W przypadku kamery z wyjciem cyfrowym wymagane jest zastosowanie odpowiedniej karty interfejsowej. Obróbka pozyskanych danych nastpuje w komputerze, cho w zalenoci od zastosowanej karty akwizycji cz oblicze moe by ju wykonana przez układy znajdujce si na karcie [5]. 2. RÓDŁA ZAKŁÓCE I BŁDÓW W TORZE POMIAROWYM Z CZUJNIKIEM OBRAZU Pozyskiwanie i przetwarzanie danych z czujnika wizyjnego (kamery) zwizane jest z wystpowaniem nastpujcych (podstawowych) zakłóce oraz błdów: - zniekształcenia powstajce przed kamer (zakłócenia powstajce przed obiektywem), - zniekształcenia toru optycznego (wady obiektywu, zniekształcenia perspektywy), - błdy przetwornika obrazu, - zakłócenia toru analogowego, - błdy karty akwizycji (przetwarzanie a/c), - niewłaciwa obróbka danych, - niewłaciwa interpretacja obrazu (danych). Cz zakłóce i ródeł błdów trudno jest uytkownikowi wyeliminowa całkowicie, przykładowo zale od konfiguracji toru pomiarowego (aktualnie posiadanego wyposaenia). W przypadku kamery z wyjciem analogowym w torze pomiarowym pojawiaj si: podatny na zakłócenia napiciowy sygnał analogowy oraz dodatkowe konwersje c/a i a/c. Stosujc kamer z wyjciem cyfrowym sygnał analogowy nie wystpuje. Jako toru pomiarowego zaley oczywicie od parametrów technicznych poszczególnych członów (parametrów kamery, karty akwizycji). Błdy zwizane z obróbk danych czy interpretacj wyników zale w duej mierze od stworzonego programu i zastosowanych metod analizy obrazu. W torze pomiarowym im wczeniej powstaje błd, tym (zazwyczaj) trudniej go wyeliminowa oraz tym wikszy jego wpływ na wynik kocowy, zatem naley dy do takiej konfiguracji sprztu i oprogramowania, aby minimalizowa powstajce błdy pomiarowe. W przestawionym torze pomiarowym, istotnym ródłem zakłóce i błdów jest przetwornik obrazu. Jego jako, parametry techniczne takie jak czuło, rozdzielczo, poziom szumów decyduj o jakoci pozyskanych danych. Jednym z negatywnych zjawisk wpływajcych na jako pozyskanego obrazu, jest samoistna generacja noników w strukturze scalonej przetwornika (ródło szumu i prdu ciemnego), szczególnie istotna przy słabym owietleniu obiektu. PWT 2005 - POZNAŃ 8-9 GRUDNIA 2005 1/5
3. ZJAWISKA TOWARZYSZCE PRZETWARZANIU OBRAZU NIE O WIETLONEGO PRZETWORNIKA Sygnał wyjciowy uzyskiwany ze scalonego przetwornika obrazu jest sum przebiegów o rónym charakterze i mechanizmie powstawania. Dla nie owietlonego przetwornika głównymi ródłami tych przebiegów s procesy wytwarzania ładunków, transferu i odczytu. Podstawowe składowe to: szumy, prd ciemny, zakłócenia. Szumy i prd ciemny maj charakter fluktuacyjny, zakłócenia zazwyczaj charakter regularny. Na szumy składaj si przede wszystkim szum termiczny (thermal noise) oraz charakterystyczny dla scalonych przetworników szum o stałym obrazie (fixedpatern noise), a take szum transferu (transfer noise) i zakłócenia procesu przetwarzania ładunku. Szum termiczny ma charakter szumu białego, jego wpływ moe by skompensowany poprzez odjcie urednionej wartoci linii (pikseli) odniesienia. Szum o stałym obrazie jest efektem nadmiernej, samoczynnej generacji noników i objawia si w postaci krótkich pików o zmiennym poziomie. Obie składowe szumowe silnie zale od temperatury, podwajajc swoj warto przy wzrocie temperatury o ok. 10ºC [1, 2]. Generacja dodatkowych noników nie majcych charakteru szumowego wywołuje efekt prdu ciemnego. Prd ciemny wraz ze zjawiskami wywołanymi składow szumow, s głównymi czynnikami ograniczajcym proces przetwarzania obrazu od dołu (tj. przy słabych warunkach owietlenia). 4. FUNKCJE PAKIETU IMAQ W referacie przedstawiono wykorzystanie wybranych funkcji rodowiska LabView i pakietu IMAQ, zastosowanych w programie słucym do rejestracji i obserwacji wpływu szumów i zjawiska prdu ciemnego. Obserwacja oraz graficzne przedstawienie matrycy przetwornika pozwala na wstpn ocen jakoci przetwornika. Szczegółowa analiza umoliwia okrelenie wadliwych obszarów matrycy, oraz nieprawidłowo działajcych lub uszkodzonych pikseli. W dalszej czci przedstawiono wyniki w postaci zarejestrowanych obrazów dla wybranych przetworników (stosowanych w przykładowo wybranych aparatach cyfrowych). IMAQ (Image Acquisition) jest elementem graficznego rodowiska programowania systemów pomiarowych LabView (National Instruments). Rozszerza on podstawowe moliwoci rodowiska o specjalizowane funkcje umoliwiajce pozyskiwanie i obróbk danych z dołczonych przetworników wizyjnych. Podstawowe funkcje pakietu IMAQ to [3,4]: - Vision Utilities (pozyskiwanie i przekształcanie obrazów), - Image Processing (zaawansowana analiza, obróbka danych), - Machine Vision (funkcje pomiarowe i zaawansowane programy). Funkcje Vision Utilities słuce do pozyskiwania i przekształcania obrazów umoliwiaj: - tworzenie obrazu (miejsca w pamici dla obrazu), - ustalenie typu obrazu, rozmiaru, - zapis, odczyt, kopiowanie, - odczyt parametrów obrazu, atrybutów wybranych punktów, - okrelenie ROI (Region of Interest), - zmian wymiarów obrazu, obrót, odbicie, - odczyt i zapis punktów, zmiana parametrów punktów, - nakładanie obrazów, - kalibracj wymiarów, perspektywy, zniekształce optycznych, - rozkład na składowe kolorów, zmiana kolorów, przestrzeni barwnej, - obróbk obrazów w czasie rzeczywistym (RealTime). Funkcje Image Processing słuce do zaawansowanej analiza i obróbki umoliwiaj: - konwersj obrazu czarno-białego do tablicy, zmiana parametrów obrazu, - filtracj (np. wygładzanie, wyostrzanie, wykrywanie krawdzi), - wykrywanie i analiza obiektów na podstawie wzoru kształtów, - analiz parametrów obrazu czarno-białego (histogram), - analiz obrazu kolorowego, - operacje arytmetyczne i logiczne na obrazie (pikselach), - analiz FFT. Funkcje Machine Vision zawierajce funkcje pomiarowe umoliwiaj: - wybór ROI, - wprowadzenie punktów współrzdnych, - wyodrbnianie obiektów i ich pomiary, - pomiary pikseli, statystyki pikseli, - wymiarowanie, pomiar odległoci, - wykrywanie krawdzi, - wyszukiwanie wzorów, - wyszukiwanie fragmentów obrazów, - wykrywanie krawdzi obiektów nieregularnych, - pomiary obiektów geometrycznych, - klasyfikacj obiektów według załoonego wzorca, - rozpoznawanie znaków (OCR - optical character recognition), - odczyt wskaza mierników analogowych i cyfrowych. 5. PROGRAM DO OBSERWACJI WPŁYWU SZUMÓW I PRDU CIEMNEGO Program do obserwacji wpływu szumów i prdu ciemnego wykonano w rodowisku LabView (wersja 7.1) z pakietem IMAQ (wersja 3.0). Zastosowano podstawowe funkcje do rejestracji pojedynczego obrazu. W programie wykonywana jest ptla wielokrotnego pozyskania i sumowania obrazu. Diagram programu przedstawiono na rysunku 2. PWT 2005 - POZNAŃ 8-9 GRUDNIA 2005 2/5
Rys. 2. Diagram programu w rodowisku LabView 1 2 3 Rys. 3. Panel uytkownika programu W programie zastosowano wielokrotn (definiowan przez uytkownika) rejestracj obrazu ciemnego (zasłonity obiektyw przetwornika) i dodanie kolejnego obrazu do poprzednio zarejestrowanych.. Wielokrotna rejestracja tego samego obrazu odpowiada nawietleniu obrazu z bardzo długim czasem otwarcia migawki (porównujc do tradycyjnej, analogowej fotografii). Rejestracja obrazu ciemnego (przy zasłonitym całkowicie obiektywie) pozwala uwypukli obszary (piksele) matrycy przetwornika o rónym poziomie sygnału (luminancji). Rejestrowany poziom sygnału jest efektem wystpowania szumów i prdu ciemnego, moe by równie wynikiem uszkodzenia danego obszaru matrycy. Panel uytkownika przedstawiono na rysunku 3. W oknie 1 dostpny jest podgld aktualnie rejestrowanego obrazu, w oknie 2 podgld kolejno sumowanych obrazów, w oknie 3 prezentowany jest trójwymiarowy wykres luminancji obszaru matrycy. Uytkownik ma moliwo zadeklarowania liczby rejestrowanych obrazów. PWT 2005 - POZNAŃ 8-9 GRUDNIA 2005 3/5
www.pwt.et.put.poznan.pl 6. WYNIKI REJESTRACJI Rejestracj obrazu ciemnego przy pomocy opisanego programu, wykonano dla trzech przykładowych przetworników (CCD), zastosowanych w ró ni cych si jako ci (cen ) kamerach (aparatach): Rysunek 6 przedstawia wyniki rejestracji po całkowitym nagrzaniu si kamery. Zaobserwowano dalsze zwi kszenie ogólnego poziomu luminancji oraz wzrost liczby pojedynczych obszarów o poziomie znacznie przekraczaj cym redni warto. - miniaturowa kamera YK-3027D, - aparat cyfrowy Premiere DSC 2000, - aparat cyfrowy Sony DSC 717. We wszystkich trzech przypadkach korzystano z wyj cia analogowego. Do akwizycji sygnału analogowego zastosowano kart National Instruments PCI 1411. Rysunek 4 przedstawia wykres uzyskany dla kamery YK-3027D. Zarejestrowano 20 obrazów w chwil po wł czeniu zasilania kamery tak, aby zaobserwowa prac nie nagrzanej matrycy. Rys. 6. Wykres dla kamery YK-3027D (gor ca) Sumowanie kolejnych ciemnych obrazów ukazuje niejednorodno struktury matrycy przetwornika. Efekt ten jest przedstawiony jest na rysunku 7. Rys. 4. Wykres dla kamery YK-3027D (zimna) Rysunek 5 przedstawia wykres uzyskany po kilku minutach pracy kamery (po nagrzaniu si kamery). Rys. 7. Niejednorodno struktury matrycy przetwornika Rys. 5. Wykres dla kamery YK-3027D (ciepła) Zarejestrowano ogólne zwi kszenie poziomu luminancji, w przypadku kilku obszarów (pikseli) poziom ten jest bardzo du y. PWT 2005 - POZNAŃ 8-9 GRUDNIA 2005 Wyniki uzyskane dla kamery YK-3027D, porównano z wynikami zarejestrowanymi dla przetworników obrazu przykładowo wybranych aparatów cyfrowych. Spodziewano si, i w tych aparatach zastosowano przetwornik obrazu o lepszych parametrach szumowych, ni ten zastosowany w miniaturowej kamerze YK-3027D. Dla 20 obrazów nie zaobserwowano widocznych efektów, dlatego zwi kszono liczb rejestrowanych obrazów do 80. Na rysunku 8 przedstawiono wykres uzyskany dla aparatu Premiere DSC 2000 ( redniej klasy aparat cyfrowy). Widoczny jest do szeroki obszar o zwi kszonej warto ci luminancji, a tak e pojedyncze, (prawdopodobnie uszkodzone) piksele. Wyniki uzyskane dla aparatu Premier DSC 2000 porównano z wynikami uzyskanymi dla aparatu Sony DSC 717 (dobrej klasy aparat cyfrowy). 4/5
Rys. 8. Wykres dla aparatu Premier DSC 2000 Rysunek 9 przedstawia wykres zarejestrowany dla 80 obrazów. Przetwornik zastosowany w tym aparacie cechował si najmniejsz obserwowan wartoci sygnału (poziomem szumów) zarejestrowan dla obrazu ciemnego. Nie zaobserwowano obszarów czy pojedynczych pikseli o wartociach odbiegajcych od redniej. w postaci trójwymiarowych wykresów luminancji poszczególnych obszarów matrycy przetwornika nie s bezporednim odzwierciedleniem poszczególnych pikseli matrycy. Rozdzielczo uzyskiwanych obrazów determinowana jest przez rozdzielczo karty akwizycji (640x480) i jest niezalena od rozdzielczoci przetwornika obrazu. Naley równie zaznaczy, e na zarejestrowan warto luminancji poszczególnych obszarów matrycy przetwornika, mog mie wpływ nie tylko wartoci szumów, prdu ciemnego i zakłóce powstajcych w przetworniku, ale take zakłócenia powstajce w kolejnych członach toru pomiarowe. Szczególn rol odgrywa karta akwizycji obrazu oraz zakłócenia, które mog si indukowa si w czci analogowej. Pomimo tych ogranicze program jest przydatny do zobrazowania szumów i prdu ciemnego matrycy, lokalizacji uszkodzonych obszarów i wstpnej oceny jakoci przetworników obrazu. Kolejnym krokiem bdzie rozbudowa programu w celu ilociowej analizy rejestrowanych zjawisk. SPIS LITERATURY [1] M. Rusin, Wizyjne przetworniki optoelektroniczne, WKŁ, Warszawa, 1990. [2] M. Rusin, Systemy teletransmisii, WKŁ, Warszawa, 1990. [3] NI-IMAQ User Manual, National Instruments, Austin, Texas, USA, 2004. [4] IMAQ Vision for LabView, National Instruments, Austin, Texas, USA, 2004. [5] IMAQ PCI/PXI-1411 User Manual, National Instruments, Austin, Texas, USA, 2000. Rys. 9. Wykres dla aparatu Sony DSC 717 Dalsze zwikszanie liczby rejestrowanych obrazów równie nie uwidacznia obszarów (pikseli) o rónicym si poziomie sygnału, a wic cała powierzchnia matrycy cechuje si podobnymi (dobrymi) właciwociami. 7. PODSUMOWANIE Pakiet IMAQ zawiera kilkadziesit funkcji, które rozszerzaj zastosowanie rodowiska LabView o obszar pozyskiwania danych z przetworników obrazu, przetwarzania i analizy obrazów. Przedstawiony przykładowy program korzysta z podstawowych funkcji, a uzyskane wyniki mog słuy do wstpnej oceny jakoci przetwornika. W zastosowanym torze pomiarowym korzystano z sygnału analogowego z wyjcia przetwornika obrazu i zastosowano kart akwizycji obrazu. Ze wzgldu na proces przetwarzania c/a i c/a zarejestrowane wyniki PWT 2005 - POZNAŃ 8-9 GRUDNIA 2005 5/5