Kamery Element przetwarzający strumień świetlny na sygnały elektryczne matryca CCD lub CMOS (wynalezione: koniec lat 60, początek 70) 1 CCD (ang. Charged Coupled Device) Mniejsza podatność na zakłócenia, większa czułość (mniejszy szum ciemny), negatywna właściwość rozpływania ładunku Skanowanie progresywne, międzyliniowe, migawka global shutter Matryce CCD umożliwiają odczyt dowolnego obszaru AOI (ang. Area Of Interest), jednak wiąże się to z koniecznością odczytu zawartości całych linii (kolumn), pominięcie przy akwizycji części linii umożliwia zwiększenie prędkości pracy CMOS (ang. Complementary Metal Oxide Semiconductor) Tańsza technologia, mniejszy pobór mocy, dostęp do dowolnego obszaru matrycy, większe prędkości pozyskiwania obrazu, możliwość integracji przetwornika z modułami przetwarzania w jednym układzie (redukcja rozmiarów układu) Skanowanie progresywne Migawka globalna podobnie jak w CCD lub migawka typu rolling shutter Matryce CMOS umożliwiają odczyt z dowolnego AOI, przy czym odczyt jest możliwy z wybranego obszaru bez konieczności przepisania zawartości całej linii/kolumny (szersze możliwości zwiększania prędkości akwizycji) 2
Kamery analogowe a kamery cyfrowe Podział wynika ze sposobu przesyłania sygnału wizyjnego (rodzaju wyjścia kamery) w postaci analogowej lub cyfrowej (wybór konkretnego standardu ma decydujące znaczenie dla wydajności i możliwości systemu wizyjnego) Kamery analogowe PAL i NTSC rozdzielczości do kilkuset linii telewizyjnych, standard PAL 625 linii i 25fps (skanowanie międzyliniowe, charakterystyczny przeplot w obrazie) standard NTSC 525 linii i 30fps (skanowanie międzyliniowe) przesyłanie sygnału typu composite, S-Video lub RGB konieczność zastosowania karty akwizycji obrazu (ang. framegrabber) konieczność akwizycji przez kartę całego obrazu (dowolny AOI można wybrać po akwizycji w pamięci systemu przetwarzającego) łatwość przewodowej i bezprzewodowej transmisji sygnału video podatność na zakłócenia w trakcie transmisji obrazu Kamery analogowe HD dla telewizji dozorowej i monitoringu standardy transmisji 960H(700TVL), HDCVI(720p/1080p), HDTVI(720p/1080p), AHD(720p/1080p), obraz przesyłany sygnałem typu composite poprzez kabel koncentryczny 3 Kamery cyfrowe rozdzielczości od VGA (0,3Mpx) do ponad 10Mpx, globalna migawka (CCD i CMOS), rolling shutter (CMOS) standardowe interfejsy cyfrowe lub dedykowane np. CameraLink prędkości od kilku do kilkuset obrazów na sekundę brak konieczności przetwarzania na postać analogową i później na cyfrową w systemie przetwarzającym (mniejsze zakłócenia w stosunku do kamer analogowych) dostęp bezpośrednio do danych typu RAW (zaleta i wada) ograniczenie długości połączenia dla kamer cyfrowych do przewidzianej w specyfikacji interfejsu (utrudnienie w stosunku do kamer analogowych) Interfejs CameraLink FireWire 1394a(b) USB 2.0 GigEVision CoaXPress Przepustowość 5,44Gb/s 400 (800) Mb/s 480Mb/s 1Gb/s 6,25Gb/s Długość kabli 10m 4,5 (100) m 5m 100m 40m Liczba kamer 1 Do 63 Do 127 Nieograniczona Zależna od karty Zasilanie Zewnętrzne Przez interfejs Zewnętrzne Przez interfejs Zewnętrzne Zewnętrzne Przez interfejs Zewnętrzne Koszty systemu Wysoki Niski (średni) Niski Niski lub średni Wysoki 4
Interfejs CameraLink Aplikacje wymagające bardzo dużych wydajności, pełnej kontroli wyzwalania kamery podczas akwizycji i minimalnych opóźnień w systemie Wymagana dedykowana karta akwizycji z interfejsem CameraLink Trzy tryby pracy: Base (2,04Gb/s), Medium (4,08Gb/s) oraz Full (5,44Gb/s) Tryb Medium oraz Full wymaga dwóch niezależnych kabli i wejść w karcie akwizycji zgodnej z pełną specyfikacją interfejsu Liczba linii interfejsu 2x26 Wymagane zewnętrzne zasilanie kamery Interfejs IEEE-1394a FireWire 400Mb/s Małe opóźnienia, determinizm czasowy Możliwość skorzystania ze standardowych interfejsów FireWire w systemach komputerowych Łatwość zamiany kamer (standard przemysłowy DCAM) Możliwość zasilania przez interfejs FireWire Interfejs IEEE-1394b 800Mb/s Kompatybilność z wersją 1394a Konieczność stosowania dedykowanych kart z wejściami 1394b (9 przewodów) Planowane zwiększenie przepustowości do 1,6 a następnie do 3,2Gb/s 5 Interfejs USB 2.0 480Mb/s Powszechność interfejsu -> niskie koszty Wydajność podobna do FireWire Możliwość zasilania przez interfejs USB Brak standardu przemysłowego definiującego komunikację z kamerami Problem z opóźnieniami w systemie USB 3.0 (do 5Gb/s, 5m) tania alternatywa dla stosunkowo wydajnych aplikacji Interfejs GigE Vision 1Gb/s Kamery wykorzystują standardową infrastrukturą gigabitowego ethernetu, powszechność interfejsu, łatwość łączenia wielu kamer co wpływa na niskie koszty (teoretycznie) Pełne wykorzystanie możliwości wymaga od urządzeń sieciowych wspierania przesyłania dużych pakietów (ang. Jumbo Frames) Przy połączeniu bezpośrednim kamera-komputer stosunkowo duża wydajność przy małych opóźnieniach Kamery IP Wykorzystują sieć ethernet 100Mb/s, możliwość zasilania przez skrętkę (PoE) Duże opóźnienia, typowo stosowana stratna kompresja obrazu Prostota integracji, możliwość bezprzewodowej transmisji Możliwość zastosowania w zadaniach zdalnej inspekcji, nawigacji itp. przez człowieka 6
Interfejs CoaXPress Najnowszy interfejs do transmisji obrazu cyfrowego w systemach wizyjnych (2011r.), wykorzystuje kabel koncentryczny Podstawowa prędkość transmisji 6,25Gb/s, możliwość łączenia kilku kanałów w celu zwiększenia transferu z kamery (np. 4 kanały 25Gb/s) Jednoczesne wysyłanie danych sterujących do kamery z prędkością 20,8Mb/s Zasilanie kamery tym samym kablem (24V do 13W na każdy kabel) Możliwość obniżenia prędkości i wydłużenia połączeń do 140m Liczba kamer zależy od liczby wejść w karcie akwizycji (istnieje możliwość przysyłania sygnału z wielu kamer jednym kanałem) 7 Kamery kolorowe a kamery monochromatyczne Kamery monochromatyczne Kamery z pojedynczą matrycą Filtr mozaikowy z siatką Bayera 8
Kamery z 3 matrycami rejestrującymi osobno składowe RGB Każda matryca posiada filtr przepuszczający tylko jedną składową podstawową Kamery z matrycą FOVEON X3 www.foveon.com Kamery linijkowe monochromatyczne lub kolorowe 9 Rozmiar matrycy przetwornika kamery Obecnie spotykane matryce oznaczane są rozmiarami 1/4, 1/3, 1/2, 1/1.8, 2/3, 1, 1.2 (w specjalnych zastosowaniach również większe). W systemach wizyjnych najczęściej spotyka się kamery z matrycami od 1/3 do 1 Rozmiar w calach nie oznacza bezpośrednio fizycznych wymiarów matrycy, a odnosi się historycznie do określanego w calach zewnętrznego rozmiaru lamp analizujących stosowanych w kamerach telewizyjnych przed matrycami CCD i CMOS Większe matryce mają zazwyczaj większe wymiary poszczególnych pikseli, co wpływa na większą czułość, mniejszą zawartość szumu i lepszą jakość obrazu (większe koszty matrycy i obiektywu) Rozmiar przetwornika w połączeniu z obiektywem determinuje pole widzenia kamery Przetwornik 1/4 1/3 1/2 1/1.8 2/3 1 1.2 Wymiary [mm] 2,7x3,6 3,6x4,8 4,8x6,4 5,4x7,2 6,6x8,8 9,6x12,8 15,2x15,2 Przekątna [mm] 4,5 6 8 9 11 16 21,5 10
Układ optyczny kamery Zadaniem układu optycznego (obiektywu) jest projekcja obserwowanej sceny na powierzchnię światłoczułą matrycy przetwornika kamery. Od obiektywu zależy prawidłowe odwzorowanie elementów sceny oraz pole widzenia kamery. Zazwyczaj obiektyw jest dobierany odpowiednio do danej kamery w zależności od wymagań, rzadziej spotyka się obiektywy zintegrowane na stałe z kamerą, które umożliwiają automatyczną lub sterowaną przez użytkownika zmianę parametrów obiektywu (przysłony, ostrości i ogniskowej obiektywu) Podstawowe parametry obiektywów ogniskowa f wyrażona w milimetrach, określająca odległość centrum optycznego obiektywu od punktu (matrycy przetwornika), w którym zostają skupione promienie świetlne, padające na obiektyw równolegle do jego osi optycznej 11 liczba przysłony obiektywu (apertura obiektywu) F (f/# lub N) oznacza stopień otwarcia przysłony, określona jest jako stosunek długości ogniskowej f do średnicy D otworu przysłony obiektywu (odwrotność D/f to otwór względny obiektywu), Zgodnie z normami, na obiektywach oznacza się liczbę przysłony wartościami, które odpowiadają przybliżeniom kolejnych wartości, gdzie Daje to typowy szereg wartości: 1; 1,4; 2; 2,8; 4; 5,6; 8;... Ilość światła przepuszczanego w zależności od liczby przysłony F 1,0 1,4 2 2,8 4,0 5,6 8,0 16 Przepuszczane światło 100% 50% 25% 12,5% 6,25% 3,13% 1,6% 0,8% Najmniejsza wartość liczby przysłony podana na obiektywie (nie musi się znajdować w podanym szeregu) oznacza maksymalne otwarcie przysłony i określa jasność obiektywu, oznaczenie c określa całkowite zamknięcie przysłony 12
głębia ostrości zakres odległości od obserwowanych obiektów, w którym znajdujące się obiekty są odwzorowywane ostro. Głębia ostrości jest zależna od ogniskowej oraz przysłony obiektywu. Zmniejszanie ogniskowej oraz zamykanie przysłony powoduje zwiększanie głębi ostrości. W przypadku obiektywów stosowanych w wizji maszynowej istotnym parametrem jest minimalna odległość do przedmiotu dla której uzyskuje się ostry obraz wielkość obiektywu wyrażona w calach, oznacza maksymalną wielkość matrycy przetwornika z którym obiektyw może prawidłowo współpracować (użycie większej matrycy powoduje tzw. efekt winietowania na obrazie). Obiektyw o danej wielkości można zawsze stosować do kamer z przetwornikami o mniejszych rozmiarach. W niektórych przypadkach jest to uzasadnione, gdyż pozwala na zmniejszenie zniekształceń geometrycznych wprowadzanych przez optykę obiektywu, które zwiększają się wraz z oddalaniem od osi optycznej obiektywu. Mniejszy rozmiar przetwornika przy danym obiektywie powoduje zmniejszenie pola widzenia kąt widzenia zależy od ogniskowej obiektywu i rozmiaru przetwornika kamery. Przy danej kamerze obiektyw o krótkiej ogniskowej daje duży kąt widzenia, natomiast o długiej mały kąt widzenia. Producenci obiektywów podają zazwyczaj kąt widzenia odpowiedni dla wielkości obiektywu lub kąty widzenia dla przetworników z którymi obiektyw może prawidłowo współpracować 13 Typy mocowania obiektywów C i CS, powszechnie używane mocowanie typu C i CS posiada identyczny kołnierz z gwintem, różni się jedynie odległością płaszczyzny mocowania obiektywu od płaszczyzny matrycy w kamerze. Dla obiektywów typu C odległość ta wynosi 17,526 mm, natomiast dla typu CS 12,526 mm. Oznacza to, że obiektywy z mocowaniem typu C mogą być używane w kamerach z mocowaniem CS poprzez pierścień dystansowy (z dokręconym 5 mm pierścieniem dystansowym) S (mikrovideo) w kamerach miniaturowych (płytkowych) F, T, M do kamer z dużymi matrycami istnieją specjalne adaptery, który umożliwiają stosowanie obiektywów z mocowaniem C do kamer z mocowaniem typu F oraz inne Obiektywy o stałej ogniskowej i zmiennej ogniskowej zoom i motozoom Obiektywy z automatyczną przysłoną (Auto Iris) i ostrością (Auto Focus) 14
Typy obiektywów do wizji maszynowej i układów pomiarowych obiektywy typu megapixel stosowane zazwyczaj do kamer z matrycami o wysokiej rozdzielczości, cechują się mniejszymi zniekształceniami geometrycznymi (aberracją sferyczną i dystorsją) ze względu na mniejszą deformacją fali świetlnej przy przejściu przez soczewki obiektywu, co umożliwia uzyskanie ostrego obrazu i wyraźnych szczegółów obiektywy asferyczne rodzaj obiektywów charakteryzujący się dużą jasnością (większą aperturą), dzięki zastosowaniu soczewek asferycznych (zamiast tradycyjnych soczewek o profilu sferycznym), które lepiej przekazują światło zwłaszcza przy krawędziach obiektywu, korygując zniekształcenia i zwiększając wyrazistość w skrajnych częściach obrazu. Soczewki asferyczne często są stosowane w obiektywach typu megapixel obiektywy telecentryczne znajdują zastosowanie w precyzyjnych systemach pomiarowych. Obiektywy te nie posiadają efektu perspektywy i zniekształceń kątowych obrazu (błędów paralaksy) w przeciwieństwie do klasycznych obiektywów, w których ten sam obiekt widziany jest jako większy gdy znajduje się bliżej obiektywu i mniejszy gdy jest dalej. Charakteryzują się stosunkowo małym polem widzenia oraz bardzo małą głębią ostrości 15 Obiektywy typu rybie oko i układ kamery z obiektywem i lustrem o kształcie parabolicznym lub podobnym (omnidirectional camera) 16
Geometria układu optycznego do wyznaczenia ogniskowej Ogniskową obiektywu szacuje się najczęściej na podstawie żądanego pola widzenia FOV (ang. Field of View) dla określonej odległości od kamery, maksymalnej wielkości obserwowanego obiektu lub kąta widzenia. Przyjmując za odległość kamery od obiektu, za i odpowiednio szerokość oraz wysokość pola widzenia lub obiektu oraz za i szerokość oraz wysokość przetwornika, ogniskową można wyliczyć z zależności geometrycznych 17 Obliczenia w kierunku poziomym i pionowym dają zazwyczaj różne wyniki. W celu prawidłowego zarejestrowania na obrazie całego obiektu lub pola widzenia należy przyjąć krótszą ogniskową Wyznaczenie ogniskowej dla zadanego kąta widzenia na podstawie zależności trygonometrycznych Rozdzielczość systemu wizyjnego Rozdzielczość [lp/mm] wyznacza się na podstawie liczby par pikseli (lp) w linii i odpowiadającej im szerokości pola widzenia 18
Oświetlenie i oświetlacze dla systemów wizyjnych Czułość kamer kolorowych typowo gorsza o rząd wielkości od czarnobiałych Wybór obiektywu o odpowiedniej jasności w zależności od oświetlenia Źródła światła: LED, żarowe, świetlówki 19 Oświetlacze pierścieniowe (ang. ring) z otworem na obiektyw Stosuje się go do ogólnego oświetlenia obiektu, bez podkreślania pewnych cech badanego elementu Oświetlacze typu ring pola ciemnego (ang. dark field) Diody zamontowane są pod pewnym kątem. Pozwala to na uwypuklenie krawędzi badanego obiektu przy jednoczesnym zaciemnieniu równych płaszczyzn 20
Oświetlacze podświetlające (ang. backlight) Oświetlacz montowany od dołu badanego obiektu, obraz ma wtedy postać zaczernionego pola o kształcie badanego obiektu, wykorzystywany najczęściej do wykrywania obiektów w obserwowanym polu Oświetlacze światła rozproszonego (ang. diffuse light) Axial diffuse light diffuse light 21 Akwizycja obrazu, sprzęt i oprogramowanie Kamery analogowe karta akwizycji do systemu komputerowego z wejściami analogowymi (composite, S-Video, RGB) Kamery cyfrowe dedykowane karty interfejsów cyfrowych (CameraLink, CoaXPress) lub standardowe interfejsy cyfrowe (USB, FireWire) lub sieciowe (Ethernet 1Gb/s) Akwizycja obrazu i zapisanie w pamięci za pomocą bibliotek zazwyczaj dołączanych do kart akwizycji lub do kamer (SDK) MIL-Lite (Matrox), MultiCam (Euresys), FirePackage (AVT), PylonDriver (Balser) lub uniwersalnych bibliotek do akwizycji i przetwarzania. Wybór odpowiedniej przestrzeni barw przy akwizycji w przypadku kamer kolorowych pod kątem algorytmów przetwarzania obrazu (RGB, YUV, RAW) Kamery analogowe liczba i rodzaj dostępnych formatów zależy od karty akwizycji Kamery cyfrowe liczba i rodzaj dostępnych formatów zależy wyłącznie od kamery Zastosowanie technik buforowania Umożliwia równoległą akwizycję obrazu i jego przetwarzanie Typowo stosuje się technikę podwójnego lub potrójnego buforowania 22
Akwizycja i przetwarzanie z wykorzystaniem trzech buforów Wykorzystanie systemu wizyjnego w sterowaniu wymaga stałego okresu próbkowania co można zapewnić poprzez synchronizację sterowania przez proces akwizycji obrazu (warunek czas przetwarzania obrazu musi być krótszy od czasu akwizycji) 23 Reprezentacja obrazu w pamięci systemu Bufor obrazu w pamięci stanowi ciągły obszar pamięci, którego poprawna interpretacja wymaga znajomości liczby wierszy i kolumn obrazu oraz sposobu ułożenia danych obrazowych Obrazy monochromatyczne (m linii, n kolumn) 24
Reprezentacja obrazu w pamięci systemu Obrazy kolorowe (m linii, n kolumn) 24 bitowy planarny (ang. planar) 24 bitowy spakowany (ang. packed) 25 Przetwarzanie obrazu, biblioteki Komercyjne MIL Matrox, evision Euresys, CommonVisionBlox, HALCON,... ERSP Evolution Robotics (platforma dedykowana dla robotyki mobilnej VSLAM, oparta o algorytm SIFT) OpenCV, VisionLab, RoboRealm... Narzędzia szybkiego prototypowania Matlab z IAT oraz IPT LabView z pakietem Vision Builder Przykład akwizycji Matlab-IAT (Image Acquisition Toolbox) info=imaqhwinfo info=imaqhwinfo('winvideo') dev=imaqhwinfo('winvideo',1) dev.supportedformats v=videoinput('winvideo',1,'i420_640x480') preview(v) pause closepreview(v) delete(v) 26
Przemysłowe systemy wizyjne i kamery inteligentne (ang. Smart Camera) Omron czujniki oraz systemy wizyjne 27 Omron symulator systemu Xpectia FZ3 28
SICK, Cognex, Matrox, KEYENCE systemy wizyjne i kamery inteligentne 29