Wybrane zagadnienia robotyki, część 2: Cyfrowe przetwarzanie obrazów

Wybrane zagadnienia robotyki, część 2: Cyfrowe przetwarzanie obrazów Andrzej Kordecki (ML.NK500) 1 / 78

Spis treści 1 Zakres tematyki Zaliczenie 2 Przykłady 3 Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu 4 Co to jest kolor? Modele percepcyjne barw 5 Współczynniki porównania obrazów Miary detekcji obiektów w obrazach 2 / 78

Zakres tematyki Zaliczenie 3 / 78

Prowadzący Zakres tematyki Zaliczenie dr inż. Andrzej Kordecki adiunkt (stanowisko naukowo-dydaktyczne) w Zakładzie Teorii Maszyn i Robotów (ZTMiR), e-mail: akordecki@meil.pw.edu.pl, pokój NL230, godziny konsultacji: czwartek 10.00-12.00, dodatkowe informacje: https://tmr.meil.pw.edu.pl/web/pracownicy 4 / 78

Zakres tematyki Zakres tematyki Zaliczenie Przetwarzanie obrazów (ang. Image Processing) - dziedzina przetwarzania sygnałów cyfrowych zajmuje się algorytmami przetwarzania i akwizycji obrazów cyfrowych w celu ulepszenia obrazu lub odszukania użytecznych infromacji, Widzenie komputerowe (ang. Computer Vision) - celem jest zautomatyzowanie zadań wykonywanych przez ludzki system wizualny poprzez odpowiednią akwizycję, przetwarzanie i analizę obrazów. Wykonywane zadania zorientowane są na analizę scen i rozpoznawaniu obiektów w obrazach. 5 / 78

Zakres tematyki Zakres tematyki Zaliczenie Dziedziny pokrewne: Widzenie maszynowe (ang. Machine Vision), Grafika komputerowa (ang. Computer Graphics), Uczenie maszynowe (ang. Machine Learning), Sztuczna inteligencja (ang. Artificial Intelligence), Psychologia poznawcza (ang. Cognitive Science). 6 / 78

Grafika rastrowa i wektorowa Zakres tematyki Zaliczenie Wykłady będą dotyczyć grafiki rastrowej Grafika rastrowa: Obraz jest budowany z siatki pikseli. Reprezentowana jako dwuwymiarowa tablica. Rozmiar w pamięci nie zależy od stopnia skomplikowania obrazu. Skalowanie obrazu prowadzi do utraty jakości. Grafika wektorowa: Obraz jest rysowany za pomocą punktów, linii, krzywych, itd. Reprezentowana przez parametry figur geometrycznych. Rozmiar w pamięci zależy od stopnia skomplikowania obrazu. Trudność w oddaniu fotorealistycznych obrazów. Skalowanie obrazu bez straty jakości. 7 / 78

Grafika rastrowa i wektorowa Zakres tematyki Zaliczenie Różnice w obrazie rastrowym i wektorowym po zmianie skali 8 / 78

Zakres tematyki Zakres tematyki Zaliczenie Zakres tematyki Metody akwizycji i dyskretyzacji obrazów. Modele i przestrzenie barw. Miary jakości przetwarzania obrazów. Metody poprawy jakości obrazów cyfrowych. Metody liniowego i nieliniowego przetwarzania obrazów. Operacje morfologiczne. Analiza obrazów złożonych. Metody segmentacji obrazu. Współczynniki kształtu i metody klasyfikacji obrazów. Rozpoznawanie obiektów w obrazach. Konwolucyjne sieci neuronowe w przetwarzaniu obrazów. 9 / 78

Literatura Zakres tematyki Zaliczenie Gonzalez R., Woods R., Digital Image Processing, Prentice Hall (2008), Gonzalez R., Woods R., Eddins S., Digital Image Processing Using MATLAB, Dorling Kindersley (2006), Pratt W., Digital Image Processing, Wiley (2007), Goodfellow I., Bengio Y., Courville A., Deep Learning, MIT Press (2016). 10 / 78

Zaliczenie Zakres tematyki Zaliczenie Zestaw 3-5 pytań (sprecyzowane przed testem) z zakresu przetwarzania obrazów, Zastosowanie etapu lub całego zadanego algorytmu dla zadanego przykładu. Określenie wpływu zdanej metody na obraz. 11 / 78

Programowanie Zakres tematyki Zaliczenie Przydatne narzędzia: C++ wraz bibliotekami opencv + Leptonica + FreeImage + TensorFlow Python (lub Anaconda) wraz bibliotekami opencv + SciKit-Image + TensorFlow Matlab z image processing toolbox, Inne z odpowiednią biblioteką. 12 / 78

Przykłady 13 / 78

Przykłady Przeważająca większość informacji wpływa do mózgu z wykorzystaniem wzroku. Rosnąca dostępność sprzętu, a szczególnie telefonów komórkowych zawierających kamerę, Szybki rozwój rozwiązań z zakresu wizji komputerowej oraz szczególnie uczenia maszynowego, Multimedia i Internet. Celem przetwarzania jest uproszczenie polepszenie i ułatwienie wykonywania czynności w wielu dziedzinach naszego życia. 14 / 78

Cele Przykłady Po co przetwarzamy obrazy: Akwizycja obrazu (poprawna ekspozycja i balans kolorów) Wyświetlenie lub wydruk (poprawa rozmiaru obrazu, odwzorowanie barw, korekcja gamma) Archiwizacja obrazów (format i kompresja obrazów, detekcja twarzy, rozpoznanie tekstu) Wyszukanie informacji w obrazie (wyszukanie kodów kreskowych, kodów QR, ale także bardziej złożone jak detekcja twarzy, czy detekcja zmiany pasa ruchu) 15 / 78

Ocena Przykłady Kryteria oceny systemów wizji komputerowej: złożoność obliczeniowa i pamięciowa, wynik: trafność, czułość lub dokładność, niezawodność i odporność na zmiany jakości obrazu (np. szumy, mniejsza rozdzielczość), 16 / 78

Przykłady - Odzumianie Przykłady Filtr Non-local means, https://docs.opencv.org/3.3.1/d5/d69/ tutorial_py_non_local_means.html 17 / 78

Przykłady Przykłady - Detekcja krawędzi Filtr Canny, https://www.mathworks.com/help/images/edge-detection.html 18 / 78

Przykłady - Segmentacja Przykłady Konwolucyjna sieć neuronowa Digits, https: //devblogs.nvidia.com/image-segmentation-using-digits-5/ 19 / 78

Przykłady Przykłady - Detekcja obiektów Konwolucyjna sieć neuronowa YOLO, https://pjreddie.com/darknet/yolo/ 20 / 78

Przykłady Przykłady - Rozpoznwania twarzy Detektor Haar-cascade, https://docs.opencv.org/3.4.1/d7/d8b/ tutorial_py_face_detection.html 21 / 78

Przykłady Przykłady - OCR Tesseract OCR, https://github.com/tesseract-ocr/ 22 / 78

Przykłady - Opis sceny Przykłady Konwolucyjna sieć neuronowa Faster-RCNN + Iterative Message Passing, https://github.com/danfeix/scene-graph-tf-release 23 / 78

Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu 24 / 78

Postrzeganie barw Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Obraz barwny powstaje w wyniku działania trzech podstawowych czynników: źródła światła, przedmiotu i obserwatora. 25 / 78

Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Swiatło a widmo elektromagnetyczne Fizycznym bodźcem potrzebnym do powstania barwy jest promieniowanie elektromagnetyczne w widzialnym zakresie widma, które jest powszechnie nazywane światłem. 26 / 78

Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Swiatło a widmo elektromagnetyczne Niezależnie od tego, czy światło pochodzi ze źródła światła, czy jest odbite od obiektu, to zakres widzialny widma elektromagnetycznego jest zwykle określony przez długość fali od λ min = 360 nm do λ max = 830 nm. 27 / 78

Obiekt obserwacji Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Obiekt będący wtórnym źródłem światła, może światło częściowo odbić, pochłonąć lub przepuścić: widmowy współczynnik odbicia - stosunek strumienia promieniowania odbitego od obiektu do promieniowania padającego na obiekt. widmowy współczynnik absorpcji - stosunek całkowicie pochłoniętego promieniowania do strumienia promieniowania padającego na obiekt. widmowy współczynnik przepuszczania - stosunek strumienia promieniowania przepuszczonego przez obiekt do strumienia promieniowania padającego na obiekt. 28 / 78

Obiekt obserwacji Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu 29 / 78

Obiekt obserwacji Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Widmowy współczynnik odbicia różnych barw. 30 / 78

Układ wzrokowy Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Oko w dużym uproszczeniu to układ optyczny skupiający światło w celu utworzenia obrazu oglądanego obiektu. Budowa oka: 1 - rogówka, 2 - soczewka, 3 - siatkówka, 4 - tęczówka, 5 - plamka żółta. 31 / 78

Układ wzrokowy Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Istnieją dwa rodzaje fotoreceptorów: Pręciki są bardzo wrażliwe na światło i są używane do widzenia przy bardzo niskim poziomie oświetlenia. Czopki są odpowiedzialne za widzenie barw. Obserwatorzy z normalnym widzeniem barwnym posiadają trzy rodzaje czopków, które różnią się między sobą wykorzystywanym pigmentem o różnej charakterystyce absorpcji. 32 / 78

Układ wzrokowy Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Funkcje dopasowania barw r, g i b normalnego obserwatora kolorymetrycznego CIE 1931. 33 / 78

Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Pozyskiwanie obrazów barwnych W urządzeniach rejestrujących obraz możemy wyróżnić: układ optyczny - skupia światło na sensorze aparatu fotograficznego. Sensor obrazu i filtry barwne - zamienia światło skupione przez układ optyczny na proporcjonalny do padającego światła sygnał elektryczny. układ analogowy - przetwarza sygnał analogowy (m.in. separacja barw, wzmocnienie sygnału) i konwertuje na sygnał cyfrowy, układ cyfrowy - wykorzystuje procesor sygnałowy do m.in.: automatycznej kontroli ekspozycji (AE), autofokusa (AF), demozaikowania. układ sterowania - steruje poprawnością wykonywania sekwencji operacji, np. AE i AF. 34 / 78

Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Pozyskiwanie obrazów barwnych Rdzeniem aparatu fotograficznego jest sensor, który zamienia padające na niego światło na sygnał elektryczny. Urządzenia do pozyskiwania obrazów zapisują docierające do nich zmiany intensywności promieniowania w postaci funkcji opisującej zbiór punktów na płaszczyźnie. 35 / 78

Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Pozyskiwanie obrazów barwnych Barwny filtr mozaikowy (ang. Color filter array, CFA) - wiekszosc aparatów fotograficznych wykorzystuje pojedynczy sensor obrazu z barwnym filtrem mozaikowym wykorzystujący tzw. wzór Bayera. W ten sposób każda fotodioda jest czuła tylko na wybraną barwę reprezentującą określony zakres widma. 36 / 78

Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Pozyskiwanie obrazów barwnych Przykładowe czułości aparatu fotograficznego dla kanału czerwonego, zielonego i niebieskiego. 37 / 78

Proces akwizycji obrazu Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu 38 / 78

Czym jest obraz? Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Dwa procesy dyskretyzacji: przestrzenna i wartosci sygnału. 39 / 78

Czym jest obraz? Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Dwuwymiarowa tablica (macierz) intensywności pikseli lub funkcje f intensywności pikseli zdefiniowaną na kartezjańskim układzie współrzędnych. 40 / 78

Czym jest obraz? Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu 41 / 78

Parametry obrazu Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Rozdzielczość obrazu liczba pikseli w pionie i poziomie, 200 200 100 100 50 50 20 20 Liczba punktów na cal (dpi) lub pikseli na cal (ppi) - dokładność wyswietlania i informacja o rozmiarze, Rozdzielczość 300 DPI 100 DPI 200 200 pikseli 1,69 1,69 cm 5,08 5,08 cm 42 / 78

Parametry obrazu Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Głebia bitowa - miara liczby bitów przechowujacych informacje o jednym pikselu obrazu. 43 / 78

Parametry obrazu Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu 3 8 = 24 bit 3 4 = 12 bit 3 2 = 6 bit Najczęściej: f : N N [0, 1](R) f : N N [0, 255](N) 44 / 78

Parametry obrazu Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Opis obrazu musi posiadać sprecyzowaną informację o sposobie wyświetlania barw: obraz barwny - zawiera informacji o ilości barw każdej składowej lub liczby barw w obrazie, np. 24 bity obraz barwny to obraz z 256 kolorami (3 8 bit) na składową przestrzeni barw RGB, obraz monochromatyczny (lub w odcieniach szarości) - zawiera informacje o liczbie odcieni szarości, np. obraz 8 bitowy zawiera 256 odcieni szarości, obraz czarno-biały - zawiera tylko informacje, czy dany piksel jest biały albo czarny. 45 / 78

Parametry obrazu Postrzeganie barw Swiatło Akwizycja obrazu Parametry obrazu Format pliku (np. BMP, JPEG, TIFF, PNG) okeśla sposób zapisu danych i metodę kompresji danych: kompresja stratna, kompresja beztratna. JPG, Q=100 JPG, Q=60 3 JPG, Q=10 86 KB 13 KB 4 KB Wielkość pliku obrazu zależy od zastosowanej metody kompresji! 46 / 78

Co to jest kolor? Modele percepcyjne barw 47 / 78

Co to jest kolor? Co to jest kolor? Modele percepcyjne barw Barwa powstaje w wyniku działania trzech podstawowych czynników: źródła światła, przedmiotu i obserwatora. Barwa z jednej strony jest psychofizyczną cechą percepcji wzrokowej, ale z drugiej strony, jest wielkością próbującą zobiektywizować i usystematyzować opis tych wrażeń wzrokowych. 48 / 78

Co to jest kolor? Co to jest kolor? Modele percepcyjne barw Teoria trójchromatyzmu, której twórcami sa Young i Helmholtz - sygnały z trzech rodzajów receptorów sa transmitowane do mózgu, gdzie w tzw. korze wzrokowej na ich podstawie jest formowana informacja barwna. Teoria barw przeciwstawnych Heringa. Zauważył on, ze pewne barwy oceniane sa jako proste (czerwone, zielone, niebieskie i żółte), a pozostałe barwy sa kombinacjami barw prostych. Hering założył istnienie trzech typów komórek o dwubiegunowych odpowiedziach: jasno-ciemno, czerwono-zielono oraz niebiesko-żółto. 49 / 78

Co to jest kolor? Co to jest kolor? Modele percepcyjne barw Teoria strefowa zakłada, że odpowiedzi trzech receptorów nie są przesyłane bezpośrednio do mózgu jak w teorii trójchromatyzmu, lecz są przetwarzane na sygnały przeciwstawne. Zgodnie z współczesną teoria trójchromatyzmu, sygnały z trzech czopków są sumowane z odpowiednią wagą (L+M+S), aby uzyskać achromatyczna informacje o obrazie. 50 / 78

Przestrzenie barw Co to jest kolor? Modele percepcyjne barw Przestrzenie reprezentacji barw określa sposób organizacji i opisu barw. Istnieje wiele przestrzeni barw: RGB, HSI, Luv, Yxy,... Motywacje dla utrzymywania wielu przestrzeni reprezentacji barw: zgodność z percepcja wzrokowa człowieka, zgodność z pewnymi procesami/standardami technologicznymi, zróżnicowanie reprezentacji barw przydatne w przetwarzaniu i wnioskowaniu. Do opisu barw w urządzeniach stosuje się dwa modele: addytywny, reprezentowany przez przestrzeń RGB, substraktywny, reprezentowany przez przestrzeń CMY. 51 / 78

Model barw RGB Co to jest kolor? Modele percepcyjne barw Addytywna model barw RGB: R red (czerwony), G green (zielony), B blue (niebieski). Własności: Daną barwę możemy odtworzyć przez addytywne mieszanie trzech barw podstawowych, Jednostkowa moc promieniowania barw podstawowych jest dobrana tak, aby mieszanina ich jednostkowych wartości barwy była równa światłu białemu. 52 / 78

Model barw RGB Co to jest kolor? Modele percepcyjne barw Model RGB jest najczęściej stosowanym modelem opisu barw w obrazach. 53 / 78

Model barw CMY Co to jest kolor? Modele percepcyjne barw Substraktywny model barw CMY: C - cyan (Cyjan), M - magenta (Magenta), Y - yellow (Żółty). Własności: Daną barwę możemy odtworzyć przez usunięcie (odjęcie) od barwy białej niechcianego zakresu widma przez zastosowanie odpowiedniego substancji barwiącej, Zastosowanie wszystkich barw (CMY absorbcje światło w zakresie barwy czerwonej, zielonej i niebieskiej) spowoduje abosobjcę światła w całym zakresie widma. 54 / 78

Obliczenia Co to jest kolor? Modele percepcyjne barw Konwersja barw z przestrzeni RGB do CMY: C = 1 R M = 1 G Y = 1 B Należy zwrócić uwagę na Zazwyczaj występuje różnica w sposobie wyświetlania danej barwy pomiędzy urządzeniami, Wzory do przekształceń obrazu dla składowych przestrzeni barw w zakresie 0-1. 55 / 78

Model barw HSV Co to jest kolor? Modele percepcyjne barw Niestety przedstawione wcześniej modele barw RGB i CMY nie pozwalają na praktyczny opis z punktu interpretacji barw przez człowieka. Kiedy opisujemy kolory wykorzystujemy takie pojęcia jak: odcień, nasycenie i jasność. Dzielmy opis koloru na część: achromatyczną - związaną z jasnością, chromatyczną - związaną z odcieniem i nasyceniem. Przestrzenie barw HSV wykorzystują taki model opisu barw. 56 / 78

HSV Co to jest kolor? Modele percepcyjne barw Model barw HSV interpretowana w postaci stożka barw: H Hue (odcień światła) - wyrażona kątem na kole barw, S Saturation (nasycenie koloru) - promień podstawy stożka, V Value (jasność/moc) - wysokość stożka. 57 / 78

Model barw HSV Co to jest kolor? Modele percepcyjne barw Wyświetlenie obrazu zapisanego w przestrzeni HSV na urządzeniu wyświetlającym barwy w przestrzeni RGB. 58 / 78

Obliczenia Co to jest kolor? Modele percepcyjne barw Konwersja barw z przestrzeni barw RGB do HSV: Współczynnik chrominancji: M = max{r, G, B} m = min{r, G, B} C = M m Składowe przestrzeni HSV: nieokreślone jeżeli C = 0 H G B mod6 jeżeli M = R C = B R + 2 jeżeli M = G C R G + 4 jeżeli M = B C V = M 0 jeżeli V = 0 S = C jeżeli V 0 V H = 60 H 59 / 78

Model barw XYZ Co to jest kolor? Modele percepcyjne barw W 1931 i 1964 CIE (ang. International Commission on Illumination) zaadaptowała dwa różnych obserwatorów kolorymetrycznych normalnym. Określaja one uśredniony sposób reakcji na postrzegana barwe przez wyznaczona grupę obserwatorów. 60 / 78

Model barw XYZ Co to jest kolor? Modele percepcyjne barw Funkcje wyznaczono w dokładnie określonych warunkach, w których na przedzielonym dwustronnie obszarze oglądanym były porównywane bodźce barwne. 61 / 78

Model barw LAB Co to jest kolor? Modele percepcyjne barw Przestrzen CIELAB opiera swa budowe na teorii barw przeciwstawnych. Do opisu barwy wykorzystano trzy składowe: L opisuje jasność, a opisuje odchylenie barwy w stronę czerwonego lub zielonego i b opisuje odchylenie barwy w stronę żółtego lub niebieskiego. 62 / 78

Obliczenia Co to jest kolor? Modele percepcyjne barw Składowe CIELAB wyznaczane są z dwóch zestawów współrzędnych CIEXYZ według następujących zależności: L = 116f (Y /Y n ) 16 a = 500[f (X /X n ) f (Y /Y n )] b = 200[f (X /X n ) f (Z/Z n )] (1) f (ω) = { ω 1 3 dla ω > (6/29) 3 (841/108)ω + 4/29 dla ω (6/29) 3 (2) gdzie: X, Y i Z - składowe bodźca barwnego, X n, Y n i Z n - składowe bodźca bieli, ω - zastępuje wyrażone w równaniu (1) wartości X /X n, Y /Y n i Z/Z n. 63 / 78

Współczynniki porównania obrazów Miary detekcji obiektów w obrazach 64 / 78

Jakość obrazów Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Informacje zawarte w obrazie pozwalają na porównanie: wielu systemów wizyjnych pod względem wybranej cechy, obrazów ze sobą pod względem wybranych cech. Wykonane na obrazach działania związane np. detekcja samochodów, czy poprawność odwzorowania barw w pewnym momencie zostanie ocenione pod względem ich jakości. 65 / 78

Jakość obrazów Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Miary mogą dotyczyć: różnicy pomiędzy wartościami pikseli porównywanych obrazów, różnicy w postrzeganiu porównywanych obrazów przez człowieka, dokładności detekcji obiektu w obrazie, wiele innych! 66 / 78

MSE i PSNR Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Miary w oparaciu o różnice w wartościach pikseli: Błąd średniokwadratowy (ang. Mean Squared Error, MSE): MSE = 1 M 1 (X (m, n) Y (m, n)) 2 NM m=0 Szczytowy stosunek sygnału do szumu (ang. peak signal-to-noise ratio, PSNR): PSNR = 10log S 2 MSE Gdzie: X - obraz oryginalny, Y - obraz zniekształcony, (m, n) - współrzędne porównywanych pikseli, M i N - rozdzielczość pionowa i pozioma obrazów. Miara dotyczy obrazów w skali 67 / 78

MSE i PSNR Współczynniki porównania obrazów Miary detekcji obiektów w obrazach 68 / 78

SSIM Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Miarą w oparaciu o różnice w postrzeganiu obrazów jest Indeks strukturalnego podobieństwa (SSIM, ang. structural similarity index metric). Obrazy mają złożoną strukturę i do ich zmierzynia należy wykorzystać nie tylko różnice w wartości pikseli, ale także 69 / 78

SSIM Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Informacja strukturalna obrazu jest zdefiniowana jako zestaw atrybutów, które tworzą strukturę obiektów reprezentowanych w obrazie, niezależnie od ich średniej luminancji, czy kontrastu. Zmierzenie luminancji x i y, rozumianej jako wartość średnia: µ x = 1 NM Nn=1 Mm=1 x mn µ y = 1 NM Nn=1 Mm=1 y mn Kontrasty porównywane są za pomocą następującej funkcji: l(x, y) = 2µ xµ y + C 2 µ 2 xµ 2 y + C 2 gdzie parametry C to wartości stałe wybrane do oceny obrazów. 70 / 78

SSIM Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Informacje o luminancji są usuwane poprzez obliczanie odchyleń standardowych dwóch obrazów w celu uzyskania ich średniego kontrastu: ( σ x = ( σ y = 1 NM 1 NM Nn=1 Mm=1 M 1 m=0 (x mn µ x ) 2 ) 0.5 Nn=1 Mm=1 M 1 m=0 (y mn µ y ) 2 ) 0.5 Kontrasty porównywane są za pomocą następującej funkcji: c(x, y) = σ xσ y + C 2 σ 2 x + σ 2 y + C 2 71 / 78

SSIM Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Ostatnim strukturą jest funkcja porównywania s(x, Y ), która zapamiętuje indeks korelacji Pearsona pomiędzy dwoma sygnałami: s(x, Y ) = σ xy + C 3 σ x σ y + C 3 Ostatecznie miara SSIM wyznaczna jest następująco: SSIM(n, m) = [l(x, y)] α + [c(x, y)] β + [s(x, y)] γ dla parametrów α = β = γ = 1: SSIM(n, m) = (2µ xµ y + C 1 )(2σ xy + C 2 ) (µ 2 x + µ 2 y + C 1 )(σ 2 x + σ 2 y + C 2 ) 72 / 78

SSIM Współczynniki porównania obrazów Miary detekcji obiektów w obrazach SSIM = 1 dla identycznego obrazu. 73 / 78

Jakość detekcji Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Macierz błędów / tablica pomyłek (ang. confusion matrix) jest podstawowym narzędziem stosowanym do oceny jakości detekcji i klasyfikacji obiektów w obrazach. Porównywać w obrazach można poprawną detekcję danej klasy, poprawność detekcji położenia (pikseli) danego obiektu, itd. Liczba klas (k liczba klas) w obrazie poddanym klasyfikacji oraz danych porównawczych są sobie równe. Pola macierzy weryfikują, które obiekty zostały zaliczone do klasy i, podczas gdy faktycznie należą do klasy j, co wyrażono w wartość w macierzy w polu n ij (i,j = 1, 2,..., k). 74 / 78

Jakość detekcji Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Populacja Klasa Klasa pozytywna negatywna Stan Prawdziwie Fałszywie pozytywny pozytywna negatywna Stan Fałszywie Prawdziwie negatywny pozytywna negatywna 75 / 78

Jakość detekcji Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Możliwe wyniki klasyfikacji: Prawdziwie pozytywna (True-Positive, TP) - liczba poprawnie sklasyfikowanych przykładów z wybranej klasy, Prawdziwie negatywna (True-Negative, TN) - liczba błędnie sklasyfikowanych przykładów z tej klasy, Fałszywie pozytywna (False-Positive, FP) - liczba przykładów poprawnie nie przydzielonych do wybranej klasy (błąd I typu), Fałszywie negatywna (False-Negative, FN) - liczba przykładów błędnie przydzielonych do wybranej klasy, podczas gdy w rzeczywistości do niej nie należą (błąd II typu). 76 / 78

Jakość detekcji Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Wyróżnione miary oceny klasyfikacji: Czułość (Sensitivity, True Positive Rate, TPR): TP/(TP + FN) Dokładność (Accuracy): (TP + TN)/(TP + TN + FP + FN) Precyzja (Precision): TP/(TP + FP) Błąd niedoszacowania (False omission rate): FN/(FN + TN) 77 / 78

Współczynniki porównania obrazów Miary detekcji obiektów w obrazach Koniec 78 / 78