Zabawa z grak z programem Scilab. Jacek Tabor

Transkrypt

1 Zabawa z grak z programem Scilab Jacek Tabor

2 Rozdziaª 1 Operacje na obrazach 1.1 Elementy statystyki w analizie muzyki i zdj : histogram Statystyka = nauka sªu» ca do opisu, przetwarzania i interpretacji danych posiadaj cych charakter losowy. Poj cie podstawowe: zmienna losowa. W uproszczeniu, zmienna losowa to sposób losowania/generowania liczb rzeczywistych 1. Zmienne losowe: dyskretne oraz ci gªe. Dyskretne - maj sko«czon ilo± warto±ci, dla ci gªych wynikiem mo»e by potencjalnie dowolna liczba rzeczywista. Najbardziej naturalny/podstawowy z rozkªadów ci gªych jest rozkªad jednostajny na odcinku [0, 1] i rozkªad normalny (generowanie w Scilabie za pomoc rand). Przykªady zmiennych losowych: wynik rzutu kostk czas trwania rozmowy telefonicznej temperatura warto± indeksu gieªdowego. warto± losowo wybranego piksela na zdj ciu czarno biaªym (gdyby byªo kolorowe, to za jednym losowaniem mamy trzy warto±ci, czyli b dzie zmienna losowa wektorowa) to samo dla muzyki Podstawowe rozkªady: jednostajny na danym odcinku normalny dyskretne - rzut monet, dwumianowy, etc. Prosz sobie uruchomi nast puj cy program/skrypt napisany w Scilabie: wylosowanie i estymacja z danego rozkladu uzywam pakiety Stix x=rand (1,100) ; wylosowanie 100 l i c z b z rozkladu jednostajnego na [ 0, 1 ] mean( x ) ; zwraca wartosc srednia median( x ) ; zwraca mediane std ( x ) ; zwraca odchylenie standardowe 1 cz sto rozwa»a si tak»e zmienne losowe wielowymiarowe-wektorowe, gdzie losujemy wektory 1

3 mad( x ) ; zwraca mean absolute d e v i a t i o n tworzenie histogramu : histo ( x, [ 2 0 ], [ ], 1 ) ; 20 oznacza, ze na 20 kawalkow clf ( ) ; koma grand b a r d z i e j zaawansowana wersja rand x=grand(1,100000, " nor ",0,1) ; rozklad normalny histo ( x, [ 5 0 ], [ ], 1 ) ; Statystyka zajmuje si badaniem zmiennych losowych. Podstawowe funkcje statystyki opisowej to ±rednia i mediana, liczone dla danego zestawu danych (x i ) za pomoc wzorów mean(x) = 1 n xi ; median(x) = {m : card{i : x i <= m} = card{i : x i m}}. Je»eli próbka ma nieparzyst ilo±, to mediana jest wyznaczona jednoznacznie przy zaªo»eniu,»e ci g jest ustawiony rosn co, to ±rodkowy element dla parzystej mo»e by dowolny z przedziaªu mi dzy dwoma ±rodkowymi elementami (cz sto w zwi zku z tym przyjmuje si albo dowolny koniec tego przedziaªu, albo ±rodek). Okazuje si,»e ltry medianowe s bardzo przydatne do usuwania szumu ze zdj. Z naszego punktu widzenia kluczowe do analizy zdj jest poj cie histogramu dzielimy zakres który przyjmuje nasza zmienna na równe pudeªka i zliczamy ile razy wpada do danego pudeªka (najcz ±ciej jeszcze normalizujemy dziel c przez ilo± danych). Przykªad ze Scilaba 1.1. Rysowanie histogramu: histogram na c z t e r y sposoby clear r e c z n i e policzony image=imread ( " lena. jpg " ) ; [ h, w]= size ( image ( :, :, 1 ) ) ; histr=zeros (1,256) ; histg=zeros (1,256) ; histb=zeros (1,256) ; for y=1: h for x=1: w lr=1+double( image ( y, x, 1 ) ) ; histr ( lr )=histr ( lr ) +1; lg=1+double( image ( y, x, 2 ) ) ; histg ( lg )=histg ( lg ) +1; lb=1+double( image ( y, x, 3 ) ) ; histb ( lb )=histb ( lb ) +1; bar ( h i s t ) ; o p c j o n a l n i e clf ( ) ; plot ( histr /( h w ), " r " ) ; plot ( histg /( h w ), "g" ) ; plot ( histb /( h w ), "b" ) ; b i o r e pod uwage red b i o r e pod uwage green b i o r e pod uwage blue wbudowana w IDP global IPD_PATH ; RGB = ReadImage ( IPD_PATH + "demos\ t e a s e t. png" ) ; Image = RGB2Gray ( RGB ) ; ShowImage ( Image, "Gray Level Image" ) ; Histogram = CreateHistogram ( Image, 10) ; plot ( Histogram ) ; wbudowane w SIVP im = imread ( " lena. jpg " ) ; r y s u j e histogram dla koloru z i e l o n e g o imhist ( im ( :, :, 2 ), 256, 1, "g" ) ; 2

4 W momencie gdy mamy zrobiony histogram, mo»emy dokona progowania (thresholding), w celu zamiany zdj cia na czarno-biaªe (czasami potrzebujemy do obróbki mie jednoznaczn gur ). Uwaga, do dzielenia histogramu/szukania progu mo»e si przyda koma CalculateOtsuThreshold z pakietu IPD. Rozszerzanie histogramu jest proste rozszerzamy tak zakres, by zajmowaª caªy przedziaª (patrz w nast pnym przykªadzie). clear ; RGB=imread ( " lena. jpg " ) ; im=im2double ( RGB ) ; imshow ( im ) ; YCbCr=rgb2ycbcr ( RGB ) ; YCbCr ( :, :, 2 ) =1.6 ( YCbCr ( :, :, 2 ) 0.2) ; Y=ycbcr2rgb ( YCbCr ) ; imshow ( Y ) ; Cz sto dokonujemy nieliniowych operacji (tak zwana korekcja gamma cz sto stosowana do oceny/poprawy jako±ci monitorów), patrz gamma korekcja nie przez Look up t a b l e im=imread ( " lena. jpg " ) ; im=rgb2gray ( im ) ; IM=im2double ( im ) ; imshow ( IM ) ; function B=korekta ( A, f ) B=zeros ( A ) ; for i=1: size ( A, "c" ) for j=1: size ( A, " r " ) B ( i, j )=f ( A ( i, j ) ) ; function function y=ga ( x ) y=sqrt ( x ) ; function IM2=korekta ( IM, ga ) ; imshow ( IM2 ) ; To jest wa»ne, gdy» czªowiek rozró»nia okoªo odcieni szarego, a na normalnym zdj ciu jest ich 256 w zwi zku z tym pomijamy (nie dostrzegamy) w sposób naturalny pewnych informacji. UWAGA: je»eli mamy zdj cie kolorowe, i chcemy dokona rozszerzenia, nale»y zmieni na inn konwencj zapisu barw, w której mamy osobno wyró»nion jasno± (i pozostaªe dwie wspóªrz dne opisuj ce kolor w SIVP to YCbCR lub ew. NTSC, w IPD to LAB). I wtedy modykujemy tylko jasno±, co powoduje,»e barwa zostanie zachowana. W przeciwnym razie mo»emy otrzyma sztuczne barwy (typu oletowe niebo), gdy» ka»d warstw R, G, B by±my modykowali oddzielnie. 1.2 Operacje morfologiczne Podstawowe podej±cie do analizy zdj jest próba patrzenia na zdj cia jak na zbiory w podstawowej postaci umo»liwia to analiz tylko zdj binarnych: obraz cyfrowy, którego piksele mog przyjmowa tylko 2 warto±ci zazwyczaj to (0, 1), (0, 255), (T rue, F alse),... jedna z warto±ci uznawana jest za tªo, druga za pierwszy plan (obiekt w obrazie) 3

5 kwestia umowna, na wykªadzie przyjmujemy tªo: 0 (czarny), obiekt: 1(biaªy, czyli zapalony piksel), ale mo»na spotka tak»e inne; supportem (wsparciem, support) nazywamy zbiór wszystkich pikseli o warto±ci odpowiadaj cej pierwszemu planowi dopeªnieniem (complement) supportu nazywamy zbiór wszystkich pozostaªych pikseli (o warto±ciach tªa) Najpro±ciej ze zdj cia czarno biaªego stworzy binarne za pomoc progowania (thresholding). Mo»liwo±ci jest bardzo wiele, mo»na dla przykªadu w SIVP u»y komy im2bw (prosz pami ta,»e zdj cie binarne w SIVP to macierz boolowska). Teraz sobie opowiemy o operacjach morfologii matematycznej. Zaczniemy od zbiorów binarnych. Polecam wi cej informacji wikipedia, oraz: Mamy wi c zbiór A, i opiszemy podstawowe morfologiczne operacje na nim. Zaczn od operacji dylacji. Do dokonywania dylacji potrzebowa b dziemy jeszcze elementu strukturalnego (structural element E, zazwyczaj b dzie to albo kwadrat albo koªo) Denicja 1.1. Dylacja A za pomoc elementu strukturalnego E geometrycznie polega to na ustawieniu w ka»dym punkcie zbioru A elementu strukturalnego E. Erozja jest operacj w pewnym sensie przeciwn dokonujemy jakby dylacji tªa. Element strukturalny to macierz boolowska, w której domy±lnie ±rodkowy element jest ustawiony w zerze, a T oznacza zbiór, F oznacza poza nim. Prosz zobaczy na przykªad u doªu. W ten sposób mo»na wykry kraw dzie, bior c ró»nic mnogo±ciow mi dzy dylacj a erozj. wbudowana w IDP lena = ReadImage ( " lena. png" ) ; pep=readimage ( " peppers. png" ) ; lena=rgb2gray ( lena ) ; pep=rgb2gray ( pep ) ; T=lena ; T ( lena <125)=0; T ( lena >=125)=255; ShowImage ( T, "p" ) ; WriteImage ( T, "T. png" ) ; Struct=CreateStructureElement ( " c i r c l e ",2) ; dit=dilateimage ( T, Struct ) ; ert=erodeimage ( T, Struct ) ; ShowImage ( dit, " " ) ; WriteImage ( dit, "dit. png" ) ; ShowImage ( ert, " " ) ; WriteImage ( ert, "ert. png" ) ; r oznica mnogosciowa brzeg bdt=bitand ( dit, bitcmp ( ert, 8 ) ) ; ShowImage ( bdt, " " ) ; WriteImage ( bdt, "bdt. png" ) ; przyklad SE=CreateStructureElement ( " h o r i z o n t a l _ l i n e ",5) SE. Data ShowImage ( DilateImage ( T, SE ), " " ) ; 4

6 (a) (b) (c) (d) Rysunek 1.1: Lena, dylacja, erozja, brzeg. Zªo»enie dylacji i erozji (za pomoc tego samego elementu strukturalnego), to zamkni cie morfologiczne, zªo»enie erozji i dylacji to otwarcie morfologiczne. Pod koniec wykªadu pojawiªy si jeszcze informacje na temat szkieletenyzacji. Poniewa» metoda u»ywa szczególnego przypadku algorytmu hit-or-miss (który u»ywa troszk uogólnionych elementów strukturalnych), opowiem dokªadniej jeszcze raz na nast pnym wykªadzie, na którym pojawi si te» elementy morfologii dla obrazów w odcieniach szaro±ci. 1.3 Operacje arytmetyczne Praca na dwóch obrazach tej samej wielko±ci. wariacje). Najwa»niejsze jest odejmowanie: Mo»na dodawa, odejmowa mno»y i dzieli (plus ró»ne pozwala na odejmowanie tªa (dla przykªadu zdj cia z mikroskopu); kamery wykrywanie ruchu (zªodziej, etc). Zaimplementowane gªównie w SIVP. Dodawanie z nasyceniem imadd (je»eli przekracza warto± 255, zostaje 255), dodawanie modulo: zwykªe dodawanie. PRZYKLADY: Lena=imread ( "C: \ Users \ Jacek \AppData\Roaming\ S c i l a b \ s c i l a b 5.3.3\ atoms\sivp\ \ images \ lena. png" ) ; imshow ( Lena ) ; Pep=imread ( "C: \ Users \ Jacek \AppData\Roaming\ S c i l a b \ s c i l a b 5.3.3\ atoms\sivp\ \ images \ peppers. png" ) ; imshow ( Pep ) ; d o p e l n i e n i e imshow ( imcomplement ( Lena ) ) ; dodawanie z nasyceniem j e z e l i wykracza poza zakres obnizamy do maksymalnej wartosci imshow ( imadd ( Lena, Pep ) ) ; dodawanie modulo imshow ( Lena+Pep ) ; odejmowanie n a j c z e s c i e j odejmujemy t l o ( sfotografowane o d d z i e l n i e ) imshow ( imsubtract ( Lena, Pep ) ) ; imshow ( imsubtract ( Pep, Lena ) ) ; podobna r o l e p e l n i imshow ( imdivide ( Pep, Lena ) ) ; modul roznicy do wykrywania ruchu imshow ( imabsdiff ( Lena, Pep ) ) ; 5

7 kombinacja l i n i o w a mozna za pomoca imlincomb a mozna lenas=im2double ( Lena ) ; peps=im2double ( Pep ) ; imshow ( 0. 2 lenas +0.8 peps ) ; d z i e k i temu mozna b a r d z i e j skomplikowane lokalna kombinacja komb=lenas ; wyciagam maske odpowiadajaca czerwonemu maska=imsubtract ( peps ( :, :, 1 ), peps ( :, :, 2 ) ) ; maska ( maska <0.4) =0; maska ( maska >=0.4) =1; imshow ( maska ) ; komb ( :, :, 1 )=maska ; komb ( :, :, 2 )=maska ; komb ( :, :, 3 )=maska ; imshow ( komb. peps+(1 komb ). lenas ) ; imwrite ( komb. peps+(1 komb ). lenas, " lenapep. png" ) ; wyciagam maske odpowiadajaca zielonemu maska=imsubtract ( peps ( :, :, 2 ), peps ( :, :, 1 ) ) ; maska ( maska <0.08) =0; maska ( maska >=0.08) =1; imshow ( maska ) ; komb ( :, :, 1 )=maska ; komb ( :, :, 2 )=maska ; komb ( :, :, 3 )=maska ; imshow ( komb. peps+(1 komb ). lenas ) ; chcemy widzowi zaznaczyc obszar ktory nas i n t e r e s u j e wyr ªzniam podejrzane o blue Blue=imsubtract ( Lena ( :, :, 3 ), Lena ( :, :, 2 ) ) ; imshow ( Blue ) ; Prog=Blue ; Prog ( Blue<=50)=0; Prog ( Blue >50)=255; imshow ( Prog ) ; j e rozjasniam, r e s z t e sciemniam Le=rgb2ycbcr ( Lena ) ; Cz=Le ( :, :, 2 ) ; Cz ( Blue >50)=Cz ( Blue >50) +0.2; Cz ( Blue<=50)=Cz ( Blue<=50) 0.2; Le ( :, :, 2 )=Cz ; imshow ( ycbcr2rgb ( Le ) ) ; imwrite ( ycbcr2rgb ( Le ), " lenablue. png" ) ; Widzimy,»e dodawanie rozja±nia. Mo»na wzi kombinacj liniow, w tym celu najlepiej imlincomb, mo»na te» przej± na double: im2double i zastosowa zwykªe mno»enie. Mo»na te» lokalnie zmienia wspóªczynniki. Do odejmowania imsubtract, mo»na te» odj modulo za pomoc zwykªego odejmowania. Sªu»y cz sto do odejmowania tªa (przykªad zdj cia mikroskopowe, brudne szkªo, etc). Wygodn modykacj jest absdiff moduª ró»nicy dwóch obrazów. Wykrywa ruch, lub zmiany w dwóch obrazach. Lena z niebieskim obrazuje przykªad, jak potencjalnie stosowa do zaznaczania podejrzanych/interesuj - cych obszarów, by zwróci uwag obserwatora. 1.4 Operacje logiczne na zdj ciach binarnych Podstawowe operacje to NOT, OR, AND, XOR, SUB ró»nica mnogo±ciowa (1 SUB 1=0, 1 SUB 0=1, p SUB 0=p). Pakiet IDP I= ones (10, 10) generate gray image M=diag ( [ 1, 0, 1, 0, 1, 0, 1, 0, 1, 0 ] ) ; 6

8 (a) (b) Rysunek 1.2: Lena z papryczkami i z podkre±lonym niebieskim. Pion=I M ; Poziom=M I ; figure ( 1 ) ; ShowImage ( Pion, " " ) ; figure ( 2 ) ; ShowImage ( Poziom, " " ) ; podstawowe operacje logiczne ShowImage (max( Pion, Poziom ), " ShowImage ( min ( Pion, Poziom ), " ShowImage (1 Pion, " " ) / / n o t wbudowana proguje ") or ") and w IDP lena = ReadImage ( "C : \ U s e r s \ J a c e k \ AppData \ Roaming \ S c i l a b \ s c i l a b \ a t o m s \ SIVP \ \ i m a g e s \ l e n a. png " ) ; ShowColorImage ( lena, " " ) ; lena=rgb2gray ( lena ) ; ShowImage ( lena, " " ) ;,, rozsadnie, metoda otsu Threshold = CalculateOtsuThreshold ( lena ) ShowImage ( binlena, " l e n a " ) ; Pakiet wyznacza progowanie najlepsze z naszego punktu widzenia SIVP Lena=imread ( "C : \ U s e r s \ J a c e k \ AppData \ Roaming \ S c i l a b \ s c i l a b \ a t o m s \ SIVP \ \ i m a g e s \ l e n a. png " ) ; Pep=imread ( "C : \ U s e r s \ J a c e k \ AppData \ Roaming \ S c i l a b \ s c i l a b \ a t o m s \ SIVP \ \ i m a g e s \ p e p p e r s. png " ) ; imshow ( Lena ) ; lena=im2bw ( Lena, 0. 5 ) imshow ( lena ) ; pep=im2bw ( Pep, 0. 5 ) ; imshow ( pep ) ; imshow ( ~ pep ) ; imshow ( lena pep ) ; imshow ( lena & pep ) ; imshow ( lena & ~ pep ) ; imshow ( pep & ~ lena ) ; sa losowe takze inne ; metody roznica mnogosciowa binaryzacji lenas=im2double ( Lena ) ; l e n a s=r g b 2 g r a y ( l e n a s ) ; for i = 1 : los=rand ( lenas ) ; binlenas=lenas ( :, :, : )> los ( :,:,:) ; b i n l e n a s=l e n a s ( :, : ) > l o s ( :, : ) ; imshow ( binlenas ) ; 7

9 Mo»na rozszerzy operacje logiczne (w sposób troszk sztuczny) na dowolne zdj cia, a mianowicie, mo»emy interpretowa warto± z zakresu jako ci g o±miu bitów, i wtedy mo»emy wykonywa operacje logiczne na tych bitach (bit po bicie). W Scilabie to m.in. komy bitand,bitor,bitxor. Wygodne do u»ycia maski (i bardzo szybkie). wbudowana w IDP lena = ReadImage ( " lena. png" ) ; pep=readimage ( " peppers. png" ) ; lena=rgb2gray ( lena ) ; pep=rgb2gray ( pep ) ; figure (1) ; ShowImage ( bitor ( lena, pep ), " " ) ; maska M=zeros ( lena ) ; for i=1: size ( M, "c" ) for j=1: size ( M, " r " ) i f ( abs ( i 256)+abs ( j 256) <256) then M ( i, j ) =255; ; M=uint8 ( M ) ; ShowImage ( bitand ( M, lena ), "?" ) ; ShowImage ( bitor ( M, lena ), "?" ) ; Poniewa» operacje te nie s za bardzo naturalne, wprowadzimy logik rozmyt która pozwala na bardziej naturalne operacje na zdj ciach (domy±lnie czarno biaªych). Podstaw analizy logicznej zdj czarno-biaªych jest patrzenie na zdj cia jako na zbiory. Poniewa» zdj cia przyjmuj warto±ci pomi dzy [0, 1], potrzebujemy umie rozumie tego typu zbiory. Do tego podstawowa okazuje si by logika rozmyta. W przeciwie«stwie do klasycznej logiki, która dopuszcza tylko warto±ci 0, 1, dopuszczamy caªe spektrum pomi dzy 0 i 1. Interpretacja jest taka,»e interesuj ce nas zdania nie traktujemy jako pewne (typu: czªowiek maj cy 65 lat jest stary nie zawsze b dzie prawdziwe, zale»y od czªowieka który je wypowiada). Denicje operacji s nast puj ce: pandq = min(p, q), porq = max(p, q), NOT p = 1 p, psubq = max(p q, 0). Zadanie 1.1. Prosz sprawdzi, czy zachodz analogie klasycznych (na przykªad, czy zdanie por(n OT p) ma zawsze warto± logiczn 1). Operacje na zbiorach rozmytych s konsekwencjami logiki rozmytej. wbudowana w IDP lena = ReadImage ( " lena. png" ) ; pep=readimage ( " peppers. png" ) ; lena=rgb2gray ( lena ) ; pep=rgb2gray ( pep ) ; ShowImage (min( lena, pep ), " p r z e c i e c i e " ) ; ShowImage (max( lena, pep ), "suma mnogosciowa" ) ; 1.5 Splot Splot jest analogiczn operacj do morfologicznych operacji przy pomocy elementu strukturalnego. s p l o t l i c z o n y z d e f i n i c j i function Wynik=Splot ( Obraz, maska ) 8

10 (a) (b) Rysunek 1.3: Rozmyte przeci cie i suma mnogo±ciowa. [ m, n ] = size ( maska ) ; maska mxn, m i n n i e p a r z y s t e rm = int ( m /2) ; rn=int ( n /2) ; promienie masek [ M, N ] = size ( Obraz ) ; obraz M wierszy i N kolumn Wynik = zeros ( M+m 1,N+n 1) ; for i= rm : rm for j= rn : rn Wynik=Wynik+PadImage ( Obraz, 0, rm i, rm+i, rn+j, rn j ) maska ( i+rm+1,j+rn+1) ; Wynik=Wynik(1+rm : $ rm,1+ rn : $ rn ) ; function im=imread ( "C: \ Users \ Jacek \AppData\Roaming\ S c i l a b \ s c i l a b 5.3.3\ atoms\sivp\ \ images \ lena. png" ) ; Obraz=rgb2gray ( im2double ( im ) ) ; imshow ( Obraz ) ; operacja rozmywania maska = [ 1, 1, 1 ; 1, 1, 1 ; 1, 1, 1 ] ; maska=maska/sum( maska ) ; Wynik=Splot ( Obraz, maska ) ; imshow ( Wynik ) ; imwrite ( Wynik, " [ 1, 1, 1 ; 1, 1, 1 ; 1, 1, 1 ]. png" ) ; operacja gradientu pochodnej maska =[ 1, 2, 1;0,0,0;1,2,1]; Wynik=Splot ( Obraz, maska ) ; imshow ( Wynik ) ; imwrite ( Wynik, " [ 1, 2, 1;0,0,0;1,2,1]. png" ) ; operacja wyostrzania : obraz + l a p l a s j a n maska =[0, 1,0; 1,5,1;0, 1,0]; Wynik=Splot ( Obraz, maska ) ; imshow ( Wynik ) ; imwrite ( Wynik, " [0, 1,0; 1,5,1;0, 1,0]. png" ) ; f i l t r Sobela moduˆ gradientu maska =[ 1, 2, 1;0,0,0;1,2,1]; Wy=Splot ( Obraz, maska ) ; Wx=Splot ( Obraz, maska ) ; transponowanie Wynik=abs ( Wx )+abs ( Wy ) ; M=max( Wynik ) ; W=Wynik/M ; imshow ( W ) ; 9

11 imwrite ( W, " Sobel. png" ) ; przyklad uzycia wbudowanego f i l t r a w SIVP dziaˆ a na kazdym kanale z RGB osobno f i l t e r = fspecial ( " s o b e l " ) ; imf = imfilter ( im, f i l t e r ) ; imshow ( imf ) ; 10