BADANIE I WNIOSKOWANIE DIAGNOSTYCZNE

Transkrypt

1 BADANIE I WNIOSKOWANIE DIAGNOSYCZNE WYBRANE ZAGADNIENIA Praca zborowa pod redakcją naukową adeusza DĄBROWSKIEGO Warszawa 203

2 Opnodawcy prof. dr hab. nŝ. Jerzy LEWIOWICZ prof. dr hab. nŝ. Andrzej MICHALSKI Redakcja naukowa: dr hab. nŝ. adeusz DĄBROWSKI Wojskowa Akadema echnczna, Wydzał Elektronk Autorzy: Rozdzał dr nŝ. Potr BOJAR prof. dr hab. nŝ. Macej WOROPAY Rozdzał 2 dr hab. nŝ. adeusz DĄBROWSKI Unwersytet echnologczno-przyrodnczy, Wydzał InŜyner Mechancznej WyŜsza Szkoła echnk Przedsęborczośc we Włocławku Wojskowa Akadema echnczna, Wydzał Elektronk Rozdzał 3 dr hab. nŝ. Andrzej P. DOBROWOLSKI dr nŝ. Jacek JAKUBOWSKI mgr nŝ. Ewelna MAJDA mgr nŝ. Jolanta PACAN mgr nŝ. Mchał WIŚNIOS Rozdzał 4 prof. dr hab. nŝ. Jerzy GIRLER Rozdzał 5 dr nŝ. Marek KUCHA Rozdzał 6 prof. dr hab. nŝ. Henryk YLICKI Rozdzał 7 dr nŝ. Jacek WOJAS Wojskowa Akadema echnczna, Wydzał Elektronk Wojskowa Akadema echnczna, Wydzał Elektronk Wojskowa Akadema echnczna, Wydzał Elektronk Wojskowa Akadema echnczna, Wydzał Elektronk Wojskowa Akadema echnczna, Wydzał Elektronk Poltechnka Gdańska, Wydzał Oceanotechnk Okrętownctwa Wojskowa Akadema echnczna, Wydzał Elektronk Państwowa WyŜsza Szkoła Zawodowa w Ple Wojskowa Akadema echnczna, Instytut Optoelektronk Copyrght by Instytut Systemów Elektroncznych Wydzał Elektronk Wojskowej Akadem echncznej Warszawa 203 ISBN Publkacja zakwalfkowana do druku bez poprawek edytorskch Redakcj Wydawnctw WA Projekt okładk: Barbara Chruszczyk Skład komputerowy: mgr nŝ. Jolanta Pacan, mgr nŝ. Mchał Wśnos Wydawca: Wojskowa Akadema echnczna Druk: BEL Studo Sp. z o.o., ul. Powstańców Śląskch 67b, Warszawa Warszawa 203

3 Sps treśc WSĘP BEZPIECZEŃSWO PROCESU RANSPOROWEGO W ŚWIELE RÓŻNORODNYCH WYMUSZEŃ..... Wstęp Bezpeczeństwo dzałana systemów transportowych Identyfkacja czynnków oddzałujących na systemy transportowe Obekt badań Algorytm oceny bezpeczeństwa dzałana systemu mejskej komunkacj autobusowej Podsumowane POENCJAŁOWE KRYERIA BEZPIECZEŃSWA SYSEMU EKSPLOAACJI Wstęp Charakterystyka systemu bezpecznoścowego Potencjałowe mary krytera zdatnośc bezpecznoścowej Wnoskowane użytkowo-bezpecznoścowe w oparcu o trajektore potencjałowe Ilustracja bezpecznoścowego wnoskowana dagnostycznego Podsumowane PRZEWARZANIE WYBRANYCH DANYCH BIOMERYCZNYCH NA PORZEBY IDENYFIKACJI OŻSAMOŚCI Wprowadzene Rozpoznawane twarzy Rozpoznawane głosu Demonstrator technolog multbometrycznego systemu rozpoznawana osób Podsumowane MEODA OCENY DZIAŁANIA MASZYN Z ZASOSOWANIEM DIAGNOSYKI ECHNICZNEJ Wstęp Dzałane maszyn w ujęcu determnstycznym Dzałane maszyn w ujęcu probablstycznym Dagnostyka maszyn w aspekce ch dzałana Zastosowane procesów stochastycznych do opsu dzałana maszyn Podsumowane MODELOWANIE WYBRANYCH UKŁADÓW BIOMECHANICZNYCH Wstęp Modelowane układów bomechancznych... 32

4 5.3. Modele fzyczne układów bomechancznych Modele matematyczne układów bomechancznych Wnosk końcowe GENEZOWANIE SANU MASZYN SZACOWANIE PRZYCZYN USZKODZEŃ Wstęp Charakterystyka zagadnena Budowa procedur genezowana stanu Przykład Podsumowane ZASOSOWANIE SPEKROSKOPII ABSORPCYJNEJ W PODCZERWIENI DO WYKRYWANIA BIOMARKERÓW CHORÓB W LUDZKIM ODDECHU Spektroskopa absorpcyjna w podczerwen Wybrane bomarkery chorób wykrywane w oddechu człoweka Układy do spektroskop absorpcyjnej Spektroskopa strat we wnęce optycznej Projekt systemu do wykrywana bomarkerów Podsumowane... 97

5 ROZDZIAŁ 3 PRZEWARZANIE WYBRANYCH DANYCH BIOMERYCZNYCH NA PORZEBY IDENYFIKACJI OŻSAMOŚCI Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS W nnejszym rozdzale zaprezentowano wybrane zagadnena z obszaru techncznych systemów multbometrycznej dentyfkacj osób. Autorzy skoncentrowal sę na charakterystyce współczesnych algorytmów przetwarzana obrazu twarzy mowy, które stanową podstawę procedur rozpoznawana w warunkach nskego stopna współpracy badanej osoby. W kolejnych podrozdzałach przedstawono deę holstycznego lokalnego algorytmu rozpoznawana twarzy, autorską metodę ekstrakcj cech sygnału głosu opartą na analze cepstralnej, metodykę ch selekcj oraz odległoścowy algorytm klasyfkacj. W zakończenu zaprezentowano prototypowy demonstrator systemu wykorzystującego omówone metody przetwarzana. 3.. Wprowadzene Bometra jest nauką zajmującą sę matematyczno-statystycznym badanam zmennośc populacj organzmów żywych oraz pomaram ch merzalnych cech, która znajduje szeroke zastosowane w problematyce komputerowego rozpoznawana lub weryfkacj tożsamośc. Metody bometryczne bazują na unkatowych cechach organzmu ludzkego, które charakteryzują sę ndywdualnoścą, powszechnoścą, wysoką nezmennoścą pod wpływem czynnków takch, jak wek czy stan psychofzyczny człoweka oraz merzalnoścą, czyl łatwoścą oceny loścowej. Organzm człoweka wykazuje wele właścwośc spełnających w zadowalającym stopnu powyższe założena. Dużą zaletą bometrycznych metod rozpoznawana weryfkacj tożsamośc jest fakt, że analzowanych w procese rozpoznana cech ne można ukraść, zgubć an w wększośc przypadków podrobć w sposób łatwy opłacalny fnansowo. Ze względu na rodzaj analzowanej cechy technk bometryczne dzelą sę na dwe zasadncze grupy. Perwsza obejmuje metody wykorzystujące cechy fzjologczne, tzw. genotypowe, spośród których najbardzej rozpowszechnone są lne paplarne, obraz twarzy, tęczówka oka czy kod DNA. Druga grupa bazuje na cechach behaworalnych, tzw. fenotypowych, które są wzorcam ndywdualnych zachowań nabytych przez człoweka w procese wzrostu. Przykładam tego typu cech są: charakter psma odręcznego, ruchy gałk ocznej głos, którego charakter jest zależny zarówno od budowy narządów aparatu głosowego, jak nabytego w dzecństwe sposobu wytwarzana dźwęku. Oprócz oczekwanej wysokej warygodnośc dzałana systemu bometrycznego nemnej stotna jest akceptowalność sposobu pobrana danych do analzy. W welu praktycznych zastosowanach stneje slna potrzeba realzacj koncepcj badana przesewowego przeprowadzanego w trybe on-lne. Najlepszym materałem do tego celu, ze względu na brak konecznośc współdzałana podmotu poddawanego dentyfkacj coraz lepsze uzyskwane warygodnośc, jest zarejestrowany obraz twarzy. Wstępne wskazana badana przesewowego bazującego na jego analze mogą być wówczas uzupełnane analzą wymagającą pewnego prostego współdzałana, czyl np. 5

6 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS analzą głosu. Ostateczne rozstrzygnęce, celem zmnejszena do zera nepewnośc decyzj, jest możlwe z wykorzystanem pozostałych wysoko warygodnych, choć bardzej nwazyjnych czasochłonnych metod, jak np. rozpoznawane na podstawe odcsków palców /lub kodu DNA. Ze względu na powyższe uwarunkowana nnejszy materał przedstawa aktualny stan wedzy w zakrese rozpoznawana tożsamośc na podstawe analzy obrazu twarzy głosu oraz krótką prezentację demonstratora ch praktycznej mplementacj Rozpoznawane twarzy W przedmotowym zadanu dentyfkacj tożsamośc na podstawe obrazu twarzy, występuje koneczność sprostana lcznym wymaganom. Należy przede wszystkm pamętać, że twarz jest obektem trójwymarowym, którego dwuwymarowa projekcja stanow tylko pewnego rodzaju przyblżene. Jako główne powody ogranczana efektywnośc dzałana wększośc metod rozpoznawana tożsamośc na podstawe statycznego obrazu twarzy, można wymenć następujące czynnk: Zmenne ośwetlene twarzy skutkujące zmaną danych do analzy, tworzonych z macerzy jasnośc pksel. Różne ustawena twarzy względem kamery, która zazwyczaj jest urządzenem stacjonarnym ne może zmenać swojej pozycj w dowolny sposób, natomast ustawene dentyfkowanej osoby może być całkowce przypadkowe jeżel procedura uwerzytelnana ma odbywać sę bez jej wedzy. Mmka twarzy, która jest odzwercedlenem emocj stanu psychofzycznego człoweka. Stanow ona poważny problem dla wszystkch technk rozpoznawana twarzy, gdyż nawet najmnejsza zmana wyrazu twarzy zauważalna dla oka ludzkego może powodować znaczącą zmanę wektora cech opsującego dwuwymarowy obraz. Przesłonęce częśc twarzy, które powoduje dwojakego rodzaju trudnośc. Po perwsze dodaje do obrazu nowy element tak, jak np. okulary, fryzura lub makjaż, co w sposób oczywsty wpływa na postać wektora cech, a po druge może elmnować z obrazu ważną z punktu wdzena wykorzystywanej metody rozpoznawana twarzy cechę. Zasłonęce ust, nosa czy oczu może całkowce unemożlwć przeprowadzene poprawnej dentyfkacj przy zastosowanu metod, które bazują na cechach antropometrycznych. Na przestrzen lat były konstruowane testowane różne stratege ekstrakcj wykorzystana uzyskanych cech obrazu twarzy w procese rozpoznawana tożsamośc []. Stosowane początkowo podejśca geometryczne [2], zwane też analtycznym zostały zastąpone rozpowszechnonym współcześne metodam holstycznym (całoścowym), które traktują obraz jako macerz wartośc poddawaną transformacj do postac welowymarowego wektora cech [3] lub też metodam meszanym, które ze względu na mnogość stosowanych technk trudno jednoznaczne zaszeregować do jednej z powyższych kategor. Jedna z metod całoścowych, jako klasyczna, stała sę podstawą do opracowana algorytmów rozpoznawana na potrzeby zaprezentowanego w dalszej częśc demonstratora. Jednocześne jako alternatywę zaproponowano użyce rozwjanych w ostatnch latach [4] w obszarze wdzena maszynowego, nowoczesnych metod przetwarzana obrazów bazujących na detekcj opse lokalnych wyróżnonych punktów obrazu, zwanych punktam charakterystycznym. Ze względu na sposób uzyskwana, deskryptory takch punktów cechują sę wysokm stopnem odpornośc na obrót obrazu, zmanę skal, położena do pewnego stopna perspektywy. Dzęk temu znajdują one zastosowane w synteze zdjęć panoramcznych lotnczych [5], orentowanu 52

7 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc przestrzennym urządzeń moblnych [6] wyszukwanu znanych wzorców w obrazach cyfrowych, w tym wzorców obrazów twarzy [7-8]. Z uwag na fakt, że wyznaczane deskryptorów cech lokalnych jest dość nową metodą przetwarzana, znaną jak na raze jedyne z publkacj naukowych, w nnejszym opracowanu pośwęcono jej znaczne węcej mejsca w stosunku do podejśca klasycznego, które zostało potraktowane jako odnesene Charakterystyka metod holstycznych na przykładze algorytmu twarzy własnych ransformacja PCA jako generator cech charakterystycznych W ogólnym przypadku dane wejścowe dla przekształcena PCA to welowymarowy wynk eksperymentu zbór N p-wymarowych realzacj (wektorów), które w praktyce reprezentują welowymarową zmenną losową X [ X... X ] p X 2 () (2) ( N ) x x... x () (2) ( N ) x2 x2... x2 (3.2.) () (2) ( N ) x p x p... x p Górny ndeks w powyższej zależnośc wskazuje na numer wynku eksperymentu, a dolny jest wskaźnkem współrzędnej. W danych tych możlwe jest występowane korelacj pomędzy współrzędnym x, x 2,, x p, która jest dowodem na nadmarowość w opse eksperymentu za ch pomocą. Ideą analzy PCA jest znalezene takej macerzy przekształcena, aby wyjścowy zbór danych tworzący macerz Y, złożony z kolumnowych wektorów y () : () (2) ( N ) () (2) ( N ) y y... y x x... x () (2) ( N ) () (2) ( N ) y2 y2... y2 x2 x2... x2 (3.2.2) () (2) ( N ) () (2) ( N ) y p y p... y p x p x p... x p charakteryzował sę występowanem braku korelacj pomędzy współrzędnym oraz aby współrzędne te były uporządkowane malejąco ze względu na warancję. Wymagana na dane wyjścowe można zatem opsać ch macerzą kowarancj s s S y (3.2.3) s pp w której dodatkowo zachodz s s22... s pp (3.2.4) Oznacza to, że w danych wyjścowych kowarancja dla każdej z par współrzędnych jest zerowa (stneją tylko nezerowe warancje na przekątnej macerzy S y ). Warunek (3.2.4) oferuje możlwość odrzucena ostatnch współrzędnych danych wyjścowych, gdyż ze względu na możlwą małą warancję charakteryzują sę one małą zmennoścą jako take ne zawerają znaczącej nformacj. Przekształcene PCA, po znalezenu macerzy jest węc narzędzem do skutecznej kompresj danych (eksperyment może być opsywany za pomocą mnejszej lośc współrzędnych bez znaczącej utraty nformacj), która, jak sę okaże, jest zbeżna z procesem generacj cech charakterystycznych. 53

8 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS 54 Procedurę wyznaczena macerzy przekształcena można formalne zamknąć w trzech krokach: ) wyznaczene macerzy kowarancj danych wyjścowych N x N ) )( ( ) ( ) ( X x X x S (3.2.5) 2) wyznaczene dla macerzy kowarancj S x następujących elementów: wartośc własnych p λ λ λ, 2,..., oraz ortonormalnych wektorów własnych p t t t, 2,..., spełnających warunk j j j x t t S λ dla j=, 2,, p (3.2.6) oraz j j j dla dla 0 t t (3.2.7) Narzędz do wyznaczena wektorów własnych wartośc własnych dostarcza algebra lnowa. 3) utworzene macerzy przekształcena w postac werszowej macerzy wektorów własnych w kolejnośc malejących wartośc własnych: p t t t... 2, p λ λ λ... 2 (3.2.8) Zgodne z zapsem dzałana za pomocą zależnośc (3.2.2), wektory własne w powyższej macerzy tworzą kerunk, na które rzutowane są dane wejścowe. Kerunk te nazywane są kerunkam głównym ( stąd nazwa metody). Uzasadnenem dla powyższego postępowana jest postać macerzy kowarancj danych wyjścowych N y N ) )( ( ) ( ) ( Y y Y y S (3.2.9) Po dokonanu podstawena ) ( ) ( x y oraz X Y otrzymuje sę x N N N N y N N N N S X x X x X x X x X x X x X x X x S ] ) )( ( [ ) )( ( )] ( )[ ( ) )( ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( (3.2.0) Uwzględnając postulowaną postać macerzy przekształcena (3.2.8), ostatne mnożene macerzowe można przeprowadzć następująco ]... ]... p x x x p p x p y t S t S t S t t t t t t S t t t S [... [... (3.2.)

9 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Korzystając z zależnośc (3.2.6) wążącej macerz kowarancj S x z jej wektoram własnym oraz warunku ortonormalnośc tych wektorów (3.2.7), macerz kowarancj danych wyjścowych przyjmuje postać t λ t λ S y [ λ t λ2 t 2... λp t p ] (3.2.2) t p λp Oznacza to, że współrzędne danych wyjścowych będą neskorelowane, a ch warancje są jednocześne wartoścam własnym. Z punktu wdzena przetwarzana obrazów za pomocą PCA stotna jest nterpretacja przekształcena odwrotnego. Z warunku ortonormalnośc (3.2.7) wynka, że macerz odwrotną przekształcena uzyskuje sę na drodze prostej transpozycj I (3.2.3) I (3.2.4) gdze I jest macerzą jednostkową. Stąd odtworzene danych wejścowych na podstawe przekształcena odwrotnego będze przebegać na podstawe następującej formuły ( ) y ( ) p y ( ) ( ) ( ) x Τ y y t t t 2 ( ) [ 2... p ] yk t k (3.2.5)... k ( ) y p Wynka z nej, że każdy wektor danych wejścowych może być wyrażony w postac lnowej kombnacj wszystkch wektorów własnych, w której współczynnkam są kolejne współrzędne wektora danych wyjścowych. W tym sense występuje tutaj pewne podobeństwo do szeregu Fourera dany wynk eksperymentu może być przedstawony w postac sumy pewnej lczby wektorów własnych branych z mnożnkam ( ampltudam ) ustalanym w wynku przekształcena. Różnca polega na tym, że w szeregu Fourera zbór bazowych funkcj, np. funkcj harmoncznych, jest z góry narzucony, a w przekształcenu PCA jest on zależny od posadanego zboru danych wejścowych, który przy zastosowanu PCA w procedurach rozpoznawana można utożsamać ze zborem danych uczących. ransformacja za pomocą macerzy PCA tych nowych przypadków, które są podobne do danych uczących pownna dostarczyć wektora znajdującego sę w poblżu odpowadających m danych wyjścowych. Odrzucene pewnej lczby ostatnch współrzędnych, przy spełnonej własnośc (3.2.4), może wówczas spowodować skuteczne zmnejszene wymaru, czyl generację ogranczonej lczby cech przeznaczonych dla rozpoznawana Metodyka wykorzystana przekształcena PCA w analze obrazów Zastosowane przekształcena PCA do rozpoznawana obrazów w kontekśce powyższej nterpretacj wymaga przeprowadzena przetwarzana wstępnego obrazu o () zapewnającego utworzene wektora, który będze traktowany jak welowymarowy wynk eksperymentu x () w macerzy danych wejścowych, wg zależnośc (3.2.). Sposób realzacj takego przetwarzana wskazano na rys

10 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Rys Schemat wytwarzana wektora na podstawe macerzy. Strzałk symbolzują mejsce zaczepena przeprowadzena operacj rozcągnęca macerzy Wyznaczene macerzy przekształcena wg kroków określonych równanam (3.2.5) (3.2.8) napotyka jednak wówczas na trudne do przezwycężena problemy oblczenowe. Wstępne przetworzene obrazów o wymarach M x M (jak np. newelkego obrazu 00x00) wytwarza bardzo długe wektory o długośc M 2 elementów. Wymagana do znalezena wektorów własnych macerz kowarancj będze meć wówczas wymary M 2 x M 2, co sprawa, że neodzowne staje sę take przeformułowane problemu, aby możlwe było zastosowane algorytmów algebry lnowej w sposób efektywny oblczenowo. Podstawą do nego jest własność dekompozycj na wektory własne wartośc własne, zgodne z którą przy lczbe danych wejścowych (lczbe obrazów) N mnejszej od wymaru przestrzen M 2, lczba wektorów, z którym stowarzyszone są nezerowe wartośc własne wynos ne M 2, ale (N ). Problem ch wyznaczena można wówczas zredukować do problemu dekompozycj małej macerzy kowarancj o wymarach N x N [9]. Upraszczając zaps (3.2.5), określający sposób na oblczene macerzy kowarancj, do postac S x A A (3.2.6) N w której A jest kolumnową macerzą M 2 wymarowych wynków eksperymentów z usunętą wartoścą średną X () (2) ( N ) A [( x X) ( x X)... ( x X) ] (3.2.7) można rozważyć stnene macerzy proporcjonalnej do macerzy kowarancj danych transponowanych C A A (3.2.8) N która w sposób naturalny ma wymary N x N, gdze N jest lczbą wektorów. Należy zwrócć uwagę na czynnk normujący (N ), który formalne z uwag na lczbę kolumn M 2 po transpozycj danych pownen wynosć (M 2 ). Ze względu na znacząco zmnejszone w porównanu do S x wymary macerzy C, oblczene dla nej wektorów własnych v wartośc własnych ne stanow problemu. Przemnażając zaps defncyjny dekompozycj macerzy C C v μ v (3.2.9) przez macerz A otrzymuje sę zaps A A A v μ A v (3.2.20) N z którego wynka, że zgodne z (3.2.6) loczyny A v są wektoram własnym macerzy kowarancj S x S A v μ A v (3.2.2) x 56

11 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc A zatem, po neskomplkowanym numeryczne wyznaczenu wektorów własnych v małej macerzy kowarancj stneje możlwość równe łatwego wyznaczena poszukwanych wektorów własnych N ( k ) l A v v ( k) ( x X) (3.2.22) k które dla zachowana własnośc (3.2.7) należy unormować uzyskując ostateczne wektory ortonormalne składowe macerzy przekształcena PCA dla obrazów l t (3.2.23) l l Pojęce twarzy własnych egenfaces Zgodne z równanem (3.2.22) wektor własny jest lnową kombnacją wektorów uzyskwanych bezpośredno z obrazów twarzy, z których usunęto obraz średn. Jako wektor może być on poddany operacj odwrotnej do operacj przedstawonej na rys dzęk temu dostarczyć obrazu u podobnego do twarzy, który jako obrazowy odpowednk wektora własnego jest nazywany twarzą własną [9]. Na rys przedstawono zestaw 20 fotograf przykładowego zboru uczącego obejmującego po 4 obrazy twarzy dla 5 osób. Rys Przykładowy zbór uczący dla 5 osób. Wymary każdej z fotograf wynos 00 x 00 Zgodne z (3.2.22) operacja wyznaczena twarzy własnych wymaga wykorzystana obrazu twarzy średnej 57

12 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS N ( ) O o (3.2.24) N który dla fotograf z rys pokazany jest na rys Rys Obraz twarzy uśrednonej dla fotograf z rys Zbór twarzy własnych, wyznaczony na podstawe obrazów z rys przedstawono na rys Istotny jest jego sens fzyczny. Z punktu wdzena teor aproksymacj zbór ten stanow bazę (bazę twarzy), na której rozpęta jest przestrzeń orygnalnych danych, gdyż umożlwa perfekcyjną rekonstrukcję każdego z jej elementów w oparcu o przeformułowaną postać zależnośc (3.2.5) N ( ) o ( ) ω k uk O (3.2.25) k ( ) ( ) ( ) ( ) W zależnośc tej wektor ω [ ω ω2... ωn ] jest efektem przekształcena PCA danych orygnalnych może być traktowany jako wektor wag, z którym brane są twarze własne przy rekonstrukcj obrazu. Rys Zestaw twarzy własnych dla zboru fotograf z rys

13 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Przykład takej rekonstrukcj przy malejącej lczbe wykorzystanych twarzy własnych pokazany jest na rys Należy zwrócć uwagę na stnejącą w PCA zdolność do kompresj nformacj rozpoznawalne cechy osobncze odtwarzane są w sposób zadowalający nawet przy n = 5, co oznacza, że przy posadanym zborze twarzy własnych wystarczające jest przechowywane tylko 5 wartośc lczbowych. Rys Rekonstrukcja jednego z obrazów z danych uczących z wykorzystanem malejącej lczby twarzy własnych n Odtwarzane cech osobnczych otwera tym samym możlwość wykorzystana PCA jako efektywnego generatora potencjalnych cech dystynktywnych obrazu twarzy dla systemu rozpoznawana Idea systemu rozpoznawana na podstawe egenfaces Ideę funkcjonowana takego systemu można pokazać na przykładach analzy konkretnych przypadków osób, których obrazy wzorcowe występują w zborze uczącym oraz osób, których obrazów tam ne ma. Jako przypadek nr rozpatrywane jest ujęce osoby nr 5, które ne występuje w zborze uczącym. Na rys przedstawono wynk przeprowadzonej analzy. Obraz będący aproksymacją zdjęca orygnalnego w zadowalający sposób odtwarza cechy osobncze prezentowanej osoby nawet przy użycu tylko 4 twarzy własnych, co przekłada sę równeż na pożądane położene jego cech uzyskanych w wynku PCA w dwuwymarowej przestrzen danych uczących. Iloścowa ocena zgodnośc badanego obektu z poszczególnym klasam może być przeprowadzona metodą mnmalno-odległoścową z wykorzystanem np. odległośc eukldesowej. Jej wynk przedstawone są w tab wskazują, że badany przypadek znajduje sę najblżej obektów tworzących klasę nr 5. Przypadek nr 2 dotyczy osoby, której fotografe ne występują w zborze uczącym. Próba aproksymacj obrazu twarzy tej osoby za pomocą nawet pełnego zestawu twarzy własnych (rys ) ne pozwala na wzualne stwerdzene jej zgodnośc z orygnałem. Punkt odpowadający przypadkow nr 2 w przestrzen cech danych uczących ne wpsuje sę tym samym w obszar zajęty przez próbk uczące którejkolwek z klas, co w sposób loścowy wykazuje rozkład odległośc przedstawony w trzecej kolumne tab Innym słowy system rozpoznawana wskaże obecność osoby neznanej. 59

14 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Rys Obraz (zdjęce po lewej) przypadku nr osoby z klasy 5, jego aproksymacja z wykorzystanem 4 twarzy własnych (zdjęce po prawej) oraz położene wektora cech uzyskanych w wynku transformacj PCA (czarna kropka) w dwuwymarowej przestrzen danych uczących Rys Obraz (zdjęce po lewej) przypadku nr 2 osoby neznanej, jego aproksymacja z wykorzystanem wszystkch twarzy własnych (zdjęce po prawej) oraz położene wektora cech uzyskanych w wynku transformacj PCA (czarna kropka) w dwuwymarowej przestrzen danych uczących Przedstawony na rys przypadek nr 3 wskazuje na słę systemu bazującego na wykorzystanu twarzy własnych, gdyż reprezentuje znekształcene polegające na częścowym przesłonęcu rozpoznawanego obektu (w praktyce mogą to być np. okulary). Znekształcony obraz przedstawa osobę, której fotografe znajdują sę w zborze uczącym w klase 5 próba jego rekonstrukcj, mmo znaczącego ubytku treśc, kończy sę powodzenem. Punkt w dwuwymarowej przestrzen cech znajduje sę w nnym mejscu w porównanu z rys , ale jego stopeń zgodnośc z klasą 5, wyrażony marą odległośc w tab. 3.2., pozostaje dalej bardzo wysok. 60

15 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Rys Obraz (zdjęce po lewej) przypadku nr 3 osoby z klasy 5, jego aproksymacja z wykorzystanem wszystkch twarzy własnych (zdjęce po prawej) oraz położene wektora cech uzyskanych w wynku transformacj PCA (czarna kropka) w dwuwymarowej przestrzen danych uczących Dwa ostatne przypadk odsłanają podstawową wadę prezentowanego podejśca, a manowce brak odpornośc na obrót zmanę skal rozpoznawanego obektu, która wynka z nespełnonego wymogu przestrzennego dopasowana analzowanych obrazów traktowanych jako macerze wartośc. Przedstawone na rys obrazy reprezentują kolejno twarz obróconą oraz zmnejszoną w stosunku do położena rozmarów twarzy ze zboru uczącego. Próby aproksymacj ne odtwarzają cech osobnczych, a odpowadające m punkty w przestrzen cech ne wykazują pożądanego stopna zgodnośc badanego obektu z klasą 5. Rys Obraz (zdjęce po lewej) przypadku nr 4 osoby z klasy 5, jego aproksymacja z wykorzystanem wszystkch twarzy własnych (zdjęce po prawej) oraz położene wektora cech uzyskanych w wynku transformacj PCA (czarna kropka) w dwuwymarowej przestrzen danych uczących 6

16 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Rys Obraz (zdjęce po lewej) przypadku nr 5 osoby z klasy 5, jego aproksymacja z wykorzystanem wszystkch twarzy własnych (zdjęce po prawej) oraz położene wektora cech uzyskanych w wynku transformacj PCA (czarna kropka) w dwuwymarowej przestrzen danych uczących abela Odległośc eukldesowe rozpatrywanych przypadków do poszczególnych klas w przestrzen 2D. Kolor czerwony to nepoprawne rozpoznane przypadek przypadek 2 przypadek 3 przypadek 4 przypadek 5 klasa klasa 2 klasa 3 klasa 4 klasa Z uwag na przedstawone powyżej skutk wynkające z ogranczeń występujących we wszystkch metodach holstycznych, pożądanym metodam generacj cech dystynktywnych są metody odporne co najmnej na zmanę położena obektu, jego obrót zmanę rozmarów na obraze. eoretyczne możlwe postępowane polegające na wyznaczenu cech obrazów wzorcowych dostępnych w różnych konfguracjach rozmarów, obrotów oraz położeń porównanu ch z cecham badanego przypadku jest jednak postępowanem o wątplwej wydajnośc oblczenowej, równe wątplwym efekce końcowym z tego względu pownno być zastąpone jakoścowo odmenną metodą przetwarzana. Pewne nadzeje można równeż wązać z odpowednm przetwarzanem 62

17 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc wstępnym, kalbrującym położene rozmar twarzy na obraze, ale ne jest to zadanem trywalnym Charakterystyka metod lokalnych na przykładze algorytmu SIF Alternatywne podejśce oferują powstałe w ostatnej dekadze algorytmy dokonujące detekcj opsu otoczena lokalnych punktów obrazu zwanych punktam charakterystycznym, które dzęk temu można wykorzystać do porównywana treśc zawartej na obrazach cyfrowych. Do punktów takch zalcza sę mejsca występowana konfguracj pksel układających sę w pewne specyfczne dla danego obrazu struktury jak np. punkty narożne, skupska, czyl obszary o charakterze cemnych plam na jasnym tle lub odwrotne (tzw. bloby), punkty będące zakończenam ln, punkty występowana obszarów o kształce ltery tp. Najbardzej pożądaną własnoścą algorytmu oferującego detekcję punktów charakterystycznych jest jego powtarzalność, którą można określć jako zdolność do wykrywana tych samych punktów obektu na obraze poddanym elementarnym przekształcenom, takm jak zmana skal, obrót przesunęce, ale nnym jak np. zmana perspektywy czy ośwetlena. Zgodne z teorą Lndeberga [0], detekcję punktów charakterystycznych przeprowadza sę poszukując wartośc ekstremalnych pewnych lnowych lub nelnowych kombnacj pochodnych obrazów. Iloścowy ops punktu charakterystycznego jest opsem welowymarowym zawerającym nformację o rozkładze wartośc gradentu w jego otoczenu. Hstoryczne perwszą z takch metod, oferującą kompletny zestaw przekształceń, jest metoda SIF (ang. Scale Invarant Feature ransform), opracowana przez Davda Lowe z Unwersytetu Brtsh Columba w Kanadze []. Podstawą oblczeń w tej metodze jest reprezentacja analzowanego obrazu w tzw. przestrzen skal, która sama w sobe oferuje potencjalną możlwość opsu obektu nezależne od welkośc jego zobrazowana Przestrzeń skal pramda skal Obekty na obrazach poddawanych analze mogą występować na różnych z góry neznanych pozomach szczegółowośc, warunkowanych odległoścą od urządzena rejestrującego jego rozdzelczoścą, czyl w różnych skalach rys Rys Przykład wdoku obektu w różnych skalach Z uwag na występujący najczęścej w praktyce brak nformacj o rozmarach obektu na obraze, jedynym możlwym podejścem jest rozpatrzene jego reprezentacj za pomocą welu dodatkowych obrazów odpowadających różnym skalom. Obrazy take tworzy sę za pomocą fltracj dolnoprzepustowej, która redukując szczegóły w analzowanym obraze odpowada operacj odsuwana zawartego na nch obektu od rejestratora. Rozwnęta na przełome lat 80-tych 90-tych przez Wtkna, Koendernka Lndeberga teora przestrzen skal [2-4] zakłada, że wykorzystanym do tego fltrem pownen być fltr opsany funkcją Gaussa 63

18 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS 2 2 x y G ( y, ) exp (3.2.26) 2 Otrzymywane obrazów o zmnejszającym sę pozome szczegółowośc może być zrealzowane na drodze operacj dyskretnego splotu obrazu orygnalnego z maskam Gaussa o rosnącym parametrze odchylenu standardowym, które często jest wprost nazywane skalą. Zestawene wszystkch uzyskanych tym sposobem obrazów jest przestrzeną skal rys = = 3 = 0 Rys Przykład konstrukcj przestrzen skal Wymóg użyca fltru Gaussa wąże sę z formalnym spełnenem szeregu aksjomatów nakładanych na przestrzeń skal [4-5], ale wynka w ogólnośc z faktu, że jest to jedyny fltr, który dokonując uproszczena obrazu orygnalnego ne wnos dodatkowych artefaktów polegających na wprowadzanu przy dużych skalach dodatkowych treśc, które ne występują przy skalach mnejszych. Ponadto uzyskwane kolejnych obrazów w przestrzen skal często odbywa sę z teracyjnym wykorzystanem tylko jednego fltru [8]. Splot funkcj Gaussa o parametrze σ z nną funkcją Gaussa o parametrze σ 2 pozostaje dalej funkcją Gaussa, której odchylene standardowe wynese zastąpć fltrację z dużym parametrem d σ 2 2 σ2. Można zatem σ teracyjną fltracją z wykorzystanem jednego fltru o małej wartośc parametru σ m. Bezpośredne wyznaczene przestrzen skal dla zadanego obrazu w szerokm zakrese odchyleń standardowych jest jednak zadanem czasochłonnym praktyczne nemożlwym do realzacj w czase rzeczywstym. Dlatego często stosowanym podejścem jest zastosowane wydajnejszego oblczenowo algorytmu pramdy welorozdzelczej. Pramda taka składa sę z klku tzw. oktaw, z których każda obejmuje sekwencję obrazów uzyskanych w wynku zastosowana fltracj Gaussa, przy czym skala ostatnego obrazu w oktawe jest dwukrotne wększa od skal perwszego. Dwukrotny wzrost parametru oznacza dwukrotne zmnejszene szerokośc wdma Fourera obrazu, co daje możlwość zmnejszena jego wymarów na drodze decymacj, która dostarcza tym samym perwszego obrazu dla kolejnej oktawy rys Zmnejszone wymary obrazów w kolejnych oktawach w sposób znaczący redukują oblczena nezbędne do fltracj. Ustalene jednakowych rozmarów obrazów w oktawach można uzyskać na drodze dodatkowego przepróbkowana. 64

19 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Rys Pramda skal jako wydajna oblczenowo metoda redukcj szczegółowośc obrazu. Obrazy w perwszym werszu (perwsza oktawa) uzyskane w wynku fltracj Gaussa charakteryzują sę skalą kolejno: σ, 2σ, 3σ, 2σ. W oktawe drugej przedstawono obrazy o 2-krotne obnżonej rozdzelczośc odpowadające skalom: 2 σ, 2 2σ, 2 3σ, 4σ Detekcja lokalnych cech obrazu fltry LoG DoG worzene przestrzen skal ne stanow celu samego w sobe. Jest to etap pośredn do wyostrzena punktów charakterystycznych obrazów możlwych do detekcj z wykorzystanem różnych operatorów. Jednym z popularnych operatorów jest detektor skupsk (blobów) oparty na Laplasjane. Sam Laplasjan to odpowednk pochodnej dwuwymarowej dla obrazu traktowanego właśne jako obekt dwuwymarowy I(x)=I(y) jest dla każdej lokalzacj pksela x = (y) sumą drugch pochodnych cząstkowych na kerunkach x y: 2 2 I( y) I( y) L[ I( y)] (3.2.27) 2 2 x y Z uwag na właścwośc drugej pochodnej, Laplasjan charakteryzuje sę uzyskwanem wartośc ekstremalnych w okolcach krawędz obrazu. Poprzedzene Laplasjanu fltracją Gaussa redukuje oczywsty problem złego uwarunkowana zadana oblczena pochodnej w warunkach szumów przy odpowednm doborze skal zapewna jednocześne wykryce ocenę wymaru geometrycznego skupska. Obe operacje są lnowe, co oznacza, że równoważny wynk przetwarzana uzyska sę na drodze splotu obrazu z Laplasjanem fltru Gaussa: L[ G( y, σ )* I( y)] L[ G( y, σ)]* I( y) LoG[ I( y)] (3.2.28) który z tego powodu określany jest fltrem LoG (ang. Laplacan of Gaussan). Właścwośc fltru LoG jako detektora punktu charakterystycznego łatwo prześledzć dla przypadku jednowymarowego, który odpowada wybranu jednej z ln obrazu. Na rys przedstawono efekt splotu drugej pochodnej funkcj Gaussa z parametrem = z dwoma przebegam reprezentującym skupska o dwu różnych rozmarach. Obserwowany przyrost odpowedz fltru LoG występujący w warunkach dopasowana jego szerokośc do rozmarów skupska śwadczy o obecnośc punktu charakterystycznego obrazu w skal reprezentowanej przez parametr. Każde skupsko w obraze charakteryzuje sę pewnym wymaram, a tym samym charakterystyczną dla nego skalą. Stąd jego wykryce w konsekwencj dalszy ops następuje na drodze znalezena ekstremum odpowedz fltru LoG w funkcj skal, czyl na drodze fltracj obrazów z wytworzonej przestrzen skal. 65

20 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Rys Ilustracja de detekcj skupska (blobu) w obraze za pomocą fltru LoG o wartośc parametru zblżonej do wymarów geometrycznych skupska (przyjęto parametru = wymary dwu blobów kolejno ± 3 ± ) Rys Przykład detekcj skupska na podstawe analzy ekstremum odpowedz unormowanego fltru LoG norm przy rosnącym parametrze (rozmary skupska ±4) 66

21 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Ze względu na fakt, że występujące w fltrze LoG dwukrotne różnczkowane funkcj Gaussa zmnejsza jego współczynnk w stopnu / 2, to celem uzyskana możlwośc detekcj punktu charakterystycznego na podstawe ekstremum analzowanego w przestrzen skal, koneczne jest unormowane fltru LoG współczynnkem 2 2 LoG norm [ I( y)] σ LoG[ I( y)] (3.2.29) Dzęk temu zapewnona jest nezmennczość detekcj punktu charakterystycznego względem skal. Na rys przedstawona została przykładowa ewolucja odpowedz unormowanego fltru LoG norm przy rosnącej skal wskazująca na stnene punktu charakterystycznego w skal = 4. W praktyce oblczenowej dzałane fltru LoG aproksymuje sę splotem obrazu z różncą dwu fltrów Gaussa, uzyskując tym samym operator nazywany fltrem DoG (ang. Dfference of Gaussan). Dla określonej za pomocą (3.2.26) funkcj Gaussa zachodz łatwa do sprawdzena zależność: G( y, σ) σ L[ G( y, σ)] (3.2.30) σ w której pochodną można przyblżyć lorazem różncowym dla wartośc k: G ( y, σ) G( y, kσ) G( y, σ) σ L[ G( y, σ)]. (3.2.3) σ kσ σ Oznacza to, że różnca pomędzy dwema funkcjam Gaussa może być w sposób przyblżony wyrażona zależnoścą: 2 G( y, kσ) G( y, σ) ( k ) σ L[ G( y, σ)] (3.2.32) z której wynka, że zgodne z (3.2.29) jest ona proporcjonalna do unormowanego fltru LoG. Konstrukcję fltru DoG jego porównane z flterm LoG przedstawono na rys Rys Idea konstrukcj fltru DoG na podstawe dwu fltrów Gaussa (przyp. = 4 k =.) 67

22 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Wobec lnowośc operacj splotu, operator DoG odpowada odejmowanu obrazów różnących są skalą, które dostarcza obrazu różncowego D(y,): D( y, σ) ( G( y, kσ) G( y, σ)) I( y) (3.2.33) G( y, kσ) I( y) G( y, σ) I( y) Jeżel w wytworzonej do celów deskrypcj punktów charakterystycznych przestrzen skal zostaną zapewnone skale różnące sę mędzy sobą o stały czynnk wyrażony lczbą k, to zgodne z (3.2.32) za pomocą obrazów różncowych D(y,) uzyska sę przyblżene fltracj LoG nezmenncze względem skal. ym samym stosowane dodatkowego kosztownego oblczenowo splotu wyrażonego zależnoścą (3.2.28) staje sę zbędne Stratega detekcj punktów charakterystycznych w algorytme SIF Detekcja potencjalnych punktów charakterystycznych w algorytme SIF polega na wyszukanu punktów występowana blobów w rożnych skalach, co sprowadza sę do znalezena ekstremów w obrazach różncowych D(y,). W tym celu poszczególne punkty obrazu różncowego porównywane są z sąsadującym punktam tego obrazu (8 pksel) oraz obrazów różncowych znajdujących sę powyżej ponżej w przestrzen skal (po 9 pksel w każdym) rys Aby rozważany punkt uznać za ekstremum, jego wartość mus być mnejsza lub wększa od wartośc wszystkch 26 sąsadujących punktów. Rys Ilustracja poszukwana punktów charakterystycznych w obrazach różncowych (kolor czerwony badany pksel, kolor zelony sąsedne pksele w przestrzen skal) Welkoścą zwracaną przez powyższą procedurę jest położene ekstremum oraz skala, w której zostało ono wykryte. Pokryce wymaganego zakresu skal zapewna w algorytme SIF specyfczna dla nego konstrukcja pramdy welorozdzelczej. Zakłada sę w nej wytworzene w każdej oktawe pewnej lczby (s+) obrazów. Z punktu wdzena aproksymacj fltru LoG za pomocą DoG skale kolejnych obrazów pownny różnć sę o stały czynnk k, np. dla perwszej oktawy:, k, k 2, k 3,..., 2. Oznacza to, że mus zachodzć ( < k < 2) s k k... k σ k σ 2σ (3.2.34) s razy s / s skąd wynka, że k 2 oraz k 2. Po wytworzenu wszystkch obrazów w perwszej oktawe następuje decymacja obrazu o skal 2 na jego podstawe wytworzene drugej oktawy ze skalam: 2, k2, k 2 2, k 3 2,..., 4. Kolejna oktawa tworzona jest na podstawe obrazu o skal 4 td. Wobec konecznośc uzyskana detekcj punktów charakterystycznych we wszystkch skalach (wg metody z rys ) stotne jest, aby obraz różncowy D(y,) odpowadający danej skal był stowarzyszony z dwoma obrazam o sąsednch skalach ale o tej samej rozdzelczośc. 68

23 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Rys Konstrukcja pramdy skal w algorytme SIF. 69

24 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Przy tworzenu klasycznej pramdy powstane węc przypadek, w którym obraz różncowy w skal 2 z oktawy perwszej ne będze stowarzyszony z obrazem w skal k2 w tej samej rozdzelczośc. Jednocześne w oktawe drugej dla obrazu różncowego w skal k2 ne będze stnał obraz różncowy w skal 2 o tej samej zredukowanej rozdzelczośc. Z powyższych względów w algorytme SIF zastosowano oktawy rozszerzone o 2 dodatkowe obrazy, które umożlwają wyznaczene brakujących obrazów różncowych. Strukturę tak skonstruowanej pramdy skal algorytmu SIF przedstawono na rys Ustalona eksperymentalne [] w algorytme SIF wartość s = 2 (czyl k = 2 ) okazuje sę być wystarczająca z punktu wdzena powtarzalnośc detekcj punktów charakterystycznych obrazów poddawanych transformacjom, a w dodatku daje możlwość zastosowana fltracj teracyjnej jednym fltrem Gaussa z parametrem. Ze względu na powtarzalność detekcj optymalną wartoścą tego parametru jest.6 []. Lokalzacja ekstremów w przestrzen skal dostarcza potencjalnych kandydatów na punkty charakterystyczne. Wele spośród nch jest punktam nestablnym z punktu wdzena powtarzalnośc detekcj. Celem odrzucena punktów o nskm kontraśce (a przez to podatnych na dzałane szumu), dokonuje sę wśród nch selekcj bazującej na nterpolacj trójwymarowej funkcj D(y,) wokół potencjalnego punktu charakterystycznego. Interpolacja umożlwa detekcję ekstremum z rozdzelczoścą subpkselową na drodze oblczena przyrównana do zera jej pochodnej. Pozwala jednocześne na odrzucene tych potencjalnych punktów, dla których jej moduł, jako moduł nterpolowanego obrazu różncowego, przyjmuje małe wartośc, czyl punktów o małym kontraśce. Celem odrzucena punktów występujących na krawędzach (mających małą powtarzalność określana lokalzacj z tytułu podobeństwa do nnych punktów krawędzowych) badany jest stopeń zakrzywena obrazu różncowego za pomocą macerzy drugch pochodnych [] Nezmennczość algorytmu SIF względem obrotu Każdemu z wyselekcjonowanych punktów charakterystycznych (autor metody określa je też manem punktów kluczowych) przypsuje sę tzw. orentację, czyl kerunek względem którego w kolejnym kroku sformułowany będze loścowy ops otoczena danego punktu. Orentacja ta pownna zmenać sę wraz z obrotem, pozostawając tym samym ops otoczena nezmennym względem tego przekształcena. Jako orentację w algorytme SIF przyjęto domnujący kerunek gradentu występujący w otoczenu punktu charakterystycznego, który określa sę na podstawe tzw. hstogramu orentacj. Wykryta na etape detekcj punktu charakterystycznego skala wskazuje na obraz L(y) w przestrzen skal, dla którego przeprowadzane są oblczena. Dla dowolnego punktu obrazu w tej skal ampltuda m(y) oraz kerunek θ(y) gradentu mogą być wyznaczone na podstawe różncy wartośc pksel: 2 2 m ( y) [ L( x, y) L( x, y)] L( y ) L( y )] (3.2.35) L( y ) L( y ) ( y) arctg (3.2.36) L( x, y) L( x, y) Zestawene lokalnych wartośc modułu oraz kerunku gradentu dla przykładowego punktu charakterystycznego wykrytego w obraze różncowym przedstawono na rys

25 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc D(y,) I(y,) Rys Zobrazowane gradentu obrazu w otoczenu punktu kluczowego: A obraz różncowy w skal z zaznaczonym kolorem czerwonym punktem kluczowym, B powększony obraz różncowy w otoczenu punktu kluczowego, C fragment obrazu z przestrzen skal, odpowadający obrazow różncowemu B z nanesonym wartoścam kerunkam gradentu (zaznaczone na obraze C ose stanową odnesene dla kerunku) Hstogram orentacj dla danego punktu wytwarzany jest na podstawe gradentu w obszarze wycętym za pomocą dwuwymarowego okna Gaussowskego o szerokośc.5 raza wększej od aktualnej skal rys Hstogram ten posada 36 przedzałów o szerokośc 0º, co daje 360º, czyl cały możlwy zakres orentacj. Wysokość słupków hstogramu jest sumą zmodyfkowanych za pomocą wspomnanego okna wycnającego modułów gradentów przypadających na dany przedzał kerunku. Jego postać dla analzowanego na rys przypadku przedstawono na rys moduł gradentu okno wycnające wycęty moduł = Rys Sposób modyfkacj wartośc modułu gradentu branych do oblczeń hstogramu Jako domnujący kerunek traktuje sę ten, dla którego wygładzony hstogram przyjmuje wartość maksymalną. Metoda dopuszcza też wytworzene dodatkowych kerunków jeśl w hstograme znajdą sę lokalne maksma o wysokośc co najmnej 80% maksmum globalnego. Stąd możlwe są przypadk występowana klku punktów kluczowych w tej samej lokalzacj, ale o różnych orentacjach. Każdy z nch będze oczywśce, z uwag na różną orentację, opsywany za pomocą nnych deskryptorów. Autor metody szacuje, że występowane welokrotnych orentacj dotyczy ok. 5% punktów kluczowych []. 7

26 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Rys Hstogram orentacj dla punktu kluczowego z rysunku Ops otoczena punktu kluczowego Przedstawone powyżej operacje przypsują wykrytemu punktow charakterystycznemu obrazu jego położene, charakterystyczną skalę oraz orentację. Krok kolejny to wyznaczene wysoce dystynktywnego opsu otoczena takego punktu. Celem uzyskana możlwe dużej odpornośc opsu na zmany ośwetlena oraz zmany kerunku obserwacj obektu, w algorytme SIF zastosowano wektor zawerający wartośc gradentu w otoczenu punktu kluczowego. Wektor ten tworzony jest na podstawe okna deskryptora, będącego kwadratowym wycnkem obrazu z pramdy odpowadającego skal wykrytego punktu. Okno to reprezentuje obszar o wymarach 6x6 pksel. W okne oblczane są kerunk moduły gradentu, przy czym dla zmnejszena wpływu punktów odległych są one mnożone są przez wagowe okno Gaussa o parametrze równym połowe szerokośc okna deskryptora rys Dla zmodyfkowanych w ten sposób wartośc modułu gradentu w każdym z 6 podobszarów o wymarach 4x4 wyznaczany jest hstogram orentacj na zasadach stosowanych przy wyznaczanu orentacj punktu kluczowego. Istnejąca różnca polega jedyne na podzale kąta pełnego na 8 przedzałów, w których sumowane są odpowadające m moduły gradentu. Rys Przyjęta w algorytme SIF postać okna deskryptora kwadratowy obszar podzelony na podobszary o wymarach 4x4 obejmujące wartośc lokalnego gradentu. Zelony okrąg przedstawa wagowe okno Gaussa 72

27 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Deskryptor punktu kluczowego tworzony jest przez wysokośc słupków wszystkch 6 hstogramów orentacj. Zważywszy na fakt, że każdy z nch obejmuje 8 kerunków, uzyskuje sę dzęk temu wektor o długośc 68=28 elementów. Dobór powyższych wartośc wymaru lczby podobszarów oraz lczby przedzałów dla wyznaczena hstogramu jest podyktowany wynkam eksperymentalnym []. Celem uzyskana nezmennczośc opsu otoczena punktu kluczowego względem obrotu, należy zapewnć zgodność współrzędnych okna deskryptora, w którym oblczany jest gradent z orentacją punktu kluczowego. Na rys powyższa dea generacj opsu punktu kluczowego przedstawona została dla przypadku pojedynczego punktu analzowanego na rys Powstały ops, z uwag na zastosowane gradentu, który bazuje na różncach pomędzy wartoścam pksel (wzory ) jest dodatkowo odporny na jednorodne zmany jasnośc powstające na skutek dodana do każdego z nch stałej wartośc. Rys Idea opsu otoczena punktu kluczowego za pomocą lokalnych gradentów. Okrąg w kolorze żółtym symbolzuje charakterystyczną skalę obrazu, w której dokonano wykryca deskrypcj punktu kluczowego. Współrzędne okna deskryptora są zgodne z orentacją Jednocześne, celem uwzględnena wpływu zman kontrastu, którego źródłem jest przemnożene wszystkch pksel przez stałą wartość, wynkowy 28-elementowy wektor podlega normalzacj do wektora o jednostkowej długośc. Zmana wartośc pksel na skutek mnożena przez stałą odpowada analogcznej zmane gradentu, która na drodze normalzacj zostaje wyelmnowana Idea systemu rozpoznawana na baze deskryptorów algorytmu SIF Rozpoznawane na podstawe deskryptorów punktów kluczowych zasadza sę na przyjęcu postulatu, że są one cecham dystynktywnym obektów, które opsują w praktyce polega na mnmalno-odległoścowym dopasowanu punktów kluczowych z obrazu wejścowego do punktów obrazu odnesena lub punktów w baze wzorców. Strukturę procedury rozpoznawana twarzy wykorzystującą prezentowany algorytm można przedstawć jak na rys

28 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Referencyjna baza danych Obraz twarzy Ekstraktor cech: algorytm SIF Klasyfkator: metoda najblższych sąsadów Wynk analzy Rys Schemat funkcjonalny procedury rozpoznawana twarzy wykorzystującej algorytm SIF Badany obraz twarzy jest poddawany dzałanu algorytmu opsu cech lokalnych, który pełn rolę ekstraktora cech. Zadane klasyfkacj można rozwązać na podstawe badana charakteru hstogramu przynależnośc punktów kluczowych danego obrazu twarzy do klas osób znajdujących sę w baze. Hstogram tak można utworzyć korzystając z metody najblższego sąsada poprzez przypsane danemu punktow kluczowemu tylko jednego numeru klasy z bazy danych, a manowce tej klasy, która zawera punkt położony najblżej (warant -NN metody k-nn). Ze względu na możlwą różną lczbę punktów kluczowych dla różnych obrazów, hstogram pownen być unormowany do postac wyrażającej częstość względną. Przez częstość względną należy rozumeć lczbę punktów kluczowych sprzyjających danej klase podzeloną przez lczbę wszystkch punktów kluczowych rozpatrywanego obrazu. Częstość względna reprezentuje wartość prawdopodobeństwa a-posteror, że dany obraz twarzy należy do jednej z klas bazy osób znanych. W przypadku, gdy wzorce badanego nowego przypadku znajdują sę w baze, to należy sę spodzewać koncentracj przynależnośc jego punktów kluczowych do jednej klasy. Na rys A przedstawono hstogram dla przypadku, którego rozpoznane z wykorzystanem twarzy własnych zaprezentowane było na rys Rys Porównane hstogramów przynależnośc punktów kluczowych obrazu osoby znanej (A) neznanej (B) do punktów kluczowych zawartych w baze zawerającej dane 5 osób. Lna przerywana oznacza możlwy próg decyzyjny Wzorce obrazów (rys ) znajdują sę w baze danych, dzęk czemu hstogram wykazuje wyraźne maksmum wskazując poprawne na przynależność do klasy 5. Jednocześne, gdy dentyfkacj podlega osoba neznana nepodobna do wzorców klas, to wskazane numerów każdej z nch pownno być jednakowo prawdopodobne. Wynkowy hstogram przynależnośc będze węc tym samym zblżał sę do rozkładu równomernego, jak to przedstawono na rys B, odpowadającym przypadkow z rys Porównane obu typów rozkładów pozwala powołać prosty pojedynczy atrybut różncujący wartość maksymalną hstogramu oraz wyznaczyć próg umożlwający podjęce decyzj. 74

29 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Rozpoznawane w przedstawonych powyżej dwu przykładach osoby znanej neznanej przebega węc poprawne, podobne jak to mało mejsce w algorytme bazującym na twarzach własnych. Zasadncza różnca pojawa sę w przypadkach, w których położene obrazu twarzy na analzowanym obraze ne odpowada położenu twarzy na obrazach wzorców. Z uwag na przedstawony powyżej sposób przetwarzana w metodze SIF, wynkowe deskryptory tworzą wektor cech charakteryzujący sę dużym stopnem nezależnośc od znekształceń występujących w obraze na etape jego rejestracj. Przykład takej nezależnośc przedstawony jest na rysunkach od do dotyczy przypadku operacj obrotu, która dyskwalfkowała metodę twarzy własnych (por. rys ). Należy zwrócć uwagę na wysoką powtarzalność wykryca punktów kluczowych prezentowaną na rys duża ch lość występuje w tych samych lokalzacjach na obrazach obu twarzy. Rys Zestawene położena, skal (wymary okręgów) oraz orentacj (kerunk promen okręgów) punktów kluczowych obrazu orygnalnego (48 wykrytych punktów) obrazu obróconego (47 wykrytych punktów) Na rys przedstawono zestawene tych 26 par punktów kluczowych, dla których wzajemna odległość pomędzy ch deskryptoram jest mnejsza od założonego progu. Porównane deskryptorów wybranych punktów przedstawone na rys wskazuje na uzyskane wysokego stopna nezmennośc ch opsu względem wprowadzonego znekształcena. Dzęk temu lczba punktów kluczowych dopasowana do punktów właścwej osoby z bazy wzorców może być duża dostarczać poprawnego rozwązana zadana dentyfkacj. Podobne wynk uzyskuje sę dla przypadku obrazu o zmenonej skal, dla którego zestawene dopasowana punktów kluczowych do obrazu wzorcowego przedstawone jest na rys Rys Ilustracja dopasowana 26 punktów kluczowych obrazów z rys Ops lczbowy prezentuje numery porządkowe wykrytych w obrazach punktów kluczowych. 75

30 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Rys Porównane 28-elementowych wektorów opsujących dopasowane punkty kluczowe wykryte w obrazach z rys w okolcach nosa (punkty 40 4), oka lewego (punkty 44 44), oraz oka prawego (punkty 22 23). Rys Ilustracja dopasowana punktów kluczowych obrazu orygnalnego z punktam obrazu pomnejszonego abela Wysokośc słupków hstogramów przynależnośc do klas wygenerowane na podstawe metody -NN algorytmu SIF. przypadek przypadek 2 przypadek 3 przypadek 4 przypadek 5 klasa klasa 2 klasa 3 klasa 4 klasa Wynk dentyfkacj przypadków za pomocą algorytmu SIF w przykładowym zadanu rozpoznawana prezentowanym w rozdzale 3.2., gdze zastosowano transformację PCA, zawera abela Przedstawone w nej wysokośc słupków 76

31 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc hstogramu przynależnośc do klas pozwalają na poprawną dentyfkację w każdym z rozpatrywanych przypadków, a węc równeż tam, gdze zastosowane algorytmu twarzy własnych (por. tab. 3.2.) dało nepoprawne wynk Wynk badań porównawczych algorytm PCA vs. SIF Przedstawone w lteraturze badana w obszarze zastosowań metod przetwarzana obrazów w dentyfkacj tożsamośc koncentrują sę w znacznej merze na uzyskwanu coraz nższych pozomów błędów rozpoznawana twarzy ze skończonego zestawu twarzy wzorcowych reprezentujących zamknęty zbór znanych osób, dostępny najczęścej w jednej ze standardowych baz danych, np. FERE, Yale, A& nnych. Praktyczne znaczene metod weryfkowane jest jednak w zadanu, w którym oddzelną klasę stanow klasa osób neznanych gdy jej wzorców, wobec ogromu możlwych przypadków, po prostu ne ma. W nnejszej pracy, fnalna ocena dentyfkacj tożsamośc za pomocą dwu opsanych wyżej podejść, uwzględnająca szerok zakres zmennośc obrazów zmerzająca do opracowana mplementacj dzałających w trybe on-lne algorytmów przetwarzana obrazów, przeprowadzona została w kontekśce takego właśne zadana. Badana przeprowadzono na baze danych powstałej z wykorzystanem elementów demonstratora na etape osągnęca przez nego funkcjonalnośc automatycznej detekcj obrazu twarzy. Baza objęła zbór 82 osób o znanej tożsamośc, dla których zarejestrowano po 20 nezależnych fotograf. Przykłady uzyskanych obrazów przedstawone są na rys Rys Przykładowe obrazy twarzy z bazy danych zarejestrowane opracowanym demonstratorem technolog Zasadnczy problem dentyfkacj w systeme rozpoznawana osób jest problemem klasyfkacj bnarnej badany nowy przypadek należy do bazy danych (np. osób poszukwanych) lub do nej ne należy. Powszechnym narzędzem stosowanym do oceny takego klasyfkatora w zadanych warunkach oraz wyboru progu decyzyjnego są krzywe ROC [7],[3]. W dalszej częśc wykorzystane zostaną standardowe oznaczena lczby przypadków z obu kategor poprawne nepoprawne zaklasyfkowanych, których zestawene zawera tab abela Macerz klasyfkacj stan faktyczny loścowy wynk klasyfkacj Stan faktyczny Osoba neznana (negatve) Osoba znana poszukwana (postve) Osoba neznana lczba R (true reject) lczba FR (false reject) Wynk klasyfkacj Osoba znana (poszukwana) lczba FA (false accept) lczba A (true accept) 77

32 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Przy zastosowanych oznaczenach oszacowanem wartośc prawdopodobeństwa wykryca osoby znanej pod warunkem, że rzeczywśce należy ona do klasy osób znanych będze mara AR (rue Accept Rate), zdefnowana jako A AR (3.2.37) A FR Oszacowanem prawdopodobeństwa fałszywego alarmu, polegającego na stwerdzenu przynależnośc do bazy osób poszukwanych w sytuacj gdy osoba jest neznana będze wartość FAR (False Accept Rate), określona przez FA FAR. (3.2.38) FA R Najczęścej stosowana postać krzywej ROC przedstawa zależność AR od FAR wyznaczoną przy założenu, że próg decyzyjny przyjmuje kolejno wszystke dostępne w eksperymence wartośc atrybutu różncującego, w tym przypadku prawdopodobeństwa. W celu unezależnena otrzymanych wynków od zestawu obrazów użytych w analze, do badań zastosowano mechanzm welokrotnego wykorzystana dostępnych danych obrazowych. W każdym cyklu losowo wyberano osoby, które tworzyły rozłączne klasy osób znanych. Spośród wszystkch obrazów twarzy każdej z tych osób losowano 5, które trafały do referencyjnej bazy danych, natomast pozostałe służyły do przeprowadzena procesu dentyfkacj. Postac przykładowych uzyskanych krzywych ROC dla przypadku gdy w baze znajdują sę obrazy twarzy 40 osób znanych przedstawone są na rys Rys Porównane krzywych ROC w procese klasyfkacj bnarnej przy zastosowanu przetwarzana obrazu za pomocą metody PCA SIF Przedstawony wynk wskazuje na znaczne wyższą efektywność wykorzystana deskryptorów cech lokalnych obrazu w rozpoznawanu w porównanu z metodą twarzy własnych. Przy zapewnenu odpowednej lczby obrazów wzorcowych w baze osób znanych możlwe jest uzyskane błędów rozpoznawana na pozome pojedynczych procent [9] Rozpoznawane głosu Mowa jest naturalnym jednym z najbardzej efektywnych sposobów komunkowana sę ludz z otoczenem. Pod nazwą automatyczne rozpoznawane w odnesenu do mowy meśc sę wele różnych rozwązań techncznych. Ich wspólną cechą jest przetwarzane sygnału mowy za pomocą urządzena cyfrowego w celu wydobyca wymaganych dla konkretnych zastosowań nformacj. 78

33 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Automatyczne rozpoznawane głosów obejmuje dwe zasadnczo różnące sę procedury: dentyfkację weryfkację. Identyfkacja mówcy jest procesem decyzyjnym, polegającym na określenu tożsamośc mówcy wykorzystującym do tego wyłączne właścwośc sygnału mowy (bez deklarowana przez mówcę tożsamośc). Z kole weryfkacja to proces decyzyjny, wykorzystujący cechy sygnału mowy do określena, czy mówca danej wypowedz jest faktyczne osobą, której tożsamość deklaruje. Wynkem weryfkacj jest potwerdzene lub odmowa potwerdzena deklarowanej tożsamośc. Bardzo stotną charakterystyką systemów rozpoznawana mówców jest ch zależność od wypowadanego przez osobę rozpoznawaną tekstu, czyl od ogranczeń narzuconych na materał lngwstyczny wypowedz. Rozróżna sę systemy rozpoznawana mówców zależne od tekstu (ang. text-dependent), w których zawartość lngwstyczna materału trenngowego testowego jest ogólne taka sama oraz nezależne od tekstu (ang. textndependent), gdy zdana testowe różną sę od zdań uczących przynajmnej pod względem kolejnośc słów. W szczególnośc w tym przypadku dopuszcza sę możlwość rozpoznawana mówcy nawet nezależne od języka wypowedz [25] Model generacj sygnału mowy Perwotną podstawową formą, w której rejestruje sę sygnał mowy jest przebeg czasowy. Dzedzna czasu ne jest jednak najwłaścwsza do przeprowadzana dalszych operacj poneważ sygnał mowy charakteryzuje sę w nej bardzo dużą redundancją. Znaczne efektywnejsze z punktu wdzena dalszej analzy jest przetransformowane sygnału do dzedzny częstotlwośc. Jednym z głównych powodów takego podejśca jest próba naśladowana natury, która w toku mlonów lat ewolucj wykształcła organ mowy człoweka, w którym sygnał mowy jest generowany a następne odberany analzowany przez organ słuchu w dzedzne częstotlwośc. W procese generacj sygnału mowy berze udzał głośna oraz trakt głosowy obejmujący w szczególnośc jamę ustną nosową oraz język usta. Zasadnczą rolę w procese mówena ( oddychana) odgrywają fałdy głosowe, często zwane strunam głosowym, a właścwe ch krawędze czyl węzadła głosowe. Szparę pomędzy węzadłam nazywa sę szparą głosową (szparą głośn), a wraz z przyległym fałdam głośną. Podczas spokojnego oddychana oraz w czase artykulacj bezdźwęcznych elementów mowy węzadła są rozsunęte powetrze swobodne przepływa przez szparę głośn. W czase wymawana głosek dźwęcznych węzadła, na skutek dochodzących do nch mpulsów nerwowych, na przeman zwerają sę rozwerają pod naporem sprężanego powetrza. Obserwowana w tym czase gołym okem szpara pomędzy fałdam głosowym jest złudzenem optycznym spowodowanym bezwładnoścą wzroku ludzkego, który ne jest w stane zarejestrować szybko następujących po sobe faz zamykana otwerana głośn. Obserwacja w zwolnonym tempe pokazuje, że węzadła zwerają sę rytmczne aż do pełnego zamykana głośn. Proces generacj dźwęku krtanowego nazywany bywa fonacją (udźwęcznanem). Określająca wysokość głosu lczba cykl zwarć rozwarć węzadeł na sekundę, zależy od ch długośc, grubośc napęca (a te od płc weku). Wysokość głosu, a ścślej jego częstotlwość podstawowa zmena sę w trakce mowy w zwązku z naturalną ntonacją w przypadku głosu męskego wynos średno Hz, a dla głosu żeńskego osąga średną wartość równą Hz [30]. Częstotlwość podstawowa w mowe zmena sę od 60 do 200 Hz u mężczyzn od 80 do 400 Hz u kobet [30]. Strumeń powetrza tłoczony przez głośnę jest modyfkowany w trakce przejśca przez trakt głosowy, którego charakterystyka ampltudowo-częstotlwoścowa charakteryzuje sę klkoma maksmam nazywanym formantam. Częstotlwośc tych maksmów są chwlowym częstotlwoścam rezonansowym traktu głosowego 79

34 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS wynkającym z beżącego stanu procesu artykulacj. Przyjmując, że dla quasstacjonarnych fragmentów mowy trakt głosowy jest układem lnowym nezmennym w czase, sygnał mowy s(t) można przedstawć jako splot mpulsowego pobudzena generowanego w głośn e(t) odpowedz mpulsowej traktu głosowego h(t) s( t) e( t) h( t) (3.3.) Poneważ transformata Fourera równomerne poprzesuwanych mpulsów Draca jest także sumą mpulsów Draca t 0 n t n III (3.3.2) 2 0 m0 ; 0 (3.3.3) m 0 to wdmo dźwęku krtanowego jest cągem mpulsów, przy czym jeśl odstęp mpulsów w dzedzne czasu wynos 0, to odstęp w dzedzne częstotlwośc wynos F 0 = / 0. Przyjęce lnowego modelu traktu głosowego, w którym pobudzene splata sę z odpowedzą mpulsową fltru w dzedzne czasu pozwala w śwetle (3.3.2) (3.3.3) na stwerdzene, że wdmo fragmentów mowy dźwęcznej jest loczynem rozłożonych w odstępe F 0 na os częstotlwośc mpulsów Draca (dealzowane wdmo mpulsów emtowanych z głośn) transmtancj traktu głosowego. Skończony czas otwarca głośn w trakce fonacj uwzględnany jest w rozważanach teoretycznych w postac dodatkowego członu w transmtancj traktu głosowego. Podczas praktycznych badań sygnału mowy, fragmenty sygnału wycnane są za pomocą wybranej funkcj okenkującej, której wdmo splata sę z wdmowym mpulsam Draca w konsekwencj w mejscu spodzewanych mpulsów Draca pojawa sę powelone na każdym z nch wdmo okna, co zlustrowano na rys a) b) Rys Wdmo głosk e wypowadanej głosem męskm: a) okno prostokątne, b) okno Hannnga. Na rys oraz rys przedstawono odpowedno wdma ampltudowe głosk a głosk e wypowadanych przez mężczyznę kobetę. Łatwo zauważyć, a ścśle potwerdzły to przeprowadzone badana wstępne, że na podstawe wdma ampltudowego łatwej jest odróżnć wypowadane głosk nż mówców. Istotną nformacją rozróżnającą mówców jest częstotlwość podstawowa dźwęku, która co oczywste w przypadku porównywana wypowedz mężczyzny kobety może ewentualne posłużyć jako parametr różncujący. Jednak w przypadku porównana np. dwóch mężczyzn jest to nformacja o newelkej użytecznośc, tym bardzej, że częstotlwość podstawowa fluktuuje w takt ntonacj zdana. 80

35 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Na rys oraz wyraźne wdoczna jest okresowość wdma wynkająca z mpulsów dźwęku krtanowego, można węc oblczyć odwrotną transformatę Fourera z modułu wdma na jej podstawe wyznaczyć okres podstawowy pobudzena krtanowego. Poneważ jednak sygnał jest zmodulowany w ampltudze przez funkcję przenoszena traktu głosowego, korzystnej jest wyznaczyć najperw logarytm z modułu wdma, a dopero potem poddać go odwrotnej transformacj Fourera, gdyż w ten sposób multplkatywny zwązek pobudzena traktu głosowego zastąpony zostane zwązkem addytywnym, co znaczne upraszcza późnejszą separację obu składnków. a) b) Rys Wdma głosek a wypowadanych: a) głosem męskm, b) głosem żeńskm; zastosowano okno Hannnga a) b) Rys Wdma głosek e wypowadanych: a) głosem męskm, b) głosem żeńskm; zastosowano okno Hannnga Jedną ze szczególnych metod parametryzacj jest analza cepstralna operająca sę na tzw. technce homomorfcznej. Cepstrum zespolone zdefnowane jest następująco c z t F F xt ln (3.3.4) Poneważ oblczane logarytmu zespolonego wąże sę z komplkacjam wynkającym z konecznośc zapewnena cągłośc fazy, a w przypadku sygnału mowy zasadncza nformacja zawarta jest w ampltudze wdma, w praktyce wyznacza sę najczęścej tzw. cepstrum rzeczywste, formalne zdefnowane następująco c t F Fs t ln (3.3.5) 8

36 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS co dla sygnałów dyskretnych sprowadza sę do postac c n IDF ln DF s n w n (3.3.6) ostateczne N mn j2 N N mn mn j2 j2 N N N c n C m e ln s n w n e e (3.3.7) N m0 N m0 n0 Ze względu na okresowość jądra transformaty Fourera, logarytm z modułu wdma ampltudowego C(m) jest okresowy jednocześne spełna zależność Cm C m CN m (3.3.8) Jest węc funkcją parzystą (symetra względem os rzędnych), a zatem w jego rozwnęcu występują tylko funkcje kosnusodalne (parzyste). Ne ma węc znaczena czy w ostatnm etape zastosuje sę prostą czy odwrotną transformację Fourera, czy po prostu tylko transformację kosnusową. Pozwala to na prostą nterpretację cepstrum rzeczywstego jako wdma zlogarytmowanego wdma ampltudowego [22, 29]. Obserwując wdmo ampltudowe sygnału mowy można łatwo zauważyć, że jest ono złożone z czynnka szybkozmennego wynkającego z pobudzena wolnozmennego, modulującego ampltudy kolejnych mpulsów wynkających z pobudzena. Podobne wygląda nterpretacja logarytmu wdma ampltudowego, przy czym tu składowa wolnozmenna ne wymnaża sę z ampltudam poszczególnych mpulsów pochodzących od pobudzena tylko sę do nch dodaje. Oblczene wdma takego sygnału powoduje, że wolnozmenne przebeg zwązane z transmtancją traktu głosowego są położone blsko zera na os pseudoczasu, a mpulsy zwązane z dźwękem krtanowym zaczynają sę mnej węcej w okolcach okresu sygnału krtanowego powtarzają sę co ten okres. a) b) Rys Moduły cepstrum rzeczywstego głosek a e, a) głosem męskm, b) głosem żeńskm. 82

37 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Cepstra rzeczywste odpowadające wdmom z rys oraz rys przedstawone są na rys Informacja zwązana z transmtancją traktu głosowego jest skupona w okolcy czasu zerowego, a zatem w tym obszarze należy poszukwać zwęzłej nformacj na temat tego co jest mówone. Natomast dla czasów powyżej okresu dźwęku krtanowego nformacja o tym co jest mówone jest zmnmalzowana, pozostaje jedyne czytelna nformacja dotycząca dźwęku krtanowego. Poneważ dźwęk krtanowy zwązany jest ścśle z budową anatomczną krtan głośn, jest wec zarazem dobrym nośnkem nformacj osobnczej. Łatwo zatem zauważyć przydatność cepstrum rzeczywstego do celów rozpoznawana mówcy nformacje o wypowadanej głosce zacerają sę, natomast zarysowuje sę wyraźne zróżncowane w zależnośc od mówcy. Automatyczne rozpoznawane mówcy zwane także automatycznym rozpoznawanem głosów, jest procesem realzującym szereg reguł decyzyjnych na merzalnych cechach sygnału mowy, mających na celu określene czy dana wypowedź należy do określonego mówcy lub zboru mówców. Procedurę rozpoznawana osób można podzelć na trzy etapy (rys ). Blok przetwarzana wstępnego odpowada za odbór sygnału z mkrofonu oraz jego wstępne przetworzene, uwzględnające poprawę jakośc sygnału. W drugm etape następuje analza sygnału mowy, w wynku, której otrzymuje sę wartośc parametrów nosących nformację o ndywdualnych cechach głosu mówcy nezależne od treśc wypowedz. Ostatn etap klasyfkacj dokonuje sę na podstawe podobeństwa uzyskanych parametrów próbek sygnału do ch odpowednków określonych wcześnej (w tzw. procese nauczana) dla poszczególnych osób. Wynkem dzałana systemu jest bnarna decyzja o rozpoznanu mówcy, bądź też jego odrzucenu [24]. Rys Schemat procedury rozpoznawana mówców Baza danych głosowych Punktem wyjśca dla automatycznych systemów rozpoznawana mówcy jest przede wszystkm posadane wzorcowej bazy głosów, która będze wykorzystywana w procese uczena. Aby stworzyć tego typu bazę w perwszej kolejnośc należy sporządzć pewnego rodzaju scenarusz nagrań. Z uwag na to, że zgodne z przyjętym założenam wynkowy system ma być systemem nezależnym od treśc wypowedz, scenarusz pownen zawerać klka różnorodnych wypowedz dla każdego mówcy. Prezentowany materał dotyczy przypadku, w którym na całość scenarusza składały sę 4 teksty. Część I to tekst o charakterze typowego dalogu, jak może być przeprowadzany np. podczas odprawy celnej na lotnsku. Zawarte są w nm typowe pytana o dane osobowe podróżującego, cel podróży czy przewdywaną długość pobytu w danym kraju. Podawane przez badającego 83

38 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS dane są w całośc fkcyjne. Część II to tekst o charakterze ofcjalnym. Część III scenarusza to tekst przygnębający. Ostatną część scenarusza jest tekst o charakterze żartoblwym badany ma za zadane odczytane dowcpu, z charakterystycznym dla każdego mówcy ntonowanem poszczególnych wyrazów. Dzęk zastosowanu otrzymano szereg wypowedz znaczne różnących sę pod względem ntonacj o charakterze zblżonym do spodzewanych wypowedz dentyfkowanych w przyszłośc osób. Całkowta długość wszystkch nagrań wynosła około 4 mnut. Rejestracj czasowych przebegów sygnału akustycznego mowy dokonano w Instytuce Systemów Elektroncznych Wydzału Elektronk WA z zastosowanem mkrofonu dynamcznego Monacor DM-500, karty dźwękowej komputera oraz oprogramowana Matlab. Przestrzenne zmany cśnena akustycznego generowane przez mówcę rejestrowane są w pewnym punkce przestrzen za pomocą mkrofonu, którego zadanem jest zamana cśnena akustycznego na napęce. O warunkach rejestracj decydują charakterystyk mkrofonu przetwornka A/C. Pożądane jest, aby ch jakość była wystarczająco dobra aby elementy te ne mały znaczącego wpływu na strukturę zarejestrowanego sygnału. Podczas badana, odległość mkrofonu od ust osoby mówącej wynosła ok. 0 cm. Dodatkowo mkrofon został wyposażony w osłonę, która zapobegała znekształcenom towarzyszącym syblantom (tzw. głosk śwszczące: s-, sz-, cz-, ć-) głoskom wybuchowym (p-, b-, t). Grupa borąca udzał w dośwadczenu składała sę z 45 mężczyzn 5 kobet. W opsywanych w lteraturze opracowanach stosowane są różne stratege dotyczące wyboru częstotlwośc próbkowana. Mnejsza częstotlwość próbkowana oznacza mnejszą lczbę danych do przetworzena, ale utratę częśc nformacj. Wększa częstotlwość próbkowana z kole oznacza węcej danych nekoneczne lepszą jakość rozpoznawana. Projektując system rozpoznawana mówcy należy znaleźć komproms mędzy wernoścą zapsu sygnału, w kontekśce zachowana cech osobnczych, a loścą danych zajmujących pamęć komputera wpływających na szybkość oblczeń. Badana plotażowe przeprowadzono z sygnałam próbkowanym z częstotlwoścam 4400 Hz, Hz 025 Hz w ch rezultace przyjęto wartość Hz, przy 6-to btowej rozdzelczośc ampltudowej oraz rejestracj jednokanałowej (monofoncznej). Z zarejestrowanego materału badawczego została utworzona baza danych zawerająca dentyfkator mówcy oraz odpowadające mu próbk sygnału akustycznego Przetwarzane wstępne Wstępne przetwarzane sygnału mowy jest bardzo ważnym etapem obróbk danych, poneważ poprzedza wprowadzene sygnału do generatora cech ma fundamentalne znaczene dla jakośc procesu dentyfkacj mówcy. Głównym celem wstępnej obróbk sygnału mowy jest jak najwększe unezależnene zarejestrowanych sygnałów akustycznych od ustaweń sprzętu nagrywającego. Na tym etape przeprowadzana jest fltracja, a także normalzacja, gdyż te dwe procedury w dużym stopnu nwelują różnce wynkające z różnych charakterystyk częstotlwoścowych torów pomarowych oraz z różnych pozomów głośnośc. W aplkacj zastosowano cyfrowy fltr pasmowoprzepustowy o skończonej odpowedz mpulsowej. Zakładając brak znekształceń zakłóceń sygnału pomnęto kweste dotyczące tłumena odbć, zakłóceń szumów. Sygnał mowy jest sygnałem o zmennej w czase strukturze częstotlwoścowej, dlatego parametryzacj poddawane są kolejne fragmenty sygnału, a ne sygnał jako całość. Fragmenty na jake dzelony jest sygnał nazywane są ramkam (rys ). Najczęścej długość ramk t powązana jest z jej przesunęcem (skokem) τ, zależnoścą t (3.3.9) 3 84

39 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Rys Ilustracja przesunęca ramk przedstawono dwa sąsedne położena ramk Jednym z perwszych zadań jest ustalene podstawowego parametru generatora cech długośc ramk. Czasy trwana poszczególnych jednostek fonetycznych są różne zależne od określonego mówcy. Jednostk składające sę z głosek dźwęcznych charakteryzują sę czasem trwana z przedzału od 0 ms do nawet 200 ms [2]. Zakres zmennośc jest węc znaczny decyzja dotycząca wyboru długośc ramk jest nezmerne ważna w projektowanym systeme ASR. Badana dotyczące optymalzacj poszczególnych parametrów generatora cech przedstawone są w kolejnym podrozdzale. Podzał sygnału na ramk powoduje powstawane necągłośc w przetwarzanym sygnale, co wąże sę ze zjawskem przeceku częstotlwośc. Aby zmnmalzować to zjawsko sygnał z każdej ramk należy poddać procesow okenkowana, czyl wymnożena przez odpowedną funkcję okna. Dzęk temu następuje wygładzene necągłośc usunęce z wdma fałszywych składowych. Zastosowano charakteryzujące sę dobrym właścwoścam okno Hammnga 2n w( n) 0,54 0,46cos ; 0 n N (3.3.0) N Ze względu na to, że stotna nformacja zwązana z mówcą nesona przez dźwęk krtanowy zawarta jest w dźwęcznych fragmentach mowy podczas analzy należy brać pod uwagę jedyne ramk dźwęczne. Fragmenty dźwęczne charakteryzują sę regularnym występowanem maksmów (co okres tonu podstawowego), w przecweństwe do fragmentów bezdźwęcznych, które przypomnają sygnał aperodyczny. Klasyfkacja fragmentów sygnału mowy na dźwęczne bezdźwęczne dokonywana jest w systeme za pomocą funkcj autokorelacj. Aby sprawdzć, czy analzowana głoska jest dźwęczna należy wyznaczyć druge stotne maksmum sprawdzć jego pozom (perwsze maksmum występuje oczywśce dla przesunęca zerowego). Jeżel jest ono wększe od pewnej wartośc odnesena p v to dany fragment należy uznać za dźwęczny, w przecwnym przypadku za bezdźwęczny. Ustalene optymalnego progu p v to kolejny fragment procedury optymalzacyjnej opsanej w kolejnym rozdzale. Dodatkowym ogranczenem zastosowanym w systeme przy wyborze tzw. reprezentatywnych dla danego mówcy ramek jest detekcja aktywnośc mówcy. W trakce rejestracj pojawają sę często fragmenty sygnału, podczas których mówca ne jest aktywny. Zastosowane kolejnego parametru odpowadającego za odrzucene ramek tego typu ma na celu przede wszystkm elmnację cszy z nagrana oraz odrzucene ramek będących potencjalne szumem, a węc takch, które mogą powodować błędną ekstrakcje cech. W takm podejścu w perwszej kolejnośc należy określć statystykę sygnału P(n), na podstawe której będze dokonywana selekcja, a następne zastosować kryterum decyzyjne. Zwykle dokonuje sę odnesena wartośc P(n) do pewnego ustalonego progu. 85

40 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS W zależnośc od welkośc na jakej bazuje selekcja, algorytmu jej wyznaczana oraz wartośc progu, wynk selekcj będą różne. Zdecydowano sę oprzeć na wartośc mocy składowej zmennej, czyl na warancj sygnału. Ustalene dodatkowego parametru, jakm jest próg mocy p p było węc kolejnym zadanem optymalzacj welokryteralnej, który opsany został w kolejnym rozdzale Generacja deskryptorów numerycznych Automatyczne rozpoznawane mówcy wymaga stworzena opsu numerycznego sygnału mowy w postac odpowedno zdefnowanych deskryptorów jak najlepej charakteryzujących mówcę. ak wygenerowane cechy lepej lub gorzej opsują głos ludzk pod względem rozróżnana mówców. Po odpowednej selekcj posłużyły one do stworzena wektora cech, na podstawe którego dokonywana jest klasyfkacja (dentyfkacja, weryfkacja). Zdecydowano sę poszukwać cech dystynktywnych uwzględnając zjawska zwązane z wewnętrzną strukturą źródła sygnału mowy. Z punktu wdzena systemu rozpoznawana mówcy najważnejszym etapem jest generacja odpowednego zestawu deskryptorów numerycznych, jak najlepej charakteryzujących rozpoznawanych mówców. Celem parametryzacj sygnału mowy na potrzeby ASR jest take przekształcene czasowego przebegu wejścowego, by uzyskać możlwe małą lczbę deskryptorów zawerających nformacje stotne dla danego mówcy, przy jednoczesnej mnmalzacj ch wrażlwośc na zmenność sygnału nestotną z punktu wdzena ASR. Wyboru tych deskryptorów dokonano kerując sę analzą przedstawonego wyżej procesu generacj mowy poszukując elementów zwązanych z cecham osobnczym. W prezentowanym podejścu generacja cech polega na tworzenu deskryptorów w oparcu o trzy technk wywodzące sę z analzy cepstralnej. W każdej z metod najperw dokonuje sę wstępnej preselekcj cech, a następne fuzj wszystkch wygenerowanych deskryptorów Cechy cepstralne Klasyczna metoda rozplotu cepstralnego, w przypadku analzy pod kątem rozpoznawana mówcy, polega węc na usunęcu nepożądanego składnka poprzez wyzerowane próbek cepstrum dla pseudoczasu w okolcach zera. Wdmo ampltudowe sygnału mowy złożone jest z czynnka szybkozmennego (wynkającego z pobudzena) oraz czynnka wolnozmennego (wynkającego z beżącej konfguracj narządów artykulacyjnych) modulującego ampltudę mpulsowego sygnału pobudzena. Na podstawe wnklwej analzy cepstrum wywnoskowano, że jako cechy charakterystyczne należy wybrać częstotlwość podstawową mówcy, która jest odwrotnoścą perwszego maksmum cepstrum (zerowe maksmum występuje dla zerowej wartośc pseudoczasu) oraz wartośc 4 kolejnych maksmów unormowane do wartośc perwszego maksmum Cechy melcepstralne Najbardzej popularną metodą parametryzacj sygnału mowy jest metoda wykorzystująca współczynnk MFCC (Mel-Frequency Cepstrum Coeffcents). Jest to metoda oparta na analze podpasmowej sygnału fltram pasmowo-przepustowym rozłożonym równomerne na melowej skal częstotlwośc. Istotną różncą tej transformacj jest przelczene wdma ze skal lnowej na skalę melową, która pozwala na uwzględnene nelnowośc postrzegana częstotlwośc dźwęku przez człoweka, jak 86

41 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc równeż na znaczną redukcję danych. Ogólny schemat tej metody pokazany jest na rys [26]. Rys Schemat procedury oblczana współczynnków MFCC Perwszym etapem wyznaczana MFCC jest oblczene dyskretnego wdma kolejnej reprezentatywnej ramk sygnału za pomocą szybkej transformaty Fourera FF. Następne wdmo to jest poddawane fltracj za pomocą fltrów o charakterystykach nsprowanych fzjologą ludzkego słuchu. Ucho człoweka reaguje nelnowo na częstotlwośc odberanego dźwęku. Szczegóły mowy są łatwej wykrywalne w zakrese nskch częstotlwośc (do około khz) nż w zakrese wyższych częstotlwośc słyszalnego spektrum. Wynka z tego, że m wyższa częstotlwość tym gorsza dokładność dla kompensacj tego zjawska nezbędne są szersze pasma. Skala mel została wyznaczona empryczne jest określona zależnoścą [23] f [Hz] f [mel] 27 ln (3.3.) 700 W celu nelnowego przekształcena wdma tworzony jest zbór fltrów dla kolejnych zachodzących w połowe na sebe pasm częstotlwośc, rozmeszczonych równomerne w nelnowej skal mel. Fltry o kształce trójkątnym zdefnowane są w dzedzne częstotlwośc, co pozwala na wyznaczene ch odpowedz jako sumy loczynów modułu wdma przebegu funkcj trójkątnej. Wektor sygnałów z wyjść wszystkch fltrów jest logarytmowany, a następne poddawany dyskretnej transformacj kosnusowej. Otrzymany wektor MFCC ma długość równą lczbe pasm. Na etape generacj cech melcepstralnych zdecydowano sę zastosować 30 fltrów w wynku czego otrzymano 30 cech dystynktywnych, tj. zastosowano 30 fltrów w paśme od zera do połowy częstotlwośc próbkowana. Pojawł sę węc problem ustalena, które z cech MFCC są reprezentatywne jedyne dla wymawanego dźwęku, a które dla samego mówcy. Cechy powązane są z treścą lngwstyczną wypowedz ne pownny być brane pod uwagę podobne jak w przedstawonej wyżej metodze rozplotu cepstralnego należy poszukwać cech o ndeksach wyższych od pewnej wartośc grancznej. Zastosowano węc wstępną preselekcję cech zmnejszając przy tym lczbę elementów wektora MFCC do 7, przy jednoczesnym mnmalzowanu spadku jego reprezentatywnośc, kontrolując wynk w oparcu o analzę PCA. Metodę tę zastosowano z uwag na duży początkowy wymar wstępnego wektora cech MFCC. Zobrazowane 30 wymarowego wektora cech MFCC na płaszczyźne umożlwło sprawną wstępną preselekcję cech, stotnych z punktu wdzena modelowanego generatora cech Ważone cechy cesptralne Inspracja deą metody MFCC spowodowała, że postanowono rozszerzyć wektor cech o kolejne cechy określone w dzedzne cepstrum poprzez zastosowane w podpasmach fltrów sumujących. Opracowany algorytm ne poszukuje samych maksmów w pasmach ch przewdywanego położena, ale sumuje ampltudy wszystkch prążków z tych pasm z określoną wagą. Dobór optymalnej charakterystyk fltru (funkcj wagowej) oraz szerokośc pasm były jednym z zadań optymalzacyjnych systemu. W wynku optymalzacj wybrano funkcję prostokątną. Jako 4 ważone cechy cepstralne zdefnowano 87

42 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS sumy w czterech kolejnych pasmach począwszy od drugego, unormowane do sumy otrzymanej w paśme perwszym, odpowadającym częstotlwośc podstawowej. Na etape generacj cech zdefnowano węc 6 deskryptorów numerycznych c -c 6 różncujących mówców. Należą do nch: częstotlwość podstawowa F av (c ) będąca odwrotnoścą położena perwszego maksmum cepstrum, cztery ważone cechy cepstralne (c 2 -c 5 ), cztery kolejne maksma cepstrum unormowanego (c 6 -c 9 ) oraz sedem cech melcepstralnych (c 0 -c 6 ). Dla każdego mówcy dokonywano uśrednana cech w zborze reprezentatywnych ramek Welokryteralna optymalzacja systemu W poprzednm rozdzale przedstawono ogólny schemat projektowanego systemu oraz metodę generacj cech dla systemu ASR. W zależnośc od tego, jaką funkcję ma spełnać dany system (rozpoznawane treśc wypowedz bądź tożsamośc mówcy), należy dobrać optymalne parametry układu, uwzględnając przyjętą procedurę ekstrakcj wektora cech oraz tryb rejestracj. Zadane polegało na optymalzacj systemu w oparcu o 4 zasadncze parametry: długość ramk ( t) oraz jej przesunęce (τ), próg dźwęcznośc ramk (p v ) próg mnmalnej mocy (p p ). Optymalzacja systemu odbywała sę równolegle z selekcją cech. Ze względu na szeroke zakresy zman wszystkch optymalzowanych parametrów postanowono w perwszej kolejnośc dokonać wstępnego wyboru wartośc parametrów w oparcu o współczynnk stotnośc Fschera defnowane zależnoścą F c c j j( f ) (3.3.2) j gdze c c j są wartoścam średnm -tej j-tej cechy, natomast σ oraz σ j ch odchylenam standardowym [20]. Oblczeń współczynnków stotnośc Fschera dokonano dla 6 scharakteryzowanych wyżej deskryptorów, wśród których wyróżnono podklasy kobet mężczyzn. Uwzględnene w podzale kobet mężczyzn ne jest przypadkowe. Należy zwrócć uwagę, na fakt, ż wartość danego deskryptora może meć dużą słę dyskrymnacyjną pomędzy poszczególnym kobetam, lecz znaczne mnejszą wśród mężczyzn. Z tego powodu oblczeń współczynnków stotnośc Fschera dokonano w trzech podklasach: Kobet, Mężczyzn oraz w podklase Wszyscy. Poneważ klas jest węcej nż dwe, współczynnk stotnośc Fschera oblczono dla wszystkch par oraz wyznaczono ch sumę (sumaryczny współczynnk stotnośc Fschera). W etape parametrem optymalzowanym była długość ramk ( t). Uzyskane wynk zobrazowano na rys Z wykresu wyraźne wdać, że dla małej długośc ramk (30-40 ms) współczynnk Fschera są newelke. Zdecydowany przyrost następuje w okolcach 40 ms, a dla długośc ramk przekraczającej 90 ms wartośc współczynnków w podklasach Kobety Wszyscy znacząco spadają. Należało węc dokonać wyboru czasu trwana ramk z przedzału od 40 do 80 ms. Warto podkreślć, fakt, że ne stneje taka długość ramk, dla której współczynnk stotnośc Fschera osągają maksmum we wszystkch trzech podklasach, dlatego należało dokonać pewnego wyboru kompromsowego. Wstępne zdecydowano sę na wartość 55 ms, ale o końcowej wartośc tego parametru, jak wszystkch nnych decydowała równeż późnejsza selekcja cech, poneważ generalne obserwuje sę wzajemne oddzaływane obydwu tych etapów, w wynku czego obydwa procesy były welokrotne powtarzane w celu uzyskana optymalnego rozwązana. 88

43 Sumaryczna mara Fschera Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc Kobety Wszyscy Mężczyźn Długość ramk analzowanego sygnału [ms] Rys Wykres sumarycznej mary Fschera dla poszczególnych podklas w zależnośc od długośc ramk analzowanego sygnału. Kolejnym parametrem, który należało poddać optymalzacj był krok (τ), z jakm realzowane jest przesuwane ramk wzdłuż analzowanego sygnału mowy. Podczas rozwązana tego problemu należy uwzględnć fakt, że mnejsza wartość przesunęca daje wększą lczbę ramek, co przekłada sę na wydłużene czasu oblczeń. Poszukwane optymalnej wartośc przesunęca ramk odbywało sę jednocześne z optymalzacją dwóch pozostałych parametrów (p v oraz p p ). Ze względu na dużą lość nformacj zawartej w danych wejścowych, jakm w rozważanym przypadku są -wymarowe wektory cech, zdecydowano sę na optymalzację w oparcu o analzę składnków głównych (ang. Prncpal Component Analyss PCA). Jak to przedstawono wcześnej, stotą tej metody jest zamana dużej lośc nformacj zawartej we wzajemne skorelowanych danych wejścowych w zbór statystyczne neskorelowanych składnków uszeregowanych według ch ważnośc. Był to jeden z najbardzej pracochłonnych etapów badań. Prace polegały na obserwacj zman położena wektorów cech poszczególnych mówców na płaszczyznach PCA /PCA 2 PCA 3 /PCA 4. Badań dokonano w oparcu o trzy 8-mo osobowe zbory mówców [27]. Zgodne z lteraturą wyznaczane częstotlwośc podstawowej metodą cepstralną jest mnej dokładne, lecz bardzej nezawodne nż metodą autokorelacyjną, w szczególnośc przy slne zaszumonym sygnale mowy [2]. W poszukwanu możlwośc uzyskana wększej stablnośc deskryptorów zastosowano dodatkowe ogranczene przy wyborze poprawnych ramek, polegające na porównanu wartośc częstotlwośc podstawowej otrzymanej w oparcu o funkcję autokorelacj oraz w oparcu o cepstrum. Ostateczne ustalono, że jeżel różnce pomędzy wartoścam częstotlwośc podstawowej ramk, wyznaczonym za pomocą tych dwóch metod różną sę o węcej nż 5%, ramka taka zostaje automatyczne odrzucona ne berze udzału w generacj deskryptorów. Zbór zoptymalzowanych wartośc parametrów generatora cech określony dla 5 sekundowych wycnków głosu w oparcu o opracowany generator cech wraz z opsaną w kolejnym rozdzale selekcją cech przedstawono w tab

44 Wartość mary Fschera Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS abela Zoptymalzowane wartośc parametrów generatora cech Selekcja cech Parametr Wartość Długość ramk t 45 ms Przesunęce ramk 0 ms Próg dźwęcznośc p v 0% Próg mocy p p 20% Próg różnc częstotlwośc podstawowej p f 5% Zdefnowane na etape generacj cech deskryptory stanową maksymalny zbór potencjalnych cech dystynktywnych, które mogą być wykorzystane w systeme automatycznego rozpoznawana wzorca reprezentującego badany obekt. Badana prowadzone na śwece pokazują, że ne zawsze użyce maksymalnego zestawu cech prowadz do najlepszych wynków, gdyż ne są one jednakowo ważne w procese rozpoznana wzorców. Pewne cechy mogą meć postać szumu pomarowego pogarszając możlwość rozpoznana danego mówcy, natomast cechy slne skorelowane mają zwykle nekorzystny wpływ na jakość klasyfkacj domnując nad nnym tłumąc w ten sposób ch korzystny wpływ. Ważnym elementem procesu staje sę zatem ocena jakośc deskryptorów zastosowane metod selekcj przy tworzenu optymalnego wektora cech [25]. W badanu jakośc cech można wyróżnć dwe stratege. W perwszej bada sę każdą cechę nezależne od zastosowanej metody klasyfkacj (tzw. fltrowane cech) ocenając ch jakość pod kątem różncowana klas bez uwzględnena konkretnego klasyfkatora. Druga to selekcja oparta na ścsłej współpracy z klasyfkatorem. Zdecydowano sę na fltrowane cech, poneważ na beżącym etape badań ne podjęto jeszcze ostatecznej decyzj o wyborze konkretnego klasyfkatora [28].,2 0,8 0,6 0,4 0, numer deskryptora Rys Wykres sumarycznego współczynnka stotnośc Fschera poszczególnych deskryptorów Dla uzyskana dokładnej nformacj opsującej numeryczne właścwośc dyskrymnacyjne poszczególnych parametrów charakteryzujących mówców postanowono wstępne zastosować selekcję opartą na metodze Fschera [20]. Zgodne z jej założenam, 90

45 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc duża wartośc sumarycznego współczynnka stotnośc Fschera oznacza dobrą zdolność dyskrymnacyjną cechy pomędzy klasam, a mała oznacza, że wartośc cechy należące do obu klas są rozproszone potencjalne przemeszane ze sobą, co dyskwalfkuje ją jako cechę dagnostyczną. Sumaryczne współczynnk stotnośc Fschera poszczególnych deskryptorów przedstawone są na rys Na podstawe otrzymanych wynków trudno jednoznaczne określć, optymalny zbór cech wnoszących stotną nformację różncującą. W takm przypadku dodatkowym rozwązanem może stać sę analza rozkładu danych zrzutowanych na dwa główne składnk w analze PCA, przy uwzględnenu różnej lczby znaczących deskryptorów. Przy stosowanu tej metody należy pamętać o normalzacj, czyl sprowadzenu wartośc wszystkch cech do zblżonych pozomów. Normalzacja taka może zostać zrealzowana na wele różnych sposobów. W przeprowadzonych badanach cechy zostały unormowane do wartośc maksymalnej ze zboru wszystkch wartośc danego deskryptora. Nezależne od sumacyjnej wartośc dyskrymnacyjnej poszczególnych cech budując każdy automatyczny system klasyfkacj warto sprawdzć słę dyskrymnacyjną deskryptorów pracujących w zespole poneważ często okazuje sę, że uwzględnene równoległego dzałana welu cech na raz może zmenć jakość danej cechy. Pewne cechy (nawet te gorsze) współpracując ze sobą wzbogacają sę nawzajem podnosząc swoja słę dyskrymnacyjną [25] Przeprowadzono taką analzę śledząc zmany położeń poszczególnych wektorów określających mówcę na płaszczyźne PCA /PCA 2. Na rys przedstawono 2 przykłady takego rozkładu. Rys a dotyczy pełnego zboru cech, natomast rys b wyselekcjonowanego zboru deskryptorów ogranczonego do najlepszych. a) b) Rys Rozkład danych zrzutowanych na 2 najważnejsze składnk główne; a) pełny zbór deskryptorów, b) zbór wyselekcjonowanych cech Na podstawe oblczonych mar Fschera oraz obserwacj zman położena wektorów cech w oparcu o transformację PCA, określono optymalny -wymarowy wektor cech VP (Voce Prnt). Dla każdego mówcy uśrednano wyselekcjonowany zbór cech w oparcu o 5 sekundowe fragmenty zarejestrowanej wypowedz, uwzględnając jedyne poprawne ramk wybrane na etape wstępnego przetwarzana (m.n. odrzucano fragmenty cszy fragmenty bezdźwęczne). W wynku zastosowana generatora cech dla każdego mówcy uzyskano osem wektorów VP z 5 sekundowych fragmentów wypowedz rozłożonych równomerne w przedzale od zera do 4 mnut. Optymalny VP opsany jest zależnoścam [28]: 9

46 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS N c Fav Fj, N j N c23 c, j 2,3,5 N j N dp c46 c, j 6,9 N j jdp (3.3.3) N c 7 mc, j,2,3,5,7 N j gdze: N lczba reprezentatywnych ramek, F j częstotlwość podstawowa j-tej ramk, wyznaczana z cepstrum rzeczywstego, c, j wartość -tego maksmum cepstrum rzeczywstego j-tej ramk, dp zakres sumowana w obrębe kolejnego -tego maksmum cepstrum, mc, j mel-cepstralne cechy dystynktywne j-tej ramk. Detekcja poszczególnych maksmów odbywała sę na zasadze przeszukwana wartośc maksymalnych w okolcach przewdywanych maksmów określonych na podstawe częstotlwośc podstawowej Klasyfkacja Klasyfkacja w kontekśce automatycznego rozpoznawana mówcy jest ostatnm etapem projektowana systemów ASR. W celu zbadana skutecznośc danego klasyfkatora należy przeprowadzć szereg testów z wykorzystanem dwóch zborów: trenngowego, na podstawe którego klasyfkator "uczy sę" poprawnej klasyfkacj, oraz testowego, na podstawe którego jest sprawdzana jakość generalzacj badanego klasyfkatora, tzn. jak dobrze, klasyfkator "nauczony" na zborze trenngowym, radz sobe z klasyfkacją danych ze zboru trenngowego. Oczywśce, aby ocenć jakość klasyfkacj zboru testowego, koneczna jest znajomość prawdzwej przynależność jego elementów do klas porównane jej z przyporządkowanem elementów do klas zaproponowanym przez klasyfkator. Mówąc o zadanu klasyfkacj, należy w perwszej kolejnośc dokonać procesu normalzacj danych, które będą podlegały rozpoznanu. Jest to krok dość powszechne stosowany, ze względu na fakt, że wartośc poszczególnych deskryptorów wchodzących w skład odcsku głosu mogą dotyczyć różnych welkośc, nerzadko różnących sę, co do skal. W przypadku projektowana automatycznego systemu może to utrudnać właścwą ocenę wpływu poszczególnych zmennych na analzowany proces. Zastosowano najczęścej stosowaną w praktyce standaryzację statystyczną w odnesenu do każdego z deskryptorów. W wynku takego dzałana otrzymuje sę wektor cech, którego wartość średna jest zerowa, natomast odchylene standardowe równe jednośc, dzęk czemu wszystke cechy mają porównywalny wpływ na analzowany proces. Bazę danych czyl zbór dostępnych próbek głosu dzel sę na dwa zbory. Perwszym jest zbór trenngowy, z którego budujemy model. Drug zbór, zwany zborem testowym służy do testowana modelu. Model uczący może być używany do przewdywana klas nowych próbek, dla których atrybut decyzyjny jest utracony lub neznany. Dwuetapowy proces budowy klasyfkatora składa sę z fazy trenngowej zwanej uczenem (klasyfkator jest budowany w oparcu o zbór trenngowy danych) oraz fazy testowana, polegającej na weryfkacj dokładnośc (jakość) klasyfkatora w oparcu o testowy zbór danych. Zbór modelowy pownen zawerać zdecydowane węcej próbek nż zbór testowy. Zazwyczaj przyjmuje sę, ż zbór modelowy pownno tworzyć pomędzy 70%, a 75% 92

47 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc całkowtej lczby dostępnych próbek. W projekce zdecydowano sę przyjąć podzał 3:. W wynku tego dla każdego z 50 mówców otrzymano 30 wektorów zalczonych do bazy danych uczących oraz 0 wektorów zakwalfkowanych jako dane testowe. W perwszym etape badań zdecydowano sę na analzę dwóch neparametrycznych metod klasyfkacj: metody k najblższych sąsadów oraz metody najblższej średnej. Wybór ten był podyktowany przewdywanym trybem pracy systemu ASR w czase rzeczywstym, do czego wymagane są nske nakłady oblczenowe algorytmu klasyfkacj. Metoda k najblższych sąsadów lub krócej metoda k-nn (ang. k nearest neghbours) polega na oblczenu odległośc pomędzy odpowednm param wektorów (aktualne analzowanego wektora cech z każdym z wektorów wzorcowych, osobno dla każdego mówcy z bazy). Kolejnym krokem jest wybrane k wektorów charakteryzujących sę najkrótszą odległoścą badanego punktu od każdego wektora wzorcowego z bazy (osobno dla każdego mówcy), a następne ch zsumowane. Nowy wektor zostaje przyporządkowany do klasy do której suma odległośc jest najmnejsza. Dodatna lczba naturalna k jest parametrem opsywanej metody k-nn. Zadanem było dobrane jej optymalnej wartośc w odnesenu do opracowanego algorytmu. Drugm równe często wyberanym parametrem jest zastosowana metryka. Z prowadzonych na śwece badań wynka, że rodzaj metryk ne ma stotnejszego wpływu na poprawność w przypadku, gdy dokonano wcześnejszej standaryzacj poszczególnych deskryptorów. W zwązku z tym zdecydowano sę zastosować standardową odległość eukldesową. Drugą analzowaną metodą jest metoda najblższej średnej. Polega ona na oblczanu odległośc pomędzy aktualne testowanym wektorem oraz średnm wektoram przypsanym do każdego mówcy z bazy danych. W metodze tej można wprowadzć parametr a decydujący o dozwolonej rozległośc klasy. Oznacza to, że przy oblczanu średnego wektora danej klasy odrzucane są te wektory składowe, których wartośc spełnają ponższą zależność d d max sr a (3.3.4) Drug etap badań polegał na dokonanu szeregu eksperymentów mających na celu dobrane optymalnej lczby k dla metody k najblższych sąsadów parametru a dla metody najblższej średnej oraz w konsekwencj wybór najlepszego klasyfkatora dla projektowanego systemu. Odpowedne wynk zestawono w tab oraz tab abela Lczba błędne zaklasyfkowanych wektorów w funkcj k najblższych sąsadów k Lczba błędów abela Lczba błędne zaklasyfkowanych wektorów w funkcj parametru rozległośc klasy a a,5 2 2, Lczba błędów Przeprowadzona analza pozwolła na jednoznaczne wskazane metody klasyfkacj w kontekśce projektowanego systemu. Analzując wynk przeprowadzonych badań można stwerdzć, że metoda k najblższych sąsadów daje znacząco mnejszą lczbę nepoprawnych klasyfkacj w porównanu do metody najblższej średnej. Zgodne z wynkam eksperymentów wartość k = 4 jest mnmum globalnym optymalzowanej funkcj, a dalsze zwększane tego parametru powoduje jedyne zwększane sę lczby nepoprawnych klasyfkacj. Można równeż zauważyć, że dla metody najblższej średnej odrzucane punktów skrajnych ne daje pozytywnych efektów, 93

48 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS jest to najprawdopodobnej zwązane z neznanym rozkładem tych danych w przestrzen -wymarowej. W badanym przypadku fnalne dochodzmy węc do metody 4 najblższych sąsadów. W oparcu o przeprowadzone eksperymenty opracowano klasyfkator dzałający wg metody 4 najblższych sąsadów, który charakteryzuje sę błędem 2,2% (lczba błędnych klasyfkacj na 500 sprawdzanych wektorów). Jest to newątplwe satysfakcjonujący wynk dla tego typu systemów. Mmo zadawalających wynków zdecydowano sę dodatkowo na usprawnene opracowanego algorytmu w celu zmnejszena błędu klasyfkacj wynkającego z zastosowana metody 4 najblższych sąsadów przeprowadzl dodatkowe badana, które pozwolły na ocenę możlwośc zastosowana dodatkowego klasyfkatora sec neuronowej SVM. Seć SVM ne została jednak wykorzystana początkowo, przede wszystkm ze względu na dług czas oblczeń, w odnesenu do wszystkch 50 klas. Zdecydowano sę jednak na próbę przebadana sec SVM w strateg jeden przecw wszystkm w ogranczonym zborze klas. W perwszej kolejnośc należało węc opracować pewną regułę decyzyjną, która odpowadałaby za wybór klas, poddawanych dzałanu sec SVM. Po wnklwej analze wynków otrzymanych w oparcu o metodę 4 najblższych sąsadów wycągnęl wnosk, że do wyboru klas posłużą sę kryterum mówącym o tym, że jeżel odległość do drugej z kole najblższej klasy jest wększa o 25% od odległośc do klasy najblższej, to za zwycęską uznaje sę klasę perwszą newskazane jest stosowane dodatkowych technk klasyfkacyjnych. Przyjęce progu 25 % było efektem analzy błędów otrzymanych metodą 4 najblższych sąsadów w oparcu o bazę 500 punktów z grupy testowej. Wększość błędów wystąpła gdy d2, 25d (3.3.5) W przypadku, gdy odległość ta jest mnejsza, współdecyduje głosowane 4 sec SVM. Do analzy wybrano wszystke przypadk błędne zaklasyfkowane metodą odległoścową () oraz pozostałe 29, które spełnają warunek (3.3.4) razem 40 przypadków. W przypadku sec lnowej analza polegała na dobranu stałej regularyzacj C w zakrese [, 2, 4, 8, 6, 00, 000]. Natomast w przypadku sec nelnowej testowano sec z jądrem gaussowskm, a doborow podlegały parametry C σ. Nestety pommo zastosowana zarówno lnowej jak nelnowej sec SVM wynk ne dały oczekwanych rezultatów. Seć lnowa powodowała, że lczba błędów przekraczała perwotną lczbę wynkającą z metody mnmalno-odległoścowej. W przypadku zastosowana sec nelnowej okazało sę, że zbyt dobrze dopasowywała sę ona do danych uczących, co powodowało ne tylko stotny przyrost błędów w stosunku do sec lnowej, ale równeż neakceptowalny wzrost czasu oblczeń. Być może lepszym rozwązanem byłoby zastosowane strateg jeden przecw jednemu. Jednak została ona odrzucona, poneważ w ocene twórców w tego typu systemach jest ona ne do przyjęca, główne ze względu na fakt, ż dodawane każdej nowej osoby do bazy wymagałoby konstrukcj nowych klasyfkatorów, a to znaczne obcążyłoby system, który wedle założeń ma dzałać w trybe on-lne. Poza tym pojawa sę dodatkowo problem danych uczących, których w owej strateg jest znaczne mnej, bo w każdym przypadku tylko z dwóch klas. Uzyskane wynk spowodowały odrzucene koncepcj zastosowana sec SVM jako dodatkowego klasyfkatora do polepszana procedury rozpoznawana Demonstrator technolog multbometrycznego systemu rozpoznawana osób Materalnym efektem zaprezentowanych prac z obszaru technolog multbometrycznej było opracowane wykonane demonstratora systemu, pozwalającego 94

49 Przetwarzane wybranych danych bometrycznych na potrzeby dentyfkacj tożsamośc na bezkontaktową dentyfkację tożsamośc na podstawe m.n. obrazu twarzy sygnału mowy. Jego zasadnczym zadanem jest przesewowa analza obrazów dźwęków rejestrowanych w określonej strefe kontrolnej w celu dentyfkacj osobnków potencjalne nebezpecznych, których fotografe próbk mowy zebrane są w odpowednej baze danych. echnologa ta została opracowana w ramach projektu pt. "Multbometryczny system dentyfkacj osób do przecwdzałana zagrożenom terrorystycznym" fnansowanego przez Narodowe Centrum Badań Rozwoju w latach Pełny zespół badawczy uczestnczący w opracowywanu systemu składał sę, oprócz autorów nnejszego opracowana, z następujących, podanych w kolejnośc alfabetycznej osób: Z. Bnek,. Dąbrowsk, R. Galewsk, A. Jachock, J. Kaźmerczak, I. Krysowaty, K. Kwatos, R. Mason, P. Nedzejko, W. Olchowk, P. Ostrowsk, S. Osowsk, J. Paś, M. Werzbowsk, R. Wrona. Opracowany demonstrator sprzętowo składa sę z trzech modułów. Perwszy z nch to moduł rejestracyjny, drug to moduł prezentacyjny natomast trzec to moduł serwera multbometrycznego. Na rys został przedstawony wdok modułu prezentacyjnego demonstratora multbometrycznego. W jego skład wchodzą elementy składowe zaznaczone na rysunku następującym numeram:. Obrotowa megapkselowa kamera IP PZ, 2. Parabolczny mkrofon kerunkowy, 3. Statyczna kamera IP, 4. Maszt nstalacyjny do kamer IP oraz mkrofonu, 5. Zestaw komputerowy I7, 6. Optyczny czytnk ln paplarnych BoMn, 7. Obudowa typu Flghtcase. Rys Demonstrator systemu multbometrycznego W ramach platformy programowej w skład demonstratora weszły dwe aplkacje bazodanowe dzałające na SZBD PostgreSQL (napsane w języku C# na platforme.ne 4.0). Perwszą z nch jest Rejestrator, służący do akwzycj danych podejrzanych osób oraz ch ostatecznej dentyfkacj. Identyfkacja ta może być przeprowadzona w oparcu o autonomczne dzałane każdego z zamplementowanych algorytmów jak na baze ch fuzj (rys 3.4.2). Posługując sę tym oprogramowanem stneje możlwość akwzycj następujących danych bometrycznych: zdjęce twarzy, odcsk palców, próbk dźwękowe głosu, próbka kodu DNA (dostarczona w forme cyfrowej w postac plku). 95

50 Andrzej P. DOBROWOLSKI, Jacek JAKUBOWSKI, Ewelna MAJDA, Jolanta PACAN, Mchał WIŚNIOS Rys Wdok okna dentyfkacj podejrzanego przy poprawnym rozpoznanu na podstawe poszczególnych zastosowanych cech bometrycznych Druga z wykonanych aplkacj nazwana została Guard. W wynku jej dzałana uzyskuje sę automatyczne rozpoznawane osób w czase rzeczywstym na podstawe obrazu twarzy dostarczonego z podłączonych do demonstratora lub sec Ethernet kamer (rys ). W obecnej wersj aplkacja ta umożlwa pracę prowadzoną w osobnych wątkach z maksymalne czterema kameram. Każdy wątek ma swoje własne połączene z bazą danych własne obekty do śledzena tworzena wektorów twarzy. Rozszerzene systemu można uzyskać poprzez rozbudowę o kolejne stacje robocze połączone z serwerem multbometrycznym, zawerającym centralną bazę danych oraz plk klasyfkatorów. Dodatkowo, w celu zwększena bezpeczeństwa, aktualne plk klasyfkatorów są przechowywane tymczasowo na każdym z demonstratorów (każdej stacj roboczej) dzęk czemu system umożlwa pracę równeż w warunkach braku komunkacj z serwerem. W procese detekcj twarzy używany jest klasyfkator kaskad Haara (Haar Cascade Classfer). Użytkownk demonstratora ma możlwość zmany domyślnych parametrów detekcj twarzy takch jak np.: prędkość zwększana skal w procese automatycznej detekcj twarzy, obraz przeszukwany jest welokrotne z różną welkoścą fragmentów detekcj. Im parametr ten jest wększy, tym proces detekcj trwa krócej jednak, mnej dokładne. próg mnmalnego sąsedztwa parametr ten określa mnmalną sąsedztwo np. dwóch twarzy kedy to można je uznać za jedną twarz. mnmalna welkość twarzy parametr określający mnmalną welkość wykrytej twarzy poddawaną procesow dentyfkacj, od wartośc tej startuje detekcja w klasyfkatorze kaskad Haara. 96