Ekstrkcj cech Wprowdzenie Metody ekstrkcji cech PCA (Principl Component Anlysis) Anliz skłdowych głównych LDA (Liner Discriminnt Anlysis) Liniow nliz dyskrymincyjn MD (Multidimensionl cling) klownie wielowymirowe Przykłd zstosowni
Wprowdzenie Cel ekstrkcji: znleźć trnsformcję prowdzącą do tkich cech, dl których zdnie selekcji cech jest łtwiejsze określić trnsformcję p pomirów i dokonć selekcji cech w trnsformownej przestrzeni x elekcj cech x Ekstrkcj cech y f(x) f(x,, x p ) y x p x p ttisticl Pttern Recognition, Chpter 9
3 Korzyści uproszczenie klsyfiktor (klątw wymirowości) zwiększenie jkości klsyfikcji i zdolności uogólnini pozbycie się mło istotnej informcji ułtwienie grficznej wizulizcji zbioru dnych ttisticl Pttern Recognition, Chpter 9
4 Określeni kryterium jkości ekstrkcji J prowdzi do zdń optymlizcji: Ekstrkcj cech: dl ustlonej klsy trnsformcji szukmy tkiej ~ trnsformcji A, dl której J A mx J A( x), gdzie A jest ( ) ( ) A A zbiorem wszystkich możliwych trnsformcji dl przyjętej klsy. Wektorem cech jest wówczs wektor y ~ A ( x ) Jeżeli trnsformcj jest liniow, to y A x ttisticl Pttern Recognition, Chpter 9
5 Wyróżnić możn dwie grupy kryteriów stosownych przy oprcowywniu metod ekstrkcji cech: Reprezentcj dnych: celem ekstrkcji jest utworzenie dokłdnej reprezentcji próbek w przestrzeni o zredukownej liczbie wymirów Klsyfikcj: celem ekstrkcji jest podkreślenie informcji pozwljącej odseprowć próbki pochodzące z różnych kls ttisticl Pttern Recognition, Chpter 9
Metody ekstrkcji cech 6 formułownie problemu Dne zbiór p-wymirowych wektorów cech kryterium jkości ekstrkcji (ocen zdolności do reprezentcji dnych w trnsformownej przestrzeni lub ocen seprowlności) zukne: njlepsz (w sensie przyjętego kryterium) trnsformcj przestrzeni cech ttisticl Pttern Recognition, Chpter 9
7 Przykłd trnsformcji x : wg x : wzrost ttisticl Pttern Recognition, Chpter 9
Ekstrkcj cech 8 PCA Principl Component Anlysis Liniow trnsformcj cech Obrót ukłdu współrzędnych Uporządkownie nowych cech ( skłdowych głównych ) ze względu n wrincję wzdłuż związnych z nimi osi Nowe cechy są kombincją liniową oryginlnych cech i mogą nie mieć bezpośredniej interpretcji Ewentuln informcj o klsch / grupch nie jest brn pod uwgę ttisticl Pttern Recognition, Chpter 9
PCA Principl Component Anlysis 9 Dne są projektowne n przestrzeń rozpiętą n zmienionych osich ukłdu współrzędnych Osie nowego ukłdu współrzędnych są ortogonlne Nowy ukłd współrzędnych m początek w punkcie ciężkości zbioru dnych pomirowych kl n poszczególnych osich jest wyrżon w jednostkch będących odchylenimi stndrdowymi oryginlnych dnych wzdłuż tych osi Kierunki kolejnych osi są tk dobierne, by mksymlizowć wrincję projektownych n nie dnych (wyjątkiem jest osttni oś, której kierunek jest zdeterminowny przez pozostłe osie) ttisticl Pttern Recognition, Chpter 9
0 PCA Principl Component Anlysis Pierwsz skłdow główn to kierunek zdny przez prostą, dl której sum kwdrtów odległości od dnych pomirowych (czyli wrincj) jest minimln x Minimlizcj wrincji w kierunku prostopdłym do prostej mksymlizcj wrincji wzdłuż tej prostej x Drug skłdow główn jest prostopdł do pierwszej skłdowej głównej i rzem z nią tworzy płszczyznę njlepiej proksymującą (w sensie minimum wrincji) dne pomirowe ttisticl Pttern Recognition, Chpter 9
PCA Principl Component Anlysis Kolejne skłdowe główne są zdefiniowne w podobny sposób Osttni skłdow główn jest określon jednozncznie przez poprzednie skłdowe, gdyż musi być do nich ortogonln. x y y y PCA x y ttisticl Pttern Recognition, Chpter 9
PCA Principl Component Anlysis Zestw oryginlnych cech: x, x,, x p Kombincje liniowe cech: y, y,, y p lub mcierzowo y p j ij x j y A x gdzie x i y to wektory zmiennych losowych, A jest mcierzą współczynników zukmy tkiej mcierzy ortogonlnej trnsformcji A, które dje optymlne wrtości wrincji kolejnych zmiennych y j ttisticl Pttern Recognition, Chpter 9
3 PCA Principl Component Anlysis Rozpoczynmy nlizę od pierwszej skłdowej głównej y : y p j j x j Nleży wyznczyć wektor [ ] p mksymlizujący wrincję zmiennej y, przy czym dl jednoznczności rozwiązni przyjmujemy, że. ( y ) E[ y ] E[ y] E[ xx ] E[ x] E[ x ] ( E[ xx ] E[ x] E[ x ]) Σ vr ( y ) vr ttisticl Pttern Recognition, Chpter 9
4 PCA Principl Component Anlysis Mksymlizcj wrincji przy ogrniczeniu n normę wektor prowdzi do zdni optymlizcji z ogrniczenimi. Zgodnie z metodą Lgrnge : L ( ) Σ λ Po różniczkowniu ze względu n i przyrównniu do zer otrzymujemy: Σ λ 0 Σ λ Wynik z tego, że musi być wektorem włsnym mcierzy Σ z wrtością włsną równą λ. ttisticl Pttern Recognition, Chpter 9
5 PCA Principl Component Anlysis Pondto, mksymlizcj wrincji zmiennej y { Σ } mx{ λ } mx λ mx sprowdz się do wybrni wektor włsnego, któremu odpowid njwiększ wrtość włsn mcierzy Σ. Wybór wektor włsnego jest jednoznczny, jeżeli wrtość włsn λ nie jest wielokrotnym pierwistkiem równni chrkterystycznego: Σ λi 0 Oznczmy przez λ wrtość włsną związną z pierwszą skłdową główną y ttisticl Pttern Recognition, Chpter 9
6 PCA Principl Component Anlysis Drugą skłdową główną y x otrzymujemy mksymlizując jk poprzednio wrincję zmiennej y przy ogrniczeniu n normę skłdowej orz dodtkowo wymgjąc, by skłdow y nie był skorelown z y : [ y y ] E[ y ] E[ y ] 0 E, Σ co jest równowżne z. 0 Ze względu n fkt, że jest wektorem włsnym mcierzy Σ, to również jest ortogonlne do : 0 ttisticl Pttern Recognition, Chpter 9
7 PCA Principl Component Anlysis Zgodnie z metodą Lgrnge : L ( ) Σ λ η Po różniczkowniu ze względu n i przyrównniu do zer otrzymujemy: Σ λ η 0 Mnożenie obustronne przez dje: Σ λ η 0 Z powyższego wynik, że η 0. η 0 ttisticl Pttern Recognition, Chpter 9
8 PCA Principl Component Anlysis Pochodn funkcji Lgrnge przyjmuje postć: Σ λ 0 Σ λ Wynik z tego, że jest wektorem włsnym mcierzy Σ i nlogicznie jk poprzednio odpowidjąc mu wrtość włsn λ jest njwiększą spośród pozostłych wrtości włsnych. ttisticl Pttern Recognition, Chpter 9
9 PCA Principl Component Anlysis Podsumowując, procedur wyznczni skłdowych głównych skłd się z nstępujących kroków: ) Rozkłd mcierzy kowrincji Σ n wektory włsne i obliczenie odpowidjących im wrtości włsnych ) Uporządkownie wektorów włsnych zgodnie z mlejącymi wrtościmi włsnymi:,,, p ; λ λ λ p 3) Utworzenie mcierzy trnsformcji A [ ] p ttisticl Pttern Recognition, Chpter 9
0 PCA Principl Component Anlysis Mcierz trnsformcji jest wykorzystywn przy projekcji dnych z przestrzeni oryginlnych cech n przestrzeń skłdowych głównych: y A x Powyższe równnie przypisuje zobserwownemu losowemu wektorowi x skłdowe główne y. N ogół, wrtość oczekiwn y jest różn od zer. Aby był on równ zeru, projekcj powinn zostć zdefiniown jko: y A ( x μ), gdzie μ jest wrtością oczekiwną x. W prktyce, w miejsce μ stosuje się średnią m z próby. ttisticl Pttern Recognition, Chpter 9
PCA Principl Component Anlysis Ilość wrincji uwzględnionej przez k pierwszych skłdowych głównych jest równ: k i λ i Przykłdowe dne i p λ i Uwzględnion wrincj wrtość włsn 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0 80 60 40 0 00 80 60 40 0 0 0 0 0 30 40 50 wektor włsny 0 0 0 30 40 50 wektor włsny
PCA Principl Component Anlysis elekcj cech w trnsformownej przestrzeni: spośród p skłdowych głównych wybrć d tkich, które uwzględniją njwięcej wrincji Mcierz trnsformcji ogrniczy się do d pierwszych wektorów włsnych (wymir mcierzy trnsformcji to p x d): A [ ] d d Projekcj do zredukownej przestrzeni m postć: y d A d x lub y d A d ( x μ) ttisticl Pttern Recognition, Chpter 9
3 PCA Principl Component Anlysis Projekcj wstecz z trnsformownej przestrzeni do oryginlnej m postć: x A lub x ( A ) y + μ Jeżeli A jest mcierzą symetryczną (A A - ), wówczs projekcj przyjmuje postć: ( ) y x Ay lub x Ay + μ Jeżeli dodtkowo nstąpił redukcj wymiru, to projekcję możn zpisć jko: x A y + μ d d d Jeżeli wstwimy do powyższego wzoru w miejsce y d odpowiednie wyrżenie n projekcję, to otrzymmy: ( x μ) μ x A A + d d d ttisticl Pttern Recognition, Chpter 9
4 PCA Principl Component Anlysis kłdowe główne zleżą od skli (jednostki)! Przed przystąpieniem do nlizy możn ustndryzowć dne pomirowe tki sposób, by wrtości cech miły podobne zkresy ypową metodą stndryzcji jest przesunięcie wrtości średniej do zer orz unormownie wrincji do jedności. Wówczs skłdowe główn możn wyznczyć n podstwie mcierzy korelcji. ttisticl Pttern Recognition, Chpter 9
5 PCA Principl Component Anlysis Zdnie: wyznczyć skłdowe główne dl dwuwymirowego zbioru: X{ (,), (3,3), (3,5), (5,4), (5,6), (6,5), (8,7), (9,8) } Rozwiąznie: Mcierz kowrincji: 6.5 Σ 4.5 4.5 3.5 Wrtości włsne są rozwiąznimi równni chrkterystycznego: Σ λi 0 6.5 λ 4.5 4.5 0 3.5 λ Wektory włsne są rozwiąznimi ukłdu: 6.5 4.5 6.5 4.5 4.5 3.5 4.5 3.5 λ λ λ λ λ 9.34 λ 0.4 0.8 0.59 0.59 0.8 ttisticl Pttern Recognition, Chpter 9
6 LDA Liner Discriminnt Anlysis Celem trnsformcji jest podkreślenie informcji pozwljącej odseprowć próbki pochodzące z różnych kls x Informcj o przynleżności do kls jest brn pod uwgę x ttisticl Pttern Recognition, Chpter 9
7 LDA Liner Discriminnt Anlysis Przypdek z dwiem klsmi n próbek nleży do klsy ω, n próbek nleży do klsy ω ( n + n n ) [ x x x ] { } i i ip zukmy tkiego kierunku, n który będziemy rzutowć dne pomirowe: y x i x [ x x x ] i i ip wymgjąc, by po zrzutowniu dne pochodzące z różnych kls były od siebie jk njbrdziej odseprowne. ttisticl Pttern Recognition, Chpter 9
8 LDA Liner Discriminnt Anlysis Przykłd w dwuwymirowej przestrzeni cech x x ~ µ j n µ ~ i yi x j y ω, i n j y ω, i j j μ j μ μ j n j x ω, i j x i x x ttisticl Pttern Recognition, Chpter 9
9 LDA Liner Discriminnt Anlysis Jk mierzyć seprowlność kls dl dnych rzutownych n kierunek? Propozycj: mierzyć odległość między średnimi po projekcji: x J ~ ~ µ μ ( ) µ ( μ ) Problem: nie bierzemy klsy są dobrze odseprowne μ μ pod uwgę rozrzutu dnych x duż odległość między średnimi ttisticl Pttern Recognition, Chpter 9
30 LDA Liner Discriminnt Anlysis Propozycj Fisher: uwzględnić rozrzuty dnych w klsch Rozrzut w klsie: ( yi µ j ) ~ s ~ j y ω, i j x ~ Mir seprowlności: J µ ~ µ B ( ) ~ s s + ~ W zukmy trnsformcji, po której próbki z jednej klsy leżą w pobliżu siebie i jednocześnie średnie po trnsformcji leżą dleko μ μ x ttisticl Pttern Recognition, Chpter 9
LDA Liner Discriminnt Anlysis Aby znleźć mksimum funkcji J(), różniczkujemy względem i przyrównujemy do zer: 3, Chpter ttisticl Pttern Recognition 9 0 W B d d d dj [ ] [ ] [ ] [ ] 0 d d d d W B B W [ ] [ ] 0 W B B W
LDA Liner Discriminnt Anlysis Nstępnie dzielimy obie strony przez W : co prowdzi w rezultcie do uogólnionego zgdnieni rozkłdu n wektory i wrtości włsne: Rozwiązniem jest: 3, Chpter ttisticl Pttern Recognition 9 0 W W B B W W 0 W B J 0 J B W J B W ( ) mx rg μ μ W W B
LDA Liner Discriminnt Anlysis Zdnie: wyznczyć kierunek, który njlepiej sepruje obserwcje: 33 X{ (4,), (,4), (,3), (3,6), (4,4) }; X{ (9,0), (6,8), (9,5), (8,7), (0,8) } Rozwiąznie: μ 0.8 0.4 0.4 ;.6.84 0.04 [ 3 3.6 ]; μ [ 8.4 7.6 ]; Wektory włsne są rozwiąznimi ukłdu: W B λ W B λi 0 0.04 ; B.64.64 W 0.44.89 λ 5.08 9.6.6 0.44 5.8 8.8 0 3.76 λ.6 6 λ 5.65.89 5.08 8.8 3.76 5.65 0.9 0.39 lub bezpośrednio: ( μ μ ) [ 0.9 0. ] W 39 ttisticl Pttern Recognition, Chpter 9
34 LDA Liner Discriminnt Anlysis Uogólnienie n C kls: poszukujemy C- wektorów,,, C- djących rzuty y, y,, y C- : y A x x W Mir seprowlności: μ B ( A) J A A B W A A B3 μ 3 B W3 μ W x ttisticl Pttern Recognition, Chpter 9
35 LDA Liner Discriminnt Anlysis Rozwiązniem jest: A A BA rg mx B j W j A W A ( λ ) 0 Kierunki związne z njwiększą seprowlnością to wektory włsne odpowidjące njwiększym wrtościom włsnym W B mcierzy. ttisticl Pttern Recognition, Chpter 9
36 MD Multidimensionl cling Punktem wyjści MD jest mcierz niepodobieństw (dissimilrity mtrix). Dl p-wymirowego zbioru N próbek dne są wzjemne odległości d ij, i,j,,n. Mcierz niepodobieństw D [ ] d ij m wymir N x N MD poleg n ulokowniu próbek w przestrzeni o zdnej liczbie wymirów w tki sposób, by wzjemne odległości zostły w możliwie njlepszym stopniu zchowne MD pozwl n zstosownie nieliniowych trnsformcji cech zukne: N X x x x [ ] ttisticl Pttern Recognition, Chpter 9
37 MD Multidimensionl cling Przykłd 000 500 Helsinki Moskw Ateny Berlin Dublin Helsinki Ateny 0 803 859 469 Berlin 803 0 3 07 Dublin 859 3 0 03 Helsinki 469 07 03 0 000 Dublin Londyn 500 Berlin Pryż 0 Zurych Lizbon Mdryt -500-000 Rzym Istmbuł -500 Ateny -000-500 -500-500 500 500 500 ttisticl Pttern Recognition, Chpter 9
38 MD Multidimensionl cling Kwdrt odległości Euklidesowej między próbkmi o numerch s i r jest równy: p p p p ( xrj xsj ) xrj xrj xsj + xsj brr + bss brs r s drs x x j j j j p gdzie brs xrj xsj B XX (*) j W celu uzyskni jednozncznego rozwiązni, umieszczmy średnią z dnych pomirowych w początku ukłdu współrzędnych orz przyjmujemy złożenie: N n xnj, j,,, p ttisticl Pttern Recognition, Chpter 9
39 MD Multidimensionl cling umując równnie (*) po r, s, orz r i s, tkże definiując otrzymujemy: Definiujemy nstępnie: N r N s N N n d d N r s N p b nn x rs rs d n j + Nb + Nb rs ss rr N nj d N N s drs, dr drs, d N r N s N N N r s d rs ttisticl Pttern Recognition, Chpter 9
40 MD Multidimensionl cling Z równni (*) mmy: Widomo, że B XX, b rs ( d + d d d ) r s rs X CD / możn użyć jko proksymcji mcierzy X, przy czym C jest mcierzą, której kolumny są wektormi włsnymi mcierzy B D / jest mcierzą digonlną, której przekątn zwier pierwistki wrtości włsnych. elekcji cech dokonujemy podobnie jk w PCA n podstwie wrtości włsnych ttisticl Pttern Recognition, Chpter 9
4 MD Multidimensionl cling Możn pokzć, że wrtości włsne mcierzy XX (N x N) są identyczne jk wrtości włsne mcierzy X X (p x p), ntomist ich wektory włsne powiązne są liniową trnsformcją. Powyższy fkt wskzuje n związek między MD PCA: PCA wykonne n mcierzy korelcji (zmist kowrincji) jest równowżne MD przy ustndryzownej odległości Euklidesowej, gdzie kżd cech m jednostkową wrincję. ttisticl Pttern Recognition, Chpter 9
4 MD Multidimensionl cling W ogólności, MD poleg n znlezieniu odwzorowni ( x θ) y g ; z p-wymirowej przestrzeni cech do d-wymirowej, gdzie θ jest wektorem prmetrów. Rozwżne odwzorownie może być liniowe i wówczs: ( x A ) A x y d g ; d Zstosownie nieliniowej trnsformcji g prowdzi do nieliniowych metod redukcji wymiru. d ttisticl Pttern Recognition, Chpter 9
43 MD Multidimensionl cling Dl typowych zbiorów dnych mcierz niepodobieństw D może mieć zbyt duży wymir z punktu widzeni przetwrzni MD nie definiuje w sposób bezpośredni trnsformcji, któr dl dnego wektor x zwrcłby jego reprezentcję y w trnsformownej przestrzeni. ttisticl Pttern Recognition, Chpter 9
Przykłd zstosowni 44 Ekstrkcj cech w systemie rozpoznwni mowy Dne: 50-ciu lektorów wymwijących dwukrotnie litery lfbetu (w sumie 7800 próbek) Liczb cech: 67 kupiono się n smogłoskch: `A`, `E`, `I`, `O`, `U`, `Y` Redukcj wymirów do dwóch Michel Aupetit, Visulizing distortions nd recovering topology in continuous projection techniques, Neurocomputing70 (007) pp. 304 330
45 Rozwiąznie problemu PCA LDA MD CCA (Curviliner Component Anlysis) A I Y U E O