Przykład zagadnienia wymagającego sztucznej inteligencji: Rozpoznawanie obrazów. Rozpoznawanie obrazów. Teraz trochę szczegółów

Transkrypt

1 Przykład zagadea wymagającego sztuczej telgecj: Rozpozawae obrazów Jaek! Aa? Rozpozawae obrazów Nawet ajwększe superkomputery pewych rzeczy e potrafą zrobć! Istota rozpozawaa polega a zamae obrazu a decyzję. Ne jest to łatwe! Isteje teora, że podczas ludzkej percepcj wzrokowej poszczególe cechy obrazu pobudzają oddzele ośrodk w mózgu Obraz cyfrowy jako zbór puktów Decyzja: To jest łabędź! Program aalzujący zbór puktów rozpozający obekt a obraze Zbór obektów lub zjawsk podlegających rozpozawau ozaczać będzemy D. Teraz trochę szczegółów Zbór D może (zależe od zastosowaa) zawerać róże elemety d D. Mogą to być a przykład obrazy rozpozawaych twarzy, sylwetek samolotów, zaków alfaumeryczych albo odcsków palca. Moża rozpozawać e tylko obrazy. Rozpozawaym obrazam (albo może lepej wzorcam ag. patter) mogą być jedak także dźwęk mowy albo hałasy geerowae przez uszkodzoą maszyę. Moża rozpozawać także móstwo ych rzeczy, a przykład stay pogody albo warygodość kredytoborców w baku. Peła lsta potecjale możlwych obszarów zastosowań (czyl zborów D) jest bardzo długa, bowem ogrome bogata jest zborowość możlwych (już odkrytych lub dopero czekających a swych odkrywców) zastosowań techk rozpozawaa. 1

2 We wszystkch dalszych rozważaach będzemy zakładal stee relacj rówoważośc K D D, mplkującej rozbce zboru D a kolekcję klas rówoważośc, odpowadających poszczególym rozpozawaym klasom obektów. Zgode z tradycją rozważaej dzedzy podlegające rozpozawau klasy azywać będzemy obrazam (albo wzorcam) ezależe od ch rzeczywstej atury. Zakładać będzemy, że elemety d D wchodzące w skład odpowedch relacj ależeć będą do pewych podzborów D zboru D charakteryzujących sę tym, że ch elemety posadają podobe wartośc pewych wybraych (ustaloych) cech. Kwesta wyboru cech, będących podstawą procesu klasyfkacj (a potem także rozpozawaa) będze dalej dosyć szczegółowo dyskutowaa, tutaj jedye ależy wskazać, że to właśe a podstawe cech tylko a podstawe cech mus być możlwe ustalee, że pomędzy określoym obektam zachodz wymagaa relacja, będąca podstawą ch klasyfkacj. Jeśl takch cech e da sę wskazać (awet hpotetycze) to rozważaych klas obektów e będze moża skutecze wydzelć, a to ozacza epowodzee całego przedsęwzęca. Podzbory D e powy sę przecać, a poadto omawaa relacja e może pozostawać żadego elemetu ze zboru D samemu sobe tz. bez przypsaa do któregoś (dokłade jedego!) podzboru D. Łatwo wykazać, że relacja porządkująca elemety d D w podzbory D speła postulaty relacj rówoważośc (jest to relacja zwrota, symetrycza przechoda). Jeśl dla jakegoś zadaa da sę zbudować w zborze D relację rówoważośc dzałającą w oparcu o dobrze zdefowae cechy, to spełoe są waruk koecze do tego, by moża było o m mówć jako o probleme rozpozawaa sesowe postawoym. Warto zauważyć, że waruek te, będąc warukem koeczym, e mus być jedocześe warukem wystarczającym. Dla skuteczego stworzea metody rozpozawaa obrazów potrzebe są bowem zwykle bowem jeszcze dalsze waruk, jako że każda metoda rozpozawaa opera sę a jakchś założeach, z którym zwązae są specyfcze dla daej metody dodatkowe wymagaa. Ozaczmy przez L lczbę klas geerowaych przez relację K, a zbór deksów (azw) tych klas ozaczmy przez I. Wówczas: D I D, p,qi D p D q = d p,d q D d p, d q K I : (d p D ) (d q D ) Z opsu relacj K zboru I wyka stee odwzorowaa A : D I o własoścach: dd A(d) = d D Odwzorowae A w peł opsuje relację K, atomast relacja K defuje odwzorowae A z dokładoścą do permutacj zboru deksowego I. Z tego powodu uważać moża, że odwzorowae A w odróżeu od stejącej obektywe (co przyjęlśmy jako koecze założee) relacj K zawera zawsze pewe arbtraly składk, zwązay z wyborem sposobu umeracj klas. 2

3 W praktyczym zadau rozpozawaa dąży sę do tego, aby skostruować algorytm A^ realzujący odwzorowae: A^ : D I { o } W formule tej ozaczea D oraz I są już dobrze zae, atomast jedoelemetowy zbór { o } symbolzuje w tym zapse brak odpowedz (decyzja typu e wem). Wprowadzee w odwzorowau A^ elemetu o czy praktycze zadae rozpozawaa bardzej realstyczym. W praktyce bowem często tak sę zdarza, że e moża ustalć prawdłowej decyzj z całą dokładoścą, a zacze lepej jest, jeśl algorytm A^ uza, że e potraf rozpozać określoego obektu zgłos to specjalym sygałem, ż kedy jako wyk pracy algorytmu zostae poday jakś myle rozpozay elemet. Czasem moża sę spotkać z sytuacją praktyczą, w której ajważejszym wykem pracy systemu rozpozającego jest właśe ustalee, czy odpowedzą algorytmu A^ jest elemet o czy jakkolwek y elemet I. Sytuacja taka może a przykład meć mejsce w systemach detyfkacj osób, których zadaem jest wyłącze odpowedzeć a pytae, czy day obekt ależy do jedej z klas zapamętaych w systeme czy jest obcy (a węc potecjale ebezpeczy). Budując algorytm A^ staramy sę zawsze uczyć to tak, aby pewa mara dystasu Q(A, A^ ) będąca oceą jakośc zbudowaego algorytmu rozpozawaa A^ - była mmala. Mara jakośc Q algorytmu A^ służyć może e tylko do optymalego dostrojea algorytmu A^ do abstrakcyjego dealego odwzorowaa A, ale dodatkowo mara ta może być użyta do wartoścowaa welu dających sę zbudować algorytmów A^ 1, A^ 2,..., A^ p co pozwala wybrać w określoym zadau te spośród ch, który jest ajlepszy. Ne ależy przy tym meć żadych złudzeń, że proste metody (a przykład odsetek błędych rozpozań) dostarczą tu dokładych oszacowań wskaźka Q. Naprawdę dokłade oszacowae błędów popełaych przez zbudoway algorytm rozpozawaa A^ wymaga przeprowadzea obszerych badań ustalea przyblżoej empryczej dystrybuaty błędów (a przykład techkam bootstrap owym). Jedak dla celów praktyczych zadowalamy sę ajczęścej uproszczoym wskaźkem jakośc, wążącym sę często wyłącze z procetam obektów rozpozaych błęde lub (z ą wagą) obektów erozpozaych. Ne są to jedye praktycze krytera ocey jakośc algorytmu A^, gdyż w przypadku algorytmów o tym samym procece błędych rozpozań w grę wchodzć mogą dodatkowo klasycze formatycze krytera jakośc algorytmów, takej jak czas rozpozawaa czy zajętość pamęc, gdyż to oe wyzaczają koszty dzałaa metody. Pod względem formalym zagadea mary jakośc Q algorytmu A^ staową osoby obszar problemowy zwązay z teorą optymalzacj agażujący bardzo zaawasowae dzały matematyk (a przykład aalzę fukcjoalą) Nestety, różorodość zadań rozpozawaa zwązaa z tym różorodość wymagań stawaych metodom rozpozawaa sprawa, ż emożlwe jest podae jedej uwersalej formuły dla fukcj kryteralej Q. W każdym kokretym zadau mara Q sle zależy od kokretych zastosowań celów rozpozawaa. Czasam przy defcj algorytmu A^ dopuszcza sę rozpozaa waratowe, to zaczy przyjmuje sę sytuację, w której jako rozpozae akceptuje sę dowoly podzbór zboru I. Zapropoowae uogólee odwzorowae A^ może być opsae jako A^ : D 2 I gdze ozaczee 2 I użyte jest (zgode z tradycją) do zapsu zboru wszystkch podzborów zboru I. gdze: Elemety składowe rozpozawaa: będzemy azywać recepcją (lub percepcją) ozacza oblczae wartośc tak zwaych fukcj przyależośc, zaś lub ozacza proces podejmowaa decyzj. Odwzorowae A^ jest realzowae jako założee trzech odwzorowań: A^ = F C B B : D X C : X L F : L I { o} F : L 2 I ozacza zbór lczb rzeczywstych Warto zwrócć uwagę, że w tym przypadku zbęde jest wprowadzae elemetu o, poeważ zbór 2 I zawera (z defcj) zbór pusty, czyl właśe brak rozpozaa. Odmowa rozpozaa może zresztą być przy takej kowecj wyrażoa a dwa sposoby: albo poprzez podae jako rozwązaa zboru pustego, albo poprzez podae jako rozwązaa całego zboru I, co jest możlwe, jako że I 2 I. 3

4 oczy blsko - daleko oczy blsko - daleko Zadaem recepcj B : D X jest określee dla każdego obektu d D wektora wartośc jego cech x X Po wybrau właścwych cech każdemu rzeczywstemu obektow d D odpowadać będze pukt w przestrze cech X Zakładać będzemy, że elemetam przestrze cech X są wektory - elemetowe x * = x 1, x 2,, x X Składowe x j tych wektorów chęte będzemy traktowal jako lczby rzeczywste x j Przestrzeń cech sposób jej tworzea Zborowość rozpozawaych obektów Pukt w przestrze cech reprezetuje obekt Obekt twarz wąska - szeroka twarz wąska - szeroka Obrazy reprezetowae przez pukty w przestrze cech Przykładowa struktura przestrze cech dla rozpozawaa: przypadek cech loścowych 4

5 Przypadek, kedy przestrzeń X traktowaa będze jako -wymarowa przestrzeń eukldesowa (X ) jest ajwygodejszy, ale e jest to przypadek jedyy możlwy. Przykładowa struktura przestrze cech dla rozpozawaa: przypadek cech jakoścowych barych Rodzaj własośc wybraej przestrze cech bardzo sle wpływają a dalszy tok procesu rozpozawaa. Jest to zupełe zrozumałe: obekty d D mają potecjale eskończee wele cech. Odwzorowae B prowadzące do -wymarowej ( << ) przestrze cech X zwązae jest zawsze z utratą częśc formacj, zatem jeśl utracoa zostae formacja stota z puktu wdzea celów rozpozawaa, a w przestrze cech uwzględ sę wyłącze cechy mało waże - to straty tej e da sę zrekompesować żadym późejszym wysłkam. Przykładowa struktura przestrze cech dla rozpozawaa: przypadek cech jakoścowych welowartoścowych Przykłady skupsk wzorców w przestrze cech oraz sposób klasyfkacj owego elemetu Dae, które sę edobrze separuję w przestrze o małej wymarowośc mogą sę dobrze rozdzelać w przestrze welowymarowej 5

6 W przyjętej przestrze cech obekty ależące do jedej klasy powy sę grupować razem separować od obektów ych klas Istota rzeczy polega a tym, żeby w przestrze cech rozdzelć odpowede obszary Zależe od sposobu rozmeszczea w przestrze cech puktów reprezetujących obekty ależące do różych klas rozpozawae może być łatwejsze lub trudejsze Czasem dla podjęca poprawej decyzj potrzebe są dodatkowe formacje Kokrety przykład zadaa średo trudego Kokrety przykład zadaa bardzo trudego 6

7 Ilustracja problemów przy rozpozwau twarzy: różc ośwetlea (a), pozy (b) wyrazu twarzy (c) Reguła podejmowaa decyzj w przypadku algorytmu NN zakłada, że ezay obekt zostae zaklasyfkoway do tej klasy, do której ależy obekt cągu uczącego, położoy ajblżej ego w przestrze cech Przy Decyzję dobrze o przyależośc dobraym zborze owego cech (ezaego) poszczególe obektu klasy obektów do jedej tworzą z wcześej w przestrze zaych cech (zapamętaych) wyraźe wyróżale klas... zbory.... po wyzaczeu jego cech... Typowae ajblższych sąsadów dla puktu podlegającego rozpozawau moża podjąć a podstawe tożsamośc ajblższego zaego obektu? Uzupełae daych geerowaych w trakce uczea Prosta metoda rozpozawaa a podstawe ajblższego sąsada może sę okazać zawoda. 7

8 O rozpozau e decyduje jede sąsad (awet ajblższy), ale pewa zborowość Stablejsze rozpozawae zapewają metody odwołujące sę do welu sąsadów. Reguła -NN z sumą rag ( = 6). Przykład użyca reguły -NN dla =3 Obekt x zostae przypsay do klasy czerwoej Wybór wartośc mus być wykem kompromsu Przykłady kokretych wyków rozpozawaa w zależośc od parametru (a os pozomej) w zadau rozpozawaa foemów dla różych metryk. 8

9 Pukty wzajeme ajblższe Zależość warygodośc decyzj od stopa separowalośc klas Wyzaczee puktów wzajeme ajblższych pozwala wyodrębć obszary, w których warygodość decyzj jest mała Mary odległośc jako czyk determujący sposób dzałaa mmaloodległoścowych metod rozpozawaa obrazów Ią popularą marą odległośc jest mara Mahalaobsa: Modelowa mara odległośc: metryka Mkowskego Gdy Σ jest macerzą kowaracj zborowośc wektorów X Y, to mara ta wyzacza odległośc we współrzędych uzyskaych metodą składowych główych. Ne jest to jedak jedya możlwa terpretacja tej metryk. Mara eukldesowa metryka mejska (zaa róweż jako Mahatta są oczywśce specjalym przypadkam mary Mkowskego odpowedo dla α = 2 α = 1. W charakterze mary moża użyć bardzej ogólej formy kwadratowej z dowolą dodato określoą macerzą Q ustaloą dla daego problemu: W ektórych zastosowaach ajkorzystejsza jest mara Czebyszewa: W ych przypadkach użytecza okazuje sę fukcja Caberra: Różego rodzaju czyk korelacyje są róweż pożądae jako półfabrykat do stworzea przydatej mary odległośc (która jest jedak wtedy odwrote proporcjoala do korelacj). Najpopularejsza jest klasycza korelacja Pearsoa: czy też odległość χ 2 : Z kole fukcję korelacyją ragową Kedalla defuje poższe wyrażee: gdze sum jest sumą wszystkch wartośc cechy ze zboru treującego, a sze x szey są sumam wszystkch wartośc wektorów x y. Należy zapewć aby wartośc sum, sze x sze y były róże od zera. 9

10 W przypadku cech rozpozawaych obektów o charakterze daych jakoścowych (omalych) popularość zyskała mara VDM (ag. Value Dfferece Metrc) Odległość VDM pomędzy dwoma N wymarowym wektoram x, y ze składowym (cecham) o wartoścach dyskretych, opsywaych azwam symbolczym, przyjmującym wartośc ze zboru C dyskretych detyfkatorów (e koecze uszeregowaych według jakegoś porządku) wyraża sę wzorem: Mary odległośc wektorów barych Rozważae są odległośc wektorów barych - elemetowych: X, Y 0, 1 Typowym arzędzem wykorzystywaym do merzea odległośc takch wektorów jest metryka Hammga We wzorze tym N (x j ) ozacza lczbę wystąpeń -tej dyskretej wartośc cechy j-tej w wektorze X, a N(x j ) ozacza lczbę wystąpeń j-tej cechy w wektorze X. Aalogcze ozaczea dotyczą także wektora Y. d H X Y 1 Metryka Hammga e zawsze wystarcza, dlatego rozważae są także e mary odległośc Przy wyzaczau potrzebych mar odległośc przydate będą pomoccze wartośc: 1, X Y 1 a, 1 0, otherwse. 1, X 1, Y 0 b, 1 0, otherwse. 1, X 0, Y 1 c, 1 0, otherwse. 1, X Y 0 d, 1 0, otherwse. Łatwo zauważyć, że a, b, c d są w stoce zlczeam lczby zgodych ezgodych btów w obu łańcuchach. Na podstawe wartośc a, b, c d moża wyzaczyć mary odległośc: Russel ad Rao: a f a b c d Jaccard ad Needham: a f a b c Kulzsk: a f b c 1 a Sokal ad Mcheer: a d a d f a b c d Rogers ad Tamoto: a d f a d 2( b c) Yule: ad bc f ad bc W przypadku, kedy zarówo rozpozaway obekt, jak wzorzec, z którym sę go porówuje, e są pojedyczym puktam w przestrze cech, możlwe jest zastosowae (do ocey odległośc zboru od zboru) - metryk Hausdorffa. 10

11 Jeśl zamy defcję odległośc puktu x od puktu y ozaczoą jako d(x,y) jeśl A B są zwartym zboram puktów, to odległość puktu x od zboru B daa jest wzorem: d( x, B) m d( x, y) yb Rozważmy dwa ozaczea pomoccze d( A, B) max d( x, B) oraz d( B, A) max d( y, A) xa yb Metryka Hausdorffa określoa jest astępującym wzorem: h( A, B) max{ d( A, B), d( B, A)} 11