Poszukiwanie odpowiedniości elementów obrazów poprzez poszukiwanie klik optymalnych

Transkrypt

1 rtur BL nstytut utmatyk Pltechnka Śląska E mal: artur.bal@plsl.pl WWW: Pszukwane dpwednśc elementów brazów pprzez pszukwane klk ptymalnych Wprwadzene Prblem pszukwana dpwednśc elementów brazów [3 0] naleŝy d nawaŝneszych prblemów wdzena maszynweg. Rla teg prblemu est knsekwencą znaczena rzeczywstych zadań d których rzwązana kneczna est wedza dpwednśc elementów brazów. Przykładam takch zadań są m.n. zadana: klasyfkac pszukwana wzrca sterekrespndenc przeszukwana brazwych baz danych. Natrudneszym zadanem spśród wymennych est zadane pszukwana sterekrespndenc zadane t est równeŝ ednym z natrudneszych zadań wdzena maszynweg [4]. Na przykładze rzwązana teg zadana w pracy zaprezentwana zstała nwa rdzna metd które mgą zstać zastswane d rzwązana szerke klasy zadań wymagaących wedzy dpwednśc elementów brazów. W metdach tych zadane pszukwana dpwednśc elementów brazów zstał przefrmułwane d zadana pszukwana dpwednśc elementów dpwedn zdefnwanych grafów. D kreślena dpwednśc tych grafów pracwan nwe pdeśce w pstac pszukwana klk ptymalnych w dpwedn kreślnym grafe skarzenwym. Pdeśce t est ugólnenem metdy pszukwana dpwednśc grafów przez pszukwane nawększych klk w dpwedn zdefnwanym grafe. Wspmnane pwyŝe zagadnena zstały w pracy przedstawne w następuącym prządku. Rzdzał przedstawa zarys prblemu sterekrespndenc rzdzał 3 zawera uwag na temat znaczena struktury w prcese pszukwana dpwednśc. Kleny 4 rzdzał prezentue nwe metdy pszukwana dpwednśc. statn rzdzał zawera krótke pdsumwane wynków ake zstały uzyskane d te pry. Sterekrespndenca zarys prblemu Celem pszukwana dpwednśc steremetryczne (sterekrespndenc ang. sterematchng) est kreślene dpwednśc elementów naleŝących d pary brazów twrzących tzw. stereparę (rys. ). Elementy brazów dpwadaą sbe eŝel są rzutem teg sameg elementu sceny 3D (tzn. np. punktu krawędz Praca fnanswana ze śrdków na dzałalnść statutwą nstytutu utmatyk Pltechnk Śląske.

2 bszaru) na płaszczyzny tych brazów. Ze względu na t Ŝe brazy twrzące parę stere pzyskwane są z róŝnych punktów przestrzen taczaące analzwaną scenę 3D pmędzy brazam zachdzą róŝnce które umŝlwaą reknstrukcę częśc relac przestrzennych występuących w te scene. by dknane take reknstrukc był mŝlwe kneczne est ustalene relac dpwednśc mędzy elementam brazów. Przegląd rzwązań teg zagadnena zaweraą m.n. prace [ 5 7]. a) b) Rys.. Przykładwa sterepara CRRDR a) braz lewy b) braz prawy Fg.. Example f steremage CRRDR a) left mage b) rght mage Celem pszukwana dpwednśc elementów brazów ek el est znalezene zdefnwaneg pnŝe zbru ω uprządkwanych par tych elementów: ω = ( e e ) M ( ) ( e ) M ( ) a eb = true e r es = false () ea eb ω ( er es ) \ ω gdze M ( k l ) e e est predykatem kreślaącym czy elementy e k e l są rzutam teg sameg fragmentu analzwane sceny 3D a zatem predykat ten zwraca prawdę eŝel e e rzeczywśce sbe dpwadaą. Praktyczne wykrzystane teg pdeśca d k l pszukwana dpwednśc ze względu na brak mŝlwśc znalezena rzwązana dkładneg wymaga stswana przyblŝnych metd rzwązana teg prblemu. ch dea plega na pszukwanu ak nalepszeg przyblŝena zbru ω w pstac zbru {( e e )} % ω = pprzez pszukwane ekstremum dpwedn zdefnwaneg pt wskaźnka akśc ( ω) %. Jeg wartść wyznaczana est na pdstawe cech wyekstrachwanych w brazach. W przypadku pszukwana dpwednśc elementów brazów stere stswane psanych pwyŝe metd est znaczne utrudnne przez właścwśc brazów stere. Tak ak wcześne wspmnan występwane róŝnc mędzy brazam est nezbędne d dtwrzena relac przestrzennych zachdzących w analzwane scene równcześne ednak róŝnce te pwduą Ŝe ustalene sterekrespndenc mędzy elementam brazów est trudnym zadanem. Knsekwencą akwzyc brazów z róŝnych punktów przestrzen 3D est t Ŝe ten sam element analzwane sceny nacze wygląda na kaŝdym z brazów. ZróŜncwanu pdlegaą ed-

3 nak ne tylk rzuty pszczególnych elementów sceny zmany dtyczą równeŝ rzutów tczeń tych elementów. Z punktu wdzena pszukwana dpwednśc sttne est Ŝe zróŝncwane dpwadaących elementów brazów ak równeŝ ch tczeń wpływa na zróŝncwane psuących e cech. Kleną knsekwencą knecznśc akwzyc brazów stere z róŝnych punktów przestrzen 3D est zawsk wzaemneg zarówn częścweg ak pełneg przesłanana sę pszczególnych elementów sceny 3D które uwdaczna sę z róŝnym naslenem na bu brazach. Jakścwym skutkem róŝne realzac pełneg przesłanana na brazach raz uwdcznena na nch częścw róŝnych fragmentów analzwane sceny est brak wedzy tym które elementy edneg brazu maą swe dpwednk w drugm braze. Występwane wymennych pwyŝe zawsk pwdue Ŝe rzwązane zadana sterekrespndenc w gólnym przypadku wymaga duŝeg nakładu blczenweg. Metdą eg zmneszena est stswane załŝeń upraszczaących [] w praktyce ne zawsze est t ednak mŝlwe. Kneczne est zatem pszukwane metd które mgą być stswane gdy załŝena upraszczaące ne są lub ne mgą być stswane. Prezentwane w nnesze pracy metdy pszukwana dpwednśc zstały pracwane zgdne z takm paradygmatem. 3 Rla struktury w zadanu pszukwana dpwednśc nalza róŝnc występuących mędzy brazam twrzącym parę stere pkazue Ŝe róŝnce te dtyczą racze lkalnych cech brazów nŝ ch cech glbalnych. Pnadt zmany występuące w tczenach dpwadaących sbe elementów tych brazów tylk w stsunkw newelkm stpnu wpływaą na dpwedn zdefnwane struktury tych brazów. Struktura brazu rzumana est tuta ak zbór wybranych elementów brazu (np. bszarów) wraz z pewnym zbrem wybranych relac zachdzących mędzy nm. Wynk te zstały zastswane przy pracwywanu prezentwanych w pracy metd pszukwana dpwednśc na etape dbru struktur brazów na pdstawe których prwadzny będze prces pszukwana dpwednśc. Dgdną reprezentacą struktury brazu est graf elementy brazu reprezentwane są zwykle przez werzchłk grafu a relace mędzy elementam reprezentuą eg krawędze. Pnadt d werzchłków krawędz mgą zstać przypsane dpwedn zdefnwane atrybuty psuące wybrane cechy dpwedn elementów relac występuących w braze. Dzęk take prezentac struktury brazu mŝlwe est przefrmułwane zadana pszukwana dpwednśc z dzedzny brazów d dzedzny grafów. Pdstawwym prblemem przy takm pdeścu est knecznść pszukwane tzw. (strukturalne) nedkładne dpwednśc grafów (ang. structural nexact graph matchng) t. pszukwane dpwednśc elementów grafów w przypadku gdy grafy te róŝną sę swą strukturą ak wartścam przypsanych d nch atrybutów [6 0]. W przypadku brazów twrzących parę stere zróŝncwane grafów G G est knsekwencą zróŝncwana tych brazów wynkaącą ze spsbu ch pzyskana. D pszukwana dpwednśc grafów róŝnych strukturach w lteraturze prpnwane są algrytmy bazuące na de edyc grafów (ang. graph edt) [9 ]. Pszukwane dpwednśc grafów zgdne z tym pdeścem plega na przekształ-

4 cenu pprzez perace zamany kaswana wstawana zarówn werzchłków ak krawędz edneg lub bu analzwanych grafów d take pstac aby grafy te były zmrfczne lub zmrfczne były ch pdgrafy. sttnym wadam takeg rzwązana est brak dedykwanych (a zatem szybkch) metd eg rzwązana raz dsyć utrudnne dstswywane takch algrytmów d nwych zadań. 4 Nwe metdy pszukwana dpwednśc W wynku prwadznych prac pracwane zstały trzy metdy pszukwana dpwednśc elementów brazów t. metda: ednkrkwa teracyna weletapwa. Dla skupena uwag przyęt Ŝe elementam brazów dla których pszukwana będze dpwednśc będą bszary. Take sfrmułwane zadana pszukwana dpwednśc wymaga aby prces ten zstał pprzedzny segmentacą analzwane pary brazów. Wynkem segmentac est para brazów { = } { } = gdze są utwrznym bszaram. Pszukwane dpwednśc elementów brazów w prpnwanych metdach realzwane est w dzedzne grafów stąd teŝ klenym krkem p segmentac est utwrzene mdel brazów w pstac pary atrybutwych grafów G G dpwadaących tym brazm. Grafy te zaweraą nfrmace wybranych cechach bszarów raz cechach wybranych relac zachdzących mędzy param bszarów ( k l ). W dróŝnenu d rzwązań prezentwanych w lteraturze grafy G G są grafam pełnym c pzwlł na zawarce w nch nfrmac relacach zachdzących mędzy wszystkm a ne tylk wybranym param bszarów brazów. Take rzwązane pzwlł na znaczne zmneszene wpływu lkalnych zman relac mędzy bszaram na wynk pszukwana dpwednśc w prównanu d rzwązań w których uwzględnane są edyne relace mędzy wybranym param elementów brazów. nspracą d pracwana prezentwanych w pracy nwych metd pszukwana dpwednśc elementów brazów był pracwany przez G. Leveg algrytm pszukwana dpwednśc dla pary dwlnych grafów G α G β [8]. Pszukwane dpwednśc grafów zstał w tym algrytme sprwadzne d pszukwana nawększe klk (t. pdgrafu pełneg daneg grafu nawększe lczbe werzchłków) w dpwedn zdefnwanym grafe skarzenwym G. Prpnwane przez Leveg rzwązane ne pzwala ednak na pszukwane nedkładne dpwednśc grafów a takŝe ne uwzględna w prcese pszukwana dpwednśc atrybutów lścwych przypsanych d grafów G α G β. Brak tych mŝlwśc pwdue Ŝe z punktu wdzena zadana pszukwana dpwednśc elementów brazów algrytm Leveg est w praktyce neuŝyteczny. Z druge ednak strny dzęk przefrmułwanu zadana pszukwana dpwednśc grafów d zadana pszukwana nawększe klk w grafe G twarta zstała drga d wykrzystana szybkch dedykwanych algrytmów pszukwana klk w zadanu pszukwana dpwednśc c ma nebagatelne znaczene praktyczne. Ze względu na ten fakt pdęta zstała próba ugólnena

5 algrytmu Leveg na przypadek pszukwana nedkładne dpwednśc grafów. Rzwązane teg prblemu pzwlł na pracwane nwych metd pszukwana dpwednśc brazów które są prezentwane pnŝe. Metda ednkrkwa W metdze ednkrkwe pszukwane dpwednśc grafów na ptrzeby zadana pszukwana dpwednśc elementów brazów realzwane est pprzez pszukwane w atrybutwym grafe skarzenwym G klk ptymalne q pt e znalezene est równznaczne ze znalezenem rzwązana zadana pszukwana dpwednśc elementów brazów. pracwane rzwązane pzwala na pszukwane nedkładne dpwednśc elementów grafów a tym samym pzwala na pszukwane nedkładne dpwednśc elementów brazów. Graf G twrzny est na pdstawe grafów G G a eg werzchłk v reprezentuą parę ptencalne dpwa- daących sbe werzchłków ( a b ) v v tych grafów. trybuty V E przypsane dpwedn d werzchłków v krawędz e grafu G reprezentuą róŝncę wartśc cech przypsanych d dpwednch werzchłków krawędz grafów G G. Utwrzene dwlne klk q = { v } w grafe G zwązane est następuącym ksztem V E ( q) v q. () e q = + Wartść ( q) mŝna traktwać ak cenę błędu dpaswana par werzchłków G G reprezentwanych przez v q. Rzwązane zadna pszukwana dpwednśc czyl klka q pt gdze q pt mnmalzue następuący funkcnał ( qˆ ) = arg mn qˆ = Qˆ (3) { : q qˆ ( ) ( ) } Qˆ = qˆ qˆ > q qˆ < q < ; (4) q lczba werzchłków twrzących daną klkę; q qˆ G. Dzęk takemu sfrmułwanu warunków ake mus spełnać rzwązane dpwednemu zdefnwanu wzrów na [] znadwywane rzwązane spełna dwa trudne d pgdzena V E wymagana tzn.: ) maksymalzacę lczby dpwadaących sbe par elementów raz ) mnmalzacę łączneg błędu dpaswana który rśne wraz z lczbą znaleznych par elementów. statną peracą aką naleŝy wyknać est przenesene wynku pszukwana dpwednśc z dzedzny grafów d dzedzny brazów. Metda teracyna Rzwnęcem metdy ednkrkwe est metda teracyna. W metdze te pprzez rekurencyne pwtarzane prcesu pszukwana dpwednśc metdą ednkrkwą dpwedn dbór w kaŝdym krku parametrów wymaganych przy wyznaczanu wartśc uzyskan efekt prpagac rzwązana na klene bszary. NaleŜy pd- V E

6 kreślć Ŝe prpagaca rzwązana w tym przypadku ne est granczna relacam gemetrycznym występuącym w brazach. Rzwązana q trzymane dla klenych krków terac spełnaą następuący warunek ( max lczba terac) pt pt { K } + max q q. (5) Metda weletapwa W statne z pracwanych metd t. metdze weletapwe wykrzystan mŝlwść segmentac brazów z róŝną dkładnścą segmentac (cecha ta kreśla zdlnść dane realzac segmentac d zachwana w brazach wynkwych nfrmac kreślne welkśc szczegółach występuących w rygnalnym braze). sttą metdy weletapwe est rekurencyne stswane na klenych e etapach wedzy dpwednśc bszarów na pzme h d pszukwana dpwednśc bszarów na pzme h + (wzrst h znacza wzrst dkładnśc segmentac wartść h reprezentue równeŝ numer etapu metdy weletapwe). Dzęk take rganzac prcesu pszukwana dpwednśc nakład blczenwy ak ptrzebny est d pszukwana dpwednśc na pzme h (dla h > ) w metdze weletapwe est znaczne mneszy nŝ t ma mesce w metdze teracyne. Realzaca takeg pdeśca była mŝlwa dzęk zastswanu psane w [] teracyne równległe metdy segmentac które wynk spełnaą następuący warunek gdze h { K H } h h h h h h h bszar naleŝący d brazu (6) pt h będąceg wynkem segmentac brazu h h z pzmem dkładnśc h zaps znacza Ŝe wszystke pksele brazu które naleŝą d bszaru naleŝą równeŝ d bszaru h h ; ndeks { } = reprezentue numer brazu. D pszukwana dpwednśc na klenych etapach metdy weletapwe stswana est metda teracyna. Na rys. przedstawn przykładwe wynk pszukwana dpwednśc metdą weletapwą. bszarm których dpwednść zstała ustalna przydzelny zstał ten sam numer a d ch wyróŝnena w braze zastswan tą samą barwę. 5 Pdsumwane Przeprwadzne badana wskazuą na duŝą skutecznść prezentwanych w pracy metd pszukwana dpwednśc. sttny wpływ na akść czas trzymywanych wynków ma zastswane w pracwanych metdach trzech rzwązań w pstac: ) wykrzystana wedzy strukturze brazów w pstac relac zachdzących mędzy wszystkm bszaram brazu na zasadze kaŝdy z kaŝdym ) negranczne relacam gemetrycznym zachdzącym w braze prpagac rzwązana raz ) wykrzystana zmenne dkładnśc segmentac brazów. Tak ak w nnych metdach analzy brazów w których wykrzystywana est segmentaca brazów równeŝ w przypadku pracwanych metd dkładnść uzysk-

7 wanych wynków znacząc zaleŝy d akśc segmentac brazów. Stąd teŝ pprawa akśc segmentac będze ednym z głównych celów dalszych badań. a) b) Rys.. Wynk pszukwana dpwednśc metdą weletapwą dla sterepary CRRDR Fg.. Result f mage matchng usng multstage methd fr steremage CRRDR sttną zaletą prezentwanych metd est mŝlwść zastswana w nch szybkch dedykwanych algrytmów pszukwana klk. W wynku ch zastswana czas pszukwana dpwednśc elementów brazów w stsunku d stanu aktualneg ulegne znacznemu skrócenu przy równczesnym zachwanu wyske akśc uzyskwanych rezultatów. Kleną znaczącą zaletą prezentwanych metd est łatwść ch dstswana d aktualnych ptrzeb raz ch unwersalnść pzwalaąca na ch bezprblemwe zastswane w nnych nŝ pszukwane sterekrespndenc zadanach wymagaących pszukwana dpwednśc elementów brazów takch ak np. zadane: pszukwana wzrca klasyfkac przeszukwana brazwych baz danych. NaleŜy równeŝ zwrócć uwagę na ptencalne mŝlwśc nwych zastswań de pszukwana dpwednśc grafów ake wynkaą z pracwana ugólnne pzwalaące na kreślene nedkładne dpwednśc grafów metdy Leveg. nnym przykładem wykrzystana trzymanych rezultatów est mŝlwść wykrzystana de pszukwana klk ptymalnych w nnych zadanach nŝ pszukwane dpwednśc przykładem takeg zadana est prblem pszukwana przydzału w przypadku gdy relace zachdzą zarówn mędzy elementam naleŝącym d przydzelanych d sebe grup ak wewnątrz samych grup. Lteratura. Bal.: Wyznaczane dpwednśc elementów brazów z wykrzystanem nfrmac ch strukturze rzprawa dktrska Glwce Cyganek B.: Kmputerwe przetwarzane brazów trówymarwych kademcka fcyna Wydawncza EXT Warszawa Duda R.. Hart P. E.: Pattern classfcatn and scene analyss Jhn Wley & Sns nc. 973.

8 4. Jan R. Kastur R. Schunk B.: Machne Vsn. McGraw-Hll nc Jnes G..: Cnstrant ptmsatn and herarchy: Revewng sterescpc crrespndence f cmplex features. Cmputer Vsn and mage Understandng 65(): Kälvänen H. a E.: Cmparsns f ttrbuted Graph Matchng lgrthms fr Cmputer Vsn. Research Reprt 9 Lappeenranta Unversty f Technlgy Department f nfrmatn Technlgy Lappeenranta (Fnlanda) Lane R.. Thacker N..: Tutral: vervew f stere matchng research. Research Reprt Tna Mem N Unversty f Manchester Manchester Lev G.: nte n the dervatn f maxmal cmmn subgraphs f tw drected r undrected graphs W Calcl vlume 9 str Sanfelu. Fu K. S.: dstance measure between attrbuted relatnal graph. EEE Transactns n Systems Man and Cybernetcs 3: Schalkff R. J.: Pattern Recgntn: Statstcal Structural and Neural ppraches Jhn Wley & Sns nc Shapr L. Haralck R.: Structural descrptn and nexact matchng. EEE Transactns n Pattern nalyss and Machne ntellgence 3: Wang C. be K.: Regn crrespndence by nexact attrbuted planar graph matchng. W Prcedngs f the 5th nternatnal Cnference n Cmputer Vsn (CCV 95) str Cambrdge (Massachusetts US) 995. Streszczene W pracy przedstawn dee trzech nwych wykrzystuących nfrmacę strukturze metd pszukwana nedkładne dpwednśc elementów brazów. Metdam tym są metda: ednkrkwa teracyna weletapwa. Prblem pszukwana dpwednśc elementów brazów zstał w nch sprwadzny d prblemu kreślena nedkładne dpwednśc dpwedn zdefnwanych grafów. Na ptrzeby rzwązana teg zadna pracwan metdę pszukwana dpwednśc grafów przez pszukwane klk ptymalnych. Jak przykład zastswana prezentwanych metd przedstawn ch wykrzystane w zadanu pszukwana sterekrespndenc. mage element matchng by ptmal clque fndng Summary n ths paper the dea f three nvel (.e. ne-step teratve and multstage methd) usng structural nfrmatn methds fr fndng nexact crrespndence f mage elements s presented. n thse methds the task f matchng mage elements s reduced t the prblem f nexact graph matchng n accrdngly defned graphs. Fr ths prblem slvng new methd f fndng graph matchng by ptmal clque fndng n respectvely defned asscatn graph was develped. s an example f practcal usage f the descrbed methds ther applcatn n prblem f sterematchng s presented.