Zastosowanie wielowarstwowych modeli grafowych do dynamicznej analizy sceny w systemach mobilnych

Transkrypt

1 PIEKARCZYK Marcin WÓJCIK Krzysztof Zastosowanie wielowarstwowych modeli grafowych do dynamicznej analizy sceny w systemach mobilnych WSTĘP Techniki rozoznawania obrazów są obecnie szeroko wykorzystywane w różnych dziedzinach nauki i techniki. Złożona analiza obrazu jest kluczowym elementem wielu rozwiązań skomlikowanych roblemów z ogranicza automatyki, robotyki i sztucznej inteligencji. Jednym z obszarów, które są wsółcześnie intensywnie eksloatowane w tym zakresie jest automatyczna analiza i rozumienie obrazu wizyjnego w systemach mobilnych. Określenie systemów mobilnych można odnosić zarówno do systemów w ełni autonomicznych jak również do ojazdów czy urządzeń wyosażonych jedynie w bierne systemy analizy obrazu (ROV 3 ). W obydwu rzyadkach ojawia się roblem rozoznawania scen o wysokiej złożoności oraz rozumienia obrazu, czyli transformacji obiektów i ich wzajemnych owiązań (relacji) na użyteczną informację albo dla samego systemu albo dla oeratora-człowieka. Metody umożliwiające tego tyu złożoną analizę scen są szczególnie intensywnie rozwijane w kontekście maszyn w ełni autonomicznych wykorzystywanych zarówno w zastosowaniach cywilnych jak i militarnych (UCAV 4 ). Można tutaj wskazać badania i wdrożenia rowadzone w zakresie samochodów autonomicznych rzez DARPA oraz NASA, w dziedzinie systemów latających tzw. dronów (UAV/UAS 5 ) czy autonomicznych systemów odwodnych i nawodnych (UUV/AUV 6 ).Pomimo, iż tego tyu ojazdy korzystają zwykle z szerokiej gamy czujników i sensorów, nawigacji satelitarnej, ma drogowych czy sieci GSM to zawsze istotnym elementem układów sterujących jest system analizy i rozoznawania obrazu otoczenia. W orównaniu do klasycznych technik sztucznej inteligencji stosowanych w analizie obrazu, jak sztuczne sieci neuronowe (ANN), metody statystyczne (HMM 7, SVM 8 ) czy techniki doasowywania wzorców, formalizmy grafowe osiadają ewne własności, które mogą być użyteczne w rzyadku analizy złożonych scen wieloobiektowych. Przede wszystkim języki grafowe rzechowują wiedzę o obiektach i relacjach między nimi w sosób jawny (bezośredni) i wiedza ta może być wielokrotnie i na różnych oziomach szczegółowości rzetwarzania z omocą mechanizmów syntaktycznych (arsing). W tym asekcie klasyfikatory oarte o sieci neuronowe lub inne metody statystyczne zachowują się jak tzw. czarne skrzynki, gdzie nie ma możliwości analizy struktury wiedzy, jaka została w trakcie rocesu uczenia zgromadzona. Ta własność modeli oartych o schematy grafowe owoduje, że tego tyu formalizmy są często wykorzystywane w sytuacjach, gdzie niezbędna jest analiza scen o wysokiej złożoności. Taka konieczność wystęuje w szczególności w systemach mobilnych, gdzie analiza rozoznawcza obrazu jest tylko wstęem do uruchomienia metod rozumienia obrazu, czyli analizy kognitywnej nastawionej na uzyskanie konkretnej informacji semantycznej rzydatnej dla kontroli i sterowania całym systemem. Analiza kognitywna jest budowana na odobieństwo rocesów zachodzących w mózgu człowieka. W raktyce jest zwykle konstruowana na bazie semantycznego wnioskowania [5, 5, 8]. W ramach artykułu rzedstawiony zostanie wielowarstwowy model grafowy umożliwiający rerezentację Politechnika Krakowska im Tadeusza Kościuszki,Wydział Mechaniczny, Instytut Technologii Maszyn i Automatyzacji Produkcji,al. Jana Pawła II Kraków, tel , krzysztof.wojcik@mech.k.edu.l Uniwersytet Pedagogiczny im. KEN w Krakowie, Wydział Matematyczno-Fizyczno-Techniczny, Katedra Informatyki i Metod Komuterowych, ul Podchorążych, Kraków, mar@u.krakow.l 3 ang. Remote OeratedVehicle 4 ang. Unmanned Combat AerialVehicle 5 ang.unmannedaerialvehicle/system 6 ang. Unmanned Undersea Vehicle, AutonomusUnderwater System 7 ang. HiddenMarkovModels 8 ang. SuortVectorMachines 8608

2 i analizę scen o wysokiej złożoności, a także zostanie rzedyskutowana możliwość jego wykorzystania do analizy scen w systemach mobilnych ze szczególnym uwzględnieniem ojazdów autonomicznych. Model ten oiera się na koncecji grafów hierarchicznych tyu IE wykorzystywanych m.in. w rozoznawaniu scen wielowariantowych dotyczących danych biometrycznych[0, ]. W omawianej koncecji kluczowe znaczenie odgrywają nastęujące elementy: ois lingwistyczny sceny w kategoriach grafowych, wykorzystanie grafów dwuwarstwowych tyu IE, automatyczna transformacja struktur lingwistycznych w dziedzinę semantyki (znaczeń). W dalszej części artykułu rzedstawiona zostanie koncecja wykorzystania hierarchicznego modelu oisu sceny oraz mechanizmy analizy lingwistycznej, które mogą być zastosowane w rocesie rozumienia obrazu i uzyskania efektywnego oisu znaczeniowego. Rozumienie sceny jest jednym z kluczowych elementów systemu kontroli, sterowania i automatycznego odejmowania decyzji w szczególności w rzyadku ojazdów autonomicznych. REPREZENTACJA SCEN ZŁOŻONYCH W OPARCIU O GRAFY DWUWARSTWOWE Efektywne modelowanie rerezentacji scen z wykorzystaniem mechanizmów grafowych może naotykać w raktyce ewne trudności ze względu na dużą komlikację analizy syntaktycznej. Dla większości interesujących z raktycznego unktu widzenia (o dużej mocy oisowej) języków grafowych roblem badania izomorfizmu należy do klasy NP[3]. W zastosowaniach raktycznych istotne jest, aby wykorzystywać takie formalizmy grafowe, które dają się efektywnie analizować. Z tego względu w rzedstawianym modelu roonuje się wykorzystanie metod lingwistyki matematycznej oartych o grafy IE (ang. IndexedEdge-unambiguous) [-3]. Zastosowanie grafów tyu IE ozwala uzyskać wielomianową złożoność algorytmów analizy syntaktycznej [4] a także wnioskowania gramatycznego []. Grafy IE zostały wrowadzone do literatury rzedmiotu rzez Flasińskiego [-4] i stanowią odklasę grafów tyu EDG, na które nałożono ewne ograniczenia ozwalające na uroszczenie rocesu badania izomorficzności struktur grafowych. Narzucenie indeksacji wierzchołków ozwoliło na wrowadzenie seudo-liniowego uorządkowania w grafie. Grafy te ozwalają na jednoznaczną interretację scen bez zniekształceń. Zgodnie z roonowanym modelem grafowym scena może być rerezentowana w ostaci grafu hierarchicznego IE zawierającego nastęujące warstwy: warstwa globalna oisująca wzajemne ołożenie rzestrzenne istotnych obiektów sceny, warstwa lokalna zawierająca grafy oisujące strukturę oszczególnych składowych tworzących obiekty tzw. składowych ierwotnych. Proonowana struktura grafu hierarchicznego jest określona zgodnie z definicją [0-]. Formalne definicje grafów IE oraz gramatyk klasy ETPL(k) są dostęne w racach [-3] i jako znane ojęcia teorii rozoznawania obrazów nie będą tu rzytaczane. Definicja. Hierarchicznym grafem IE (ang. Hierarchical IE grah,hie) zbudowanym nad językiem L nazywamy iątkę H IE(L) = (V, Ε, Σ, Γ, ), gdzie: V jest skończonym, nieustym zbiorem wierzchołków grafu będących IE grafami, którym zostały rzyisane w sosób jednoznaczny indeksy, czyli V ( v,, v n ), n N, gdzie i,, n v i L a L jest językiem generowanym rzez gramatykę G, L L(G), gdzie G ETPL(k), Σ jest skończonym, nieustym zbiorem etykiet wierzchołkowych, Γ jest skończonym, nieustym zbiorem etykiet krawędziowych, 8609

3 Ε jest zbiorem krawędzi grafu ostaci (v, λ, w), gdzie v, w V, λ Γ i indeks v jest mniejszy niż indeks w, : V Σ jest funkcją etykietującą wierzchołki. Graf hierarchiczny jest tu rozumiany, jako konstrukcja formalna, ewna meta-struktura grafowa (warstwa globalna, hierarchiczna) rozięta nad zadanym grafem bazowym (grafem IE, warstwa lokalna). Warstwa lokalna odowiada w tym rozumieniu istotnym elementom sceny ojedynczym obiektom. Istotne elementy sceny są obiektami, które system otrafi rozoznać i które niosą rzydatną informację w zakresie znaczenia sceny. W rzyadku ojazdu autonomicznego można w dużym uroszczeniu do tego zbioru zaliczyć: inne ojazdy, i drogowe ionowe i oziome, obszar jedni, innych uczestników ruchu n. ieszych, it. W ewnym uroszczeniu można stwierdzić, że węzły grafu hierarchicznego rerezentują oszczególne obiekty a etykiety krawędzi określają relacje rzestrzenne między nimi. Każdy obiekt jest onadto rerezentowany jako graf IE określający lokalnie jego budowę. W efekcie owstaje struktura dwuoziomowa ozwalająca w efektywny sosób rerezentować całą złożoność sceny. Rys.. Przykładowy widok sceny z oziomu ojazdu: kolor czerwony istotne (rozoznane) obiektysceny, kolor niebieski obiekty niezidentyfikowane, kolor żółty obiekty nieistotne z unktuwidzenia systemu sterującego. Przykład rerezentacji sceny z rysunku z wykorzystaniem grafu hierarchicznego ilustruje rysunek, który zawiera grafy rozięte na istotnych obiektach obrazu otoczenia zarejestrowanego rzez kamerę mobilną (widok z oziomu ojazdu). 860

4 6 r 4 5 y v x st art Rys.. Graf hierarchiczny struktura globalna sceny z rysunku. 3 Obiekty oznaczone kolorem czerwonym (rys. ) oznaczają rozoznane elementy sceny i są ujęte w oisie grafowym (rys. ). Obiekty oznaczone na żółto jako nieistotne dla sceny mogą zostać ominięte. Obiekty oznaczone kolorem niebieskim mogłyby stanowić istotne elementy sceny, ale tak jak w tym rzyadku, mogą być zbyt daleko od obserwatora (ojazdu), aby możliwa była ich jednoznaczna identyfikacja. W takim rzyadku nie zostaną o rostu rozoznane i nie będą ujęte w grafie hierarchicznym oisującym globalną strukturę otoczenia ojazdu (sceny). Po rzemieszczeniu się ojazdu na odowiednią odległość zostaną uwzględnione w kolejnym oisie sceny. Każdy z węzłów grafu hierarchicznego (warstwa globalna) rerezentuje obiekt oisany w warstwie lokalnej orzez odowiedni graf IE. Na odstawie tego oisu moduł rozoznawczy jest w stanie rzyisać etykiety odowiednim węzłom grafu hierarchicznego (or. rys. 3). Przykładowy ois obiektów warstwy lokalnej ( B33 oraz as jezdni) w formie grafów IE dla elementów sceny z rysunku jest zarezentowany na rysunku 3. a) b) r 4 3 cyfra 5 x białe t ło s cyfra 0 czerw ony okrąg Rys.3. Grafy warstwy lokalnej dla wybranych obiektów sceny z rysunku : a) as jezdni, którym orusza się ojazd,b) B33 zlokalizowany z rawej strony jezdni. Etykiety węzłów warstwy lokalnej są bezośrednio skojarzone ze składowymi ierwotnymi sceny, które mogą być identyfikowane za omocą klasycznych klasyfikatorów wykorzystywanych w rozoznawaniu obrazu jak n. techniki doasowywania wzorców. Poszczególne grafy IE (or. rys. 3) oisujące strukturę obiektów istotnych dla rozoznawania sceny na oziomie globalnym można owiązać ze zbiorem etykiet terminalnych na oziomie hierarchicznym i rzechowywać w ostaci języka formalnego generowanego rzez gramatykę klasy ETPL(k) [-]. Dla tego tyu gramatyk istnieją efektywne metody wnioskowania gramatycznego [] co ozwala budować ois lingwistyczny automatycznie. Schemat generacji oisu dwuwarstwowego 86

5 w ostaci grafu hierarchicznego dla sceny obserwowanej z oziomu ojazdu został rzedstawiony na rysunku 4. Przetwarzanie wstęne Identyfikacja składowych ierwotnych Ois obiektów w formie grafów IE Analiza lingwistyczna Wynikowy graf hierarchiczny klasy IE Baza wiedzy o obiektach język formalny klasy ETPL(k) Rys.4. Schemat analizy rozoznawczej ozwalającej na konstrukcję hierarchicznego oisu grafowego otoczenia ojazdu. Dla komletności modelu rerezentacji należy odnieść się jeszcze do jednej kwestii raktycznej związanej z możliwością ozyskiwania dodatkowych informacji o rozoznanych obiektach sceny. Oisane rozwiązanie w ostaci grafu hierarchicznego zachowuje jedynie informację o tyie obiektów oraz ich wzajemnych relacjach rzestrzennych. W raktyce do sterowania ruchem ojazdu konieczne mogą być również inne bardziej szczegółowe informacje jak n. rędkość ojazdu orzedzającego lub wymijanego, odległość od zakrętu, it. Niektóre z tych informacji mogą być ozyskane bezośrednio z obrazu lub obrazów (jeśli ojazd jest wyosażony w więcej kamer) oraz z innych urządzeń (radar) lub sensorów (dalmierz laserowy). Agregacja tych informacji w oisie grafowym byłaby z raktycznego unktu widzenia wysoce ożądana. Formalna definicja grafu hierarchicznego nie rzewiduje takiej możliwości (zob. def. ), ale można ją rozszerzyć zgodnie z koncecją grafów atrybutowanych [9-]. W takim rzyadku węzły grafu hierarchicznego byłyby skojarzone z odowiednia dodatkową informacją semantyczną w ostaci arametrycznej, co można formalnie określić zgodnie z definicją. Definicja Hierarchicznym atrybutowanym grafem IE (ang. attributed, aie) nazywamy siódemkę G = (V, Ε, Σ, Γ,, V, E ) gdzie: a) G' = (V, Ε, Σ, Γ, ) jest grafem HIE zgodnie z definicją, b) V, E są odwzorowaniamiatrybutującymi odowiednio wierzchołki i krawędzie grafu: V : V A = E : E B = sełniającymi warunki: v V V (v) (v) e = (u,, w) E E (e) Zbiór wartości, jakie dla etykiety Σ Γ może rzyjmować funkcja atrybutująca jest ostaci, gdzie i i jest ilością atrybutów związanych z etykietą natomiast j jest rzestrzenią wartości jakie może rzyjąć j-ty atrybut. W rozważanym modelu ilość atrybutów jest ściśle owiązana z tyem obiektu n. dla ojazdu (samochodu) może to być jegorodzaj, rędkość, it. Finalnie otrzymany graf hierarchiczny rerezentujący otoczenie oruszającego się ojazdu rzedstawia rysunku 5. 86

6 Ty: odwrócony Ty: B33_ Ty: droga asfaltowa Zakręt: 50 m r Odległość: 4m Ty: odwrócony 5 y v Odległość: 4m Ty: droga asfaltowa Zakręt: 50 m 3 x st art Prędkość: 60 kmh Kierunek: 0 stoni Rys.5. Atrybutowany hierarchiczny graf IE rerezentujący scenę z rysunku. ANALIZA ZNACZENIOWA SCENY ROZUMIENIE OBRAZU Analiza kognitywna zakłada symulację w systemach automatycznych rocesów zachodzących w umyśle człowieka [5-7, 5-8]. Człowiek analizując swoje otoczenie odejmuje decyzje na odstawie zgromadzonej wiedzy oraz oceny danej sytuacji. Przedstawiony w rozdziale model rerezentacji wiedzy o scenie bazuje na naśladowaniu tego schematu. Wiedza jest tutaj rerezentowana z wykorzystaniem mechanizmów umożliwiających identyfikację składowych ierwotnych sceny oraz język formalny oisujący istotne obiekty otoczenia (lokalne grafy IE). Rerezentacja hierarchiczna niesie informację o komleksowej strukturze sceny i stanowi odstawę do analizy znaczeniowej [5], a w konsekwencji do odjęcia decyzji n. co do sosobu dalszego oruszania się ojazdu. Aby to było możliwe system wnioskujący musi być w stanie określić jakie znaczenie ma konkretny układ rzestrzenny obiektów z otoczenia ojazdu. Technicznie rzecz biorąc srowadza się to do rzyisania znaczenia konkretnemu atrybutowanemu grafowi hierarchicznemu (or.rys.5). W raktyce sytuacja jest o tyle skomlikowana, iż w rzyadku ruchu ojazdu scena zmienia się dynamiczne. Można stwierdzić, iż istnieje nieskończony zbiór scen, jakie mogą być ułożone w ostaci grafów hierarchicznych z dostęnych w otoczeniu ojazdu obiektów. Ze względu na skalę możliwych danych,odejście do mechanizmu budowania wiedzy dla otrzeb systemu automatycznego, który miałby rozumieć znaczenie sceny wymaga zastosowania takiego sosobu osteowania, który umożliwi ograniczenie ilości rzechowywanych danych oraz efektywność obliczeniową samego rocesu rozumienia [5]. Wstęnie można rozważyć trzy sosoby rozwiązania tego roblemu: komleksoweetykietowanie semantyczne rzyisanie znaczenia wszystkim możliwym grafom rerezentującym sceny, ois sceny w kategoriach wariantowych - wykorzystanie grafów losowych na oziomie hierarchicznym, analiza znaczeń ośrednich - badanie istnieniafragmentów oisu grafowego o znanym znaczeniu z wykorzystaniem izomorfizmu strukturalnego. Pierwsza metoda jest obarczona wadą odnoszącą się do efektywności obliczeniowej w związku z koniecznością wygenerowania i zaetykietowania semantycznego grafów oisujących wszystkie możliwe sceny. Samo konstruowanie języka formalnego dla grafów klasy IE nie jest roblemem, onieważ istnieją efektywne obliczeniowo mechanizmy wnioskowania gramatycznego []. Drugie odejście związane z wykorzystaniem grafów losowych do oisu wielowariantowości możliwych scen [-4] może owodować ewne roblemy raktyczne. Ze względu na bardzo ścisłą strukturę formalną grafów IE, a tym samym losowych grafów IE, bardzo trudne jest oisanie scen o różnej liczbie obiektów w kategoriach tego formalizmu [4]. W kontekście rozważanych tutaj scen trudno byłoby oisać jednym grafem losowym sceny z różną liczbą ów drogowych dodatkowo 863

7 z uwzględnieniem możliwości, iż w ewnych rzyadkach może nie być u rzy drodze. Z ewnością natomiast, takie odejście ogranicza efektywną liczbę grafów rerezentujących sceny [4]. Ponadto należy mieć na uwadze, iż języki generowane rzez gramatyki statystyczne klasy ETPL(k) jako znacznie bardziej złożone niż te dla deterministycznych grafów IE trudniej oddają się rocesowi wnioskowania gramatycznego []. W niniejszym artykule oisane zostanie trzecie odejście, które oiera się na koncecji znaczeń częściowych (ośrednich). Zamiast etykietować znaczeniowo komleksową scenę można rzeszukać rerezentację grafową od kątem wystęowania znaczeń rostych. a) b) Ty:? Zakręt:? Ty:? Zakręt: 50 m v Odległość:? 3 x st art st art Prędkość:? Kierunek:? c) d) Ty:? Prędkość:? Ty: B33_50 ojazd 4? Odległość:? Ty:? Zakręt:?? Odległość:? Ty: droga asfaltowa Zakręt:? Odległość:? st art Prędkość:? Kierunek:? Rys.6. Podgrafy rerezentujące rzykładowe kategorie znaczeń: a) dwa asy ruchu, b) zakręt za 50 m, c) ograniczenie rędkości do 50 kmh, d) ojazd orzedzający (brak wystąienia odgrafu stanowi negację znaczenia). W rzykładzie z rysunku można wyodrębnić takie znaczenia roste jak m.in: ograniczenie rędkości do 50 kmh, brak ojazdu orzedzającego na asie ruchu, zakręt za 50 m, dwa asy ruchu. Sytuacje determinujące odowiednie znaczenie mogą być oisane w kategoriach grafowych zgodnie z rysunkiem 6. Weryfikacja oszczególnych znaczeń może być dokonana orzez srawdzenie, czy rerezentujący daną sytuację odgraf znajduje się w grafie oisującym scenę. Można to w raktyce zrealizować orzez orównanie oisów charakterystycznych oszczególnych węzłów odgrafu z grafem hierarchicznym oisującym scenę. Symbole? ojawiające się odgrafach rzedstawionych na rysunku 7 oznaczają, iż etykieta lub wartość atrybutu w tym miejscu nie mają wływu na wynik orównania. W efekcie mamy do czynienia z rzybliżonym testowaniem izomorfizmu struktur grafowych z dokładnością do etykiet i atrybutów oznaczonych wskazanym symbolem.ostatecznie, roces ustalania znaczeń danej sceny jest realizowany wg schematu rzedstawionego na rysunku 8. Bazę wiedzy w ostaci odgrafów z rzyisanymi im znaczeniami, które w raktyce mogą stanowić ewną ściśle określoną ontologię można traktować w kategoriach rozumienia obrazów jako 864

8 zbiór hiotez (oczekiwań) w odniesieniu do analizowanej sceny. W takich kategoriach sam roces weryfikacji rzybliżonego izomorfizmu struktur grafowych stanowi w rostej formie bezośrednią realizację rezonansu kognitywnego [7, 5]. Hiotezy w ostaci odgrafów owiązanych ze znaczeniami rostymi są obierane z bazy wiedzy i weryfikowane z aktualną rerezentacją grafową sceny. W efekcie uzyskuje się ukonkretniony zbiór znaczeń rzyisanych danej scenie, który stanowi odstawę do odejmowania decyzji. Zbiór taki można traktować jak dane wejściowe do dedykowanego systemu regułowego lub klasyfikatora rozmytego generującego odowiednie sterowanie ojazdem autonomicznym. Scena odlegająca rozoznawaniu Rerezentacja grafowa obiektów i cech Rezonans kognitywny Rozumienie sceny Wiedza dziedzinowa Zbiór hiotez (oczekiwań) Rys.7. Model rozumienia sceny z wykorzystaniem grafów hierarchicznych. Ostatecznie,schemat weryfikacji analizy znaczeniowej i rozumienia sceny rzyjmuje ostać algorytmu rzedstawionego na rysunku 8. mset = Ø; GHR = buildgrahscenereresentation(i); H = loadhyotesesset(); foreachhinhdo begin foriinall GHR indicesdo begin n = size(h); g = getsubgrah(ghr, i, n); hd = getcd(h); gd = getcd(gd); end. end; res = comarecd(hd, gd); if res = truethen mset += getmeaning(h); end; Rys.8. Schemat weryfikacji analizy znaczeniowej i rozumienia sceny, gdzie: I obraz wejściowy, GHR graf hierarchiczny rerezentacji sceny, H zbiór odgrafów skojarzonych ze znaczeniami rostymi, mset wyjściowy zbiór znaczeń dla analizowanej sceny. Ponadto zakłada się istnienie nastęujących rocedur i funkcji wykorzystywanych rzez algorytm analizy znaczeniowej z rysunku 8 (szczegółowo oisanych w rzerowadzonej w tym rozdziale dyskusji teoretycznej): buildgrahscenereresentation(i):konstruuje rerezentację scenyz obrazu Ioraz zwraca odowiadający jej atrybutowany graf hierarchiczny IE loadhyotesesset(): wczytuje zbiór odgrafów owiązanych z hiotezami 865

9 size(h): zwraca liczbę wierzchołków grafu h getsubgrah(ghr, i, n): zwraca odgraf grafu GHR zaczeiony w wierzchołku o indeksie i oraz rozmiarze n (w rzyadku większej liczby możliwych grafów zwraca zbiór) getcd(h): wyznacza ois charakterystyczny grafu h(lub zbioru grafów) comarecd(hd, gd):dokonuje orównania oisów charakterystycznych grafu hd oraz grafu (zbioru grafów) gd getmeaning(): zwraca interretację znaczeniową owiązaną z grafem h ze zbioru hiotez PODSUMOWANIE Zaroonowany w artykule schemat określania analizy znaczeniowej scen dla otrzeb rozumienia obrazu w systemach mobilnych wykorzystuje znane formalizmy grafowe oarte o grafy IE oraz gramatyki ETPL(k). Podejście to może być wykorzystane dla dowolnej kategorii ojazdów autonomicznych (mobilnych) wymagających dynamicznej analizy znaczeniowej na oziomie systemu wizyjnego. Szczegółowe arametry modelu mogą być dostosowywane do konkretnych secyficznych wymagań. Przykładem może być rozdzielczość kątowa etykiet kierunkowych (standardowo dla grafów IE 45 stoni), która może być w razie konieczności odowiednio zwiększana zgodnie z wymaganiami alikacyjnymi. W racy omówiony został schemat logiczno-funkcjonalny modelu, a także mechanizmy grafowe umożliwiające generowanie oczekiwań (hiotez) niezbędnych do efektywnej analizy kognitywnej sceny. W ersektywie badawczej interesujące są możliwości wykorzystania formalizmu grafów losowych do oisu obiektów sceny oraz zbioru oczekiwań. W tym kontekście należy zastanowić się nad roblemem formalnego ujęcia w kategoriach statystycznych scen, w których ewne elementy (obiekty) mogą wystęować lub nie. Powodowałoby to rawdoodobnie konieczność rozszerzenia modelu grafów rie w kierunku imlementacji węzłów ustych. Wymaga to dalszych rac badawczych. Streszczenie W ramach artykułu oruszone zostały kwestie automatycznego wnioskowania i rozumienia obrazów dla otrzeb systemów wizyjnych ojazdów autonomicznych. Proonowany model analizy znaczeniowej wykorzystuje wielowarstwowe struktury grafowe klasy IE, a także mechanizmy analizy lingwistycznej w ramach deterministycznych języków generowanych rzez gramatyki tyu ETPL(k). Oisany schemat ozwala na efektywną obliczeniowo analizę znaczeniową sceny z wykorzystaniem mechanizmów kognitywnych, jak generowanie oraz weryfikacja hiotez i oczekiwań odnoszących się do znaczenia sceny. Asekty techniczne roonowanego rozwiązania zilustrowane zostały na rzykładzie analizy sceny w systemie wizyjnym ojazdu mobilnego. W racy rzedyskutowano także możliwości wykorzystania silniejszych formalizmów grafowych (grafy losowe) do zwiększenia siły oisowej modelu. Hierarchical grah-based scheme of scene understanding for mobile autonomous systems Abstract The work introduces a linguistic oriented model designed for image understanding in autonomous vehicle systems. The IE grahs are used as a base. The structure of a scene acquired from vision system is reresented using deterministic multi-layer IE grah. In this aroach a two-layer hierarchical attributed IE grah is used. The aer describes how to use the roosed model for structural scene reresentation.also, the work resents discussion on the scheme which allows the system to generate hyotheses related to scene meaning.utilization of the semi-arsing aroach based on matching subgrah structures gives the ossibility to erform a cognitive resonance in automatic and comutationally effective way. Described methodology can be esecially suited for vision data analysis and understanding in UAV/ROV class systems. 866

10 BIBLIOGRAFIA. Flasinski M., Strukturalna analiza obrazu za omocą gramatyk grafowych klasy ETPL(k), Uniwersytet Jagielloński, Monografia habilitacyjna, Kraków, 99.. Flasinski M., On the Parsing of Deterministic Grah Languages for Syntactic Pattern Recognition, Pattern Recognition, Vol. 6, 993. No., Flasinski M., Power Proerties of NLC Grah Grammars with a Polynomial Membershi Problem, Theoretical Comuter Science, Vol. 0, 998, No., Flasinski M., Skomorowski M., Parsing of Random Grah Languages for Automated Insection in Statistical-based Quality Assurance Systems, Machine GRAPHICS & VISION International Journal, Vol. 7, 998, No. 3, Meystel A. M., Albus J. S., Intelligent systems architecture, design and control, Wiley-Interscience Publication, John Wiley and Sons Inc., Ogiela L., Ogiela M. R., Cognitive Techniques in Visual Data Interretation, Sringer Verlag, Berlin-Heidelberg, Ogiela M. R., Tadeusiewicz R., Towards New Classes of Cognitive Vision Systems, CISIS 00 the 4th International Conference on Comlex, Intelligent and Software Intensive Systems, February, 5th - 8th 00, Krakow, Poland, Ogiela M. R., Piekarczyk M., Random grah languages for distorted and ambiguous atterns: single layer model, Proceedings of the Sixth International Conference on Innovative Mobile and Internet Services in ubiquitous comuting (IMIS0),. 08-3, 4-6 July 0, Palermo, Italy. 9. Oleksik P., Syntactic attern recognition in visual insection system using stochastic ETPL(k) grah grammars, Akademia Górniczo-Hutnicza, Rozrawa doktorska, Kraków, Piekarczyk M., Hierarchical Random Grah Model for Off-line Handwritten Signatures Recognition, Proc. of International Conference on Comlex, Intelligent and Software Intensive Systems 00 (CISIS00/IMIS00), IEEE CS Press.. Piekarczyk M., Ogiela M.R., Hierarchical Grah-Grammar Model for Secure and Efficient Handwritten Signatures Classification, Journal of Universal Comuter Science (JUCS), Vol. 7, 0, Issue 6, Skomorowski M., On the arsing of random grahs for syntactic attern recognition, Machine GRAPHICS & VISION International Journal, Vol. 5, 996, Skomorowski M., Use of random grah arsing for scene labelling by robabilistic relaxation, Pattern Recognition Letters, Vol. 0, 999, Issue 9, Skomorowski M., Syntaktyczno-statystyczny model rozoznawania obrazów zniekształconych, Uniwersyste Jagielloński, Monografia habilitacyjna, Kraków, Tadeusiewicz R. Ogiela M. R., The new concet in comuter vision: automatic understanding of the images, [w:] Artificial Intelligence and Soft Comuting, red. Rutkowski L. i in., Lecture Notes in Artificial Intelligence, vol. 3070, Sringer-Verlag, Berlin-Heidelberg-New York, Tadeusiewicz R., Ogiela M. R., Medical Image Understanding Technology, Sringer Verlag, Berlin-Heidelberg, Tadeusiewicz R., Ogiela M. R., New roosition fro intelligent system design: artificial understanding of the images as the next ste of advanced data analysis after automatic classification and attern recognition, [w:] Intelligent Systems Design and Alications, red. Kwasnicka H., Parzycki M., IEEE Comuter Society Press, Los Alamitos, Washington Brussels-Tokyo, Tadeusiewicz R. Ogiela L., Metody analizy kognitywnej w ekonomicznych systemach informacyjnych, Zeszyty Naukowe UEK w Krakowie, Nr. 798, 009,