STEROWANIE JASNOŚCIĄ OBRAZU NA POTRZEBY WIZYJNEGO SYSTEMU OMIJANIA PRZESZKÓD BEZZAŁOGOWEGO APARATU LATAJACEGO

Transkrypt

1 DOI /jo Journal of KONBiN 4(32)2014 ISSN THE IMAGE BRIGHTNESS CONTROL SYSTEM DEDICATED FOR THE AUTONOMOUS UNMANNED AERIAL VEHICLE STEROWANIE JASNOŚCIĄ OBRAZU NA POTRZEBY WIZYJNEGO SYSTEMU OMIJANIA PRZESZKÓD BEZZAŁOGOWEGO APARATU LATAJACEGO Jaub Cieślu, Zdzisław Gosiewsi Poliechnia Białosoca Absrac: The invesigaions of sysems which allow o avoid obsacles by he unmanned aerial vehicles (UAV) are presened in he paper. The sysems are designed o enable he full auonomous UAV fligh in unnown, dynamic environmen. Presened soluions enable o real-ime conrol of he image brighness, wihou significanly disurbing he objeciviy of he vision sysem. Single board ADSP-BF537 compuer wih buil-in CMOS camera was used in he experimenal sudies. The final sage of he as is o perform fully auonomous missions of flying objec wih he real obsacles on is rajecory. Keywords: Unmanned Aerial Vehicle, Obsacle Avoidanace, Vision Sysems, Sreszczenie: W aryule przedsawiono sprzęowo programową meodę uładu onroli jasności. Jes o isone w przypadu analizy obrazów w dynamicznym ooczeniu. Przyładem zasosowania ego są wizyjne sysemy omijania przeszód esowane w warunach dużego i zmiennego nasłonecznienia. Przedsawione w pracy rozwiązania pozwalają w czasie rzeczywisym serować jasnością obrazu nie zaburzając w znaczący sposób obieywności wyniów sysemu wizyjnego. W pierwszej części aryułu rozważane są możliwości programowe ompensacji reflesów świelnych, naomias w drugiej części (sprzęowej) sonsruowany zosał uład serujący przysłoną obieywu. W badaniach esperymenalnych wyorzysany zosał jednopłyowy ompuer ADSP-BF537 z wbudowaną amerą CMOS. Orzymane charerysyi jasności obrazu, zależne od poziomu owarcia przysłony, pozwoliły na dobranie paramerów algorymu serowania jasnością. Sysem przeesowany zosał podczas badań poligonowych, órych część wyniów zamieszczona zosała w aryule. Słowa luczowe: onrola jaości, analiza obrazów, ompensacja refelsów świelnych, 71

2 The image brighness conrol sysem dedicaed for he auonomous unmanned... Serowanie jasnością obrazu na porzeby wizyjnego sysemu omijania przeszód Wprowadzenie Kamery sosowane w sysemach omijania przeszód przemieszczają się wraz z ruchem bezzałogowego aparau laającego (BAL) oraz mogą być orienowane przez dodaowe sysemy zawieszenia, ym samym działają w środowisu o zmiennym oświeleniu. Ruch i orienację amer deerminuje więc dynamia aparau laającego. Analiza sewencyjnie zmieniającego się obrazu (laa po lace z częsoliwością iludziesięciu zdjęć na seundę) prowadzi do sosunowo niedużych różnic między olejnymi laami obrazu. Uwzględniając en f na porzeby pozysania sosownych informacji, onieczne saje się sosowanie meod przewarzania obrazu zabezpieczających przed aimi czynniami oświelenia ja reflesy świelne bądź prześwielenia obrazu. W aryule przedsawiony zosanie sysem serowania przysłoną obieywu, wspomagający apliację onroli jasności obrazu. O innowacyjności wprowadzonego rozwiązania świadczy f, że doychczas sosowane meody onroli jasności opare są głównie na oprogramowaniu, co przedsawiają prace [1][3][4]. Rozwiązania e nie są jedna odporne na zmienne oświelenie panujące w rzeczywisym środowisu działania roboa mobilnego. W zasosowaniach przemysłowych czy foografii wyorzysuje się auomaycznie serowaną przysłonę obieywu AI (ang. Auo Irris) oraz odpowiednio dobrane filry anyreflesyjne zabezpieczające przed prześwieleniami obrazu. Jedna ich paramery są usalane na sałe przez operaora w zależności od panujących warunów oświeleniowych. Przedsawiony w pracy sysem pozwala na w pełni auomayczną regulację jasności obrazu, dzięi opracowanemu algorymowi przewarzania obrazu oraz dynamicznie serowanej przysłonie obieywu. To nowaorsie podejście poprawia znacznie wynii działania wizyjnych algorymów omijania przeszód sosowanych w dzisiejszej roboyce mobilnej. 2. Opis sanowisa badawczego Prezenowana meoda jes implemenowana na urządzeniu wyposażonym w miroprocesor Blacfin ADSP-BF537. Apliacja działa pod onrolą sysemu uclinux wspierającym archieurę wybranego miroonrolera. Na urządzeniu zainsalowany zosał serowni pamięci masowej Flash, serowni obsługi pliów JFFS2, serowni inerfejsu sieciowego Eherne, serwer SSH oraz badany algorym wizyjny. Do alibracji oraz podglądu działania algorymów wizyjnych opracowano WebSerwer (rys.1b). Umożliwia on wizualizację sanu sysemu oraz jego zdalne programowanie poprzez łącze radiowe. Obieyw amery jes głównym elemenem omawianego w aryule sysemu onroli jasności. W projecie wyorzysany zosał obieyw z ręcznie serowaną ognisową oraz auomaycznie serowaną przysłoną. Na rys.1a przedsawiony zosał wido urządzenia wizyjnego. Algorym serowania przysłoną zaimplemenowany zosał na uładzie Amega328P. Komuniacja z urządzeniem wizyjnym odbywa się przy pomocy magisrali I2C. 72

3 Jaub Cieślu, Zdzisław Gosiewsi a) b) Rys. 1 a)wido ompuera wizyjnego b)jedna z załade webserwera sysemu wizyjnego 3. Meoda serowania jasnością obrazu Efeywne serowanie paramerami jasności obrazu, dla nieznanego obszaru działania sysemu wizyjnego jes rudnym w realizacji zagadnieniem. Opieranie się jedynie na oprogramowaniu nie zawsze jes sueczne. Połączenie rozwiązań programisycznych ze sprzęowymi sprawia ze sysem saje się bardziej odporny na załócenia. Wymaga o jedna prawidłowego powiązania ze sobą luczowych paramerów obydwu sysemów. Przedsawiona w pracy meoda słada się z ilu eapów. Pierwszym eapem działania apliacji jes alibracja urządzenia wizyjnego dla warunów, w jaich ma pracować. Wyznaczany jes alibracyjny próg jasności ooczenia T. Proces alibracji sysemu opiera się na dwóch założeniach: obszar opisujący niebo zawiera się w połowie pola P badanego obrazu, próg jasności T dobierany opymalnie dla całego horyzonu przy w pełni owarej przysłonie obieywu. Warość progu T jes bazą do działania apliacji serowania jasnością oraz sysemu serowania przysłoną obieywu amery. Zawierdzając przeprowadzoną alibrację zapamięywana jes jednocześnie warość średniej jasności alibracyjnej J. 73

4 The image brighness conrol sysem dedicaed for he auonomous unmanned... Serowanie jasnością obrazu na porzeby wizyjnego sysemu omijania przeszód... Średnia jasność obrazu definiowana jes jao średnia arymeyczna z jasności wszysich piseli. X Y 1 J J( i, j) (1) XY i 1 j 1 Gdzie X,Y wymiary obrazu Warość średniej jasności obrazu J wyorzysywana jes do serowania progiem jasności. Z zależności (1) wyznaczana jes ualna średnia jasność m olejnych rame obrazu J. Przyjęe zosało, że warość m f [ Hz]/3 uzależniona jes od ualnej częsoliwości przewarzania obrazu f. J m 1 ( J) m (2) Przy uwzględnieniu paramerów badanego obrazu J 0, P 0, oraz ualnych danych sysemu J, P. Wyznaczany jes nowy próg jasności T. 0 T ( J J ) ( P P ) T T J P 15 max max Dodaowymi paramerami wyorzysanymi w równaniu (3) są: J, T - masymalna jasność i próg jasności obrazu wynoszące 255, P max max max - ilość piseli zawara w obrazie amery. max (3) Dynamicznie zmieniający się paramer progowej jasności obrazu w pewnym sensie wyczula sysem wizyjny na zmiany ooczenia. Przyładowo wzros J i P powoduje podniesienie progu jasności T, przez co podreślane są obszary będące przeszodami. Przyjęe zosało, że misja BAL odbywać się będzie w podobnych warunach amosferycznych, co przeprowadzona alibracja urządzenia wizyjnego. Dlaego eż paramer T jes zmieniany w niewielim zaresie w odniesieniu do T. Efeywne serowanie paramerami jasności obrazu, dla nieznanego obszaru działania sysemu wizyjnego jes rudnym w realizacji zagadnieniem. Opieranie się jedynie na oprogramowaniu nie zawsze jes sueczne. Połączenie rozwiązań programisycznych ze sprzęowymi sprawia ze sysem saje się bardziej odporny na załócenia. Wymaga o jedna prawidłowego powiązania ze sobą luczowych paramerów obydwu sysemów. Dodaowym zabezpieczeniem przed nagłymi prześwieleniami przewornia obrazu jes wyorzysanie serowanej auomaycznie przysłony obieywu. 74

5 Jaub Cieślu, Zdzisław Gosiewsi Należało jedna zwrócić szczególną uwagę, jai wpływ odgrywa sopień owarcia przysłony na działanie apliacji deecji nieba. Podczas przeprowadzonego esperymenu oazało się, że onieczna jes dodaowa ingerencja w paramery sysemu. 4. Badania średniej jasności obrazu dla różnych poziomów owarcia przysłony Isone jes sprawdzenie, w jai sposób sopień owarcia przysłony obieywu wpływa na zmianę jasności obrazu. Wsępne badania polegały na pomiarze średniej jasności obrazu dla niezmieniającego się obszaru. Pomiary przeprowadzono w ciemnym pomieszczeniu z jednym sałym źródłem świała. Wynii pierwszych esów dla prześwielonego obrazu przedsawione zosały w Tab.1. Tab.1 Wynii pomiarów średniej jasności J, dla prześwielonego obrazu. Przysłona [%] J Paramer procenowego owarcia przysłony odpowiada zmianie średnicy oworu (przysłony) dopuszczającego świało przez soczewi obieywu do marycy amery. Przeprowadzono 10 pomiarów dla 11 poziomów owarcia przysłony [%], gdzie J jes uśrednioną warością 10 pomiarów. Nie brano pod uwagę warości owarcia przysłony mniejszej niż 50% ze względu na zbynie zaciemnienie obrazu. Rozdzielczość parameru jasności wynosiła 256 jednose. Orzymana zosała średnia jasność poszczególnych pomiarów dla niezmieniającego się obrazu. Już po pierwszych wyniach badań widać, że wpływ owarcia przysłony na jaość obrazu jes dość znaczny. Isnieje, więc onieczność dodaowego serowania warością progowej jasności wyorzysywanej w wersji programowej meody deecji T nieba Kolejnym eapem esów było sprawdzenie ja wpływają loalne prześwielenia obrazu z ypowym reflesem świelnym na prawidłowość doboru progu T. Badania przeprowadzone zosały dla reflesów świelnych p wysępujących w jednej połowie obrazu. Zmianę średniej jasności w sosunu do owarcia przysłony przedsawiono w Tab.2. Tab.2 Wynii pomiarów średniej jasności J, dla loalnego reflesu świelnego. Przysłona [%] J

6 Średnia jasność The image brighness conrol sysem dedicaed for he auonomous unmanned... Serowanie jasnością obrazu na porzeby wizyjnego sysemu omijania przeszód Tab.1 Tab Owarcie przysłony [%] Rys.2 Wyres ilusrujący wynii zapisane w Tab.1 i Tab.2 Przesawienie przysłony obieywu wpływa, więc dość znacznie na paramery sysemu deecji nieba. Zmiana T jes onieczna już, dla niewieliego przymnięcia przysłony. Na rys.2 przedsawione zosało graficznie porównanie obydwu przypadów różnego naświelenia obrazu (Tab.1, Tab.2). Obie orzymane funcje różnią się, co znaczy, że dla obydwu przypadów odblasu świelnego inaczej powinno wyglądać serowanie progiem T. W celu uproszczenie zadania przyjęo jedna zależność liniową pośrednią między dwoma warianami. Na rys.3 przedsawiony zosał wyres ilusrujący zależność opisującą, wpływ owarcia przysłony na onieczną zmianę progowej jasności obrazu. Do usalenia paramerów danej funcji uwzględniono najczęściej orzymywane dane alibracyjne wyznaczane podczas esów poligonowych sysemu deecji nieba. Oraz wynii badań nad wyznaczaniem T dla niewielich zmian jasności obrazu. J P T dane alibracyjne J P T dane badanego obrazu Przyjęo, że minimalny próg jasności T min wynosi: T min 3 T (3) 5 76

7 Jaub Cieślu, Zdzisław Gosiewsi Rys.3 Funcja serowania przysłoną obieywu Mając daną charerysyę można serować progową warością jasności barwy w zależności od poziomu owarcia przysłony nie zaburzając pracy algorymu deecji nieba. W Tab.3 przedsawione zosały obliczenia saysyczne dla przeprowadzonych w powyższym rozdziale pomiarów. Tab.3 Obliczenia saysyczne wyniów pomiarów (dla srajnych poziomów owarcia przysłony) Lp. Dane saysyczne Pomiar 50% Tab.1 Pomiar 100% Tab.1 Pomiar 50% Tab.2 Pomiar 100% Tab.2 1 Warość średnia Odchylenie sandardowe Wariancja 2,2 0,8 2,6 0,6 4 Przedział wyniów Rozrzu % 4,395 1,33 6,17 1,02 5. Wynii badań sysemu onroli jasności Powiązanie sysemu onroli jasności z sysemem serowania przysłoną obieywu wymaga zasosowania meod niepowodujących onfliu w parameryzacji. Obie meody pracują równolegle, gdzie priorye działania ma apliacja serowania jasnością. Na rys.4 przedsawiony zosał algorym serowania przysłoną obieywu. 77

8 The image brighness conrol sysem dedicaed for he auonomous unmanned... Serowanie jasnością obrazu na porzeby wizyjnego sysemu omijania przeszód... T - warość progowa jasności uzysana z alibracji, T J - ualna warość progowa jasności, - ualna średnia jasność obrazu J - średnia jasność nowego obrazu J Usawienie przysłony 100% 90% J TAK obieywu NIE Przeworzenie obrazu: - wyznaczenie J Warość progowa T równa NIE J J Rys.4 Algorym serowania przysłoną obieywu Przesawienie przysłony obieywu nasępuje, gdy pojawi się nagła zmiana jasności barwy obrazu. W Tab.4 przedsawiono zaresy zmiany średniej jasności obrazu względem usalonej warości owarcia przysłony obieywu. Tab.4 Sopień owarcia przysłony w sosunu do zmiany jasności obrazu J TAK Warość progowa równa 100% J Przysłona[%] Kolejnym eapem jes przypisanie nowej warości progowej T p zgodnie z ualnym sopniem owarcia przysłony (rys.3). Obraz jes przewarzany powórnie już z przymnięą przysłoną. Jeżeli jasność esowanego obrazu J T p 78

9 Jaub Cieślu, Zdzisław Gosiewsi jes zbliżona do średniej jasności z poprzednich ieracji J. Zapamięywana jes nowa warość progowa T p, oraz sopień owarcia przysłony. W przeciwnym razie program ończy działanie bez zmian paramerów. Powró do w pełni owarej przysłony odbywa się podobnie ja dla algorymu z Rys.4. W razie gwałownego przyciemnienia obrazu nasępuje zmiana progu jasności na warość T. Badania esperymenalne sysemu serowania przysłoną obieywu miały na celu dosrojenie funcji serowania orzymanej z badań laboraoryjnych. Na rys.5 poazana zosała zmiana obrazu (meody deecji nieba) względem warości owarcia przysłony. a) b) c) d) Rys.5 Zmiana obrazu dla różnych poziomów owarcia przysłony a)100% b)80% c)75% d)70% Przedsawione wynii badań przeprowadzone zosały w bezchmurnych warunach amosferycznych o dużym nasłonecznieniu. Dla danych warunów gwałowne zmiany jasności są bardzo częse i zależą od zmiany położenia amery względem słońca. Funcja serowania progiem jasności T orzymana w wyniu badań laboraoryjnych oazała się prawidłowa do zasosowania w warunach poligonowych. p 79

10 The image brighness conrol sysem dedicaed for he auonomous unmanned... Serowanie jasnością obrazu na porzeby wizyjnego sysemu omijania przeszód... Kolejnym eapem badań było sprawdzenie zachowania się sysemu w przypadu wysąpienia odblasu świelnego w pewnej części obrazu. Jedno z przyładowych zdarzeń przedsawione zosało na rys.6. a) b) Rys.6 Wyni przewarzania obrazu dla poziomu owarcia przysłony a)100% b)85% Badania powierdziły, że przyjęa ogólna funcja serowania przysłoną obieywu jes do zaacepowania. Orzymane wynii odzwierciedlają rzeczywisy obszar opisujący niebo. 6. Próby poligonowe Powierdzenie prawidłowego działania sysemu omijania przeszód możliwe było jedynie przy wyonaniu wielu esów poligonowych. Do badań wybrany zosał prywany obszar niezabudowany, aby podczas esów nie sanowić zagrożenia olizją. Trajeorie lou planowano a, aby na jej drodze znalazła się, co najmniej jedna przeszoda. Tesy przeprowadzano dla róich misji, aby zachować ciągłą łączność radiową ze śmigłowcem. Na rys.7 przedsawione zosały wynii dla jednej z opracowanych meod omijania przeszód [1]. Przeesowano nowy ryb lou auopiloa umożliwiający omijanie przeszód [5]. Przeprowadzono aże ocenę sueczności działania sysemu w warunach, jaich ma docelowo pracować. Ze względu na małą pojemność wyorzysywanych baerii misje rwać mogły, co najwyżej 10 minu. Więc, aby wyonać ja najwięcej badań planowano róie rajeorie lou misji auonomicznych. Jao obie laający do esów poligonowych jednoamerowych meod wybrano eonomiczną wersję śmigłowca czerowirniowego Arducoper v1.1 o nośności do 500g. W racie przeprowadzanych esów zarejesrowano ilurone zadziałanie algorymu serowania przysoną obieywu. Ta duże zmiany jasności były efeem zbyniego nasłonecznienia przeworia amery. Jedna w więszości przypadów ualny próg jasności T dobierany był zgdnie z równaniem (3). Rezulaem badań było uazanie wyniów prawidłowej onfiguracji obydwu meod (programowej i sprzęowej) serowania jasnością obrazu. 80

11 Jaub Cieślu, Zdzisław Gosiewsi a) b) c) Rys.7 a) Wido z webserwera sysemu wizyjnego meoda deecji nieba b) zdjęcie przeszody (wyonane podczas badań poligonowych) c) Różne przyłady rajeorii lou wyreślone na zdjęciach saeliarnych obszaru z badań poligonowych (wyreślone w oprogramowaniu MissionPlanner) 7. Wniosi Wizyjne sysemy omijania przeszód wymagają zasosowania zaawansowanych meod serowania BAL oraz złożonych algorymów przewarzania obrazu. W pracy przedsawiony zosał sysem serowania przysłoną obieywu wspomagający algorym onroli jasności obrazu. Zadanie o wymagało opracowania meody pozwalającej na orzymanie synergii działania obydwu sysemów ( programowego i sprzęowego). W rezulacie orzymano wizyjny sysem onroli jasności obrazu mogący pracować w zmiennych warunach oświeleniowych. Sueczność działania opracowanej meody zosała sprawdzona podczas poligonowych esów wizyjnych algorymów omijania przeszód dedyowanych dla BAL. Próby w locie powierdziły wysoą efeywność meody onroli jasności. Mimo zmiennego oświelenia słonecznego, przeszody wyrywane na obrazie odzwierciedlały rzeczywisy san ooczenia. Podczas finalnych esów nie zanoowano przypadów nieprawidłowego działania sysemu onroli jasności. 81

12 The image brighness conrol sysem dedicaed for he auonomous unmanned... Serowanie jasnością obrazu na porzeby wizyjnego sysemu omijania przeszód... Badania są finansowane przez Poliechnię Białosocą w ramach pracy własnej o nr. W/WM/2/2013 Auor publiacji Jaub Cieślu jes uczesniiem projeu Sypendia dla dooranów wojewódzwa podlasiego, współfinansowanego w ramach Programu Operacyjnego Kapiał Ludzi, Działanie 8.2 Transfer wiedzy, Poddziałanie Regionalne Sraegie Innowacji, ze środów Europejsiego Funduszu Społecznego, budżeu pańswa oraz środów budżeu Wojewódzwa Podlasiego. 8. Bibliografia [1] J.Cieslu, Z.Gosiewsi, Wizyjny sysem deecji nieba wyorzysany do zadania omijania przeszód przez bezzałogowe aparay laające,mechania w Lonicwie XV, 2012 [2] Z. Gosiewsi, J Cieślu, L. Ambrozia: Vision-based obsacle avoidance for unmanned aerial vehicles, 4 h Inernaional Congress on Image and Signal Processing, IEEE Indexed, 2011, pp [3] G.C.H.E. de Croon, B.D.W. Remes, C. De Wager, and R. Ruijsin, Sy Segmenaion Approach o Obsacle Avoidance, Aerospace Conference, 2011 IEEE, pp [4] Shen, Y. and Wang, Q. (2013) Sy Region Deecion in a Single Image for Auonomous Ground Robo Navigaion. Inernaional Journal of Advanced Roboic Sysems, 10, 362. [5] J.Cieślu, Z. Gosiewsi: A Sereovision Sysem for Real Time Obsacle Avoidance by Unmanned Aerial Vehicle, Solid Sae Phenomena, 2013, s Dr inż. Jaub Cieślu zajmuje się projeowaniem zaawansowanych apliacji przemysłowych. Jego zaineresowania nauowe doyczą sysemów wizyjnych oraz auonomii bezzałogowych aparaów laających. W osanich laach uczesniczył w dwóch projeach rozwojowych p.: Auonomiczny, zinegrowany sysem rozpoznania wyorzysujący auonomiczne plaformy lasy miro oraz Sieciocenryczny sysem wsparcia rozpoznania i dowodzenia syuacjami ryzysowymi na erenach zurbanizowanych z auonomicznymi bezzałogowymi aparaami laającymi realizowanych przez onsorcjum, w órego sład wchodziła m.in. Poliechnia Białosoca. Prof. dr hab. inż. Zdzisław Gosiewsi jes ierowniiem Kaedry Auomayi i Roboyi Poliechnii Białosociej i profesorem zwyczajnym w Insyucie Lonicwa w Warszawie. Jego zaineresowania nauowe doyczą ywnych meod serowania drganiami i ruchem/nawigacja. Osanio zajmuje się ineligennymi sysemami echnicznymi i auonomią maszyn. W szczególności doyczy o szyboobroowych maszyn wirniowych z wirniami łożysowanymi magneycznie, roboów mobilnych o sruurze szeregowo-równoległej, omplenych sysemów dla auonomicznych bezzałogowych aparaów laających. 82